CN113192646A - 目标检测模型构建方法及不同目标间距离监控方法、装置 - Google Patents
目标检测模型构建方法及不同目标间距离监控方法、装置 Download PDFInfo
- Publication number
- CN113192646A CN113192646A CN202110451008.XA CN202110451008A CN113192646A CN 113192646 A CN113192646 A CN 113192646A CN 202110451008 A CN202110451008 A CN 202110451008A CN 113192646 A CN113192646 A CN 113192646A
- Authority
- CN
- China
- Prior art keywords
- target
- detection model
- network
- target image
- target object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 142
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012544 monitoring process Methods 0.000 title claims abstract description 45
- 238000010276 construction Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 32
- 238000010586 diagram Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 28
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 12
- 230000006870 function Effects 0.000 claims description 11
- 238000002372 labelling Methods 0.000 claims description 7
- 230000009467 reduction Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 9
- 230000008569 process Effects 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 7
- 208000015181 infectious disease Diseases 0.000 description 6
- 230000009466 transformation Effects 0.000 description 6
- 208000035473 Communicable disease Diseases 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012806 monitoring device Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 235000009091 Cordyline terminalis Nutrition 0.000 description 1
- 244000289527 Cordyline terminalis Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Databases & Information Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了目标检测模型构建方法及不同目标间距离监控方法、装置，目标检测模型包括：采用混合空洞卷积的GhostNet为主干网络并引入FPN网络以及分类子网络和回归子网络，目标检测模型构建方法包括：获取目标场景中包含有各个目标对象的目标图像训练数据集；将目标图像训练数据集中的历史目标图像输入上述FPN网络，得到历史目标图像的特征图；通过分类子网络和回归子网络对特征图进行学习，得到历史目标图像中各目标对象的预测位置；基于历史目标图像中各目标对象的预测位置和真实位置对目标检测模型进行模型训练，得到训练好的目标检测模型。对监控摄像头视野范围大的问题适应性强，适应于小目标检测，提高目标检测结果准确性。
Description
技术领域
本发明涉及深度学习技术领域，具体涉及目标检测模型构建方法及不同目标间距离监控方法、装置。
背景技术
传染病的传染方式多样，其中最为主要的方式为空气传染、飞沫传染和接触传染，随着人们对传染病的重视和研究，发现人与人之间在公共场所保持一定安全社交距离的情况下会大大降低被感染的几率，反之，如果与感染者没有保持安全社交距离的情况下，则会加大被感染的风险，因此，如何对社交距离进行准确的监测对公共场进行传染病以及偷窃等犯罪行为的追溯具有重要意义。
而要监测人与人之间的社交距离，首先需要进行人体目标对象的检测，只有在准确检测到目标场景中的人群才能进一步进行社交距离的监测。然而，由于在公共场所等监控区域摄像头视野范围较为宽泛，在其所捕获的包含人群的视频影像中，单个人体目标占比较小，使用现有的目标检测算法RetinaNet进行检测的准确性较低，进而影响后续不同目标间距离监控的准确性。
发明内容
有鉴于此，本发明实施例提供了一种目标检测模型构建方法及不同目标间距离监控方法、装置，以克服现有技术中目标检测算法RetinaNet难以准确地实现图像中的小目标的准确检测，进而影响后续不同目标间距离监控准确性的问题。
根据第一方面，本发明实施例提供了一种目标检测模型构建方法，所述目标检测模型包括：采用混合空洞卷积的GhostNet为主干网络并引入FPN网络以及分类子网络和回归子网络，所述目标检测模型构建方法包括：
获取目标场景中包含有各个目标对象的目标图像训练数据集；
将目标图像训练数据集中的历史目标图像输入采用混合空洞卷积的GhostNet为主干网络并引入FPN网络，得到所述历史目标图像的特征图；
通过所述分类子网络和所述回归子网络对所述特征图进行学习，得到所述历史目标图像中各目标对象的预测位置；
基于所述历史目标图像中各目标对象的预测位置和真实位置对所述目标检测模型进行模型训练，得到训练好的目标检测模型。
可选地，所述基于所述历史目标图像中各目标对象的预测位置和真实位置对所述目标检测模型进行模型训练，得到训练好的目标检测模型，包括：
基于所述历史目标图像中各目标对象的预测位置和真实位置计算所述目标检测模型的预设损失函数的损失值；
使用预设优化器对损失值进行梯度下降对所述目标检测模型中各个网络结构中的网络参数进行调整，并重新计算所述目标检测模型的所述预设损失函数的损失值，直至损失值不再下降，所述目标检测模型收敛。
根据第二方面，本发明实施例还提供了一种不同目标间距离监控方法，包括：
获取当前时刻目标场景中包含各个目标对象的目标图像；
将所述目标图像输入如第一方面及其任意一种可选实施方式所述的目标检测模型构建方法所训练好的目标检测模型中进行目标检测，得到各个目标对象在所述目标图像中对应的检测位置；
将所述目标图像转换为鸟瞰图；
根据各个目标对象在所述目标图像中对应的检测位置确定各个目标对象在鸟瞰图中对应的位置信息；
基于所述鸟瞰图与所述目标场景的比例尺及各个目标对象在鸟瞰图中对应的位置信息，确定各目标对象间的真实距离。
可选地，所述根据各个目标对象在所述目标图像中对应的检测位置确定各个目标对象在鸟瞰图中对应的位置信息，包括：
基于当前目标对象在所述目标图像中对应的检测位置确定所述当前目标对象在所述目标图像中对应的中心点位置；
基于所述中心点位置，确定所述当前目标对象在所述鸟瞰图中对应的中心点坐标。
可选地，所述方法还包括：
判断当前两个目标对象间的真实距离是否小于预设安全距离阈值；
当所述当前两个目标对象间的真实距离小于预设安全距离阈值时，生成报警信息。
可选地，当所述当前两个目标对象间的真实距离小于预设安全距离阈值时，生成报警信息，包括：
在所述鸟瞰图和/或所述目标图像中对所述当前两个目标对象进行标注。
根据第三方面，本发明实施例还提供了一种目标检测模型构建装置，所述目标检测模型包括：采用混合空洞卷积的GhostNet为主干网络并引入FPN网络以及分类子网络和回归子网络，所述目标检测模型构建装置包括：
第一获取模块，用于获取目标场景中包含有各个目标对象的目标图像训练数据集；
第一处理模块，用于将目标图像训练数据集中的历史目标图像输入采用混合空洞卷积的GhostNet为主干网络并引入FPN网络，得到所述历史目标图像的特征图；
第二处理模块，用于通过所述分类子网络和所述回归子网络对所述特征图进行学习，得到所述历史目标图像中各目标对象的预测位置；
第三处理模块，用于基于所述历史目标图像中各目标对象的预测位置和真实位置对所述目标检测模型进行模型训练，得到训练好的目标检测模型。
根据第四方面，本发明实施例还提供了一种不同目标间距离监控装置，包括：
第二获取模块，用于获取当前时刻目标场景中包含各个目标对象的目标图像；
第四处理模块，用于将所述目标图像输入第三方面所述的目标检测模型构建装置所训练好的目标检测模型中进行目标检测，得到各个目标对象在所述目标图像中对应的检测位置；
第五处理模块，用于将所述目标图像转换为鸟瞰图；
第六处理模块，用于根据各个目标对象在所述目标图像中对应的检测位置确定各个目标对象在鸟瞰图中对应的位置信息；
第七处理模块，用于基于所述鸟瞰图与所述目标场景的比例尺及各个目标对象在鸟瞰图中对应的位置信息，确定各目标对象间的真实距离。
根据第五方面，本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行本发明第一方面及其任意一种实施方式中所述的方法，或者执行本发明第二方面及其任意一种实施方式中所述的方法。
根据第六方面，本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行本发明第一方面及其任意一种实施方式中所述的方法，或者执行本发明第二方面及其任意一种实施方式中所述的方法。
本发明技术方案，具有如下优点：
1.本发明实施例提供了一种目标检测模型构建方法及装置，该目标检测模型包括：采用混合空洞卷积的GhostNet为主干网络并引入FPN网络以及分类子网络和回归子网络，目标检测模型构建方法包括：获取目标场景中包含有各个目标对象的目标图像训练数据集；将目标图像训练数据集中的历史目标图像输入采用混合空洞卷积的GhostNet为主干网络并引入FPN网络，得到历史目标图像的特征图；通过分类子网络和回归子网络对特征图进行学习，得到历史目标图像中各目标对象的预测位置；基于历史目标图像中各目标对象的预测位置和真实位置对目标检测模型进行模型训练，得到训练好的目标检测模型。从而通过对现有的RetinaNet进行修改，ong，对监控摄像头视野范围大的问题有较强的适应性，该网络结构更加适应于图像中小目标的检测，提高目标检测结果的准确性。
2.本发明实施例提供了一种不同目标间距离监控方法及装置，通过获取当前时刻目标场景中包含各个目标对象的目标图像；将目标图像输入如本发明另一实施例提供的目标检测模型构建方法所训练好的目标检测模型中进行目标检测，得到各个目标对象在目标图像中对应的检测位置；将目标图像转换为鸟瞰图；根据各个目标对象在目标图像中对应的检测位置确定各个目标对象在鸟瞰图中对应的位置信息；基于鸟瞰图与目标场景的比例尺及各个目标对象在鸟瞰图中对应的位置信息，确定各目标对象间的真实距离。从而通过利用本发明另一实施例提供的目标检测模型构建方法及装置所得到的训练好的目标检测模型，对监控摄像头视野范围大的问题有较强的适应性，该网络结构更加适应于图像中小目标的检测，提高目标检测结果的准确性，进而提高不同目标间距离监控结果的准确性。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中目标检测模型的结构示意图；
图2为本发明实施例中的目标检测模型构建方法的流程图；
图3为本发明实施例中的不同目标间距离监控方法的流程图；
图4为本发明实施例中人与人之间距离监控过程的示意图；
图5为本发明实施例中的目标检测模型构建装置的结构示意图；
图6为本发明实施例中的不同目标间距离监控装置的结构示意图；
图7为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
由于在公共场所等监控区域摄像头视野范围较为宽泛，在其所捕获的包含人群的视频影像中，单个人体目标占比较小，使用现有的目标检测算法RetinaNet进行检测的准确性较低，进而影响后续不同目标间距离监控的准确性。
基于上述问题，本发明实施例提供了一种目标检测模型构建方法，如图1所示，初始的目标检测模型的网络结构包括：采用混合空洞卷积的GhostNet为主干网络并引入FPN网络以及分类子网络和回归子网络。其中，整个网络结构的框架采用RetinaNet的网络结构，通过对原RetinaNet中的特征金字塔进行特征图提取的网络结构进行修改，在P1层设置为卷积层，P2至P4层以GhostNetZ为主干(在图1中以G-bnecks表示)，并在P5和P6层引入混合空洞卷积(Hybride Dilated Convlution，在图1中简称HDC)，从P3层开始从侧面提取主干网络中的多尺度特征图，构建FPN网络，然后FPN每一层输出与分类子网络和回归子网络的输入连接，在图1中分类子网络和回归子网络以CLASS-BOX Subnets表示，通过CLASS-BOXSubnets进行目标分类和目标检测。
需要说明的是，在本发明实施例中，以摄像头在公共场所捕获的图像，检测目标对象为图像中的人体为例进行说明，在实际应用中，该目标对象还可以是出现在图像中的动物、车辆等其他目标，本发明并不以此为限。
如图2所示，上述的目标检测模型构建方法具体包括如下步骤：
步骤S101：获取目标场景中包含有各个目标对象的目标图像训练数据集。
其中，在该目标图像训练数据集中的每一个历史目标图像中都包括有在该摄像头拍摄范围内的多个不同的人体目标，且每一个历史目标图像都带各个有人体目标的真实位置信息，从而该目标图像训练数据集构成训练样本集。例如：通过摄像头采用如商场、街道等目标场景的视频流，并对视频流进行抽帧的方式得到离散目标图像。
步骤S102：将目标图像训练数据集中的历史目标图像输入采用混合空洞卷积的GhostNet为主干网络并引入FPN网络，得到历史目标图像的特征图。
其中，为了能够更加适应于图像中小目标的人体检测，本发明实施例通过在现有技术中的RetinaNet算法中利用以GhostNet为主干同时引入混合空洞卷积的方式来替代原RetinaNet网络中的卷积结构，从而提高特征图所提取特征的全面性，有利于实现小目标检测。
步骤S103：通过分类子网络和回归子网络对特征图进行学习，得到历史目标图像中各目标对象的预测位置。
其中，该分类子网络和回归子网络与现有技术中的RetinaNet算法一致，详细内容可以参照现有技术的相关描述，在此不再进行赘述。
步骤S104：基于历史目标图像中各目标对象的预测位置和真实位置对目标检测模型进行模型训练，得到训练好的目标检测模型。
具体训练方式如下：
步骤S11：基于历史目标图像中各目标对象的预测位置和真实位置计算目标检测模型的预设损失函数的损失值。
其中，该预设损失函数可以采用RetinaNet算法常用的损失函数，如：Focal loss损失函数等，本发明并不以此为限。
步骤S12：使用预设优化器对损失值进行梯度下降，对目标检测模型中各个网络结构中的网络参数进行调整，并重新计算目标检测模型的预设损失函数的损失值，直至损失值不再下降，目标检测模型收敛。
其中，损失函数的损失值不再下降时，则说明该目标检测模型的检测精度已经可以满足用户需求，即可使用其进行图像中人体目标检测。
具体地，在一实施例中，在获取上述历史目标图像后，将所有的图像进行归一化处理，使其格式标准化，有利于获得良好的模型训练效果，并且在模型训练完成，使用训练好的模型进行目标检测时，也可以对待检测图像进行相同的归一化处理，以提高模型检测结果的准确性。
在实际应用中，对图像进行归一化处理具体可包括：将图片缩放至统一尺寸如460*460，然后对图像进行标准处理，具体处理方式如公式(1)所示：
其中，XNormalication为标准化后的图像，x为原始图像，β为自然场景下的图像的均值，α为自然场景下图片的标准差。
通过执行上述步骤，本发明实施例提供的目标检测模型构建方法，通过对现有的RetinaNet进行修改，主干网络采用混合空洞卷积的GhostNet网络，利用FPN网络对多尺度特征进行提取，对监控摄像头视野范围大的问题有较强的适应性，该网络结构更加适应于图像中小目标的检测，提高目标检测结果的准确性。本发明实施例所提供的目标检测模型可以快速处理图片，能够同时支持多路视频。在Tesla GV100上能达到60Fps，具有良好的实时检测效果，可以大大提高检测效率。
本发明实施例还提供了一种不同目标间距离监控方法，如图3所示，该不同目标间距离监控方法具体包括如下步骤：
步骤S401：获取当前时刻目标场景中包含各个目标对象的目标图像。
其中，该目标图像为在需要进行不同目标对象间距离监控的目标场景中通过摄像头所拍摄的视频流中得到的当前时刻的图像。
步骤S402：将目标图像输入如本发明另一实施例提供的目标检测模型构建方法所训练好的目标检测模型中进行目标检测，得到各个目标对象在目标图像中对应的检测位置。
其中，以目标对象为人体为例，目标对象的检测位置为目标图像中包含当前人体的最小外接矩形所在的位置，在实际应用中，可以在目标图像中采用矩形框进行位置标注。
步骤S403：将目标图像转换为鸟瞰图。
其中，鸟瞰图的具体生成过程如下：
①在地平面上放置矩形标定板，获取标定板在地平面上四个顶点坐标(0，0)、(width，0)、(0,height)、(width,height)；
②获取摄像头内参矩阵K和外参矩阵E
式中，fx和fy为摄像头焦距参数；x,y表示像素坐标系，原点为图像左上角，单位为像素。
式中，R为正交旋转矩阵，
T为平移矩阵，T＝[tx ty tz]T
③由于透镜会因为制造精度以及组装工艺的偏差，会引入一定程度的畸变，导致原始图像失真。在本发明实施例中通过采用张氏标定法依照公式(4)、(5)对摄像头的进行畸变矫正；
式中，(u,v)表示径向畸变矫正后的像素坐标，(uυ，vυ)表示实际径向畸变情况下的像素坐标，(u0,v0)表示主点，(x,y)表示理想无畸变时的连续图像坐标，k1、k2分别表示前两阶的畸变参数。
④根据摄像头的内参和外参，依照公式(6)对摄像头进行标定
式中，(Xw，Yw，Zw)为世界坐标系下描述的相机位置，单位为m；(Xc，Yc，Zc)为以光心为原点的相机坐标系，单位为m；(u，v)为像素坐标系，原点为图像左上角，单位为pixel。
⑤对矫正后的摄像头进行透视变换，将其转换为鸟瞰图。具体地，透视变换的通用公式为公式(7)，鸟瞰图的生成是将二维空间变换到三维空间的转换，变换后的坐标x,y分别为：x＝x'/w',y＝y'/w'，展开后为公式(8)、(9)。
式中，(u，v)为变换后的图像像素坐标；(x＝x'/w',y＝y'/w')为变换后的图像像素坐标；
为透视变换矩阵，
为图像线性变换矩阵；[a13 a23]T用于产生图像透视变换；
为图像平移矩阵。
步骤S404：根据各个目标对象在目标图像中对应的检测位置确定各个目标对象在鸟瞰图中对应的位置信息。
具体地，在一实施例中，上述的步骤S404具体包括如下步骤：
步骤S41：基于当前目标对象在目标图像中对应的检测位置确定当前目标对象在目标图像中对应的中心点位置。
步骤S42：基于中心点位置，确定当前目标对象在鸟瞰图中对应的中心点坐标。
具体地，通过利用上述⑤将人体的中心坐标转换为鸟瞰图中的中心坐标(xc,yc,widthc,heightc)，并依据标定板的长度获取鸟瞰图与真实场景下的比例尺。
步骤S405：基于鸟瞰图与目标场景间的比例尺及各个目标对象在鸟瞰图中对应的位置信息，确定各目标对象间的真实距离。
具体地，可以根据如下公式(10)，得到人体间的真实距离：
式中，dist(A,B)为A和B两个目标对象间的真实距离，S为鸟瞰图和现实场景中的比例尺；(xa,ya)、(xb,yb)分别为A、B两个目标对象在鸟瞰图中的坐标。
通过执行上述步骤，本发明实施例提供的不同目标间距离监控方法，通过利用本发明另一实施例提供的目标检测模型构建方法及装置所得到的训练好的目标检测模型，对监控摄像头视野范围大的问题有较强的适应性，该网络结构更加适应于图像中小目标的检测，提高目标检测结果的准确性，进而提高不同目标间距离监控结果的准确性。
具体地，在一实施例中，上述的不同目标间距离监控方法还包括如下步骤：
步骤S406：判断当前两个目标对象间的真实距离是否小于预设安全距离阈值。
其中，该预设安全距离阈值为两个目标对象间所需要保持的最小距离值，如1米、2米等，具体预设安全距离阈值可根据实际应用场景的需求进行灵活的设置，本发明并不以此为限。
步骤S407：在当前两个目标对象间的真实距离小于预设安全距离阈值时，生成报警信息。
具体地，可以通过在鸟瞰图和/或目标图像中对当前两个目标对象进行标注的方式进行报警，如在当前两个目标对象间的真实距离不小于预设安全距离阈值时，在鸟瞰图和/或目标图像中对当前两个目标对象用绿色标注框进行标注，而在小于预设安全距离阈值时，采用红色标注框进行标注等，仅以此为例，本发明并不以此为限。
具体地，将本发明实施例提供的不同目标间距离监控方法，应用至对以人体为目标对象，监控人与人之间社交距离时，具体实现过程如图4所示，首先，对摄像头的视频流进行抽帧和归一化等数据预处理，提升计算设备支持的视频路数；然后输入至预先训练好的适用于小目标人体检测的目标检测模型，在图4中，该模型简称HDC-RetinaNet，该模型对监控摄像头视野范围大的问题有较强的适应性；然后，利用计算机视觉原理，对摄像头进行标定，生成鸟瞰图，并利用模型预测结果计算社交距离，并判断社交距离是否属于安全社交距离，如果不是安全社交距离，发出警示，并完成警示可视化。
通过执行上述步骤，本发明实施例提供的不同目标间距离监控方法，通过利用本发明另一实施例提供的目标检测模型构建方法及装置所得到的训练好的目标检测模型，对监控摄像头视野范围大的问题有较强的适应性，该网络结构更加适应于图像中小目标的检测，提高目标检测结果的准确性，进而提高不同目标间距离监控结果的准确性。并且可以通过坐标系转换和透射变换将监控画面转化为鸟瞰图，使的目标对象间的距离能够直接利用摄像头计算，大大提高了距离监控的便捷性和有效性。
本发明实施例还提供了一种目标检测模型构建装置，目标检测模型包括：采用混合空洞卷积的GhostNet为主干网络并引入FPN网络以及分类子网络和回归子网络，如图5所示，该目标检测模型构建装置包括：
第一处理模块101，用于获取目标场景中包含有各个目标对象的目标图像训练数据集。详细内容参见上述方法实施例中步骤S101的相关描述，在此不再进行赘述。
第二处理模块102，用于将目标图像训练数据集中的历史目标图像输入采用混合空洞卷积的GhostNet为主干网络并引入FPN网络，得到历史目标图像的特征图。详细内容参见上述方法实施例中步骤S102的相关描述，在此不再进行赘述。
第三处理模块103，用于通过分类子网络和回归子网络对特征图进行学习，得到历史目标图像中各目标对象的预测位置。详细内容参见上述方法实施例中步骤S103的相关描述，在此不再进行赘述。
第四处理模块104，用于基于历史目标图像中各目标对象的预测位置和真实位置对目标检测模型进行模型训练，得到训练好的目标检测模型。详细内容参见上述方法实施例中步骤S103的相关描述，在此不再进行赘述。
本发明实施例提供的目标检测模型构建装置，用于执行上述实施例提供的目标检测模型构建方法，其实现方式与原理相同，详细内容参见上述方法实施例的相关描述，不再赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的目标检测模型构建装置，通过对现有的RetinaNet进行修改，主干网络采用混合空洞卷积的GhostNet网络，利用FPN网络对多尺度特征进行提取，对监控摄像头视野范围大的问题有较强的适应性，该网络结构更加适应于图像中小目标的检测，提高目标检测结果的准确性。
本发明实施例还提供了一种不同目标间距离监控装置，如图6所示，该不同目标间距离监控装置包括：
第二获取模块401，用于获取当前时刻目标场景中包含各个目标对象的目标图像。详细内容参见上述方法实施例中步骤S401的相关描述，在此不再进行赘述。
第四处理模块402，用于将目标图像输入本发明另一实施例提供的目标检测模型构建装置所训练好的目标检测模型中进行目标检测，得到各个目标对象在目标图像中对应的检测位置。详细内容参见上述方法实施例中步骤S402的相关描述，在此不再进行赘述。
第五处理模块403，用于将目标图像转换为鸟瞰图。详细内容参见上述方法实施例中步骤S403的相关描述，在此不再进行赘述。
第六处理模块404，用于根据各个目标对象在目标图像中对应的检测位置确定各个目标对象在鸟瞰图中对应的位置信息。详细内容参见上述方法实施例中步骤S404的相关描述，在此不再进行赘述。
第七处理模块405，用于基于鸟瞰图与目标场景的比例尺及各个目标对象在鸟瞰图中对应的位置信息，确定各目标对象间的真实距离。详细内容参见上述方法实施例中步骤S405的相关描述，在此不再进行赘述。
本发明实施例提供的不同目标间距离监控装置，用于执行上述实施例提供的不同目标间距离监控方法，其实现方式与原理相同，详细内容参见上述方法实施例的相关描述，不再赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的不同目标间距离监控装置，通过利用本发明另一实施例提供的目标检测模型构建方法及装置所得到的训练好的目标检测模型，对监控摄像头视野范围大的问题有较强的适应性，该网络结构更加适应于图像中小目标的检测，提高目标检测结果的准确性，进而提高不同目标间距离监控结果的准确性。
根据本发明实施例还提供了一种电子设备，如图7所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图7中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种目标检测模型构建方法，其特征在于，所述目标检测模型包括：采用混合空洞卷积的GhostNet为主干网络并引入FPN网络以及分类子网络和回归子网络，所述目标检测模型构建方法包括：
获取目标场景中包含有各个目标对象的目标图像训练数据集；
将目标图像训练数据集中的历史目标图像输入采用混合空洞卷积的GhostNet为主干网络并引入FPN网络，得到所述历史目标图像的特征图；
通过所述分类子网络和所述回归子网络对所述特征图进行学习，得到所述历史目标图像中各目标对象的预测位置；
基于所述历史目标图像中各目标对象的预测位置和真实位置对所述目标检测模型进行模型训练，得到训练好的目标检测模型。
2.根据权利要求1所述的方法，其特征在于，所述基于所述历史目标图像中各目标对象的预测位置和真实位置对所述目标检测模型进行模型训练，得到训练好的目标检测模型，包括：
基于所述历史目标图像中各目标对象的预测位置和真实位置计算所述目标检测模型的预设损失函数的损失值；
使用预设优化器对损失值进行梯度下降，对所述目标检测模型中各个网络结构中的网络参数进行调整，并重新计算所述目标检测模型的所述预设损失函数的损失值，直至损失值不再下降，所述目标检测模型收敛。
3.一种不同目标间距离监控方法，其特征在于，包括：
获取当前时刻目标场景中包含各个目标对象的目标图像；
将所述目标图像输入如权利要求1-2任一项所述的目标检测模型构建方法所训练好的目标检测模型中进行目标检测，得到各个目标对象在所述目标图像中对应的检测位置；
将所述目标图像转换为鸟瞰图；
根据各个目标对象在所述目标图像中对应的检测位置确定各个目标对象在鸟瞰图中对应的位置信息；
基于所述鸟瞰图与所述目标场景的比例尺及各个目标对象在鸟瞰图中对应的位置信息，确定各目标对象间的真实距离。
4.根据权利要求3所述的方法，其特征在于，所述根据各个目标对象在所述目标图像中对应的检测位置确定各个目标对象在鸟瞰图中对应的位置信息，包括：
基于当前目标对象在所述目标图像中对应的检测位置确定所述当前目标对象在所述目标图像中对应的中心点位置；
基于所述中心点位置，确定所述当前目标对象在所述鸟瞰图中对应的中心点坐标。
5.根据权利要求3所述的方法，其特征在于，还包括：
判断当前两个目标对象间的真实距离是否小于预设安全距离阈值；
当所述当前两个目标对象间的真实距离小于预设安全距离阈值时，生成报警信息。
6.根据权利要求5所述的方法，其特征在于，当所述当前两个目标对象间的真实距离小于预设安全距离阈值时，生成报警信息，包括：
在所述鸟瞰图和/或所述目标图像中对所述当前两个目标对象进行标注。
7.一种目标检测模型构建装置，其特征在于，所述目标检测模型包括：采用混合空洞卷积的GhostNet为主干网络并引入FPN网络以及分类子网络和回归子网络，所述目标检测模型构建装置包括：
第一获取模块，用于获取目标场景中包含有各个目标对象的目标图像训练数据集；
第一处理模块，用于将目标图像训练数据集中的历史目标图像输入采用混合空洞卷积的GhostNet为主干网络并引入FPN网络，得到所述历史目标图像的特征图；
第二处理模块，用于通过所述分类子网络和所述回归子网络对所述特征图进行学习，得到所述历史目标图像中各目标对象的预测位置；
第三处理模块，用于基于所述历史目标图像中各目标对象的预测位置和真实位置对所述目标检测模型进行模型训练，得到训练好的目标检测模型。
8.一种不同目标间距离监控装置，其特征在于，包括：
第二获取模块，用于获取当前时刻目标场景中包含各个目标对象的目标图像；
第四处理模块，用于将所述目标图像输入如权利要求7所述的目标检测模型构建装置所训练好的目标检测模型中进行目标检测，得到各个目标对象在所述目标图像中对应的检测位置；
第五处理模块，用于将所述目标图像转换为鸟瞰图；
第六处理模块，用于根据各个目标对象在所述目标图像中对应的检测位置确定各个目标对象在鸟瞰图中对应的位置信息；
第七处理模块，用于基于所述鸟瞰图与所述目标场景的比例尺及各个目标对象在鸟瞰图中对应的位置信息，确定各目标对象间的真实距离。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，执行权利要求1-2任一项所述的方法，或者，执行权利要求3-6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行权利要求1-2任一项所述的方法，或者，所述计算机指令用于使所述计算机执行权利要求3-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110451008.XA CN113192646B (zh) | 2021-04-25 | 2021-04-25 | 目标检测模型构建方法及不同目标间距离监控方法、装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110451008.XA CN113192646B (zh) | 2021-04-25 | 2021-04-25 | 目标检测模型构建方法及不同目标间距离监控方法、装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113192646A true CN113192646A (zh) | 2021-07-30 |
| CN113192646B CN113192646B (zh) | 2024-03-22 |
Family
ID=76978850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110451008.XA Active CN113192646B (zh) | 2021-04-25 | 2021-04-25 | 目标检测模型构建方法及不同目标间距离监控方法、装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113192646B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113607064A (zh) * | 2021-08-06 | 2021-11-05 | 广联达科技股份有限公司 | 目标物体的间距测算方法、装置、设备及可读存储介质 |
| CN113643368A (zh) * | 2021-08-03 | 2021-11-12 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 一种物体之间真实间距的确定方法、装置及电子设备 |
| CN113808200A (zh) * | 2021-08-03 | 2021-12-17 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 一种检测目标对象移动速度的方法、装置及电子设备 |
| CN114217719A (zh) * | 2021-12-11 | 2022-03-22 | 北京庚图科技有限公司 | 多动态目标显示方法、装置、电子设备及存储介质 |
| CN114612933A (zh) * | 2022-03-11 | 2022-06-10 | 电子科技大学 | 单目社交距离检测追踪方法 |
| CN115861407A (zh) * | 2023-02-28 | 2023-03-28 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 基于深度学习的安全距离检测方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108026714A (zh) * | 2015-11-30 | 2018-05-11 | 住友重机械工业株式会社 | 施工机械用周边监视系统 |
| CN110111313A (zh) * | 2019-04-22 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
| US20190251333A1 (en) * | 2017-06-02 | 2019-08-15 | Tencent Technology (Shenzhen) Company Limited | Face detection training method and apparatus, and electronic device |
| AU2019101133A4 (en) * | 2019-09-30 | 2019-10-31 | Bo, Yaxin MISS | Fast vehicle detection using augmented dataset based on RetinaNet |
| CN110399762A (zh) * | 2018-04-24 | 2019-11-01 | 北京四维图新科技股份有限公司 | 一种基于单目图像的车道线检测的方法及装置 |
| CN111860514A (zh) * | 2020-05-21 | 2020-10-30 | 江苏大学 | 一种基于改进DeepLab的果园场景多类别实时分割方法 |
| CN112052815A (zh) * | 2020-09-14 | 2020-12-08 | 北京易华录信息技术股份有限公司 | 一种行为检测方法、装置及电子设备 |
| CN112115911A (zh) * | 2020-09-28 | 2020-12-22 | 安徽大学 | 一种基于深度学习的轻量型sar图像目标检测方法 |
| CN112365741A (zh) * | 2020-10-23 | 2021-02-12 | 淮阴工学院 | 一种基于多车道车距检测的安全预警方法及系统 |
| CN112528059A (zh) * | 2021-02-08 | 2021-03-19 | 南京理工大学 | 基于深度学习的交通目标图像检索方法、装置及可读介质 |
| CN112683228A (zh) * | 2020-11-26 | 2021-04-20 | 深兰人工智能(深圳)有限公司 | 单目相机测距方法及装置 |
-
2021
- 2021-04-25 CN CN202110451008.XA patent/CN113192646B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108026714A (zh) * | 2015-11-30 | 2018-05-11 | 住友重机械工业株式会社 | 施工机械用周边监视系统 |
| US20190251333A1 (en) * | 2017-06-02 | 2019-08-15 | Tencent Technology (Shenzhen) Company Limited | Face detection training method and apparatus, and electronic device |
| CN110399762A (zh) * | 2018-04-24 | 2019-11-01 | 北京四维图新科技股份有限公司 | 一种基于单目图像的车道线检测的方法及装置 |
| CN110111313A (zh) * | 2019-04-22 | 2019-08-09 | 腾讯科技（深圳）有限公司 | 基于深度学习的医学图像检测方法及相关设备 |
| AU2019101133A4 (en) * | 2019-09-30 | 2019-10-31 | Bo, Yaxin MISS | Fast vehicle detection using augmented dataset based on RetinaNet |
| CN111860514A (zh) * | 2020-05-21 | 2020-10-30 | 江苏大学 | 一种基于改进DeepLab的果园场景多类别实时分割方法 |
| CN112052815A (zh) * | 2020-09-14 | 2020-12-08 | 北京易华录信息技术股份有限公司 | 一种行为检测方法、装置及电子设备 |
| CN112115911A (zh) * | 2020-09-28 | 2020-12-22 | 安徽大学 | 一种基于深度学习的轻量型sar图像目标检测方法 |
| CN112365741A (zh) * | 2020-10-23 | 2021-02-12 | 淮阴工学院 | 一种基于多车道车距检测的安全预警方法及系统 |
| CN112683228A (zh) * | 2020-11-26 | 2021-04-20 | 深兰人工智能(深圳)有限公司 | 单目相机测距方法及装置 |
| CN112528059A (zh) * | 2021-02-08 | 2021-03-19 | 南京理工大学 | 基于深度学习的交通目标图像检索方法、装置及可读介质 |
Non-Patent Citations (3)
| Title |
|---|
| 张宽;滕国伟;范涛;李聪;: "基于密集连接的FPN多尺度目标检测算法", 计算机应用与软件, no. 01 * |
| 欧进永;杨渊;时磊;周振峰;邱实;: "基于深度学习的输电线路杆塔鸟窝识别方法研究", 机电信息, no. 24 * |
| 陈柳等: "轻量化高精度卷积神经网络的安全帽识别方法", 《计算机工程与应用》, pages 177 - 181 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113643368A (zh) * | 2021-08-03 | 2021-11-12 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 一种物体之间真实间距的确定方法、装置及电子设备 |
| CN113808200A (zh) * | 2021-08-03 | 2021-12-17 | 嘉洋智慧安全生产科技发展（北京）有限公司 | 一种检测目标对象移动速度的方法、装置及电子设备 |
| CN113808200B (zh) * | 2021-08-03 | 2023-04-07 | 嘉洋智慧安全科技(北京)股份有限公司 | 一种检测目标对象移动速度的方法、装置及电子设备 |
| CN113607064A (zh) * | 2021-08-06 | 2021-11-05 | 广联达科技股份有限公司 | 目标物体的间距测算方法、装置、设备及可读存储介质 |
| CN114217719A (zh) * | 2021-12-11 | 2022-03-22 | 北京庚图科技有限公司 | 多动态目标显示方法、装置、电子设备及存储介质 |
| CN114612933A (zh) * | 2022-03-11 | 2022-06-10 | 电子科技大学 | 单目社交距离检测追踪方法 |
| CN115861407A (zh) * | 2023-02-28 | 2023-03-28 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 基于深度学习的安全距离检测方法及系统 |
| CN115861407B (zh) * | 2023-02-28 | 2023-06-16 | 山东未来网络研究院(紫金山实验室工业互联网创新应用基地) | 基于深度学习的安全距离检测方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113192646B (zh) | 2024-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113192646B (zh) | 目标检测模型构建方法及不同目标间距离监控方法、装置 | |
| US10970864B2 (en) | Method and apparatus for recovering point cloud data | |
| WO2021196294A1 (zh) | 一种跨视频人员定位追踪方法、系统及设备 | |
| JP7221324B2 (ja) | 障害物を検出するための方法および装置、電子機器、記憶媒体並びにコンピュータプログラム | |
| CN113052835B (zh) | 一种基于三维点云与图像数据融合的药盒检测方法及其检测系统 | |
| CN109960742B (zh) | 局部信息的搜索方法及装置 | |
| CN106529538A (zh) | 一种飞行器的定位方法和装置 | |
| CN112489099A (zh) | 点云配准方法、装置、存储介质及电子设备 | |
| CN111611918B (zh) | 基于航拍数据和深度学习的交通流数据集采集及构建方法 | |
| CN105678720A (zh) | 一种全景拼接判断图像匹配方法及装置 | |
| CN111325828A (zh) | 一种基于三目相机的三维人脸采集方法及装置 | |
| CN112907972B (zh) | 基于无人机的道路车流量检测方法、系统及计算机可读存储介质 | |
| CN116823966A (zh) | 相机的内参标定方法、装置、计算机设备和存储介质 | |
| CN114092771A (zh) | 多传感数据融合方法、目标检测方法、装置和计算机设备 | |
| CN114913246B (zh) | 相机标定方法、装置、电子设备及存储介质 | |
| CN116758419A (zh) | 针对遥感图像的多尺度目标检测方法、装置和设备 | |
| CN116091998A (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| CN116128919A (zh) | 基于极线约束的多时相图像异动目标检测方法及系统 | |
| CN111986246A (zh) | 基于图像处理的三维模型重建方法、装置和存储介质 | |
| WO2023241372A1 (zh) | 相机内参标定方法及相关设备 | |
| CN117152231B (zh) | 预设类别目标的三维形状估计方法、装置及电子设备 | |
| CN117292120B (zh) | 一种轻量化可见光绝缘子目标检测方法及系统 | |
| CN112967398B (zh) | 一种三维数据重建方法、装置及电子设备 | |
| CN110400363B (zh) | 基于激光点云的地图构建方法和装置 | |
| CN106780312B (zh) | 基于sift匹配的图像空间与地理场景自动映射方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |