CN116778532B - 一种煤矿井下人员目标跟踪方法 - Google Patents
一种煤矿井下人员目标跟踪方法 Download PDFInfo
- Publication number
- CN116778532B CN116778532B CN202311068112.6A CN202311068112A CN116778532B CN 116778532 B CN116778532 B CN 116778532B CN 202311068112 A CN202311068112 A CN 202311068112A CN 116778532 B CN116778532 B CN 116778532B
- Authority
- CN
- China
- Prior art keywords
- illumination
- video frame
- complexity
- personnel
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 239000003245 coal Substances 0.000 title claims abstract description 39
- 238000005286 illumination Methods 0.000 claims abstract description 165
- 210000000746 body region Anatomy 0.000 claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 13
- 230000002146 bilateral effect Effects 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000010220 Pearson correlation analysis Methods 0.000 claims description 3
- 238000004880 explosion Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 claims 8
- 230000002596 correlated effect Effects 0.000 claims 1
- 238000007405 data analysis Methods 0.000 abstract description 2
- 238000003860 storage Methods 0.000 description 13
- 238000004590 computer program Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 239000007789 gas Substances 0.000 description 3
- 238000011835 investigation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000002817 coal dust Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000010892 electric spark Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本公开的实施例提供了一种煤矿井下人员目标跟踪方法。应用于图像数据分析技术领域，所述方法包括采集目标区域的各视频帧；判断各所述视频帧的闭合边缘区域是否为人体区域；根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度；根据所述区域光照复杂度、人员姿态复杂度、光照姿态相关度，计算得到对应的滑动窗口系数；根据所述滑动窗口系数、预设初始滑动窗口长度，通过Harris角点检测算法对所述视频帧进行人员目标跟踪。以此方式，实现对使用Harris角点检测算法时的滑动窗口的动态调整，提高对煤矿井下人员目标跟踪的跟踪效率。
Description
技术领域
本公开涉及图像数据分析技术领域，尤其涉及一种煤矿井下人员目标跟踪方法。
背景技术
在井下作业过程中，确定井下人员的位置和实时状态，并采取适当的措施，可以大大减少矿工面临的危险，提高整个煤矿的安全性；可以实现自动化监测和无人值守，从而减少了资源的浪费；通过实时监测人员的位置和状态，并及时反馈给操作者，减少了操作者的巡视时间和工作强度，可以提高工作效率；还可以适用于地铁安全、船舶安全等领域。同时其技术也可用于机器人自主导航等领域，为后续应用提供了基础。
目前，主要采用位置识别卡对煤矿井下人员进行位置跟踪，但是会出现煤矿井下人员未携带位置识别卡、人卡不符、一人多卡等问题，导致对煤矿井下人员跟踪的效率较低。
发明内容
本公开提供了一种煤矿井下人员目标跟踪方法。
根据本公开的第一方面，提供了一种煤矿井下人员目标跟踪方法。该方法包括：
采集目标区域的各视频帧；
判断各所述视频帧的闭合边缘区域是否为人体区域；
根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度；
根据所述区域光照复杂度、人员姿态复杂度、光照姿态相关度，计算得到对应的滑动窗口系数；
根据所述滑动窗口系数、预设初始滑动窗口长度，通过Harris角点检测算法对所述视频帧进行人员目标跟踪。
进一步地，所述判断各所述视频帧的闭合边缘区域是否为人体区域，包括：
根据当前视频帧、上一视频帧，通过帧间差分法得到对应的差分图像；
根据所述差分图像，通过Canny算子获取各闭合边缘区域；
根据所述闭合边缘区域的面积、所述差分图像的面积，计算得到人体区域可能值；
若所述人体区域可能值大于等于预设可能值，则所述闭合边缘区域为人体区域。
进一步地，所述根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度，包括：
创建移动窗口，所述移动窗口的中心点为所述视频帧中人体区域的中心位置，所述移动窗口的长度、宽度分别为所述视频帧中人体区域长度、宽度的两倍；
根据所述移动窗口的光照分量最大值所在位置、所述人体区域的中心位置，得到人员与光照之间的距离；
根据所述移动窗口的光照分量的最大值、均值，计算得到区域光照强度；
根据所述人员与光照之间的距离、区域光照强度，计算得到区域光照复杂度。
进一步地，所述根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度，还包括：
通过HOG算子对所述人体区域的梯度幅值和方向进行统计，得到直方图；
根据所述直方图，计算得到所述人员姿态复杂度。
进一步地，所述根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度，还包括：
通过pearson相关性分析方法对预设帧数的视频帧中人体区域对应的人员与光照之间的距离、区域光照强度、人员姿态复杂度进行分析，得到光照姿态相关性矩阵；
根据所述光照姿态相关性矩阵，计算得到光照姿态相关度。
进一步地，所述光照姿态相关性矩阵的元素为人员与光照之间的距离、区域光照强度之间的相关性系数或区域光照强度、人员姿态复杂度之间的相关性系数或人员与光照之间的距离、人员姿态复杂度之间的相关性系数。
进一步地，若所述相关性系数大于-1且小于0，则人员与光照之间的距离、区域光照强度之间负相关或区域光照强度、人员姿态复杂度之间负相关或人员与光照之间的距离、人员姿态复杂度之间负相关；
若所述相关性系数大于0且小于1，则人员与光照之间的距离、区域光照强度之间正相关或区域光照强度、人员姿态复杂度之间正相关或人员与光照之间的距离、人员姿态复杂度之间正相关；
若所述相关性系数等于0，则人员与光照之间的距离、区域光照强度之间不相关或区域光照强度、人员姿态复杂度之间不相关或人员与光照之间的距离、人员姿态复杂度之间不相关。
进一步地，所述方法还包括：
通过双边滤波算法对各所述视频帧进行预处理；
将预处理后的各所述视频帧的格式由RGB图像转换为灰度图像。
进一步地，通过使用防爆相机来采集目标区域的各视频帧。
进一步地，所述预设初始滑动窗口长度的设置步骤为：
获取所述视频帧的尺寸；
根据所述尺寸，计算得到所述预设初始滑动窗口长度。
根据本公开的第二方面，提供了一种煤矿井下人员目标跟踪装置。该装置包括：
采集模块，用于采集目标区域的各视频帧；
判断模块，用于判断各所述视频帧的闭合边缘区域是否为人体区域；
第一计算模块，用于根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度；
第二计算模块，用于根据所述区域光照复杂度、人员姿态复杂度、光照姿态相关度，计算得到对应的滑动窗口系数；
跟踪模块，用于根据所述滑动窗口系数、预设初始滑动窗口长度，通过Harris角点检测算法对所述视频帧进行人员目标跟踪。
根据本公开的第三方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现一种煤矿井下人员目标跟踪方法。
根据本公开的第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现一种煤矿井下人员目标跟踪方法。
本公开通过采集目标区域的各视频帧；判断各所述视频帧的闭合边缘区域是否为人体区域；根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度；根据所述区域光照复杂度、人员姿态复杂度、光照姿态相关度，计算得到对应的滑动窗口系数；根据所述滑动窗口系数、预设初始滑动窗口长度，通过Harris角点检测算法对所述视频帧进行人员目标跟踪，实现对使用Harris角点检测算法时的滑动窗口的动态调整，提高对煤矿井下人员目标跟踪的跟踪效率。
应当理解，发明内容部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
图1示出了根据本公开实施例的一种煤矿井下人员目标跟踪方法的流程图；
图2示出了根据本公开实施例的一种煤矿井下人员目标跟踪装置的框图；
图3示出了能够实施本公开实施例的示例性电子设备的方框图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本公开保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
图1示出了根据本公开实施例的一种煤矿井下人员目标跟踪方法100的流程图，该方法100包括：
S101，采集目标区域的各视频帧。
在一些实施例中，通过使用防爆相机来采集目标区域的各视频帧。煤矿井下的日常检查、纪录片拍摄、地质勘查等都需要用到照相机，但是在煤矿井下存在瓦斯、煤尘等易燃易爆气体或物质，井下设备在正常运行或故障时会产生具有热能量的电火花、电弧、热表面和灼热颗粒等，可能成为点燃矿井下瓦斯、煤尘的点火源和热源的因素，普通的照相机没有经过防爆技术的升级，有可能产生火花，从而导致矿井下发生爆炸的危险，而防爆相机可以在煤矿下使用，用于煤矿灾害事故勘察取证和日常地质编录，井下记录生产安全情况、机电设备运行状态、顶板支护情况和地质特征等，因此可以利用防爆相机采集煤矿井下视频图像。
根据本公开的实施例，通过使用防爆相机来采集目标区域的各视频帧，避免使用普通相机可能造成的煤矿井下发生爆炸的危险，提高煤矿井下作业的安全性，且减少视频帧的损失，进而提高对煤矿井下的人员目标跟踪的效率。
在一些实施例中，所述方法还包括：通过双边滤波算法对各所述视频帧进行预处理；将预处理后的各所述视频帧的格式由RGB图像转换为灰度图像。
根据本公开的实施例，通过双边滤波算法对各所述视频帧进行预处理，实现在保留边界信息的同时去除噪声，并消除外界干扰造成的影响，增强后续分析的准确性。
S102，判断各所述视频帧的闭合边缘区域是否为人体区域。
在一些实施例中，所述判断各所述视频帧的闭合边缘区域是否为人体区域，包括：根据当前视频帧、上一视频帧，通过帧间差分法得到对应的差分图像；根据所述差分图像，通过Canny算子获取各闭合边缘区域；根据所述闭合边缘区域的面积、所述差分图像的面积，计算得到人体区域可能值。例如，假设第i帧第j个闭合边缘区域对应的最小外接矩形中含有个像素点，则所述最小外接矩形的面积可以用像素点的个数/>来近似表示，则人体区域可能值可以为：
其中，为第i帧第j个闭合边缘区域对应的最小外接矩形的人体区域可能值；/>为第i帧第j个闭合边缘区域对应的最小外接矩形在整幅图像中的面积占比；由于与空气中浮动的杂质相比，人体面积相对较大，因此面积越大，越可能为人体，人体区域可能值/>越高。
在一些实施例中，若人体区域可能值大于等于预设可能值，则所述闭合边缘区域为人体区域。例如，第i帧第j个闭合边缘区域对应的最小外接矩形的人体区域二值判断数/>可以为：
其中，为预设可能值；/>表示第i帧第j个闭合边缘区域为人体区域；/>表示第i帧第j个闭合边缘区域为非人体区域。
S103，根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度。
在一些实施例中，所述根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度，包括：创建移动窗口，所述移动窗口的中心点为所述视频帧中人体区域的中心位置，所述移动窗口的长度、宽度分别为所述视频帧中人体区域长度、宽度的两倍；根据所述移动窗口的光照分量最大值所在位置、所述人体区域的中心位置，得到人员与光照之间的距离；根据所述移动窗口的光照分量的最大值、均值，计算得到区域光照强度；根据所述人员与光照之间的距离、区域光照强度，计算得到区域光照复杂度。例如，人员与光照之间的距离可以为：
其中，为第i视频帧中第j个闭合边缘区域对应第k帧中移动窗口内的光照分量最大值所在位置的横坐标；/>为第i视频帧中第j个闭合边缘区域对应第k帧中移动窗口内的光照分量最大值所在位置的纵坐标；/>为第i视频帧中第j个闭合边缘区域的最小外接矩形对角线交叉点的横坐标；/>为第i视频帧中第j个闭合边缘区域的最小外接矩形对角线交叉点的纵坐标。
在一些实施例中，区域光照强度可以为：
其中，为第i视频帧中第j个闭合边缘区域对应第k帧中移动窗口内的像素点的数量；/>为像素点/>处的光照分量；/>为第i视频帧中第j个闭合边缘区域对应第k帧中移动窗口内的光照分量的最大值；/>为该移动窗口内光照分量的均值。
根据本公开的实施例，通过对区域光照强度的计算，实现对光照分量的最大值和平均值的同时处理，避免光照分布不均匀、光照分量最大值处被遮挡造成的光照强度的计算误差，提高对人员目标跟踪效率。
在一些实施例中，所述根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度，还包括：通过HOG算子对所述人体区域的梯度幅值和方向进行统计，得到直方图；根据所述直方图，计算得到所述人员姿态复杂度。例如，第i视频帧中第j个闭合边缘区域对应第k帧中移动窗口内的人员姿态复杂度可以为：
为经过归一化的直方图向量/>；/>为直方图向量/>中数值的数量。
在一些实施例中，第i视频帧中第j个闭合边缘区域的区域光照复杂度可以为：/>，/>为第i视频帧中第j个闭合边缘区域的人员与光照之间的距离，距离越大时，光照对人员目标的角点检测产生的影响越小，区域光照复杂度越小。
在一些实施例中，所述根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度，还包括：通过pearson相关性分析方法对预设帧数的视频帧中人体区域对应的人员与光照之间的距离、区域光照强度、人员姿态复杂度进行分析，得到光照姿态相关性矩阵；根据所述光照姿态相关性矩阵，计算得到光照姿态相关度。例如，第i视频帧中第j个闭合边缘区域的光照姿态相关度可以为：
为光照姿态相关性矩阵中第m个因子和第n个因子之间的相关性系数，为所述光照姿态相关性矩阵中因子的个数。
在一些实施例中，所述光照姿态相关性矩阵的元素为人员与光照之间的距离、区域光照强度之间的相关性系数或区域光照强度、人员姿态复杂度之间的相关性系数或人员与光照之间的距离、人员姿态复杂度之间的相关性系数。
在一些实施例中，若所述相关性系数大于-1且小于0，则人员与光照之间的距离、区域光照强度之间负相关或区域光照强度、人员姿态复杂度之间负相关或人员与光照之间的距离、人员姿态复杂度之间负相关；若所述相关性系数大于0且小于1，则人员与光照之间的距离、区域光照强度之间正相关或区域光照强度、人员姿态复杂度之间正相关或人员与光照之间的距离、人员姿态复杂度之间正相关；若所述相关性系数等于0，则人员与光照之间的距离、区域光照强度之间不相关或区域光照强度、人员姿态复杂度之间不相关或人员与光照之间的距离、人员姿态复杂度之间不相关。
S104，根据所述区域光照复杂度、人员姿态复杂度、光照姿态相关度，计算得到对应的滑动窗口系数。
在一些实施例中，滑动窗口系数可以为：
N为第i帧差分图像中闭合边缘区域的数量。
S105，根据所述滑动窗口系数、预设初始滑动窗口长度，通过Harris角点检测算法对所述视频帧进行人员目标跟踪。
在一些实施例中，所述预设初始滑动窗口长度的设置步骤为：获取所述视频帧的尺寸；根据所述尺寸，计算得到所述预设初始滑动窗口长度。例如，第i帧滑动窗口的实际长度可以为：
为滑动窗口的初始长度，其大小根据图像的尺寸而定。
根据本公开的实施例，通过对滑动窗口的实际长度的调整，减小因光照影响造成的误差、减小计算量、避免在较大相关度下因素发生变化，提高了对人员目标的跟踪效率。
本公开的实施例通过采集目标区域的各视频帧；判断各所述视频帧的闭合边缘区域是否为人体区域；根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度；根据所述区域光照复杂度、人员姿态复杂度、光照姿态相关度，计算得到对应的滑动窗口系数；根据所述滑动窗口系数、预设初始滑动窗口长度，通过Harris角点检测算法对所述视频帧进行人员目标跟踪，实现对使用Harris角点检测算法时的滑动窗口的动态调整，提高对煤矿井下人员目标跟踪的跟踪效率。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本公开并不受所描述的动作顺序的限制，因为依据本公开，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本公开所必须的。
以上是关于方法实施例的介绍，以下通过装置实施例，对本公开所述方案进行进一步说明。
图2示出了根据本公开实施例的一种煤矿井下人员目标跟踪装置200的方框图，该装置200包括：
采集模块201，用于采集目标区域的各视频帧；
判断模块202，用于判断各所述视频帧的闭合边缘区域是否为人体区域；
第一计算模块203，用于根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度；
第二计算模块204，用于根据所述区域光照复杂度、人员姿态复杂度、光照姿态相关度，计算得到对应的滑动窗口系数；
跟踪模块205，用于根据所述滑动窗口系数、预设初始滑动窗口长度，通过Harris角点检测算法对所述视频帧进行人员目标跟踪。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
图3示出了可以用来实施本公开实施例的电子设备300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。
电子设备300包括计算单元301，其可以根据存储在ROM302中的计算机程序或者从存储单元308加载到RAM303中的计算机程序，来执行各种适当的动作和处理。在RAM303中，还可存储电子设备300操作所需的各种程序和数据。计算单元301、ROM302以及RAM303通过总线304彼此相连。I/O接口305也连接至总线304。
电子设备300中的多个部件连接至I/O接口305，包括：输入单元306，例如键盘、鼠标等；输出单元307，例如各种类型的显示器、扬声器等；存储单元308，例如磁盘、光盘等；以及通信单元309，例如网卡、调制解调器、无线通信收发机等。通信单元309允许电子设备300通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元301可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元301的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元301执行上文所描述的各个方法和处理，例如煤矿井下人员目标跟踪方法。例如，在一些实施例中，煤矿井下人员目标跟踪方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元308。在一些实施例中，计算机程序的部分或者全部可以经由ROM302和/或通信单元309而被载入和/或安装到电子设备300上。当计算机程序加载到RAM303并由计算单元301执行时，可以执行上文描述的煤矿井下人员目标跟踪方法的一个或多个步骤。备选地，在其他实施例中，计算单元301可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行煤矿井下人员目标跟踪方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、现场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用的程序。可读存储介质可以是机器可读信号介质或机器可读储存介质。可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者触觉输入）来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上述的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (7)
1.一种煤矿井下人员目标跟踪方法，包括：
采集目标区域的各视频帧；
判断各所述视频帧的闭合边缘区域是否为人体区域；
根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度；
根据所述区域光照复杂度、人员姿态复杂度、光照姿态相关度，计算得到各视频帧对应的滑动窗口系数；
根据所述滑动窗口系数、预设初始滑动窗口长度，通过Harris角点检测算法对所述视频帧进行人员目标跟踪；
所述根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度，包括：
创建移动窗口，所述移动窗口的中心点为所述视频帧中人体区域的中心位置，所述移动窗口的长度、宽度分别为所述视频帧中人体区域长度、宽度的两倍；
根据所述移动窗口的光照分量最大值所在位置、所述人体区域的中心位置，得到人员与光照之间的距离；
根据所述移动窗口的光照分量的最大值、均值，计算得到区域光照强度，区域光照强度具体为：
其中，为第i视频帧中第j个闭合边缘区域对应第k帧中移动窗口内的像素点的数量；/>为像素点/>处的光照分量；/>为第i视频帧中第j个闭合边缘区域对应第k帧中移动窗口内的光照分量的最大值；/>为该移动窗口内光照分量的均值；
根据所述人员与光照之间的距离、区域光照强度，计算得到区域光照复杂度，第i视频帧中第j个闭合边缘区域的区域光照复杂度为：/>，式中/>为第i视频帧中第j个闭合边缘区域的人员与光照之间的距离，/>为第i视频帧中第j个闭合边缘区域的区域光照强度；
所述根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度，还包括：
通过HOG算子对所述人体区域的梯度幅值和方向进行统计，得到直方图；
根据所述直方图，计算得到所述人员姿态复杂度，第i视频帧中第j个闭合边缘区域对应第k帧中移动窗口内的人员姿态复杂度可以为：
为经过归一化的直方图向量/>；/>为直方图向量/>中数值的数量；
所述根据各所述视频帧中人体区域，计算得到对应的区域光照复杂度、人员姿态复杂度、光照姿态相关度，还包括：
通过pearson相关性分析方法对预设帧数的视频帧中人体区域对应的人员与光照之间的距离、区域光照强度、人员姿态复杂度进行分析，得到光照姿态相关性矩阵；
根据所述光照姿态相关性矩阵，计算得到光照姿态相关度，第i视频帧中第j个闭合边缘区域的光照姿态相关度可以为：/>
为光照姿态相关性矩阵中第m个因子和第n个因子之间的相关性系数，/>为所述光照姿态相关性矩阵中因子的个数；
滑动窗口系数为：
N为第i帧差分图像中闭合边缘区域的数量，为自然常数。
2.根据权利要求1所述的一种煤矿井下人员目标跟踪方法，其特征在于，所述判断各所述视频帧的闭合边缘区域是否为人体区域，包括：
根据当前视频帧、上一视频帧，通过帧间差分法得到对应的差分图像；
根据所述差分图像，通过Canny算子获取各闭合边缘区域；
根据所述闭合边缘区域的面积、所述差分图像的面积，计算得到人体区域可能值；
若所述人体区域可能值大于等于预设可能值，则所述闭合边缘区域为人体区域。
3.根据权利要求1所述的一种煤矿井下人员目标跟踪方法，其特征在于，所述光照姿态相关性矩阵的元素为人员与光照之间的距离、区域光照强度之间的相关性系数或区域光照强度、人员姿态复杂度之间的相关性系数或人员与光照之间的距离、人员姿态复杂度之间的相关性系数。
4.根据权利要求3所述的一种煤矿井下人员目标跟踪方法，其特征在于：
若所述相关性系数大于-1且小于0，则人员与光照之间的距离、区域光照强度之间负相关或区域光照强度、人员姿态复杂度之间负相关或人员与光照之间的距离、人员姿态复杂度之间负相关；
若所述相关性系数大于0且小于1，则人员与光照之间的距离、区域光照强度之间正相关或区域光照强度、人员姿态复杂度之间正相关或人员与光照之间的距离、人员姿态复杂度之间正相关；
若所述相关性系数等于0，则人员与光照之间的距离、区域光照强度之间不相关或区域光照强度、人员姿态复杂度之间不相关或人员与光照之间的距离、人员姿态复杂度之间不相关。
5.根据权利要求1所述的一种煤矿井下人员目标跟踪方法，其特征在于，所述方法还包括：
通过双边滤波算法对各所述视频帧进行预处理；
将预处理后的各所述视频帧的格式由RGB图像转换为灰度图像。
6.根据权利要求1所述的一种煤矿井下人员目标跟踪方法，其特征在于，通过使用防爆相机来采集目标区域的各视频帧。
7.根据权利要求1所述的一种煤矿井下人员目标跟踪方法，其特征在于，所述预设初始滑动窗口长度的设置步骤为：
获取所述视频帧的尺寸；
根据所述尺寸，计算得到所述预设初始滑动窗口长度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311068112.6A CN116778532B (zh) | 2023-08-24 | 2023-08-24 | 一种煤矿井下人员目标跟踪方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311068112.6A CN116778532B (zh) | 2023-08-24 | 2023-08-24 | 一种煤矿井下人员目标跟踪方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116778532A CN116778532A (zh) | 2023-09-19 |
| CN116778532B true CN116778532B (zh) | 2023-11-07 |
Family
ID=87989864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311068112.6A Active CN116778532B (zh) | 2023-08-24 | 2023-08-24 | 一种煤矿井下人员目标跟踪方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116778532B (zh) |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136076A (zh) * | 2011-03-14 | 2011-07-27 | 徐州中矿大华洋通信设备有限公司 | 基于安全帽检测的煤矿井下人员定位与跟踪方法 |
| CN103400117A (zh) * | 2013-07-29 | 2013-11-20 | 电子科技大学 | 一种基于计算机视觉的井下人员定位跟踪方法 |
| CN104100256A (zh) * | 2013-04-15 | 2014-10-15 | 西安科技大学 | 基于图像处理技术的煤矿井下钻孔深度测量方法 |
| CN104331910A (zh) * | 2014-11-24 | 2015-02-04 | 沈阳建筑大学 | 一种基于机器视觉的轨道障碍物检测系统 |
| CN105825524A (zh) * | 2016-03-10 | 2016-08-03 | 浙江生辉照明有限公司 | 目标跟踪方法和装置 |
| CN108154159A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于多级检测器的具有自恢复能力的目标跟踪方法 |
| CN108596946A (zh) * | 2018-03-21 | 2018-09-28 | 中国航空工业集团公司洛阳电光设备研究所 | 一种运动目标实时检测方法及系统 |
| WO2020107716A1 (zh) * | 2018-11-30 | 2020-06-04 | 长沙理工大学 | 目标图像分割方法、装置及设备 |
| CN111862209A (zh) * | 2020-06-23 | 2020-10-30 | 北京轩宇空间科技有限公司 | 用于目标跟踪的方法及装置、成像式导引头 |
| WO2021008019A1 (zh) * | 2019-07-18 | 2021-01-21 | 平安科技（深圳）有限公司 | 姿态跟踪方法、装置及计算机可读存储介质 |
| CN113011231A (zh) * | 2019-12-20 | 2021-06-22 | 舜宇光学（浙江）研究院有限公司 | 分类滑窗方法和slam定位方法及其系统和电子设备 |
| CN116050277A (zh) * | 2023-02-03 | 2023-05-02 | 北京天玛智控科技股份有限公司 | 一种煤矿井下场景现实捕捉感知及仿真方法及设备 |
| CN116543171A (zh) * | 2023-03-24 | 2023-08-04 | 维森视觉丹阳有限公司北京分公司 | 目标检测方法、装置和电子设备 |
| CN116612119A (zh) * | 2023-07-20 | 2023-08-18 | 山东行创科技有限公司 | 基于机器视觉的机床用钻头工作状态图像检测方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10402196B2 (en) * | 2015-05-11 | 2019-09-03 | Ceva D.S.P. Ltd. | Multi-dimensional sliding window operation for a vector processor, including dividing a filter into a plurality of patterns for selecting data elements from a plurality of input registers and performing calculations in parallel using groups of the data elements and coefficients |
| US20190182456A1 (en) * | 2016-08-30 | 2019-06-13 | Xinova, LLC | Joint attention estimation using structured light |
-
2023
- 2023-08-24 CN CN202311068112.6A patent/CN116778532B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102136076A (zh) * | 2011-03-14 | 2011-07-27 | 徐州中矿大华洋通信设备有限公司 | 基于安全帽检测的煤矿井下人员定位与跟踪方法 |
| CN104100256A (zh) * | 2013-04-15 | 2014-10-15 | 西安科技大学 | 基于图像处理技术的煤矿井下钻孔深度测量方法 |
| CN103400117A (zh) * | 2013-07-29 | 2013-11-20 | 电子科技大学 | 一种基于计算机视觉的井下人员定位跟踪方法 |
| CN104331910A (zh) * | 2014-11-24 | 2015-02-04 | 沈阳建筑大学 | 一种基于机器视觉的轨道障碍物检测系统 |
| CN105825524A (zh) * | 2016-03-10 | 2016-08-03 | 浙江生辉照明有限公司 | 目标跟踪方法和装置 |
| CN108154159A (zh) * | 2017-12-25 | 2018-06-12 | 北京航空航天大学 | 一种基于多级检测器的具有自恢复能力的目标跟踪方法 |
| CN108596946A (zh) * | 2018-03-21 | 2018-09-28 | 中国航空工业集团公司洛阳电光设备研究所 | 一种运动目标实时检测方法及系统 |
| WO2020107716A1 (zh) * | 2018-11-30 | 2020-06-04 | 长沙理工大学 | 目标图像分割方法、装置及设备 |
| WO2021008019A1 (zh) * | 2019-07-18 | 2021-01-21 | 平安科技（深圳）有限公司 | 姿态跟踪方法、装置及计算机可读存储介质 |
| CN113011231A (zh) * | 2019-12-20 | 2021-06-22 | 舜宇光学（浙江）研究院有限公司 | 分类滑窗方法和slam定位方法及其系统和电子设备 |
| CN111862209A (zh) * | 2020-06-23 | 2020-10-30 | 北京轩宇空间科技有限公司 | 用于目标跟踪的方法及装置、成像式导引头 |
| CN116050277A (zh) * | 2023-02-03 | 2023-05-02 | 北京天玛智控科技股份有限公司 | 一种煤矿井下场景现实捕捉感知及仿真方法及设备 |
| CN116543171A (zh) * | 2023-03-24 | 2023-08-04 | 维森视觉丹阳有限公司北京分公司 | 目标检测方法、装置和电子设备 |
| CN116612119A (zh) * | 2023-07-20 | 2023-08-18 | 山东行创科技有限公司 | 基于机器视觉的机床用钻头工作状态图像检测方法 |
Non-Patent Citations (2)
| Title |
|---|
| 3D spatial-temporal view based motion tracing in human action recognition;Silambarasi R 等;《2017 International Conference on Communication and Signal Processing》;第1833-1837页 * |
| 矿井环境下机器人目标识别算法研究;巩固;《CNKI学位》;第2021年卷(第01期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116778532A (zh) | 2023-09-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108038846A (zh) | 基于多层卷积神经网络的输电线路设备图像缺陷检测方法及系统 | |
| CN111161292B (zh) | 一种矿石尺度测量方法及应用系统 | |
| CN112287875B (zh) | 异常车牌识别方法、装置、设备及可读存储介质 | |
| CN112528858A (zh) | 人体姿态估计模型的训练方法、装置、设备、介质及产品 | |
| CN116152254B (zh) | 工业泄露目标气体检测模型训练方法、检测方法、电子设备 | |
| CN113869449A (zh) | 一种模型训练、图像处理方法、装置、设备及存储介质 | |
| CN116703919A (zh) | 一种基于最优传输距离损失模型的表面杂质检测方法 | |
| Li et al. | Multiple factors influence coal and gangue image recognition method and experimental research based on deep learning | |
| Zheng et al. | A lightweight algorithm capable of accurately identifying forest fires from UAV remote sensing imagery | |
| CN113569912A (zh) | 车辆识别方法、装置、电子设备及存储介质 | |
| CN113569911A (zh) | 车辆识别方法、装置、电子设备及存储介质 | |
| CN116778532B (zh) | 一种煤矿井下人员目标跟踪方法 | |
| CN112488213A (zh) | 一种基于多尺度特征学习网络的火灾图片分类方法 | |
| CN109409224B (zh) | 一种自然场景火焰检测的方法 | |
| Nazib et al. | Object detection and tracking in night time video surveillance | |
| Dai et al. | Cascade centernet: Robust object detection for power line surveillance | |
| CN116543333A (zh) | 电力系统的目标识别方法、训练方法、装置、设备和介质 | |
| Gao et al. | A coal and gangue detection method for low light and dusty environments | |
| CN105718881B (zh) | 基于红外视频灰度图像的零照度环境烟尘监测方法 | |
| CN113963017A (zh) | 一种实时红外弱小目标检测方法、装置和计算机设备 | |
| Feng et al. | Gabor-YOLONet: A lightweight and efficient detection network for low-voltage power lines from unmanned aerial vehicle images | |
| Rathod et al. | CUSTOM OBJECT DETECTION, TRACKING AND WEB API WITH YOLO AND FLASK USING DARKNET NEURAL NETWORK FRAMEWORK | |
| CN113177481B (zh) | 目标检测方法、装置、电子设备及存储介质 | |
| Hu et al. | Vehicle detection in dark weather based on YOLO and MSRCR method | |
| CN116958526A (zh) | 目标检测模型训练方法、装置、设备以及目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |