CN117132936A - 煤炭板块自建系统数据梳理及数据接入系统 - Google Patents

煤炭板块自建系统数据梳理及数据接入系统 Download PDF

Info

Publication number
CN117132936A
CN117132936A CN202311114294.6A CN202311114294A CN117132936A CN 117132936 A CN117132936 A CN 117132936A CN 202311114294 A CN202311114294 A CN 202311114294A CN 117132936 A CN117132936 A CN 117132936A
Authority
CN
China
Prior art keywords
data
video
condition
joint point
abnormality determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311114294.6A
Other languages
English (en)
Other versions
CN117132936B (zh
Inventor
李巍
李森
孟丽娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongdiantuofang Technology Co ltd
Original Assignee
Beijing Zhongdiantuofang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongdiantuofang Technology Co ltd filed Critical Beijing Zhongdiantuofang Technology Co ltd
Priority to CN202311114294.6A priority Critical patent/CN117132936B/zh
Publication of CN117132936A publication Critical patent/CN117132936A/zh
Application granted granted Critical
Publication of CN117132936B publication Critical patent/CN117132936B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/75—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G06F16/784—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content the detected or recognised objects being people
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Primary Health Care (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Mining & Mineral Resources (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数据处理领域，尤其涉及一种煤炭板块自建系统数据梳理及数据接入系统，本发明通过设置检测模块、数据存储模块以及数据处理模块，数据处理模块每隔预设时间段接收检测模块所检测的数据得到监控视频段，基于获取的监控视频段中各视频帧的图像特征判定监控视频段的图像帧相似状况，在第一图像帧相似状况下，随机提取监控视频段中的视频帧进行异常判定，获取异常判定结果，并将已提取视频帧的异常判定结果确定为剩余视频帧的异常判定结果，在第二图像帧相似状况下，逐个提取监控视频段中的视频帧进行异常判定，获取异常判定结果，在提高可靠性的前提下减少数据运算数量，提高了系统的数据处理效率。

Description

煤炭板块自建系统数据梳理及数据接入系统
技术领域
本发明涉及数据处理领域，尤其涉及一种煤炭板块自建系统数据梳理及数据接入系统。
背景技术
我国煤矿作业多集中在井下，由于井下环境恶劣、地质条件特殊，建立稳定可靠的井下监测系统对于矿山安全管理具有重要意义。
中国专利公开号：CN109779685A，公开了如下内容，该发明涉及煤矿安全技术领域，尤其涉及一种煤矿安全监控系统，包括报警模块、矿内监测模块、矿外监测模块、网络信息采集模块和数据处理模块，所述报警模块与数据处理模块的输出端相连接，报警模块用于执行数据处理模块的指令，所述矿内监测模块的输出端与数据处理模块的输入端相连接，数据处理模块能够对矿内监测模块采集的数据进行处理，所述矿外监测模块与数据处理模块相连接，数据处理模块够对矿内监测模块采集的数据进行处理并对矿外监测模块发出指令，该装置能够对矿道内和矿洞外进行实时、全面的监测，有效的提高了系统的安全性，且能够适当的节约能源。
但是，现有技术中，还存在以下问题：
在现有技术中，在大范围的监控系统中数据运算量较大，会造成运算符合，现有技术中未根据监控视频中各视频帧的相似度对监控视频进行分类，并在解析视频帧中的异常时采用不同的抽取方式，在提高可靠性的前提下减少数据运算数量，以减少系统载荷，提高系统的数据处理效率。
发明内容
为解决上述问题，本发明提供一种煤炭板块自建系统数据梳理及数据接入系统，其包括：
检测模块，其包括设置在煤矿井下各区域用以采集对应区域图像的若干图像采集单元；
数据存储模块，其包括异常动作数据库，所述异常动作数据库中储存有若干异常动作数据集合，异常动作数据集合中储存有异常动作对应的若干关节点连线图；
数据处理模块，其包括相互连接的数据接入单元、数据梳理单元、第一异常判定单元以及第二异常判定单元，
所述数据接入单元与所述检测模块连接，用以每隔预设时间段接收所述检测模块所检测的数据，以得到监控视频段；
所述数据梳理单元用以基于所述数据接入单元获取的所述监控视频段中各视频帧的图像特征判定监控视频段的图像帧相似状况；
所述第一异常判定单元用以处理第一图像帧相似状况的监控视频段，随机提取所述监控视频段中的视频帧，并对已提取视频帧进行异常判定，获取异常判定结果，且，将所述已提取视频帧的异常判定结果确定为剩余视频帧的异常判定结果；
所述第二异常判定单元用以处理第二图像帧相似状况的监控视频段，逐个提取所述监控视频段中的视频帧，并对已提取视频帧进行异常判定，获取异常判定结果；
其中，所述第一异常判定单元或/和所述第二异常判定单元进行异常判定时包括构建视频帧中全部人物轮廓对应的关节点连线图，将人物轮廓的关节点连线图与异常动作数据集合中储存的异常动作对应的若干关节点连线图进行对比，以基于对比结果判定所述视频帧中是否存在异常动作。
进一步地，所述数据梳理单元提取所述监控视频段中各视频帧的图像特征，所述图像特征包括视频帧中各像素点的平均亮度以及各像素点的平均色度，所述数据梳理单元按照公式(1)计算所述监控视频段中全部视频帧的平均亮度参数△L，按照公式(2)计算所述监控视频段中全部视频帧的平均色度参数△S，
公式(1)中，L i表示所述监控视频段中第i个视频帧的平均亮度，n表示所述监控视频段中视频帧的数量，i表示大于0的整数；
公式(2)中，Si表示所述监控视频段中第i个视频帧的平均色度。
并且，所述数据梳理单元逐个计算所述监控视频段中的视频帧中人物轮廓与剩余视频帧中人物轮廓的重合度平均值E，按照公式(3)求解重合度平均值参数；
公式(3)中，Ei表示所述监控视频段中第i个视频帧中人物轮廓与剩余视频帧中人物轮廓的重合度平均值。
进一步地，所述数据梳理单元按照公式(4)计算视频帧的亮度值L与所述平均亮度参数△L的差值△L’，
△L’＝|L-△L| (4)
按照公式(5)计算视频帧的色度值S与所述平均色度参数△S的差值△S’，
△S’＝|S-△S| (5)
并且，按照公式(6)计算视频帧的重合度平均值E与重合度平均值参数ΔE的差值ΔE’
ΔE’＝|E-ΔE’ | (6)
按照公式(7)计算所述监控视频段中视频帧的图像特征参量K，
公式(7)中，△L0’表示预设的亮度差值对比参量，△S0’表示预设的色度差值对比参量，△M0’表示预设的面积差值对比参量，ΔE0’表示预设的重合度平均值对比参量。
进一步地，所述数据梳理单元将所述图像特征参量K与预设的图像特征对比阈值K0进行对比，并根据对比结果判定所述视频帧的差异状况，其中，
若对比结果满足第一参量条件，所述数据梳理单元判定所述视频帧的差异状况为第一差异状况；
若对比结果满足第二参量条件，所述数据梳理单元判定所述视频帧的差异状况为第二差异状况；
其中，所述第一参量条件为K＜K0，所述第二参量条件为K≥K0。
进一步地，所述数据梳理单元根据所述监控视频段中的视频帧判定所述监控视频段的图像帧相似状况，其中，
在第一条件下，所述数据梳理单元判定所述监控视频段的图像帧相似状况为第一图像帧相似状况；
在第二条件下，所述数据梳理单元判定所述监控视频段的图像帧相似状况为第二图像帧相似状况；
其中，所述第一条件为所述监控视频段中的视频帧的差异状况均为第一差异状况，所述第二条件为所述监控视频段中的存在差异状况为第二差异状况的视频帧。
进一步地，所述第一异常判定单元构建所述视频帧中的全部人物轮廓对应的关节点连线图，其中，
所述第一运算单元逐个确定人物轮廓的各部位的关节点，并将各关节点连接构成所述人物轮廓的关节点连线图。
进一步地，所述第一异常判定单元将人物轮廓的关节点连线图与异常动作数据集合中储存的异常动作对应的若干关节点连线图进行对比，其中，
所述第一异常判定单元建立坐标系，在所述坐标系中将胸腔部位关节点作为原点对应构建所述人物轮廓的关节点连线图以及所述异常动作对应的关节点连线图，并依次确定不同部位的人物轮廓的关节点以及异常动作所对应的关节点与坐标原点连线所构成的夹角A。
进一步地，所述第一异常判定单元按照公式(8)计算关节点重合度C，按照公式(9)计算关节点重合度的平均值△C，
公式(8)中，Ai表示第i位置所对应的人物轮廓的关节点以及异常动作所对应的关节点与坐标原点连线所构成的夹角，m表示关节位置的数量；
公式(9)中，Cr表示所述人物轮廓的关节点连线图与所述异常动作所对应的各关节点连线图的关节点重合度的和，r表示所述异常动作所对应的异常动作数据集合中关节点连线图的数量。
进一步地，所述第一异常判定单元将所述关节点重合度的平均值△C与预设的重合度对比阈值△C0进行对比，并根据对比结果判定所述人物轮廓所对应的动作是否为异常动作，其中，
在预设重合度对比条件下，所述第一异常判定单元判定所述人物轮廓所对应的动作为异常动作；
其中，所述预设重合度对比条件为△C≥△C0。
进一步地，所述第一异常判定单元根据所述视频帧中的全部人物轮廓判定所述视频帧中是否存在异常动作，其中，
在预设条件下，所述第一异常判定单元判定所述视频帧中存在异常动作；
其中，所述预设条件为所述视频帧中存在人物轮廓所对应的动作为异常动作。
与现有技术相比，本发明通过设置检测模块、数据存储模块以及数据处理模块，数据处理模块每隔预设时间段接收检测模块所检测的数据得到监控视频段，基于获取的监控视频段中各视频帧的图像特征判定监控视频段的图像帧相似状况，在第一图像帧相似状况下，随机提取监控视频段中的视频帧进行异常判定，获取异常判定结果，并将已提取视频帧的异常判定结果确定为剩余视频帧的异常判定结果，在第二图像帧相似状况下，逐个提取监控视频段中的视频帧进行异常判定，获取异常判定结果，在提高可靠性的前提下减少数据运算数量，提高了系统的数据处理效率。
尤其，本发明中，数据梳理单元基于数据接入单元获取的监控视频段中各视频帧的图像特征判定监控视频段的图像帧相似状况，在实际情况中，图像特征参量由视频帧的亮度值与平均亮度值的差值、视频帧的色度值与平均色度值的差值以及视频帧中全部人物轮廓的面积与平均面积的差值计算所得，表征了视频帧与监控视频段中全部视频帧的平均亮度值、平均色度值以及人物轮廓的平均面积的差异性，根据差异性的大小可靠地将监控视频段划分为两种不同的图像帧相似状况，保证后续针对不同的图像帧相似状况采用不同的数据处理方式，保证了煤炭板块自建系统的数据处理效率与效果。
尤其，本发明中，第一异常判定单元在第一图像帧相似状况下，随机提取监控视频段中的视频帧进行异常判定，并将已提取视频帧的异常判定结果确定为剩余视频帧的异常判定结果，在各视频帧与监控视频段中全部视频帧的平均亮度值、平均色度值以及人物轮廓的平均面积的差异性都较小的第一图像帧相似状况下，各视频帧之间的差异性较小，只需对监控视频段中的任意一视频帧进行异常判定，且异常判定结果能可靠地作为剩余视频帧的异常判定结果，在提高可靠性的前提下减少了数据运算数量，提高了系统的数据处理效率。
尤其，本发明中，第二异常判定单元在第二图像帧相似状况下，逐个提取监控视频段中的视频帧，并对已提取视频帧进行异常判定，获取异常判定结果，在存在视频帧与监控视频段中全部视频帧的平均亮度值、平均色度值以及人物轮廓的平均面积的差异性较大的第二图像帧相似状况下，由于存在差异性较大的视频帧，为保证煤矿井下的安全，对监控视频段中的全部视频帧进行异常判定，提高了煤炭板块的安全性。
尤其，本发明中，第一异常判定单元或/和所述第二异常判定单元构建视频帧中全部人物轮廓对应的关节点连线图，将人物轮廓的关节点连线图与异常动作数据集合中储存的异常动作对应的若干关节点连线图进行对比，以基于对比结果判定人物轮廓所对应的动作是否为异常动作，在实际情况中，由于胸腔部位关节点是人体各关节点的中心位置，因此，将人物轮廓构成的关节点连线图与数据存储模块中储存的各异常动作对应的关节点连线图进行对比时，在坐标系中以胸腔部位关节点为原点构建人物轮廓的关节点连线图与异常动作对应的关节点连线图，由于人物体型体态状况的不同，做出同一动作时对应的关节点连线图也会有所差异，因此，利用同一位置的人物轮廓的关节点以及异常动作所对应关节点与原点的夹角进行比较能够体现出关节点连线图的差异性，两条连接线出现大于零的夹角，则表明动作出现差异，因此本发明通过以不同部位的人物轮廓的关节点以及异常动作所对应的关节点与坐标原点构成的夹角的平均值计算关节点重合度，以表征人物轮廓的关节点连线图与异常动作对应的关节点连线图重合度的大小，并计算人物轮廓的关节点连线图与异常动作对应的异常动作数据集合中各关节点连线图的关节点重合度的平均值，以表征人物轮廓的关节点连线图与异常动作对应的异常动作数据集合的重合度的大小，进而精准确定出人物轮廓所对应的动作是否为异常动作，数据运算更为快捷，并且能保证异常动作识别的准确性，进而提高了煤炭板块的监控效果。
附图说明
图1为发明实施例的煤炭板块自建系统数据梳理及数据接入系统结构示意图；
图2为发明实施例的数据处理模块结构简图。
具体实施方式
为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。
需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。
请参阅图1以及图2所示，其为本发明实施例的煤炭板块自建系统数据梳理及数据接入系统结构示意图以及数据处理模块结构简图，本发明的煤炭板块自建系统数据梳理及数据接入系统包括：
检测模块，其包括设置在煤矿井下各区域用以采集对应区域图像的若干图像采集单元；
数据存储模块，其包括异常动作数据库，所述异常动作数据库中储存有若干异常动作数据集合，异常动作数据集合中储存有异常动作对应的若干关节点连线图；
数据处理模块，其包括相互连接的数据接入单元、数据梳理单元、第一异常判定单元以及第二异常判定单元，
所述数据接入单元与所述检测模块连接，用以每隔预设时间段接收所述检测模块所检测的数据，以得到监控视频段；
所述数据梳理单元用以基于所述数据接入单元获取的所述监控视频段中各视频帧的图像特征判定监控视频段的图像帧相似状况；
所述第一异常判定单元用以处理第一图像帧相似状况的监控视频段，随机提取所述监控视频段中的视频帧，并对已提取视频帧进行异常判定，获取异常判定结果，且，将所述已提取视频帧的异常判定结果确定为剩余视频帧的异常判定结果；
所述第二异常判定单元用以处理第二图像帧相似状况的监控视频段，逐个提取所述监控视频段中的视频帧，并对已提取视频帧进行异常判定，获取异常判定结果；
其中，所述第一异常判定单元或/和所述第二异常判定单元进行异常判定时包括构建视频帧中全部人物轮廓对应的关节点连线图，将人物轮廓的关节点连线图与异常动作数据集合中储存的异常动作对应的若干关节点连线图进行对比，以基于对比结果判定所述视频帧中是否存在异常动作。
具体而言，所述关节点连线图中的关节点包括胸腔位置关节点、第一肘部位置关节点、第二肘部位置关节点、第一腕部位置关节点、第二腕部位置关节点、第一膝部位置关节点、第二膝部位置关节点、第一踝部位置关节点以及第二踝部位置关节点。
具体而言，还包括报警装置，所述报警装置与所述第一异常判定单元以及第二异常判定单元连接，以使所述报警装置在视频帧中存在异常动作时发出警示消息。
具体而言，本发明对图像采集单元的具体结构不做限定，其可以是CCD工业相机，其只需能完成采集煤矿井下各区域图像的功能即可，其为现有技术此处不再赘述。
具体而言，本发明对数据存储模块的具体形式不做限定，其可以是具有数据存储功能的数据库，其只需能完成存储关节点连线图的功能即可，此不再赘述。
具体而言，本发明对数据处理模块的具体形式不做限定，其可以为一外接计算机，其中的各单元可以是计算机中的功能程序，其只需能完成数据处理、数据接收以及数据发送的功能即可，其为现有的成熟技术此处不再赘述。
具体而言，本发明对报警装置的具体结构不做限定，其可以是设置在现场的发声单元，以便第一时间获取警示信息，其只需能完成报警的功能即可，其为现有技术，不再赘述。
具体而言，本发明对数据梳理单元获取视频帧的图像特征的具体方式不做限定，其可以是通过在数据梳理单元内预设图像处理算法，其只需能完成获取视频帧的图像特征的功能即可，其为现有成熟技术，此处不再赘述。
具体而言，所述数据梳理单元提取所述监控视频段中各视频帧的图像特征，所述图像特征包括视频帧中各像素点的平均亮度以及各像素点的平均色度，所述数据梳理单元按照公式(1)计算所述监控视频段中全部视频帧的平均亮度参数△L，按照公式(2)计算所述监控视频段中全部视频帧的平均色度参数△S，
公式(1)中，L i表示所述监控视频段中第i个视频帧的平均亮度，n表示所述监控视频段中视频帧的数量，i表示大于0的整数；
公式(2)中，Si表示所述监控视频段中第i个视频帧的平均色度。
并且，所述数据梳理单元逐个计算所述监控视频段中的视频帧中人物轮廓与剩余视频帧中人物轮廓的重合度平均值E，按照公式(3)求解重合度平均值参数；
公式(3)中，Ei表示所述监控视频段中第i个视频帧中人物轮廓与剩余视频帧中人物轮廓的重合度平均值。
具体而言，所述数据梳理单元按照公式(4)计算视频帧的亮度值L与所述平均亮度参数△L的差值△L’，
△L’＝|L-△L| (4)
按照公式(5)计算视频帧的色度值S与所述平均色度参数△S的差值△S’，
△S’＝|S-△S| (5)
并且，按照公式(6)计算视频帧的重合度平均值E与重合度平均值参数ΔE的差值ΔE’
ΔE’＝|E-ΔE’ | (6)
按照公式(7)计算所述监控视频段中视频帧的图像特征参量K，
公式(7)中，△L0’表示预设的亮度差值对比参量，△S0’表示预设的色度差值对比参量，△M0’表示预设的面积差值对比参量，ΔE0’表示预设的重合度平均值对比参量。
具体而言，所述数据梳理单元将所述图像特征参量K与预设的图像特征对比阈值K0进行对比，K0＞0，并根据对比结果判定所述视频帧的差异状况，其中，
若对比结果满足第一参量条件，所述数据梳理单元判定所述视频帧的差异状况为第一差异状况；
若对比结果满足第二参量条件，所述数据梳理单元判定所述视频帧的差异状况为第二差异状况；
其中，所述第一参量条件为K＜K0，所述第二参量条件为K≥K0。
具体而言，所述数据梳理单元根据所述监控视频段中的视频帧判定所述监控视频段的图像帧相似状况，其中，
在第一条件下，所述数据梳理单元判定所述监控视频段的图像帧相似状况为第一图像帧相似状况；
在第二条件下，所述数据梳理单元判定所述监控视频段的图像帧相似状况为第二图像帧相似状况；
其中，所述第一条件为所述监控视频段中的视频帧的差异状况均为第一差异状况，所述第二条件为所述监控视频段中的存在差异状况为第二差异状况的视频帧。
具体而言，本发明中，数据梳理单元基于数据接入单元获取的监控视频段中各视频帧的图像特征判定监控视频段的图像帧相似状况，在实际情况中，图像特征参量由视频帧的亮度值与平均亮度值的差值、视频帧的色度值与平均色度值的差值以及视频帧中全部人物轮廓的面积与平均面积的差值计算所得，表征了视频帧与监控视频段中全部视频帧的平均亮度值、平均色度值以及人物轮廓的平均面积的差异性，根据差异性的大小可靠地将监控视频段划分为两种不同的图像帧相似状况，保证后续针对不同的图像帧相似状况采用不同的数据处理方式，保证了煤炭板块自建系统的数据处理效率与效果。
具体而言，本发明中，第一异常判定单元在第一图像帧相似状况下，随机提取监控视频段中的视频帧进行异常判定，并将已提取视频帧的异常判定结果确定为剩余视频帧的异常判定结果，在各视频帧与监控视频段中全部视频帧的平均亮度值、平均色度值以及人物轮廓的平均面积的差异性都较小的第一图像帧相似状况下，各视频帧之间的差异性较小，只需对监控视频段中的任意一视频帧进行异常判定，且异常判定结果能可靠地作为剩余视频帧的异常判定结果，在提高可靠性的前提下减少了数据运算数量，提高了系统的数据处理效率。
具体而言，本发明中，第二异常判定单元在第二图像帧相似状况下，逐个提取监控视频段中的视频帧，并对已提取视频帧进行异常判定，获取异常判定结果，在存在视频帧与监控视频段中全部视频帧的平均亮度值、平均色度值以及人物轮廓的平均面积的差异性较大的第二图像帧相似状况下，由于存在差异性较大的视频帧，为保证煤矿井下的安全，对监控视频段中的全部视频帧进行异常判定，提高了煤炭板块的安全性。
具体而言，所述第一异常判定单元构建所述视频帧中的全部人物轮廓对应的关节点连线图，其中，
所述第一运算单元逐个确定人物轮廓的各部位的关节点，并将各关节点连接构成所述人物轮廓的关节点连线图。
具体而言，所述第一异常判定单元将人物轮廓的关节点连线图与异常动作数据集合中储存的异常动作对应的若干关节点连线图进行对比，其中，
所述第一异常判定单元建立坐标系，在所述坐标系中将胸腔部位关节点作为原点对应构建所述人物轮廓的关节点连线图以及所述异常动作对应的关节点连线图，并依次确定不同部位的人物轮廓的关节点以及异常动作所对应的关节点与坐标原点连线所构成的夹角A。
具体而言，所述第一异常判定单元按照公式(8)计算关节点重合度C，按照公式(9)计算关节点重合度的平均值△C，
公式(8)中，Ai表示第i位置所对应的人物轮廓的关节点以及异常动作所对应的关节点与坐标原点连线所构成的夹角，m表示关节位置的数量；
公式(9)中，Cr表示所述人物轮廓的关节点连线图与所述异常动作所对应的各关节点连线图的关节点重合度的和，r表示所述异常动作所对应的异常动作数据集合中关节点连线图的数量。
具体而言，所述第一异常判定单元将所述关节点重合度的平均值△C与预设的重合度对比阈值△C0进行对比，△C0＞0，并根据对比结果判定所述人物轮廓所对应的动作是否为异常动作，其中，
在预设重合度对比条件下，所述第一异常判定单元判定所述人物轮廓所对应的动作为异常动作；
其中，所述预设重合度对比条件为△C≥△C0。
具体而言，本发明中，第一异常判定单元或/和所述第二异常判定单元构建视频帧中全部人物轮廓对应的关节点连线图，将人物轮廓的关节点连线图与异常动作数据集合中储存的异常动作对应的若干关节点连线图进行对比，以基于对比结果判定人物轮廓所对应的动作是否为异常动作，在实际情况中，由于胸腔部位关节点是人体各关节点的中心位置，因此，将人物轮廓构成的关节点连线图与数据存储模块中储存的各异常动作对应的关节点连线图进行对比时，在坐标系中以胸腔部位关节点为原点构建人物轮廓的关节点连线图与异常动作对应的关节点连线图，由于人物体型体态状况的不同，做出同一动作时对应的关节点连线图也会有所差异，因此，利用同一位置的人物轮廓的关节点以及异常动作所对应关节点与原点的夹角进行比较能够体现出关节点连线图的差异性，两条连接线出现大于零的夹角，则表明动作出现差异，因此本发明通过以不同部位的人物轮廓的关节点以及异常动作所对应的关节点与坐标原点构成的夹角的平均值计算关节点重合度，以表征人物轮廓的关节点连线图与异常动作对应的关节点连线图重合度的大小，并计算人物轮廓的关节点连线图与异常动作对应的异常动作数据集合中各关节点连线图的关节点重合度的平均值，以表征人物轮廓的关节点连线图与异常动作对应的异常动作数据集合的重合度的大小，进而精准确定出人物轮廓所对应的动作是否为异常动作，数据运算更为快捷，并且能保证异常动作识别的准确性，进而提高了煤炭板块的监控效果。
具体而言，所述第一异常判定单元根据所述视频帧中的全部人物轮廓判定所述视频帧中是否存在异常动作，其中，
在预设条件下，所述第一异常判定单元判定所述视频帧中存在异常动作；
其中，所述预设条件为所述视频帧中存在人物轮廓所对应的动作为异常动作。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种煤炭板块自建系统数据梳理及数据接入系统，其特征在于，包括：
检测模块，其包括设置在煤矿井下各区域用以采集对应区域图像的若干图像采集单元；
数据存储模块，其包括异常动作数据库，所述异常动作数据库中储存有若干异常动作数据集合，异常动作数据集合中储存有异常动作对应的若干关节点连线图；
数据处理模块，其包括相互连接的数据接入单元、数据梳理单元、第一异常判定单元以及第二异常判定单元，
所述数据接入单元与所述检测模块连接，用以每隔预设时间段接收所述检测模块所检测的数据，以得到监控视频段；
所述数据梳理单元用以基于所述数据接入单元获取的所述监控视频段中各视频帧的图像特征判定监控视频段的图像帧相似状况；
所述第一异常判定单元用以处理第一图像帧相似状况的监控视频段，随机提取所述监控视频段中的视频帧，并对已提取视频帧进行异常判定，获取异常判定结果，且，将所述已提取视频帧的异常判定结果确定为剩余视频帧的异常判定结果；
所述第二异常判定单元用以处理第二图像帧相似状况的监控视频段，逐个提取所述监控视频段中的视频帧，并对已提取视频帧进行异常判定，获取异常判定结果；
其中，所述第一异常判定单元或/和所述第二异常判定单元进行异常判定时包括构建视频帧中全部人物轮廓对应的关节点连线图，将人物轮廓的关节点连线图与异常动作数据集合中储存的异常动作对应的若干关节点连线图进行对比，以基于对比结果判定所述视频帧中是否存在异常动作。
2.根据权利要求1所述的煤炭板块自建系统数据梳理及数据接入系统，其特征在于，所述数据梳理单元提取所述监控视频段中各视频帧的图像特征，所述图像特征包括视频帧中各像素点的平均亮度以及各像素点的平均色度，所述数据梳理单元按照公式(1)计算所述监控视频段中全部视频帧的平均亮度参数△L，按照公式(2)计算所述监控视频段中全部视频帧的平均色度参数△S，
公式(1)中，Li表示所述监控视频段中第i个视频帧的平均亮度，n表示所述监控视频段中视频帧的数量，i表示大于0的整数；
公式(2)中，Si表示所述监控视频段中第i个视频帧的平均色度。
并且，所述数据梳理单元逐个计算所述监控视频段中的视频帧中人物轮廓与剩余视频帧中人物轮廓的重合度平均值E，按照公式(3)求解重合度平均值参数；
公式(3)中，Ei表示所述监控视频段中第i个视频帧中人物轮廓与剩余视频帧中人物轮廓的重合度平均值。
3.根据权利要求2所述的煤炭板块自建系统数据梳理及数据接入系统，其特征在于，所述数据梳理单元按照公式(4)计算视频帧的亮度值L与所述平均亮度参数△L的差值△L’，
△L’＝|L-△L| (4)
按照公式(5)计算视频帧的色度值S与所述平均色度参数△S的差值△S’，△S’＝|S-△S| (5)
并且，按照公式(6)计算视频帧的重合度平均值E与重合度平均值参数ΔE的差值ΔE’
ΔE’＝|E-ΔE’ | (6)
按照公式(7)计算所述监控视频段中视频帧的图像特征参量K，
公式(7)中，△L0’表示预设的亮度差值对比参量，△S0’表示预设的色度差值对比参量，△M0’表示预设的面积差值对比参量，ΔE0’表示预设的重合度平均值对比参量。
4.根据权利要求3所述的煤炭板块自建系统数据梳理及数据接入系统，其特征在于，所述数据梳理单元将所述图像特征参量K与预设的图像特征对比阈值K0进行对比，并根据对比结果判定所述视频帧的差异状况，其中，
若对比结果满足第一参量条件，所述数据梳理单元判定所述视频帧的差异状况为第一差异状况；
若对比结果满足第二参量条件，所述数据梳理单元判定所述视频帧的差异状况为第二差异状况；
其中，所述第一参量条件为K＜K0，所述第二参量条件为K≥K0。
5.根据权利要求4所述的煤炭板块自建系统数据梳理及数据接入系统，其特征在于，所述数据梳理单元根据所述监控视频段中的视频帧判定所述监控视频段的图像帧相似状况，其中，
在第一条件下，所述数据梳理单元判定所述监控视频段的图像帧相似状况为第一图像帧相似状况；
在第二条件下，所述数据梳理单元判定所述监控视频段的图像帧相似状况为第二图像帧相似状况；
其中，所述第一条件为所述监控视频段中的视频帧的差异状况均为第一差异状况，所述第二条件为所述监控视频段中的存在差异状况为第二差异状况的视频帧。
6.根据权利要求5所述的煤炭板块自建系统数据梳理及数据接入系统，其特征在于，所述第一异常判定单元构建所述视频帧中的全部人物轮廓对应的关节点连线图，其中，
所述第一运算单元逐个确定人物轮廓的各部位的关节点，并将各关节点连接构成所述人物轮廓的关节点连线图。
7.根据权利要求6所述的煤炭板块自建系统数据梳理及数据接入系统，其特征在于，所述第一异常判定单元将人物轮廓的关节点连线图与异常动作数据集合中储存的异常动作对应的若干关节点连线图进行对比，其中，
所述第一异常判定单元建立坐标系，在所述坐标系中将胸腔部位关节点作为原点对应构建所述人物轮廓的关节点连线图以及所述异常动作对应的关节点连线图，并依次确定不同部位的人物轮廓的关节点以及异常动作所对应的关节点与坐标原点连线所构成的夹角A。
8.根据权利要求7所述的煤炭板块自建系统数据梳理及数据接入系统，其特征在于，所述第一异常判定单元按照公式(8)计算关节点重合度C，按照公式(9)计算关节点重合度的平均值△C，
公式(8)中，Ai表示第i位置所对应的人物轮廓的关节点以及异常动作所对应的关节点与坐标原点连线所构成的夹角，m表示关节位置的数量；
公式(9)中，Cr表示所述人物轮廓的关节点连线图与所述异常动作所对应的各关节点连线图的关节点重合度的和，r表示所述异常动作所对应的异常动作数据集合中关节点连线图的数量。
9.根据权利要求8所述的煤炭板块自建系统数据梳理及数据接入系统，其特征在于，所述第一异常判定单元将所述关节点重合度的平均值△C与预设的重合度对比阈值△C0进行对比，并根据对比结果判定所述人物轮廓所对应的动作是否为异常动作，其中，
在预设重合度对比条件下，所述第一异常判定单元判定所述人物轮廓所对应的动作为异常动作；
其中，所述预设重合度对比条件为△C≥△C0。
10.根据权利要求9所述的煤炭板块自建系统数据梳理及数据接入系统，其特征在于，所述第一异常判定单元根据所述视频帧中的全部人物轮廓判定所述视频帧中是否存在异常动作，其中，
在预设条件下，所述第一异常判定单元判定所述视频帧中存在异常动作；
其中，所述预设条件为所述视频帧中存在人物轮廓所对应的动作为异常动作。
CN202311114294.6A 2023-08-31 2023-08-31 煤炭板块自建系统数据梳理及数据接入系统 Active CN117132936B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311114294.6A CN117132936B (zh) 2023-08-31 2023-08-31 煤炭板块自建系统数据梳理及数据接入系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311114294.6A CN117132936B (zh) 2023-08-31 2023-08-31 煤炭板块自建系统数据梳理及数据接入系统

Publications (2)

Publication Number Publication Date
CN117132936A true CN117132936A (zh) 2023-11-28
CN117132936B CN117132936B (zh) 2024-07-30

Family

ID=88856120

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311114294.6A Active CN117132936B (zh) 2023-08-31 2023-08-31 煤炭板块自建系统数据梳理及数据接入系统

Country Status (1)

Country Link
CN (1) CN117132936B (zh)

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271527A (zh) * 2008-02-25 2008-09-24 北京理工大学 一种基于运动场局部统计特征分析的异常行为检测方法
CN105335696A (zh) * 2015-08-26 2016-02-17 湖南信息职业技术学院 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法
CN105701467A (zh) * 2016-01-13 2016-06-22 河海大学常州校区 一种基于人体形态特征的多人异常行为识别方法
CN109308447A (zh) * 2018-07-29 2019-02-05 国网上海市电力公司 在电力远程监控中自动提取设备运行参数和运行状态的方法
CN110223366A (zh) * 2019-04-28 2019-09-10 深圳传音控股股份有限公司 图片处理方法、图片处理装置和可读存储介质
CN110324583A (zh) * 2019-07-15 2019-10-11 深圳中兴网信科技有限公司 一种视频监控方法、视频监控装置及计算机可读存储介质
AU2019222885A1 (en) * 2018-09-03 2020-03-19 Beumont R&D PTY LTD A system and method for monitoring assets within a pre-defined area
CN113011254A (zh) * 2021-02-04 2021-06-22 腾讯科技（深圳）有限公司 一种视频数据处理方法、计算机设备及可读存储介质
CN113850123A (zh) * 2021-08-18 2021-12-28 广州国交润万交通信息有限公司 基于视频的公路监控方法及装置、存储介质和监控系统
WO2022187805A1 (en) * 2021-03-01 2022-09-09 Magna Mirrors Of America, Inc. Interior rearview mirror assembly with driver monitoring system
CN115223249A (zh) * 2022-05-25 2022-10-21 华北科技学院 一种基于机器视觉的井下人员不安全行为快速分析与识别方法
CN115861905A (zh) * 2023-03-01 2023-03-28 青岛警友大象科技有限公司 一种基于物联网的酒店管理系统
CN115941914A (zh) * 2023-01-06 2023-04-07 湖南马栏山视频先进技术研究院有限公司 一种基于视频帧分析的视频渲染系统
CN116260928A (zh) * 2023-05-15 2023-06-13 湖南马栏山视频先进技术研究院有限公司 一种基于智能插帧的视觉优化方法
CN116418952A (zh) * 2023-02-28 2023-07-11 陕西小保当矿业有限公司 一种矿井作业人员的智能化监控系统以及方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101271527A (zh) * 2008-02-25 2008-09-24 北京理工大学 一种基于运动场局部统计特征分析的异常行为检测方法
CN105335696A (zh) * 2015-08-26 2016-02-17 湖南信息职业技术学院 一种基于3d异常步态行为检测识别的智能助老机器人及实现方法
CN105701467A (zh) * 2016-01-13 2016-06-22 河海大学常州校区 一种基于人体形态特征的多人异常行为识别方法
CN109308447A (zh) * 2018-07-29 2019-02-05 国网上海市电力公司 在电力远程监控中自动提取设备运行参数和运行状态的方法
AU2019222885A1 (en) * 2018-09-03 2020-03-19 Beumont R&D PTY LTD A system and method for monitoring assets within a pre-defined area
CN110223366A (zh) * 2019-04-28 2019-09-10 深圳传音控股股份有限公司 图片处理方法、图片处理装置和可读存储介质
CN110324583A (zh) * 2019-07-15 2019-10-11 深圳中兴网信科技有限公司 一种视频监控方法、视频监控装置及计算机可读存储介质
CN113011254A (zh) * 2021-02-04 2021-06-22 腾讯科技（深圳）有限公司 一种视频数据处理方法、计算机设备及可读存储介质
WO2022187805A1 (en) * 2021-03-01 2022-09-09 Magna Mirrors Of America, Inc. Interior rearview mirror assembly with driver monitoring system
CN113850123A (zh) * 2021-08-18 2021-12-28 广州国交润万交通信息有限公司 基于视频的公路监控方法及装置、存储介质和监控系统
CN115223249A (zh) * 2022-05-25 2022-10-21 华北科技学院 一种基于机器视觉的井下人员不安全行为快速分析与识别方法
CN115941914A (zh) * 2023-01-06 2023-04-07 湖南马栏山视频先进技术研究院有限公司 一种基于视频帧分析的视频渲染系统
CN116418952A (zh) * 2023-02-28 2023-07-11 陕西小保当矿业有限公司 一种矿井作业人员的智能化监控系统以及方法
CN115861905A (zh) * 2023-03-01 2023-03-28 青岛警友大象科技有限公司 一种基于物联网的酒店管理系统
CN116260928A (zh) * 2023-05-15 2023-06-13 湖南马栏山视频先进技术研究院有限公司 一种基于智能插帧的视觉优化方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
WEI ZHANG 等: "Detection of Abnormal Behavior Based on the Scene of Anti-photographing", 《INTELLIGENT COMPUTING THEORIES AND APPLICATION》, 5 October 2020 (2020-10-05), pages 192 - 203, XP047566541, DOI: 10.1007/978-3-030-60799-9_17 *
冯泽民: "行为检测技术研究及软件系统实现", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 03, 15 March 2017 (2017-03-15), pages 138 - 5789 *
刘浩 等: "煤矿井下员工不安全行为智能识别系统", 《煤炭学报》, vol. 46, no. 2, 31 December 2021 (2021-12-31), pages 1159 - 1169 *
王慧: "基于改进Faster R-CNN的安全帽检测及身份识别", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》, no. 01, 15 January 2021 (2021-01-15), pages 026 - 70 *

Also Published As

Publication number Publication date
CN117132936B (zh) 2024-07-30

Similar Documents

Publication Publication Date Title
CN111507308B (zh) 一种基于视频识别技术的变电站安全监控系统及方法
CN112347916A (zh) 基于视频图像分析的电力现场作业安全监控方法及装置
CN111507951A (zh) 电缆线路隧道工程巡检装置
CN112595730A (zh) 电缆破损识别方法、装置和计算机设备
CN110130987A (zh) 一种基于图像分析的隧道收敛变形监测方法
CN113343854A (zh) 一种基于视频监控的动火作业流程合规性检测方法
CN110779568A (zh) 一种在线监测与移动巡检协同的电力电缆检测方法及装置
CN113506416A (zh) 一种基于智能视觉分析的工程异常预警方法及系统
CN112798979A (zh) 基于深度学习技术的变电站接地线状态检测系统及方法
CN114548721A (zh) 一种建筑施工安全数据指标处理系统
CN116469037A (zh) 基于计算机视觉的挖掘机与人碰撞事故预警方法及系统
CN117173791A (zh) 一种基于动作识别的配网施工人员违规检测方法及系统
CN112906441B (zh) 用于通信行业查勘维护的图像识别系统及方法
CN109345787A (zh) 一种基于智能图像识别技术的输电线路防外损监控报警系统
CN117132936B (zh) 煤炭板块自建系统数据梳理及数据接入系统
CN113505704B (zh) 图像识别的人员安全侦测方法、系统、设备及存储介质
CN114494427A (zh) 一种对吊臂下站人的违规行为检测方法、系统及终端
CN117853295A (zh) 一种基于工业互联和数字全景的安全环保应急系统
CN112560727A (zh) 一种基于人工智能的起重机越线安全预警方法和装置
CN116542102A (zh) 一种基于ar和cae的大坝动态分析方法和系统
CN115482502A (zh) 基于特征物体与人体关键点的异常行为识别方法、系统及介质
CN116052075A (zh) 一种基于计算机视觉的吊装作业行为检测评价方法和设备
CN115662033A (zh) 一种基建工程施工围栏的动态识别监控系统
CN114419475A (zh) 基于视频信息行为模式识别的施工安全判别方法及系统
TWM608616U (zh) 智能影像安全辨識系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant