CN114666553A - 煤矿井下大视角安保监控系统 - Google Patents
煤矿井下大视角安保监控系统 Download PDFInfo
- Publication number
- CN114666553A CN114666553A CN202210535819.2A CN202210535819A CN114666553A CN 114666553 A CN114666553 A CN 114666553A CN 202210535819 A CN202210535819 A CN 202210535819A CN 114666553 A CN114666553 A CN 114666553A
- Authority
- CN
- China
- Prior art keywords
- image
- coal mine
- angle
- monitoring system
- mine underground
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 39
- 239000003245 coal Substances 0.000 title claims abstract description 21
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 23
- 230000002146 bilateral effect Effects 0.000 claims abstract description 3
- 238000012545 processing Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 2
- 230000007704 transition Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- E—FIXED CONSTRUCTIONS
- E21—EARTH OR ROCK DRILLING; MINING
- E21F—SAFETY DEVICES, TRANSPORT, FILLING-UP, RESCUE, VENTILATION, OR DRAINING IN OR OF MINES OR TUNNELS
- E21F17/00—Methods or devices for use in mines or tunnels, not covered elsewhere
- E21F17/18—Special adaptations of signalling or alarm devices
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F21—LIGHTING
- F21V—FUNCTIONAL FEATURES OR DETAILS OF LIGHTING DEVICES OR SYSTEMS THEREOF; STRUCTURAL COMBINATIONS OF LIGHTING DEVICES WITH OTHER ARTICLES, NOT OTHERWISE PROVIDED FOR
- F21V33/00—Structural combinations of lighting devices with other articles, not otherwise provided for
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mining & Mineral Resources (AREA)
- Physics & Mathematics (AREA)
- Geology (AREA)
- Geochemistry & Mineralogy (AREA)
- General Life Sciences & Earth Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Alarm Systems (AREA)
Abstract
一种煤矿井下大视角安保监控系统，包括：用于井下携带的监控终端，所述监控终端具有左右对称分布的两个广角摄像头，该监控终端被配置为：通过所述两个广角摄像头分别实时采集第一图像以及第二图像，将所述第一图像以及第二图像左右拼接成第三图像，并上传至AI异常分析服务器；以及AI异常分析服务器，所述AI异常分析服务器被配置为：接收所述监控终端上传的第三图像，根据所述第三图像进行实时地安全异常分析，若存在安全异常，则发出警报。本发明可为煤矿提供高准确性和实时性的井下安保监控能力。
Description
技术领域
本发明属于煤矿安保技术领域，尤其涉及一种煤矿井下大视角安保监控系统。
背景技术
目前，煤矿通常缺乏对井下的安保监控能力，仅仅依靠矿灯上的普通摄像头采集数据，并上传至服务器（如FTP的方式），服务器对图像、视频进行保存，供安保人员追溯查看，判断是否存在安全问题，但是，普通摄像头一般只有60度-75度的取景范围，容易遗漏信息，影响安保人员的判断，并且由肉眼判断准确性不高，同时，追溯查看的方式，实时性差。
发明内容
基于此，针对上述技术问题，提供一种煤矿井下大视角安保监控系统。
为解决上述技术问题，本发明采用如下技术方案：
一种煤矿井下大视角安保监控系统，其特征在于，包括：
用于井下携带的监控终端，所述监控终端具有左右对称分布的两个广角摄像头，该监控终端被配置为：通过所述两个广角摄像头分别实时采集第一图像以及第二图像，将所述第一图像以及第二图像左右拼接成第三图像，并上传至AI异常分析服务器；以及
AI异常分析服务器，所述AI异常分析服务器被配置为：接收所述监控终端上传的第三图像，根据所述第三图像进行实时地安全异常分析，若存在安全异常，则发出警报。
本发明的监控终端具有两个广角摄像头，每个广角摄像头具有85度以上的取景范围，将两个摄像头采集的第一图像以及第二图像进行拼接后可以获得大视角的第三图像，大视角可视内容增多，不容易遗漏信息，进而AI异常分析服务器基于第三图像进行实时地安全异常分析，当存在安全异常时，发出警报，可为煤矿提供高准确性和实时性的井下安保监控能力。
附图说明
下面结合附图和具体实施方式本发明进行详细说明：
图1为本发明的结构示意图。
具体实施方式
以下将结合说明书附图对本发明的实施方式予以说明。需要说明的是，本说明书中所涉及的实施方式不是穷尽的，不代表本发明的唯一实施方式。以下相应的实施例只是为了清楚的说明本发明专利的发明内容，并非对其实施方式的限定。对于该领域的普通技术人员来说，在该实施例说明的基础上还可以做出不同形式的变化和改动，凡是属于本发明的技术构思和发明内容并且显而易见的变化或变动也在本发明的保护范围之内。
如图1所示，本说明书实施例提供一种煤矿井下大视角安保监控系统，包括用于井下携带的监控终端110以及AI异常分析服务器120。
在本实施例中，监控终端110为具有左右对称分布的两个广角摄像头111的矿灯，其通过内部的通讯模块（如wifi模块）可与AI异常分析服务器120通讯，同时，还可以通过内部的处理芯片对图像数据进行处理，当然，监控终端110也可以是其它具有通讯以及图像处理能力的终端。
优选地，两个广角摄像头111均面朝正前方，即两者平行设置，这样在后续进行图像处理时，不需要考虑两者的角度，效率较高，若两个广角摄像头111具有夹角，则在图像处理时还需要考虑两者的角度。
为了防止产生盲区，两个广角摄像头111的取景范围之间需要具有一定的重叠区域，重叠区域的大小可根据实际应用场景而定。
监控终端110被配置为：
S101、通过两个广角摄像头111分别实时采集第一图像以及第二图像。
采集的图像可以先进行预处理：
摄像头采集的数据通常为RAW（RGB）数据格式，由ISP单元对RAW数据进行色彩增强、亮度提升、消噪后转换为YUV格式数据。
S102、将第一图像以及第二图像左右拼接成第三图像，并上传至AI异常分析服务器。
每个广角摄像头111具有85度以上的取景范围，将两个摄像头采集的第一图像以及第二图像进行拼接后可以获得大视角（170度以上）的第三图像，大视角可视内容增多不容易遗漏信息，当每个广角摄像头均取90度取景范围的数据时，可以获得180度的全视角效果。
拼接的具体过程如下：
1、确定第一图像与第二图像在相邻侧边缘的最小像素差，最小像素差是指色彩值最接近的两个像素点之间的像素差，像素差可以理解为两个像素点之间相差几个像素点：
a)对第一图像以及第二图像的相邻侧边缘的像素点分别进行分组，形成多个一一对应的Camera1组和Camera2组，每个Camera1组和Camera2组均具有数量相同且上下连续的多个像素点。
b)从每个Camera1组与对应的Camera2组中找到色彩值最接近的像素点对，并计算像素点对之间的像素差。
c)对所有像素点对的像素差求平均值，作为最小像素差。
假设第一图像为左侧摄像头所采集，第二图像为右侧摄像头所采集，两者的相邻侧边缘是指第一图像的右侧边缘和第二图像的左侧边缘。
以每组10个像素点为例，第一图像的右侧边缘和第二图像的左侧边缘的像素点分别分组为：
Camera1（0-9），Camera2（0-9）
Camera1（10-19），Camera2（10-19）
.....
先从Camera1（0-9）与Camera2（0-9）之间找到色彩值最接近的像素点对，并计算像素点对之间的像素差，然后，从Camera1（10-19）与Camera2（10-19）之间找到色彩值最接近的像素点对，并计算像素点对之间的像素差,以此类推，得到每个Camera1组与对应的Camera2组之间的色彩值最接近的像素点对的像素差，最后，对像素点对的像素差求平均值，作为最小像素差。
分组比较的方式，计算量相对较少，效率较高，当然，也可以不分组，直接从第一图像以及第二图像的相邻侧边缘的所有像素点之间计算最小像素差，这样的方式计算量很大，影响效率。
2、根据最小像素差，将第一图像与第二图像对齐，进行拼接。
假设最小像素差为2，可将第二图像上移两个像素位置，然后左右拼接，为了避免拼接处的像素差异，可以对拼接处进行色彩过渡滤波处理。当然，对于拼接后多余的部分需进行裁剪，此处不进行详细赘述。
此外，为了降低AI异常分析服务器120进行AI分析时的计算量，提高效率，可以对第三图像的像素点进行9合1或者4合1处理，以9合1为例，就是指将9个相邻的像素点当作1个像素点，像素值取9个点的平均值。当然，也可以在拼接前，对第一图像和第一图像的像素点进行9合1或者4合1处理。
其中，第三图像包含统一的图像坐标信息（x、y坐标系）以及归属于不同摄像头的深度信息（z坐标系），用于AI分析，如可以保留第一图像的x、y坐标系，在拼接后，原属于第二图像的各像素点的坐标按照第一图像的x、y坐标系进行调整。
AI异常分析服务器120，AI异常分析服务器被配置为：接收监控终端上传的第三图像，根据第三图像进行实时地安全异常分析（通过AI人脸识别算法、AI障碍物识别算法以及AI火警识别算法等），若存在安全异常，则发出警报。
但是，本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。
Claims (10)
1.一种煤矿井下大视角安保监控系统，其特征在于，包括：
用于井下携带的监控终端，所述监控终端具有左右对称分布的两个广角摄像头，该监控终端被配置为：通过所述两个广角摄像头分别实时采集第一图像以及第二图像，将所述第一图像以及第二图像左右拼接成第三图像，并上传至AI异常分析服务器；以及
AI异常分析服务器，所述AI异常分析服务器被配置为：接收所述监控终端上传的第三图像，根据所述第三图像进行实时地安全异常分析，若存在安全异常，则发出警报。
2.根据权利要求1所述的一种煤矿井下大视角安保监控系统，其特征在于，所述两个广角摄像头均面朝正前方。
3.根据权利要求2所述的一种煤矿井下大视角安保监控系统，其特征在于，所述监控终端为矿灯。
4.根据权利要求3所述的一种煤矿井下大视角安保监控系统，其特征在于，所述将所述第一图像以及第二图像左右拼接成第三图像，进一步包括：
确定所述第一图像与第二图像在相邻侧边缘的最小像素差；
根据所述最小像素差，将所述第一图像与第二图像对齐，进行拼接。
5.根据权利要求4所述的一种煤矿井下大视角安保监控系统，其特征在于，所述确定所述第一图像与第二图像在相邻侧边缘的最小像素差，进一步包括：
对所述第一图像以及所述第二图像的相邻侧边缘的像素点分别进行分组，形成多个一一对应的Camera1组和Camera2组，每个Camera1组和Camera2组均具有数量相同且上下连续的多个像素点；
从每个Camera1组与对应的Camera2组中找到色彩值最接近的像素点对，并计算像素点对之间的像素差；
对所有像素点对的像素差求平均值，作为最小像素差。
6.根据权利要求5所述的一种煤矿井下大视角安保监控系统，其特征在于，每个Camera1组和Camera2组均具有数量相同且上下连续10个像素点。
7.根据权利要求6所述的一种煤矿井下大视角安保监控系统，其特征在于，所述将所述第一图像以及第二图像左右拼接成第三图像，还包括：
对拼接处进行色彩过渡滤波处理。
8.根据权利要求7所述的一种煤矿井下大视角安保监控系统，其特征在于，所述监控终端还被配置为：
对所述第三图像的像素点进行9合1或者4合1处理。
9.根据权利要求8所述的一种煤矿井下大视角安保监控系统，其特征在于，所述第三图像包含统一的图像坐标信息以及归属于不同摄像头的深度信息。
10.根据权利要求1或9所述的一种煤矿井下大视角安保监控系统，其特征在于，所述根据所述第三图像进行安全异常分析，进一步包括：
通过AI人脸识别算法、AI障碍物识别算法以及AI火警识别算法对所述第三图像进行安全异常分析。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210535819.2A CN114666553B (zh) | 2022-05-18 | 2022-05-18 | 煤矿井下大视角安保监控系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210535819.2A CN114666553B (zh) | 2022-05-18 | 2022-05-18 | 煤矿井下大视角安保监控系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114666553A true CN114666553A (zh) | 2022-06-24 |
| CN114666553B CN114666553B (zh) | 2022-09-23 |
Family
ID=82036829
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210535819.2A Active CN114666553B (zh) | 2022-05-18 | 2022-05-18 | 煤矿井下大视角安保监控系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114666553B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679672A (zh) * | 2013-10-28 | 2014-03-26 | 华南理工大学广州学院 | 基于边缘垂直距离匹配的全景图像拼接方法 |
| CN106677827A (zh) * | 2017-03-01 | 2017-05-17 | 中国矿业大学(北京) | 基于红外图像的采煤机异常工作及灾害报警系统 |
| CN109544447A (zh) * | 2018-10-26 | 2019-03-29 | 广西师范大学 | 一种图像拼接方法、装置及存储介质 |
| CN111126193A (zh) * | 2019-12-10 | 2020-05-08 | 枣庄矿业（集团）有限责任公司蒋庄煤矿 | 一种基于深度学习煤矿井下不安全行为人工智能识别系统 |
| CN210532109U (zh) * | 2019-10-22 | 2020-05-15 | 平安开诚智能安全装备有限责任公司 | 一种用于矿工安全帽上的矿灯 |
| CN112927276A (zh) * | 2021-03-10 | 2021-06-08 | 杭州海康威视数字技术股份有限公司 | 图像配准方法、装置、电子设备及存储介质 |
-
2022
- 2022-05-18 CN CN202210535819.2A patent/CN114666553B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679672A (zh) * | 2013-10-28 | 2014-03-26 | 华南理工大学广州学院 | 基于边缘垂直距离匹配的全景图像拼接方法 |
| CN106677827A (zh) * | 2017-03-01 | 2017-05-17 | 中国矿业大学(北京) | 基于红外图像的采煤机异常工作及灾害报警系统 |
| CN109544447A (zh) * | 2018-10-26 | 2019-03-29 | 广西师范大学 | 一种图像拼接方法、装置及存储介质 |
| CN210532109U (zh) * | 2019-10-22 | 2020-05-15 | 平安开诚智能安全装备有限责任公司 | 一种用于矿工安全帽上的矿灯 |
| CN111126193A (zh) * | 2019-12-10 | 2020-05-08 | 枣庄矿业（集团）有限责任公司蒋庄煤矿 | 一种基于深度学习煤矿井下不安全行为人工智能识别系统 |
| CN112927276A (zh) * | 2021-03-10 | 2021-06-08 | 杭州海康威视数字技术股份有限公司 | 图像配准方法、装置、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114666553B (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102568242B (zh) | 基于视频处理的信号灯状态检测方法及其系统 | |
| CN108921823B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
| CN102833478A (zh) | 容错背景模型化 | |
| CN112287875B (zh) | 异常车牌识别方法、装置、设备及可读存储介质 | |
| CN113012383B (zh) | 火灾检测报警方法、相关系统、相关设备及存储介质 | |
| CN110738150A (zh) | 相机联动抓拍方法、装置以及计算机存储介质 | |
| CN107146200A (zh) | 一种基于图像拼接质量评价的无人机遥感图像拼接方法 | |
| CN116186770A (zh) | 图像脱敏方法、装置、电子设备及存储介质 | |
| CN108229281B (zh) | 神经网络的生成方法和人脸检测方法、装置及电子设备 | |
| CN114666553B (zh) | 煤矿井下大视角安保监控系统 | |
| CN111563517A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| CN105354813A (zh) | 驱动云台生成拼接图像的方法及装置 | |
| CN116760937B (zh) | 一种基于多机位的视频拼接方法、装置、设备及存储介质 | |
| CN112001357B (zh) | 目标识别检测方法及系统 | |
| CN108011953A (zh) | 基于人脸识别的云服务系统 | |
| CN109146916B (zh) | 一种运动物体跟踪方法及装置 | |
| CN112580516A (zh) | 一种道路场景识别方法、装置、设备及存储介质 | |
| Lin et al. | Airborne moving vehicle detection for urban traffic surveillance | |
| CN111462502A (zh) | 车辆管理的方法、装置及计算机可读存储介质 | |
| CN108805001B (zh) | 电子装置、基于证件图片的身份识别方法及存储介质 | |
| US20230334675A1 (en) | Object tracking integration method and integrating apparatus | |
| CN115937267A (zh) | 一种基于多帧视频的目标轨迹追踪方法 | |
| US8433139B2 (en) | Image processing apparatus, image processing method and program for segmentation based on a degree of dispersion of pixels with a same characteristic quality | |
| CN112101134B (zh) | 物体的检测方法及装置、电子设备和存储介质 | |
| CN111127362A (zh) | 基于图像增强的视频除尘方法、系统、装置及可存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |