CN114119425A - 一种矿用低照度高粉尘环境下的影像取景方法 - Google Patents
一种矿用低照度高粉尘环境下的影像取景方法 Download PDFInfo
- Publication number
- CN114119425A CN114119425A CN202111507764.6A CN202111507764A CN114119425A CN 114119425 A CN114119425 A CN 114119425A CN 202111507764 A CN202111507764 A CN 202111507764A CN 114119425 A CN114119425 A CN 114119425A
- Authority
- CN
- China
- Prior art keywords
- image
- foreground
- background
- value
- boundary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000005286 illumination Methods 0.000 title claims abstract description 15
- 239000000428 dust Substances 0.000 title claims abstract description 14
- 230000000875 corresponding effect Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000004364 calculation method Methods 0.000 claims abstract description 8
- 238000005065 mining Methods 0.000 claims abstract description 8
- 238000009432 framing Methods 0.000 claims abstract description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 239000000126 substance Substances 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000003245 coal Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Image Processing (AREA)
Abstract
本发明涉及摄像取景技术领域，公开了一种矿用低照度高粉尘环境下的影像取景方法，包括以下步骤：S1、目标提取：把原始图像分割成背景区域、前景区域以及边界区域；S2、计算边界区域的透明度
Description
技术领域
本发明涉及摄像取景技术领域，具体是一种矿用低照度高粉尘环境下的影像取景方法。
背景技术
采矿行业是一个高危险的行业，特别是针对地下采矿，通常都安装有监控摄像机，对矿下的作业环境、人员设备安全等信息进行采集，然后，矿下往往环境较黑暗，且伴随着粉尘、噪声等，在这种恶劣环境采集图像时,图像往往会由于相机感光度的限制而受到严重的噪声污染以及导致亮度不均匀等问题，图像视频质量往往不容乐观，容易出现阴影、模糊现象，且亮度低会给后续的图像处理带来不必要的麻烦。
中国专利公开了低照度环境下的煤岩地质影像高精度采集方法（公告号CN113607137A），该专利技术具有采集到高精度的煤岩地质影像的有益效果，保证了矿产工作的安全进行,但是其处理视频图像的对比度不高，边缘细节轮廓不够清晰，导致视频图像的后期处理困难。
发明内容
本发明的目的在于提供一种矿用低照度高粉尘环境下的影像取景方法，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种矿用低照度高粉尘环境下的影像取景方法，包括以下步骤：
S1、目标提取：拍摄连续帧的图像，输入并读取原始图像，提取原始图像中前景区域的内边界和外边界的顶点，依次连接每个顶点，形成多边形，把图像分割成背景区域、前景区域以及边界区域；
S2、计算边界区域的透明度
初始值：根据内边界对应的多边形和外边界对应的多边形的相对位置，利用计算几何中的判断点在多边形内外的算法，计算出边界区域的透明度
初始值，其中，背景区域的透明度
值为0，前景区域的透明度
值为1，边界区域的透明度
初始值为未知数；
S3、计算边界区域中点的前景、背景像素值：以边界区域中的待求点为中心依次向外扩大正方形，使得该正方形与前景区域或背景区域的交集不为空，比较每个满足关系的像素点距离中心点的距离，选择距离小的为近似前景、背景像素值，求出边界区域中点的前景值和背景像素值；
S4、图标图像提取：通过求解Poisson方程，得到透明度
值，从而提取出目标图形；
S5、图像处理：通过Deep Lab V3+分割算法将目标图形换算成掩码图像，再提取该原始图像的前后各20帧，将这些帧转化成灰度图后，合成一个batch图像；再通过ContextSwitching Block模块整合掩码图像和batch图像，生成图像模型；
S6、模型训练：使用基于pix2pix hd中的多尺度判别器对真实场景中的无标签数据进行半监督方式的对抗训练，以提升模型的适应能力，再根据模型的输出生成对应的效果图。
作为本发明再进一步的方案：所述S4步骤中Poisson方程的计算公式如下：
其中，
为散度算子；
为二维梯度算子；
为透明度值，即该像素为前景的概率，
的范围在[0,1]之间，若
=1则该像素为前景，若
=0则该像素为背景；
表示输入图像的原始像素值；
表示图像的前景像素值，
表示图像的背景像素值。
作为本发明再进一步的方案：所述输入图像的原始像素值与前景像素值和背景像素值的计算公式如下：
将公式（2）两端同时求导得到如下公式：
对于边界区域中的每一个前景、背景像素值，可以通过对应的前景、背景区域中的最近的像素值近似得到。
作为本发明再进一步的方案：所述S5步骤中Context Switching Block模块由Encoder模块、Selector模块和Combinator模块组成。
作为本发明再进一步的方案：所述S5步骤中图像模型生成的方法包括以下步骤：
S51、通过Encoder模块将原始图像、背景图像、掩码图像和batch图像共四个输入图像，依次编码成img_feat、back_feat、seg_feat和multi_feat；
S52、通过Selector模块再依次把img_feat、back_feat、seg_feat和multi_feat拼接成一个Feature Map，再经过三个结构相同的Selector模块得到三组和输入图像合并之后的Feature Map，依次为comb_back、Comb_seg和comb_multi；
S53、通过Combinator模块将comb_back、Comb_seg和comb_multi以及输入图像的编码结果img_feat拼接成一个Feature Map即可。
作为本发明再进一步的方案：所述S1步骤中拍摄的连续帧图像在输入前，需进行滤波、去雾、去噪、增强处理。
与现有技术相比，本发明的有益效果：
本发明依次通过目标提取、计算边界区域的透明度初始值、计算边界区域中点的前景和背景像素值、图标图像提取、图像处理和模型训练，将原始图像分割成背景区域、前景区域以及边界区域，并将目标图形从原始图像中分离出来，得到高清度的前景图像，且图像对比度高，亮度高，边缘细节清晰，方便图像的后期处理，从而可以在低照度搞粉尘的环境下，实现影像取景。
具体实施方式
本发明实施例中，一种矿用低照度高粉尘环境下的影像取景方法，包括以下步骤：
S1、目标提取：拍摄连续帧的图像，输入并读取原始图像，提取原始图像中前景区域的内边界和外边界的顶点，依次连接每个顶点，形成多边形，把图像分割成背景区域、前景区域以及边界区域；
S2、计算边界区域的透明度
初始值：根据内边界对应的多边形和外边界对应的多边形的相对位置，利用计算几何中的判断点在多边形内外的算法，计算出边界区域的透明度
初始值，其中，背景区域的透明度
值为0，前景区域的透明度
值为1，边界区域的透明度
初始值为未知数；
S3、计算边界区域中点的前景、背景像素值：以边界区域中的待求点为中心依次向外扩大正方形，使得该正方形与前景区域或背景区域的交集不为空，比较每个满足关系的像素点距离中心点的距离，选择距离小的为近似前景、背景像素值，求出边界区域中点的前景值和背景像素值；
S4、图标图像提取：通过求解Poisson方程，得到透明度
值，从而提取出目标图形，将目标图形从原始图像中分离出来，从而可以在低照度搞粉尘的环境下，得到清晰的目标图像；
S5、图像处理：通过Deep Lab V3+分割算法将目标图形换算成掩码图像，再提取该原始图像的前后各20帧，将这些帧转化成灰度图后，合成一个batch图像；再通过ContextSwitching Block模块整合掩码图像和batch图像，生成图像模型；
S6、模型训练：使用基于pix2pix hd中的多尺度判别器对真实场景中的无标签数据进行半监督方式的对抗训练，以提升模型的适应能力，再根据模型的输出生成对应的效果图，效果图具有对比度高，亮度高，边缘细节轮廓清晰，阴影少，方便图像的后期处理。
优选的，S4步骤中Poisson方程的计算公式如下：
其中，
为散度算子；
为二维梯度算子；
为透明度值，即该像素为前景的概率，
的范围在[0,1]之间，若
=1则该像素为前景，若
=0则该像素为背景；
表示输入图像的原始像素值；
表示图像的前景像素值，
表示图像的背景像素值。
优选的，输入图像的原始像素值与前景像素值和背景像素值的计算公式如下：
将公式（2）两端同时求导得到如下公式：
对于边界区域中的每一个前景、背景像素值，可以通过对应的前景、背景区域中的最近的像素值近似得到。
优选的，S5步骤中Context Switching Block模块由Encoder模块、Selector模块和Combinator模块组成。
优选的，S5步骤中图像模型生成的方法包括以下步骤：
S51、通过Encoder模块将原始图像、背景图像、掩码图像和batch图像共四个输入图像，依次编码成img_feat、back_feat、seg_feat和multi_feat；
S52、通过Selector模块再依次把img_feat、back_feat、seg_feat和multi_feat拼接成一个Feature Map，再经过三个结构相同的Selector模块得到三组和输入图像合并之后的Feature Map，依次为comb_back、Comb_seg和comb_multi；
S53、通过Combinator模块将comb_back、Comb_seg和comb_multi以及输入图像的编码结果img_feat拼接成一个Feature Map即可。
优选的，S1步骤中拍摄的连续帧图像在输入前，需进行滤波、去雾、去噪、增强处理，重新分配图像像素值，使一定灰度范围内的像素数量大致相同，使得处理后灰度范围变大，对比度变大，清晰度变大。
以上的，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其摄像构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。
Claims (6)
1.一种矿用低照度高粉尘环境下的影像取景方法，其特征在于，包括以下步骤：
S1、目标提取：拍摄连续帧的图像，输入并读取原始图像，提取原始图像中前景区域的内边界和外边界的顶点，依次连接每个顶点，形成多边形，把图像分割成背景区域、前景区域以及边界区域；
S2、计算边界区域的透明度
初始值：根据内边界对应的多边形和外边界对应的多边形的相对位置，利用计算几何中的判断点在多边形内外的算法，计算出边界区域的透明度
初始值，其中，背景区域的透明度
值为0，前景区域的透明度
值为1，边界区域的透明度
初始值为未知数；
S3、计算边界区域中点的前景、背景像素值：以边界区域中的待求点为中心依次向外扩大正方形，使得该正方形与前景区域或背景区域的交集不为空，比较每个满足关系的像素点距离中心点的距离，选择距离小的为近似前景、背景像素值，求出边界区域中点的前景值和背景像素值；
S4、图标图像提取：通过求解Poisson方程，得到透明度
值，从而提取出目标图形；
S5、图像处理：通过Deep Lab V3+分割算法将目标图形换算成掩码图像，再提取该原始图像的前后各20帧，将这些帧转化成灰度图后，合成一个batch图像；再通过ContextSwitching Block模块整合掩码图像和batch图像，生成图像模型；
S6、模型训练：使用基于pix2pix hd中的多尺度判别器对真实场景中的无标签数据进行半监督方式的对抗训练，以提升模型的适应能力，再根据模型的输出生成对应的效果图。
2.根据权利要求1所述的一种矿用低照度高粉尘环境下的影像取景方法，其特征在于，所述S4步骤中Poisson方程的计算公式如下：
其中，
为散度算子；
为二维梯度算子；
为透明度值，即该像素为前景的概率，
的范围在[0,1]之间，若
=1则该像素为前景，若
=0则该像素为背景；
表示输入图像的原始像素值；
表示图像的前景像素值，
表示图像的背景像素值。
3.根据权利要求2所述的一种矿用低照度高粉尘环境下的影像取景方法，其特征在于，所述输入图像的原始像素值与前景像素值和背景像素值的计算公式如下：
将公式（2）两端同时求导得到如下公式：
对于边界区域中的每一个前景、背景像素值，可以通过对应的前景、背景区域中的最近的像素值近似得到。
4.根据权利要求1所述的一种矿用低照度高粉尘环境下的影像取景方法，其特征在于，所述S5步骤中Context Switching Block模块由Encoder模块、Selector模块和Combinator模块组成。
5.根据权利要求4所述的一种矿用低照度高粉尘环境下的影像取景方法，其特征在于，所述S5步骤中图像模型生成的方法包括以下步骤：
S51、通过Encoder模块将原始图像、背景图像、掩码图像和batch图像共四个输入图像，依次编码成img_feat、back_feat、seg_feat和multi_feat；
S52、通过Selector模块再依次把img_feat、back_feat、seg_feat和multi_feat拼接成一个Feature Map，再经过三个结构相同的Selector模块得到三组和输入图像合并之后的Feature Map，依次为comb_back、Comb_seg和comb_multi；
S53、通过Combinator模块将comb_back、Comb_seg和comb_multi以及输入图像的编码结果img_feat拼接成一个Feature Map即可。
6.根据权利要求1所述的一种矿用低照度高粉尘环境下的影像取景方法，其特征在于，所述S1步骤中拍摄的连续帧图像在输入前，需进行滤波、去雾、去噪、增强处理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111507764.6A CN114119425A (zh) | 2021-12-10 | 2021-12-10 | 一种矿用低照度高粉尘环境下的影像取景方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111507764.6A CN114119425A (zh) | 2021-12-10 | 2021-12-10 | 一种矿用低照度高粉尘环境下的影像取景方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114119425A true CN114119425A (zh) | 2022-03-01 |
Family
ID=80364587
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111507764.6A Pending CN114119425A (zh) | 2021-12-10 | 2021-12-10 | 一种矿用低照度高粉尘环境下的影像取景方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114119425A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723749A (zh) * | 2022-06-06 | 2022-07-08 | 深圳市国人光速科技有限公司 | 提升喷印字符清晰度的图像处理方法、装置及喷印设备 |
| CN116433701A (zh) * | 2023-06-15 | 2023-07-14 | 武汉中观自动化科技有限公司 | 一种工件孔洞轮廓的提取方法、装置、设备及存储介质 |
-
2021
- 2021-12-10 CN CN202111507764.6A patent/CN114119425A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114723749A (zh) * | 2022-06-06 | 2022-07-08 | 深圳市国人光速科技有限公司 | 提升喷印字符清晰度的图像处理方法、装置及喷印设备 |
| CN116433701A (zh) * | 2023-06-15 | 2023-07-14 | 武汉中观自动化科技有限公司 | 一种工件孔洞轮廓的提取方法、装置、设备及存储介质 |
| CN116433701B (zh) * | 2023-06-15 | 2023-10-10 | 武汉中观自动化科技有限公司 | 一种工件孔洞轮廓的提取方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111062905B (zh) | 一种基于显著图增强的红外和可见光融合方法 | |
| CN110084757B (zh) | 一种基于生成对抗网络的红外深度图像增强方法 | |
| CN105225230B (zh) | 一种识别前景目标对象的方法及装置 | |
| US9288458B1 (en) | Fast digital image de-hazing methods for real-time video processing | |
| CN114119425A (zh) | 一种矿用低照度高粉尘环境下的影像取景方法 | |
| Singh et al. | Shadow detection and removal from remote sensing images using NDI and morphological operators | |
| CN106683100B (zh) | 一种图像分割去雾方法及终端 | |
| US9153203B2 (en) | Temporally consistent superpixels | |
| CN110807738B (zh) | 一种基于边缘图块锐化的模糊图像非盲复原方法 | |
| CN112215925A (zh) | 自适应采煤机随动跟踪多摄像头视频拼接方法 | |
| CN114881869A (zh) | 一种巡检视频图像预处理方法 | |
| CN114399678A (zh) | 一种差分孪生网络变电站图像异同检测方法 | |
| CN114627034A (zh) | 一种图像增强方法、图像增强模型的训练方法及相关设备 | |
| CN114627269A (zh) | 一种基于深度学习目标检测的虚拟现实安防监控平台 | |
| CN112241745A (zh) | 一种基于光照不变颜色空间的特征点提取方法 | |
| CN116863861B (zh) | 基于非显性点判断的图像处理方法、设备及可读存储介质 | |
| CN111626944B (zh) | 一种基于时空金字塔网络和对抗自然先验的视频去模糊方法 | |
| CN110738624B (zh) | 一种区域自适应的图像去雾系统及方法 | |
| CN108830834B (zh) | 一种爬索机器人视频缺陷信息自动提取方法 | |
| CN106097259B (zh) | 一种基于透射率优化技术的雾天图像快速重建方法 | |
| US20140064616A1 (en) | Image processing method | |
| CN103136735A (zh) | 一种基于双尺度暗通道的单幅图像去雾方法 | |
| CN111932469A (zh) | 显著性权重的快速曝光图像融合方法、装置、设备和介质 | |
| CN111932470A (zh) | 基于视觉选择融合的图像复原方法、装置、设备和介质 | |
| CN112950466A (zh) | 一种基于语义对象匹配的图像拼接方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |