CN116320779A - 综采工作面监控视频的拼接方法及系统 - Google Patents

综采工作面监控视频的拼接方法及系统 Download PDF

Info

Publication number
CN116320779A
CN116320779A CN202310019243.9A CN202310019243A CN116320779A CN 116320779 A CN116320779 A CN 116320779A CN 202310019243 A CN202310019243 A CN 202310019243A CN 116320779 A CN116320779 A CN 116320779A
Authority
CN
China
Prior art keywords
image
feature
splicing
fully
mining face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310019243.9A
Other languages
English (en)
Inventor
宁永威
魏文艳
杨小勇
李�杰
张飞超
王忠强
张宝鹏
吴桐
杜文虎
马鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shaanxi Xiaobaodang Mining Co ltd
Beijing Tianma Intelligent Control Technology Co Ltd
Original Assignee
Shaanxi Xiaobaodang Mining Co ltd
Beijing Tianma Intelligent Control Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shaanxi Xiaobaodang Mining Co ltd, Beijing Tianma Intelligent Control Technology Co Ltd filed Critical Shaanxi Xiaobaodang Mining Co ltd
Priority to CN202310019243.9A priority Critical patent/CN116320779A/zh
Publication of CN116320779A publication Critical patent/CN116320779A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/48—Matching video sequences
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Abstract

本申请公开了一种综采工作面监控视频的拼接方法及系统，该方法包括：在综采工作面上设置预设数量台摄像机，并调整每台摄像机的拍摄角度和拍摄范围；将调整后的每台摄像机采集的视频数据按照时间顺序进行拆解，将同一时间的下每帧图像分别进行图像处理，图像处理包括特征要素检测和图像特征匹配；将进行图像处理后的同一时间的下全部帧图像拼接为一个整体图像，并按照时间顺序将不同时间下的整体图像组合为可视化视频。该方法能够适用于斜视等更多场景下的视频拼接，满足综采面的大场景下的视频拼接，提高了视频拼接的准确性和与实际场景的一致性。

Description

综采工作面监控视频的拼接方法及系统
技术领域
本申请涉综采工作面的视频监控技术领域，尤其涉及一种综采工作面监控视频的拼接方法及系统。
背景技术
目前，视频监控技术在煤炭开采领域的应用越来越广泛。一般视频监控多采用一个固定的摄像头对单个场景进行监控，但对于综采工作面而言,由于工作面距离较长，一般需要安装较多数量的摄像头进行覆盖，比如，按照每两架液压支架安装一台摄像机，400米采面摄像机将多达120多台。并且，综采面场景比较类似，一般远程监控人员比较难分辨视频画面与实际位置的对应关系。
因此，对于综采工作面的视频监控，需要通过视频拼接技术，将多个视频画面无缝拼接显示，以便对现场的环境进行影像重建，让远程人员更好、更直观的了解全采面操作情况，满足高产、高效的远程监视要求。其中，多摄像机视频拼接技术是指应用多个摄像机分别在固定视角拍摄后，通过算法处理，形成视频全景图像。
相关技术中，多摄像头的视频拼接目前大多数以硬件拼接为主，要求摄像机必须摆放在近似同光心的位置上，通过摄像机的排放实现图像边缘对齐，将多个动态画面显示在多个屏幕上面，实现多窗口拼接的功能。而在软件算法拼接方面，一般采用共圆心点拼接，或者少量图像拼接。
然而，上述拼接方案中，硬件拼接的局限性较大，一是对多摄像机的排放精度要求很高，二是对非同光心的视频无法找到足够的特征进行匹配，实际应用中实施起来较为困难且限制性较高。而对于软件拼接，只能适用于小场景或者运动对象不是太多的情况，无法适用于综采工作面的全景视频流畅播放的问题，且必须要图像正视对着物体，对于斜视的图像无法实现拼接，能够适用的场景较少。
发明内容
本申请的目的旨在至少在一定程度上解决上述的技术问题之一。
为此，本申请的第一个目的在于提出一种综采工作面监控视频的拼接方法。该方法基于软件视频拼接算法，能够适用于斜视等更多场景下的视频拼接,满足综采面的大场景下的视频拼接,可满足综采工作面现场相机不是正对采煤机且相机位置不是共心的应用场景，可解决多场景类似、大场景的全景视频拼接问题，提高了视频拼接的准确性和与实际场景的一致性。
本申请的第二个目的在于提出一种综采工作面监控视频的拼接系统。
本申请的第三个目的在于提出一种非瞬时计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种综采工作面监控视频的拼接方法，该方法包括：
在综采工作面上设置预设数量台摄像机，并调整每台所述摄像机的拍摄角度和拍摄范围；
将调整后的每台摄像机采集的视频数据按照时间顺序进行拆解，将同一时间的下每帧图像分别进行图像处理，所述图像处理包括特征要素检测和图像特征匹配；
将进行所述图像处理后的同一时间的下全部帧图像拼接为一个整体图像，并按照所述时间顺序将不同时间下的所述整体图像组合为可视化视频。
另外，本申请实施例的综采工作面监控视频的拼接方法还具有如下附加的技术特征：
可选地，在一些实施例中，在通过所述调整后的每台摄像机采集视频数据之前，还包括：对每台所述摄像机的内参进行畸变校正；所述将同一时间的下每帧图像分别进行图像处理，包括：将每帧所述图像分割为多个目标区域；在每个所述目标区域中，通过ORB算法进行所述特征要素检测和所述图像特征匹配；在所述将进行所述图像处理后的同一时间的下全部帧图像拼接为一个整体图像之后，还包括：通过enfuse应用对所述整体图像进行曝光合成。
可选地，在一些实施例中，对每台所述摄像机的内参进行畸变校正，包括：获取已知的世界坐标系下的第一坐标点和像素坐标系下的第二坐标点；构建像素坐标系下的坐标点与内参矩阵、变换矩阵和世界坐标系下的坐标点的函数方程；将所述第一坐标点和所述第二坐标点的坐标值代入所述函数方程，计算出所述内参矩阵，并通过所述内参矩阵进行相机标定。
可选地，在一些实施例中，将每帧所述图像分割为多个目标区域，包括：预先按照所述多个目标区域将所述综采工作面进行划分，所述多个目标区域包括煤壁区域、线缆槽区域、支架大脚区域和采煤机区域；采集所述综采工作面的原始图像，并对每张所述原始图像进行标注，基于标注后的原始图像训练深度学习模型；通过训练完成的深度学习模型将每帧所述图像分割为所述多个目标区域。
可选地，在一些实施例中，通过ORB算法进行所述特征要素检测，包括：在待处理的目标像素点的周围，选取第一数量个像素点分别与所述目标像素点进行像素比较；在存在连续的第二数量个像素点的像素均大于或均小于所述目标像素点的像素时，确定所述目标像素点为候选特征点；通过预设的特征阈值对所述候选特征点进行筛选，获得目标特征点。
可选地，在一些实施例中，该方法还包括：通过Rotated BRIEF算法构建每个所述目标特征点的特征描述子，其中，特征描述子是由1和0组成的二进制序列，并且每个所述目标特征点的特征描述子的序列长度相同。
可选地，在一些实施例中，通过所述ORB算法进行所述图像特征匹配，包括：将相邻两帧图像中的待匹配的两个目标特征点的特征描述子进行比较，依次确定两个所述特征描述子中同一位下的数值是否相同；统计数值相同的位的个数，并将所述数值相同的位的个数与所述特征描述子的总位数相除，获得所述两个目标特征点的相似度；将所述相似度与预设的相似度阈值进行比较，在所述相似度大于所述相似度阈值的情况下，确定所述两个目标特征点匹配。
可选地，在一些实施例中，在所述调整每台所述摄像机的拍摄角度和拍摄范围之后，还包括：获取所述综采工作面的基于对象链接与嵌入的过程控制OPC协议的工业数据信息；基于所述工业数据信息进行所述视频数据的实时采集和监控视频的拼接。
为实现上述目的，本发明第二方面实施例提出了一种综采工作面监控视频的拼接系统，包括：
数据采集模块,用于在综采工作面上设置预设数量台摄像机，并调整每台所述摄像机的拍摄角度和拍摄范围；
图像处理模块,用于将调整后的每台摄像机采集的视频数据按照时间顺序进行拆解，将同一时间的下每帧图像分别进行图像处理，所述图像处理包括特征要素检测和图像特征匹配；
可视化显示模块,用于将进行所述图像处理后的同一时间的下全部帧图像拼接为一个整体图像，并按照所述时间顺序将不同时间下的所述整体图像组合为可视化视频。
本申请第三方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行本申请实施例公开的综采工作面监控视频的拼接方法。
本申请的实施例提供的技术方案至少带来以下有益效果：本申请基于软件视频拼接算法对综采工作面上调整拍摄角度和增大拍摄范围后的多台摄像机采集的监控视频数据进行拼接。在频图像拼接过程中，能够对摄像机不存在共同的圆心导致的图像扭曲现象进行矫正。实现影像的自动位置匹配，以及图像同步、校正、旋转、拉伸等，最终实现多个画面的图像自动融合，实时智能图像调整。由此，本申请能够满足综采工作面现场相机不是正对采煤机且相机位置不是共心的应用场景，可解决多场景类似和大场景下的全景视频拼接问题，丰富了视频拼接可适用的场景，降低了视频拼接的限制性，提高了视频拼接算法的实用性和鲁棒性。并且，本申请将机器学习和图像算法等技术相融合，提高了对多个监控区域的视频画面拼接的准确性和与实际场景的一致性，能够在相对恶劣的环境下保持系统的稳定性。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例提出的一种综采工作面监控视频的拼接方法的流程图；
图2为本申请实施例提出的一种特征要素检测方法的流程图；
图3为本申请实施例提出的一种具体的特征点提取的示意图；
图4为本申请实施例提出的一种具体的视频拼接系统的工作原理示意图；
图5为本申请实施例提出的一种具体的视频拼接算法的流程图；
图6为本申请实施例提出的一种综采工作面的反冲洗控制系统的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
需要说明的是，对于通过软件算法拼接视频，本申请实施例中可以通过将视频分解为帧图像，对相应的帧图像进行图像融合，再将拼接后的帧图像压缩为视频完成。而传统的软件算法拼接方面，一般采用共圆心点拼接，或者少量图像拼接，只能适应小场景或者运动对象不是太多的情况，无法解决大场景、大量运动对象的全景视频流畅播放的问题，且算法需要图像跟图像之间有较多的重叠区域，且图像正视对着物体，对于斜视的图像并不能满足。
为此，本申请提出了一种综采工作面监控视频的拼接方法及系统。能够适用于对相机斜视采煤机等综采工作面中的监控对象，并且各个相机处于位置平行时拍摄的视频进行拼接。
下面参考附图描述本申请实施例的综采工作面监控视频的拼接方法及系统。
图1为本申请实施例提出的一种综采工作面监控视频的拼接方法的流程图，如图1所示，该系统包括以下步骤：
步骤S101，在综采工作面上设置预设数量台摄像机，并调整每台摄像机的拍摄角度和拍摄范围。
具体的，若综采工作面已设置了监控系统，则可以利用系统中已有的摄像机拍摄监控视频并进行拼接，若综采工作面未设置监控系统，则在综采工作面上设置预设数量台摄像机。其中，摄像机的设置数量可以根据工作面实际的监控需要确定。
举例而言，可以在综采面上每间隔2个液压支架安装1个摄像机，若综采面长度为400多米，则一共安装124台摄像机进行图像数据采集。
需要说明的是，本申请安装的摄像机不需要一定正对采煤机等监控对象的方向，摄像机可以正对或以各种角度斜对采煤机方向。从而降低了视频拼接对摄像机设置方式的限制，提高了视频拼接的适用性。
进一步的，对安装完成的各个摄像机，分别调整每台摄像机的拍摄角度和拍摄范围，以避免图像失真并适用于综采工作面的大范围拍摄。
作为一种可能的实现方式，基于成本考虑，以在安装调试过程中尽量减少摄像机位置变更为目标，对于采面摄像机需更改拍摄方向布置，由之前的拍摄位置更改为直接拍摄综采工作面的煤壁方向。从而可以减少图像拼接时由于拍摄角度问题而造成的大量图像旋转及梯形变换，导致不必要的图像失真。
进而，由于摄像机拍摄角度更改，会造成拍摄范围缩小，故本申请在调整摄像机拍摄角度后还需更换摄像机镜头，即增大摄像镜头的拍摄范围，比如，由原来的视场角60度改为视场角90度。本申请通过增大拍摄范围，方便后续视频拼接需要，并可在综采工作面中各个支架推移的过程中，能够继续保持获取有效的拍摄范围，从而可以适用于综采工作面中大量的液压支架进行位移时的拍摄场景范围大、运动对象较多的场景。
步骤S102，将调整后的每台摄像机采集的视频数据按照时间顺序进行拆解，将同一时间的下每帧图像分别进行图像处理，其中，图像处理包括特征要素检测和图像特征匹配。
具体的，各台摄像机采集到的监控视频数据通过井下环网传输至服务器处进行图像处理，服务器获取全部的摄像机采集的视频数据。可以理解的是，视频数据是由一个时段下的多帧图像组成，依次播放各帧图像形成视频，因此，本申请对视频流数据进行拆解，按照采集的图像的时间顺序拆解视频流数据，获取不同时刻下每帧的图像信息。
进而，在获取图像之后，对图像进行处理列队处理，具体是针对每一个摄像机的拆解出的各帧图像进行单独的实时图像业务处理。通过进行图像处理，消除视频拼接过程中图像中可能出现的不正常现象，从而后续再对相应时间的图像进行匹配，完成各个摄像机采集的视频的拼接。
即，本申请的视频拼接算法包括各种调整算法以及特征要素检测和图像特征匹配等图像处理算法，下面对本申请的视频拼接算法进行详细描述。
在本申请一个实施例中，视频拼接算法包括在通过调整后的每台摄像机采集视频数据之前，对每台摄像机的内参进行畸变校正。以及图像处理过程中的将每帧图像分割为多个目标区域，在每个目标区域中，通过Oriented FAST and Rotated BRIEF(简称ORB)算法进行特征要素检测和图像特征匹配。还包括在将进行图像处理后的同一时间的下全部帧图像拼接为一个整体图像之后，通过enfuse应用对整体图像进行曝光合成。
具体实施时，在本申请实施例中，第一步，先进行相机内参畸变校正。具体包括以下步骤：先获取已知的世界坐标系下的第一坐标点和像素坐标系下的第二坐标点；构建像素坐标系下的坐标点与内参矩阵、变换矩阵和世界坐标系下的坐标点的函数方程；将第一坐标点和第二坐标点的坐标值代入函数方程，计算出内参矩阵，并通过内参矩阵进行相机标定。
具体而言，可以理解的是，相机成像的过程实际就是将世界坐标系的点，转换到相机坐标系，再通过投影得到图像坐标系，进而再转化为像素坐标系的过程。而由于透镜精度和工艺会引入畸变，其中，畸变就是指在世界坐标系中的直线转化到其他坐标系后发生了变化不再是直线，从而导致失真，为了解决这个问题，本申请引入了相机畸变校正模型。
进行校正时，假设已知世界坐标系下的空间点P(X,Y,,Z)，即第一坐标点，以及其在像素坐标系下的坐标p(u,v)，即第二坐标点。再根据世界坐标系同相机内部各个坐标系之间的转换关系，求解相机的内参，从而达到相机内参的标定的目的。
其中，p(u,v)的坐标如下所示：
Figure BDA0004041823890000061
其中，fx和fy分别表示焦距在X和Y轴上的偏移量，XC、YC和ZC分别表示空间点P的坐标，cx和cy分别表示在u方向上和v方向上的像素点的偏移量。
用矩阵的形式可以表示为：
Figure BDA0004041823890000062
即，构建的函数方程为：
p＝K·T·P
其中，p为像素坐标点，T为变换矩阵(外参矩阵)，P为世界坐标系下的点的坐标，K为需要求解的相机内参矩阵。又因为第一坐标点和第二坐标点的值已知，可计算出K矩阵，计算出来的K矩阵就可以用来做相机标定，修正综采面上图像因相机镜头的畸变导致出现的图像变形。
第二步，将每帧图像分割为多个目标区域。具体包括以下步骤：预先按照多个目标区域将综采工作面进行划分，其中，多个目标区域包括煤壁区域、线缆槽区域、支架大脚区域和采煤机区域。然后采集综采工作面的原始图像，并对每张原始图像进行标注，基于标注后的原始图像训练深度学习模型。最后通过训练完成的深度学习模型将每帧图像分割为多个目标区域。
具体而言，图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。在综采工作面的视频拼接过程中，可以根据需要重点监控的区域等因素，确定从每帧图像中需要分割出来单独的煤壁区域、线缆槽区域、大脚区域以及采煤机区域作为独特的目标区域。
需要理解的是，对于综采工作面而言，采煤机滚筒附近的支架大脚与线缆槽之间的区域是危险区域，需要进行人员入侵监测，这些区域需要重点进行监控。因此，本申请基于实际监控需要，选择上述各区域为目标区域。
在进行目标区域的图像分割时，本申请实施例采用机器学习技术，通过训练深度学习模型进行图像分割，以提高图像分割的准确性和分割效率。在训练图像分割深度学习模型过程中，首先将综采工作面划分出上述多个目标区域，将煤壁、线缆槽、大脚以及采煤机定义为coal、pipe、road以及machine，再采集大量的原始图像，比如，可以采集大约10000多张原始图像，再通过人工标注的等方式对原始图像进行标注，即分别图片中标注出上述各个目标区域。进而，把标注好的图片以及josn文件作为训练数据，输入到深度学习模型中进行模型训练，最后得出整个综采面的模型配置文件。在实际进行图像分割时，利用这些配置模型可以对采集到的各帧的综采面图像进行分割为上述多个区域。
第三步，进行特征要素检测。在本申请实施例中通过ORB算法进行特征要素检测和第四步的图像特征匹配。本申请通过ORB算法对同一时刻下不同摄像机的图像帧进行特征匹配，可以解决不同图像帧间的缩放尺度问题和旋转问题，以便于视频拼接。
其中，ORB算法是基于FAST特征检测与BRIEF特征描述子匹配实现，包含两部分的改进，一部分是将FAST改进为Oriented FAST，另一部分是将BRIEF改进为Rotated BRIEF。相比BRIEF算法中依靠随机方式获取而值点对，ORB通过FAST方法，FAST方式寻找候选特征点方式是假设灰度图像像素点A周围的像素存在连续大于或者小于A的灰度值。
为了更加清楚的说明本申请进行特征要素检测的具体实现过程，下面以在本申请实施例中提出的一种具体的特征要素检测方法进行示例性说明，图2为本申请实施例提出的一种特征要素检测方法的流程图，如图2所示，该方法包括以下步骤：
步骤S201，在待处理的目标像素点的周围，选取第一数量个像素点分别与目标像素点进行像素比较。
具体的，在待观察的目标像素点p周围找多个点进行比较，检测目标像素点周围一圈的像素值，若有足够多的像素值与目标像素点的差异都较大，则认为该目标像素点是候选特征点，其中，选取的像素点的第一数量可以根据需要确定。
举例而言，如图3所示，以目标像素点p为中心，选取半径为3个单元格的圆上的16个像素点进行比较。
步骤S202，在存在连续的第二数量个像素点的像素均大于或均小于目标像素点的像素时，确定目标像素点为候选特征点。
继续参照图3所示的示例，若选取的16个像素点中有连续方向上的第二数量个像素点的像素值均大于或均小于目标像素点的像素，或者，有连续方向上的第二数量个像素点与目标像素点的像素值的差的绝对值均大于或小于某一给定阈值，那么目标像素点p被判定为候选特征点。其中，第二数量可以根据选取的像素点的第一数量和检测精度需要等因素确定，比如，第一数量为16时，第二数量可以为12，也可以将第二数量设置为9和11等。
需要说明的是，为了提高特征检测效率，在本申请一个实施例中，可以通过分割测试进行检测，即不需要逐个遍历考察圆周上的16个像素点，而是先考察垂直和水平方向上的4个点，即图3中标号为1、9、5和13的四个像素点进行测试。先测试1和19，如果它们符合要求再测试5和13。可以理解，如果p是候选特征点，那么这四个点中至少有3个要符合阈值要求，如果不满足则表明p不是候选特征点，进而结束检测重新选择目标像素点。对通过这步测试的点再继续进行测试，判断是否有12个像素点符合阈值要求。基于FAST算子要求圆周上最少有12个连续的差异较大的点，如果垂直和水平方向上4个点中有2个或2个以上不满足要求的点，则可以直接判断该点不是候选特征点，由此可以排除绝大部分非候选特征点，提高检测速度。
进而，重复上述步骤，对每一个可能的候选特征点均进行上述检测。
步骤S203，通过预设的特征阈值对候选特征点进行筛选，获得目标特征点。
具体的，通过阈值进行最终的筛选，确定上一步骤中确定的各个候选特征点是否为ORB特征点。
作为一种可能的实现方式，可以对候选特征点进行特征点检测，通过非极大值抑制后得到最终的目标特征点检测结果。
步骤S204，通过Rotated BRIEF算法构建每个目标特征点的特征描述子，其中，特征描述子是由1和0组成的二进制序列，并且每个目标特征点的特征描述子的序列长度相同。
具体的，在确定目标特征点后，再描述特征点，使用BRIEF构建特征描述子，特征描述子计算主要是为了保留目标特征点周围信息，便于后续进行的特征点间的匹配。本申请通过Rotated BRIEF构建特征描述子，相较于BRIFT保持了旋转不变性。具体是先在p点周围找特征点对，以一定模式选取N个点对，然后比较这N个点对，对选取的点对进行T操作，把比较结果组合成描述子，得到0和1的序列，可按照点对的位置进行排列。
举例而言，在目标特征点p选取4个点对，设为(A1,B1)、(A2,B2)、(A3,B3)和(A4,B4)。T操作为，若Ai＞Bi，则T(A，B)＝1，若Bi＞Ai，则T(A，B)＝0。假设上述4个点对中T(A1,B1)＝1,T(A2,B2)＝1,T(A3,B3)＝0,T(A4,B4)＝1，则目标特征点p的特征描述子为序列：1101。
需要说明的是，为了后续便于进行特征匹配，本申请中将每个目标特征点构建的描述子大小和顺序必须相同，包括特征描述子的序列长度相同。在大小、方向和明暗不同的图像帧中，同一特征点应具有足够相似的描述子，即构建的特征描述子应具有可复现性，对于实际物体中的同一点，在不同的图像帧中进行计算描述子时，应具有同样的结果。即特征描述子应该综采工作面中的对光照亮度不敏感，具备尺度大小一致性和旋转一致性等，以便于后续对不同的图像帧进行拼接，得到与实物一致的整体图像。
为了实现上述效果，在本实施例中可以通过Oriented FAST提取特征点时，除了位置还增加对于方向的考量。并通过基于图像金字塔的方法实现旋转不变性。
还需说明的是，大面积的安装在同一平面的摄像机，在图像拼接过程中，会由于拍摄摄像机不存在共同的圆心，导致拼接过程中出现图形有曲面变化。而本申请对于图像扭曲，通过上述图像处理，比如，通过构建旋转不变性和尺度不变性的特征描述子，可根据具体拉伸状态，进行运算，矫正视频图像拼接过程中的扭曲现象。在拼接过程中实现影像的自动位置匹配，以及图像同步，图像校正、旋转和拉伸等。
第四步，进行特征点匹配。具体包括以下步骤：将相邻两帧图像中的待匹配的两个目标特征点的特征描述子进行比较，依次确定两个特征描述子中同一位下的数值是否相同；统计数值相同的位的个数，并将数值相同的位的个数与特征描述子的总位数相除，获得两个目标特征点的相似度；将相似度与预设的相似度阈值进行比较，在相似度大于相似度阈值的情况下，确定两个目标特征点匹配。
具体而言，将对两个目标特征点构建的特征描述子(1和0组成的二进制序列)进行比较，计算两个目标特征点的相似度＝(相同的个数)/(总个数)。举例而言，假设两个目标特征点A和B的描述子如下所示：
A：11101011；B：11101010。假设一个阈值，比如，80％。当A和B的描述子的相似度大于80％时，判定A和B是相同的特征点，即这2个点匹配成功。在本示例中A和B通过上述公式计算出的相似度为87.5％，大于阈值80％，则确定A和B匹配。
步骤S103，将进行图像处理后的同一时间的下全部帧图像拼接为一个整体图像，并按照时间顺序将不同时间下的整体图像组合为可视化视频。
具体的，根据上一步骤中的图像处理结果，对同一时间的下各个摄像头采集的全部帧图像拼接为一个整体图像。作为一种示例，可以基于确定的相同的特征点对两帧图像进行拼接，从而将同一物体在不同图像帧间的部分拼接在一起，实现拼接后的图像与实际物体一致。
在本申请一个实施例中，为了提高拼接后的图像的显示效果，在将进行图像处理后的同一时间的下全部帧图像拼接为一个整体图像之后，还包括：通过enfuse应用对整体图像进行曝光合成。
具体而言，由于目前摄像机的感光的动态范围相比人眼较小，经常在拍摄出的一幅照片中暗处太暗，亮处过曝。为此，本申请实施例通过开源软件enfuse进行图像动态匹配，即对同一场景用不同的曝光量拍摄多张照片，然后将这些照片再合成为一张照片。
在本申请一个实施例中，为了提高本申请的视频拼接方法的稳定性，在调整每台摄像机的拍摄角度和拍摄范围之后，还包括：获取综采工作面的基于对象链接与嵌入的过程控制OPC协议的工业数据信息；基于工业数据信息进行视频数据的实时采集和监控视频的拼接。
具体而言，对象链接与嵌入的过程控制(Object Linking and Embedding forProcess Control，简称OPC)是一个工业标准，是对象连接和嵌入技术在过程控制方面的应用。OPC规范从OLE/COM/DCOM的技术基础上发展而来，并以C/S模式为面向对象的工业自动化软件的开发建立了统一标准，该标准中定义了在基于PC的客户机之间进行自动化数据实时交换的方法。采用OPC标准后，驱动程序不再由软件开发商开发，而是由硬件开发商根据硬件的特征，将各个硬件设备驱动程序和通讯程序封装成可独立运行或嵌入式运行的数据服务器。本申请实施通过将视频拼接与传统工业信息化OPC数据结合，确保在相对恶劣的环境下保持系统的稳定性。
举例而言，可以获取综采工作面中各个硬件设备，比如，摄像机和采煤机等，以及各个控制系统的工业数据信息，基于这些信息确定视频数据采集、通过无线传输系统传输视频数据以及在综采面单独的服务器中进行图像处理的方式，针对综采面中的采煤机、煤壁、线缆槽及大脚等区域，实时采集数据和拼接，确保在相对恶劣的环境下保持系统的稳定性。
进一步的，按照视频数据拆分的时间顺序，再将不同时间下的拼接完整的整体图像组合为一个流场的视频，并通过显示设备的人机交互界面向相关工作人员进行展示，以便于用户查看监控视频。
在本申请一个实施例中，可以增加一个时间同步服务器，进行视频数据的拆解和组合，以确保视频融合后其图像的一致性，保证将相邻的两画面图像偏差时间缩小至小于1秒钟，保证图像的流畅性。
综上所述，本申请实施例的综采工作面监控视频的拼接方法，基于软件视频拼接算法对综采工作面上调整拍摄角度和增大拍摄范围后的多台摄像机采集的监控视频数据进行拼接。在频图像拼接过程中，能够对摄像机不存在共同的圆心导致的图像扭曲现象进行矫正。实现影像的自动位置匹配，以及图像同步、校正、旋转、拉伸等，最终实现多个画面的图像自动融合，实时智能图像调整。由此，该方法能够满足综采工作面现场相机不是正对采煤机且相机位置不是共心的应用场景，可解决多场景类似和大场景下的全景视频拼接问题，丰富了视频拼接可适用的场景，降低了视频拼接的限制性，提高了视频拼接算法的实用性和鲁棒性。并且，该方法将机器学习和图像算法等技术相融合，提高了对多个监控区域的视频画面拼接的准确性和与实际场景的一致性，能够在相对恶劣的环境下保持系统的稳定性。
基于上述实施例，为了更加清楚的说明本申请进行视频拼接具体实现流程，下面结合本申请一个实施例中提出的一种视频拼接系统和视频拼接算法进行详细描述。图4为本申请实施例提出的一种具体的视频拼接系统的工作原理示意图，如图4所示，该系统包括数据采集模块(包括摄像机及防护壳等)、传输部分(包括电缆或者光缆、交换机等)、图像处理模块和可视化显示部分。
该系统以单独的服务器做相机数据拉取，获取124张图像数据，对视频流数据进行拆解，获取每帧的图像信息。获取图像之后，对图像进行处理列队处理，包括非实时图像处理和实时图像处理两部分。对于非实时图像处理，通过轮询调用图像进行处理的方式，可以节省计算资源，适用于不需要重点关注的对象的视频监控。并可以确定感兴趣的相机队列，选取一部分相机，对于其采集的数据进行上述实施例的实时图像处理。其中，进行图像处理时，对每一个相机的图像进行单独处理，对相应时间的图像进行匹配。实时图像业务处理，主要是对整体图像进行实时的算法处理。拼接可视化业务是指把计算好的图像通过UI展示给用户，用户可以在平台上查看到最终的展示效果。
图5为本申请实施例提出的一种具体的视频拼接算法的流程图，如图5所示，该算法包括以下步骤：
步骤S501，相机内参畸变矫正。
步骤S502，图像区域分割。
步骤S503，特征要素检测识别。
步骤S504，图像特征匹配。
步骤S505，图像enfuse动态处理。
步骤S506，工业数据信息获取。
需要说明的是，上述各步骤的具体实现方式可以参照上述实施例中的相关描述，实现原理类似，此处不再赘述。
为了实现上述实施例，本申请还提出了一种综采工作面监控视频的拼接系统。图6为本申请实施例提出的一种综采工作面监控视频的拼接系统的结构示意图。如6图所示，该系统包括：数据采集模块100、图像处理模块200和可视化显示模块300。
其中，数据采集模块100，用于在综采工作面上设置预设数量台摄像机，并调整每台摄像机的拍摄角度和拍摄范围。
图像处理模块200，用于将调整后的每台摄像机采集的视频数据按照时间顺序进行拆解，将同一时间的下每帧图像分别进行图像处理，图像处理包括特征要素检测和图像特征匹配。
可视化显示模块300,用于将进行图像处理后的同一时间的下全部帧图像拼接为一个整体图像，并按照时间顺序将不同时间下的整体图像组合为可视化视频。
可选地，一些实施例中，数据采集模块100，还用于：对每台摄像机的内参进行畸变校正。图像处理模块200具体用于：将每帧图像分割为多个目标区域；在每个目标区域中，通过ORB算法进行特征要素检测和图像特征匹配；通过enfuse应用对所述整体图像进行曝光合成。
可选地，一些实施例中，数据采集模块100，具体用于：获取已知的世界坐标系下的第一坐标点和像素坐标系下的第二坐标点；构建像素坐标系下的坐标点与内参矩阵、变换矩阵和世界坐标系下的坐标点的函数方程；将第一坐标点和第二坐标点的坐标值代入函数方程，计算出内参矩阵，并通过内参矩阵进行相机标定。
可选地，一些实施例中，图像处理模块200，具体用于：预先按照多个目标区域将综采工作面进行划分，多个目标区域包括煤壁区域、线缆槽区域、支架大脚区域和采煤机区域；采集综采工作面的原始图像，并对每张原始图像进行标注，基于标注后的原始图像训练深度学习模型；通过训练完成的深度学习模型将每帧图像分割为多个目标区域。
可选地，一些实施例中，图像处理模块200，具体用于：在待处理的目标像素点的周围，选取第一数量个像素点分别与目标像素点进行像素比较；在存在连续的第二数量个像素点的像素均大于或均小于目标像素点的像素时，确定目标像素点为候选特征点；通过预设的特征阈值对候选特征点进行筛选，获得目标特征点。
可选地，一些实施例中，图像处理模块200，具体用于：通过Rotated BRIEF算法构建每个目标特征点的特征描述子，其中，特征描述子是由1和0组成的二进制序列，并且每个目标特征点的特征描述子的序列长度相同。
可选地，一些实施例中，图像处理模块200，具体用于：将相邻两帧图像中的待匹配的两个目标特征点的特征描述子进行比较，依次确定两个特征描述子中同一位下的数值是否相同；统计数值相同的位的个数，并将数值相同的位的个数与特征描述子的总位数相除，获得两个目标特征点的相似度；将相似度与预设的相似度阈值进行比较，在相似度大于相似度阈值的情况下，确定两个目标特征点匹配。
可选地，一些实施例中，该系统还包括信息获取模块，用于：获取综采工作面的基于对象链接与嵌入的过程控制OPC协议的工业数据信息；基于工业数据信息进行所述视频数据的实时采集和监控视频的拼接
综上所述，本申请实施例的综采工作面监控视频的拼接系统，基于软件视频拼接算法对综采工作面上调整拍摄角度和增大拍摄范围后的多台摄像机采集的监控视频数据进行拼接。在频图像拼接过程中，能够对摄像机不存在共同的圆心导致的图像扭曲现象进行矫正。实现影像的自动位置匹配，以及图像同步、校正、旋转、拉伸等，最终实现多个画面的图像自动融合，实时智能图像调整。由此，该系统能够满足综采工作面现场相机不是正对采煤机且相机位置不是共心的应用场景，可解决多场景类似和大场景下的全景视频拼接问题，丰富了视频拼接可适用的场景，降低了视频拼接的限制性，提高了视频拼接算法的实用性和鲁棒性。并且，该系统将机器学习和图像算法等技术相融合，提高了对多个监控区域的视频画面拼接的准确性和与实际场景的一致性，能够在相对恶劣的环境下保持系统的稳定性。
为了实现上述实施例，本申请还提出一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行上述实施例中任一项所述的综采工作面监控视频的拼接方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种综采工作面监控视频的拼接方法，其特征在于，包括以下步骤：
在综采工作面上设置预设数量台摄像机，并调整每台所述摄像机的拍摄角度和拍摄范围；
将调整后的每台摄像机采集的视频数据按照时间顺序进行拆解，将同一时间的下每帧图像分别进行图像处理，所述图像处理包括特征要素检测和图像特征匹配；
将进行所述图像处理后的同一时间的下全部帧图像拼接为一个整体图像，并按照所述时间顺序将不同时间下的所述整体图像组合为可视化视频。
2.根据权利要求1所述的综采工作面监控视频的拼接方法，其特征在于，在通过所述调整后的每台摄像机采集视频数据之前，还包括：
对每台所述摄像机的内参进行畸变校正；
所述将同一时间的下每帧图像分别进行图像处理，包括：
将每帧所述图像分割为多个目标区域；
在每个所述目标区域中，通过ORB算法进行所述特征要素检测和所述图像特征匹配；
在所述将进行所述图像处理后的同一时间的下全部帧图像拼接为一个整体图像之后，还包括：
通过enfuse应用对所述整体图像进行曝光合成。
3.根据权利要求2所述的综采工作面监控视频的拼接方法，其特征在于，所述对每台所述摄像机的内参进行畸变校正，包括：
获取已知的世界坐标系下的第一坐标点和像素坐标系下的第二坐标点；
构建像素坐标系下的坐标点与内参矩阵、变换矩阵和世界坐标系下的坐标点的函数方程；
将所述第一坐标点和所述第二坐标点的坐标值代入所述函数方程，计算出所述内参矩阵，并通过所述内参矩阵进行相机标定。
4.根据权利要求2所述的综采工作面监控视频的拼接方法，其特征在于，所述将每帧所述图像分割为多个目标区域，包括：
预先按照所述多个目标区域将所述综采工作面进行划分，所述多个目标区域包括煤壁区域、线缆槽区域、支架大脚区域和采煤机区域；
采集所述综采工作面的原始图像，并对每张所述原始图像进行标注，基于标注后的原始图像训练深度学习模型；
通过训练完成的深度学习模型将每帧所述图像分割为所述多个目标区域。
5.根据权利要求2所述的综采工作面监控视频的拼接方法，其特征在于，所述通过ORB算法进行所述特征要素检测，包括：
在待处理的目标像素点的周围，选取第一数量个像素点分别与所述目标像素点进行像素比较；
在存在连续的第二数量个像素点的像素均大于或均小于所述目标像素点的像素时，确定所述目标像素点为候选特征点；
通过预设的特征阈值对所述候选特征点进行筛选，获得目标特征点。
6.根据权利要求5所述的综采工作面监控视频的拼接方法，其特征在于，还包括：
通过Rotated BRIEF算法构建每个所述目标特征点的特征描述子，其中，特征描述子是由1和0组成的二进制序列，并且每个所述目标特征点的特征描述子的序列长度相同。
7.根据权利要求6所述的综采工作面监控视频的拼接方法，其特征在于，通过所述ORB算法进行所述图像特征匹配，包括：
将相邻两帧图像中的待匹配的两个目标特征点的特征描述子进行比较，依次确定两个所述特征描述子中同一位下的数值是否相同；
统计数值相同的位的个数，并将所述数值相同的位的个数与所述特征描述子的总位数相除，获得所述两个目标特征点的相似度；
将所述相似度与预设的相似度阈值进行比较，在所述相似度大于所述相似度阈值的情况下，确定所述两个目标特征点匹配。
8.根据权利要求1所述的综采工作面监控视频的拼接方法，其特征在于，在所述调整每台所述摄像机的拍摄角度和拍摄范围之后，还包括：
获取所述综采工作面的基于对象链接与嵌入的过程控制OPC协议的工业数据信息；
基于所述工业数据信息进行所述视频数据的实时采集和监控视频的拼接。
9.一种综采工作面监控视频的拼接系统，其特征在于，包括：
数据采集模块,用于在综采工作面上设置预设数量台摄像机，并调整每台所述摄像机的拍摄角度和拍摄范围；
图像处理模块,用于将调整后的每台摄像机采集的视频数据按照时间顺序进行拆解，将同一时间的下每帧图像分别进行图像处理，所述图像处理包括特征要素检测和图像特征匹配；
可视化显示模块,用于将进行所述图像处理后的同一时间的下全部帧图像拼接为一个整体图像，并按照所述时间顺序将不同时间下的所述整体图像组合为可视化视频。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-8中任一项所述的综采工作面监控视频的拼接方法。
CN202310019243.9A 2023-01-06 2023-01-06 综采工作面监控视频的拼接方法及系统 Pending CN116320779A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310019243.9A CN116320779A (zh) 2023-01-06 2023-01-06 综采工作面监控视频的拼接方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310019243.9A CN116320779A (zh) 2023-01-06 2023-01-06 综采工作面监控视频的拼接方法及系统

Publications (1)

Publication Number Publication Date
CN116320779A true CN116320779A (zh) 2023-06-23

Family

ID=86776930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310019243.9A Pending CN116320779A (zh) 2023-01-06 2023-01-06 综采工作面监控视频的拼接方法及系统

Country Status (1)

Country Link
CN (1) CN116320779A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116567166A (zh) * 2023-07-07 2023-08-08 广东省电信规划设计院有限公司 一种视频融合方法、装置、电子设备及存储介质
CN117097017A (zh) * 2023-08-09 2023-11-21 盐城工学院 一种具备远程监控功能的新能源双向充电站

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116567166A (zh) * 2023-07-07 2023-08-08 广东省电信规划设计院有限公司 一种视频融合方法、装置、电子设备及存储介质
CN116567166B (zh) * 2023-07-07 2023-10-17 广东省电信规划设计院有限公司 一种视频融合方法、装置、电子设备及存储介质
CN117097017A (zh) * 2023-08-09 2023-11-21 盐城工学院 一种具备远程监控功能的新能源双向充电站
CN117097017B (zh) * 2023-08-09 2024-04-05 盐城工学院 一种具备远程监控功能的新能源双向充电站

Similar Documents

Publication Publication Date Title
CN116320779A (zh) 综采工作面监控视频的拼接方法及系统
CN109978755B (zh) 全景图像合成方法、装置、设备与存储介质
CN1993707B (zh) 图像处理方法和设备、摄像设备
US20210342639A1 (en) Product onboarding machine
CN109902633A (zh) 基于固定位摄像机监控视频的异常事件检测方法及装置
CN103517041A (zh) 基于多相机旋转扫描的实时全景监控方法和装置
JP2017062776A (ja) 構造物に対する変化を検出するための方法、装置およびコンピュータ可読媒体
WO2013135033A1 (zh) 基于图像分析的隧道变形在线监测系统及其应用
WO2019111976A1 (ja) 対象物検出装置、予測モデル作成装置、対象物検出方法及びプログラム
US20210281748A1 (en) Information processing apparatus
CN106034202B (zh) 视频拼接摄像头的调整方法及其装置
WO2020059706A1 (ja) 学習用データ収集装置、学習用データ収集方法、及びプログラム
CN105554447A (zh) 一种基于图像处理技术的采煤工作面实时视频拼接系统
CN111383204A (zh) 视频图像融合方法、融合装置、全景监控系统及存储介质
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
CN110120012B (zh) 基于双目摄像头的同步关键帧提取的视频拼接方法
CN109785357B (zh) 一种适用于战场环境的机器人智能化全景光电侦察的方法
US20120249837A1 (en) Methods and Systems for Real-Time Image-Capture Feedback
JP7387261B2 (ja) 情報処理装置、情報処理方法及びプログラム
KR20160048428A (ko) 팬틸트줌 카메라 기반의 영상 재생방법 및 장치
CN112037128B (zh) 一种全景视频拼接方法
KR101509593B1 (ko) 프리셋 투어 카메라를 위한 영상 분류 방법 및 그 장치
CN113255797A (zh) 一种基于深度学习模型的危险品检测方法和系统
JP3232502B2 (ja) 霧監視システム
CN116132610A (zh) 一种综采面视频拼接方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination