CN113727078A - 一种工程监控方法及装置 - Google Patents
一种工程监控方法及装置 Download PDFInfo
- Publication number
- CN113727078A CN113727078A CN202111195173.XA CN202111195173A CN113727078A CN 113727078 A CN113727078 A CN 113727078A CN 202111195173 A CN202111195173 A CN 202111195173A CN 113727078 A CN113727078 A CN 113727078A
- Authority
- CN
- China
- Prior art keywords
- monitoring
- video stream
- image
- frame
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 162
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012806 monitoring device Methods 0.000 claims abstract description 85
- 238000012163 sequencing technique Methods 0.000 claims abstract description 10
- 239000011159 matrix material Substances 0.000 claims description 30
- 230000009466 transformation Effects 0.000 claims description 21
- 230000015654 memory Effects 0.000 claims description 19
- 238000012545 processing Methods 0.000 claims description 16
- 230000004927 fusion Effects 0.000 claims description 6
- 238000007726 management method Methods 0.000 description 10
- 238000010276 construction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供了一种工程监控方法及装置，该方法包括：获取目标监控对象对应的多个监控设备，及对应的工程监控需求，工程监控需求包括：目标监控对象的监控范围；基于多个监控设备的视频流地址，提取每个监控设备对应的视频流；获取各监控设备对应的视频流的总帧数；对总帧数进行排序，确定总帧数最小的第一视频流；基于第一视频流的帧速率和总帧数，按照工程监控需求对各监控设备对应的视频流进行视频拼接，生成全景视频流。通过实施本发明，实现了用户对工程现场的监控效率，减少了监控的复杂性，方便且高效的进行实时监控，避免工程管理漏洞的发生。
Description
技术领域
本发明涉及工程管理技术领域，具体涉及一种工程监控方法及装置。
背景技术
在工程施工过程中，需要对工程作业进度进行实时监控管理，而在工程现场经常会出现作业范围比较大或作业现场存在建筑遮挡的情况，此时就需要在工程现场设置多个监控设备进行监控，以便于了解整个工程的作业情况。这就需要工程管理人员同时关注多个监控设备，在需要监管某个具体作业面时，如果该作业面由多个监控设备进行监控，将难以实时掌握整个作业面的施工情况，容易造成工程管理漏洞。
发明内容
有鉴于此，本发明实施例提供了一种工程监控方法及装置，以克服现有技术中通过工程管理人员同时关注多个监控设备进行工程监控的方式，难以实时掌握整个作业面的施工情况，造成工程管理漏洞的问题。
根据第一方面，本发明实施例提供了一种工程监控方法，包括：
获取目标监控对象对应的多个监控设备及对应的工程监控需求，所述工程监控需求包括：所述目标监控对象的监控范围；
获取各监控设备对应的视频流的总帧数；
对总帧数进行排序，确定总帧数最小的第一视频流；
基于所述第一视频流的帧速率和总帧数，按照所述工程监控需求对各监控设备对应的视频流进行视频拼接，生成全景视频流。可选地，所述基于所述多个监控设备的视频流地址，提取每个监控设备对应的视频流，包括：
获取当前监控设备对应的设备标识；
基于所述设备标识提取所述当前监控设备的目标视频流地址；
从所述目标视频流地址中提取所述当前监控设备对应的视频流。
可选地，所述方法还包括：
将所述全景视频流推送至流媒体服务器，以使目标用户从所述流媒体服务器进行视频拉流展示，对所述目标监控对象进行监控。
可选地，所述基于所述第一视频流的帧速率和总帧数，按照所述工程监控需求对各监控设备对应的视频流进行视频拼接，生成全景视频流，包括：
基于所述工程监控需求，确定目标拼接视频的尺寸；
基于所述第一视频流的帧速率和总帧数，依次提取各监控设备对应的视频流中的帧图像；
基于所述目标拼接视频的尺寸，对当前提取的各个帧图像进行拼接，得到当前帧的全景图像；
按照拼接时间顺序，对每一帧的全景图像进行排序，生成全景视频流。
可选地，所述基于所述目标拼接视频的尺寸，对当前提取的各个帧图像进行拼接，得到当前帧的全景图像，包括：
获取第二监控设备与所述第一视频对应第一监控设备间的变换矩阵，所述第二监控设备为所述多个监控设备中除所述第一监控设备之外的监控设备；
基于所述变换矩阵，对当前提取的所述第二监控设备对应的帧图像进行图像变换，得到第二帧图像；
基于所述目标拼接视频的尺寸，将所述第二帧图像与当前提取的所述第一视频流对应的第一帧图像进行图像融合，得到当前帧的全景图像。
可选地，所述将所述第二帧图像与当前提取的所述第一视频流对应的第一帧图像进行图像融合，得到当前帧的全景图像，包括：
获取所述第二帧图像与所述第一帧图像的图像重叠区域；
基于所述第一帧图像和所述第二帧图像在图像重叠区域中对应像素点的第一像素值和第二像素值，确定全景图像中所述像素点对应的第三像素值。
可选地，所述基于所述第一帧图像和所述第二帧图像在图像重叠区域中对应像素点的第一像素值和第二像素值，确定全景图像中所述像素点对应的第三像素值，包括：
计算当前像素点到所述第一帧图像与所述图像重叠区域边界的第一距离；
计算当前像素点到所述第二帧图像与所述图像重叠区域边界的第二距离；
基于所述第一距离、所述第一像素值、所述第二距离、所述第二像素值，计算所述当前像素点对应的第三像素值。
根据第二方面，本发明实施例提供了一种工程监控装置，包括：
获取模块，用于获取目标监控对象对应的多个监控设备及对应的工程监控需求，所述工程监控需求包括：所述目标监控对象的监控范围；
第一处理模块，用于基于所述多个监控设备的视频流地址，提取每个监控设备对应的视频流；
第二处理模块，用于获取各监控设备对应的视频流的总帧数；
第三处理模块，用于对总帧数进行排序，确定总帧数最小的第一视频流；
第四处理模块，用于基于所述第一视频流的帧速率和总帧数，按照所述工程监控需求对各监控设备对应的视频流进行视频拼接，生成全景视频流。
根据第三方面，本发明实施例提供了一种电子设备，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面及其任意一种可选实施方式所述的方法。
根据第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面，或者第一方面任意一种可选实施方式中所述的方法。
本发明技术方案，具有如下优点：
本发明实施例提供的工程监控方法及装置，通过获取目标监控对象对应的多个监控设备及对应的工程监控需求，工程监控需求包括：目标监控对象的监控范围；基于多个监控设备的视频流地址，提取每个监控设备对应的视频流；获取各监控设备对应的视频流的总帧数；对总帧数进行排序，确定总帧数最小的第一视频流；基于第一视频流的帧速率和总帧数，按照工程监控需求对各监控设备对应的视频流进行视频拼接，生成全景视频流。从而通过利用目标监控对象对应监控设备的视频流地址来提取监控对象的视频流，并按照总帧数最小的视频流和工程监控需求进行视频流拼接，得到目标监控对象的全景视频流，实现了用户对工程现场的监控效率，减少了监控的复杂性，方便且高效的进行实时监控，进而避免工程管理漏洞的发生。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例的工程监控系统的结构示意图；
图2为本发明实施例中工程监控方法的流程图；
图3为本发明实施例的工程监控装置的结构示意图；
图4为本发明实施例的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
在工程施工过程中，需要对工程作业进度进行实时监控管理，而在工程现场经常会出现作业范围比较大或作业现场存在建筑遮挡的情况，此时就需要在工程现场设置多个监控设备进行监控，以便于了解整个工程的作业情况。这就需要工程管理人员同时关注多个监控设备，在需要监管某个具体作业面时，如果该作业面由多个监控设备进行监控，将难以实时掌握整个作业面的施工情况，容易造成工程管理漏洞。例如：项目经理想了解施工现场的进度情况，看每个作业面的人员是否处于工作状态；多台监控管理多个作业面，监控起来比较麻烦，如需要监控线性工程或者房建作业面等。
基于上述问题，本发明实施例提供了一种工程监控方法，应用于如图1所示的工程监控系统的控制器，该工程监控系统包括：客户端、流媒体服务器及控制器，其中，用户通过客户端进行工程监控操作，控制器基于用户的操作进行监控对象对应全景视频流的处理，并在处理完成后推流至流媒体服务器，用户在客户端进行拉流操作，从流媒体服务器中获取对应的监控对象的视频流在客户端进行显示，以对监控对象进行实时的监控。
具体地，如图2所示，该工程监控方法具体包括如下步骤：
步骤S101：获取目标监控对象对应的多个监控设备及对应的工程监控需求，工程监控需求包括：目标监控对象的监控范围。
其中，该目标监控对象为实际工程中需要进行监控的作业现场，如：房建作业面等，由于目标监控对象现场条件的限制或涉及现场范围的问题，单个监控设备可能仅能对目标监控对象的某个角度或某个位置进行监控，因此，需要多个监控设备来实现全面监控，以达到监控目的。在实际工程中目标监控对象具有涉及范围大、现场情况复杂的特点，如房建作业面常常涉及整个建筑的作业，为了进行更加精准的监控，可以对目标监控对象的监控范围进行设置，并且可以根据该监控范围及监控设备距离作业现场的距离，合理确定出整个全景监控视频的尺寸，从而为用户提供最佳的监控视频呈现效果。
步骤S102：基于多个监控设备的视频流地址，提取每个监控设备对应的视频流。
其中，每个监控设备都事先设置有视频流地址，即Rtmp地址，以便于读取监控设备的监控视频。
步骤S103：获取各监控设备对应的视频流的总帧数。
其中，受监控设备开启监控的时间以及设备型号等因素的影响不同监控设备在同一监控时间内拍摄视频的帧数可能存在差异。
步骤S104：对总帧数进行排序，确定总帧数最小的第一视频流。
具体地，通过将总帧数最小的视频流作为参考视频，在进行视频拼接时，按照该最小帧数进行拼接，从而尽可能保证了拼接后视频的还原度，避免由于空视频帧的不利影响。
步骤S105：基于第一视频流的帧速率和总帧数，按照工程监控需求对各监控设备对应的视频流进行视频拼接，生成全景视频流。
通过执行上述步骤，本发明实施例提供的工程监控方法，通过利用目标监控对象对应监控设备的视频流地址来提取监控对象的视频流，并按照总帧数最小的视频流和工程监控需求进行视频流拼接，得到目标监控对象的全景视频流，实现了用户对工程现场的监控效率，减少了监控的复杂性，方便且高效的进行实时监控，进而避免工程管理漏洞的发生。
具体地，在一实施例中，上述的步骤S102具体包括如下步骤：
步骤S201：获取当前监控设备对应的设备标识。
其中，在工程现场安装的监控设备时，可以对监控设备进行统一的ID编号，则该ID即可作为该监控设备的设备标识，此外也可以通过其他方式设置设备标识，只要能够唯一确定监控设备即可，本发明并不以此为限。
步骤S202：基于设备标识提取当前监控设备的目标视频流地址。
其中，每个监控设备在拍摄监控区域的视频时，会将所拍摄的视频同步于视频地址中，从而可以根据设备标识来提取对应监控设备的视频流地址即Rtmp地址，具体地，Rtmp地址的拼接方式可以根据实际需要进行定义，本发明并不以此为限。
步骤S203：通过目标视频流地址，从目标视频流地址中提取当前监控设备对应的视频流。
具体地，用户通过输入目标监控对象，则工程监控系统则会自动查找该目标监控对象所对应的监控设备有哪些，并获取这些监控设备的ID及视频流地址，然后即可从相应地目标视频流地址中得到各个监控设备所拍摄的视频数据，从而实现了自动化提取监控对象的视频监控数据，提高了视频获取效率。
具体地，上述步骤S105具体包括如下步骤：
步骤S401：基于工程监控需求，确定目标拼接视频的尺寸。
其中，该尺寸为拼接后视频图像的图相框的尺寸，即拼接后视频图像所包含的像素点数，如果尺寸越大则最终拼接图像中所包含的图像信息越多反之，包含的图像信息就越少，具体尺寸设置可以根据实际工程监控的要求进行灵活的设置，本发明并不以此为限，
步骤S402：基于第一视频流的帧速率和总帧数，依次提取各监控设备对应的视频流中的帧图像。
具体地，按照帧数最小的视频流的帧速率，以此从监控设备对应的视频流中的帧图像，直至每个视频流中提取的帧数达到总帧数。
步骤S403：基于目标拼接视频的尺寸，对当前提取的各个帧图像进行拼接，得到当前帧的全景图像。
具体地，在一实施例中，上述的步骤S403具体包括如下步骤：
步骤S501：获取第二监控设备与第一视频对应第一监控设备间的变换矩阵。
其中，第二监控设备为多个监控设备中除第一监控设备之外的监控设备。两架监控设备拍同一空间上得到两幅图像A、B，其中图像A到图像B存在一种变换，而且这种变换是一一对应的关系，这个变化关系即为上述变换矩阵。
具体地，该变换矩阵可以为单应矩阵表示，示例性地，OpenCV中可以用函数findHomography计算得到单应矩阵H。要实现两张图片的简单拼接，其实只需找出两张图片中相似的点，其中至少包括四个点，因为homography矩阵的计算需要至少四个点，计算一张图片可以变换到另一张图片的变换矩阵(homography单应性矩阵)，用这个矩阵把那张图片变换后放到另一张图片相应的位置，就是相当于把两张图片中定好的四个相似的点給重合在一起。
例如：可以采用RANSAC算法来确定任意两个监控设备间的变换矩阵，具体过程为：随机抽取不同的4对特征匹配坐标，如在第一个监控设备采集的图1中随机抽取4个特征坐标，以及这4个特征坐标在第二个监控设备采集的图2中匹配的4个特征坐标，组成4对特征匹配坐标，利用这4对特征匹配坐标计算出透视矩阵H1，如3x3的矩阵，那么图2经过矩阵变换后，可以把图2映射到图1的坐标空间中，再将图2进行简单的平移即可与图1实现无缝拼接，再将图2中所有特征匹配点经过该透视矩阵H1映射到图1的坐标空间，然后与图1匹配点实际坐标求欧氏距离，以验证计算出来的这个H1矩阵是否满足绝大多数特征匹配点；之后重复上面内容，再随机抽取不同的四组特征匹配坐标，再计算透视矩阵H2，再求欧式距离，如此重复多次。最后以欧式距离最小的那个透视矩阵，表示这个特征矩阵H满足最多的特征匹配点，它最优秀，将其作为最终的变换矩阵。
步骤S502：基于变换矩阵，对当前提取的第二监控设备对应的帧图像进行图像变换，得到第二帧图像。
步骤S503：基于目标拼接视频的尺寸，将第二帧图像与当前提取的第一视频流对应的第一帧图像进行图像融合，得到当前帧的全景图像。
具体地，上述步骤S503通过获取第二帧图像与第一帧图像的图像重叠区域；基于第一帧图像和第二帧图像在图像重叠区域中对应像素点的第一像素值和第二像素值，确定全景图像中像素点对应的第三像素值。
具体地，可以通过计算当前像素点到第一帧图像与图像重叠区域边界的第一距离；计算当前像素点到第二帧图像与图像重叠区域边界的第二距离；基于第一距离、第一像素值、第二距离、第二像素值，计算当前像素点对应的第三像素值。
示例性地，对于重叠的区域，靠近左边的部分，让左边图像内容显示的多一些，靠近右边的部分，让右边图像的内容显示的多一些，从而使得拼接后的视频与工程现场的真实情景更为接近。用公式表示就是，假设alpha表示像素点横坐标到左右重叠区域边界横坐标的距离，新的像素值就为newpixel＝左图像素值×(1－alpha)+右图像素值×alpha。
步骤S404：按照拼接时间顺序，对每一帧的全景图像进行排序，生成全景视频流。
具体地，在一实施例中，上述的工程监控方法具体还包括如下步骤：
步骤S106：将全景视频流推送至流媒体服务器，以使目标用户从流媒体服务器进行视频拉流展示，对目标监控对象进行监控。从而通过将拼接的全景视频流推送至流媒体服务器的方式为用户提供视频拉流展示，便于用户对目标监控对象进行实时监控，提高用户使用体验。
下面将结合基于Python、OpenCv开发的工程监控系统的搭建过程，对本发明实施例提供的工程监控方法进行详细的说明。
1、基于Python、OpenCv进行开发；
2、Python轻量型框架的选型；
3、Nginx配置实现Http接口的调用；
4、客户端即WEB端组装设备Id及视频流地址；
5、控制器：实时视频流的抽帧；图像特征点分析；图像缝合技术的优化应用；
实时流读帧：建立一个VideoCapture的视频结构；拼接好实时流拉流地址；利用VideoCapture结构读取一帧数据；按业务需求resize(frames，width)即根据业务需求设置当前帧图像中显示目标监控对象的监控范围，以及图像的宽度尺寸。
本地流读帧：打开本地视频文件，建立一个VideoCapture的视频结构；读取各个视频流的整个帧数；以最小帧数为准拼接；按照最小视频流读取帧速率为准拼接；利用VideoCapture结构读取一帧数据；按业务需求resize(frames，width)即根据业务需求设置当前帧图像中显示目标监控对象的监控范围，以及图像的宽度尺寸。
图像特征点分析：两架相机拍同一空间上得到两幅图像A、B，其中图像A到图像B存在一种变换，而且这种变换是一一对应的关系，这个变换矩阵用单应矩阵表示；给定一个模型，例如点集之间的单应性矩阵，RANSAC的基本思想在于，找到正确数据点的同时摒弃噪声点；首先定义好缓存的单应矩阵；解压图片信息；利用RANSAC算法求解关键点匹配；若有匹配，则缓存到单应矩阵中。
图像缝合：按业务需求resize结果图像的width；按最小帧数视频流的帧速率设置结果视频流；用计算出的变换矩阵对其中一张图做变换，然后把变换的图片与另一张图片重叠在一起，并重新计算重叠区域新的像素值；最终完成图像的融合。
6、控制器：结果视频流推送流媒体服务器；
7、WEB端视频拉流展示；
8、可通过Http接口停止视频拼接。
本发明实施例提供的工程监控方法，可以将线性工程中多个视频流合成一个实时流，提高现场的监控效率，减少现场监控的复杂性，将缝合技术应用在工程中，可以更方便且高效的实行监控。
通过执行上述步骤，本发明实施例提供的工程监控方法，通过利用目标监控对象对应监控设备的视频流地址来提取监控对象的视频流，并按照总帧数最小的视频流和工程监控需求进行视频流拼接，得到目标监控对象的全景视频流，实现了用户对工程现场的监控效率，减少了监控的复杂性，方便且高效的进行实时监控，进而避免工程管理漏洞的发生。
本发明实施例还提供了一种工程监控装置，应用于如图1所示的工程监控系统的控制器，如图3所示，该工程监控装置包括：
获取模块101，用于获取目标监控对象对应的多个监控设备及对应的工程监控需求，工程监控需求包括：目标监控对象的监控范围。详细内容参见上述方法实施例中步骤S101的相关描述，在此不再进行赘述。
第一处理模块102，用于基于多个监控设备的视频流地址，提取每个监控设备对应的视频流。详细内容参见上述方法实施例中步骤S102的相关描述，在此不再进行赘述。
第二处理模块103，用于获取各监控设备对应的视频流的总帧数。详细内容参见上述方法实施例中步骤S103的相关描述，在此不再进行赘述。
第三处理模块104，用于对总帧数进行排序，确定总帧数最小的第一视频流。详细内容参见上述方法实施例中步骤S104的相关描述，在此不再进行赘述。
第四处理模块105，用于基于第一视频流的帧速率和总帧数，按照工程监控需求对各监控设备对应的视频流进行视频拼接，生成全景视频流。详细内容参见上述方法实施例中步骤S105的相关描述，在此不再进行赘述。
本发明实施例提供的工程监控装置，用于执行上述实施例提供的工程监控方法，其实现方式与原理相同，详细内容参见上述方法实施例的相关描述，不再赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的工程监控装置，通过利用目标监控对象对应监控设备的视频流地址来提取监控对象的视频流，并按照总帧数最小的视频流和工程监控需求进行视频流拼接，得到目标监控对象的全景视频流，实现了用户对工程现场的监控效率，减少了监控的复杂性，方便且高效的进行实时监控，进而避免工程管理漏洞的发生。
本发明实施例还提供了一种电子设备，如图4所示，上述的电子设备包括：处理器901和存储器902，其中，处理器901和存储器902可以通过总线或者其他方式连接，图4中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如上述方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，实现的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read－Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid－State Drive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
Claims (10)
1.一种工程监控方法，其特征在于，包括：
获取目标监控对象对应的多个监控设备及对应的工程监控需求，所述工程监控需求包括：所述目标监控对象的监控范围；
基于所述多个监控设备的视频流地址，提取每个监控设备对应的视频流；
获取各监控设备对应的视频流的总帧数；
对总帧数进行排序，确定总帧数最小的第一视频流；
基于所述第一视频流的帧速率和总帧数，按照所述工程监控需求对各监控设备对应的视频流进行视频拼接，生成全景视频流。
2.根据权利要求1所述的工程监控方法，其特征在于，所述基于所述多个监控设备的视频流地址，提取每个监控设备对应的视频流，包括：
获取当前监控设备对应的设备标识；
基于所述设备标识提取所述当前监控设备的目标视频流地址；
从所述目标视频流地址中提取所述当前监控设备对应的视频流。
3.根据权利要求1所述的方法，其特征在于，还包括：
将所述全景视频流推送至流媒体服务器，以使目标用户从所述流媒体服务器进行视频拉流展示，对所述目标监控对象进行监控。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一视频流的帧速率和总帧数，按照所述工程监控需求对各监控设备对应的视频流进行视频拼接，生成全景视频流，包括：
基于所述工程监控需求，确定目标拼接视频的尺寸；
基于所述第一视频流的帧速率和总帧数，依次提取各监控设备对应的视频流中的帧图像；
基于所述目标拼接视频的尺寸，对当前提取的各个帧图像进行拼接，得到当前帧的全景图像；
按照拼接时间顺序，对每一帧的全景图像进行排序，生成全景视频流。
5.根据权利要求4所述的方法，其特征在于，所述基于所述目标拼接视频的尺寸，对当前提取的各个帧图像进行拼接，得到当前帧的全景图像，包括：
获取第二监控设备与所述第一视频对应第一监控设备间的变换矩阵，所述第二监控设备为所述多个监控设备中除所述第一监控设备之外的监控设备；
基于所述变换矩阵，对当前提取的所述第二监控设备对应的帧图像进行图像变换，得到第二帧图像；
基于所述目标拼接视频的尺寸，将所述第二帧图像与当前提取的所述第一视频流对应的第一帧图像进行图像融合，得到当前帧的全景图像。
6.根据权利要求5所述的方法，其特征在于，所述将所述第二帧图像与当前提取的所述第一视频流对应的第一帧图像进行图像融合，得到当前帧的全景图像，包括：
获取所述第二帧图像与所述第一帧图像的图像重叠区域；
基于所述第一帧图像和所述第二帧图像在图像重叠区域中对应像素点的第一像素值和第二像素值，确定全景图像中所述像素点对应的第三像素值。
7.根据权利要求6所述的方法，其特征在于，所述基于所述第一帧图像和所述第二帧图像在图像重叠区域中对应像素点的第一像素值和第二像素值，确定全景图像中所述像素点对应的第三像素值，包括：
计算当前像素点到所述第一帧图像与所述图像重叠区域边界的第一距离；
计算当前像素点到所述第二帧图像与所述图像重叠区域边界的第二距离；
基于所述第一距离、所述第一像素值、所述第二距离、所述第二像素值，计算所述当前像素点对应的第三像素值。
8.一种工程监控装置，其特征在于，包括：
获取模块，用于获取目标监控对象对应的多个监控设备及对应的工程监控需求，所述工程监控需求包括：所述目标监控对象的监控范围；
第一处理模块，用于基于所述多个监控设备的视频流地址，提取每个监控设备对应的视频流；
第二处理模块，用于获取各监控设备对应的视频流的总帧数；
第三处理模块，用于对总帧数进行排序，确定总帧数最小的第一视频流；
第四处理模块，用于基于所述第一视频流的帧速率和总帧数，按照所述工程监控需求对各监控设备对应的视频流进行视频拼接，生成全景视频流。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1－7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机从而执行如权利要求1－7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111195173.XA CN113727078A (zh) | 2021-10-13 | 2021-10-13 | 一种工程监控方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111195173.XA CN113727078A (zh) | 2021-10-13 | 2021-10-13 | 一种工程监控方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113727078A true CN113727078A (zh) | 2021-11-30 |
Family
ID=78685892
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111195173.XA Pending CN113727078A (zh) | 2021-10-13 | 2021-10-13 | 一种工程监控方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113727078A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102256111A (zh) * | 2011-07-17 | 2011-11-23 | 西安电子科技大学 | 多通道全景视频实时监控系统及方法 |
| CN105957017A (zh) * | 2016-06-24 | 2016-09-21 | 电子科技大学 | 一种基于自适应关键帧采样的视频拼接方法 |
| CN106604097A (zh) * | 2016-12-07 | 2017-04-26 | 广东威创视讯科技股份有限公司 | 多路视频信号的传输方法和系统 |
| CN111107307A (zh) * | 2018-10-29 | 2020-05-05 | 曜科智能科技（上海）有限公司 | 基于单应性变换的视频融合方法、系统、终端及介质 |
| CN111193877A (zh) * | 2019-08-29 | 2020-05-22 | 桂林电子科技大学 | 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备 |
| CN112422888A (zh) * | 2019-08-23 | 2021-02-26 | 浙江宇视科技有限公司 | 视频拼接方法、装置、电子设备及计算机可读存储介质 |
| CN113033468A (zh) * | 2021-04-13 | 2021-06-25 | 中国计量大学 | 一种基于多源图像信息的特定人员重识别方法 |
| CN113052056A (zh) * | 2021-03-19 | 2021-06-29 | 华为技术有限公司 | 一种视频处理的方法以及装置 |
-
2021
- 2021-10-13 CN CN202111195173.XA patent/CN113727078A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102256111A (zh) * | 2011-07-17 | 2011-11-23 | 西安电子科技大学 | 多通道全景视频实时监控系统及方法 |
| CN105957017A (zh) * | 2016-06-24 | 2016-09-21 | 电子科技大学 | 一种基于自适应关键帧采样的视频拼接方法 |
| CN106604097A (zh) * | 2016-12-07 | 2017-04-26 | 广东威创视讯科技股份有限公司 | 多路视频信号的传输方法和系统 |
| CN111107307A (zh) * | 2018-10-29 | 2020-05-05 | 曜科智能科技（上海）有限公司 | 基于单应性变换的视频融合方法、系统、终端及介质 |
| CN112422888A (zh) * | 2019-08-23 | 2021-02-26 | 浙江宇视科技有限公司 | 视频拼接方法、装置、电子设备及计算机可读存储介质 |
| CN111193877A (zh) * | 2019-08-29 | 2020-05-22 | 桂林电子科技大学 | 一种arm-fpga协同的广域视频实时融合方法及嵌入式设备 |
| CN113052056A (zh) * | 2021-03-19 | 2021-06-29 | 华为技术有限公司 | 一种视频处理的方法以及装置 |
| CN113033468A (zh) * | 2021-04-13 | 2021-06-25 | 中国计量大学 | 一种基于多源图像信息的特定人员重识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110012209B (zh) | 全景图像生成方法、装置、存储介质及电子设备 | |
| WO2018133692A1 (zh) | 实现增强现实的方法、计算机设备及存储介质 | |
| US20150294490A1 (en) | System and method for relating corresponding points in images with different viewing angles | |
| CN109040701A (zh) | 一种基于大场景多gpu模式的视频拼接方法 | |
| US11836887B2 (en) | Video generation method and apparatus, and readable medium and electronic device | |
| WO2014187265A1 (zh) | 一种照片拍摄处理方法、设备和计算机存储介质 | |
| CN109040700A (zh) | 一种基于大场景多gpu模式的视频拼接系统 | |
| CN111429518A (zh) | 一种标注方法、装置、计算设备及存储介质 | |
| CN108805799B (zh) | 全景图像合成装置、方法及计算机可读存储介质 | |
| CN110619670A (zh) | 人脸互换方法、装置、计算机设备及存储介质 | |
| CN116760937B (zh) | 一种基于多机位的视频拼接方法、装置、设备及存储介质 | |
| CN105208262A (zh) | 网络摄影数据管理系统与方法 | |
| CN112288878B (zh) | 增强现实预览方法及预览装置、电子设备及存储介质 | |
| CN113643577A (zh) | 一种手术室示教系统、方法、设备及计算机可读存储介质 | |
| CN114565952A (zh) | 行人轨迹生成方法、装置、设备和存储介质 | |
| CN113727078A (zh) | 一种工程监控方法及装置 | |
| CN110414322B (zh) | 提取图片的方法、装置、设备及存储介质 | |
| CN109889736B (zh) | 基于双摄像头、多摄像头的图像获取方法、装置及设备 | |
| CN112991175B (zh) | 一种基于单ptz摄像头的全景图片生成方法及设备 | |
| WO2020259444A1 (zh) | 一种图像处理方法及相关设备 | |
| WO2017166081A1 (zh) | 终端的图像配准方法、装置和终端 | |
| CN115499596B (zh) | 一种处理图像的方法和装置 | |
| CN113168706A (zh) | 视频流的帧中的对象位置确定 | |
| CN111986246A (zh) | 基于图像处理的三维模型重建方法、装置和存储介质 | |
| CN112634460B (zh) | 基于Haar-like特征的户外全景图生成方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20211130 |