CN109920048A - 监控画面生成方法及装置 - Google Patents
监控画面生成方法及装置 Download PDFInfo
- Publication number
- CN109920048A CN109920048A CN201910118858.0A CN201910118858A CN109920048A CN 109920048 A CN109920048 A CN 109920048A CN 201910118858 A CN201910118858 A CN 201910118858A CN 109920048 A CN109920048 A CN 109920048A
- Authority
- CN
- China
- Prior art keywords
- capture apparatus
- threedimensional model
- video
- view field
- sequence frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000012545 processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 6
- 238000012544 monitoring process Methods 0.000 abstract description 27
- 230000001149 cognitive effect Effects 0.000 abstract description 5
- 230000000694 effects Effects 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Abstract
本发明提出一种监控画面生成方法及装置，其中，该方法包括：获取无人机所搭载的第一拍摄设备拍摄目标场景获取的第一视频，以及根据第一视频生成目标场景的三维模型；获取地面上的一个或者多个第二拍摄设备拍摄目标场景获取的一个或者多个第二视频，并从每个第二视频中提取关键视频帧；确定第二拍摄设备在三维模型中的投影区域；以投影区域中的平面为投影面，获取关键视频帧在投影面中的投影图像；投影图像叠加到三维模型中，以生成监控画面。从而实现将地面上的第二拍摄设备获取的关键视频帧嵌入到三维模型中，整合地空视频内容，形成对监控态势的整体认知和自由视角观察并将其内容进行立体投影，获得大范围空地一体监控的效果。
Description
技术领域
本发明涉及视频监控技术领域，尤其涉及一种监控画面生成方法及装置。
背景技术
目前，比较常见的视频监控的方式为通过构建电视墙的方式集成多路视频信息，由多个屏幕分别展示各路视频。视频来源可以包括在道路、银行、停车场中架设的固定摄像机，以及无人机、地面车辆、安防机器人等移动设备上搭载的移动摄像机；视频监控设备包括平面摄像机发展为广角摄像机、全景摄像机、红外摄像机、双目立体视觉摄像机、可以采集深度信息的RGB-D摄像机等。
尽管通过构建电视墙的方式集成多路视频信息案可以有效解决“看得清”和“查得到”的问题，但随着各行业对视频监控及视频应用需求的进一步提升，特别是对视频监控“集成化”和视频应用“智能化”的要求不断提高，解决“看得广”和“看得懂”成为难题。在“看得广”方面，传统二维的监控系统界面不够直观，难以和现场环境形成直接的联系，各路视频数据关联和融合度不高，地面固定传感器间拍摄角度差异、缺少重叠视场等问题，也导致摄像机位置和姿态估计研究难度比较大，传统的电视墙式的监控方式造成的多路视频相互割裂，难以展示监控内容的时空关系和形成全局印象，特别是在视频摄像头数目较多或者监控区域场景差异较小的情况下，给监控人员的分辨带来很大的障碍。在“看得懂”方面，传统监控方法中需要用户事先了解和记忆地形环境、摄像机安装位置和朝向、摄像机监控范围和死角等繁杂信息，即使能够记忆所有摄像机的位置，要将所有监控内容在头脑中形成完整的印象，需要监控人员具有良好的空间想象能力和信息组织能力，监控人员在人数较少的条件下难以有效观察多路视频，监控效率难以满足实际监控的要求，很难实现事态研判、智能分析等功能。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
本发明的第一个目的在于提出一种监控画面生成方法。
本发明的第二个目的在于提出一种监控画面生成装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种监控画面生成方法，包括：
获取无人机所搭载的第一拍摄设备拍摄目标场景获取的第一视频，以及根据所述第一视频生成所述目标场景的三维模型；
获取地面上的一个或者多个第二拍摄设备拍摄所述目标场景获取的一个或者多个第二视频，并从每个所述第二视频中提取关键视频帧；
确定所述第二拍摄设备在所述三维模型中的投影区域；
以所述投影区域中的平面为投影面，获取所述关键视频帧在所述投影面中的投影图像；
将所述投影图像叠加到所述三维模型中，以生成所述监控画面。
进一步地，所述确定所述第二拍摄设备在所述三维模型中的投影区域，包括：
确定所述第二拍摄设备的地理位置信息和姿态信息；
根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息确定所述第二拍摄设备在所述三维模型中的投影区域。
进一步地，所述根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息确定所述第二拍摄设备在所述三维模型中的投影区域，包括：
根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息，在所述三维模型对应的空间坐标系中构造所述第二拍摄设备的视锥体；
将所述视锥体与所述三维模型进行相交，确定所述视锥体与所述三维模型的各条相交线，各条所述相交线围成的区域为所述第二拍摄设备在所述三维模型中的投影区域。
进一步地，所述确定所述第二拍摄设备的地理位置信息和姿态信息，包括：
提取所述三维模型的各个特征点，以及提取所述关键视频帧的特征点；
将所述关键视频帧的特征点与所述三维模型的各个特征点进行匹配，确定与所述关键视频帧的特征点相匹配的目标特征点；
根据所述目标特征点的三维空间信息确定所述第二拍摄设备的地理位置信息和姿态信息。
本发明实施例提供的监控画面生成方法，通过获取无人机所搭载的第一拍摄设备拍摄目标场景获取的第一视频，以及根据所述第一视频生成所述目标场景的三维模型；获取地面上的一个或者多个第二拍摄设备拍摄所述目标场景获取的一个或者多个第二视频，并从每个所述第二视频中提取关键视频帧；确定所述第二拍摄设备在所述三维模型中的投影区域；以所述投影区域中的平面为投影面，获取所述关键视频帧在所述投影面中的投影图像；所述投影图像叠加到所述三维模型中，以生成所述监控画面。从而实现将地面上的第二拍摄设备获取的关键视频帧嵌入到三维模型中，整合地空视频内容，形成对监控态势的整体认知和自由视角观察并将其内容进行立体投影，获得大范围空地一体监控的效果，突破了传统监控画面相互孤立的局限，为用户提供一种大场景的实时“全局视角”。
为达上述目的，本发明第二方面实施例提出了一种监控画面生成装置，包括：
获取模块，用于获取无人机所搭载的第一拍摄设备拍摄目标场景获取的第一视频，以及根据所述第一视频生成所述目标场景的三维模型；
获取模块，还用于获取地面上的一个或者多个第二拍摄设备拍摄所述目标场景获取的一个或者多个第二视频，并从每个所述第二视频中提取关键视频帧；
处理模块，用于确定所述第二拍摄设备在所述三维模型中的投影区域；
处理模块，还用于以所述投影区域中的平面为投影面，获取所述关键视频帧在所述投影面中的投影图像；
所述处理模块，还用于将所述投影图像叠加到所述三维模型中，以生成所述监控画面。
进一步地，所述处理模块具体用于：
确定所述第二拍摄设备的地理位置信息和姿态信息；
根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息确定所述第二拍摄设备在所述三维模型中的投影区域。
进一步地，所述处理模块具体用于：
根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息，在所述三维模型对应的空间坐标系中构造所述第二拍摄设备的视锥体；
将所述视锥体与所述三维模型进行相交，确定所述视锥体与所述三维模型的各条相交线，各条所述相交线围成的区域为所述第二拍摄设备在所述三维模型中的投影区域。
进一步地，所述处理模块具体用于：
提取所述三维模型的各个特征点，以及提取所述关键视频帧的特征点；
将所述关键视频帧的特征点与所述三维模型的各个特征点进行匹配，确定与所述关键视频帧的特征点相匹配的目标特征点；
根据所述目标特征点的三维空间信息确定所述第二拍摄设备的地理位置信息和姿态信息。
本发明实施例提供的监控画面生成装置，通过获取无人机所搭载的第一拍摄设备拍摄目标场景获取的第一视频，以及根据所述第一视频生成所述目标场景的三维模型；获取地面上的一个或者多个第二拍摄设备拍摄所述目标场景获取的一个或者多个第二视频，并从每个所述第二视频中提取关键视频帧；确定所述第二拍摄设备在所述三维模型中的投影区域；以所述投影区域中的平面为投影面，获取所述关键视频帧在所述投影面中的投影图像；所述投影图像叠加到所述三维模型中，以生成所述监控画面。从而实现将地面上的第二拍摄设备获取的关键视频帧嵌入到三维模型中，整合地空视频内容，形成对监控态势的整体认知和自由视角观察并将其内容进行立体投影，获得大范围空地一体监控的效果，突破了传统监控画面相互孤立的局限，为用户提供一种大场景的实时“全局视角”。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如上所述的监控画面生成方法。
为了实现上述目的，本发明第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的监控画面生成方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种监控画面生成方法的流程示意图；
图2为示例性的监控画面；
图3为示例性的视锥体；
图4为本发明实施例所提供的一种监控画面生成装置的结构示意图；
图5为本发明实施例所提供的一种计算机设备的结构示意图。
具体实施方式
下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的监控画面生成方法及装置。
图1为本发明实施例所提供的一种监控画面生成方法的流程示意图。本实施例提供了一种监控画面生成方法，其执行主体为监控画面生成方法装置，该执行主体由硬件和/或软件组成。
如图1所示，该监控画面生成方法包括以下步骤：
S101、获取无人机所搭载的第一拍摄设备拍摄目标场景获取的第一视频，以及根据所述第一视频生成所述目标场景的三维模型。
本实施例中，目标场景可以包括场景中的建筑物、道路、车辆、交通灯等各种物体以及地面的地貌等。第一拍摄设备可以是广角摄像机、全景摄像机、红外摄像机、双目立体视觉摄像机、可以采集深度信息的RGB-D摄像机，但并不以此为限。第一视频可以理解为由搭载在无人机上的第一拍摄设备对目标场景进行航拍得到的航拍视频。例如，地面操作人员控制无人机飞行在目标场景的上空，并控制第一拍摄设备对目标场景进行航拍。
本实施例中，根据第一视频可以快速地对目标场景进行三维重构，得到目标场景的三维模型。例如，可以采用SLAM(simultaneous localization and mapping，即时定位与地图构建)算法处理第一视频以实现对目标场景的三维重构，也可以基于SFM(Structurefrom Motion，运动恢复结构)算法处理第一视频以实现对目标场景的三维重构，但并不以此为限。
S102、获取地面上的一个或者多个第二拍摄设备拍摄所述目标场景获取的一个或者多个第二视频，并从每个所述第二视频中提取关键视频帧。
本实施例中，第二拍摄设备可以是广角摄像机、全景摄像机、红外摄像机、双目立体视觉摄像机、可以采集深度信息的RGB-D摄像机，但并不以此为限。第二拍摄设备可以是在道路、银行、停车场中架设的固定摄像机，也可以是无人机、地面车辆、安防机器人等移动设备上搭载的移动摄像机，但并不以此为限。第二拍摄设备可以有一个或多个，多个第二拍摄设备可以安装在不同的地理位置中，多个第二拍摄设备可以对地面的多个区域进行监控。
本实施例中，第二视频可以理解为由对应的第二拍摄设备对在其监控范围内的目标场景进行拍摄得到监控视频。在得到第二视频之后，可以基于关键视频帧提取方法从第二视频提取对应的关键视频帧。基于关键视频帧提取方法例如为基于镜头边界的方法、基于图像内容的方法、基于聚类的提取方法、基于运动分析的方法、基于压缩视频流的方法，但并不以此为限。
S103、确定所述第二拍摄设备在所述三维模型中的投影区域。
本实施例中，每个第二拍摄设备在三维模型中有对应的投影区域。图2为示例性的监控画面。在监控画面中，存在外廓形状为梯形的四个投影区域，分别为投影区域1、投影区域2、投影区域3、投影区域4，不同的投影区域对应不同的第二拍摄设备。
在一种可能的实现方式中，步骤S103的具体实现方式为：
S1031、确定所述第二拍摄设备的地理位置信息和姿态信息。
本实施例中，通过对每个第二拍摄设备进行位姿估计(Pose estimation)，得到每个第二拍摄设备的地理位置信息和姿态信息。其中，姿态信息可以理解为第二拍摄设备的拍摄角度。有关位姿估计的更多介绍详见相关技术。
本实施例中，为了对第二拍摄设备进行位姿估计，先将第二拍摄设备对应的关键视频帧的特征点与三维模型的特征点进行特征匹配，得到与关键视频帧的特征点相匹配的目标特征点。接着，提取目标特征点的三维空间信息，其中，目标特征点的三维空间信息可以理解为在三维模型对应的地理空间坐标系O-XYZ中的坐标(x,y,z)；并将提取目标特征点的坐标(x,y,z)作为第二拍摄设备的地理位置信息，同时，确定目标特征点和地理空间坐标系的原点O的连线，以及计算该连线与XOY、YOZ、ZOX中的任一坐标面的夹角，将该夹角作为第二拍摄设备的姿态信息。
作为一种示例，步骤S1031的具体实现方式为：提取所述三维模型的各个特征点，以及提取所述关键视频帧的特征点；将所述关键视频帧的特征点与所述三维模型的各个特征点进行匹配，确定与所述关键视频帧的特征点相匹配的目标特征点；根据所述目标特征点的三维空间信息确定所述第二拍摄设备的地理位置信息和姿态信息。
进一步地，在进行特征匹配时，计算关键视频帧的特征点与三维模型的各个特征点的相似度，选取相似度最大对应的三维模型的特征点作为与关键视频帧的特征点相匹配的目标特征点。
S1032、根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息确定所述第二拍摄设备在所述三维模型中的投影区域。
本实施例中，为了确定第二拍摄设备在三维模型中的投影区域，先确定第二拍摄设备的视锥体，再根据视锥体与三维模型的相交结果确定投影区域。
在此简要介绍下视锥体：
图3为示例性的视锥体。视锥体20(图3中虚线框中的部分)是三维空间中摄像机10可见的空间，看上去像截掉顶部的金字塔，视锥体20由6个侧面围成，构成视锥体20的4个侧面称为上左下右面，在视锥体20内的景物可见，反之则不可见。
在一种可能的实现方式中，步骤S1032的具体实现方式为：根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息，在所述三维模型对应的空间坐标系中构造所述第二拍摄设备的视锥体；将所述视锥体与所述三维模型进行相交，确定视锥体与三维模型的各条相交线，各条相交线围成的区域为第二拍摄设备在三维模型中的投影区域。其中，三维模型对应的空间坐标系为地理坐标系。
其中，第二拍摄设备的参数指第二拍摄设备的内参数，内参数是与第二拍摄设备自身特性相关的参数，比如第二拍摄设备的焦距、像素大小等。
在图2所示的监控画面中，存在外廓形状为梯形的四个投影区域，分别为投影区域1、投影区域2、投影区域3、投影区域。
S104、以所述投影区域中的平面为投影面，获取所述关键视频帧在所述投影面中的投影图像。
本实施例中，先将关键视频帧进行坐标变换，变换后的关键视频帧的参考坐标系为投影区域对应的坐标系即地理坐标系；接着，再以投影区域中的平面为投影面，将关键视频帧投影到投影面，得到对应的投影图像。
需要指出的是，投影区域中可能有多个平面，需要将关键视频帧中的不同部分投影到对应的平面中，得到多个部分投影图像，将多个部分投影图像进行拼接得到整个投影图像。
S105、将所述投影图像叠加到所述三维模型中，以生成所述监控画面。
在图2所示的监控画面中有目标场景的三维模型，也有不同的投影图像。在监控画面中，存在外廓形状为梯形的四个投影区域，分别为投影区域1、投影区域2、投影区域3、投影区域。画面11、画面21、画面31、画面41分别为不同的投影图像，其中，画面11的投影面对应投影区域1，画面21的投影面对应投影区域2，画面31的投影面对应投影区域3，画面41的投影面对应投影区域4。
本发明实施例提供的监控画面生成方法，通过获取无人机所搭载的第一拍摄设备拍摄目标场景获取的第一视频，以及根据所述第一视频生成所述目标场景的三维模型；获取地面上的一个或者多个第二拍摄设备拍摄所述目标场景获取的一个或者多个第二视频，并从每个所述第二视频中提取关键视频帧；确定所述第二拍摄设备在所述三维模型中的投影区域；以所述投影区域中的平面为投影面，获取所述关键视频帧在所述投影面中的投影图像；所述投影图像叠加到所述三维模型中，以生成所述监控画面。从而实现将地面上的第二拍摄设备获取的关键视频帧嵌入到三维模型中，整合地空视频内容，形成对监控态势的整体认知和自由视角观察并将其内容进行立体投影，获得大范围空地一体监控的效果，突破了传统监控画面相互孤立的局限，为用户提供一种大场景的实时“全局视角”。进而使用户可以在任意视角观察由多路监控内容构成的全局态势，直观自然地理解监控区域的整体情况。该方法建立了无人机的视频内容、地面车辆和固定摄像机等地面摄像机的视频内容的时间空间关系，并以立体投影的形式提供给用户，扩展了监控人员的视野，增强了视频信号的实用价值，使用户可以轻松地同时观察多路视频，快速判断情况和进行决策。带有时空关系的多路视频，不仅可以直接用于监控，还可以支持跨摄像机目标检测与跟踪、目标重识别等技术的开发，对于视频监控的智能化具有重要的意义，在安防、环保、能源、灾害救援、测绘、建筑、航拍等领域都具有良好的应用前景。
本发明实施例还提出一种监控画面生成装置。图4为本发明实施例所提供的一种监控画面生成装置的结构示意图。如图4所示，该监控画面生成装置包括获取模块110和处理模块120。
获取模块110，用于获取无人机所搭载的第一拍摄设备拍摄目标场景获取的第一视频，以及根据所述第一视频生成所述目标场景的三维模型；
获取模块110，还用于获取地面上的一个或者多个第二拍摄设备拍摄所述目标场景获取的一个或者多个第二视频，并从每个所述第二视频中提取关键视频帧；
处理模块120，用于确定所述第二拍摄设备在所述三维模型中的投影区域；
处理模块120，还用于以所述投影区域中的平面为投影面，获取所述关键视频帧在所述投影面中的投影图像；
所述处理模块120，还用于将所述投影图像叠加到所述三维模型中，以生成所述监控画面。
进一步地，所述处理模块120具体用于：
确定所述第二拍摄设备的地理位置信息和姿态信息；
根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息确定所述第二拍摄设备在所述三维模型中的投影区域。
进一步地，所述处理模块120具体用于：
根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息，在所述三维模型对应的空间坐标系中构造所述第二拍摄设备的视锥体；
将所述视锥体与所述三维模型进行相交，确定所述视锥体与所述三维模型的各条相交线，各条所述相交线围成的区域为所述第二拍摄设备在所述三维模型中的投影区域。
进一步地，所述处理模块120具体用于：
提取所述三维模型的各个特征点，以及提取所述关键视频帧的特征点；
将所述关键视频帧的特征点与所述三维模型的各个特征点进行匹配，确定与所述关键视频帧的特征点相匹配的目标特征点；
根据所述目标特征点的三维空间信息确定所述第二拍摄设备的地理位置信息和姿态信息。
需要说明的是，前述对监控画面生成方法实施例的解释说明也适用于该实施例的监控画面生成装置，此处不再赘述。
本发明实施例提供的监控画面生成装置，通过获取无人机所搭载的第一拍摄设备拍摄目标场景获取的第一视频，以及根据所述第一视频生成所述目标场景的三维模型；获取地面上的一个或者多个第二拍摄设备拍摄所述目标场景获取的一个或者多个第二视频，并从每个所述第二视频中提取关键视频帧；确定所述第二拍摄设备在所述三维模型中的投影区域；以所述投影区域中的平面为投影面，获取所述关键视频帧在所述投影面中的投影图像；
所述投影图像叠加到所述三维模型中，以生成所述监控画面。从而实现将地面上的第二拍摄设备获取的关键视频帧嵌入到三维模型中，整合地空视频内容，形成对监控态势的整体认知和自由视角观察并将其内容进行立体投影，获得大范围空地一体监控的效果，突破了传统监控画面相互孤立的局限，为用户提供一种大场景的实时“全局视角”。
图5为本发明实施例提供的一种计算机设备的结构示意图。该计算机设备包括：
存储器1001、处理器1002及存储在存储器1001上并可在处理器1002上运行的计算机程序。
处理器1002执行所述程序时实现上述实施例中提供的监控画面生成方法。
进一步地，计算机设备还包括：
通信接口1003，用于存储器1001和处理器1002之间的通信。
存储器1001，用于存放可在处理器1002上运行的计算机程序。
存储器1001可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
处理器1002，用于执行所述程序时实现上述实施例所述的监控画面生成方法。
如果存储器1001、处理器1002和通信接口1003独立实现，则通信接口1003、存储器1001和处理器1002可以通过总线相互连接并完成相互间的通信。所述总线可以是工业标准体系结构(Industry Standard Architecture，简称为ISA)总线、外部设备互连(Peripheral Component，简称为PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，简称为EISA)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
可选的，在具体实现上，如果存储器1001、处理器1002及通信接口1003，集成在一块芯片上实现，则存储器1001、处理器1002及通信接口1003可以通过内部接口完成相互间的通信。
处理器1002可能是一个中央处理器(Central Processing Unit，简称为CPU)，或者是特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的监控画面生成方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种监控画面生成方法，其特征在于，包括：
获取无人机所搭载的第一拍摄设备拍摄目标场景获取的第一视频，以及根据所述第一视频生成所述目标场景的三维模型；
获取地面上的一个或者多个第二拍摄设备拍摄所述目标场景获取的一个或者多个第二视频，并从每个所述第二视频中提取关键视频帧；
确定所述第二拍摄设备在所述三维模型中的投影区域；
以所述投影区域中的平面为投影面，获取所述关键视频帧在所述投影面中的投影图像；
将所述投影图像叠加到所述三维模型中，以生成所述监控画面。
2.根据权利要求1所述的方法，其特征在于，所述确定所述第二拍摄设备在所述三维模型中的投影区域，包括：
确定所述第二拍摄设备的地理位置信息和姿态信息；
根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息确定所述第二拍摄设备在所述三维模型中的投影区域。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息确定所述第二拍摄设备在所述三维模型中的投影区域，包括：
根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息，在所述三维模型对应的空间坐标系中构造所述第二拍摄设备的视锥体；
将所述视锥体与所述三维模型进行相交，确定所述视锥体与所述三维模型的各条相交线，各条所述相交线围成的区域为所述第二拍摄设备在所述三维模型中的投影区域。
4.根据权利要求2所述的方法，其特征在于，所述确定所述第二拍摄设备的地理位置信息和姿态信息，包括：
提取所述三维模型的各个特征点，以及提取所述关键视频帧的特征点；
将所述关键视频帧的特征点与所述三维模型的各个特征点进行匹配，确定与所述关键视频帧的特征点相匹配的目标特征点；
根据所述目标特征点的三维空间信息确定所述第二拍摄设备的地理位置信息和姿态信息。
5.一种监控画面生成装置，其特征在于，包括：
获取模块，用于获取无人机所搭载的第一拍摄设备拍摄目标场景获取的第一视频，以及根据所述第一视频生成所述目标场景的三维模型；
获取模块，还用于获取地面上的一个或者多个第二拍摄设备拍摄所述目标场景获取的一个或者多个第二视频，并从每个所述第二视频中提取关键视频帧；
处理模块，用于确定所述第二拍摄设备在所述三维模型中的投影区域；
处理模块，还用于以所述投影区域中的平面为投影面，获取所述关键视频帧在所述投影面中的投影图像；
所述处理模块，还用于将所述投影图像叠加到所述三维模型中，以生成所述监控画面。
6.根据权利要求5所述的装置，其特征在于，所述处理模块具体用于：
确定所述第二拍摄设备的地理位置信息和姿态信息；
根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息确定所述第二拍摄设备在所述三维模型中的投影区域。
7.根据权利要求6所述的装置，其特征在于，所述处理模块具体用于：
根据所述第二拍摄设备的参数、所述地理位置信息和所述姿态信息，在所述三维模型对应的空间坐标系中构造所述第二拍摄设备的视锥体；
将所述视锥体与所述三维模型进行相交，确定所述视锥体与所述三维模型的各条相交线，各条所述相交线围成的区域为所述第二拍摄设备在所述三维模型中的投影区域。
8.根据权利要求6所述的装置，其特征在于，所述处理模块具体用于：
提取所述三维模型的各个特征点，以及提取所述关键视频帧的特征点；
将所述关键视频帧的特征点与所述三维模型的各个特征点进行匹配，确定与所述关键视频帧的特征点相匹配的目标特征点；
根据所述目标特征点的三维空间信息确定所述第二拍摄设备的地理位置信息和姿态信息。
9.一种计算机设备，其特征在于，包括：
存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-4中任一所述的监控画面生成方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一所述的监控画面生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910118858.0A CN109920048A (zh) | 2019-02-15 | 2019-02-15 | 监控画面生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910118858.0A CN109920048A (zh) | 2019-02-15 | 2019-02-15 | 监控画面生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109920048A true CN109920048A (zh) | 2019-06-21 |
Family
ID=66961626
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910118858.0A Pending CN109920048A (zh) | 2019-02-15 | 2019-02-15 | 监控画面生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109920048A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110910504A (zh) * | 2019-11-28 | 2020-03-24 | 北京世纪高通科技有限公司 | 区域的三维模型的确定方法及装置 |
| CN111586360A (zh) * | 2020-05-14 | 2020-08-25 | 佳都新太科技股份有限公司 | 一种无人机投影方法、装置、设备及存储介质 |
| CN112261351A (zh) * | 2019-07-22 | 2021-01-22 | 比亚迪股份有限公司 | 车载景观系统及车辆 |
| CN114202981A (zh) * | 2021-12-10 | 2022-03-18 | 新疆工程学院 | 一种用于摄影测量实验的仿真平台 |
| CN115984458A (zh) * | 2022-12-12 | 2023-04-18 | 广东横琴全域空间人工智能有限公司 | 基于辐射场的目标物体模型提取方法、系统及控制器 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103716586A (zh) * | 2013-12-12 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 一种基于三维空间场景的监控视频融合系统和方法 |
| US20140168204A1 (en) * | 2012-12-13 | 2014-06-19 | Microsoft Corporation | Model based video projection |
| CN107067447A (zh) * | 2017-01-26 | 2017-08-18 | 安徽天盛智能科技有限公司 | 一种大空间区域的整体化视频监控方法 |
| CN107197200A (zh) * | 2017-05-22 | 2017-09-22 | 北斗羲和城市空间科技（北京）有限公司 | 一种实现监控视频显示的方法及装置 |
| CN107396046A (zh) * | 2017-07-20 | 2017-11-24 | 武汉大势智慧科技有限公司 | 一种基于倾斜摄影真三维模型的立体监控系统及方法 |
-
2019
- 2019-02-15 CN CN201910118858.0A patent/CN109920048A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140168204A1 (en) * | 2012-12-13 | 2014-06-19 | Microsoft Corporation | Model based video projection |
| CN103716586A (zh) * | 2013-12-12 | 2014-04-09 | 中国科学院深圳先进技术研究院 | 一种基于三维空间场景的监控视频融合系统和方法 |
| CN107067447A (zh) * | 2017-01-26 | 2017-08-18 | 安徽天盛智能科技有限公司 | 一种大空间区域的整体化视频监控方法 |
| CN107197200A (zh) * | 2017-05-22 | 2017-09-22 | 北斗羲和城市空间科技（北京）有限公司 | 一种实现监控视频显示的方法及装置 |
| CN107396046A (zh) * | 2017-07-20 | 2017-11-24 | 武汉大势智慧科技有限公司 | 一种基于倾斜摄影真三维模型的立体监控系统及方法 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112261351A (zh) * | 2019-07-22 | 2021-01-22 | 比亚迪股份有限公司 | 车载景观系统及车辆 |
| CN110910504A (zh) * | 2019-11-28 | 2020-03-24 | 北京世纪高通科技有限公司 | 区域的三维模型的确定方法及装置 |
| CN111586360A (zh) * | 2020-05-14 | 2020-08-25 | 佳都新太科技股份有限公司 | 一种无人机投影方法、装置、设备及存储介质 |
| CN114202981A (zh) * | 2021-12-10 | 2022-03-18 | 新疆工程学院 | 一种用于摄影测量实验的仿真平台 |
| CN114202981B (zh) * | 2021-12-10 | 2023-06-16 | 新疆工程学院 | 一种用于摄影测量实验的仿真平台 |
| CN115984458A (zh) * | 2022-12-12 | 2023-04-18 | 广东横琴全域空间人工智能有限公司 | 基于辐射场的目标物体模型提取方法、系统及控制器 |
| CN115984458B (zh) * | 2022-12-12 | 2023-10-03 | 广东横琴全域空间人工智能有限公司 | 基于辐射场的目标物体模型提取方法、系统及控制器 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109920048A (zh) | 监控画面生成方法及装置 | |
| Mori et al. | A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects | |
| JP6687204B2 (ja) | 投影イメージ生成方法およびその装置、イメージピクセルと深度値との間のマッピング方法 | |
| CN105678748B (zh) | 三维监控系统中基于三维重构的交互式标定方法和装置 | |
| US7126630B1 (en) | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method | |
| JP2010504711A (ja) | 地理空間モデルにおいて移動しているオブジェクトを追跡する映像監視システム及びその方法 | |
| EP2993894B1 (en) | Image capturing method and electronic apparatus | |
| KR102200299B1 (ko) | 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법 | |
| JP2008520052A5 (zh) | ||
| JP2005268847A (ja) | 画像生成装置、画像生成方法、および画像生成プログラム | |
| TW201619910A (zh) | 監控系統及其影像處理方法 | |
| WO2002065786A1 (en) | Method and apparatus for omni-directional image and 3-dimensional data acquisition with data annotation and dynamic range extension method | |
| WO2018087462A1 (fr) | Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles | |
| Bradley et al. | Image-based navigation in real environments using panoramas | |
| KR101073432B1 (ko) | 3차원 공간정보를 통합한 도시 관리 시스템 구축장치 및 방법 | |
| CN104700355A (zh) | 室内二维平面图的生成方法、装置和系统 | |
| US20150373320A1 (en) | Visual cognition system | |
| US20220214657A1 (en) | Monitoring management and control system based on panoramic big data | |
| Chew et al. | Panorama stitching using overlap area weighted image plane projection and dynamic programming for visual localization | |
| JPH11339139A (ja) | 監視装置 | |
| JP2005234224A (ja) | 全方位撮像システム | |
| CN116843867A (zh) | 增强现实虚实融合方法、电子设备和存储介质 | |
| JP4710081B2 (ja) | 画像作成システム及び画像作成方法 | |
| Aliakbarpour et al. | Multi-sensor 3D volumetric reconstruction using CUDA | |
| JP4446114B2 (ja) | 画像撮影装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190621 |