CN115065867B - 基于无人机视频金字塔模型的动态处理方法及装置 - Google Patents

基于无人机视频金字塔模型的动态处理方法及装置 Download PDF

Info

Publication number
CN115065867B
CN115065867B CN202210984288.5A CN202210984288A CN115065867B CN 115065867 B CN115065867 B CN 115065867B CN 202210984288 A CN202210984288 A CN 202210984288A CN 115065867 B CN115065867 B CN 115065867B
Authority
CN
China
Prior art keywords
video
unmanned aerial
aerial vehicle
vehicle video
pyramid model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210984288.5A
Other languages
English (en)
Other versions
CN115065867A (zh
Inventor
简洪登
范湘涛
杜小平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202210984288.5A priority Critical patent/CN115065867B/zh
Publication of CN115065867A publication Critical patent/CN115065867A/zh
Application granted granted Critical
Publication of CN115065867B publication Critical patent/CN115065867B/zh
Priority to PCT/CN2022/136213 priority patent/WO2023066412A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4023—Scaling of whole images or parts thereof, e.g. expanding or contracting based on decimating pixels or lines of pixels; based on inserting pixels or lines of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092—Image resolution transcoding, e.g. by using client-server architectures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及视频数据实时传输与处理领域，公开了一种基于无人机视频金字塔模型的动态处理方法及装置，用于解决无人机视频渲染效率不高、系统运行不流畅等问题。该方法包括：构建无人机视频金字塔模型；利用无人机视频金字塔模型并根据视频加载请求，通过视频服务器进行重采样和切分，并通过客户端对处理后的无人机视频进行动态调度和渲染、加载和显示。本发明提供的上述无人机视频动态处理方法，能够利用无人机视频金字塔模型可根据当前场景视图相机的视点距离和视域范围来动态加载与当前地图分辨率相似的无人机视频数据，实现多分辨率无人机视频高性能按需渲染，保障场景显示的高效性和系统运行的流畅性。

Description

基于无人机视频金字塔模型的动态处理方法及装置
技术领域
本发明涉及视频数据实时传输与处理领域，特别涉及一种基于无人机视频金字塔模型的动态处理方法、装置、电子设备以及存储介质。
背景技术
在无人机图传系统或其他软件中实时查看无人机视频过程中，由于无人机视频数据量大、计算机软硬件性能有限等的影响，会出现无人机视频渲染效率不高、系统运行不流畅等问题。特别是无人机视频与二维和三维地理信息系统（Geographic InformationSystem，GIS）融合过程中，GIS场景要素众多，特别是三维GIS场景包含例如高精度地形、影像、实景三维模型、立体标注等复杂要素，系统的流畅运行对场景渲染效率要求很高，无人机视频、超高清（4K或更高分辨率）无人机视频的接入与融合为二维和/或三维GIS场景的高效渲染带来了很大挑战。
发明内容
鉴于上述问题，本发明提供了一种基于无人机视频金字塔模型的动态处理方法、装置、电子设备以及存储介质，以期能够解决上述问题之一。
根据本发明的第一个方面，提供了一种基于无人机视频金字塔模型的动态处理方法，包括：
获取场景视图相机的视点距离和视域范围，通过客户端查询当前地图的等级，并根据地图等级和地图分辨率之间的对应关系以及场景视图相机的视点距离，得到当前地图的分辨率；
根据当前地图的分辨率、无人机飞行参数以及预设分级规则，构建无人机视频金字塔模型，其中，无人机视频金字塔模型包括多个等级，每个无人机视频金字塔模型的等级对应一个分辨率；
根据场景视图相机的视域范围和无人机视频范围计算场景视图相机的视域范围内的视频范围；
通过客户端向视频服务器发送无人机视频加载请求，其中，无人机视频加载请求包括无人机视频金字塔模型的属性信息和场景视图相机的视域范围内的视频范围；
通过客户端接收视频服务器响应于无人机视频加载请求对无人机视频进行重采样和切分处理后的无人机视频，并将处理后的无人机视频在客户端进行动态调度与渲染、加载和显示；
在场景视图相机的视点距离发生变化的情况下，重复上述步骤，将无人机视频按照预设需求进行重采样、切分、动态调度与渲染、加载和显示。
根据本发明的实施例，上述预设分级规则由公式（1）~（3）确定：
Figure 602879DEST_PATH_IMAGE001
（1），
Figure 85419DEST_PATH_IMAGE002
（2），
Figure 694255DEST_PATH_IMAGE003
（3），
其中，W是无人机视频的原始宽度像素值，H是无人机视频的原始高度像素值，
Figure 805430DEST_PATH_IMAGE004
是无人机视频金字塔模型的等级，
Figure 816112DEST_PATH_IMAGE005
是
Figure 971018DEST_PATH_IMAGE006
级无人机视频金字塔模型的对应的 视频高度像素值，
Figure 67150DEST_PATH_IMAGE007
是
Figure 716438DEST_PATH_IMAGE006
级无人机视频金字塔模型的对应的视频宽度像素值，R是无人机图 像的实际分辨率，
Figure 270041DEST_PATH_IMAGE008
是无人机的垂直视场角，
Figure 408898DEST_PATH_IMAGE009
是无人机的当前飞行高度。
根据本发明的实施例，上述无人机视频金字塔模型的属性信息包括无人机视频金字塔模型的等级和与等级相对应的分辨率；
其中，无人机视频金字塔模型的分辨率从顶端到低端依次增大。
根据本发明的实施例，上述视频服务器响应于无人机视频加载请求对无人机视频进行重采样和切分处理包括：
根据无人机视频加载请求，确定无人机视频的分辨率和等级；
根据场景视图相机的可视范围坐标，利用无人机视频的分辨率和等级，确定可视范围坐标的外包矩形所在的无人机视频金字塔模型的四叉树切分范围；
根据四叉树切分范围，通过视频服务器对无人机视频进行切分，并将切分出来的无人机视频发送到客户端和/或浏览器渲染。
根据本发明的实施例，上述将无人机视频按照预设需求进行动态调度与渲染包括：
在场景视图相机的视域范围小于当前无人机视频图像范围的情况下，根据场景视图相机的位置信息加载部分无人机视频数据。
根据本发明的实施例，上述率无人机视频金字塔模型包括360P、720P、1080P、4K以及8K多个分辨率。
根据本发明的实施例，上述当前地图的地图瓦片最小单元是256×256或512×512像素。
根据本发明的第二个方面，提供了一种基于无人机视频金字塔模型的动态处理装置，包括：
获取模块，用于获取场景视图相机的视点距离和视域范围，通过客户端查询当前地图的等级，并根据地图等级和地图分辨率之间的对应关系以及场景视图相机的视点距离，得到当前地图的分辨率；
模型构建模块，用于根据当前地图的分辨率、无人机飞行参数以及预设分级规则，在视频服务器上构建无人机视频金字塔模型，其中，无人机视频金字塔模型包括多个等级，每个无人机视频金字塔模型的等级对应一个分辨率；
计算模块，用于根据场景视图相机的视域范围和无人机视频范围计算场景视图相机的视域范围内的视频范围；
请求发送模块，用于通过客户端向视频服务器发送无人机视频加载请求，其中，无人机视频加载请求包括无人机视频金字塔模型的属性信息和场景视图相机的视域范围内的视频范围；
视频动态处理模块，用于通过客户端接收视频服务器响应于无人机视频加载请求对无人机视频进行重采样和切分处理后的无人机视频，并将处理后的无人机视频在客户端进行动态调度与渲染、加载和显示；
视频按需处理模块，用于在场景视图相机的视点距离发生变化的情况下，重复上述步骤，将无人机视频按照预设需求进行重采样、切分、动态调度与渲染、加载和显示。
根据本发明的第三个方面，提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器执行上述多分辨率无人机视频动态处理方法。
根据本发明的第四个方面，提供了一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行上述多分辨率无人机视频动态处理方法。
本发明提供的一种多分辨率无人机视频动态处理方法，可根据当前场景视图相机的视点距离和视域范围来动态加载与当前地图分辨率相似的无人机视频数据，实现多分辨率无人机视频高性能按需渲染，保障场景显示的高效性和系统运行的流畅性。
附图说明
图1是根据本发明实施例的基于无人机视频金字塔模型的动态处理方法的流程图；
图2是根据本发明实施例的基于无人机视频金字塔模型的动态处理方法的结构示意图；
图3是根据本发明实施例的无人机视频金字塔模型的通用视频格式示意图；
图4是根据本发明实施例的无人机视频金字塔模型的16：9无人机视频格式的示意图；
图5是根据本发明实施例的对无人机视频进行重采样和切分的流程图；
图6是根据本发明实施例的同一等级的无人机视频金字塔模型的四叉树切分示意图；
图7是根据本发明实施例的场景视图相机可视范围计算视频范围的示意图；
图8是根据本发明实施例的基于无人机视频金字塔模型的动态处理系统的结构示意图；
图9示意性示出了根据本发明实施例的适于实现基于无人机视频金字塔模型的动态处理方法的电子设备的方框图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
图1是根据本发明实施例的基于无人机视频金字塔模型的动态处理方法的流程图。
如图1所示，上述基于无人机视频金字塔模型的动态处理方法包括操作S110~操作S160。
在操作S110，获取场景视图相机的视点距离和视域范围，通过客户端查询当前地图的等级，并根据地图等级和地图分辨率之间的对应关系以及场景视图相机的视点距离，得到当前地图的分辨率。
可选地，上述场景视图相机可以是二维场景相机、也可以是三维场景相机，因此，本发明提供的上述无人机视频动态处理方法既可以适用于二维GIS场景中的无人机视频动态处理，也可以适用于三维GIS场景中的无人机视频动态处理
在操作S120，根据当前地图的分辨率、无人机飞行参数以及预设分级规则，构建无人机视频金字塔模型，其中，无人机视频金字塔模型包括多个等级，每个所述无人机视频金字塔模型的等级对应一个分辨率。
可选地，上述无人机视频金字塔模型可以根据用户需求在客户端或者视频服务器上进行构建。
无人机视频金字模型包括多个等级（即金字塔模型的层级），每个等级表示一种视频分辨率；由于无人机视频金字塔模型可以表示多个分辨率，因此本发明提供的上述无人机视频动态处理方法能够处理多个分辨率的无人机视频。
上述无人机飞行参数包括无人机飞行高度和无人机垂直视场角。
在操作S130，根据场景视图相机的视域范围和无人机视频范围计算场景视图相机的视域范围内的视频范围。
在操作S140，通过客户端向视频服务器发送无人机视频加载请求，其中，无人机视频加载请求包括无人机视频金字塔模型的属性信息和场景视图相机的视域范围内的视频范围。
上述无人机视频金字塔模型的属性信息包括金字塔模型的等级和与等级相对应的分辨率。
在操作S150，通过客户端接收视频服务器响应于无人机视频加载请求对无人机视频进行重采样和切分处理后的无人机视频，并将处理后的无人机视频在客户端进行动态调度与渲染、加载和显示。
在操作S160，在场景视图相机的视点距离发生变化的情况下，重复上述步骤，将无人机视频按照预设需求进行重采样、切分、动态调度与渲染、加载和显示。
本发明提供的一种多分辨率无人机视频动态处理方法，可根据当前场景视图相机的视点距离和视域范围来动态加载与当前地图分辨率相似的无人机视频数据，实现多分辨率无人机视频高性能按需渲染，保障场景显示的高效性和系统运行的流畅性。
图2是根据本发明实施例的基于无人机视频金字塔模型的动态处理方法的结构示意图。
下面结合图2对本发明提供的多分辨无人机视频动态处理方法作进一步详细地描述。
如图2示出了客户端/浏览器端运行无人机图传系统进行无人机视频的加载和显示，服务器端存储无人机视频数据、无人机视频金字塔模型构建规则和方法。利用客户端和/或浏览器获取场景视图相机视点距离和视域范围，查询当前地图等级，并根据目前常用的地图等级与地图分辨率对应关系得到当前地图分辨率；根据预设分级规则、无人机飞行参数和当前地图的分辨率计算无人机视频金字塔模型的等级和分辨率；并根据无人机视频范围和视域范围计算视域内的视频范围；向视频服务器端发送请求，重新获取对应分辨率的无人机视频；服务器端根据无人机视频请求中的等级、分辨率和视频范围等参数，对无人机视频进行重采样和切分，并返回重采样后的无人机视频；在三维场景中获取到重采样后的无人机视频，进行无人机视频的加载和显示；当三维场景视点发生变化时，重复上述步骤进行多分辨率无人机视频按需调度与渲染。
应当理解的是，图2所示的结构图仅仅是示意性的，用户可以根据自己的需求，将无人机视频金字塔模型在客户端进行构建。
根据本发明的实施例，上述预设分级规则由公式（1）~（3）确定：
Figure 930009DEST_PATH_IMAGE001
（1），
Figure 179725DEST_PATH_IMAGE002
（2），
Figure 351949DEST_PATH_IMAGE003
（3），
其中，W是无人机视频的原始宽度像素值，H是无人机视频的原始高度像素值，
Figure 661708DEST_PATH_IMAGE004
是无人机视频金字塔模型的等级，
Figure 670115DEST_PATH_IMAGE005
是
Figure 409008DEST_PATH_IMAGE006
级无人机视频金字塔模型的对应的 视频高度像素值，
Figure 248788DEST_PATH_IMAGE007
是
Figure 667131DEST_PATH_IMAGE006
级无人机视频金字塔模型的对应的视频宽度像素值，R是无人机 图像的实际分辨率，
Figure 146523DEST_PATH_IMAGE008
是无人机的垂直视场角，
Figure 3620DEST_PATH_IMAGE009
是无人机的当前飞行高度。
无人机视频金字塔模型构建由公式（1）~（3）确定，从上述公式上可以得出，本发明提供的无人机视频金字塔模型具有多个等级以及多个分辨率，能够涵盖视频领域常用的各个视频分辨率。可选地，用户可以根据自身需求，按照本发明提供的上述公式确定具有其他视频分辨率的无人机视频金字塔模型。
根据本发明的实施例，上述无人机视频金字塔模型包括多个等级，每个无人机视频金字塔模型的等级对应一个分辨率。
其中，无人机视频金字塔模型的属性信息包括无人机视频金字塔模型的等级和与等级相对应的分辨率。
其中，无人机视频金字塔模型的分辨率从顶端到低端依次增大。
图3是根据本发明实施例的无人机视频金字塔模型的通用视频格式示意图。
图4是根据本发明实施例的无人机视频金字塔模型的16：9无人机视频格式的示意图。
下面结合图3和图4对本发明提供的无人机视频金字塔模型作进一步详细地描述。
如图3示意性示出了无人机视频金字塔模型及金字塔模型各级的分辨率，其中，无人机视频金字塔模型的第一等级图像310的分辨率是360P，即360*W/H；无人机视频金字塔模型的第二等级图像320的分辨率是720P，即720*W/H；无人机视频金字塔模型的第三等级图像330的分辨率是1080P，即1080*W/H；无人机视频金字塔模型的第六等级图像340的分辨率是4K，即2160*W/H。其中，上述W/H表示无人机视频宽度与高度的比值，例如宽度与高度比可以是1：1，也可以是16：9，本领域技术人员应当理解的是图3仅是示意性的，本领域技术人员可以根据实际需求，构建N（N为正整数）个等级（例如P1、P2、P3、P4、P5、P6……PN）的无人机视频金字塔模型。考虑到三维GIS系统中的地图瓦片最小单元通常为256×256或512×512像素，本发明以360P视频为基础逐级构建多分辨无人机视频金字塔，能够涵盖720P、1080P、4K、8K等常用视频分辨率。多分辨无人机视频金字塔等级与无人机视频像素高度和宽度之间的对应关系如上述公式（1）和（2）所示。
Figure 635590DEST_PATH_IMAGE001
（1），
Figure 287151DEST_PATH_IMAGE002
（2）。
图4示出了16：9（W/H，视频宽度/视频高度）无人机视频格式的无人机视频金字塔模型及金字塔模型各等级的分辨率，其中，无人机视频金字塔模型的第一等级图像410的分辨率是360P，即 640×360；无人机视频金字塔模型的第二等级图像420的分辨率是720P，即1280×720；无人机视频金字塔模型的第三等级图像430的分辨率是1080P，即1920×1080；无人机视频金字塔模型的第六等级图像440的分辨率是4K，即3840×2160；图4仅仅是示意性的，用户可以根据需要构建具有多个等级（例如P1、P2、P3、P4、P5、P6……PN）的16：9视频格式的金字塔模型。如图4所示，对于16:9无人机视频格式，无人机视频宽度由公式（4）确定：
Figure 20883DEST_PATH_IMAGE010
（4）。
图3和图4示意性展示了根据本发明实施例的无人机视频金字塔模型的结构图，从图3和图4可以毫无疑义地看出，本发明所提供的无人机视频动态处理方法，能够处理不同分辨率的无人机视频，具有较广泛应用场景，应当特别指明的是，虽然图3和图4是三维GIS场景的示意图，但本发明提供的上述无人机视频动态处理方法同样适用于二维GIS场景。此外结合上述金字塔模型构建过程，用户可以构建具有多个其他分辨率的无人机视频金字塔模型。
图5是根据本发明实施例的对无人机视频进行重采样和切分的流程图。
如图5所示，上述视频服务器响应于无人机视频加载请求对无人机视频进行重采样和切分处理包括操作S510~操作S530。
在操作S510，根据无人机视频加载请求，确定无人机视频的分辨率和等级。
在操作S520，根据场景视图相机的可视范围坐标，利用无人机视频的分辨率和等级，确定可视范围坐标的外包矩形所在的无人机视频金字塔模型的四叉树切分范围。
在操作S530，根据四叉树切分范围，通过视频服务器对无人机视频进行切分，并将切分出来的无人机视频发送到客户端和/或浏览器渲染。
本领域技术人员应当理解的是，用户通常只对部分无人机视频感兴趣，因此并不需要将无人机所涵盖的所有视域内的无人机视频进行全部加载和显示，通过上述切分，能够使得客户端按照用户需求动态加载或显示无人机视频，同时，由于按照用户需求对无人机视频进行切分，能够大大降低客户端动态调度与渲染的压力，使得无人机视频能够更快地加载和显示，提升了用户的体验。
根据本发明的实施例，上述将无人机视频按照预设需求进行动态调度与渲染包括：
在场景视图相机的视域范围小于当前无人机视频图像范围的情况下，根据场景视图相机的位置信息加载部分无人机视频数据，其中，上述无人机视频具有多个分辨率。
根据本发明的实施例，上述率无人机视频金字塔模型包括360P、720P、1080P、4K以及8K多个分辨率。
根据本发明实施例，当前地图的地图瓦片最小单元是256×256或512×512像素。
本发明提供的上述无人机视频金字塔模型将无人机视频按照一定的分级规则进行逐级采样和切分，兼顾GIS地图瓦片大小的同时，能够涵盖720P、1080P、4K、8K等常用视频分辨率，为多分辨率无人机视频按需加载提供了可能。
图6是根据本发明实施例的同一等级的无人机视频金字塔模型的四叉树切分示意图。
图7是根据本发明实施例的场景视图相机可视范围计算视频范围的示意图。
下面结合图6和7对本发明提供的上述多分辨无人机视频动态处理方法作进一步详细地说明。
对于无人机视频金字塔模型中同一等级的无人机视频，可按照四叉树的方式对其进行切分，如图6和7所示，便于小范围的视频数据按需加载，即当场景视图相机的视域小于当前无人机图像范围时，可按照场景相机位置加载其中一部分视频数据，从而减小视频数据量，提高场景渲染效率。图6和7示意性示出了根据本发明按照用户需求对无人机视频进行部分显示或对无人机视频进行切分的示意图，其中，本领域技术人员可以根据用户需求将图6和7的背景换成无人机视频和/或当前地图，从而方便进行无人机视频的动态处理。其中，图6中，W i 表示无人机视频金字塔模型第i等级对应的无人机视频的宽度，W i /4、W i /2表示该无人机视频的1/4、1/2的视频宽度；H i 表示无人机视频金字塔模型第i等级对应的无人机视频的高度，H i /4、H i /2表示该无人机视频的1/4、1/2的视频高度。图7示出了根据本发明实施例对无人机视频进行四叉树切分的示意图，如图7所示，其中图7灰色部分是根据用户需求，对目标无人机视频进行四叉树切分的结果；对于上述四叉树切分的视频图像，客户端可以进行动态调度与渲染、加载和显示。
二维或三维GIS场景会根据当前视点距离来动态加载不同等级的地形、影像和地图数据，因此在无人机视频动态调度过程中，可根据当前地图等级来动态请求同分辨率的无人机视频数据。在无人机视频硬件不变的情况下，无人机视场角与视频大小不变，无人机图像实际分辨率与其飞行高度有关，如公式（3）所示：
Figure 353775DEST_PATH_IMAGE003
（3）。
在确定当前无人机视频实际分辨率和等级后，根据场景视图相机（场景视图）的可视范围坐标，计算其外包矩形所在的视频金字塔四叉树切分范围，服务器跟据该范围将此部分视频数据切分出来，发送至客户端渲染。
在无人机视频在无人机图传系统的二维或三维场景加载和显示过程中，根据当前视点距离、视域范围来动态计算所需的无人机视频分辨率和当前等级中的视频范围，在远距离调用低分辨率视频，在近距离调用高分辨率视频，在小的视域内调用小范围的视频图像，从而减小二维或三维场景渲染压力，提高场景渲染性能。
图8是根据本发明实施例的多分辨无人机视频动态处理装置的结构示意图。
如图8所示，上述多分辨率无人机视频动态处理系统包括获取模块810、模型构建模块820、计算模块830、请求发送模块840、视频动态处理模块850以及视频按需处理模块860。
获取模块810，用于获取场景视图相机的视点距离和视域范围，通过客户端查询当前地图的等级，并根据地图等级和地图分辨率之间的对应关系以及场景视图相机的视点距离，得到当前地图的分辨率；
模型构建模块820，用于根据当前地图的分辨率、无人机飞行参数以及预设分级规则，构建无人机视频金字塔模型，其中，无人机视频金字塔模型包括多个等级，每个无人机视频金字塔模型的等级对应一个分辨率；
计算模块830，用于根据场景视图相机的视域范围和无人机视频范围计算场景视图相机的视域范围内的视频范围；
请求发送模块840，用于通过客户端向视频服务器发送无人机视频加载请求，其中，无人机视频加载请求包括无人机视频金字塔模型的属性信息和场景视图相机的视域范围内的视频范围；
视频动态处理模块850，用于通过客户端接收视频服务器响应于无人机视频加载请求对无人机视频进行重采样和切分处理后的无人机视频，并将处理后的无人机视频在客户端进行动态调度与渲染、加载和显示；
视频按需处理模块860，用于在场景视图相机的视点距离发生变化的情况下，重复上述步骤，将无人机视频按照预设需求进行重采样、切分、动态调度与渲染、加载和显示。
本发明提供的基于无人机视频金字塔模型的动态处理方法和装置，将无人机视频按照一定的分级规则进行逐级采样和切分，同时研发一种多分辨率无人机视频高性能按需渲染方法和装置，按距离来动态加载不同分辨率、不同范围的无人机视频数据，保障无人机视频、特别是超高清无人机视频的按需动态加载和显示。
图9示意性示出了根据本发明实施例的适于实现基于无人机视频金字塔模型的动态处理方法的电子设备的方框图。
如图9所示，根据本发明实施例的电子设备900包括处理器901，其可以根据存储在只读存储器（ROM）902中的程序或者从存储部分908加载到随机访问存储器（RAM）903中的程序而执行各种适当的动作和处理。处理器901例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC））等等。处理器901还可以包括用于缓存用途的板载存储器。处理器901可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 903中，存储有电子设备900操作所需的各种程序和数据。处理器 901、ROM902以及RAM 903通过总线904彼此相连。处理器901通过执行ROM 902和/或RAM 903中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 902和RAM 903以外的一个或多个存储器中。处理器901也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例，电子设备900还可以包括输入/输出（I/O）接口905，输入/输出（I/O）接口905也连接至总线904。电子设备900还可以包括连接至I/O接口905的以下部件中的一项或多项：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管（CRT）、液晶显示器（LCD）等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质，例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 902和/或RAM 903和/或ROM 902和RAM 903以外的一个或多个存储器。
本领域技术人员可以理解，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合或/或结合，即使这样的组合或结合没有明确记载于本发明中。特别地，在不脱离本发明精神和教导的情况下，本发明的各个实施例和/或权利要求中记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于无人机视频金字塔模型的动态处理方法，包括：
步骤一，获取场景视图相机的视点距离和视域范围，通过客户端查询当前地图的等级，并根据地图等级和地图分辨率之间的对应关系以及所述场景视图相机的视点距离，得到所述当前地图的分辨率；
步骤二，根据所述当前地图的分辨率、无人机飞行参数以及预设分级规则，构建无人机视频金字塔模型，其中，所述无人机视频金字塔模型包括多个等级，每个所述无人机视频金字塔模型的等级对应一个分辨率；
步骤三，根据所述场景视图相机的视域范围和无人机视频范围计算所述场景视图相机的视域范围内的视频范围；
步骤四，通过所述客户端向视频服务器发送无人机视频加载请求，其中，所述无人机视频加载请求包括所述无人机视频金字塔模型的属性信息和所述场景视图相机的视域范围内的视频范围；
步骤五，通过所述客户端接收所述视频服务器响应于所述无人机视频加载请求对无人机视频进行重采样和切分处理后的无人机视频，并将处理后的无人机视频在所述客户端进行动态调度与渲染、加载和显示；
在所述场景视图相机的视点距离发生变化的情况下，重复上述步骤一至步骤五，将所述无人机视频按照预设需求进行重采样、切分、动态调度与渲染、加载和显示。
2.根据权利要求1所述的方法，其中，所述预设分级规则由公式（1）~（3）确定：
Figure 583872DEST_PATH_IMAGE001
（1），
Figure 986035DEST_PATH_IMAGE002
（2），
Figure 484275DEST_PATH_IMAGE004
（3），
其中，W是所述无人机视频的原始宽度像素值，H是所述无人机视频的原始高度像素值，
Figure 805534DEST_PATH_IMAGE005
是所述无人机视频金字塔模型的等级，
Figure 28705DEST_PATH_IMAGE006
是
Figure 687089DEST_PATH_IMAGE007
级所述无人机视频金字塔模型 的对应的视频高度像素值，
Figure 413736DEST_PATH_IMAGE008
是
Figure 201170DEST_PATH_IMAGE007
级无人机视频金字塔模型的对应的视频宽度像素值，R 是无人机图像的实际分辨率，
Figure 239533DEST_PATH_IMAGE009
是无人机的垂直视场角，
Figure 842553DEST_PATH_IMAGE010
是无人机的当前飞行高度。
3.根据权利要求1所述的方法， 其中，所述无人机视频金字塔模型的属性信息包括所述无人机视频金字塔模型的等级和与等级相对应的分辨率；
其中，所述无人机视频金字塔模型的分辨率从顶端到低端依次增大。
4.根据权利要求1所述的方法，其中，所述视频服务器响应于所述无人机视频加载请求对无人机视频进行重采样和切分处理包括：
根据所述无人机视频加载请求，确定所述无人机视频的分辨率和等级；
根据所述场景视图相机的可视范围坐标，利用所述无人机视频的分辨率和等级，确定所述可视范围坐标的外包矩形所在的无人机视频金字塔模型的四叉树切分范围；
根据所述四叉树切分范围，通过所述视频服务器对所述无人机视频进行切分，并将切分出来的无人机视频发送到所述客户端和/或浏览器渲染。
5.根据权利要求1所述的方法，其中，所述将所述无人机视频按照预设需求进行动态调度与渲染包括：
在所述场景视图相机的视域范围小于当前无人机视频图像范围的情况下，根据所述场景视图相机的位置信息加载部分无人机视频数据。
6.根据权利要求1所述的方法，其中，所述无人机视频金字塔模型包括360P、720P、1080P、4K以及8K多个分辨率。
7.根据权利要求1所述的方法，其中，所述当前地图的地图瓦片最小单元是256×256或512×512像素。
8.一种基于无人机视频金字塔模型的动态处理装置，包括：
获取模块，用于执行步骤一，获取场景视图相机的视点距离和视域范围，通过客户端查询当前地图的等级，并根据地图等级和地图分辨率之间的对应关系以及所述场景视图相机的视点距离，得到所述当前地图的分辨率；
模型构建模块，用于执行步骤二，根据所述当前地图的分辨率、无人机飞行参数以及预设分级规则，构建无人机视频金字塔模型，其中，所述无人机视频金字塔模型包括多个等级，每个所述无人机视频金字塔模型的等级对应一个分辨率；
计算模块，用于执行步骤三，根据所述场景视图相机的视域范围和无人机视频范围计算所述场景视图相机的视域范围内的视频范围；
请求发送模块，用于执行步骤四，通过所述客户端向视频服务器发送无人机视频加载请求，其中，所述无人机视频加载请求包括所述无人机视频金字塔模型的属性信息和所述场景视图相机的视域范围内的视频范围；
视频动态处理模块，用于执行步骤五，通过所述客户端接收所述视频服务器响应于所述无人机视频加载请求对无人机视频进行重采样和切分处理后的无人机视频，并将处理后的无人机视频在所述客户端进行动态调度与渲染、加载和显示；
视频按需处理模块，用于在所述场景视图相机的视点距离发生变化的情况下，重复上述步骤一至步骤五，将所述无人机视频按照预设需求进行重采样、切分、动态调度与渲染、加载和显示。
9.一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行根据权利要求1~7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有可执行指令，该指令被处理器执行时使处理器执行根据权利要求1~7中任一项所述的方法。
CN202210984288.5A 2022-08-17 2022-08-17 基于无人机视频金字塔模型的动态处理方法及装置 Active CN115065867B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210984288.5A CN115065867B (zh) 2022-08-17 2022-08-17 基于无人机视频金字塔模型的动态处理方法及装置
PCT/CN2022/136213 WO2023066412A1 (zh) 2022-08-17 2022-12-02 基于无人机视频金字塔模型的动态处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210984288.5A CN115065867B (zh) 2022-08-17 2022-08-17 基于无人机视频金字塔模型的动态处理方法及装置

Publications (2)

Publication Number Publication Date
CN115065867A CN115065867A (zh) 2022-09-16
CN115065867B true CN115065867B (zh) 2022-11-11

Family

ID=83207880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210984288.5A Active CN115065867B (zh) 2022-08-17 2022-08-17 基于无人机视频金字塔模型的动态处理方法及装置

Country Status (2)

Country Link
CN (1) CN115065867B (zh)
WO (1) WO2023066412A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115065867B (zh) * 2022-08-17 2022-11-11 中国科学院空天信息创新研究院 基于无人机视频金字塔模型的动态处理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110079A (zh) * 2007-06-27 2008-01-23 中国科学院遥感应用研究所 一种数字地球原型系统
WO2011100964A2 (de) * 2010-02-18 2011-08-25 Esw Gmbh Verfahren zur verarbeitung von mehrkanaligen bildaufnahmen für die detektion von verborgenen gegenständen bei der optoelektronischen personenkontrolle
CN103595974A (zh) * 2013-12-01 2014-02-19 北京航空航天大学深圳研究院 一种面向城域的视频地理信息系统及方法
CN107742276A (zh) * 2017-03-27 2018-02-27 苏州星宇测绘科技有限公司 一种基于无人机遥感图像机载一体化快速处理系统和方法
CN108052642A (zh) * 2017-12-22 2018-05-18 重庆邮电大学 基于瓦片技术的电子海图显示方法
CN110706166A (zh) * 2019-09-17 2020-01-17 中国科学院遥感与数字地球研究所 一种锐化标签数据的图像超分辨率重建方法及装置
WO2021227359A1 (zh) * 2020-05-14 2021-11-18 佳都新太科技股份有限公司 一种无人机投影方法、装置、设备及存储介质
CN113916136A (zh) * 2021-11-19 2022-01-11 招商局重庆交通科研设计院有限公司 一种基于无人机航拍的高耸结构动位移测量方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8509565B2 (en) * 2008-12-15 2013-08-13 National Tsing Hua University Optimal multi-resolution blending of confocal microscope images
CN102201115B (zh) * 2011-04-07 2013-12-11 湖南天幕智能科技有限公司 无人机航拍视频实时全景图拼接方法
WO2018027210A1 (en) * 2016-08-05 2018-02-08 Neu Robotics, Inc, Mobile platform eg drone / uav performing localization and mapping using video
CN108536863A (zh) * 2018-04-20 2018-09-14 曜宇航空科技（上海）有限公司 一种基于无人机的地图中选定区域更新方法及系统
CN111192362B (zh) * 2019-12-17 2023-04-11 武汉理工大学 一种动态三维地理场景实时采集的虚拟复眼系统的工作方法
CN114511661A (zh) * 2022-01-21 2022-05-17 北京百度网讯科技有限公司 图像渲染方法、装置、电子设备及存储介质
CN115065867B (zh) * 2022-08-17 2022-11-11 中国科学院空天信息创新研究院 基于无人机视频金字塔模型的动态处理方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101110079A (zh) * 2007-06-27 2008-01-23 中国科学院遥感应用研究所 一种数字地球原型系统
WO2011100964A2 (de) * 2010-02-18 2011-08-25 Esw Gmbh Verfahren zur verarbeitung von mehrkanaligen bildaufnahmen für die detektion von verborgenen gegenständen bei der optoelektronischen personenkontrolle
CN103595974A (zh) * 2013-12-01 2014-02-19 北京航空航天大学深圳研究院 一种面向城域的视频地理信息系统及方法
CN107742276A (zh) * 2017-03-27 2018-02-27 苏州星宇测绘科技有限公司 一种基于无人机遥感图像机载一体化快速处理系统和方法
CN108052642A (zh) * 2017-12-22 2018-05-18 重庆邮电大学 基于瓦片技术的电子海图显示方法
CN110706166A (zh) * 2019-09-17 2020-01-17 中国科学院遥感与数字地球研究所 一种锐化标签数据的图像超分辨率重建方法及装置
WO2021227359A1 (zh) * 2020-05-14 2021-11-18 佳都新太科技股份有限公司 一种无人机投影方法、装置、设备及存储介质
CN113916136A (zh) * 2021-11-19 2022-01-11 招商局重庆交通科研设计院有限公司 一种基于无人机航拍的高耸结构动位移测量方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种面向对象的全球多分辨率纹理数据的预处理方法的研究;陈华等;《测绘科学》;20081015;全文 *
支持无人机遥感影像的场景多树组织与跨源调度技术;李毅等;《高技术通讯》;20090925(第09期);全文 *
面向移动互联网应用的全景地图切片技术研究;吕楠等;《北京测绘》;20170425(第02期);全文 *

Also Published As

Publication number Publication date
WO2023066412A1 (zh) 2023-04-27
CN115065867A (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
US9659400B2 (en) Efficiently implementing and displaying independent 3-dimensional interactive viewports of a virtual world on multiple client devices
US9996976B2 (en) System and method for real-time overlay of map features onto a video feed
US9704282B1 (en) Texture blending between view-dependent texture and base texture in a geographic information system
US11809487B2 (en) Displaying objects based on a plurality of models
CN112189220B (zh) 用于计算机图形渲染的软遮挡
US20150172628A1 (en) Altering Automatically-Generated Three-Dimensional Models Using Photogrammetry
US10235800B2 (en) Smoothing 3D models of objects to mitigate artifacts
US8675013B1 (en) Rendering spherical space primitives in a cartesian coordinate system
JP2010537348A (ja) 解像度の連続した付加レイヤー内の地理空間テクスチャ・データを選択的に読み出し表示するための地理空間データシステム、および関連した方法
US20190051029A1 (en) Annotation Generation for an Image Network
CN109741431B (zh) 一种二三维一体化电子地图框架
CN115065867B (zh) 基于无人机视频金字塔模型的动态处理方法及装置
JP2010537349A (ja) ユーザ選択された視点に基づいて、地理空間テクスチャ・データを選択的に読み出し表示するための地理空間データシステム、および関連する方法
KR101764063B1 (ko) Vr 컨텐츠의 분석 및 프리-렌더링을 위한 방법 및 시스템
US8884950B1 (en) Pose data via user interaction
US11978160B2 (en) GPU-based digital map tile generation method and system
WO2023224627A1 (en) Face-oriented geometry streaming
CN109074356A (zh) 用于在低带宽数字地图应用中选择性地并入影像的系统和方法
CN111597288A (zh) 一种基于视频融合的三维地理信息可视化方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant