CN111581322B - 视频中兴趣区域在地图窗口内显示的方法和装置及设备 - Google Patents

视频中兴趣区域在地图窗口内显示的方法和装置及设备 Download PDF

Info

Publication number
CN111581322B
CN111581322B CN202010398038.4A CN202010398038A CN111581322B CN 111581322 B CN111581322 B CN 111581322B CN 202010398038 A CN202010398038 A CN 202010398038A CN 111581322 B CN111581322 B CN 111581322B
Authority
CN
China
Prior art keywords
target point
coordinate system
camera
video
aircraft
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010398038.4A
Other languages
English (en)
Other versions
CN111581322A (zh
Inventor
王晓东
李忠义
董雪玲
王敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weisheng Ward Technology Co ltd
Original Assignee
Beijing Weisheng Ward Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Weisheng Ward Technology Co ltd filed Critical Beijing Weisheng Ward Technology Co ltd
Priority to CN202010398038.4A priority Critical patent/CN111581322B/zh
Publication of CN111581322A publication Critical patent/CN111581322A/zh
Application granted granted Critical
Publication of CN111581322B publication Critical patent/CN111581322B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Abstract

本申请涉及一种视频中兴趣内容在地图窗口内显示的方法，包括：获取无人机拍摄到的视频中的目标点在视频显示窗口内的位置；获取拍摄视频的相机参数，并基于相机参数获取相平面的有效范围；基于有效范围，根据目标点在视频显示窗口内的位置确定目标点在相平面内的坐标；基于目标点在相平面内的坐标，结合拍摄视频的相机的拍摄位置和姿态信息，获取得到目标点在大地坐标系中的地理位置；根据目标点在大地坐标系中的地理位置，以及地图窗口中当前显示范围，确定目标点在地图窗口内的显示位置。其可以将视频中的兴趣内容的实际地理位置显示到地图窗口中，从而使得用户能够直接获取兴趣内容的实际地理位置。

Description

视频中兴趣区域在地图窗口内显示的方法和装置及设备
技术领域
本公开涉及图像处理技术领域，尤其涉及一种视频中兴趣区域在地图窗口内显示的方法和装置及设备。
背景技术
随着便捷式小型无人机的普及，无人机定位精度的提高和机载拍摄云台技术的完善，基于无人机载光学传感器的信息采集方式不断增加。其中，光学传感器采集到的数据主要是通过航拍拼图的方式作为业内信息提取的基础，其无法在调查现场辅助调查员完成数据收集。同时，在采用双窗口交互操作方式的应用中，只是将无人机位置标注在地图上，视频内容与地图仅通过无人机位置进行关联，无法帮助用户了解视频中的兴趣内容所对应的真实地理位置。
发明内容
有鉴于此，本公开提出了一种视频中兴趣内容在地图窗口内显示的方法，可以将视频中的兴趣内容的实际地理位置显示到地图窗口中，从而使得用户能够直接获取兴趣内容的实际地理位置。
根据本公开的一方面，提供了一种视频中兴趣内容在地图窗口内显示的方法，用于将无人机拍摄的视频中兴趣内容显示到地图窗口中，包括：
获取所述无人机拍摄到的视频中的目标点在视频显示窗口内的位置；其中，所述目标点为由所述视频中所选取的兴趣区域；
获取拍摄所述视频的相机参数，并基于所述相机参数获取相平面的有效范围；
基于所述有效范围，根据所述目标点在所述视频显示窗口内的位置确定所述目标点在所述相平面内的坐标；
基于所述目标点在相平面内的坐标，结合拍摄所述视频的相机的拍摄位置和姿态信息，获取得到所述目标点在大地坐标系中的地理位置；
根据所述目标点在所述大地坐标系中的地理位置，以及地图窗口中当前显示范围，确定所述目标点在所述地图窗口内的显示位置。
在一种可能的实现方式中，所述相机参数包括相机镜头的焦距和相机的有效视场角；
其中，基于所述相机参数获取所述相平面的所述有效范围，包括：
获取所述焦距和所述有效视场角，并根据公式： 计算得到所述有效范围；
其中，f为所述焦距，View(Vhorizantal,Vvertical)为所述有效视场角,E(wcamera,hcamera)为所述有效范围。
在一种可能的实现方式中，基于所述有效范围，根据所述目标点在所述视频显示窗口内的位置确定所述目标点在所述相平面内的坐标时，根据公式：计算得到；
其中，Wv为所述视频显示窗口的水平长度，Hv为所述视频显示窗口的竖直高度，PVideoScreen(xv,yv)为所述目标点在所述视频显示窗口内的位置。
在一种可能的实现方式中，基于所述目标点在所述相平面内的坐标，结合拍摄所述视频的相机的拍摄位置和姿态信息，获取得到所述目标点在大地坐标系中的地理位置，包括：
由所述姿态信息中提取出所述相机的俯仰角，并根据所述俯仰角和所述相机的焦距计算得到所述目标点相对于相机铅垂线的俯仰角；
基于光线传播与成像理论，根据所述目标点相对于相机铅垂线的俯仰角，以及所述拍摄位置中的拍摄高度和所述目标点在所述相平面内的坐标，获取所述目标点在飞机坐标系下的位置；
基于仿射变换理论，根据所述目标点在飞机坐标系下的位置，计算得到所述目标点在飞机真北坐标系下的位置；
其中，所述飞机真北坐标系指的是以飞机坐标系z轴为中心，将飞机坐标系的y轴旋转至正北方向之后得到的坐标系；
基于所述目标点在所述飞机真北坐标下的位置，结合球面距离计算理论获取得到所述目标点在大地坐标系中的地理位置。
在一种可能的实现方式中，基于光线传播与成像理论，根据所述目标点相对于相机铅垂线的俯仰角，以及所述拍摄位置中的拍摄高度和所述目标点在所述相平面内的坐标，获取所述目标点在飞机坐标系下的位置时，根据公式：计算得到；
其中，H为所述拍摄高度，PCamera(x,y)为所述目标点在所述相平面内的坐标，αP为所述目标点相对于相机铅垂线的俯仰角，f为所述相机的焦距。
在一种可能的实现方式中，基于仿射变换理论，根据所述目标点在飞机坐标系下的位置，计算得到所述目标点在飞机真北坐标系下的位置时，根据公式：计算得到；
其中，β为所述飞机坐标系与正北方向的夹角，为所述目标点在所述飞机坐标系下的位置，PUAV(xp,yp)为所述目标点在所述飞机真北坐标系下的位置。
在一种可能的实现方式中，基于所述目标点在所述飞机真北坐标下的位置，结合球面距离计算理论获取得到所述目标点在大地坐标系中的地理位置，包括：
根据球面距离计算所述目标点相对于所述飞机真北坐标系原点的经纬度差值；
根据所述目标点相对于所述飞机真北坐标系原点的经纬度差值，计算得到所述目标点在大地坐标系中的地理位置。
在一种可能的实现方式中，还包括：
根据所述显示位置，在所述地图窗口当前所显示的地图中标记出所述目标点，并将标记后的地图推送至所述地图窗口进行显示。
根据本申请的一方面，还提供了一种视频中兴趣内容在地图窗口内显示的装置，用于将无人机拍摄的视频中兴趣内容显示到地图窗口中，包括视频窗口显示位置获取模块、有效范围获取模块、相平面坐标确定模块、地理位置获取模块和显示位置确定模块；
所述视频窗口显示位置获取模块，被配置为获取所述无人机拍摄到的视频中的目标点在视频显示窗口内的位置；其中，所述目标点为由所述视频中所选取的兴趣区域；
所述有效范围获取模块，被配置为获取拍摄所述视频的相机参数，并基于所述相机参数获取相平面的有效范围；
所述相平面坐标确定模块，被配置为基于所述有效范围，根据所述目标点在所述视频显示窗口内的位置确定所述目标点在所述相平面内的坐标；
所述地理位置获取模块，被配置为基于所述目标点在相平面内的坐标，结合拍摄所述视频的相机的拍摄位置和姿态信息，获取得到所述目标点在大地坐标系中的地理位置；
所述显示位置确定模块，被配置为根据所述目标点在所述大地坐标系中的地理位置，以及地图窗口中当前显示范围，确定所述目标点在所述地图窗口内的显示位置。
根据本申请的另一方面，还提供了一种视频中兴趣内容在地图窗口内显示的设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现前面任一所述的方法。
本申请实施例的视频中兴趣内容在地图窗口显示的方法，只需获取无人机所拍摄的视屏中目标点(即，兴趣内容)在视频显示窗口的位置坐标，并结合无人机所搭载的相机拍摄该视频时的拍摄位置和姿态信息，以及相关的视频拍摄时的相机参数，即可实现将目标点在视频显示窗口的位置坐标转换为地图窗口的位置坐标，从而实现将视频中的目标点通过地图窗口显示到地图上的目的。这也就实现了将无人机拍摄的视频中的某一部分区域标注到地图的目的，从而使得用户能够直接获取到视频中的部分区域的实际地理位置。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出本申请实施例的视频中兴趣内容在地图窗口内显示的方法的流程图；
图2示出本申请实施例的视频中兴趣内容在地图窗口内显示的方法的某一应用场景示意图；
图3示出本申请实施例的视频中兴趣内容在地图窗口内显示的方法中关于飞机坐标系相对于地图坐标系的旋转关系图；
图4示出本申请实施例的视频中兴趣内容在地图窗口内显示的方法中通过球面距离计算目标点相对于飞机真北坐标系原点的经纬度差值的示意图；
图5示出本申请实施例的视频中兴趣内容在地图窗口内显示的方法与无人机系统集成的系统架构图；
图6示出本申请实施例的视频中兴趣内容在地图窗口内显示的装置的结构框图；
图7示出本申请实施例的视频中兴趣内容在地图窗口内显示的设备的结构框图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
首先，需要指出的是，在本申请的视频中兴趣内容在地图窗口显示的方法中，对目标点(即，兴趣内容)在视频显示窗口的位置坐标进行了多次变换，其中在变换过程中采用了不同的坐标系，为了能够更清楚地理解本申请的技术方案，以下先对变换过程中涉及到的坐标系以及参数的定义进行解释说明。
具体的，相机铅垂线：相机位置与地心的连线。
相机铅锤面：相机铅锤线与镜头水平轴所构成的平面。
飞机阴影：相机铅垂线与地面的交点。
镜头高度：相机镜头中心到飞机阴影的距离。
主光轴投影线：相机主光轴在地平面上的投影线。
光轴旋转面：相机主光轴不垂直地球球面垂直时，相机主光轴与地心构成的平面。
相机俯仰角：相机在光轴旋转面上运动时，与相机铅垂线所成的夹角。当相机拍摄飞机正下方时，主光轴与相机铅垂线重合，相机俯仰角为0°，相机向前上方旋转时，俯仰角为正。
相机方向角：主光轴投影线与正北方向的夹角。
相平面坐标系：以相机焦平面中心为原点，其水平中心线为x轴，竖直中心线为一轴，单位为m。
相平面原点：相机胶片中心点作为原点，即相平面坐标系的原点。
飞机中心：飞行器所搭载的定位传感器所设定的代表飞机机身地理位置的点。
飞机坐标系：以“飞机阴影”为原点，相机铅垂线为z轴，主光轴投影线为y轴，使用右手法则确定x轴正方向，单位为m。
飞机真北坐标系：以飞机坐标系z轴为中心，将飞机坐标系的y轴旋转至正北方向之后所得的坐标系。
视频窗口内坐标：目标点位在视频显示窗口中相对于窗口左上角点在水平竖直两个方向的像素个数。
地图窗口坐标：目标点位在地图显示窗口中相对于窗口左上角点在水平竖直两个方向上的像素个数。
图1示出根据本公开一实施例的视频中兴趣内容在地图窗口内显示的方法的流程图。图2示出本申请实施例的视频中兴趣内容在地图窗口内显示的方法的一种应用场景图。由图2可知，本申请实施例的视频中兴趣内容在地图窗口内显示的方法，主要是用于将无人机拍摄到的视频中的某一兴趣区域由视频显示窗口映射到地图显示窗口中，通过地图显示窗口将兴趣区域的实际地理位置显示到地图中。
如图1所示，该方法包括：步骤S100，获取无人机拍摄到的视频中的目标点在视频显示窗口内的位置。此处，需要说明的是，目标点即为由视频中所选取的兴趣区域。其中，本领域技术人员可以理解的是，由视频中所选取的目标点可以为视频中的部分区域，也可以是视频中的某一点，此处不进行具体限定。同时，由视频中选取该目标点的方式可以采用点击选取的方式，也可以通过系统预设、视频识别和分类等各种方式来实现。此处也不进行具体限定。
步骤S200，获取拍摄视频的相机参数，并基于相机参数获取相平面的有效范围。本领域技术人员可以理解的是，在该步骤中，所获取的相机参数指的是无人机中所搭载的相机的各项拍摄参数，如：相机的俯仰角、相机的有效视场角等。同时，相机参数的获取可以通过在获取视频数据时同步获取，也可以分时获取。
步骤S300，基于有效范围，根据目标点在视频显示窗口内的位置确定目标点在相平面内的坐标。即，通过所确定的相平面的有效范围，进行目标点在视频显示窗口的位置坐标到相平面的位置坐标的转换，从而为最终获取目标点在大地坐标系中的地理位置提供相应的数据。
步骤S400，基于目标点在相平面的坐标，并结合拍摄视频的相机的拍摄位置和姿态信息，获取得到目标点在大地坐标系中的地理位置。进而再通过步骤S500，根据目标点在大地坐标系中的地理位置，以及地图窗口中当前显示范围，确定目标点在地图窗口内的显示位置。
由此，本申请实施例的视频中兴趣内容在地图窗口显示的方法，只需获取无人机所拍摄的视屏中目标点(即，兴趣内容)在视频显示窗口的位置坐标，并结合无人机所搭载的相机拍摄该视频时的拍摄位置和姿态信息，以及相关的视频拍摄时的相机参数，即可实现将目标点在视频显示窗口的位置坐标转换为地图窗口的位置坐标，从而实现将视频中的目标点通过地图窗口显示到地图上的目的。这也就实现了将无人机拍摄的视频中的某一部分区域标注到地图的目的，从而使得用户能够直接获取到视频中的部分区域的实际地理位置。
其中，需要说明的是，根据前面视频窗口内坐标的定义，本领域技术人员可以理解的是，目标点在视频显示窗口内的位置指的是目标点位在视频显示窗口中相对于窗口左上角点在水平方向和竖直方向上的像素个数。
举例来说，以PVideoScreen(xv,yv)表征目标点在视频显示窗口内的位置，则对应的，xv为目标点在视频显示窗口中相对于窗口左上角点在水平方向上的像素个数，yv为目标点在视频显示窗口中相对于窗口左上角点在竖直方向上的像素个数。
进一步的，相机参数则可以包括相机镜头的焦距和相机的有效视场角。此处，需要指出的是，相机镜头的焦距指的是在拍摄该视频时所设置的相机镜头的焦距f。相机的有效视场角则可以通过相机的配置获取得到。
同时，还需要解释说明的是，根据前面定义所述，相平面坐标系指的是：以相机焦平面中心为原点，水平中心线为x轴，竖直中心线为y轴，单位为m。相平面原点则指的是，相机胶片中心点，也即相平面坐标系的原点。
相应的，在一种可能的实现方式中，基于相机参数获取相平面的有效范围，可以通过以下方式来实现。
即，首先获取相机镜头的焦距和相机的有效视场角，进而再根据公式：计算得到有效范围。
其中，本领域技术人员可以理解的是，该公式可以预先存储到存储器中，从而可以直接采用调用的方式进行公式的读取和计算。
在获取到相平面的有效范围后，即可基于所获取的有效范围，确定目标点在相平面内的坐标。其中，在一种可能的实现方式中，可以基于仿射变换理论进行目标点在视频显示窗口的位置坐标到目标点在相平面的坐标转换。
具体的，基于仿射变换理论进行目标点的初次坐标转换(即，由视频显示窗口的坐标转换为在相平面的坐标)时，可以根据公式： 计算得到。
此处，需要解释说明的是，Wv为视频显示窗口的水平长度，Hv为视频显示窗口的竖直高度，PVideoScreen(xv,yv)为目标点在视频显示窗口内的位置。
在将目标点的位置坐标由视频显示窗口变换至相平面坐标系下后，即可基于目标点在相平面内的坐标，结合拍摄视频的相机的拍摄位置和姿态信息，获取得到目标点在大地坐标系中的地理位置。
此处，需要说明的是，在本申请的一种可能的实现方式中，将目标点的位置坐标由相平面坐标系变换至大地坐标系需要进行多次坐标变换。
具体的，首先通过步骤S410，由姿态信息中提取出相机的俯仰角，并根据俯仰角和相机的焦距计算得到目标点相对于相机铅垂线的俯仰角。此处，根据前面所述的定义可知，相机的俯仰角指的是，相机在光轴旋转面上运动时，与相机铅垂线所成的夹角。当相机拍摄无人机正下方时，主光轴与相机铅垂线重合，相机的俯仰角为0°，相机向前上方旋转时，俯仰角为正。其中，相机铅垂线则指的是相机位置与地心的连线。相应的，相机铅垂面则为：相机铅垂线与镜头水平轴所构成的平面。同时，还需要解释说明的是，光轴旋转面指的是，相机主光轴与地球球面垂直时，相机主光轴与地心构成的平面。
其次，通过步骤S420，基于光线传播与成像理论，根据目标点相对于相机铅垂线的俯仰角，以及拍摄位置中的拍摄高度和目标点在相平面内的坐标，获取目标点在飞机坐标系下的位置。其中，本领域技术人员可以理解的是，参阅图3，飞机坐标系指的是，以飞机阴影为原点，相机铅垂线为z轴，主光轴投影线为y轴，使用右手法则确定x轴正方向，单位为m。飞机阴影指的是，相机铅垂线与地面的交点。
进而，再通过步骤S430，基于仿射变换理论，根据目标点在飞机坐标系下的位置，计算得到目标点在飞机真北坐标系下的位置。此处，需要解释说明的是，参阅图3，飞机真北坐标系可以定义为：以飞机坐标系z轴为中心，将飞机坐标系的y轴旋转至正北方向之后所得到的坐标系。
最后，再通过步骤S440，基于目标点在飞机真北坐标系下的位置，结合球面距离计算理论获取得到目标点在大地坐标系中的地理位置。
由此，本申请实施例的视频中兴趣内容在地图窗口显示的方法，在获取到目标点在相平面内的坐标后，结合拍摄射频的相机的拍摄位置和姿态信息，对目标点的坐标依次进行：由相平面坐标系至飞机坐标系的变换，由飞机坐标系的变换至飞机真北坐标系的变化，由飞机真北坐标系至大地坐标系的变换，这三次变换即可得到目标点在大地坐标系的地理位置，不需要借助除无人机系统之外的其他设备参数，只需要采集到无人机拍摄视频时的拍摄姿态信息即可。这也就有效降低了目标点在地图窗口显示的变换门槛，同时只需要连续进行三次变换即可，从而也就有效减小了计算量，提高了变换速率。
其中，在上述实现方式中，根据相机的俯仰角和相机镜头的焦距计算得到目标点相对于相机铅垂线的俯仰角时，可以根据公式：计算得到。需要解释说明的是，α为相机的俯仰角，f为相机镜头的焦距。Y则为目标点在视频显示窗口中相对于视频显示窗口左上角点沿竖直方向上的像素个数。
进一步的，基于光线传播与成像理论，根据目标点相对于相机铅垂线的俯仰角，以及拍摄位置中的拍摄高度和目标点在相平面内的坐标，获取目标点在飞机坐标系下的位置时，则可以根据计算得到。
其中，H为拍摄高度，PCamera(x,y)为目标点在相平面内的坐标，αP为目标点相对于相机铅垂线的俯仰角，f为相机镜头的焦距。
更进一步的，在一种可能的实现方式中，基于仿射变换理论，根据目标点在飞机坐标系下的位置，计算得到目标点在飞机真北坐标系下的位置，则可以根据公式：计算得到；
其中，β为飞机坐标系与正北方向的夹角，为目标点在飞机坐标系下的位置，PUAV(xp,yp)为目标点在飞机真北坐标系下的位置。
另外，还需要指出的是，在本申请的一种可能的实现方式中，在步骤S440，基于目标点在飞机真北坐标下的位置，结合球面距离计算理论获取得到目标点在大地坐标系中的地理位置时，可以通过以下方式来实现。
即，首先，通过步骤S441，根据球面距离计算目标点相对于飞机真北坐标系原点的经纬度差值。其中，在一种可能的实现方式中，参阅图4，在根据球面距离计算目标点相对于飞机真北坐标系原点的经纬度差值时，可以根据公式：计算得到。
其中，飞机在地图坐标系中的坐标位点为aL(lonpl，latpl)，目标点在飞机真北坐标系下的坐标为PUAV(xp,yp)。
进而，再通过步骤S442，根据目标点相对于飞机真北坐标系原点的经纬度差值，计算得到目标点在大地坐标系中的地理位置。其中，在一种可能的实现方式中，可以根据公式：计算得到。
在通过上述任一种方式实现将目标点在视频显示窗口的位置坐标变换到大地坐标系的位置坐标后，即可根据目标点在大地坐标系中的地理位置，以及地图窗口中当前显示范围，确定目标点在地图窗口内的显示位置。
其中，在一种可能的实现方式中，可以根据公式： 计算得到。其中地图窗口当前显示内容的实际坐标范围为/>地图窗口的水平长度为WM、竖直高度为WH。
此外，还需要指出的是，在通过前面任一所述的方式实现将目标点在视频显示窗口的位置坐标到地图窗口的位置坐标转换后，即可基于转换后的目标点在地图窗口的显示位置，将目标点标注到地图窗口当前所要显示的地图画面中，从而使得地图窗口能够实时显示出标注有该目标点的地图画面，这也就使得用户能够通过地图窗口直接获取视频中目标点的实际地理位置。
其中，在将目标点标注到地图窗口当前所要显示的地图画面中时，可以通过获取地图窗口当前状态下所绘制的所有需要显示要素的画面作为底图，在该底图的基础上，根据通过坐标转换得到的目标点在大地坐标系中的地理位置，将目标点标记到底图上就，进而再立即使用标记后的画面刷新地图窗口的显示内容，从而实现目标点在地图窗口中的实时更新和实时显示的目的。
为了更清楚地说明本申请的视频中兴趣内容在地图窗口显示的方法的具体流程，以下结合无人机系统的定制应用对本申请的方法过程进行再次说明。
参阅图5，在无人机系统中所搭载的相机镜头进行图像的采集，并由无人机系统将采集到的视频信号通过遥控器推送至基于无人机的定制应用中。无人机的定制应用接收到视频信号后进行解码和播放。同时，由视频窗口内容向地图窗口的投射模块(即，执行本申请的视频中兴趣内容在地图窗口显示的方法的功能模块)中的视频窗口目标捕获器提取用户基于视频制定的目标点(可以是点选，系统预设，也可以是视频识别、分类等各种方式)，并同时获取该目标点在视频显示窗口中的坐标位置。
其中，在无人机系统推送所采集到的视频信号至基于无人机的定制应用中时，还同时将该帧视频拍摄时的拍摄姿态信息同步推送到定制应用中。定制应用进而对拍摄姿态信息进行解析获取相应的拍摄位置和姿态等各种信息。此处，需要说明的是，基于无人机的定制应用可以采用各种现有的应用软件，此处不对其进行具体限定。
投射模块同时获取到定制应用所解析得到的拍摄位置和姿态等信息，进而再依次执行前面所述的各项计算步骤，对目标点进行视频显示窗口的位置坐标到地图窗口的位置坐标变换，以得到目标点在地图窗口的显示位置，进而再根据所得到的显示位置，在地图窗口中将目标点叠加到当前所显示的地图画面中，进而再将叠加有目标点的地图画面推送至地图窗口进行显示。
由此，本申请的视频中兴趣内容在地图窗口显示的方法，通过基于地图学与光学投影进行兴趣内容在地图窗口的位置坐标的推导，从而有效提高了计算精度。同时，本申请的方法，通过逐帧获取无人机系统采集到的视频，并对获取到的每帧视频内容均可以进行目标点的坐标变换，得到每帧视频目标点的实时地理位置，从而能够实现针对每一帧拍摄内容进行计算的目的，这也就实现了目标点在地图窗口上的实时更新。
并且，在本申请的方法中，进行目标点的坐标变换过程中所需的参数均由无人机平台及其所搭载的拍摄设备获取，不需要额外准备特征库或辅助数据集，因此有效降低了其使用门槛低，并且计算量小，效率高。同时，其显示过程不依赖于地图引擎，能够提供更加流畅、延时性更低的交互显示效果。
相应的，基于前面任一所述的视频中兴趣内容在地图窗口显示的方法的原理，本申请还提供了一种视频中兴趣内容在地图窗口内显示的装置。由于本申请提供的视频中兴趣内容在地图窗口内显示的装置的工作原理与本申请提供的视频中兴趣内容在地图窗口内显示的方法原理相同或相似，因此重复之处不再赘述。
参阅图6，本申请提供的一种视频中兴趣内容在地图窗口内显示的装置100，用于将无人机拍摄的视频中兴趣内容显示到地图窗口中，包括视频窗口显示位置获取模块110、有效范围获取模块120、相平面坐标确定模块130、地理位置获取模块140和显示位置确定模块150。
其中，视频窗口显示位置获取模块110，被配置为获取无人机拍摄到的视频中的目标点在视频显示窗口内的位置；其中，目标点为由视频中所选取的兴趣区域。有效范围获取模块120，被配置为获取拍摄视频的相机参数，并基于相机参数获取相平面的有效范围。相平面坐标确定模块130，被配置为基于有效范围，根据目标点在视频显示窗口内的位置确定目标点在相平面内的坐标。地理位置获取模块140，被配置为基于目标点在相平面内的坐标，结合拍摄视频的相机的拍摄位置和姿态信息，获取得到目标点在大地坐标系中的地理位置。显示位置确定模块150，被配置为根据目标点在大地坐标系中的地理位置，以及地图窗口中当前显示范围，确定目标点在地图窗口内的显示位置。
更进一步地，根据本公开的另一方面，还提供了一种视频中兴趣内容在地图窗口内显示的设备200。参阅图7，本公开实施例视频中兴趣内容在地图窗口内显示的设备200包括处理器210以及用于存储处理器210可执行指令的存储器220。其中，处理器210被配置为执行可执行指令时实现前面任一所述的视频中兴趣内容在地图窗口内显示的方法。
此处，应当指出的是，处理器210的个数可以为一个或多个。同时，在本公开实施例的视频中兴趣内容在地图窗口内显示的设备200中，还可以包括输入装置230和输出装置240。其中，处理器210、存储器220、输入装置230和输出装置240之间可以通过总线连接，也可以通过其他方式连接，此处不进行具体限定。
存储器220作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序和各种模块，如：本公开实施例的视频中兴趣内容在地图窗口内显示的方法所对应的程序或模块。处理器210通过运行存储在存储器220中的软件程序或模块，从而执行视频中兴趣内容在地图窗口内显示的设备200的各种功能应用及数据处理。
输入装置230可用于接收输入的数字或信号。其中，信号可以为产生与设备/终端/服务器的用户设置以及功能控制有关的键信号。输出装置240可以包括显示屏等显示设备。
根据本公开的另一方面，还提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令被处理器210执行时实现前面任一所述的视频中兴趣内容在地图窗口内显示的方法。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (5)

1.一种视频中兴趣内容在地图窗口内显示的方法，其特征在于，用于将无人机拍摄的视频中兴趣内容显示到地图窗口中，包括：
获取所述无人机拍摄到的视频中的目标点在视频显示窗口内的位置；其中，所述目标点为由所述视频中所选取的兴趣区域；
获取拍摄所述视频的相机参数，并基于所述相机参数获取相平面的有效范围；
基于所述有效范围，根据所述目标点在所述视频显示窗口内的位置确定所述目标点在所述相平面内的坐标；
基于所述目标点在相平面内的坐标，结合拍摄所述视频的相机的拍摄位置和姿态信息，获取得到所述目标点在大地坐标系中的地理位置；
根据所述目标点在所述大地坐标系中的地理位置，以及地图窗口中当前显示范围，确定所述目标点在所述地图窗口内的显示位置；
所述相机参数包括相机镜头的焦距和相机的有效视场角；
其中，基于所述相机参数获取所述相平面的所述有效范围，包括：
获取所述焦距和所述有效视场角，并根据公式： 计算得到所述有效范围；
其中，f为所述焦距，View(Vhorizantal,Vvertical)为所述有效视场角,E(wcamera,hcamera)为所述有效范围；
基于所述目标点在所述相平面内的坐标，结合拍摄所述视频的相机的拍摄位置和姿态信息，获取得到所述目标点在大地坐标系中的地理位置，包括：
由所述姿态信息中提取出所述相机的俯仰角，并根据所述俯仰角和所述相机的焦距计算得到所述目标点相对于相机铅垂线的俯仰角；
基于光线传播与成像理论，根据所述目标点相对于相机铅垂线的俯仰角，以及所述拍摄位置中的拍摄高度和所述目标点在所述相平面内的坐标，获取所述目标点在飞机坐标系下的位置；
基于仿射变换理论，根据所述目标点在飞机坐标系下的位置，计算得到所述目标点在飞机真北坐标系下的位置；
其中，所述飞机真北坐标系指的是以飞机坐标系z轴为中心，将飞机坐标系的y轴旋转至正北方向之后得到的坐标系；
基于所述目标点在所述飞机真北坐标下的位置，结合球面距离计算理论获取得到所述目标点在大地坐标系中的地理位置；
基于光线传播与成像理论，根据所述目标点相对于相机铅垂线的俯仰角，以及所述拍摄位置中的拍摄高度和所述目标点在所述相平面内的坐标，获取所述目标点在飞机坐标系下的位置时，根据公式：计算得到；
其中，H为所述拍摄高度，PCamera(x,y)为所述目标点在所述相平面内的坐标，αP为所述目标点相对于相机铅垂线的俯仰角，f为所述相机的焦距；
基于仿射变换理论，根据所述目标点在飞机坐标系下的位置，计算得到所述目标点在飞机真北坐标系下的位置时，根据公式： 计算得到；
其中，β为所述飞机坐标系与正北方向的夹角，为所述目标点在所述飞机坐标系下的位置，PUAV(xp,yp)为所述目标点在所述飞机真北坐标系下的位置；
基于所述目标点在所述飞机真北坐标下的位置，结合球面距离计算理论获取得到所述目标点在大地坐标系中的地理位置，包括：
根据球面距离计算所述目标点相对于所述飞机真北坐标系原点的经纬度差值；
根据所述目标点相对于所述飞机真北坐标系原点的经纬度差值，计算得到所述目标点在大地坐标系中的地理位置。
2.根据权利要求1所述的方法，其特征在于，基于所述有效范围，根据所述目标点在所述视频显示窗口内的位置确定所述目标点在所述相平面内的坐标时，根据公式：计算得到；
其中，Wv为所述视频显示窗口的水平长度，Hv为所述视频显示窗口的竖直高度，PVideoScreen(xv,yv)为所述目标点在所述视频显示窗口内的位置；wcamera，hcamera分别表征所述相平面的所述有效范围中所述相平面的长和宽。
3.根据权利要求1或2任一项所述的方法，其特征在于，还包括：
根据所述显示位置，在所述地图窗口当前所显示的地图中标记出所述目标点，并将标记后的地图推送至所述地图窗口进行显示。
4.一种视频中兴趣内容在地图窗口内显示的装置，用于将无人机拍摄的视频中兴趣内容显示到地图窗口中，其特征在于，包括视频窗口显示位置获取模块、有效范围获取模块、相平面坐标确定模块、地理位置获取模块和显示位置确定模块；
所述视频窗口显示位置获取模块，被配置为获取所述无人机拍摄到的视频中的目标点在视频显示窗口内的位置；其中，所述目标点为由所述视频中所选取的兴趣区域；
所述有效范围获取模块，被配置为获取拍摄所述视频的相机参数，并基于所述相机参数获取相平面的有效范围；
所述相平面坐标确定模块，被配置为基于所述有效范围，根据所述目标点在所述视频显示窗口内的位置确定所述目标点在所述相平面内的坐标；
所述地理位置获取模块，被配置为基于所述目标点在相平面内的坐标，结合拍摄所述视频的相机的拍摄位置和姿态信息，获取得到所述目标点在大地坐标系中的地理位置；
所述显示位置确定模块，被配置为根据所述目标点在所述大地坐标系中的地理位置，以及地图窗口中当前显示范围，确定所述目标点在所述地图窗口内的显示位置；
所述相机参数包括相机镜头的焦距和相机的有效视场角；
其中，基于所述相机参数获取所述相平面的所述有效范围，包括：
获取所述焦距和所述有效视场角，并根据公式： 计算得到所述有效范围；
其中，f为所述焦距，View(Vhorizantal,Vvertical)为所述有效视场角,E(wcamera,hcamera)为所述有效范围；
基于所述目标点在所述相平面内的坐标，结合拍摄所述视频的相机的拍摄位置和姿态信息，获取得到所述目标点在大地坐标系中的地理位置，包括：
由所述姿态信息中提取出所述相机的俯仰角，并根据所述俯仰角和所述相机的焦距计算得到所述目标点相对于相机铅垂线的俯仰角；
基于光线传播与成像理论，根据所述目标点相对于相机铅垂线的俯仰角，以及所述拍摄位置中的拍摄高度和所述目标点在所述相平面内的坐标，获取所述目标点在飞机坐标系下的位置；
基于仿射变换理论，根据所述目标点在飞机坐标系下的位置，计算得到所述目标点在飞机真北坐标系下的位置；
其中，所述飞机真北坐标系指的是以飞机坐标系z轴为中心，将飞机坐标系的y轴旋转至正北方向之后得到的坐标系；
基于所述目标点在所述飞机真北坐标下的位置，结合球面距离计算理论获取得到所述目标点在大地坐标系中的地理位置；
基于光线传播与成像理论，根据所述目标点相对于相机铅垂线的俯仰角，以及所述拍摄位置中的拍摄高度和所述目标点在所述相平面内的坐标，获取所述目标点在飞机坐标系下的位置时，根据公式：计算得到；
其中，H为所述拍摄高度，PCamera(x,y)为所述目标点在所述相平面内的坐标，αP为所述目标点相对于相机铅垂线的俯仰角，f为所述相机的焦距；
基于仿射变换理论，根据所述目标点在飞机坐标系下的位置，计算得到所述目标点在飞机真北坐标系下的位置时，根据公式： 计算得到；
其中，β为所述飞机坐标系与正北方向的夹角，为所述目标点在所述飞机坐标系下的位置，PUAV(xp,p)为所述目标点在所述飞机真北坐标系下的位置；
基于所述目标点在所述飞机真北坐标下的位置，结合球面距离计算理论获取得到所述目标点在大地坐标系中的地理位置，包括：
根据球面距离计算所述目标点相对于所述飞机真北坐标系原点的经纬度差值；
根据所述目标点相对于所述飞机真北坐标系原点的经纬度差值，计算得到所述目标点在大地坐标系中的地理位置。
5.一种视频中兴趣内容在地图窗口内显示的设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述可执行指令时实现权利要求1至3中任意一项所述的方法。
CN202010398038.4A 2020-05-12 2020-05-12 视频中兴趣区域在地图窗口内显示的方法和装置及设备 Active CN111581322B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010398038.4A CN111581322B (zh) 2020-05-12 2020-05-12 视频中兴趣区域在地图窗口内显示的方法和装置及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010398038.4A CN111581322B (zh) 2020-05-12 2020-05-12 视频中兴趣区域在地图窗口内显示的方法和装置及设备

Publications (2)

Publication Number Publication Date
CN111581322A CN111581322A (zh) 2020-08-25
CN111581322B true CN111581322B (zh) 2023-07-18

Family

ID=72110836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010398038.4A Active CN111581322B (zh) 2020-05-12 2020-05-12 视频中兴趣区域在地图窗口内显示的方法和装置及设备

Country Status (1)

Country Link
CN (1) CN111581322B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112130946B (zh) * 2020-09-22 2024-03-26 西安宇视信息科技有限公司 一种飞机信息展示方法、装置、电子设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0148704A2 (fr) * 1984-01-06 1985-07-17 Thomson-Csf Système de surveillance par avion sans pilote permettant la localisation d'objectif
CN106227732A (zh) * 2016-07-08 2016-12-14 增城市城乡规划测绘院 一种实时获取移动视频拍摄场景位置的方法
CN108282633A (zh) * 2018-01-09 2018-07-13 深圳飞马机器人科技有限公司 无人机实时视频图像坐标指示方法、系统和终端
CN108492334A (zh) * 2018-03-27 2018-09-04 中国海监南海航空支队 一种基于定位定向数据实现商用相机照片地理标定的方法
WO2019093532A1 (ko) * 2017-11-07 2019-05-16 공간정보기술 주식회사 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
CN110702107A (zh) * 2019-10-22 2020-01-17 北京维盛泰科科技有限公司 一种单目视觉惯性组合的定位导航方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0148704A2 (fr) * 1984-01-06 1985-07-17 Thomson-Csf Système de surveillance par avion sans pilote permettant la localisation d'objectif
CN106227732A (zh) * 2016-07-08 2016-12-14 增城市城乡规划测绘院 一种实时获取移动视频拍摄场景位置的方法
WO2019093532A1 (ko) * 2017-11-07 2019-05-16 공간정보기술 주식회사 스트레오 카메라 드론을 활용한 무기준점 3차원 위치좌표 취득 방법 및 시스템
CN108282633A (zh) * 2018-01-09 2018-07-13 深圳飞马机器人科技有限公司 无人机实时视频图像坐标指示方法、系统和终端
CN108492334A (zh) * 2018-03-27 2018-09-04 中国海监南海航空支队 一种基于定位定向数据实现商用相机照片地理标定的方法
CN110702107A (zh) * 2019-10-22 2020-01-17 北京维盛泰科科技有限公司 一种单目视觉惯性组合的定位导航方法

Also Published As

Publication number Publication date
CN111581322A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
US10339387B2 (en) Automated multiple target detection and tracking system
CN111436208B (zh) 一种测绘采样点的规划方法、装置、控制终端及存储介质
JP5740884B2 (ja) 繰り返し撮影用ａｒナビゲーション及び差異抽出のシステム、方法及びプログラム
CN108932051B (zh) 增强现实图像处理方法、装置及存储介质
US20160327946A1 (en) Information processing device, information processing method, terminal device, and setting method
JP2020030204A (ja) 距離測定方法、プログラム、距離測定システム、および可動物体
US20110261187A1 (en) Extracting and Mapping Three Dimensional Features from Geo-Referenced Images
US8787700B1 (en) Automatic pose estimation from uncalibrated unordered spherical panoramas
CN110799921A (zh) 拍摄方法、装置和无人机
CN111415409B (zh) 一种基于倾斜摄影的建模方法、系统、设备和存储介质
CN111829532B (zh) 一种飞行器重定位系统和重定位方法
CN110703805B (zh) 立体物体测绘航线规划方法、装置、设备、无人机及介质
CN113240615B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN112469967B (zh) 测绘系统、测绘方法、装置、设备及存储介质
JP2006234703A (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JP7220784B2 (ja) 測量用サンプリング点の計画方法、装置、制御端末及び記憶媒体
JP2023100642A (ja) 検査システム
CN110730934A (zh) 轨迹切换的方法和装置
CN115601496A (zh) Ar辅助三维地图尺度恢复的方法和系统
US20230177707A1 (en) Post-processing of mapping data for improved accuracy and noise-reduction
CN113450254B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN111581322B (zh) 视频中兴趣区域在地图窗口内显示的方法和装置及设备
CN113496503B (zh) 点云数据的生成及实时显示方法、装置、设备及介质
KR102475790B1 (ko) 지도제작플랫폼장치 및 이를 이용한 지도제작방법
CN110800023A (zh) 图像处理方法和设备、摄像装置以及无人机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant