CN116033231A

CN116033231A - 一种视频直播ar标签叠加方法和装置

Info

Publication number: CN116033231A
Application number: CN202111254400.1A
Authority: CN
Inventors: 杜越洋; 罗怡; 牟若凡; 李东伟
Original assignee: Hiwing Aviation General Equipment Co ltd
Current assignee: Hiwing Aviation General Equipment Co ltd
Priority date: 2021-10-27
Filing date: 2021-10-27
Publication date: 2023-04-28

Abstract

本发明提供一种视频直播AR标签叠加方法和装置，包括以下步骤：在飞行器中预置飞行器飞行区域的地图，并在地图上的特定点设置POI数据；实时获取视频画面、飞行器姿态数据、视频获取设备状态数据；计算获得此时获取的视频画面在预置地图上的位置，并获得预置地图上此视频画面相应位置的地理信息；获得每帧视频画面所包含的地理信息；制作对应的AR标签，叠加到视频画面上。本发明使得在飞行器的直播中添加了AR标签信息，丰富了视频直播的内容，并且速度快、精度高。

Description

一种视频直播AR标签叠加方法和装置

技术领域

本发明属于机载视频处理技术领域，具体涉及一种视频直播AR标签叠加方法和装置。

背景技术

无人机视频直播与传统的网络直播不同，无人机直播作为一种可移动的直播方式，不仅灵活性高，而且视角也与传统的视频采集方式不同，更为广阔。近些年，我国的无人机行业出现了爆发式增长，无人机在航拍航测、农业植保、电力巡检、商业表演、灾害救援等各项领域得到了广泛的应用。随着我国网络直播的兴起，以及企业上云意识和能力的不断增强，无人机视频直播，具有极其广阔的应用前景。

但是目前而言，由于无人机直播对网络、数据采集技术要求较高，在国内目前还没有大范围普及。同时，无人机视频直播存在只能播放原始航拍视频画面的缺陷，不能在视频画面上实时高精度地叠加数据信息，比如：视频画面里的建筑物、城市道路、救援地标、兴趣收藏等地理信息，使得无人机视频直播的价值大大降低；另外，将无人机航拍视频及飞行姿态数据发送至地面进行视频二次处理，虽然可实现在地面视频画面上叠加数据信息，但真实数据因为传输延迟造成精度损失，使得无人机视频叠加数据信息的准确度大大降低。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种视频直播AR标签叠加方法和装置。本发明方案能够解决上述现有技术中存在的问题。

本发明的技术解决方案：

根据第一方面，一种视频直播AR标签叠加方法，包括以下步骤：

在飞行器中预置飞行器飞行区域的地图，并在预置地图上的特定点设置POI数据；

飞行器起飞后，实时获取视频画面、飞行器姿态数据、视频获取设备状态数据；

根据飞行器姿态数据、视频获取设备状态数据计算获得此时获取的视频画面在预置地图上的位置，并获得预置地图上，此视频画面相应位置的地理信息；

将获取的视频画面实时进行解算，获得每帧视频画面所包含的地理信息；

将视频画面解算得到的地理信息和预置地图上相应位置的地理信息融合，并将预置地图上的位置所包含的POI数据，制作对应的AR标签，叠加到视频画面上。

进一步的，所述的特定点可以为任何想标记的点，其属性包括：名称、经度、纬度和海拔。

进一步的，所述的飞行器姿态数据包括飞行器的经度、纬度、高度、航向角、俯仰角和侧偏角。

进一步的，所述的视频获取设备状态数据包括视频获取设备的方位角、俯仰角、水平视场和垂直视场。

进一步的，所述的视频画面在预置地图上的位置的计算方法为：

S3.1根据飞行姿态，实时对视频获取设备反馈的方位角与俯仰角进行角度纠正，计算当前视频获取设备在实际世界中，真实的方位角P与俯仰角T；

S3.2根据方位角P与俯仰角T，以及当前视场大小，计算当前视频左上角的方位角与俯仰角、右下角的方位角与俯仰角；

S3.3根据飞行器经度、飞行器纬度、飞行器高度、视频获取设备左上角、右下角方位角及俯仰角，计算视频画面左上角、右下角经纬度，由视频画面左上角、右下角所界定的经纬度范围，则是视频画面在预置地图上的位置。

进一步的，所述的制作AR标签过程为：

遍历当前视频画面包含的POI点的地理信息集合；

确定标签个数；

计算各个标签在视频画面中的二维像素坐标；

制作标签形状；

制作标签文本。

根据第二方面，提供上述一种视频直播AR标签叠加装置，包括视频获取设备、飞行器、预置地图处理单元、图像位置计算单元、AR标签生成单元和视频输出单元；所述的视频获取设备、预置地图处理单元、图像位置计算单元、AR标签生成单元和视频输出单元都安装在飞行器上，所有视频与数据处理皆在飞行器端完成；所述的视频获取设备将获取的实时视频画面传送给图像位置计算单元；所述的预置地图处理单元在预置的地图中设置特定点的POI数据，并传送给图像位置计算单元；所述飞行器将飞行器姿态数据和视频获取设备状态数据传送给图像位置计算单元；所述的图像位置计算单元根据获得的数据计算出实时视频画面在预置地图中的位置，并将视频画面的地理信息与预置地图中对应位置的地理信息融合，将融合后的POI信息传送给AR标签生成单元；所述的AR标签生成单元根据POI信息生成AR标签，并将生成的AR标签与原始视频融合后传送给视频输出单元，所述的视频输出单元将AR标签处理后的视频进行输出。

本发明与现有技术相比的有益效果：

本发明通过在飞行器上对直播的视频进行处理，并添加标签，丰富了视频直播的内容，并且速度快、精度高，解决了现有技术中利用飞行器进行直播不能添加标签或因添加标签而造成的视频处理不及时、数据精度不高的缺点。

附图说明

所包括的附图用来提供对本发明实施例的进一步的理解，其构成了说明书的一部分，用于例示本发明的实施例，并与文字描述一起来阐释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明实施例提供的一种视频直播AR标签叠加方法步骤示意图；

图2示出了根据本发明实施例提供的一种视频直播AR标签叠加装置结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

如图1所示，根据本发明实施例提供一种视频直播AR标签叠加方法，包括以下步骤：

步骤一，在飞行器中预置飞行器飞行区域的地图，并在预置地图上的特定点设置POI数据；

在一个实施例中，特定点可以为任何想标记的点，其属性包括：名称、经度、纬度和海拔。在预置地图中，一个POI可以是一栋房子、一个商铺、一个邮筒、一个公交站等任何想要标记的点。

步骤二，飞行器起飞后，实时获取视频画面、飞行器姿态数据、图像获取设备状态数据；

进一步的在一个实施例中，飞行器姿态数据包括飞行器的经度、纬度、高度、航向角、俯仰角和侧偏角。在具体的实施例中，飞行器包括有人机、无人机、滑翔机、热气球以及其他可以安装图像获取设备、地图处理设备和姿态获取设备的飞行物。

进一步的在一个实施例中，视频获取设备状态数据包括视频获取设备的方位角、俯仰角、水平视场和垂直视场。

步骤三，根据飞行器姿态数据、视频获取设备状态数据计算获得此时获取的视频画面在预置地图上的位置，并获得预置地图上此视频画面相应位置的地理信息；

进一步的在一个实施例中，视频画面在预置地图上的位置的计算方法为：

S3.1飞行姿态发生变化后，视频获取设备静止时反馈的方位角与俯仰角并未发生变化，但其实画面已经随着飞行姿态产生了较大的变化。所以首先根据飞行姿态的变化，实时对视频获取设备反馈的方位角与俯仰角进行角度纠正，计算当前视频获取设备在实际世界中，真实的方位角P与俯仰角T；

S3.2根据方位角P与俯仰角T，以及当前水平视场和垂直视场的大小，计算当前视频左上角的方位角与俯仰角、右下角的方位角与俯仰角；

S3.3根据飞行器经度、飞行器纬度、飞行器高度、视频获取设备左上角、右下角方位角及俯仰角，计算视频画面左上角、右下角经纬度。由视频画面左上角、右下角所界定的经纬度范围，则是视频画面在预置地图上的位置。

步骤四，将获取的视频画面实时进行解算，获得每帧视频画面所包含的地理信息；

在一个实施例中，每帧视频画面所包含的地理信息是指当前视频画面所包含的真实世界中的经纬度范围内的地理信息。

步骤五，将视频画面解算得到的地理信息和预置地图上相应位置的地理信息融合，并将预置地图上的位置所包含的POI数据，制作对应的AR标签，叠加到视频画面上。

进一步的在一个实施例中，制作AR标签过程为：

S5.1遍历当前视频画面包含的POI点的地理信息集合；

S5.2确定标签个数；

S5.3计算各个标签在视频画面中的二维像素坐标；

S5.4制作标签形状；

S5.5制作标签文本。

在一个具体的实施例中，无人机飞行期间，随着视频画面的变化，视频画面中对应的真实世界所包含的POI点集合也会发生变化，因此需实时更新AR标签，即需要按照一定的时间周期循环运行步骤二到步骤五，从而获得每个连续的视频画面中的AR标签。

在一个具体的实施例中，

确认无人机起飞地点，无人机起飞点的地理坐标为经度108.851807度，纬度34.162233度，海拔424米。下载10公里内POI点的经纬度及高程信息，更新机载板卡内的POI数据。

机载板卡通过串口获取无人机的飞行姿态数据、吊舱状态数据。实验取某一时刻，无人机经度108.85165527、纬度34.1618558、高度485.21m，无人机姿态航向角10.0度、俯仰角0.02度、侧偏角0.07度、吊舱的方位角5.10度、俯仰角-15.25度、视场15.80度。

步骤六，重复步骤二到步骤五，制作POI标签叠加到视频图像上。

在另一个实施例中，一种视频直播AR标签叠加装置，包括视频获取设备、飞行器、预置地图处理单元、图像位置计算单元、AR标签生成单元和视频输出单元；视频获取设备、预置地图处理单元、图像位置计算单元、AR标签生成单元和视频输出单元都安装在飞行器上，所有视频与数据处理皆在飞行器端完成；视频获取设备将获取的实时视频画面传送给图像位置计算单元；预置地图处理单元在预置的地图中设置特定点的POI数据，并传送给图像位置计算单元；飞行器将飞行器姿态数据和视频获取设备状态数据传送给图像位置计算单元；图像位置计算单元根据获得的数据计算出实时视频画面在预置地图中的位置，并将视频画面的地理信息与预置地图中对应位置的地理信息融合，将融合后的POI信息传送给AR标签生成单元；AR标签生成单元根据POI信息生成AR标签，并将生成的AR标签与原始视频融合后传送给视频输出单元，视频输出单元将AR标签处理后的视频进行输出。

进一步的在一个实施例中，视频获取设备为吊挂在飞行器上的光学载荷，可以相对与飞行器进行俯仰和方位转动。

进一步的在一个实施例中，飞行器包括有人机、无人机、滑翔机、热气球以及其他可以安装图像获取设备、地图处理设备和姿态获取设备的飞行物。飞行器姿态数据包括飞行器的经度、纬度、高度、航向角、俯仰角和侧偏角。

进一步的在一个实施例中，预置地图处理单元、AR标签生成单元、图像位置计算单元集成在飞行器的板卡上。

进一步的在一个实施例中，飞行器飞行姿态数据通过串口传输至机载板卡，传输频率大于视频帧率，确保无人机飞行姿态数据误差小于视频帧间隔时间。

进一步的在一个实施例中，制作AR标签过程为：

S5.1遍历当前视频画面包含的POI点的地理信息集合；

S5.2确定标签个数；

S5.3计算各个标签在视频画面中的二维像素坐标；

S5.4制作标签形状；

S5.5制作标签文本。

在一个实施例中，提供一种介质，该介质存贮本发明提供的视频直播AR标签叠加方法。

在一个实施例中，提供一种飞行器，该飞行器上安装本发明提供的视频直播AR标签叠加装置。

综上，本发明提供的一种视频直播AR标签叠加方法和装置，相比于现有技术至少具有以下优势：

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

此外，需要说明的是，使用“第一”、“第二”等词语来限定零部件，仅仅是为了便于对相应零部件进行区别，如没有另行声明，上述词语并没有特殊含义，因此不能理解为对本发明保护范围的限制。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种视频直播AR标签叠加方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种视频直播AR标签叠加方法，其特征在于，所述的特定点可以为任何想标记的点，其属性包括：名称、经度、纬度和海拔。

3.根据权利要求1所述的一种视频直播AR标签叠加方法，其特征在于，所述的飞行器姿态数据包括飞行器的经度、纬度、高度、航向角、俯仰角和侧偏角。

4.根据权利要求3所述的一种视频直播AR标签叠加方法，其特征在于，所述的视频获取设备状态数据包括视频获取设备的方位角、俯仰角、水平视场和垂直视场。

5.根据权利要求4所述的一种视频直播AR标签叠加方法，其特征在于，所述的视频画面在预置地图上的位置的计算方法为：

6.根据权利要求2或3所述的一种视频直播AR标签叠加方法，其特征在于，所述的制作AR标签过程为：

遍历当前视频画面包含的POI点的地理信息集合；

确定标签个数；

计算各个标签在视频画面中的二维像素坐标；

制作标签形状；

制作标签文本。

7.如权利要求1-6之一所述的一种视频直播AR标签叠加装置，其特征在于，包括视频获取设备、飞行器、预置地图处理单元、图像位置计算单元、AR标签生成单元和视频输出单元；所述的视频获取设备、预置地图处理单元、图像位置计算单元、AR标签生成单元和视频输出单元都安装在飞行器上，所有视频与数据处理皆在飞行器端完成；所述的视频获取设备将获取的实时视频画面传送给图像位置计算单元；所述的预置地图处理单元在预置的地图中设置特定点的POI数据，并传送给图像位置计算单元；所述飞行器将飞行器姿态数据和视频获取设备状态数据传送给图像位置计算单元；所述的图像位置计算单元根据获得的数据计算出实时视频画面在预置地图中的位置，并将视频画面的地理信息与预置地图中对应位置的地理信息融合，将融合后的POI信息传送给AR标签生成单元；所述的AR标签生成单元根据POI信息生成AR标签，并将生成的AR标签与原始视频融合后传送给视频输出单元，所述的视频输出单元将AR标签处理后的视频进行输出。

8.一种介质，其特征在于，所述的介质存贮有权利要求1-6所述的视频直播AR标签叠加方法。

9.一种飞行器，其特征在于，所述飞行器安装权利要求7所述的视频直播AR标签叠加装置。