CN115457419A - 一种无人机航拍图像的动态处理方法、装置及智能终端 - Google Patents

一种无人机航拍图像的动态处理方法、装置及智能终端 Download PDF

Info

Publication number
CN115457419A
CN115457419A CN202211174606.8A CN202211174606A CN115457419A CN 115457419 A CN115457419 A CN 115457419A CN 202211174606 A CN202211174606 A CN 202211174606A CN 115457419 A CN115457419 A CN 115457419A
Authority
CN
China
Prior art keywords
image
resolution
obtaining
data
screenshot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211174606.8A
Other languages
English (en)
Inventor
涂广毅
耿良武
韩继愈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Huiyuan Innovation Technology Co ltd
Original Assignee
Shenzhen Huiyuan Innovation Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Huiyuan Innovation Technology Co ltd filed Critical Shenzhen Huiyuan Innovation Technology Co ltd
Priority to CN202211174606.8A priority Critical patent/CN115457419A/zh
Publication of CN115457419A publication Critical patent/CN115457419A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/18502—Airborne stations
    • H04B7/18506—Communications with or from aircraft, i.e. aeronautical mobile service
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种无人机航拍图像的动态处理方法，所述方法包括：获取第一图像，并获取显示设备的分辨率，根据第一图像的分辨率和显示设备的分辨率得到第一起始坐标；获取显示设备的横滚数据和俯仰数据，根据横滚数据和俯仰数据，得到偏移像素位置；根据偏移像素位置调整第一起始坐标，得到第二起始坐标；根据第二起始坐标截取第一图像，得到第二图像。本发明可从采集到的第一图像中截取适合显示设备的第二图像来实现横拍和竖拍模式，通过重力感应传感器判断显示设备是横屏摆放还是竖屏摆放，以控制截图分辨率，实现移动设备端横拍模式和竖拍模式的自动切换，根据显示设备姿态的变化，动态调整截图区域，实现动态横拍和竖拍的功能，节约硬件成本。

Description

一种无人机航拍图像的动态处理方法、装置及智能终端
技术领域
本发明涉及无人机航拍的图像处理领域，具体涉及一种无人机航拍图像的动态处理方法、装置及智能终端。
背景技术
现有的无人机图传视频显示，都是横屏显示，但移动设备用户却习惯于竖屏看视频图像，造成了图传视频的图像分辨率和移动设备屏幕不匹配。因此，无人机竖屏航拍的需求催生了以机械云台为载体的竖拍方案，即通过将无人机上挂载的机械云台旋转90度，改变相机的拍摄视角，实现用户竖屏观看视频的需求。
机械云台中，只有4轴的机械云台才可以实现竖拍模式，4个轴中有3 轴是用来做视频稳像的，即防止视频图像抖动的，另外一个轴是专门用来控制相机拍摄角度实现竖拍。这就需要在2轴或者3轴机械云台的基础上更改云台的设计，多加一个电机专门用来控制相机的旋转，控制算法复杂，硬件成本较高。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种无人机航拍图像的动态处理方法、装置及智能终端，旨在解决现有技术中图传视频的图像分辨率和移动设备屏幕不匹配的问题，尤其是改造机械云台控制算法复杂，硬件成本较高的问题。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种无人机航拍图像的动态处理方法，其中，所述方法包括：
获取第一图像，并获取显示设备的分辨率，根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标；
获取所述显示设备的横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到偏移像素位置；
根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标；
根据所述第二起始坐标截取所述第一图像，得到第二图像。
在一种实现方式中，所述获取第一图像，并获取显示设备的分辨率，根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标，包括：
采集无人机航拍的视频数据；
根据所述视频数据中的每一帧图像，得到所述第一图像；其中，所述第一图像的分辨率为W×H，且W>H；
获取所述显示设备的分辨率为M×N，且M<N<H；
根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标为
Figure RE-GDA0003913030370000021
在一种实现方式中，所述获取所述显示设备的横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到偏移像素位置，包括：
获取所述显示设备的所述横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到转动角度；
根据所述转动角度和预设的灵敏度参数，得到所述偏移像素位置。
在一种实现方式中，所述获取所述显示设备的所述横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到转动角度，包括：
根据读取频率F，从陀螺仪传感器获取所述横滚数据ri和俯仰数据pi， i＝1，2，...，n，其中，所述读取频率F与所述无人机航拍所述视频数据的帧率一致；
根据所述横滚数据和所述俯仰数据得到所述转动角度为θi＝ri-ri-1，αi＝pi-pi-1，i＝1，2，...，n；其中，θi为横轴转动角度，αi为纵轴转动角度。
在一种实现方式中，所述根据所述转动角度和预设的灵敏度参数，得到所述偏移像素位置，包括：
预设灵敏度参数；
根据所述转动角度和预设的灵敏度参数，得到所述偏移像素位置为 off_wi＝k×tan(θi)，off_hi＝k×tan(αi)，i＝1，2，...，n；其中， off_wi为横轴偏移像素位置，off_hi为纵轴偏移像素位置，k为预设的灵敏度参数，θi为横轴转动角度，αi为纵轴转动角度。
在一种实现方式中，所述根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标，包括：
根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标为 (pos_wi＝pos_wi-1+off_wi，pos_hi＝pos_hi-1+off_hi)， i＝1，2，...，n。
在一种实现方式中，所述根据所述第二起始坐标截取所述第一图像，得到第二图像，包括：
通过重力感应传感器获取摆放姿态标志数据gi，i＝0，1，2，3；其中， g0表示正常竖屏，g1表示左横屏，g2表示倒竖屏，g3表示右横屏；
若所述摆放姿态标志数据为g0，得到截图分辨率为M×N，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率M×N确定截图大小进行截图，得到所述第二图像；
若所述摆放姿态标志数据为g1，得到所述截图分辨率为N×M，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率N×M 确定截图大小进行截图，得到所述第二图像；
若所述摆放姿态标志数据为g2，得到所述截图分辨率为M×N，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率M×N 确定截图大小进行截图，并将得到的截图旋转180度，得到所述第二图像；
若所述摆放姿态标志数据为g3，得到所述截图分辨率为N×M，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率N×M 确定截图大小进行截图，并将得到的截图旋转180度，得到所述第二图像。
第二方面，本发明实施例还提供一种无人机航拍图像的动态处理装置，其中，所述装置包括：
第一起始坐标获取模块，用于获取第一图像，并获取显示设备的分辨率，根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标；
偏移像素位置获取模块，用于获取所述显示设备的横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到偏移像素位置；
第二起始坐标获取模块，用于根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标；
第二图像获取模块，用于根据所述第二起始坐标截取所述第一图像，得到第二图像。
第三方面，本发明实施例还提供一种智能终端，其中，所述显示设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的无人机航拍图像的动态处理程序，所述处理器执行所述无人机航拍图像的动态处理程序时，实现如以上任一项所述的无人机航拍图像的动态处理方法的步骤。
第四方面，本发明实施例还提供一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有无人机航拍图像的动态处理程序，所述无人机航拍图像的动态处理程序被处理器执行时，实现如以上任一项所述的无人机航拍图像的动态处理方法的步骤。
有益效果：与现有技术相比，本发明提供了一种无人机航拍图像的动态处理方法，本发明可通过重力感应传感器判断是显示设备横屏摆放还是竖屏摆放，以控制截图分辨率和旋转角度，实现了移动设备端横拍模式和竖拍模式的自动切换，根据显示设备横滚数据和俯仰数据的变化，动态调整截图区域，从采集到的第一图像中截取适合显示设备分辨率的第二图像来实现横拍和竖拍模式，从而无需升级云台设备硬件，就能根据实时状态实现动态横拍和竖拍的功能，节约了硬件成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的无人机航拍图像的动态处理方法流程示意图。
图2是本发明实施例提供横屏图像截取示意图。
图3是本发明实施例提供竖屏图像截取示意图。
图4是本发明实施例提供的无人机航拍图像的动态处理装置的原理框图。
图5是本发明实施例提供的智能终端的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
使用移动设备的用户习惯于竖屏查看视频，而现有的无人机图传视频显示，都是横屏显示，因此无人机图传视频的竖屏显示转换功能成为一个热点需求。现有的可以实现竖拍模式的无人机图传方案，都是通过机械云台来实现的。然而普通的机械云台是2轴或者3轴的，这两种机械云台无法实现竖拍模式，只有在2轴或者3轴机械云台的基础上更改云台的设计，多加一个电机专门用来控制相机的旋转，成为4轴的机械云台后，才可以实现。这种方案的控制算法要比2轴或者3轴的机械云台复杂，硬件成本也增加了。
因此，为了解决上述问题，本实施例提供一种无人机航拍图像的动态处理方法，通过本实施例的方法可通过重力感应传感器判断是显示设备横屏摆放还是竖屏摆放，以控制截图分辨率和旋转角度，实现了移动设备端横拍模式和竖拍模式的自动切换，根据显示设备横滚数据和俯仰数据的变化，动态调整截图区域，从采集到的第一图像中截取适合显示设备分辨率的第二图像来实现横拍和竖拍模式，从而无需升级云台设备硬件，就能根据实时状态实现动态横拍和竖拍的功能，节约了硬件成本。具体实施时，本实施例首先根据第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标，再通过横滚数据和俯仰数据，得到偏移像素位置，接着根据偏移像素位置调整第一起始坐标，得到最终截图时的第二起始坐标，最后根据第二起始坐标截取所述第一图像，以实现截图区域的动态调整。
示例性方法
本实施例提供一种无人机航拍图像的动态处理方法，本实施例可应用于无人机。如图1所示，所述方法包括如下步骤：
步骤S100、获取第一图像，并获取显示设备的分辨率，根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标；
具体地，当获取到第一图像后，便可根据图像属性知道其分辨率，因所述第一图像是由无人机航拍采集的，所以第一图像为横拍，即宽度大于高度。再获取显示设备的分辨率，显示设备用于在用户端播放无人机航拍的图传视频，且显示设备的分辨率小于第一图像的分辨率。本实施例根据第一图像的分辨率和显示设备的分辨率会计算出第一起始坐标，所述第一起始坐标用于规划截图的起始位置。
举例说明，如图2所示，获取无人机航拍到的第一图像如图2中的第一图像所示，无人机为横拍模式(4∶3)，其分辨率是4096×3072，再获取到显示设备的屏幕如图2中的第二图像所示，所述显示设备在横屏播放模式(16∶9)中的分辨率为2688×1512。再根据根据第一图像的分辨率 4096×3072和显示设备的分辨率2688×1512计算出第一起始坐标。
在一种实现方式中，本实施例所述步骤S100包括如下步骤：
步骤S101、采集无人机航拍的视频数据；
步骤S102、根据所述视频数据中的每一帧图像，得到所述第一图像；其中，所述第一图像的分辨率为W×H，且W＞H；
步骤S103、获取所述显示设备的分辨率为M×N，且M＜N＜H；
步骤S104、根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标为
Figure RE-GDA0003913030370000071
具体地，无人机航拍时会拍摄下视频数据，视频数据是按照一定视频帧率采集的帧组成，每一帧为一幅图像，本实施例在采集无人机航拍的视频数据后，需要将视频数据转化为图像数据，再进行图像处理，且获取第一图像的频率和视频帧率相同，以保证每一帧图像能得到一幅第一图像，再根据第一图像的图片属性得到了第一图像的分辨率。由于第一图像分辨率和显示设备的分辨率差异较大，如果按照屏幕的分辨率缩放后强制竖屏显示，画面中的物体比例会严重失调，影响观感。为了视频图像能够不失真的展现给用户，那么需要从相机采集到的第一图像中裁剪一个与显示设备分辨率相同的第二图像出来做竖屏显示，才会既符合用户竖屏观看的需求，又不会有图像比例失调失真的感觉。想要进行图像剪裁就需要知道开始剪裁的起始位置，本实施例中，会最后根据第一图像的分辨率和显示设备的分辨率计算出第一起始坐标作为开始剪裁的起始位置的依据。
举例说明，无人机航拍的视频数据由若干帧组成，实时的帧为A1，将 A1作为第一图像，如图3所示，其分辨率是4096×3072。再获取显示设备的分辨率为1512×2688，根据第一起始坐标的计算公式就能得到
Figure RE-GDA0003913030370000081
即第一起始坐标为 (1219，192)。
步骤S200、获取所述显示设备的横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到偏移像素位置；
具体地，显示设备在使用过程中，会发生横滚和俯仰，导致观看视野发生偏移，这就需要通过偏移像素位置进行校正，以得到最佳观看图像的视野。偏移像素位置是通过无人机实时的横滚数据和俯仰数据计算得来的。其中，横滚即将二维坐标轴平铺在显示设备上时，显示设备绕纵轴滚转的姿态，即横滚数据反映横轴转动角度，俯仰就是显示设备绕横轴发生旋转的姿态，即俯仰数据反映纵轴转动角度。
在一种实现方式中，本实施例所述步骤S200包括如下步骤：
步骤S201、获取所述显示设备的所述横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到转动角度；
在一种实现方式中，本实施例所述步骤S201包括如下步骤：
步骤S2011、根据读取频率F，从陀螺仪传感器获取所述横滚数据ri和俯仰数据pi，i＝1，2，...，n，其中，所述读取频率F与所述无人机航拍所述视频数据的帧率一致；
步骤S2012、根据所述横滚数据和所述俯仰数据得到所述转动角度为θi＝ri-ri-1，αi＝pi-pi-1，i＝1，2，...，n；其中，θi为横轴转动角度，αi为纵轴转动角度。
具体地，读取频率F与所述无人机航拍所述视频数据的帧率一致，就保证了无人机航拍所述获取到的每一帧图像都得到一个第一图像，每一个第一图像都对应一个横滚数据和所述俯仰数据，进而，横滚数据和俯仰数据反映一个当前显示设备的转动角度。横滚数据ri和俯仰数据pi是通过陀螺仪获取到的，转动角度就是采集本次第一图像和上一次采集第一图像时，显示设备的转动角度。
举例说明，陀螺仪传感器获取在上一次采集图像时所获取到的横滚数据ri-1为5度，俯仰数据pi-1为5度，在当前采集图像时所获取到的横滚数据ri为25度，俯仰数据pi为8度，则计算得到θi＝25-5＝5度，αi＝8-5＝3度。
步骤S202、根据所述转动角度和预设的灵敏度参数，得到所述偏移像素位置。
在一种实现方式中，本实施例所述步骤S202包括如下步骤：
步骤S2021、预设灵敏度参数；
步骤S2022、根据所述转动角度和预设的灵敏度参数，得到所述偏移像素位置为off_wi＝k×tan(θi)，off_hi＝k×tan(αi)，i＝1，2，...，n；其中，off_wi为横轴偏移像素位置，off_hi为纵轴偏移像素位置，k为预设的灵敏度参数，θi为横轴转动角度，αi为纵轴转动角度。
具体地，灵敏度参数是预设的一个阈值，移动设备同样旋转1度，灵敏度参数高的话，截图偏移像素位置就多，反之灵敏度参数小的话，截图偏移像素位置就少。
本实施的中预设了3个档位的灵敏度，分别为缓慢、普通、灵敏。缓慢档位，移动设备旋转1度，截图时偏移5倍像素值，正常档位，移动设备旋转1度，截图时偏移10倍像素值，灵敏档位，移动设备旋转1度，截图时偏移20倍像素值。本实施例提供灵敏度参数既可以由用户选择系统预设的三个档位，也可以由用户根据需求自行设置。
举例说明，用户选择预设的档位中的灵敏档位，在显示屏幕只发生俯仰时，纵轴转动角度为10度时，纵轴偏移像素位置为20×tan10°，横轴偏移像素位置为0。若此时用户选择预设的档位中的缓慢档位，则纵轴偏移像素位置为5×tan10°，横轴偏移像素位置为0。在显示屏幕同时发生俯仰和横滚时，纵轴转动角度为10度且纵轴转动角度为5度时，若用户自行设置灵敏度参数为8，则此时纵轴偏移像素位置为8×tan10°，横轴偏移像素位置为8×tan5°。
步骤S300、根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标；
在一种实现方式中，本实施例所述步骤S300包括如下步骤：
步骤S301、根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标为(pos_wi＝pos_wi-1+off_wi，pos_hi＝pos_hi-1+off_hi)， i＝1，2，...，n。
具体地，将第一起始坐标中的横、纵轴坐便与偏移像素位置中的横、纵轴偏移像素位置分别相加，就得到了第二起始坐标，从而确定了最终截图的起始位置。
举例说明，如上例所述，已知第一起始坐标为(1219，192)，用户自行设置灵敏度参数为8，则此时纵轴偏移像素位置为8×tan10°，横轴偏移像素位置为8×tan5°，则得到第二起始坐标坐标为(1219+8×tan5°，192+8× tan10°)＝(1219.7，197.19)。
步骤S400、根据所述第二起始坐标截取所述第一图像，得到第二图像。
在一种实现方式中，本实施例所述步骤S400包括如下步骤：
步骤S401、通过重力感应传感器获取摆放姿态标志数据gi，i＝ 0，1，2，3；其中，g0表示正常竖屏，g1表示左横屏，g2表示倒竖屏，g3表示右横屏；
步骤S402、若所述摆放姿态标志数据为g0，得到截图分辨率为M×N，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率M×N确定截图大小进行截图，得到所述第二图像；
步骤S403、若所述摆放姿态标志数据为g1，得到所述截图分辨率为 N×M，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率N×M确定截图大小进行截图，得到所述第二图像；
步骤S404、若所述摆放姿态标志数据为g2，得到所述截图分辨率为 M×N，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率M×N确定截图大小进行截图，并将得到的截图旋转180度，得到所述第二图像；
步骤S405、若所述摆放姿态标志数据为g3，得到所述截图分辨率为 N×M，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率N×M确定截图大小进行截图，并将得到的截图旋转180度，得到所述第二图像。
具体地，根据摆放姿态标志数据确定截图旋转的度数和截图分辨率，以所述第二起始坐标为起始位置，以所述截图分辨率确定截图大小进行截图，就可以实现如下效果：如果移动设备向左转动，则根据转动角度还有设定的灵敏度参数在第一图像中心偏左的区域中截取第二图像；如果移动设备向右转动，则根据转动角度和灵敏度参数在第一图像中心偏右的区域截取第二图像；如果移动设备相对于初始状态有向下俯瞰的动作，根据俯仰角度和灵敏度参数在第一图像中心偏下的区域截取第二图像；如果移动设备相对于初始状态有向上仰视的动作，根据俯仰角度和灵敏度参数在第一图像中心偏上的区域截取第二图像。其中，倒竖屏和右横屏时，将截取的截图旋转180度。
举例说明，无人机航拍视频时，若获取显示设备处于横屏摆放时。如图2所示，根据第二起始位置从4096x3072分辨率裁剪2688*1512分辨率的第二图像，所述第二图像编码压缩后，通过无线网络发送给显示设备，显示设备接收第二图像，并进行解码显示。当检测到显示设备是竖屏摆放状态时，读取显示设备当前的横滚数据和俯仰数据，计算当前姿态相对于上一次读取姿态数据时的姿态差异，并解算出从第一图像中截取分辨率为 1512x2688第二起始位置。如果是倒竖屏，将截取的截图旋转180度，得到第二图像。如果检测到显示设备当前是横屏摆放状态，则需要根据第二起始位置从第一图像中截取2688x1512分辨率的第二图像，设定左横屏为正常图像，右横屏是在左横屏的基础上将左横屏的截图旋转180度，以得到第二图像。无人机和显示设备通过无线wifi网络通信。如图2所示，设备端进行切换分辨率操作，从4096x3072的分辨率裁剪1512*2688/2688x1512 分辨率图像数据输出。经过设备端(无人机)的编码压缩后，通过无线网络发送给显示设备，显示设备接收进行解码显示。如果显示设备的姿态发生了改变，则截图的区域也会随之改变，以此实现动态竖拍功能。
示例性装置
如图4中所示，本实施例还提供一种无人机航拍图像的动态处理装置，所述装置包括：
第一起始坐标获取模块10，用于获取第一图像，并获取显示设备的分辨率，根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标；
偏移像素位置获取模块20，用于获取所述显示设备的横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到偏移像素位置；
第二起始坐标获取模块30，用于根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标；
第二图像获取模块40，用于根据所述第二起始坐标截取所述第一图像，得到第二图像。
在一种实现方式中，所述第一起始坐标获取模块10包括：
视频数据获取单元，用于采集无人机航拍的视频数据；
第一图像获取单元，用于根据所述视频数据中的每一帧图像，得到所述第一图像；其中，所述第一图像的分辨率为W×H，且W＞H；
显示设备的分辨率获取单元，用于获取所述显示设备的分辨率为 M×N，且M＜N＜H；
第一起始坐标获取单元，用于根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标为
Figure RE-GDA0003913030370000131
在一种实现方式中，所述偏移像素位置获取模块20包括：
转动角度获取单元，用于获取所述显示设备的所述横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到转动角度；
偏移像素位置获取单元，用于根据所述转动角度和预设的灵敏度参数，得到所述偏移像素位置。
在一种实现方式中，所述转动角度获取单元包括：
姿态数据获取子单元，用于根据读取频率F，从陀螺仪传感器获取所述横滚数据ri和俯仰数据pi，i＝1，2，...，n，其中，所述读取频率F与所述无人机航拍所述视频数据的帧率一致；
转动角度获取子单元，用于根据所述横滚数据和所述俯仰数据得到所述转动角度为θi＝ri-ri-1，αi＝pi-pi-1，i＝1，2，...，n；其中，θi为横轴转动角度，αi为纵轴转动角度。
在一种实现方式中，所述偏移像素位置获取单元包括：
灵敏度参数预设子单元，用于预设灵敏度参数；
偏移像素位置获取子单元，用于根据所述转动角度和预设的灵敏度参数，得到所述偏移像素位置为off_wi＝k×tan(θi)，off_hi＝k×tan(αi)， i＝1，2，...，n；其中，off_wi为横轴偏移像素位置，off_hi为纵轴偏移像素位置，k为预设的灵敏度参数，θi为横轴转动角度，αi为纵轴转动角度。
在一种实现方式中，所述第二起始坐标获取模块30包括：
获取单元，用于根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标为(pos_wi＝pos_wi-1+off_wi，pos_hi＝pos_hi-1+ off_hi)，i＝1，2，...，n。
获取单元，用于根据所述第二起始坐标截取所述第一图像，得到第二图像。
在一种实现方式中，所述第二图像获取模块40包括：
摆放姿态标志数据获取单元，用于通过重力感应传感器获取摆放姿态标志数据gi，i＝0，1，2，3；其中，g0表示正常竖屏，g1表示左横屏，g2表示倒竖屏，g3表示右横屏；
第一获取单元，用于若所述摆放姿态标志数据为g0，得到截图分辨率为M×N，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率M×N确定截图大小进行截图，得到所述第二图像；
第二获取单元，用于若所述摆放姿态标志数据为g1，得到所述截图分辨率为N×M，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率N×M确定截图大小进行截图，得到所述第二图像；
第三获取单元，用于若所述摆放姿态标志数据为g2，得到所述截图分辨率为M×N，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率M×N确定截图大小进行截图，并将得到的截图旋转180 度，得到所述第二图像；
第四获取单元，用于若所述摆放姿态标志数据为g3，得到所述截图分辨率为N×M，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率N×M确定截图大小进行截图，并将得到的截图旋转180 度，得到所述第二图像。
基于上述实施例，本发明还提供了一种智能终端，其原理框图可以如图5所示。该智能终端包括通过系统总线连接的处理器、存储器、网络接口、显示屏、温度传感器。其中，该智能终端的处理器用于提供计算和控制能力。该智能终端的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该智能终端的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种无人机航拍图像的动态处理方法。该智能终端的显示屏可以是液晶显示屏或者电子墨水显示屏，该智能终端的温度传感器是预先在智能终端内部设置，用于检测内部设备的运行温度。
本领域技术人员可以理解，图5中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的智能终端的限定，具体的智能终端以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种智能终端，智能终端包括存储器、处理器及存储在存储器中并可在处理器上运行的无人机航拍图像的动态处理程序，处理器执行无人机航拍图像的动态处理程序时，实现如下操作指令：
获取第一图像，并获取显示设备的分辨率，根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标；
获取所述显示设备的横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到偏移像素位置；
根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标；
根据所述第二起始坐标截取所述第一图像，得到第二图像。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM (EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双运营数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接 RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上，本发明公开了一种无人机航拍图像的动态处理方法，所述方法包括：获取第一图像，并获取显示设备的分辨率，根据第一图像的分辨率和显示设备的分辨率得到第一起始坐标；获取显示设备的横滚数据和俯仰数据，根据横滚数据和俯仰数据，得到偏移像素位置；根据偏移像素位置调整第一起始坐标，得到第二起始坐标；根据第二起始坐标截取第一图像，得到第二图像。本发明可从采集到的第一图像中截取适合显示设备的第二图像来实现横拍和竖拍模式，通过重力感应传感器判断是横屏摆放还是竖屏摆放，以控制截图分辨率，实现移动设备端横拍模式和竖拍模式的自动切换，根据显示设备姿态的变化，动态调整截图区域，实现动态横拍和竖拍的功能，节约硬件成本。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种无人机航拍图像的动态处理方法，其特征在于，所述方法包括：
获取第一图像，并获取显示设备的分辨率，根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标；
获取所述显示设备的横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到偏移像素位置；
根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标；
根据所述第二起始坐标截取所述第一图像，得到第二图像。
2.根据权利要求1所述的无人机航拍图像的动态处理方法，其特征在于，所述获取第一图像，并获取显示设备的分辨率，根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标，包括：
采集无人机航拍的视频数据；
根据所述视频数据中的每一帧图像，得到所述第一图像；其中，所述第一图像的分辨率为W×H，且W>H；
获取所述显示设备的分辨率为M×N，且M<N<H；
根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标为
Figure FDA0003864760130000011
3.根据权利要求2所述的无人机航拍图像的动态处理方法，其特征在于，所述获取所述显示设备的横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到偏移像素位置，包括：
获取所述显示设备的所述横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到转动角度；
根据所述转动角度和预设的灵敏度参数，得到所述偏移像素位置。
4.根据权利要求3所述的无人机航拍图像的动态处理方法，其特征在于，所述获取所述显示设备的所述横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到转动角度，包括：
根据读取频率F，从陀螺仪传感器获取所述横滚数据ri和俯仰数据pi，i＝1，2，…，n，其中，所述读取频率F与所述无人机航拍所述视频数据的帧率一致；
根据所述横滚数据和所述俯仰数据得到所述转动角度为θi＝ri-ri-1，αi＝pi-pi-1,i＝1，2，…，n；其中，θi为横轴转动角度，αi为纵轴转动角度。
5.根据权利要求4所述的无人机航拍图像的动态处理方法，其特征在于，所述根据所述转动角度和预设的灵敏度参数，得到所述偏移像素位置，包括：
预设灵敏度参数；
根据所述转动角度和预设的灵敏度参数，得到所述偏移像素位置为off_wi＝k×tan(θi)，off_hi＝k×tan(αi)，i＝1，2，…，n；其中，off_wi为横轴偏移像素位置，off_hi为纵轴偏移像素位置，k为预设的灵敏度参数，θi为横轴转动角度，αi为纵轴转动角度。
6.根据权利要求5所述的无人机航拍图像的动态处理方法，其特征在于，所述根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标，包括：
根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标为(pos_wi＝pos_wi-1+off_wi，pos_hi＝pos_hi-1+off_hi)，i＝1，2，…，n。
7.根据权利要求3所述的无人机航拍图像的动态处理方法，其特征在于，所述根据所述第二起始坐标截取所述第一图像，得到第二图像，包括：
通过重力感应传感器获取摆放姿态标志数据gi，i＝0，1，2，3；其中，g0表示正常竖屏，g1表示左横屏，g2表示倒竖屏，g3表示右横屏；
若所述摆放姿态标志数据为g0，得到截图分辨率为M×N，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率M×N确定截图大小进行截图，得到所述第二图像；
若所述摆放姿态标志数据为g1，得到所述截图分辨率为N×M，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率N×M确定截图大小进行截图，得到所述第二图像；
若所述摆放姿态标志数据为g2，得到所述截图分辨率为M×N，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率M×N确定截图大小进行截图，并将得到的截图旋转180度，得到所述第二图像；
若所述摆放姿态标志数据为g3，得到所述截图分辨率为N×M，并在所述第一图像中，以所述第二起始坐标为起始位置，以所述截图分辨率N×M确定截图大小进行截图，并将得到的截图旋转180度，得到所述第二图像。
8.一种无人机航拍图像的动态处理装置，其特征在于，所述装置包括：
第一起始坐标获取模块，用于获取第一图像，并获取显示设备的分辨率，根据所述第一图像的分辨率和所述显示设备的分辨率得到第一起始坐标；
偏移像素位置获取模块，用于获取所述显示设备的横滚数据和俯仰数据，根据所述横滚数据和俯仰数据，得到偏移像素位置；
第二起始坐标获取模块，用于根据所述偏移像素位置调整所述第一起始坐标，得到第二起始坐标；
第二图像获取模块，用于根据所述第二起始坐标截取所述第一图像，得到第二图像。
9.一种智能终端，其特征在于，所述显示设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的无人机航拍图像的动态处理程序，所述处理器执行所述无人机航拍图像的动态处理程序时，实现如权利要求1-7任一项所述的无人机航拍图像的动态处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有无人机航拍图像的动态处理程序，所述无人机航拍图像的动态处理程序被处理器执行时，实现如权利要求1-7任一项所述的无人机航拍图像的动态处理方法的步骤。
CN202211174606.8A 2022-09-26 2022-09-26 一种无人机航拍图像的动态处理方法、装置及智能终端 Pending CN115457419A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211174606.8A CN115457419A (zh) 2022-09-26 2022-09-26 一种无人机航拍图像的动态处理方法、装置及智能终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211174606.8A CN115457419A (zh) 2022-09-26 2022-09-26 一种无人机航拍图像的动态处理方法、装置及智能终端

Publications (1)

Publication Number Publication Date
CN115457419A true CN115457419A (zh) 2022-12-09

Family

ID=84307365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211174606.8A Pending CN115457419A (zh) 2022-09-26 2022-09-26 一种无人机航拍图像的动态处理方法、装置及智能终端

Country Status (1)

Country Link
CN (1) CN115457419A (zh)

Similar Documents

Publication Publication Date Title
EP3149624B1 (en) Photo-video-camera with dynamic orientation lock and aspect ratio.
EP2031561B1 (en) Method for photographing panoramic picture
US9191684B2 (en) Image capturing apparatus capable of capturing a panoramic image
US8842935B2 (en) Image capturing apparatus with image compensation and method thereof
US8441541B2 (en) Control apparatus and control method therefor
CN113436113B (zh) 防抖动的图像处理方法、装置、电子设备和存储介质
CN111279113B (zh) 手持云台控制方法和手持云台
WO2023016220A1 (zh) 数字变焦下画面稳定性处理方法、装置、移动终端及介质
CN109547692B (zh) 图像姿态矫正方法、设备及终端
JP2024099555A (ja) 画像表示のためのデバイスおよび方法
CN115457419A (zh) 一种无人机航拍图像的动态处理方法、装置及智能终端
CN111093006B (zh) 摄像装置、信息处理装置、补偿量设定方法
JP2009065248A (ja) 撮像装置とその制御方法
JP6714819B2 (ja) 画像表示システム、情報処理装置、画像表示方法及び画像表示プログラム
CN112492213B (zh) 图像拍摄方法、装置和电子设备
CN102752505A (zh) 摄影机调整系统及方法
WO2021014598A1 (ja) 撮像装置、撮像システム、画像処理装置、撮像方法、画像処理方法およびプログラム
JP5742301B2 (ja) 画像投影装置、デジタルカメラ及び光学機器
WO2022198558A1 (zh) 可移动平台及其组件的控制方法、装置
US20240259672A1 (en) Portable imaging device
JP2008294504A (ja) 撮影装置及び撮影装置を備える携帯端末装置
JP2006145567A (ja) カメラ、カメラの手ブレ量報知方法、及びプログラム
CN118102103A (zh) 基于计算机视觉的云台相机俯仰角和变焦的调整方法与装置
JP2006128995A (ja) 撮像装置
CN117692776A (zh) 车载影像防抖方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination