CN111698412B - 双光谱全景图像采集方法、装置、无人机及客户端 - Google Patents

双光谱全景图像采集方法、装置、无人机及客户端 Download PDF

Info

Publication number
CN111698412B
CN111698412B CN201910185381.8A CN201910185381A CN111698412B CN 111698412 B CN111698412 B CN 111698412B CN 201910185381 A CN201910185381 A CN 201910185381A CN 111698412 B CN111698412 B CN 111698412B
Authority
CN
China
Prior art keywords
image
angle
shooting
visible light
dual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910185381.8A
Other languages
English (en)
Other versions
CN111698412A (zh
Inventor
闫长虎
喻伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Hangzhou Hikrobot Co Ltd
Original Assignee
Hangzhou Hikrobot Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikrobot Technology Co Ltd filed Critical Hangzhou Hikrobot Technology Co Ltd
Priority to CN201910185381.8A priority Critical patent/CN111698412B/zh
Publication of CN111698412A publication Critical patent/CN111698412A/zh
Application granted granted Critical
Publication of CN111698412B publication Critical patent/CN111698412B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供了双光谱全景图像采集方法、装置、无人机及客户端，该方法包括：获取飞行控制指令，按照飞行控制指令控制无人机飞行到指定位置，并使无人机悬停在指定位置；当无人机悬停在指定位置之后，在获取到图像采集指令时，获取各调整角度；通过双光谱相机采集初始角度上的可见光图像及热成像图像；按照各调整角度，逐次调整双光谱相机的拍摄角度，并在每次调整拍摄角度后，通过双光谱相机采集可见光图像和/或热成像图像；将采集到的各可见光图像及各热成像图像发送给客户端，以使客户端分别将各可见光图像及各热成像图像拼接为可见光全景图像及热成像全景图像。从而实现了同时获取可见光全景图像及热成像全景图像。

Description

双光谱全景图像采集方法、装置、无人机及客户端
技术领域
本申请涉及图像采集技术领域，特别是涉及双光谱全景图像采集方法、装置、无人机及客户端。
背景技术
随着视频技术的发展，常规的二维画面已经不能够满足人们的视听需求。随着全景头盔等设备的出现，360度全景图像成为视频领域的新宠。
相关全景图像采集技术中，将鱼眼式的全景相机固定在指定安装位置，并通过全景相机采集可见光全景图像，但是对于现有的全景相机只能采集单一光源的全景图像，而至特殊应用场景中，例如在安防场景中，希望能够同时获取可见光全景图像及热成像全景图像。
发明内容
本申请实施例的目的在于提供一种双光谱全景图像采集方法、装置、无人机及客户端，以实现同时获取可见光全景图像及热成像全景图像。具体技术方案如下：
第一方面，本申请实施例提供了一种双光谱全景图像采集方法，应用于无人机，所述无人机挂载双光谱相机，所述方法包括：
获取飞行控制指令，按照所述飞行控制指令控制所述无人机飞行到指定位置，并使所述无人机悬停在所述指定位置；
当所述无人机悬停在所述指定位置之后，在获取到图像采集指令时，获取各调整角度；
通过所述双光谱相机采集初始角度上的可见光图像及热成像图像；
按照各所述调整角度，逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像；
将采集到的各所述可见光图像及各所述热成像图像发送给客户端，以使所述客户端分别将各所述可见光图像及各所述热成像图像拼接为可见光全景图像及热成像全景图像。
可选的，所述调整角度包括所述双光谱相机对应的拍摄圈的倾斜角及拍摄圈的旋转角，其中，针对任一拍摄圈，该拍摄圈的倾斜角为该拍摄圈平面与水平平面的夹角，该拍摄圈的旋转角为所述双光谱相机在该拍摄圈平面上旋转的角度；
所述按照各所述调整角度，逐次调整所述双光谱相机的拍摄角度，并在每次调整所述双光谱相机的拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像，包括：
获取各所述旋转角分别对应的图像类型标识；针对所述双光谱相机当前所在的拍摄圈，按照该拍摄圈的各旋转角，从初始角度开始逐步旋转所述双光谱相机至最终角度，并在每次旋转所述双光谱相机后，按照本次的旋转角对应的图像类型标识，通过所述双光谱相机采集可见光图像和/或热成像图像；
按照各所述拍摄圈的倾斜角，将所述双光谱相机与水平方向的夹角调整为下一拍摄圈的倾斜角，继续下一拍摄圈的拍摄直至完所有拍摄圈的拍摄，从而得到各可见光图像及各热成像图像。
可选的，所述拍摄圈包括可见光拍摄圈及热成像拍摄圈，确定各拍摄圈的倾斜角及每个拍摄圈的旋转角的步骤包括：
获取预设图像重合率、所述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、所述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
按照所述预设图像重合率及所述可见光相机的镜头水平视场角，确定所述双光谱相机每个可见光拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各所述可见光拍摄圈的各旋转角对应的图像类型标识表征采集可见光图像；
按照所述预设图像重合率及所述热成像相机的镜头水平视场角，确定所述双光谱相机每个热成像拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各所述热成像拍摄圈的各旋转角对应的图像类型标识表征采集热成像图像；
按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述可见光相机镜头垂直视场角，确定所述可见光相机的可见光拍摄圈数；按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述热成像相机镜头垂直视场角，确定所述热成像相机的热成像拍摄圈数；
按照所述可见光拍摄圈数及所述双光谱相机的最大倾斜角，确定各所述可见光拍摄圈的倾斜角；按照所述热成像拍摄圈数及所述双光谱相机的最大倾斜角，确定各所述热成像拍摄圈的倾斜角。
可选的，所述按照各所述调整角度，逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像，包括：
按照各所述调整角度，逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像及热成像图像。
可选的，确定各拍摄圈的倾斜角及每个拍摄圈的旋转角的步骤包括：
获取预设图像重合率、所述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、所述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
在所述可见光相机的镜头水平视场角及所述热成像相机的镜头水平视场角中选取较小的一个，得到目标水平视场角；在所述可见光相机的镜头垂直视场角及所述热成像相机的镜头垂直视场角中选取较小的一个，得到目标垂直视场角；
按照所述预设图像重合率、所述目标水平视场角，确定所述双光谱相机每个拍摄圈的各旋转角；按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述目标垂直视场角，确定所述双光谱相机的拍摄圈数；按照所述拍摄圈数及所述双光谱相机的最大倾斜角，确定每个拍摄圈的倾斜角。
第二方面，本申请实施例提供了一种双光谱全景图像采集方法，应用客户端，所述方法包括：
向无人机发送飞行控制指令，以使所述无人机按照所述飞行控制指令飞行到指定位置，并悬停在所述指定位置，其中，所述无人机挂载双光谱相机；
向所述无人机发送图像采集指令，所述图像采集指令中包括多个调整角度，所述图像采集指令用于指示所述无人机按照各所述调整角度逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像；
接收所述无人机发送的各所述可见光图像及各所述热成像图像，将各所述可见光图像拼接为可见光全景图像，将各所述热成像图像拼接为热成像全景图像。
可选的，所述将各所述可见光图像拼接为可见光全景图像，包括：
将各所述可见光图像投影到球面坐标系下；
在所述球面坐标系下对各所述可见光图像进行图像配准；
将图像配准后的各所述可见光图像进行图像融合，得到可见光全景图像。
可选的，所述在所述球面坐标系下对各所述可见光图像进行图像配准，包括：
在所述球面坐标系下，提取各所述可见光图像的特征点；
将各所述可见光图像中的特征点进行匹配，得到特征点匹配关系；
按照所述特征点匹配关系，对各所述可见光图像进行图像配准。
可选的，所述调整角度包括所述双光谱相机对应的拍摄圈的倾斜角及每个拍摄圈的旋转角，所述拍摄圈包括可见光拍摄圈及热成像拍摄圈，所述图像采集指令中还包括与各调整角度分别对应的图像类型标识；所述方法还包括：
获取预设图像重合率、所述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、所述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
按照所述预设图像重合率及所述可见光相机的镜头水平视场角，确定所述双光谱相机每个可见光拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各所述可见光拍摄圈的各旋转角对应的图像类型标识表征采集可见光图像；
按照所述预设图像重合率及所述热成像相机的镜头水平视场角，确定所述双光谱相机每个热成像拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各所述热成像拍摄圈的各旋转角对应的图像类型标识表征采集热成像图像；
按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述可见光相机镜头垂直视场角，确定所述可见光相机的可见光拍摄圈数；
按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述热成像相机镜头垂直视场角，确定所述热成像相机的热成像拍摄圈数；
按照所述可见光拍摄圈数及所述双光谱相机的最大倾斜角，确定各可见光拍摄圈的倾斜角；
按照所述热成像拍摄圈数及所述双光谱相机的最大倾斜角，确定各热成像拍摄圈的倾斜角；
按照各拍摄圈的倾斜角、每个拍摄圈的旋转角及各旋转角对应的图像类型标识，生成所述图像采集指令。
可选的，本申请实施例的双光谱全景图像采集方法还包括：
获取预设图像重合率、所述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、所述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
在所述可见光相机的镜头水平视场角及所述热成像相机的镜头水平视场角中选取较小的一个，得到目标水平视场角；在所述可见光相机的镜头垂直视场角及所述热成像相机的镜头垂直视场角中选取较小的一个，得到目标垂直视场角；
按照所述预设图像重合率、所述目标水平视场角，确定所述双光谱相机每个拍摄圈的各旋转角，其中，各旋转角的图像类型标识表征可见光图像及热成像图像；
按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述目标垂直视场角，确定所述双光谱相机的拍摄圈数；
按照所述拍摄圈数及所述双光谱相机的最大倾斜角，确定每个拍摄圈的倾斜角；
按照各拍摄圈的倾斜角、每个拍摄圈的旋转角及各旋转角对应的图像类型标识，生成所述图像采集指令。
第三方面，本申请实施例提供了一种双光谱全景图像采集装置，应用于无人机，所述无人机挂载双光谱相机，所述装置包括：
控制指令接收模块，用于获取飞行控制指令，按照所述飞行控制指令控制所述无人机飞行到指定位置，并使所述无人机悬停在所述指定位置；
调整数据获取模块，用于当所述无人机悬停在所述指定位置之后，在获取到图像采集指令时，获取各调整角度；
图像采集模块，用于通过所述双光谱相机采集初始角度上的可见光图像及热成像图像；按照各所述调整角度，逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像；
图像发送模块，用于将各所述可见光图像及各所述热成像图像发送给客户端，以使所述客户端分别将各所述可见光图像及各所述热成像图像拼接为可见光全景图像及热成像全景图像。
可选的，所述调整角度包括所述双光谱相机对应的拍摄圈的倾斜角及拍摄圈的旋转角，其中，针对任一拍摄圈，该拍摄圈的倾斜角为该拍摄圈平面与水平平面的夹角，该拍摄圈的旋转角为所述双光谱相机在该拍摄圈平面上旋转的角度；
所述图像采集模块，包括：
类型标识获取子模块，用于获取各所述旋转角分别对应的图像类型标识；
图像采集子模块，用于通过所述双光谱相机采集初始角度上的可见光图像及热成像图像；针对所述双光谱相机当前所在的拍摄圈，按照该拍摄圈的各旋转角，从初始角度开始逐步旋转所述双光谱相机至最终角度，并在每次旋转所述双光谱相机后，按照本次的旋转角对应的图像类型标识，通过所述双光谱相机采集可见光图像和/或热成像图像；按照各所述拍摄圈的倾斜角，将所述双光谱相机与水平方向的夹角调整为下一拍摄圈的倾斜角，继续下一拍摄圈的拍摄直至完所有拍摄圈的拍摄，从而得到各可见光图像及各热成像图像。
可选的，所述拍摄圈包括可见光拍摄圈及热成像拍摄圈，所述双光谱全景图像采集装置还包括调整角度确定模块，所述调整角度确定模块，包括：
相机参数获取子模块，用于获取预设图像重合率、所述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、所述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
可见光旋转角确定子模块，用于按照所述预设图像重合率及所述可见光相机的镜头水平视场角，确定所述双光谱相机每个可见光拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各所述可见光拍摄圈的各旋转角对应的图像类型标识表征采集可见光图像；
热成像旋转角确定子模块，用于按照所述预设图像重合率及所述热成像相机的镜头水平视场角，确定所述双光谱相机每个热成像拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各所述热成像拍摄圈的各旋转角对应的图像类型标识表征采集热成像图像；
可见光拍摄圈数确定子模块，用于按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述可见光相机镜头垂直视场角，确定所述可见光相机的可见光拍摄圈数；
热成像拍摄圈数确定子模块，用于按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述热成像相机镜头垂直视场角，确定所述热成像相机的热成像拍摄圈数；
可见光倾斜角确定子模块，用于按照所述可见光拍摄圈数及所述双光谱相机的最大倾斜角，确定各所述可见光拍摄圈的倾斜角；
热成像倾斜角确定子模块，用于按照所述热成像拍摄圈数及所述双光谱相机的最大倾斜角，确定各所述热成像拍摄圈的倾斜角。
可选的，所述图像采集模块，具体用于通过所述双光谱相机采集初始角度上的可见光图像及热成像图像；按照各所述调整角度，逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像及热成像图像。
可选的，所述双光谱全景图像采集装置还包括：
相机参数获取模块，用于获取预设图像重合率、所述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、所述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
目标视场角确定模块，用于在所述可见光相机的镜头水平视场角及所述热成像相机的镜头水平视场角中选取较小的一个，得到目标水平视场角；在所述可见光相机的镜头垂直视场角及所述热成像相机的镜头垂直视场角中选取较小的一个，得到目标垂直视场角；
旋转角确定模块，用于按照所述预设图像重合率、所述目标水平视场角，确定所述双光谱相机每个拍摄圈的各旋转角；
拍摄圈数确定模块，用于按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述目标垂直视场角，确定所述双光谱相机的拍摄圈数；
倾斜角确定模块，用于相机参数获取模块，用于按照所述拍摄圈数及所述双光谱相机的最大倾斜角，确定每个拍摄圈的倾斜角。
第四方面，本申请实施例提供了一种双光谱全景图像采集装置，应用客户端，所述装置包括：
控制指令发送模块，用于向无人机发送飞行控制指令，以使所述无人机按照所述飞行控制指令飞行到指定位置，并悬停在所述指定位置，其中，所述无人机挂载双光谱相机；
采集指令发送模块，用于向所述无人机发送图像采集指令，所述图像采集指令中包括多个调整角度，所述图像采集指令用于指示所述无人机按照各所述调整角度逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像；
全景图像拼接模块，用于接收所述无人机发送的各所述可见光图像及各所述热成像图像，将各所述可见光图像拼接为可见光全景图像，将各所述热成像图像拼接为热成像全景图像。
可选的，所述全景图像拼接模块，包括：
坐标转换子模块，用于将各所述可见光图像投影到球面坐标系下；
图像配准子模块，用于在所述球面坐标系下对各所述可见光图像进行图像配准；
图像融合子模块，用于将图像配准后的各所述可见光图像进行图像融合，得到可见光全景图像。
可选的，所述图像配准子模块，包括：
特征点提取单元，用于在所述球面坐标系下，提取各所述可见光图像的特征点；
特征点匹配单元，用于将各所述可见光图像中的特征点进行匹配，得到特征点匹配关系；
图像配准单元，用于按照所述特征点匹配关系，对各所述可见光图像进行图像配准。
可选的，所述调整角度包括所述双光谱相机对应的拍摄圈的倾斜角及每个拍摄圈的旋转角，所述拍摄圈包括可见光拍摄圈及热成像拍摄圈，所述图像采集指令中还包括与各调整角度分别对应的图像类型标识；所述装置还包括：
相机内参获取模块，用于获取预设图像重合率、所述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、所述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
可见光旋转角确定模块，用于按照所述预设图像重合率及所述可见光相机的镜头水平视场角，确定所述双光谱相机每个可见光拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各所述可见光拍摄圈的各旋转角对应的图像类型标识表征采集可见光图像；
热成像旋转角确定模块，用于按照所述预设图像重合率及所述热成像相机的镜头水平视场角，确定所述双光谱相机每个热成像拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各所述热成像拍摄圈的各旋转角对应的图像类型标识表征采集热成像图像；
可见光拍摄圈数确定模块，用于按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述可见光相机镜头垂直视场角，确定所述可见光相机的可见光拍摄圈数；
热成像拍摄圈数确定模块，用于按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述热成像相机镜头垂直视场角，确定所述热成像相机的热成像拍摄圈数；
可见光倾斜角确定模块，用于按照所述可见光拍摄圈数及所述双光谱相机的最大倾斜角，确定各可见光拍摄圈的倾斜角；
热成像倾斜角确定模块，用于按照所述热成像拍摄圈数及所述双光谱相机的最大倾斜角，确定各热成像拍摄圈的倾斜角；
采集指令生成模块，用于按照各拍摄圈的倾斜角、每个拍摄圈的旋转角及各旋转角对应的图像类型标识，生成所述图像采集指令。
可选的，本申请实施例的双光谱全景图像采集装置还包括，图像采集指令生成模块，所述图像采集指令生成模块包括：
相机内参获取子模块，用于获取预设图像重合率、所述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、所述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
目标视场角确定子模块，用于在所述可见光相机的镜头水平视场角及所述热成像相机的镜头水平视场角中选取较小的一个，得到目标水平视场角；在所述可见光相机的镜头垂直视场角及所述热成像相机的镜头垂直视场角中选取较小的一个，得到目标垂直视场角；
旋转角确定子模块，用于按照所述预设图像重合率、所述目标水平视场角，确定所述双光谱相机每个拍摄圈的各旋转角，其中，各旋转角的图像类型标识表征可见光图像及热成像图像；
拍摄圈数确定子模块，用于按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述目标垂直视场角，确定所述双光谱相机的拍摄圈数；
倾斜角确定子模块，用于按照所述拍摄圈数及所述双光谱相机的最大倾斜角，确定每个拍摄圈的倾斜角；
采集指令生成子模块，用于按照各拍摄圈的倾斜角、每个拍摄圈的旋转角及各旋转角对应的图像类型标识，生成所述图像采集指令。
第五方面，本申请实施例提供了一种无人机，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第一方面任一所述的双光谱全景图像采集方法。
第六方面，本申请实施例提供了一种客户端，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现上述第二方面任一所述的双光谱全景图像采集方法。
第七方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的双光谱全景图像采集方法。
第八方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第二方面任一所述的双光谱全景图像采集方法。
本申请实施例提供的双光谱全景图像采集方法、装置、无人机及客户端，获取飞行控制指令，按照飞行控制指令控制无人机飞行到指定位置，并使无人机悬停在指定位置；当无人机悬停在指定位置之后，在获取到图像采集指令时，获取各调整角度；通过双光谱相机采集初始角度上的可见光图像及热成像图像；按照各调整角度，逐次调整双光谱相机的拍摄角度，并在每次调整拍摄角度后，通过双光谱相机采集可见光图像和/或热成像图像；将采集到的各可见光图像及各热成像图像发送给客户端，以使客户端分别将各可见光图像及各热成像图像拼接为可见光全景图像及热成像全景图像。通过双光谱摄像机采用多个拍摄角度采集多幅可见光图像及热成像图像，并将各可见光图像及各热成像图像发送给客户端，以使客户端拼接出可见光全景图像及热成像全景图像，实现了同时获取可见光全景图像及热成像全景图像。并且采用无人机搭载双光谱摄像机，方便调节双光谱摄像机的拍摄位置及拍摄角度，能够适用于多种拍摄任务。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例的双光谱全景图像采集方法的一种示意图；
图2为本申请实施例的图像区域重合的一种示意图；
图3为本申请实施例的拍摄角度重合的一种示意图；
图4为本申请实施例的双光谱全景图像采集方法的另一种示意图；
图5为本申请实施例的双光谱全景图像采集装置的一种示意图；
图6为本申请实施例的双光谱全景图像采集装置的另一种示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了实现同时获取可见光全景图像及热成像全景图像，本申请实施例提供了一种双光谱全景图像采集方法，参见图1，应用于无人机，上述无人机挂载双光谱相机，上述方法包括：
S101，获取飞行控制指令，按照上述飞行控制指令控制上述无人机飞行到指定位置，并使上述无人机悬停在上述指定位置。
本申请实施例的双光谱全景图像采集方法应用于无人机，因此可以通过无人机实现。无人机上挂载有双光谱相机，双光谱相机包括可见光相机及热成像相机，具体的双光谱相机可以挂载在无人机的云台上，通过调节云台的角度实现双光谱相机的角度调节。
无人机通过无线通信的方式与客户端通信连接，客户端向无人机发送飞行控制指令，飞行控制指令中包括飞行方向、飞行速度等飞行相关参数。无人机获取飞行控制指令，按照飞行控制指令控制无人机飞行到指定位置，在无人机飞行到指定位置后，控制无人机悬停在指定位置上。
S102，当上述无人机悬停在上述指定位置之后，在获取到图像采集指令时，获取各调整角度。
图像采集指令可以是客户端发送给无人机的，在无人机悬停在指定位置后，客户端向无人机发送图像采集指令，当无人机接收到客户端发送的图像采集指令后，触发后续采集图像的过程。当然，图像采集指令也可以为无人机在飞往指定位置的过程中接收到的，在无人机悬停在指定位置后，触发后续采集图像的过程。
在无人机悬停在指定位置后，且接收到图像采集指令后，无人机获取各调整角度。调整角度可以包含在图像采集指令中，也可以是无人机实时计算得到的，或调整角度为预先存储在无人机中的数据。
S103，通过上述双光谱相机采集初始角度上的可见光图像及热成像图像。
无人机通过双光谱相机中可见光相机采集初始角度上的可见光图像，通过双光谱相机中热成像相机采集初始角度上的热成像图像。
S104，按照各上述调整角度，逐次调整上述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过上述双光谱相机采集可见光图像和/或热成像图像。
按照各上述调整角度，依次调整上述双光谱相机的拍摄角度，并在每次调整上述拍摄角度后，通过上述双光谱相机采集相应类型的图像，得到各可见光图像及各热成像图像。
在一种可能的实施方式中，每次旋转双光谱相机后，均需要采集可见光图像及各热成像图像。可选的，上述按照各上述调整角度，逐次调整上述双光谱相机的拍摄角度，并在每次调整上述拍摄角度后，通过上述双光谱相机采集可见光图像和/或热成像图像，包括：
按照各上述调整角度，逐次调整上述双光谱相机的拍摄角度，并在每次调整上述拍摄角度后，通过上述双光谱相机采集可见光图像及热成像图像。
在一种可能的实施方式中，为了区分何时采集可见光图像，何时采集热成像图像，需要获取各调整角度分别对应的图像类型标识。无人机按照各调整角度，依次调整双光谱相机的拍摄角度，并在每次调整双光谱相机的拍摄角度后，按照此次调整所用的调整角度对应的图像类型标识，通过双光谱相机采集相应类型的图像。
可选的，上述调整角度包括上述双光谱相机对应的各拍摄圈的倾斜角及每个拍摄圈的旋转角，其中，针对任一拍摄圈，该拍摄圈的倾斜角为该拍摄圈平面与水平平面的夹角，该拍摄圈的旋转角为上述双光谱相机在该拍摄圈平面上旋转的角度。
上述按照各上述调整角度，逐次调整上述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过上述双光谱相机采集可见光图像和/或热成像图像，包括：
步骤一，获取各上述旋转角分别对应的图像类型标识。
图像类型标识表征无人机采集何种类型的图像，在本申请实施例中，图像类型标识包括两种：可见光图像标识及热成像图像标识。一个旋转角可能仅对应可见光图像标识或仅对应热成像图像标识，也可以同时对应可见光图像标识及热成像图像标识，按照该位置实际需要采集的图像类型进行设定。
调整角度可以包括倾斜角及旋转角，其中，倾斜角为双光谱相机所在平面与水平平面的夹角，可以理解的是，倾斜角也可以为双光谱相机所在平面与竖直平面的夹角，只要能够表征拍摄圈的倾斜角度即可。双光谱相机所在的平面为双光谱相机中可见光相机视场的中线与热成像相机视场的中线所在的平面，旋转角是指双光谱相机镜头方向在双光谱相机所在平面上转动的角度。
步骤二，针对上述双光谱相机当前所在的拍摄圈，按照该拍摄圈的各旋转角，从初始角度开始逐步旋转上述双光谱相机至最终角度，并在每次旋转上述双光谱相机后，按照本次的旋转角对应的图像类型标识，通过上述双光谱相机采集可见光图像和/或热成像图像。
调整角度包括倾斜角及旋转角，因此任一旋转角对应的图像类型标识，可以理解为该旋转角与该旋转角对应的倾斜角共同确定的调整角度对应的图像类型标识。在采集图像的过程中，无人机先按照拍摄圈的倾斜角将双光谱相机调整到当前的拍摄圈。在将双光谱相机调整到当前的拍摄圈后，按照当前拍摄圈初始角度对应的图像类型标识，通过双光谱相机采集相应类型的图像。按照当前拍摄圈的各旋转角，逐步旋转双光谱相机至最终角度。并在每次旋转上述双光谱相机后，按照本次的旋转角对应的图像类型标识，采集相应类型的图像。其中，当本次的旋转角对应的图像类型标识为可见光图像标识时，通过双光谱相机采集可见光图像；当本次的旋转角对应的图像类型标识为热成像图像标识时，通过双光谱相机采集热成像图像；当本次的旋转角对应的图像类型标识为可见光图像标识及热成像图像标识时，通过双光谱相机采集可见光图像及热成像图像。
如此，针对每个倾斜角，双光谱相机只需旋转一圈就能完成对该倾斜角所需的可见光图像和热成像图像的采集。
步骤三，按照各上述拍摄圈的倾斜角，将上述双光谱相机与水平方向的夹角调整为下一拍摄圈的倾斜角，继续下一拍摄圈的拍摄直至完所有拍摄圈的拍摄，从而得到各可见光图像及各热成像图像。
针对当前的拍摄圈，控制双光谱相机从初始角度分多个阶段逐步旋转至最终角度，当前拍摄圈拍摄完毕后，按照各拍摄圈的倾斜角将双光谱相机调整至下一拍摄圈，继续进行拍摄。无人机可以将双光谱相机直接从当前拍摄圈的最终角度调整至下一拍摄圈的初始角度，但是这样调整角度计算较为负杂。
在一种可能的实施方式中，按照各上述拍摄圈的倾斜角，将上述双光谱相机与水平方向的夹角调整为下一拍摄圈的倾斜角，包括：将上述双光谱相机反向旋转至当前的拍摄圈的初始角度；按照各拍摄圈的倾斜角，将双光谱相机与水平方向的夹角调整为下一拍摄圈的倾斜角。此时下一拍摄圈即为当前的拍摄圈，重复执行上述步骤二拍摄方法，如此循环，直到完成所有拍摄圈的拍摄。
S105，将采集到的各上述可见光图像及各上述热成像图像发送给客户端，以使上述客户端分别将各上述可见光图像及各上述热成像图像拼接为可见光全景图像及热成像全景图像。
在本申请实施例中，通过双光谱摄像机采用多个拍摄角度采集多幅可见光图像及热成像图像，并将各可见光图像及各热成像图像发送给客户端，以使客户端拼接出可见光全景图像及热成像全景图像，实现了同时获取可见光全景图像及热成像全景图像。并且采用无人机搭载双光谱摄像机，方便调节双光谱摄像机的拍摄位置及拍摄角度，能够适用于多种拍摄任务。
因为双光谱相机包括可见光相机与热成像相机，可见光相机与热成像相机的视场范围可能相同也可能不同。在可见光相机与热成像相机的视场范围相同时，可见光相机与热成像相机可以使用相同的角度参数进行图像采集。
在可见光相机与热成像相机的视场范围不相同时，为了保证采集图像的数量最少，需要针对可见光相机及热成像相机设定不同的倾斜角。可选的，上述拍摄圈包括可见光拍摄圈及热成像拍摄圈，确定各拍摄圈的倾斜角及每个拍摄圈的旋转角的步骤包括：
步骤一，获取预设图像重合率、上述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、上述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角。
预设图像重合率可以按照实际情况进行设定，根据拼接效果进行设定，其中图像重合率与全景图像的拼接效果正相关。
为了保证拼接全景图像的完整度，采集的相邻的两张图像要有适当的图像重叠区，如图2所示，反应到相机上就是拍照区域重合，如图3所示。图像重合率为λ，双光谱相机中可见光相机的镜头水平视场角为β、镜头垂直视场角为δ，双光谱相机中热成像相机的镜头水平视场角为β′、镜头垂直视场角为δ′。
步骤二，按照上述预设图像重合率及上述可见光相机的镜头水平视场角，确定上述双光谱相机每个可见光拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各上述可见光拍摄圈的各旋转角对应的图像类型标识表征采集可见光图像。
步骤三，按照上述预设图像重合率及上述热成像相机的镜头水平视场角，确定上述双光谱相机每个热成像拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各上述热成像拍摄圈的各旋转角对应的图像类型标识表征采集热成像图像。
按照预设图像重合率及可见光相机的镜头水平视场角，确定每圈需要拍摄的图像张数x，计算公式如下：
Figure BDA0001992664190000151
其中，x即为相机每旋转1圈需要拍摄的张数，当x不是整数时，则向上取整，得到整数x。
按照x确定可见光相机的每次需要旋转的可见光旋转角A＝360/x，即可见光相机每次采集图像的角度为(假设初始角度为C)，C+A、C+2A、…、C+xA。通过相同方法可以得到热成像相机每次需要旋转的角度B，则热成像相机每次采集图像的角度为(假设初始角度为C)，C+B、C+2B、…、C+xB。取可见光相机与热成像相机每次采集图像的角度的并集，作为双光谱相机的每次采集图像的角度，从而得到双光谱相机的旋转角。
步骤四，按照上述预设图像重合率、上述双光谱相机的最大倾斜角、上述可见光相机镜头垂直视场角，确定上述可见光相机的可见光拍摄圈数。
Figure BDA0001992664190000161
其中，双光谱相机的最大倾斜角为w，可见光拍摄圈数为y，当y不是整数时，则向上取整得到整数y。
步骤五，按照上述预设图像重合率、上述双光谱相机的最大倾斜角、上述热成像相机镜头垂直视场角，确定上述热成像相机的热成像拍摄圈数。
参见可见光拍摄圈数的计算方法，可以得到热成像拍摄圈数。
步骤六，按照上述可见光拍摄圈数及上述双光谱相机的最大倾斜角，确定各可见光拍摄圈的倾斜角。
根据可见光拍摄圈数y和双光谱相机的最大倾斜角，计算出采集可见光图片时在第i圈时需要倾斜的倾斜角α，计算公式如下，其中i表示拍摄的圈数。
Figure BDA0001992664190000162
步骤七，按照上述热成像拍摄圈数及上述双光谱相机的最大倾斜角，确定各热成像拍摄圈的倾斜角。
参见可见光拍摄圈的倾斜角的计算方法，可以得到热成像拍摄圈的倾斜角。可以取热成像拍摄圈的倾斜角与可见光每圈的倾斜角的并集，作为双光谱相机各拍摄圈的倾斜角。其中，针对任一热成像拍摄圈，该热成像拍摄圈的倾斜角与该热成像拍摄圈的各旋转角组成的各调整角度对应的图像类型标识为热成像图像标识。针对任一可见光拍摄圈，该可见光拍摄圈的倾斜角与该可见光拍摄圈的各旋转角组成的各调整角度对应的图像类型标识为可见光图像标识。
在可见光相机与热成像相机的视场范围不相同时，为了减少双光谱相机角度调节次数，可以按照视场角小的相机设置图像采集的角度。可选的，确定各拍摄圈的倾斜角及每个拍摄圈的旋转角的步骤包括：
步骤一，获取预设图像重合率、上述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、上述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角。
步骤二，在上述可见光相机的镜头水平视场角及上述热成像相机的镜头水平视场角中选取较小的一个，得到目标水平视场角；在上述可见光相机的镜头垂直视场角及上述热成像相机的镜头垂直视场角中选取较小的一个，得到目标垂直视场角。
步骤三，按照上述预设图像重合率、上述目标水平视场角，确定上述双光谱相机的旋转角。
步骤四，按照上述预设图像重合率、上述双光谱相机的最大倾斜角、上述目标垂直视场角，确定上述双光谱相机的拍摄圈数。
步骤五，按照上述拍摄圈数及上述双光谱相机的最大倾斜角，确定各拍摄圈的倾斜角。
在采用此种方式确定旋转角及各拍摄圈的倾斜角时，针对任一旋转角，在按照该旋转角转动双光谱相机后，均需要采集可见光图像及热成像图像。即每次旋转双光谱相机进行图像采集时，均需要同时采集可见光图像及热成像图像。相比于分别针对可见光拍摄圈进行可见光图像采集，针对热成像拍摄圈进行热成像图像采集，能够减少云台转动的次数，从而增加图像采集速度。
本申请实施例还提供了一种双光谱全景图像采集方法，参见图4，应用客户端，该方法包括：
S401，向无人机发送飞行控制指令，以使上述无人机按照上述飞行控制指令飞行到指定位置，并悬停在上述指定位置，其中，上述无人机挂载双光谱相机。
本申请实施例的双光谱全景图像采集方法应用于客户端，具体可以通过客户端实现，该客户端可以为一种电子设备，包括存储器及处理器，存储器中保存有计算机程序，处理器在执行存储器中的计算机程序时，实现本申请实施例的双光谱全景图像采集方法。客户端还可以为一种应用程序，该应用程序被执行时实现本申请实施例的双光谱全景图像采集方法。
客户端通过无线通信的方式与无人机通信连接，客户端向无人机发送飞行控制指令，飞行控制指令中包括飞行方向、飞行速度等飞行相关参数。无人机获取飞行控制指令，按照飞行控制指令控制无人机飞行到指定位置，在无人机飞行到指定位置后，控制无人机悬停在指定位置上。
S402，向上述无人机发送图像采集指令，上述图像采集指令中包括多个调整角度，上述图像采集指令用于指示上述无人机按照各上述调整角度逐次调整上述双光谱相机的拍摄角度，并在每次调整上述拍摄角度后，通过上述双光谱相机采集可见光图像和/或热成像图像。
客户端向无人机发送图像采集指令，以使无人机在接收到图像采集指令后，通过搭载的双光谱相机采集可见光图像及热成像图像，无人机利用双光谱相机采集可见光图像及热成像图像可以如上述应用于无人机的双光谱全景图像采集方法，此处不再赘述。
在可见光相机与热成像相机的视场范围不相同时，为了保证采集图像的数量最少，需要针对可见光相机及热成像相机设定不同的倾斜角。可选的，上述拍摄圈包括可见光拍摄圈及热成像拍摄圈，调整角度包括上述双光谱相机对应的拍摄圈的倾斜角及拍摄圈的旋转角，上述图像采集指令中还包括与各调整角度分别对应的图像类型标识；在上述向上述无人机发送图像采集指令之前，上述方法还包括：
步骤一，获取预设图像重合率、上述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、上述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
步骤二，按照上述预设图像重合率及上述可见光相机的镜头水平视场角，确定上述双光谱相机每个可见光拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各上述可见光拍摄圈的各旋转角对应的图像类型标识表征采集可见光图像；
步骤三，按照上述预设图像重合率及上述热成像相机的镜头水平视场角，确定上述双光谱相机每个热成像拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各上述热成像拍摄圈的各旋转角对应的图像类型标识表征采集热成像图像；
步骤四，按照上述预设图像重合率、上述双光谱相机的最大倾斜角、上述可见光相机镜头垂直视场角，确定上述可见光相机的可见光拍摄圈数；
步骤五，按照上述预设图像重合率、上述双光谱相机的最大倾斜角、上述热成像相机镜头垂直视场角，确定上述热成像相机的热成像拍摄圈数；
步骤六，按照上述可见光拍摄圈数及上述双光谱相机的最大倾斜角，确定各可见光拍摄圈的倾斜角；
步骤七，按照上述热成像拍摄圈数及上述双光谱相机的最大倾斜角，确定各热成像拍摄圈的倾斜角。
在可见光相机与热成像相机的视场范围不相同时，为了减少双光谱相机角度调节次数，可以按照视场角小的相机设置图像采集的角度。可选的，在上述向上述无人机发送图像采集指令之前，上述方法还包括：
步骤一，获取预设图像重合率、上述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、上述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
步骤二，在上述可见光相机的镜头水平视场角及上述热成像相机的镜头水平视场角中选取较小的一个，得到目标水平视场角；在上述可见光相机的镜头垂直视场角及上述热成像相机的镜头垂直视场角中选取较小的一个，得到目标垂直视场角；
步骤三，按照上述预设图像重合率、上述目标水平视场角，确定上述双光谱相机每个拍摄圈的各旋转角，其中，各旋转角的图像类型标识表征可见光图像及热成像图像；
步骤四，按照上述预设图像重合率、上述双光谱相机的最大倾斜角、上述目标垂直视场角，确定上述双光谱相机的拍摄圈数；
步骤五，按照上述拍摄圈数及上述双光谱相机的最大倾斜角，确定每个拍摄圈的倾斜角。
S403，接收上述无人机发送的各上述可见光图像及各上述热成像图像，将各上述可见光图像拼接为可见光全景图像，将各上述热成像图像拼接为热成像全景图像。
客户端采用相关的全景图像拼接方法，将各可见光图像拼接为可见光全景图像，将各热成像图像拼接为热成像全景图像。
可选的，上述将各上述可见光图像拼接为可见光全景图像，包括：
步骤A，将各上述可见光图像投影到球面坐标系下。
可见光图像是实体景物在不同坐标系下的二维投影，直接对可见光图像进行拼接无法满足视觉一致性，需要将待拼接的图像投影到一个标准的球面坐标系下，然后进行图像配准。
步骤B，在上述球面坐标系下对各上述可见光图像进行图像配准。
客户端对球面坐标系下的各可见光图像进行图像配准。可以按照各可见光图像的拍摄角度进行图像配准，还可以按照特征点进行图像配准。
按照特征点进行图像配准，可以减少因拍摄角度误差而造成的图像拼接误差。可选的，上述在上述球面坐标系下对各上述可见光图像进行图像配准，包括：
步骤一，在上述球面坐标系下，提取各上述可见光图像的特征点。
在提取特征点时，为了加快提取进度，可以使用GPU(Graphics Processing Unit，图形处理器)采用ORB(Oriented FAST and Rotated BRIEF)方法提取特征点。ORB方法利用FAST(Features From Accelerated Segment Test)检测特征，进行角点检测，对特征点进行粗略提取，选取若干候选点，然后在对候选点进行筛选；之后采用非极大值抑制，得到角点输出，去除临近位置的特征点；采用BRIEF(Binary Robust Independent ElementaryFeatures)描述符，最后将提取的特征点保存。
步骤二，将各上述可见光图像中的特征点进行匹配，得到特征点匹配关系。
特征点匹配就是将各特征点与其匹配的最佳点进行配对操作，采用最近邻算法和次临近算法对经过特征提取后的图像进行特征点匹配；以一对特征点描述符之间的欧式距离作为特征点匹配的相似度准则。将不满足欧氏距离准则的特征点去除，匹配成功的特征点保存。假设特征点对p和q的特征点描述分别为Desp和Desq，则其欧式距离定义公式为：
Figure BDA0001992664190000201
步骤三，按照上述特征点匹配关系，对各上述可见光图像进行图像配准。
步骤C，将图像配准后的各上述可见光图像进行图像融合，得到可见光全景图像。
根据图像间变换模型确定图像间的重叠区域，进而拼接各图像形成一幅完整的全景图。为了使融合后的图像具有视觉一致性而没有明显的接缝，采用羽化和多波段方法进行图像平滑过渡，使拼接图像达到自然衔接；羽化融合的公式为：
Figure BDA0001992664190000211
其中，R表示由n幅图像重叠后经过羽化处理后而得到的新图像，Ii表示第i幅图像在接缝线两侧区域内的部分，wi表示Ii的权值，它是当前像素到达第i幅图像最近边界的距离。
为了保留图像高频细节部分，则需要应用多频段融合方法。通过对相邻两层的高斯金字塔进行差分，将原图分解(Reduce)成不同尺度(频率)的子图，对每一个子图(对应不同频带)进行加权平均，得到每一层的融合结果，最后进行金字塔的反向重建(Expand)，得到最终融合效果。其所用公式为：
Ln＝Gn-expand(Gn+1)
式中，L和G分别表示拉普拉斯和高斯金字塔，拉普拉斯金字塔的顶层图像就是高斯金字塔的顶层图像，下标n表示的是金字塔的层数，底层为0，并且G0为图像原图，expand表示扩展运算。
将各热成像图像拼接为热成像全景图像的过程与可见光全景图像的拼接过程相同或相似，具体参见可见光全景图像的拼接过程即可。
在本申请实施例中，通过客户端将无人机中双光谱摄像机采集的多幅可见光图像及多幅热成像图像，分别拼接为可见光全景图像及热成像全景图像，实现了同时获取可见光全景图像及热成像全景图像。
本申请实施例还提供了一种双光谱全景图像采集装置，应用于无人机，上述无人机挂载双光谱相机，参见图5，该装置包括：
控制指令接收模块501，用于获取飞行控制指令，按照上述飞行控制指令控制上述无人机飞行到指定位置，并使上述无人机悬停在上述指定位置；
调整数据获取模块502，用于当上述无人机悬停在上述指定位置之后，在获取到图像采集指令时，获取各调整角度；
图像采集模块503，用于通过上述双光谱相机采集初始角度上的可见光图像及热成像图像；按照各上述调整角度，逐次调整上述双光谱相机的拍摄角度，并在每次调整上述拍摄角度后，通过上述双光谱相机采集可见光图像和/或热成像图像；
图像发送模块504，用于将各上述可见光图像及各上述热成像图像发送给客户端，以使上述客户端分别将各上述可见光图像及各上述热成像图像拼接为可见光全景图像及热成像全景图像。
可选的，上述调整角度包括上述双光谱相机对应的拍摄圈的倾斜角及拍摄圈的旋转角，其中，针对任一拍摄圈，该拍摄圈的倾斜角为该拍摄圈平面与水平平面的夹角，该拍摄圈的旋转角为上述双光谱相机在该拍摄圈平面上旋转的角度；
上述图像采集模块503，包括：
类型标识获取子模块，用于获取各上述旋转角分别对应的图像类型标识；
图像采集子模块，用于通过上述双光谱相机采集初始角度上的可见光图像及热成像图像；针对上述双光谱相机当前所在的拍摄圈，按照该拍摄圈的各旋转角，从初始角度开始逐步旋转上述双光谱相机至最终角度，并在每次旋转上述双光谱相机后，按照本次的旋转角对应的图像类型标识，通过上述双光谱相机采集可见光图像和/或热成像图像；按照各上述拍摄圈的倾斜角，将上述双光谱相机与水平方向的夹角调整为下一拍摄圈的倾斜角，继续下一拍摄圈的拍摄直至完所有拍摄圈的拍摄，从而得到各可见光图像及各热成像图像。
可选的，上述拍摄圈包括可见光拍摄圈及热成像拍摄圈，上述双光谱全景图像采集装置还包括调整角度确定模块，上述调整角度确定模块，包括：
相机参数获取子模块，用于获取预设图像重合率、上述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、上述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
可见光旋转角确定子模块，用于按照上述预设图像重合率及上述可见光相机的镜头水平视场角，确定上述双光谱相机每个可见光拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各上述可见光拍摄圈的各旋转角对应的图像类型标识表征采集可见光图像；
热成像旋转角确定子模块，用于按照上述预设图像重合率及上述热成像相机的镜头水平视场角，确定上述双光谱相机每个热成像拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各上述热成像拍摄圈的各旋转角对应的图像类型标识表征采集热成像图像；
可见光拍摄圈数确定子模块，用于按照上述预设图像重合率、上述双光谱相机的最大倾斜角、上述可见光相机镜头垂直视场角，确定上述可见光相机的可见光拍摄圈数；
热成像拍摄圈数确定子模块，用于按照上述预设图像重合率、上述双光谱相机的最大倾斜角、上述热成像相机镜头垂直视场角，确定上述热成像相机的热成像拍摄圈数；
可见光倾斜角确定子模块，用于按照上述可见光拍摄圈数及上述双光谱相机的最大倾斜角，确定各上述可见光拍摄圈的倾斜角；
热成像倾斜角确定子模块，用于按照上述热成像拍摄圈数及上述双光谱相机的最大倾斜角，确定各上述热成像拍摄圈的倾斜角。
可选的，上述图像采集模块503，具体用于通过上述双光谱相机采集初始角度上的可见光图像及热成像图像；按照各上述调整角度，逐次调整上述双光谱相机的拍摄角度，并在每次调整上述拍摄角度后，通过上述双光谱相机采集可见光图像及热成像图像。
可选的，上述双光谱全景图像采集装置还包括：
相机参数获取模块，用于获取预设图像重合率、上述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、上述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
目标视场角确定模块，用于在上述可见光相机的镜头水平视场角及上述热成像相机的镜头水平视场角中选取较小的一个，得到目标水平视场角；在上述可见光相机的镜头垂直视场角及上述热成像相机的镜头垂直视场角中选取较小的一个，得到目标垂直视场角；
旋转角确定模块，用于按照上述预设图像重合率、上述目标水平视场角，确定上述双光谱相机每个拍摄圈的各旋转角；
拍摄圈数确定模块，用于按照上述预设图像重合率、上述双光谱相机的最大倾斜角、上述目标垂直视场角，确定上述双光谱相机的拍摄圈数；
倾斜角确定模块，用于相机参数获取模块，用于按照上述拍摄圈数及上述双光谱相机的最大倾斜角，确定每个拍摄圈的倾斜角。
本申请实施例提供了一种双光谱全景图像采集装置，参见图6，应用客户端，上述装置包括：
控制指令发送模块601，用于向无人机发送飞行控制指令，以使上述无人机按照上述飞行控制指令飞行到指定位置，并悬停在上述指定位置，其中，上述无人机挂载双光谱相机；
采集指令发送模块602，用于向上述无人机发送图像采集指令，上述图像采集指令中包括多个调整角度，上述图像采集指令用于指示上述无人机按照各上述调整角度逐次调整上述双光谱相机的拍摄角度，并在每次调整上述拍摄角度后，通过上述双光谱相机采集可见光图像和/或热成像图像；
全景图像拼接模块603，用于接收上述无人机发送的各上述可见光图像及各上述热成像图像，将各上述可见光图像拼接为可见光全景图像，将各上述热成像图像拼接为热成像全景图像。
可选的，上述全景图像拼接模块603，包括：
坐标转换子模块，用于将各上述可见光图像投影到球面坐标系下；
图像配准子模块，用于在上述球面坐标系下对各上述可见光图像进行图像配准；
图像融合子模块，用于将图像配准后的各上述可见光图像进行图像融合，得到可见光全景图像。
可选的，上述图像配准子模块，包括：
特征点提取单元，用于在上述球面坐标系下，提取各上述可见光图像的特征点；
特征点匹配单元，用于将各上述可见光图像中的特征点进行匹配，得到特征点匹配关系；
图像配准单元，用于按照上述特征点匹配关系，对各上述可见光图像进行图像配准。
可选的，上述调整角度包括上述双光谱相机对应的拍摄圈的倾斜角及每个拍摄圈的旋转角，上述拍摄圈包括可见光拍摄圈及热成像拍摄圈，上述图像采集指令中还包括与各调整角度分别对应的图像类型标识；上述装置还包括：
相机内参获取模块，用于获取预设图像重合率、上述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、上述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
可见光旋转角确定模块，用于按照上述预设图像重合率及上述可见光相机的镜头水平视场角，确定上述双光谱相机每个可见光拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各上述可见光拍摄圈的各旋转角对应的图像类型标识表征采集可见光图像；
热成像旋转角确定模块，用于按照上述预设图像重合率及上述热成像相机的镜头水平视场角，确定上述双光谱相机每个热成像拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各上述热成像拍摄圈的各旋转角对应的图像类型标识表征采集热成像图像；
可见光拍摄圈数确定模块，用于按照上述预设图像重合率、上述双光谱相机的最大倾斜角、上述可见光相机镜头垂直视场角，确定上述可见光相机的可见光拍摄圈数；
热成像拍摄圈数确定模块，用于按照上述预设图像重合率、上述双光谱相机的最大倾斜角、上述热成像相机镜头垂直视场角，确定上述热成像相机的热成像拍摄圈数；
可见光倾斜角确定模块，用于按照上述可见光拍摄圈数及上述双光谱相机的最大倾斜角，确定各可见光拍摄圈的倾斜角；
热成像倾斜角确定模块，用于按照上述热成像拍摄圈数及上述双光谱相机的最大倾斜角，确定各热成像拍摄圈的倾斜角；
采集指令生成模块，用于按照各拍摄圈的倾斜角、每个拍摄圈的旋转角及各旋转角对应的图像类型标识，生成上述图像采集指令。
可选的，本申请实施例的双光谱全景图像采集装置还包括，图像采集指令生成模块，上述图像采集指令生成模块包括：
相机内参获取子模块，用于获取预设图像重合率、上述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、上述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
目标视场角确定子模块，用于在上述可见光相机的镜头水平视场角及上述热成像相机的镜头水平视场角中选取较小的一个，得到目标水平视场角；在上述可见光相机的镜头垂直视场角及上述热成像相机的镜头垂直视场角中选取较小的一个，得到目标垂直视场角；
旋转角确定子模块，用于按照上述预设图像重合率、上述目标水平视场角，确定上述双光谱相机每个拍摄圈的各旋转角，其中，各旋转角的图像类型标识表征可见光图像及热成像图像；
拍摄圈数确定子模块，用于按照上述预设图像重合率、上述双光谱相机的最大倾斜角、上述目标垂直视场角，确定上述双光谱相机的拍摄圈数；
倾斜角确定子模块，用于按照上述拍摄圈数及上述双光谱相机的最大倾斜角，确定每个拍摄圈的倾斜角；
采集指令生成子模块，用于按照各拍摄圈的倾斜角、每个拍摄圈的旋转角及各旋转角对应的图像类型标识，生成上述图像采集指令。
本申请实施例还提供了一种无人机，包括处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器，用于执行上述存储器上所存放的程序时，实现上述任一应用于无人机的双光谱全景图像采集方法。
具体的，无人机上还挂载有云台，云台上设置有双光谱相机，云台转动带动双光谱相机的联动。
本申请实施例还提供了一种客户端，包括处理器及存储器；
上述存储器，用于存放计算机程序；
上述处理器，用于执行上述存储器上所存放的程序时，实现上述任一应用于客户端的双光谱全景图像采集方法。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一应用于无人机的双光谱全景图像采集方法。
本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质内存储有计算机程序，上述计算机程序被处理器执行时实现上述任一应用于客户端的双光谱全景图像采集方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、无人机、客户端及存储介质的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本申请的保护范围内。

Claims (15)

1.一种双光谱全景图像采集方法，其特征在于，应用于无人机，所述无人机挂载双光谱相机，所述方法包括：
获取飞行控制指令，按照所述飞行控制指令控制所述无人机飞行到指定位置，并使所述无人机悬停在所述指定位置；
当所述无人机悬停在所述指定位置之后，在获取到图像采集指令时，获取各调整角度；
通过所述双光谱相机采集初始角度上的可见光图像及热成像图像；
按照各所述调整角度，逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像；
将采集到的各所述可见光图像及各所述热成像图像发送给客户端，以使所述客户端分别将各所述可见光图像及各所述热成像图像拼接为可见光全景图像及热成像全景图像；
所述调整角度包括所述双光谱相机对应的拍摄圈的倾斜角及拍摄圈的旋转角，其中，针对任一拍摄圈，该拍摄圈的倾斜角为该拍摄圈平面与水平平面的夹角，该拍摄圈的旋转角为所述双光谱相机在该拍摄圈平面上旋转的角度；
所述按照各所述调整角度，逐次调整所述双光谱相机的拍摄角度，并在每次调整所述双光谱相机的拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像，包括：
获取各所述旋转角分别对应的图像类型标识，其中，所述图像类型标识为可见光图像标识及热成像图像标识中的至少一个；
针对所述双光谱相机当前所在的拍摄圈，按照该拍摄圈的各旋转角，从初始角度开始逐步旋转所述双光谱相机至最终角度，并在每次旋转所述双光谱相机后，按照本次的旋转角对应的图像类型标识，通过所述双光谱相机采集可见光图像和/或热成像图像；
按照各所述拍摄圈的倾斜角，将所述双光谱相机与水平方向的夹角调整为下一拍摄圈的倾斜角，继续下一拍摄圈的拍摄直至完所有拍摄圈的拍摄，从而得到各可见光图像及各热成像图像。
2.根据权利要求1所述的方法，其特征在于，所述拍摄圈包括可见光拍摄圈及热成像拍摄圈，确定各拍摄圈的倾斜角及每个拍摄圈的旋转角的步骤包括：
获取预设图像重合率、所述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、所述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
按照所述预设图像重合率及所述可见光相机的镜头水平视场角，确定所述双光谱相机每个可见光拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各所述可见光拍摄圈的各旋转角对应的图像类型标识表征采集可见光图像；
按照所述预设图像重合率及所述热成像相机的镜头水平视场角，确定所述双光谱相机每个热成像拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各所述热成像拍摄圈的各旋转角对应的图像类型标识表征采集热成像图像；
按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述可见光相机镜头垂直视场角，确定所述可见光相机的可见光拍摄圈数；
按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述热成像相机镜头垂直视场角，确定所述热成像相机的热成像拍摄圈数；
按照所述可见光拍摄圈数及所述双光谱相机的最大倾斜角，确定各所述可见光拍摄圈的倾斜角；
按照所述热成像拍摄圈数及所述双光谱相机的最大倾斜角，确定各所述热成像拍摄圈的倾斜角。
3.根据权利要求1所述的方法，其特征在于，所述按照各所述调整角度，逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像，包括：
按照各所述调整角度，逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像及热成像图像。
4.根据权利要求3所述的方法，其特征在于，确定各拍摄圈的倾斜角及每个拍摄圈的旋转角的步骤包括：
获取预设图像重合率、所述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、所述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
在所述可见光相机的镜头水平视场角及所述热成像相机的镜头水平视场角中选取较小的一个，得到目标水平视场角；在所述可见光相机的镜头垂直视场角及所述热成像相机的镜头垂直视场角中选取较小的一个，得到目标垂直视场角；
按照所述预设图像重合率、所述目标水平视场角，确定所述双光谱相机每个拍摄圈的各旋转角；
按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述目标垂直视场角，确定所述双光谱相机的拍摄圈数；
按照所述拍摄圈数及所述双光谱相机的最大倾斜角，确定每个拍摄圈的倾斜角。
5.一种双光谱全景图像采集方法，其特征在于，应用客户端，所述方法包括：
向无人机发送飞行控制指令，以使所述无人机按照所述飞行控制指令飞行到指定位置，并悬停在所述指定位置，其中，所述无人机挂载双光谱相机；
向所述无人机发送图像采集指令，所述图像采集指令中包括多个调整角度，所述图像采集指令用于指示所述无人机按照各所述调整角度逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像；
接收所述无人机发送的各所述可见光图像及各所述热成像图像，将各所述可见光图像拼接为可见光全景图像，将各所述热成像图像拼接为热成像全景图像；
所述调整角度包括所述双光谱相机对应的拍摄圈的倾斜角及拍摄圈的旋转角，其中，针对任一拍摄圈，该拍摄圈的倾斜角为该拍摄圈平面与水平平面的夹角，该拍摄圈的旋转角为所述双光谱相机在该拍摄圈平面上旋转的角度；所述按照各所述调整角度逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像，包括：获取各所述旋转角分别对应的图像类型标识；针对所述双光谱相机当前所在的拍摄圈，按照该拍摄圈的各旋转角，从初始角度开始逐步旋转所述双光谱相机至最终角度，并在每次旋转所述双光谱相机后，按照本次的旋转角对应的图像类型标识，通过所述双光谱相机采集可见光图像和/或热成像图像；按照各所述拍摄圈的倾斜角，将所述双光谱相机与水平方向的夹角调整为下一拍摄圈的倾斜角，继续下一拍摄圈的拍摄直至完所有拍摄圈的拍摄，从而得到各可见光图像及各热成像图像，其中，所述图像类型标识为可见光图像标识及热成像图像标识中的至少一个。
6.根据权利要求5所述的方法，其特征在于，所述将各所述可见光图像拼接为可见光全景图像，包括：
将各所述可见光图像投影到球面坐标系下；
在所述球面坐标系下对各所述可见光图像进行图像配准；
将图像配准后的各所述可见光图像进行图像融合，得到可见光全景图像。
7.根据权利要求6所述的方法，其特征在于，所述在所述球面坐标系下对各所述可见光图像进行图像配准，包括：
在所述球面坐标系下，提取各所述可见光图像的特征点；
将各所述可见光图像中的特征点进行匹配，得到特征点匹配关系；
按照所述特征点匹配关系，对各所述可见光图像进行图像配准。
8.根据权利要求5所述的方法，其特征在于，所述拍摄圈包括可见光拍摄圈及热成像拍摄圈，所述图像采集指令中还包括与各调整角度分别对应的图像类型标识；所述方法还包括：
获取预设图像重合率、所述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、所述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
按照所述预设图像重合率及所述可见光相机的镜头水平视场角，确定所述双光谱相机每个可见光拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各所述可见光拍摄圈的各旋转角对应的图像类型标识表征采集可见光图像；
按照所述预设图像重合率及所述热成像相机的镜头水平视场角，确定所述双光谱相机每个热成像拍摄圈的各旋转角及各旋转角对应的图像类型标识，其中，各所述热成像拍摄圈的各旋转角对应的图像类型标识表征采集热成像图像；
按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述可见光相机镜头垂直视场角，确定所述可见光相机的可见光拍摄圈数；
按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述热成像相机镜头垂直视场角，确定所述热成像相机的热成像拍摄圈数；
按照所述可见光拍摄圈数及所述双光谱相机的最大倾斜角，确定各可见光拍摄圈的倾斜角；
按照所述热成像拍摄圈数及所述双光谱相机的最大倾斜角，确定各热成像拍摄圈的倾斜角；
按照各拍摄圈的倾斜角、每个拍摄圈的旋转角及各旋转角对应的图像类型标识，生成所述图像采集指令。
9.根据权利要求5所述的方法，其特征在于，所述方法还包括：
获取预设图像重合率、所述双光谱相机中可见光相机的镜头水平视场角及镜头垂直视场角、所述双光谱相机中热成像相机的镜头水平视场角及镜头垂直视场角；
在所述可见光相机的镜头水平视场角及所述热成像相机的镜头水平视场角中选取较小的一个，得到目标水平视场角；在所述可见光相机的镜头垂直视场角及所述热成像相机的镜头垂直视场角中选取较小的一个，得到目标垂直视场角；
按照所述预设图像重合率、所述目标水平视场角，确定所述双光谱相机每个拍摄圈的各旋转角，其中，各旋转角的图像类型标识表征可见光图像及热成像图像；
按照所述预设图像重合率、所述双光谱相机的最大倾斜角、所述目标垂直视场角，确定所述双光谱相机的拍摄圈数；
按照所述拍摄圈数及所述双光谱相机的最大倾斜角，确定每个拍摄圈的倾斜角；
按照各拍摄圈的倾斜角、每个拍摄圈的旋转角及各旋转角对应的图像类型标识，生成所述图像采集指令。
10.一种双光谱全景图像采集装置，其特征在于，应用于无人机，所述无人机挂载双光谱相机，所述装置包括：
控制指令接收模块，用于获取飞行控制指令，按照所述飞行控制指令控制所述无人机飞行到指定位置，并使所述无人机悬停在所述指定位置；
调整数据获取模块，用于当所述无人机悬停在所述指定位置之后，在获取到图像采集指令时，获取各调整角度；
图像采集模块，用于通过所述双光谱相机采集初始角度上的可见光图像及热成像图像；按照各所述调整角度，逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像；
图像发送模块，用于将各所述可见光图像及各所述热成像图像发送给客户端，以使所述客户端分别将各所述可见光图像及各所述热成像图像拼接为可见光全景图像及热成像全景图像；所述调整角度包括所述双光谱相机对应的拍摄圈的倾斜角及拍摄圈的旋转角，其中，针对任一拍摄圈，该拍摄圈的倾斜角为该拍摄圈平面与水平平面的夹角，该拍摄圈的旋转角为所述双光谱相机在该拍摄圈平面上旋转的角度；所述按照各所述调整角度，逐次调整所述双光谱相机的拍摄角度，并在每次调整所述双光谱相机的拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像，包括：获取各所述旋转角分别对应的图像类型标识；针对所述双光谱相机当前所在的拍摄圈，按照该拍摄圈的各旋转角，从初始角度开始逐步旋转所述双光谱相机至最终角度，并在每次旋转所述双光谱相机后，按照本次的旋转角对应的图像类型标识，通过所述双光谱相机采集可见光图像和/或热成像图像；按照各所述拍摄圈的倾斜角，将所述双光谱相机与水平方向的夹角调整为下一拍摄圈的倾斜角，继续下一拍摄圈的拍摄直至完所有拍摄圈的拍摄，从而得到各可见光图像及各热成像图像，其中，所述图像类型标识为可见光图像标识及热成像图像标识中的至少一个。
11.一种双光谱全景图像采集装置，其特征在于，应用客户端，所述装置包括：
控制指令发送模块，用于向无人机发送飞行控制指令，以使所述无人机按照所述飞行控制指令飞行到指定位置，并悬停在所述指定位置，其中，所述无人机挂载双光谱相机；
采集指令发送模块，用于向所述无人机发送图像采集指令，所述图像采集指令中包括多个调整角度，所述图像采集指令用于指示所述无人机按照各所述调整角度逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像；
全景图像拼接模块，用于接收所述无人机发送的各所述可见光图像及各所述热成像图像，将各所述可见光图像拼接为可见光全景图像，将各所述热成像图像拼接为热成像全景图像；所述调整角度包括所述双光谱相机对应的拍摄圈的倾斜角及拍摄圈的旋转角，其中，针对任一拍摄圈，该拍摄圈的倾斜角为该拍摄圈平面与水平平面的夹角，该拍摄圈的旋转角为所述双光谱相机在该拍摄圈平面上旋转的角度；所述按照各所述调整角度逐次调整所述双光谱相机的拍摄角度，并在每次调整所述拍摄角度后，通过所述双光谱相机采集可见光图像和/或热成像图像，包括：获取各所述旋转角分别对应的图像类型标识；针对所述双光谱相机当前所在的拍摄圈，按照该拍摄圈的各旋转角，从初始角度开始逐步旋转所述双光谱相机至最终角度，并在每次旋转所述双光谱相机后，按照本次的旋转角对应的图像类型标识，通过所述双光谱相机采集可见光图像和/或热成像图像；按照各所述拍摄圈的倾斜角，将所述双光谱相机与水平方向的夹角调整为下一拍摄圈的倾斜角，继续下一拍摄圈的拍摄直至完所有拍摄圈的拍摄，从而得到各可见光图像及各热成像图像，其中，所述图像类型标识为可见光图像标识及热成像图像标识中的至少一个。
12.一种无人机，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求1-4任一所述的方法步骤。
13.一种客户端，其特征在于，包括处理器及存储器；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述存储器上所存放的程序时，实现权利要求5-9任一所述的方法步骤。
14.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-4任一所述的方法步骤。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求5-9任一所述的方法步骤。
CN201910185381.8A 2019-03-12 2019-03-12 双光谱全景图像采集方法、装置、无人机及客户端 Active CN111698412B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910185381.8A CN111698412B (zh) 2019-03-12 2019-03-12 双光谱全景图像采集方法、装置、无人机及客户端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910185381.8A CN111698412B (zh) 2019-03-12 2019-03-12 双光谱全景图像采集方法、装置、无人机及客户端

Publications (2)

Publication Number Publication Date
CN111698412A CN111698412A (zh) 2020-09-22
CN111698412B true CN111698412B (zh) 2022-02-01

Family

ID=72475556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910185381.8A Active CN111698412B (zh) 2019-03-12 2019-03-12 双光谱全景图像采集方法、装置、无人机及客户端

Country Status (1)

Country Link
CN (1) CN111698412B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112977859B (zh) * 2021-04-08 2022-08-26 滨州职业学院 一种基于bim无人机测绘装置及测绘方法
CN113628255B (zh) * 2021-07-28 2024-03-12 武汉三江中电科技有限责任公司 一种三光融合无损检测图像配准算法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045279A (zh) * 2015-08-03 2015-11-11 余江 一种利用无人飞行器航拍自动生成全景照片的系统及方法
CN105263000A (zh) * 2015-10-16 2016-01-20 广西大学 基于无人机载双相机的大型光伏电站巡检装置
CN105959576A (zh) * 2016-07-13 2016-09-21 北京博瑞爱飞科技发展有限公司 无人机拍摄全景图的方法及装置
CN106370305A (zh) * 2016-09-07 2017-02-01 山东大学 变电站全景式测温点预置方法
CN108900773A (zh) * 2018-07-27 2018-11-27 武汉禾木林科技有限公司 一种拍摄超高像素航拍全景图的方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6504793B2 (ja) * 2014-11-14 2019-04-24 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
CN106231191A (zh) * 2016-08-01 2016-12-14 广州优飞信息科技有限公司 全自动空中全景数据采集系统、方法及控制终端
CN107995408A (zh) * 2016-10-26 2018-05-04 贵州火星探索科技有限公司 一种360°全景拍摄系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105045279A (zh) * 2015-08-03 2015-11-11 余江 一种利用无人飞行器航拍自动生成全景照片的系统及方法
CN105263000A (zh) * 2015-10-16 2016-01-20 广西大学 基于无人机载双相机的大型光伏电站巡检装置
CN105959576A (zh) * 2016-07-13 2016-09-21 北京博瑞爱飞科技发展有限公司 无人机拍摄全景图的方法及装置
CN106370305A (zh) * 2016-09-07 2017-02-01 山东大学 变电站全景式测温点预置方法
CN108900773A (zh) * 2018-07-27 2018-11-27 武汉禾木林科技有限公司 一种拍摄超高像素航拍全景图的方法

Also Published As

Publication number Publication date
CN111698412A (zh) 2020-09-22

Similar Documents

Publication Publication Date Title
US11070725B2 (en) Image processing method, and unmanned aerial vehicle and system
CN107301620B (zh) 基于相机阵列的全景成像方法
CN106462944B (zh) 高分辨率全景vr生成器及方法
CN109003311B (zh) 一种鱼眼镜头的标定方法
CN103945210B (zh) 一种实现浅景深效果的多摄像头拍摄方法
WO2020014909A1 (zh) 拍摄方法、装置和无人机
CN104125372B (zh) 一种目标光电搜索探测方法
CN107833179A (zh) 一种红外图像的快速拼接方法及系统
CN112822402B (zh) 图像拍摄方法、装置、电子设备和可读存储介质
CN106327478A (zh) 一种鱼眼全景图像合成处理方法及装置
WO2019100219A1 (zh) 输出影像生成方法、设备及无人机
CN110099220B (zh) 一种全景拼接方法及装置
CN106464811A (zh) 用于自适应全景图像生成的系统及方法
CN106534670B (zh) 一种基于固联鱼眼镜头摄像机组的全景视频生成方法
CN111698412B (zh) 双光谱全景图像采集方法、装置、无人机及客户端
CN108513642B (zh) 一种图像处理方法、无人机、地面控制台及其图像处理系统
CN107424182B (zh) 一种热成像现场监控装置及方法
JP6451797B2 (ja) 画像処理方法及び画像処理装置
CN106485781A (zh) 基于实时视频流的三维场景构建方法及其系统
CN111105351B (zh) 一种视频序列影像拼接方法及装置
CN108737743B (zh) 基于图像拼接的视频拼接装置及视频拼接方法
TWI696147B (zh) 全景圖形成方法及系統
CN106131498B (zh) 全景视频拼接方法及装置
WO2020259444A1 (zh) 一种图像处理方法及相关设备
KR102138333B1 (ko) 파노라마 영상 생성 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Hikvision Robot Co.,Ltd.

Address before: 310052 5 / F, building 1, building 2, no.700 Dongliu Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: HANGZHOU HIKROBOT TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230711

Address after: No.555, Qianmo Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Hangzhou Hikvision Digital Technology Co.,Ltd.

Address before: 310051 room 304, B / F, building 2, 399 Danfeng Road, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: Hangzhou Hikvision Robot Co.,Ltd.