CN112840374A - 图像处理方法、图像获取装置、无人机、无人机系统和存储介质 - Google Patents

图像处理方法、图像获取装置、无人机、无人机系统和存储介质 Download PDF

Info

Publication number
CN112840374A
CN112840374A CN202080005578.XA CN202080005578A CN112840374A CN 112840374 A CN112840374 A CN 112840374A CN 202080005578 A CN202080005578 A CN 202080005578A CN 112840374 A CN112840374 A CN 112840374A
Authority
CN
China
Prior art keywords
image
camera
target area
infrared
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080005578.XA
Other languages
English (en)
Inventor
王黎
罗东阳
张青涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112840374A publication Critical patent/CN112840374A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENTS OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Abstract

一种图像处理方法、图像获取装置(200)、无人机(100)、无人机系统(1000)和计算机可读存储介质(300)。方法包括：(011)获取第一相机的第一图像并识别目标区域；(012)根据目标区域的位置确定第二相机(12)的拍摄参数；(013)根据拍摄参数获取第二相机的第二图像；(014)将第一图像和第二图像融合得到融合图像。

Description

图像处理方法、图像获取装置、无人机、无人机系统和存储 介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种用图像处理方法、图像获取装置、无人机、无人机系统以及计算机可读存储介质。
背景技术
目前，为了实现大范围的目标的监控，一般会选取定焦的短焦相机进行图像的获取，虽然对于近距离目标能够很好的进行跟随和目标细节特征的获取，但对于距离稍远的目标的拍摄精度就会明显下降，导致即使拍摄到了目标，也无法还原目标本身的特征，影响监控效果。
发明内容
本申请的实施方式提供一种用于图像处理方法、图像获取装置、无人机、无人机系统以及计算机可读存储介质。
本申请实施方式提供一种图像处理方法，应用于图像获取装置，所述图像获取装置包括第一相机和第二相机，所述第一相机的焦距小于所述第二相机的焦距，所述图像处理方法包括：获取所述第一相机拍摄的第一图像并识别目标区域；根据所述目标区域在所述第一图像中的位置，以确定所述第二相机的拍摄参数；根据所述拍摄参数控制所述第二相机获取第二图像；及将所述第一图像和所述第二图像融合，以得到融合图像。
本申请实施方式还提供一种图像获取装置，所述图像获取装置包括第一相机、第二相机和处理器，所述第一相机的焦距小于所述第二相机的焦距，所述处理器用于：获取所述第一相机拍摄的第一图像并识别目标区域；根据所述目标区域在所述第一图像中的位置，以确定所述第二相机的拍摄参数；根据所述拍摄参数控制所述第二相机获取第二图像；及将所述第一图像和所述第二图像融合，以得到融合图像。
本申请实施方式还提供一种无人机，所述无人机包括机身、图像获取装置和处理器，所述图像获取装置设置在所述机身上，所述图像获取装置包括第一相机和第二相机，所述第一相机的焦距小于所述第二相机的焦距，所述处理器用于：获取所述第一相机拍摄的第一图像并识别目标区域；根据所述目标区域在所述第一图像中的位置，以确定所述第二相机的拍摄参数；根据所述拍摄参数控制所述第二相机获取第二图像；及将所述第一图像和所述第二图像融合，以得到融合图像。
本申请实施方式还提供一种无人机系统，所述无人机系统包括无人机、图像获取装置和处理器，所述图像获取装置包括第一相机和第二相机，所述第一相机的焦距小于所述第二相机的焦距，所述处理器用于执行上述实施方式的图像处理方法。
本申请实施方式还提供一种包含计算机可执行指令的计算机可读存储介质。当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行上述实施方式的图像处理方法。
本申请实施方式的图像处理方法、图像获取装置、无人机、无人机系统和和计算机可读存储介质中，焦距较小的第一相机拍摄较大视场范围的第一图像，焦距较大的第二相机拍摄包含目标细节特征的第二图像，通过融合第一图像和第二图像以得到融合图像，使得不仅能够获取较大视场范围内的图像，不易跟丢目标，而且还可以获取到目标的细节特征，实现目标的大视场范围和高精度的拍摄，对近/远距离目标均有较好的监控效果，可以应用于安防、搜救、巡检、远距离目标红外监测等领域。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请某些实施方式的图像处理方法的流程示意图。
图2是本申请某些实施方式的无人机系统的结构示意图。
图3是本申请某些实施方式的图像处理方法的原理示意图。
图4是本申请某些实施方式的图像处理方法的流程示意图。
图5是本申请某些实施方式的图像处理方法的流程示意图。
图6是本申请某些实施方式的图像处理方法的流程示意图。
图7是本申请某些实施方式的图像处理方法的流程示意图。
图8是本申请某些实施方式的图像处理方法的流程示意图。
图9是本申请某些实施方式的图像处理方法的流程示意图。
图10是本申请某些实施方式的处理器和计算机可读存储介质的连接示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通信；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
下面详细描述本申请的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
目前，为了实现大范围的目标监控，一般会选取定焦的短焦相机进行图像的获取，虽然对于近距离目标能够很好的进行跟随和目标细节特征的获取，但对于距离稍远的目标的拍摄精度就会明显下降，导致即使拍摄到了目标，也无法还原目标本身的特征，远距离的目标监控效果较差。
若为了实现远距离目标的监控，采用长焦相机进行图像的获取，虽然能够获取到远距离目标的细节特征，但由于视场范围较小导致监控范围较小，容易丢失目标，对近距离目标的监控效果也较差。
而变焦相机虽然可以通过变焦实现远距离目标和近距离目标的监控，但也只能保持在长焦状态或短焦状态，如在长焦状态下，监控范围较小，容易跟丢目标，在短焦状态下，对远距离目标的细节特征获取不足，难以实现目标的大范围高精度的图像的获取。
为此，请参阅图1和图2，本申请实施方式提供一种图像处理方法，应用于图像获取装置10，图像获取装置10包括第一相机11和第二相机12，第一相机11的焦距小于第二相机12的焦距，该图像处理方法包括：
011：获取第一相机11拍摄的第一图像并识别目标区域；
012：根据目标区域在第一图像中的位置，以确定第二相机12的拍摄参数；
013：根据拍摄参数控制第二相机12获取第二图像；及
014：将第一图像和第二图像融合，以得到融合图像。
本申请实施方式还提供一种图像获取装置10，该图像获取装置10还包括处理器13，处理器13用于：获取第一相机11拍摄的第一图像并识别目标区域；根据目标区域在第一图像中的位置，以确定第二相机12的拍摄参数；根据拍摄参数控制第二相机12获取第二图像；及将第一图像和第二图像融合，以得到融合图像。也即是说，步骤011至步骤014可以由处理器13实现。
本申请实施方式还提供一种无人机100，无人机100包括机身20、图像获取装置10和处理器13，图像获取装置10设置在机身20上。图像获取装置10设置在无人机100上以配合无人机100进行图像的获取和处理。在其他实施方式中，图像获取装置10还可以单独作为一个设备或者作为其他监控平台上的一个组件，实现图像的获取和处理。
具体地，在一个实施例中，第一相机11可为短焦相机，其焦距可根据所需拍摄的视场范围确定。第一相机11可拍摄大视场范围的第一图像。第一图像中可能包含一个或多个目标，目标的距离可能有远有近，对于近距离可获取到细节特征的目标可直接获取包含该目标的细节特征的第一图像，且可持续跟拍多张该目标的第一图像，实现对该目标的跟踪拍摄。对于远距离目标，则在第一图像中识别该目标所在的目标区域，并确定目标区域在第一图像中的位置。
在一个例子中，在野外可疑目标监测、重大设施保护等人员较少的监控场景，第一相机11可以是红外相机(即，第一红外相机)，则第一图像为第一红外图像，红外图像可用于表征目标的温度特征和形态特征。处理器13可通过第一红外图像的像素值和/或温度值，利用人体和普通物体的热辐射差异导致的像素值差异和温度值差异，快速识别目标以确定目标区域，其中，目标区域可以是包含该目标的一个固定大小的区域，如矩形框区域、圆形框区域等。
例如，处理器13基于预设的测温算法，根据第一红外图像的像素值计算得到第一红外图像中不同区域的温度值，从而基于人体和普通物体的温度值差异识别出目标，进而确定目标区域；再例如，处理器13还可以根据第一红外图像的像素值分布进行图像特征匹配(如将图像特征和人体特征数据库的图像模板进行匹配)，从而识别出目标以确定目标区域。再例如，处理器13可基于温度值和像素值识别目标，从而准确地确定目标区域，如基于温度值确定目标的类型(如人、猫、狗、汽车、树木等)，通过温度的差异来确定目标可能的一个或多个类型，然后根据确定的一种或多种类型，选取对应的图像模板来进行图像特征匹配，从而更为快速和准确地识别目标，降低误判的几率。
在另一个例子中，第一相机11还可以是可见光相机(即，第一可见光相机)，可见光相机可用于获取目标的形态特征，则第一图像为第一可见光图像，处理器13可基于预设的图像识别算法，如提取图像特征并与数据库中的图像模型进行比对以识别目标，从而确定目标区域。
在确定目标区域在第一图像中的位置后，处理器13可根据目标区域在第一图像中的位置，确定第二相机12的拍摄参数。第二相机12可为长焦相机，其焦距可根据拍摄的视场范围和能获取到目标的细节特征的最大距离确定。
应当理解，还可以通过人工等其他方法识别目标区域，本申请的实施例在此不作限制。
拍摄参数包括拍摄角度、拍摄焦距和缩放倍数中至少一种。例如，在第二相机12为定焦相机时，其焦距是固定的，视场范围也是固定的，只需调节第二相机12的拍摄角度，以使得第二相机12的视场范围覆盖目标即可实现第二图像的获取。再例如，在第二相机12为变焦相机时，可调节拍摄焦距、缩放倍数和拍摄角度，使得视场范围覆盖目标，从而实现第二图像的获取，通过拍摄焦距和缩放倍数的调节，可使得视场范围刚好覆盖目标，使得目标基本占据整个第二图像，从而在保证目标的完整的前提下，最大精度的获取目标的细节特征。
第二相机12可以是旋转摄像头，旋转摄像头通过自身的驱动部件即可实现第二相机12的旋转角度的调节。第二相机12还可以设置在无人机100的云台30上，通过云台30来控制第二相机12的拍摄角度，例如拍摄角度包括俯仰角和偏航角，从而实现全方位的角度调节，云台30包括俯仰轴和偏航轴，通过旋转俯仰轴实现俯仰角的调节，通过旋转偏航轴实现偏航角的调节，由于相机大都是圆形镜头，故无需进行横滚轴的调节，云台30的结构较为简单；再例如，还可设置反射镜组件在第二相机12前，可通过电机调节反射镜的旋转角度，从而调整入光方向，使得目标反射的光线刚好处于入光方向上，此时，第二相机12获取到目标反射的光线(即，第二相机12的视场范围覆盖目标)。应当理解，本申请的实施例不限制第二相机获取第二图像的方式。
在根据拍摄参数控制第二相机12拍摄目标以获取到第二图像后，将第一图像和第二图像融合，以得到融合图像。例如，请参阅图3，将第二图像P2和第一图像P1中的目标区域对应的部分S进行融合，如将目标区域对应的部分S替换为第二图像P2以得到融合图像P3。使得融合图像P3中包含了目标的细节特征，可以应用于安防、搜救、巡检、远距离目标红外监测等领域。
可以理解，第一图像是包含了目标的大视场范围的图像，第二图像是包含了目标的小视场范围的图像，也即是说，第二图像的拍摄内容对应第一图像中的目标区域的内容，在融合时，可直接将第一图像中的目标区域替换为包含了目标细节特征的第二图像，融合图像不仅包含第一图像的大视场范围的区域的图像，且还包括了目标所在区域的细节特征，从而实现了包含目标的大视场范围且高精度的融合图像的获取。
本申请的图像处理方法、图像获取装置10、和无人机100中，通过融合焦距较小的第一相机11拍摄的大视场范围的第一图像，和焦距较大的第二相机12拍摄的包含目标细节特征的第二图像，以得到融合图像，使得不仅能够获取较大视场范围内的图像，不易跟丢目标，而且还可以获取到目标的细节特征，实现目标的大视场范围和高精度的拍摄，对近/远距离目标的均有较好的监控效果。
请参阅图2和图4，在某些实施方式中，步骤012包括：
0121：基于第一图像建立坐标系；
0122：确定目标区域在第一图像中的位置坐标；及
0123：基于预设的映射表，确定与位置坐标对应的拍摄角度。
在某些实施方式中，处理器13还用于基于第一图像建立坐标系；确定目标区域在第一图像中的位置坐标；及基于预设的映射表，确定与位置坐标对应的拍摄角度。也即是说，步骤0121、步骤0122和步骤0123可以由处理器13实现。
具体地，在图像获取装置10出厂前，要对其进行标定，除了对第一相机11和第二相机12进行外部参数和内部参数的标定外，还需要对目标区域和拍摄角度进行标定，可以理解，在拍摄目标时，随着目标在第一图像的位置的变化，第二相机12的拍摄角度随之变化，即，目标在第一图像中的位置和拍摄角度是存在对应关系的，因此，在出厂前可通过标定的方式建立映射表以建立目标区域和拍摄角度的映射表。然后基于第一图像建立坐标系，以获取目标区域在第一图像的位置坐标，处理器13根据位置坐标即可从映射表快速读取到对应的拍摄角度。
请参阅图2和图5，在某些实施方式中，在步骤012之前，图像处理方法还包括：
015：控制第一相机11拍摄标定板以获取第一标定图像，标定板包括多个特征区域，第一标定图像包括与特征区域对应的标定区域，标定板覆盖第一相机11的视场范围；
016：控制第二相机12的光轴对准特征区域的中心，依次获取与特征区域对应的旋转角度；及
017：基于与特征区域对应的标定区域、和与特征区域对应的旋转角度，建立映射表。
在某些实施方式中，处理器13还用于控制第一相机11拍摄标定板以获取第一标定图像，标定板包括多个特征区域，第一标定图像包括与特征区域对应的标定区域，标定板覆盖第一相机11的视场范围；控制第二相机12的光轴对准特征区域的中心，依次获取与特征区域对应的旋转角度；及基于与特征区域对应的标定区域、和与特征区域对应的旋转角度，建立映射表。也即是说，步骤015、步骤016和步骤017可以由处理器13实现。
具体地，在标定过程中，处理器13先控制第一相机11拍摄标定板以获取第一标定图像，标定板包括多个特征区域，第一标定图像包括与特征区域对应的标定区域。在标定拍摄时，标定板覆盖第一相机11的视场范围，如第一相机11的视场范围刚好被标定板覆盖，或者第一相机11的视场范围位于标定板内，以拍摄部分标定板；从而使得第一图像基本全部由与特征区域对应的标定区域组成。
然后保持标定板固定，处理器13控制第二相机12的光轴对准特征区域的中心，然后处理器13获取此时的第二相机12的旋转角度，建立旋转角度和与特征区域对应的标定区域的映射关系，对每个特征区域重复该标定过程，即可得到标定板上所有特征区域对应的标定区域和旋转角度的映射关系，从而建立完整的映射表。特征区域可以与第二相机12的视场范围的形状相同，如第二相机12的视场范围的形状为矩形，则特征区域为矩形，在实现第二相机12的光轴对准特征区域的中心时，可通过判断第二图像的中心和特征区域对应的标定区域的中心的图像特征是否匹配，在匹配时即可确定第二相机12的光轴对准了特征区域的中心，有利于提高标定精度。
请参阅图2和图6，在某些实施方式中，步骤0123包括：
0123a：根据目标区域的中心位置坐标确定对应的目标标定区域；及
0123b：基于预设的映射表，确定目标标定区域对应的拍摄角度。
在某些实施方式中，处理器13还用于根据目标区域的中心位置坐标确定对应的目标标定区域；及基于预设的映射表，确定目标标定区域对应的拍摄角度。也即是说，步骤0123a和步骤0123b可以由处理器13实现。
具体地，处理器13根据位置坐标从映射表快速读取到对应的拍摄角度时，由于拍摄角度是与标定区域匹配的，因此需要先确定目标区域对应的目标标定区域，具体为：处理器13先确定目标区域的中心位置坐标，然后获取包含该中心位置坐标的标定区域以作为目标标定区域，最后从映射表中读取与该目标标定区域对应的拍摄角度。
请参阅图2和图7，在某些实施方式中，步骤013包括：
0131：根据拍摄参数控制第二相机12获取测试图像；
0132：计算测试图像与目标区域的图像的偏移度；及
0133：根据偏移度调整拍摄角度，并以调整后的拍摄角度控制第二相机12获取第二图像。
在某些实施方式中，处理器13还用于根据拍摄参数控制第二相机12获取测试图像；计算测试图像与目标区域的图像的偏移度；及根据偏移度调整拍摄角度，并以调整后的拍摄角度控制第二相机12获取第二图像。也即是说，步骤0131、步骤0132和步骤0133可以由处理器13实现。
具体地，目标区域的中心位置和目标标定区域的中心位置可能是存在差异的，因此，处理器13可以该拍摄角度控制第二相机12获取测试图像，然后将测试图像和目标区域的图像进行对比，例如确定第一图像中与测试图像匹配的匹配区域，然后计算该匹配区域的中心位置坐标和目标区域的中心位置坐标的偏差，根据该偏差确定偏移度。例如，偏移度包括偏航调节角度和俯仰调节角度，匹配区域的中心位置坐标和目标区域的中心位置坐标的横坐标的偏差越大，则需要调节的偏航角越大，匹配区域的中心位置坐标和目标区域的中心位置坐标的纵坐标偏差越大，则需要调节的俯仰角越大，从而结合图像特征实现对拍摄角度的进一步调整，提高拍摄角度获取的准确性。
在其他实施方式中，处理器13在根据初始的映射表得到目标标定区域对应的拍摄角度后，处理器13可直接根据目标区域的中心位置和目标标定区域的中心位置的差异计算偏移度，然后根据偏移度进一步对拍摄角度进行调整，提高拍摄角度获取的准确性。
请参阅图2和图8，在某些实施方式中，步骤013还包括：
0134：根据多个拍摄参数控制第二相机12分时拍摄以得到多张第二图像，第二图像和目标区域一一对应。
在某些实施方式中，处理器13还用于根据多个拍摄参数控制第二相机12分时拍摄以得到多张第二图像，第二图像和目标区域一一对应。也即是说，步骤0134可以由处理器13实现。
具体地，在实际应用场景(如野外可疑目标检测)中，目标可能为多个，目标区域即为多个，处理器13若要实现对所有目标的细节特征的获取，则需要控制第二相机12分时拍摄，以分别得到多张第二图像，每张第二图像包含对应的目标细节特征。在分时拍摄时，首先根据第一图像中多个目标区域在第一图像中的位置，从映射表中获取每个目标区域对应的拍摄参数，然后依次以获取的多个拍摄参数分时控制第二相机12拍摄多张第二图像，第二图像和目标区域一一对应。
在融合时，将每个第二图像和第一图像中与目标区域对应的部分进行融合以得到融合图像。目标区域的大小为预设的，目标区域包括的场景范围大小和第二图像包括的场景范围大小可能并不一致，因此在融合时，第二图像要先确定其在第一图像中的融合部分(即，第一图像中与目标区域对应的部分)，例如，处理器13将第二图像与第一图像进行特征匹配，通过对第二图像的边界特征点的匹配确定融合部分，从而将第二图像和融合部分进行融合(如将融合部分替换为第二图像)，然后分别对每个第二图像和对应的融合部分进行融合，以得到融合图像，此时的融合图像同时包含了多个目标的细节特征。再例如，当第一相机11和第二相机12的焦距确定后，两者的视场范围的重合部分就确定了，处理器13可根据第一相机11和第二相机12的焦距比例确定该重合部分(目标区域对应的部分)在第一图像中的比例(即，融合部分的大小)。在一个实施例中，处理器13可根据融合部分的比例/大小，以目标区域的中心为融合部分的中心，从而准确地确定融合部分。
当然，考虑到融合部分和第二图像的尺寸差异，需要先进行尺寸(如分辨率)的转换，使得融合部分的尺寸和第二图像的尺寸基本相同，再将融合部分替换为第二图像。此时的融合部分才能将第二图像的所有图像特征均包含进去。例如，处理器13可根据融合部分和第二图像的尺寸比例，先放大第一图像的尺寸，以使得放大后的融合部分(即放大后的第一图像中与目标区域对应的部分)和第二图像的尺寸相同，然后再将放大后的融合部分替换为第二图像以获取融合图像；再例如，处理器13可根据融合部分和第二图像的尺寸比例，先缩小第二图像的尺寸，以使得缩小后的第二图像和融合部分(即第一图像中与目标区域对应的部分)的尺寸相同，然后再将融合部分替换为缩小后的第二图像以获取融合图像；再例如，处理器13可根据融合部分和第二图像的尺寸比例，先将第一图像的尺寸缩放到第一尺寸，再将第二图像的尺寸缩放到第二尺寸，使得缩放后的融合部分(即缩放后的第一图像中与目标区域对应的部分)的尺寸等于第二尺寸，再将缩放后的融合部分替换为第二图像以获取融合图像。
在其他实施方式中，第二相机12可以是多个，例如第二相机12为两个、三个、四个等，处理器13在获取到多个目标区域对应的多个拍摄参数后，给第二相机12分配拍摄参数，在拍摄参数的个数大于第二相机12的个数时，每个第二相机12至少分配一个拍摄参数，其中，分配了多个拍摄参数的第二相机12则进行分时拍摄以得到每个拍摄参数对应的第二图像；在拍摄参数小于或等于第二相机12的个数时，分配了拍摄参数的第二相机12可同时进行第二图像的获取，从而同时获取到多个目标的细节特征。在仅通过一个第二相机12分时拍摄以获取多个第二图像的实施例中，需要频繁的调整拍摄参数，相比之下，在通过多个第二相机12获取多个第二图像的实施例中，可以同时获取到多个目标的细节特征，不易丢失目标，可更为快速和准确地实现多个目标的细节特征的获取。
请参阅图2和图9，在某些实施方式中，第一相机11包括第一可见光相机和第一红外相机，第二相机12包括第二可见光相机和第二红外相机，步骤011包括：
0111：获取第一可见光相机拍摄的第一可见光图像、和第一红外相机拍摄的第一红外图像；
步骤013包括：
0135：根据拍摄参数控制第二可见光相机获取第二可见光图像、和控制第二红外相机获取第二红外图像；
在步骤014之前，本申请的一个实施例的图像处理方法还包括：
步骤014’：根据第一红外图像和第二红外图像确定融合温度信息；
步骤014包括：
0141：将融合温度信息、第一可见光图像和第二可见光图像融合，以得到融合图像。
在某些实施方式中，处理器13还用于获取第一可见光相机拍摄的第一可见光图像、和第一红外相机拍摄的第一红外图像；根据拍摄参数控制第二可见光相机获取第二可见光图像、和控制第二红外相机获取第二红外图像；根据第一红外图像和第二红外图像确定融合温度信息；及将融合温度信息、第一可见光图像和第二可见光图像融合，以得到融合图像。也即是说，步骤0111、步骤0135、步骤014’和步骤0141可以由处理器13实现。
具体地，第一可见光相机可获取第一可见光图像，第一红外相机可获取第一红外图像；处理器13根据基于预设的图像识别算法，如提取图像特征并与数据库中的图像模型进行比对以识别目标，从而确定第一可见光图像的目标区域(下称第一目标区域)。处理器13通过第一红外图像的像素值和/或温度值，利用人体和普通物体的热辐射差异导致的像素值差异和温度值差异，快速识别目标以确定第一红外图像的目标区域(下称第二目标区域)。本实施方式中，第一目标区域和第二目标区域一一对应，均对应同一个目标。
可以理解，第二可见光相机的拍摄参数根据第一目标区域在第一可见光图像中的位置确定，而第二红外相机的拍摄参数根据第二目标区域在第一红外图像中的位置确定，处理器13根据对应的拍摄参数可控制第二可见光相机获取第二可见光图像，控制第二红外相机可获取第二红外图像。
在融合时，第一红外图像由于视场范围较大，目标所占的像素会较少，能够获取到的红外信息较少，第二红外图像视场范围较小，第二红外图像可包含目标更多的红外信息，而红外信息可用于表征目标的温度信息，处理器13可根据第一红外图像和第二红外图像共同确定目标的融合温度信息。
具体地，在一个实施例中，处理器13根据第一红外图像确定第一温度信息，根据第二红外图像确定第二温度信息；及根据第一温度信息和第二温度信息确定融合温度信息。
例如，处理器13根据第一红外图像中的融合部分(即，第二目标区域对应的部分)的像素值计算第一温度信息，根据第二红外图像的像素值计算第二温度信息。
第一温度信息可以是融合部分的像素平均值对应的温度，第二温度信息可以是第二红外图像的像素平均值对应的温度；处理器13根据第一温度信息和第二温度信息确定融合温度信息。
例如，融合温度信息以第一温度信息(第二温度信息)为基准温度信息，通过第二温度信息(第一温度信息)对该基准温度信息进行调整，在第二温度信息和第一温度信息的差值大于预定阈值时，取第二温度信息和第一温度信息的平均值作为融合温度信息，或基于该差值确定调整值，然后根据调整值对基准温度信息进行调整；而在第二温度信息和第一温度信息的差值小于或等于预定阈值时，则直接以第一温度信息(第二温度信息)作为融合温度信息。
再例如，处理器以第二红外图像替换第一红外图像中的融合部分，然后根据第二红外图像的边缘部分的像素值和第一红外图像中与第二红外图像接壤的部分的像素值，对第二红外图像进行平滑处理，平滑处理可使得该边缘部分的像素值平滑过渡到该接壤的部分的像素值。然后以平滑处理后的融合部分的像素值确定融合温度信息，如以融合部分的像素平均值对应的温度作为融合温度信息。
在确定融合温度信息后，处理器13将融合温度信息、第一可见光图像和第二可见光图像融合，以得到融合图像。
在一个例子中，在融合时，首先将第一可见光图像和第二可见光图像融合以得到中间图像，如将第一可见光图像中目标区域对应的部分(即，融合部分)替换为第二可见光图像，然后处理器13根据融合部分的形状和融合温度信息，生成温度指示圈，温度指示圈的形状和融合部分的形状相匹配，例如融合部分为矩形，则温度指示圈为矩形线框；或者，融合部分为圆形，则温度指示圈为圆形线框；然后处理器13将温度指示圈加入到中间图像的融合部分对应的位置，并使得温度指示圈包围融合部分(即，温度指示圈大于融合部分)，温度指示圈的加入并不会过多的遮挡第一可见光图像，仅用于圈出想要标识的目标。温度指示圈还可用于显示温度的高低，例如随着温度的升高，温度指示圈从浅红到深红变化，从而形象地指示被圈住的融合部分的目标的温度。如此，融合图像不仅包含目标的可见光的细节特征，还能够直观地显示目标当前的温度信息。在其他实施方式中，处理器13先识别融合部分中的目标并确定目标的形状，然后在目标边缘进行描边以确定温度指示圈的形状，并以与融合温度信息对应的颜色显示该温度指示圈，从而更为形象的圈出当前目标并直观地显示温度信息。
在另一个例子中，处理器将第一可见光图像和第二可见光图像融合以得到中间图像后，直接以数字的形式显示融合部分的温度，以生成融合图像；或者，中间图像融合了融合温度信息以生成融合图像，融合图像在初始时并不显示温度，只有当用户点选相应的目标时才显示该目标的温度，并在预定时长后自动消失，使得温度的显示不会遮挡融合图像。
应当理解，根据实际需要，本申请实施例还可以包括将第一红外图像与第二红外图像融合、第一红外图像与第二可见光图像融合、将第一可见光图像与第二红外图像融合等组合情况。本申请包括可见光相机的实施例能够实现多光融合功能，能够获得更加丰富的图像信息，更加便于用户进行图像数据的分析。
请再次参阅图2，本申请实施方式还提供一种无人机系统1000，无人机系统1000包括无人机100、图像获取装置10、遥控器200和处理器13，图像获取装置10包括第一相机11和第二相机12，第一相机11的焦距小于第二相机12的焦距，处理器13用于执行上述任一实施方式的图像处理方法。例如，处理器13可用于执行步骤011、步骤012、步骤013和步骤014；或者处理器13用于执行0121、步骤0122和步骤0123等。
如图2所示，在某些实施方式中，处理器13可设置在无人机100和/或遥控器200上。例如，处理器13可设置在无人机100上，或者，处理器13可设置在遥控器200上；或者，处理器13为多个(如2个)，其中一个设置在无人机100上，另一个设置在遥控器200上。本实施方式中，处理器13设置在无人机100上。
在处理器13设置在无人机100(遥控器200)时，上述图像处理方法中的步骤均可在无人机100(遥控器200)的处理器13执行。在处理器13为多个且分别设置在无人机100和遥控器200时，上述图像处理方法中的步骤可以都在无人机100的处理器13或遥控器200的处理器13中执行，或者一部分在无人机100的处理器13执行，另一部分在遥控器200的处理器13中执行。
请参阅图10，本申请实施方式的一种包含计算机可执行指令302的非易失性计算机可读存储介质300，当计算机可执行指令302被一个或多个处理器13执行时，使得处理器13执行上述任一实施方式的图像处理方法。例如，请结合图1，计算机可执行指令302被处理器13执行时，使得处理器13执行以下步骤：
011：获取第一相机11拍摄的第一图像并识别目标区域；
012：根据目标区域在第一图像中的位置，以确定第二相机12的拍摄参数；
013：根据拍摄参数控制第二相机12获取第二图像；及
014：将第一图像和第二图像融合，以得到融合图像。
再例如，请结合图4，计算机可执行指令302被处理器13执行时，使得处理器13执行以下步骤：
0121：基于第一图像建立坐标系；
0122：确定目标区域在第一图像中的位置坐标；及
0123：基于预设的映射表，确定与位置坐标对应的拍摄角度。
本申请的实施例能够在大视场的图像基础上，提高远距离目标区域的成像细节和物体识别的准确度，实现局部超分辨率的功能，模拟出人眼对远距离目标点的观测效果，且舍弃掉非目标区域的远距离细节，能够节省图像、视频文件的大小；本申请的实施例还能够借助红外相机本身对于物体温度的极敏感的特点，非常容易地检测到视场内温度异常的目标物体，再配合长焦红外相机，可以快速、自动地定位到异常物体，并拍摄丰富的图像信息；本申请的实施例还能够利用云台完成多个远距离目标区域的成像，可以提高超分辨率区域的数量；本申请的实施例还能够配合可见光相机，实现多光融合功能，能够获得更加丰富的图像信息，更加便于用户进行图像数据的分析。
在本说明书的描述中，参考术语“一个实施方式”、“一些实施方式”、“示意性实施方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于执行特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的执行，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于执行逻辑功能的可执行指令的定序列表，可以具体执行在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (60)

1.一种图像处理方法，其特征在于，应用于图像获取装置，所述图像获取装置包括第一相机和第二相机，所述第一相机的焦距小于所述第二相机的焦距，所述图像处理方法包括：
获取所述第一相机拍摄的第一图像并识别目标区域；
根据所述目标区域在所述第一图像中的位置，以确定所述第二相机的拍摄参数；
根据所述拍摄参数控制所述第二相机获取第二图像；及
将所述第一图像和所述第二图像融合，以得到融合图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述第一相机包括第一红外相机，所述获取所述第一相机拍摄的第一图像并识别目标区域，包括：
获取所述第一红外相机拍摄的第一红外图像；及
基于所述第一红外图像的像素值和/或温度值，识别所述第一红外图像中的所述目标区域。
3.根据权利要求1所述的图像处理方法，其特征在于，所述第一相机包括第一可见光相机，所述获取所述第一相机拍摄的第一图像并识别目标区域，包括：
获取所述第一可见光相机拍摄的第一可见光图像；及
基于预设的图像识别算法，识别所述第一可见光图像中的所述目标区域。
4.根据权利要求1-3中任一项所述的图像处理方法，其特征在于，所述拍摄参数包括拍摄角度、拍摄焦距和缩放倍数中至少一种。
5.根据权利要求4所述的图像处理方法，其特征在于，所述拍摄参数包括拍摄角度，所述根据所述目标区域在所述第一图像中的位置，以确定所述第二相机的拍摄参数，包括：
基于所述第一图像建立坐标系；
确定所述目标区域在所述第一图像中的位置坐标；及
基于预设的映射表，确定与所述位置坐标对应的所述拍摄角度。
6.根据权利要求5所述的图像处理方法，其特征在于，在所述根据所述目标区域在所述第一图像中的位置，以确定所述第二相机的拍摄参数的步骤之前，还包括：
控制所述第一相机拍摄标定板以获取第一标定图像，所述标定板包括多个特征区域，所述第一标定图像包括与所述特征区域对应的标定区域，所述标定板覆盖所述第一相机的视场范围；
控制所述第二相机的光轴对准所述特征区域的中心，依次获取与所述特征区域对应的旋转角度；及
基于与所述特征区域对应的所述标定区域、和与所述特征区域对应的所述旋转角度，建立所述映射表。
7.根据权利要求6所述的图像处理方法，其特征在于，所述基于预设的映射表，确定与所述位置坐标对应的所述拍摄角度，包括：
根据所述目标区域的中心位置坐标确定对应的目标标定区域；及
基于预设的映射表，确定所述目标标定区域对应的所述拍摄角度。
8.根据权利要求5-7中任一项所述的图像处理方法，其特征在于，所述拍摄角度包括俯仰角和偏航角。
9.根据权利要求1所述的图像处理方法，其特征在于，所述第二相机为旋转摄像头。
10.根据权利要求4所述的图像处理方法，其特征在于，所述第二相机设置在云台上，所述云台用于控制所述第二相机的所述拍摄角度。
11.根据权利要求4所述的图像处理方法，其特征在于，所述根据所述拍摄参数控制所述第二相机获取第二图像，包括：
根据所述拍摄参数控制所述第二相机获取测试图像；
计算所述测试图像与所述目标区域的图像的偏移度；及
根据所述偏移度调整所述拍摄角度，并以调整后的所述拍摄角度控制所述第二相机获取所述第二图像。
12.根据权利要求1所述的图像处理方法，其特征在于，所述目标区域为多个，所述拍摄参数和所述目标区域一一对应，所述根据所述拍摄参数控制所述第二相机获取第二图像，包括：
根据多个所述拍摄参数控制所述第二相机分时拍摄以得到多张所述第二图像，所述第二图像和所述目标区域一一对应。
13.根据权利要求1所述的图像处理方法，其特征在于，所述目标区域为多个，所述拍摄参数和所述目标区域一一对应，所述第二相机为多个，所述根据所述拍摄参数控制所述第二相机获取第二图像，包括：
为所述第二相机分配所述拍摄参数；及
控制分配到所述拍摄参数的所述第二相机，根据对应的所述拍摄参数获取所述第二图像，所述第二图像和所述目标区域一一对应。
14.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第一图像和所述第二图像融合，以得到融合图像，包括：
将所述第一图像缩放到第一尺寸及将所述第二图像缩放到第二尺寸，以使得缩放后的所述第一图像中与所述目标区域对应的部分的尺寸与所述第二尺寸相同；及
将缩放后的所述第一图像中与所述目标区域对应的部分替换为所述第二图像。
15.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第一图像和所述第二图像融合，以得到融合图像，包括：
放大所述第一图像的尺寸，以使得放大后的所述第一图像中与所述目标区域对应的部分的尺寸等于所述第二图像的尺寸；及
将放大后的所述第一图像中与所述目标区域对应的部分替换为所述第二图像。
16.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第一图像和所述第二图像融合，以得到融合图像，包括：
缩小所述第二图像的尺寸，以使得缩小后的所述第二图像的尺寸等于所述第一图像中与所述目标区域对应的部分的尺寸；及
将所述第一图像中与所述目标区域对应的部分替换为缩小后的所述第二图像。
17.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：
根据所述第一相机和所述第二相机的焦距比例确定所述目标区域对应的部分在所述第一图像中的比例。
18.根据权利要求1所述的图像处理方法，其特征在于，所述第一相机包括第一可见光相机和第一红外相机，所述第二相机包括第二可见光相机和第二红外相机，所述获取所述第一相机拍摄的第一图像并识别目标区域，包括：
获取所述第一可见光相机拍摄的第一可见光图像、和所述第一红外相机拍摄的第一红外图像；
所述根据所述拍摄参数控制所述第二相机获取第二图像，包括：
根据所述拍摄参数控制所述第二可见光相机获取第二可见光图像、和控制所述第二红外相机获取第二红外图像；
所述图像处理方法还包括：
根据所述第一红外图像和所述第二红外图像确定融合温度信息；
所述将所述第一图像和所述第二图像融合，以得到融合图像，包括：
将所述融合温度信息、所述第一可见光图像和所述第二可见光图像融合，以得到所述融合图像。
19.根据权利要求18所述的图像处理方法，其特征在于，所述根据所述第一红外图像和所述第二红外图像确定融合温度信息，包括：
根据所述第一红外图像确定第一温度信息；
根据所述第二红外图像确定第二温度信息；及
根据所述第一温度信息和所述第二温度信息确定所述融合温度信息。
20.一种图像获取装置，其特征在于，所述图像获取装置包括第一相机、第二相机和处理器，所述第一相机的焦距小于所述第二相机的焦距，所述处理器用于：
获取所述第一相机拍摄的第一图像并识别目标区域；
根据所述目标区域在所述第一图像中的位置，以确定所述第二相机的拍摄参数；
根据所述拍摄参数控制所述第二相机获取第二图像；及
将所述第一图像和所述第二图像融合，以得到融合图像。
21.根据权利要求20所述的图像获取装置，其特征在于，所述第一相机包括第一红外相机，所述处理器还用于：
获取所述第一红外相机拍摄的第一红外图像；及
基于所述第一红外图像的像素值和/或温度值，识别所述第一红外图像中的所述目标区域。
22.根据权利要求20所述的图像获取装置，其特征在于，所述第一相机包括第一可见光相机，所述处理器还用于：
获取所述第一可见光相机拍摄的第一可见光图像；及
基于预设的图像识别算法，识别所述第一可见光图像中的所述目标区域。
23.根据权利要求20-22中任一项所述的图像获取装置，其特征在于，所述拍摄参数包括拍摄角度、拍摄焦距和缩放倍数中至少一种。
24.根据权利要求23所述的图像获取装置，其特征在于，所述处理器还用于：
基于所述第一图像建立坐标系；
确定所述目标区域在所述第一图像中的位置坐标；及
基于预设的映射表，确定与所述位置坐标对应的所述拍摄角度。
25.根据权利要求24所述的图像获取装置，其特征在于，所述处理器还用于：
控制所述第一相机拍摄标定板以获取第一标定图像，所述标定板包括多个特征区域，所述第一标定图像包括与所述特征区域对应的标定区域，所述标定板覆盖所述第一相机的视场范围；
控制所述第二相机的光轴对准所述特征区域的中心，依次获取与所述特征区域对应的旋转角度；及
基于与所述特征区域对应的所述标定区域、和与所述特征区域对应的所述旋转角度，建立所述映射表。
26.根据权利要求25所述的图像获取装置，其特征在于，所述处理器还用于：
根据所述目标区域的中心位置坐标确定对应的目标标定区域；及
基于预设的映射表，确定所述目标标定区域对应的所述拍摄角度。
27.根据权利要求24-26中任一项所述的图像获取装置，其特征在于，所述拍摄角度包括俯仰角和偏航角。
28.根据权利要求20所述的图像获取装置，其特征在于，所述第二相机为旋转摄像头。
29.根据权利要求23所述的图像获取装置，其特征在于，所述第二相机设置在云台上，所述云台用于控制所述第二相机的所述拍摄角度。
30.根据权利要求23所述的图像获取装置，其特征在于，所述处理器还用于：
根据所述拍摄参数控制所述第二相机获取测试图像；
计算所述测试图像与所述目标区域的图像的偏移度；及
根据所述偏移度调整所述拍摄角度，并以调整后的所述拍摄角度控制所述第二相机获取所述第二图像。
31.根据权利要求20所述的图像获取装置，其特征在于，所述目标区域为多个，所述拍摄参数和所述目标区域一一对应，所述处理器还用于：
根据多个所述拍摄参数控制所述第二相机分时拍摄以得到多张所述第二图像，所述第二图像和所述目标区域一一对应。
32.根据权利要求20所述的图像获取装置，其特征在于，所述目标区域为多个，所述拍摄参数和所述目标区域一一对应，所述第二相机为多个，所述处理器还用于：
为所述第二相机分配所述拍摄参数；及
控制分配到所述拍摄参数的所述第二相机，根据对应的所述拍摄参数获取所述第二图像，所述第二图像和所述目标区域一一对应。
33.根据权利要求20所述的图像获取装置，其特征在于，所述处理器还用于：
将所述第一图像缩放到第一尺寸及将所述第二图像缩放到第二尺寸，以使得缩放后的所述第一图像中与所述目标区域对应的部分的尺寸与所述第二尺寸相同；及
将缩放后的所述第一图像中与所述目标区域对应的部分替换为所述第二图像。
34.根据权利要求20所述的图像获取装置，其特征在于，所述处理器还用于：
放大所述第一图像的尺寸，以使得放大后的所述第一图像中与所述目标区域对应的部分的尺寸等于所述第二图像的尺寸；及
将放大后的所述第一图像中与所述目标区域对应的部分替换为所述第二图像。
35.根据权利要求20所述的图像获取装置，其特征在于，所述处理器还用于：
缩小所述第二图像的尺寸，以使得缩小后的所述第二图像的尺寸等于所述第一图像中与所述目标区域对应的部分的尺寸；及
将所述第一图像中与所述目标区域对应的部分替换为缩小后的所述第二图像。
36.根据权利要求20所述的图像获取装置，其特征在于，所述处理器还用于：根据所述第一相机和所述第二相机的焦距比例确定所述目标区域对应的部分在所述第一图像中的比例。
37.根据权利要求20所述的图像获取装置，其特征在于，所述第一相机包括第一可见光相机和第一红外相机，所述第二相机包括第二可见光相机和第二红外相机，所述处理器还用于：获取所述第一可见光相机拍摄的第一可见光图像、和所述第一红外相机拍摄的第一红外图像；根据所述拍摄参数控制所述第二可见光相机获取第二可见光图像、和控制所述第二红外相机获取第二红外图像；根据所述第一红外图像和所述第二红外图像确定融合温度信息；及将所述融合温度信息、所述第一可见光图像和所述第二可见光图像融合，以得到所述融合图像。
38.根据权利要求37所述的图像获取装置，其特征在于，所述处理器还用于：
根据所述第一红外图像确定第一温度信息；
根据所述第二红外图像确定第二温度信息；及
根据所述第一温度信息和所述第二温度信息确定所述融合温度信息。
39.一种无人机，其特征在于，所述无人机包括机身、图像获取装置和处理器，所述图像获取装置设置在所述机身上，所述图像获取装置包括第一相机和第二相机，所述第一相机的焦距小于所述第二相机的焦距，所述处理器用于：
获取所述第一相机拍摄的第一图像并识别目标区域；
根据所述目标区域在所述第一图像中的位置，以确定所述第二相机的拍摄参数；
根据所述拍摄参数控制所述第二相机获取第二图像；及
将所述第一图像和所述第二图像融合，以得到融合图像。
40.根据权利要求39所述的无人机，其特征在于，所述第一相机包括第一红外相机，所述处理器还用于：
获取所述第一红外相机拍摄的第一红外图像；及
基于所述第一红外图像的像素值和/或温度值，识别所述第一红外图像中的所述目标区域。
41.根据权利要求39所述的无人机，其特征在于，所述第一相机包括第一可见光相机，所述处理器还用于：
获取所述第一可见光相机拍摄的第一可见光图像；及
基于预设的图像识别算法，识别所述第一可见光图像中的所述目标区域。
42.根据权利要求39-41中任一项所述的无人机，其特征在于，所述拍摄参数包括拍摄角度、拍摄焦距和缩放倍数中至少一种。
43.根据权利要求42所述的无人机，其特征在于，所述处理器还用于：
基于所述第一图像建立坐标系；
确定所述目标区域在所述第一图像中的位置坐标；及
基于预设的映射表，确定与所述位置坐标对应的所述拍摄角度。
44.根据权利要求43所述的无人机，其特征在于，所述处理器还用于：
控制所述第一相机拍摄标定板以获取第一标定图像，所述标定板包括多个特征区域，所述第一标定图像包括与所述特征区域对应的标定区域，所述标定板覆盖所述第一相机的视场范围；
控制所述第二相机的光轴对准所述特征区域的中心，依次获取与所述特征区域对应的旋转角度；及
基于与所述特征区域对应的所述标定区域、和与所述特征区域对应的所述旋转角度，建立所述映射表。
45.根据权利要求44所述的无人机，其特征在于，所述处理器还用于：
根据所述目标区域的中心位置坐标确定对应的目标标定区域；及
基于预设的映射表，确定所述目标标定区域对应的所述拍摄角度。
46.根据权利要求43-45任一项所述的无人机，其特征在于，所述拍摄角度包括俯仰角和偏航角。
47.根据权利要求39所述的无人机，其特征在于，所述第二相机为旋转摄像头。
48.根据权利要求42所述的无人机，其特征在于，所述无人机还包括云台，所述第二相机设置在所述云台上，所述云台用于控制所述第二相机的所述拍摄角度。
49.根据权利要求42所述的无人机，其特征在于，所述处理器还用于：
根据所述拍摄参数控制所述第二相机获取测试图像；
计算所述测试图像与所述目标区域的图像的偏移度；及
根据所述偏移度调整所述拍摄角度，并以调整后的所述拍摄角度控制所述第二相机获取所述第二图像。
50.根据权利要求39所述的无人机，其特征在于，所述目标区域为多个，所述拍摄参数和所述目标区域一一对应，所述处理器还用于：
根据多个所述拍摄参数控制所述第二相机分时拍摄以得到多张所述第二图像，所述第二图像和所述目标区域一一对应。
51.根据权利要求39所述的无人机，其特征在于，所述目标区域为多个，所述拍摄参数和所述目标区域一一对应，所述第二相机为多个，所述处理器还用于：
为所述第二相机分配所述拍摄参数；及
控制分配到所述拍摄参数的所述第二相机，根据对应的所述拍摄参数获取所述第二图像，所述第二图像和所述目标区域一一对应。
52.根据权利要求39所述的无人机，其特征在于，所述处理器还用于：
将所述第一图像缩放到第一尺寸及将所述第二图像缩放到第二尺寸，以使得缩放后的所述第一图像中与所述目标区域对应的部分的尺寸与所述第二尺寸相同；及
将缩放后的所述第一图像中与所述目标区域对应的部分替换为所述第二图像。
53.根据权利要求39所述的无人机，其特征在于，所述处理器还用于：
放大所述第一图像的尺寸，以使得放大后的所述第一图像中与所述目标区域对应的部分的尺寸等于所述第二图像的尺寸；及
将放大后的所述第一图像中与所述目标区域对应的部分替换为所述第二图像。
54.根据权利要求39所述的无人机，其特征在于，所述处理器还用于：
缩小所述第二图像的尺寸，以使得缩小后的所述第二图像的尺寸等于所述第一图像中与所述目标区域对应的部分的尺寸；及
将所述第一图像中与所述目标区域对应的部分替换为缩小后的所述第二图像。
55.根据权利要求39所述的无人机，其特征在于，所述处理器还用于:根据所述第一相机和所述第二相机的焦距比例确定所述目标区域对应的部分在所述第一图像中的比例。
56.根据权利要求39所述的无人机，其特征在于，所述第一相机包括第一可见光相机和第一红外相机，所述第二相机包括第二可见光相机和第二红外相机，所述处理器还用于:获取所述第一可见光相机拍摄的第一可见光图像、和所述第一红外相机拍摄的第一红外图像；根据所述拍摄参数控制所述第二可见光相机获取第二可见光图像、和控制所述第二红外相机获取第二红外图像；根据所述第一红外图像和所述第二红外图像确定融合温度信息；及将所述融合温度信息、所述第一可见光图像和所述第二可见光图像融合，以得到所述融合图像。
57.根据权利要求56所述的无人机，其特征在于，所述处理器还用于：
根据所述第一红外图像确定第一温度信息；
根据所述第二红外图像确定第二温度信息；及
根据所述第一温度信息和所述第二温度信息确定所述融合温度信息。
58.一种无人机系统，其特征在于，所述无人机系统包括无人机、图像获取装置和处理器，所述图像获取装置包括第一相机和第二相机，所述第一相机的焦距小于所述第二相机的焦距，所述处理器用于执行权利要求1-19任一所述的图像处理方法。
59.根据权利要求58所述的无人机系统，所述无人机系统还包括遥控器，所述处理器设置在所述无人机和/或所述遥控器上。
60.一种包含计算机可执行指令的计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行权利要求1至19中任一项所述的图像处理方法。
CN202080005578.XA 2020-06-30 2020-06-30 图像处理方法、图像获取装置、无人机、无人机系统和存储介质 Pending CN112840374A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/099408 WO2022000300A1 (zh) 2020-06-30 2020-06-30 图像处理方法、图像获取装置、无人机、无人机系统和存储介质

Publications (1)

Publication Number Publication Date
CN112840374A true CN112840374A (zh) 2021-05-25

Family

ID=75926591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080005578.XA Pending CN112840374A (zh) 2020-06-30 2020-06-30 图像处理方法、图像获取装置、无人机、无人机系统和存储介质

Country Status (2)

Country Link
CN (1) CN112840374A (zh)
WO (1) WO2022000300A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177884A (zh) * 2021-05-27 2021-07-27 江苏北方湖光光电有限公司 一种夜视组合变倍图像融合系统的工作方法
CN113409405A (zh) * 2021-07-19 2021-09-17 北京百度网讯科技有限公司 评估相机标定位置的方法、装置、设备和存储介质
CN113688824A (zh) * 2021-09-10 2021-11-23 福建汇川物联网技术科技股份有限公司 一种施工节点的信息采集方法、装置及存储介质
CN115002373A (zh) * 2022-04-27 2022-09-02 西安应用光学研究所 机载红外搜索导航吊舱用的大小视场复合显示方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114827466B (zh) * 2022-04-20 2023-07-04 武汉三江中电科技有限责任公司 一种仿人眼的设备图像采集装置及图像采集方法
CN114967756A (zh) * 2022-07-07 2022-08-30 华能盐城大丰新能源发电有限责任公司 海上风机巡检无人机辅助降落方法、系统、装置及存储介质
CN117649613B (zh) * 2024-01-30 2024-04-26 之江实验室 一种光学遥感图像优化方法、装置、存储介质及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090046157A1 (en) * 2007-08-13 2009-02-19 Andrew Cilia Combined wide-angle/zoom camera for license plate identification
WO2020237565A1 (zh) * 2019-05-30 2020-12-03 深圳市大疆创新科技有限公司 一种目标追踪方法、装置、可移动平台及存储介质
CN110719444A (zh) * 2019-11-07 2020-01-21 中国人民解放军国防科技大学 多传感器融合的全方位监控与智能摄像方法与系统
CN111147755B (zh) * 2020-01-02 2021-12-31 普联技术有限公司 双摄像头的变焦处理方法、装置及终端设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177884A (zh) * 2021-05-27 2021-07-27 江苏北方湖光光电有限公司 一种夜视组合变倍图像融合系统的工作方法
CN113409405A (zh) * 2021-07-19 2021-09-17 北京百度网讯科技有限公司 评估相机标定位置的方法、装置、设备和存储介质
CN113688824A (zh) * 2021-09-10 2021-11-23 福建汇川物联网技术科技股份有限公司 一种施工节点的信息采集方法、装置及存储介质
CN113688824B (zh) * 2021-09-10 2024-02-27 福建汇川物联网技术科技股份有限公司 一种施工节点的信息采集方法、装置及存储介质
CN115002373A (zh) * 2022-04-27 2022-09-02 西安应用光学研究所 机载红外搜索导航吊舱用的大小视场复合显示方法

Also Published As

Publication number Publication date
WO2022000300A1 (zh) 2022-01-06

Similar Documents

Publication Publication Date Title
CN112840374A (zh) 图像处理方法、图像获取装置、无人机、无人机系统和存储介质
CN109859272B (zh) 一种自动对焦双目摄像头标定方法及装置
CN105578019B (zh) 一种可获得深度信息的影像提取系统与对焦方法
CN110278382B (zh) 一种聚焦方法、装置、电子设备及存储介质
US20100148066A1 (en) Thermal imaging camera for taking thermographic images
US20210120194A1 (en) Temperature measurement processing method and apparatus, and thermal imaging device
CN112949478A (zh) 基于云台相机的目标检测方法
US11924539B2 (en) Method, control apparatus and control system for remotely controlling an image capture operation of movable device
CN112562093B (zh) 目标检测方法、电子介质和计算机存储介质
CN110087049A (zh) 自动调焦系统、方法以及投影仪
CN115239820A (zh) 一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法
CN111279393A (zh) 相机标定方法、装置、设备及存储介质
CN110602376B (zh) 抓拍方法及装置、摄像机
CN109543496B (zh) 一种图像采集方法、装置、电子设备及系统
CN112907647B (zh) 一种基于固定式单目摄像机的三维空间尺寸测量方法
CN114788254B (zh) 辅助对焦方法、装置及系统
CN113627385A (zh) 视线方向的检测方法、装置及其检测系统及可读存储介质
CN112585945A (zh) 对焦方法、装置及设备
CN114979956A (zh) 一种无人机航拍地面目标定位方法及系统
CN112990187A (zh) 一种基于手持终端图像的目标位置情报生成方法
WO2021138856A1 (zh) 相机控制方法、设备及计算机可读存储介质
CN112771568A (zh) 红外图像处理方法、装置、可移动平台与计算机可读介质
CN111741209A (zh) 一种图像采集方法、系统、可读存储介质及电子设备
CN113959398B (zh) 基于视觉的测距方法、装置、可行驶设备及存储介质
CN115980042B (zh) 一种基于多源图像配准的雷击路径监测系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination