CN110869976A - 一种图像处理方法、设备、无人机、系统及存储介质 - Google Patents
一种图像处理方法、设备、无人机、系统及存储介质 Download PDFInfo
- Publication number
- CN110869976A CN110869976A CN201880038782.4A CN201880038782A CN110869976A CN 110869976 A CN110869976 A CN 110869976A CN 201880038782 A CN201880038782 A CN 201880038782A CN 110869976 A CN110869976 A CN 110869976A
- Authority
- CN
- China
- Prior art keywords
- image
- visible light
- shooting module
- fused
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000003708 edge detection Methods 0.000 claims abstract description 48
- 238000000034 method Methods 0.000 claims abstract description 48
- 230000004927 fusion Effects 0.000 claims description 25
- 238000004364 calculation method Methods 0.000 claims description 22
- 238000007499 fusion processing Methods 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 9
- 238000009877 rendering Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 description 16
- 238000001514 detection method Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000005855 radiation Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000000873 masking effect Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000013521 mastic Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Abstract
一种图像处理方法、设备、无人机、系统及存储介质,其中,方法包括:获取第一波段图像和第二波段图像(S201);对所述第一波段图像和所述第二波段图像进行配准(S202);对配准后的第二波段图像进行边缘检测,获得边缘图像(S203);将配准后的第一波段图像和边缘图像进行融合处理,得到目标图像(S204)。采用该方法,可获取到质量较高的图像。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像处理方法、设备、无人机、系统及存储介质。
背景技术
随着飞行技术的发展,无人机成为了当前比较热门的研究话题,且被广泛应用于植物保护、航空拍摄、森林火警监控等领域,给人们的生活及工作带来许多便利。
在航空拍摄应用中,通常采用一个摄像头对拍摄对象进行拍摄,实践中发现,这样拍摄所得的图像包括的信息单一,例如,采用红外拍摄镜头对拍摄对象进行拍摄,红外拍摄镜头采用红外探测可以获取拍摄对象的红外辐射信息,该红外辐射信息能够较好地反映拍摄对象的温度信息,但是红外拍摄镜头对拍摄场景的亮度变化不敏感,成像的分辨率较低,拍摄得到的图像不能反映拍摄对象的细节特征信息。再例如,采用可见光拍摄镜头对拍摄对象进行拍摄,可见光拍摄镜头可以获取到较高分辨率的图像,能够反映拍摄对象的细节特征信息,但是可见光拍摄镜头不能获取到拍摄对象的红外辐射信息,拍摄得到的图像不能反映拍摄对象的温度信息。因此,如何获取质量较高、所含信息更加丰富的图像成为了研究的热点。
发明内容
本发明实施例提供了一种图像处理方法、设备、无人机、系统及存储介质,可以获取到较高质量的图像。
第一方面,本发明实施例提供了一种图像处理方法,该方法包括:
获取第一波段图像和第二波段图像;
对所述第一波段图像和所述第二波段图像进行配准;
对配准后的第二波段图像进行边缘检测,获得边缘图像;
将配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像。
第二方面,本发明实施例提供了一种图像处理设备,包括存储器和处理器:
所述存储器,用于存储程序指令;
所述处理器,执行所述存储器存储的程序指令,当程序指令被执行时,所述处理器用于执行如下步骤:
获取第一波段图像和第二波段图像;
对所述第一波段图像和所述第二波段图像进行配准;
对配准后的第二波段图像进行边缘检测,获得边缘图像;
将配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像。
第三方面,本发明实施例提供了一种无人机,包括:
机身;
设置在机身上的动力系统,用于提供飞行动力;
处理器,用于获取第一波段图像和第二波段图像;对所述第一波段图像和所述第二波段图像进行配准;对配准后的第二波段图像进行边缘检测,获得边缘图像;将配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像。
第四方面,本发明实施例提供了一种无人机系统,该系统包括:智能终端、图像拍摄装置和无人机;
所述智能终端,用于发送飞行控制指令,所述飞行控制指令用于指示无人机按照确定的飞行轨迹进行飞行;
所述无人机,用于响应所述飞行控制指令,控制无人机按照所述飞行轨迹进行飞行并控制所述无人机上挂载的所述图像拍摄装置进行拍摄;
所述图像拍摄装置,用于通过图像拍摄装置包括的红外拍摄模块获取第一波段图像,通过图像拍摄装置包括的可见光拍摄模块获取第二波段图像;对所述第一波段图像和所述第二波段图像进行配准;对配准后的第二波段图像进行边缘检测,获得边缘图像;将配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像。
第五方面,本发明实施例提供一种计算机存储介质,该计算机存储介质存储有计算机程序指令,该计算机程序指令被执行时用于实现上述的第一方面所述的图像处理方法。
本发明实施例中,通过对获取到的第一波段图像和第二波段图像进行配准,然后对配准后的第二波段图像进行边缘检测得到边缘图像,将配准后的第一波段图像和边缘图像进行融合处理,得到目标图像,该目标图像是配准后的第一波段图形和配准后的第二波段图像的边缘图像融合得到的,因此该目标图像中包括了第一波段图像的信息以及第二波段图像的边缘信息,从该目标图像中可以获取到更多信息量,提高了拍摄图像的质量。
附图说明
图1为本发明实施例提供的一种无人机系统的结构示意图;
图2为本发明实施例提供的一种图像处理方法的流程示意图;
图3为本发明实施例提供的另一种图像处理方法的流程示意图;
图4为本发明实施提供的一种获取待融合图像的梯度场的流程示意图;
图5为本发明实施例提供的一种获取待融合图像的梯度场的示意图;
图6为本发明实施例提供的一种计算待融合图像中像素点的颜色值的方法流程示意图;
图7为本发明实施例提供的一种图像处理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施提出一种图像处理方法,所述图像处理方法可应用在无人机系统中,所述无人机系统中的无人机上挂载有图像拍摄装置,所述图像处理方法对所述图像拍摄装置所拍摄的第一波段图像和第二波段图像进行配准后,提取配准后的第二波段图像的边缘图像,将边缘图像和配准后的第一波段图像进行融合得到目标图像,该目标图像中既包括了第一波段图像的信息又包括了第二波段图像的边缘信息,从目标图像中可以获取到更多信息量,提高了拍摄图像的质量。
本发明实施例可以应用于军事国防、遥感探测、环境保护、交通检测或灾情检测等领域,这些领域主要是基于无人机的航拍拍摄得到环境图像,对环境图像进行分析处理得到相应的数据。例如,在环境保护领域中,通过无人机针对某个区域进行拍摄得到该区域的环境图像,如该区域为一个河流所在的区域,对该区域的环境图像进行分析,得到关于该河流水质的数据,根据该河流水质的数据可以判断该河流是否被污染。
为了便于理解本发明实施所述的图像处理方法,首先介绍本发明实施例的一种无人机系统,请参见图1,为本发明实施例提供的一种无人机系统的结构示意图,所述无人机系统包括:智能终端101、无人机102以及图像拍摄装置103。
所述智能终端101可以是无人机的控制终端,具体地可以为遥控器、智能手机、平板电脑、膝上型电脑、地面站、穿戴式设备(手表、手环)中的一种或多种。所述无人机102可以是旋翼型无人机,例如四旋翼无人机、六旋翼无人机、八旋翼无人机,也可以是固定翼无人机。无人机102包括动力系统,动力系统用于为无人机提供飞行动力,其中,动力系统可包括螺旋桨、电机、电调中的一种或多种。
所述图像拍摄装置103用于在接收到拍摄指令时拍摄图像,所述图像拍摄装置配置于所述无人机102上,在一个实施例中,所述无人机102还可以包括云台,所述图像拍摄装置103通过云台挂载于所述无人机102上。所述云台为多轴传动及增稳系统,云台电机通过调整转动轴的转动角度来对图像拍摄装置的拍摄角度进行补偿,并通过设置适当的缓冲机构来防止或减小图像拍摄装置的抖动。
在一个实施例中,所述图像拍摄装置103至少包括红外拍摄模块1031和可见光拍摄模块1032,其中,所述红外拍摄模块1031和可见光拍摄模块1032具有不同的拍摄优势。例如,红外拍摄模块1031可以探测到拍摄对象的红外辐射信息,拍摄得到的图像能够较好的反映拍摄对象的温度信息;可见光拍摄模块1032可以拍摄得到较高分辨率的图像,该图像能够反映拍摄对象的细节特征信息。
在一个实施例中,智能终端101还可以配置有用于实现人机交互的交互装置,该交互装置可以是触摸显示屏、键盘、按键、摇杆、波轮中的一种或多种。所述交互装置上可以提供用户界面,在无人机飞行的过程中,用户可以通过该用户界面设置拍摄位置,例如,用户可以在该用户界面上输入拍摄位置信息,或者用户还可以在无人机的飞行轨迹上执行用于设置拍摄位置的触控操作(如点击操作或滑动操作)以设置拍摄位置,具体地智能终端101根据一次触控操作设置一个拍摄位置。在一个实施例中,智能终端101检测到用户输入的拍摄位置信息后,将所述拍摄位置信息发送至所述图像拍摄装置103,当所述无人机102飞行到该拍摄位置时,所述图像拍摄装置103对所述拍摄位置中的拍摄对象进行拍摄。
在一个实施例中,当所述无人机102飞行到该拍摄位置,对拍摄位置中的拍摄对象进行拍摄之前,还可以检测所述图像拍摄装置103包括的红外拍摄模块1031和可见光拍摄模块1032是否在位置上处于配准状态:如果处于配准状态时,则所述红外拍摄模块1031和所述可见光拍摄模块1032对拍摄位置中的拍摄对象进行拍摄;如果不是处于配准状态时,可不执行上述拍摄操作,同时可输出提示信息,用于提示将所述红外拍摄模块1031和可见光拍摄模块1032进行配准。
在一个实施例中,红外拍摄模块1031对拍摄位置中的拍摄对象进行拍摄,得到第一波段图像,可见光模块1032对拍摄位置处的拍摄对象进行拍摄,得到第二波段图像,图像拍摄装置103可以对获取到的第一波段图像和第二波段图像进行配准处理,并提取配准后的第二波段图像的边缘图像,将所述边缘图像和配准后的第一波段图像进行融合,得到目标图像。需要说明的是,此处所述配准处理是指对获取到的第一波段图像和第二波段图像进行处理,比如旋转、裁剪等,上述位置上的配准处理是指在拍摄之前对红外拍摄模块1031和可见光拍摄模块1032的物理结构上进行调整。
再一个实施例中,图像拍摄装置103还可以将第一波段图像和第二波段图像发送给智能终端101或者无人机102,所述智能终端101或者无人机执行上述融合操作,得到目标图像。所述目标图像中既包括了第一波段图像的信息又包括了第二波段图像的边缘信息,从所述目标图像中可以获取到更多信息量,提高了拍摄图像的信息多样性,从而提高了拍摄质量。
请参见图2,为本发明实施例提供的一种图像处理方法,所述图像处理方法可应用在上述无人机系统中,具体应用于图像拍摄装置中,所述图像处理方法可以由所述图像拍摄装置执行。图2所示的图像处理方法,可包括:
步骤S201、获取第一波段图像和第二波段图像。
在一个实施例中,所述第一波段图像和所述第二波段图像是由两个不同拍摄模块对包含有同一个物体的拍摄对象进行拍摄所得的,也即所述第一波段图像和所述第二波段图像中包含有相同的图像元素,但所述第一波段图像和所述第二波段图像所能反应的同一图像元素的信息不同,例如第一波段图像侧重反应拍摄对象的温度信息,所述第二波段图像侧重反应拍摄对象的细节特征信息。
在一个实施例中,所述获取第一波段图像和第二波段图像的方法可以是所述图像拍摄装置对拍摄对象进行拍摄得到的,也可以是所述图像拍摄装置接收其他设备发送的。所述第一波段图像与所述第二波段图像可以是由能够捕捉多种波段信号的拍摄装置所拍摄。在一个实施例中,所述图像拍摄装置包括红外拍摄模块和可见光拍摄模块,所述第一波段图像可以是所述红外拍摄模块所拍摄的红外图像,所述第二波段图像可以是所述可见光拍摄模块所拍摄的可见光图像。
在一个实施例中,所述红外拍摄模块可以捕捉波长在10-3~7.8×10-7m的红外信号,所述红外拍摄模块可以探测到拍摄对象的红外辐射信息,因此所述第一波段图像能够较好的反映拍摄对象的温度信息;所述可见光拍摄模块可以捕捉波长在(78~3.8)×10-6cm的可见光信号,所述可见光拍摄模块可以拍摄得到较高分辨率的图像,因此第二波段图像能够反映拍摄对象的细节特征信息。
步骤S202、对所述第一波段图像和所述第二波段图像进行配准。
在一个实施例中,所述第一波段图像和所述第二波段图像分别是由红外拍摄模块和可见光拍摄模块拍摄得到的,由于红外拍摄模块和可见光拍摄模块在位置上,和/或在拍摄参数上的不同导致所述第一波段图像和所述第二波段存在差异,比如两个图像的大小不同、两个图像的分辨率不相同等,因此为了保证图像融合的准确性,在对所述第一波段图像和所述第二波段图像进行其他处理之前,需要对所述第一波段图像和所述第二波段图像进行配准。
在一个实施例中,所述对第一波段图像和所述第二波段图像进行配准,包括:基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。所述标定参数包括拍摄模块的内参、外参以及畸变参数,所述内参是指与拍摄模块自身特性相关的参数,包括拍摄模块的焦距、像素大小等,所述外参是指拍摄模块在世界坐标系中的参数,包括拍摄模块的位置、旋转方向等。
所述标定参数是在红外拍摄模块和可见光拍摄模块进行拍摄之前,为所述红外拍摄模块和所述可见光拍摄模块标定的。本发明实施例中,对所述红外拍摄模块和所述可见光拍摄模块分别进行参数标定的方式可以包括:获取用于标定参数的样本图像;所述红外拍摄模块和所述可见光拍摄模块对所述样本图像进行拍摄,分别得到红外图像和可见光图像;分析处理所述红外图像和所述可见光图像,当所述红外图像和所述可见光图像之间满足配准规则时,基于所述红外图像和所述可见光图像计算所述红外拍摄模块和所述可见光拍摄模块的参数,并将参数作为各自的标定参数。
当所述红外图像和所述可见光图像之间不满足配准规则时,可调整红外拍摄模块和可见光拍摄模块的拍摄参数,重新对样本图像进行拍摄,直到所述红外图像和所述可见光图像之间满足配准规则。其中,所述配准规则可以是指所述红外图像和所述可见光图像的分辨率相同,且同一拍摄对象在所述红外图像和所述可见光图像中的位置相同。
可以理解的,上述只是本发明实施例提供的一种可行为红外拍摄模块和可见光拍摄模块标定参数的方法,在其他实施例中,图像拍摄装置还可以通过其他方式设置所述红外拍摄模块和所述可见光拍摄模块的标定参数。
在一个实施例中,为所述红外拍摄模块以及可见光拍摄模块设定了标定参数后,所述图像拍摄装置可以存储红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数,以便于后续利用所述两者的标定参数对所述第一波段图像和所述第二波段图像进行配准。
在一个实施例中,所述步骤S202的实施方式可以为:获取所述红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数;根据所述红外拍摄模块的标定参数对所述第一波段图像进行调整操作,和/或根据所述可见光拍摄模块的标定参数对所述第二波段图像进行调整操作;其中,所述调整操作包括以下一种或多种:旋转、缩放、平移、裁剪。
其中,所述根据红外拍摄模块的标定参数对所述第一波段图像进行调整操作,可包括:获取红外拍摄模块的标定参数中包括的内参矩阵以及畸变系数,根据所述内参矩阵和所述畸变系数计算得到第一波段图像的旋转向量和平移向量,以所述第一波段图像的旋转向量和平移向量对所述第一波段进行旋转或者平移。类似的,所述根据可见光拍摄模块的标定参数对所述第二波段图像进行调整操作也采用与上述相同的方法实现对第二波段图像的调整操作。
可选的,基于所述红外拍摄模块的标定参数和所述可见光模块的标定参数对分别对所述第一步波段图像和所述第二波段图像进行配准,可使得配准后的第一波段图像和第二波段图像的分辨率相同,且同一拍摄对象在配准后的第一波段图像和第二波段图像中的位置相同,如此可保证后续基于所述第一波段图像和所述第二波段图像得到的融合图像的质量较高。
在其他的实施例中,为了确保将第一波段图像和第二波段图像进行融合得到的目标图像的准确性以及融合过程的便捷性,除了对获取到的第一波段图像和第二波段图像进行配准之外,还可以在红外拍摄模块和可见光拍摄模块进行拍摄之前,将红外拍摄模块和可见光拍摄模块在物理结构上进行配准。
步骤S203、对配准后的第二波段图像进行边缘检测,获得边缘图像。
在一个实施例中,边缘图像是指提取所述配准后的第二波段图像的边缘特征得到的,图像的边缘是图像最基本的特征之一,其中携带有图像的大部分信息。图像的边缘存在于图像的不规则结构和不平稳现象中,也即存在于图像中信号的突变点处,比如表示灰度突变的突变点、纹理结构的突变点以及颜色的突变点等。
通常情况下,对图像进行边缘检测、图像增强等图像处理时都是基于图像的梯度场进行的。在一个实施例中,由于配准后的第二波段图像是彩色图像,彩色图像是3通道图像,对应3通道或者说3个原色的梯度场,如果基于所述配准后的第二波段图像进行边缘检测时,需要对每种色彩进行单独检测,也即要分别分析3个原色的梯度场,此时由于各原色在同一点处的梯度方向可能不同,得到的边缘也相同,从而导致检测到的边缘发生错误。
综上所述,在对配准后的第二波段图像进行边缘检测之前,需要将3通道彩色图像转换成1通道的灰度图像,灰度图像对应1个梯度场,这样一来,保证了边缘检测结果的准确性。
具体地,所述对配准后的第二波段图像进行边缘检测,获得边缘图像的实施方法可包括:将所述配准后的第二波段图像转换为灰度图像;对所述灰度图像进行边缘检测,获得边缘图像。具体地,可以通过边缘检测算法对灰度图像进行边缘检测,得到边缘图像。边缘检测的算法可包括一阶检测算法和二阶检测算法,其中一阶检测算法中常用的算法包括Canny算子,Robert(交叉差分)算子,罗盘算子等,二阶检测算法中常用的包括Marr-Hildreth。
在一个实施例中,为了提高目标图像的质量,图像拍摄装置在对第二波段图像进行边缘处理,得到边缘图像之后,在对配准后的第一波段图像和边缘图像进行融合之前,所述图像拍摄装置基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理。
在一个实施例中,所述基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理的方式可以为:获取所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息;确定所述配准后的第一波段图像的特征信息相对所述边缘图像的特征信息的第一偏移量;根据所述第一偏移量对所述配准后的第一波段图像进行调整。
图像拍摄装置可以获取第一波段图像的特征信息,及边缘图像的特征信息,将第一波段图像的特征信息与边缘图像的特征信息进行对比,确定第一波段图像的特征信息相对边缘图像的特征信息的第一偏移量,该第一偏移量主要是指特征点的位置偏移量,根据第一偏移量对第一波段图像进行调整,得到调整后的第一波段图像,例如,根据第一偏移量将第一波段图像进行横向或纵向拉伸,或将第一波段图像进行横向或纵向进行缩进,以实现调整后的第一波段图像与边缘图像对齐,进一步,将调整后的第一波段图像与边缘图像进行融合处理,得到目标图像。
再一个实施例中,所述基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理的方式还可以为:获取所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息;确定所述边缘图像的特征信息相对所述配准后的第一波段图像的特征信息的第二偏移量;根据所述第二偏移对所述边缘图像进行调整。
图像拍摄装置可以获取第一波段图像的特征信息,及边缘图像的特征信息,将第一波段图像的特征信息与边缘图像的特征信息进行对比,确定边缘图像的特征信息相对第一波段图像的特征信息的第二偏移量,该第二偏移量主要是指特征点的位置偏移量,根据第二偏移量对边缘图像进行调整,得到调整后的边缘图像,例如,根据第一偏移量将边缘图像进行横向或纵向拉伸,或将边缘图像进行横向或纵向进行缩进,得到调整后的边缘图像,以实现调整后的边缘图像与第一波段图像对齐,进一步,将调整后的边缘图像与配准后的第一波段图像进行融合,得到目标图像。
步骤S204、将配准后的第一波段图像和边缘图像进行融合处理,得到目标图像。
本发明实施例中对配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像,该目标图像中既包括了第一波段图像的信息又能够突出第二波段图像的边缘信息。
在一个实施例中,可采用泊松融合算法对配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像。在其他实施例中,也可以通过基于加权平均的融合方法、基于绝对值取大的融合算法等配准后的第一波段图像和所述边缘图像进行融合。
在一个实施例中,所述将配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像,包括:将所述配准后的第一波段图像和所述边缘图像进行叠加处理,得到待融合图像;获取所述待融合图像中每个像素点的颜色值;基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染,并将渲染后的待融合图像确定为目标图像。
在一个实施例中,如果采用泊松融合算法将配准后的第一波段图像和随俗边缘图像进行融合处理,所述获取所述待融合图像中每个像素点的颜色值的一般步骤是计算待融合图像每个像素点的散度值,再根据每个像素点的散度值以及待融合图像的系数矩阵计算待融合图像中每个像素点的颜色值。因为每个像素点的颜色值是根据待融合图像的一些特征信息得到的,待融合图像中集成了第一波段图像的特征信息和第二波段图像的边缘图像的特征信息,因此以每个像素点的颜色值对待融合图像进行渲染便可以得到既包括第一波段图像的信息又突出了第二波段图像的边缘特征的融合图像。
本发明实施例中,通过对获取到的第一波段图像和第二波段图像进行配准,然后对配准后的第二波段图像进行边缘检测得到边缘图像,将配准后的第一波段图像和边缘图像进行融合处理,得到目标图像,该目标图像是配准后的第一波段图形和配准后的第二波段图像的边缘图像融合得到的,因此该目标图像中包括了第一波段图像的信息以及第二波段图像的边缘信息,从该目标图像中可以获取到更多信息量,提高了拍摄图像的质量。
请参考图3,为本发明实施例提供的另一种图像处理方法的流程示意图,所述图像处理方法可以应用在图1所示的无人机系统中,在一个实施例中,所述无人机系统中包括图像拍摄装置,所述图像拍摄装置包括红外拍摄模块和可见光拍摄模块,所述红外拍摄模块拍摄所得的图像为第一波段图像,所述可见光拍摄模块拍摄所得的图像为可见光图像。图3所示的图像处理方法中,第一波段图像为红外图像,可包括:
步骤S301、基于红外拍摄模块的位置与所述可见光拍摄模块的位置将所述红外拍摄模块与所述可见光拍摄模块进行配准。
本发明实施中,为了确保将第一波段图像和边缘图像进行融合得到的目标图像的准确性以及融合过程的便捷性,可以在红外拍摄模块和可见光拍摄模块进行拍摄之前,将红外拍摄模块和可见光拍摄模块在物理结构上进行配准。所述将红外拍摄模块和可见光模块在物理结构上进行配准,包括:基于红外拍摄模块的位置与所述可见光拍摄模块的位置将所述红外拍摄模块与所述可见光模块进行配准。
在一个实施例中,确定红外拍摄模块与所述可见光拍摄模块在物理结构上已经配准的准则是:红外拍摄模块与可见光拍摄模块之间满足中心水平分布,红外拍摄模块与可见光拍摄模块之间的位置差值小于预设位置差值。可以理解的,红外拍摄模块与可见光拍摄模块之间的位置差值小于预设位置差值是为了保证红外拍摄模块的视场角(Field OfView,FOV)能够覆盖到可见光拍摄模块的FOV,且红外拍摄模块的FOV与可见光拍摄模块的FOV相互之间不存在干扰。
在一个实施例中,所述基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外拍摄模块与所述可见光拍摄模块进行配准,包括:根据所述红外拍摄模块相对于所述图像拍摄装置的位置和所述可见光拍摄模块相对于所述图像拍摄装置的位置,计算所述红外拍摄模块与所述可见光拍摄模块之间的位置差值;若所述位置差值大于或等于预设位置差值,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,使得所述位置差值小于所述预设位差值。
再一个实施例中,所述基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外拍摄模块与所述可见光拍摄模块进行配准,还包括:判断所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间是否满足水平分布条件;若所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间不满足水平分布条件,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,使得所述红外拍摄模块与所述可见光拍摄模块之间满足中心水平分布条件。
综上所述,基于所述红外拍摄模块的位置与所述可见光拍摄模块的位置将所述红外拍摄模块与所述可见光拍摄模块进行配准,即检测该图像拍摄装置上的该红外拍摄模块与该可见光拍摄模块之间是否满足中心水平分布条件,和/或该红外拍摄模块与该可见光拍摄模块在该图像拍摄装置上的相对位置是否小于或等于预设位置差值。当检测到该图像拍摄装置上的该红外拍摄模块与该可见光拍摄模块之间不满足中心水平分布条件,和/或该红外拍摄模块与该可见光拍摄模块在该图像拍摄装置上的相对位置大于预设位置差值时,表明红外拍摄模块和可见光拍摄模块在结构上未配准,需要对红外拍摄模块和/或可见光拍摄模块进行调整。
在一个实施例中,当检测到红外拍摄模块和可见光拍摄模块在结构上未配准时,可以输出提示信息,该提示信息可以包括对红外拍摄模块或/和可见光拍摄模块的调整方式,如提示信息包括将红外拍摄模块向左调整5mm,该提示信息用于提示用户对红外拍摄模块和/或可见光拍摄模块进行调整,以使红外拍摄模块和可见光拍摄模块实现配准。或者,当检测到红外拍摄模块和可见光拍摄模块在结构上未配准时,图像拍摄装置可以对红外拍摄模块和/或可见光拍摄模块的位置进行调整,以使红外拍摄模块和可见光拍摄模块实现配准。
当检测到该图像拍摄装置上的该红外拍摄模块与该可见光拍摄模块之间满足中心水平分布条件,和/或该红外拍摄模块与该可见光拍摄模块在该图像拍摄装置上的相对位置小于或等于预设位置差值时,表明红外拍摄模块和可见光拍摄模块在结构上已经实现了配准,此时可以接收智能终端发送的拍摄指令,或者接收用户向图像拍装置发送的拍摄指令,该拍摄指令携带拍摄位置信息,当图像拍摄装置的位置到达拍摄位置(或搭载图像拍摄装置的无人机飞行到拍摄位置时),触发红外拍摄模块进行拍摄得到第一波段图像,并触发可见光拍摄模块进行拍摄得到第二波段图像。
步骤S302、获取第一波段图像和第二波段图像。
步骤S303、基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。
在一个实施例中,所述步骤S302和所述步骤S303中包括的一些可行的实施方式已经在图2所示的实施例中详细描述,在此不再赘述。
步骤S304、将配准后的第二波段图像转换为灰度图像。
在一个实施例中,为了保证边缘检测结果的准确性,在对配准后的第二波段图像进行边缘检测之前,需要将3通道的配准后的第二波段图像转换成1通道的灰度图像。
在一个实施例中,将配准后的第二波段图像转换为灰度图像的方法可以是均值法,所述均值法是指将图配准后的第二波段图像中同一个像素点的3通道像素值进行求平均运算,所得的运算结果即为该像素点在灰度图像中的像素值。依据此法可计算出配准后的第二波段图像数据中各个像素点在灰度图像中的像素值,然后以各个像素点在灰度图像中的像素值进行图像渲染,便可得到灰度图像。在其他的实施例中,将配准后的第二波段图像转换为灰度图像数据的方法还可以是加权法和最大值法等,本发明实施例不一一列举。
步骤S305、对灰度图像进行边缘检测,获得边缘图像。
在一个实施例中,所述对灰度图像进行边缘检测,获得边缘图像的实施方式可包括:对所述灰度图像进行去噪处理,得到去噪后的灰度图像;对所述去噪后的灰度图像进行边缘增强处理,得到待处理灰度图像;对所述待处理灰度图像进行边缘检测,获得边缘图像。
为了减少图像环境中噪声对边缘检测结果的影响,因此在对灰度图像进行边缘检测的第一步是对灰度图像进行去噪处理,在一个实施例中,可以采用高斯平滑滤波去除灰度图像中噪声,平滑图像。在对灰度图像进行去噪处理后,可能导致灰度图像中一些边缘特征被模糊,此时可以通过边缘增强处理操作来加强灰度图像的边缘。获取到边缘增强处理后的灰度图像之后,可对灰度图像进行边缘检测处理,从而得到边缘图像。
例如,假设本发明实施例中可采用Canny算子对边缘增强后的灰度图像进行边缘检测处理,包括计算图像中每个像素点的梯度强度和方向、非极大值抑制、双阈值检测以及抑制孤立阈值点等。
步骤S306、将配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像。
在一个实施例中,可利用泊松融合算法对所述配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像。具体地,利用泊松融合算法对所述配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像的步骤可包括:将所述配准后的第一波段图像和所述边缘图像进行叠加处理,得到待融合图像;获取所述待融合图像中每个像素点的颜色值;基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染,并将渲染后的待融合图像确定为目标图像。
所述泊松融合算法的主要思想是,根据源图像的梯度信息以及目标图像的边界信息,利用插值的方法重新构建出合成区域内的图像像素。其中,在本发明实施例中,源图像可以指配准后的第一波段图像和边缘图像中的任何一个,所述目标图像是指配准后的第一波段图像和边缘图像中的另一个,所述重新构建合成区域的图像像素可以理解为重新计算待融合图像中各个像素点的颜色值。
在一个实施中,所述获取所述待融合图像中每个像素点的颜色值,包括:获取所述待融合图像的梯度场;基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值;基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,确定所述待融合图像中每个像素点的颜色值。通常情况下,多种对图像处理比如图像增强、图像融合以及图像边缘检测和分割,是在图像的梯度域完成的,利用泊松融合算法对图像进行融合也不例外。
在梯度场中完成对配准后的第一波段图像和边缘图像进行融合,首先要获取待融合图像的梯度场。在一个实施例中,获取所述待融合图像的梯度场的方法可以是基于配准后的第一波段图像的梯度场和边缘图像的梯度场确定的。具体地,所述获取待融合图像的梯度场包括如图4所示的步骤S41-S43:
S41:对所述配准后的第一波段图像进行梯度处理,得到第一中间梯度场,以及对所述边缘图像进行梯度处理,得到第二中间梯度场;
S42:对所述第一中间梯度场进行遮罩处理,得到第一梯度场,以及对所述第二中间梯度场进行遮罩处理,得到第二梯度场;
S43:将所述第一梯度场和所述第二梯度场进行叠加,得到所述待融合图像的梯度场。
其中,图像拍摄装置可以通过差分的方法得到第一中间梯度场和第二中间梯度场。在一个实施例中,上述获取所述待融合图像的梯度场的方法中,主要应用在配准后的第一波段图像和边缘图像尺寸不相同的情况下。所述遮罩处理是为了得到尺寸相同的第一梯度场和第二梯度场,如此可便于将第一梯度场和第二梯度场直接叠加得到待融合图像的梯度场。举例来说,参考图5,为本发明实施例提供的一种获取待融合梯度场的示意图,在图5中假设501为对配准后的第一波段图像进行梯度处理,得到的第一中间梯度场,502为对边缘图像进行梯度处理,得到的第二中间梯度场。可见,501和502在尺寸上不相同,对501和502分别进行遮罩处理,对502进行遮罩处理:补全502与501相差的部分5020,将5020部分填充为0,502部分的填充为1;对501进行遮罩处理:从501中减去与502尺寸相同的部分5010,并将5010该部分的填充为0,将剩余部分的501的填充为1。其中,本发明实施例中假设填充为1的部分表示保留原有的梯度场不变,标记为0的部分表示需要更改梯度场的部分,将遮罩处理后的501与遮罩处理后的502直接叠加得到待融合图像的梯度场如503,由于遮罩处理后的501与遮罩处理后的502尺寸相同,因也503可以看作是用遮罩处理后的501和502中填充为1区域的梯度场覆盖填充为0的梯度场。
在其他实施例中,如果在配准后的第一波段图像和边缘图像尺寸相同的情况下,所述获取待融合图像的梯度场的方法是将第一中间梯度场或者第二中间梯度场作为待融合图像的梯度场。
在一个实施例中,获取到待融合图像的梯度场后,所述图像拍摄装置可执行基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值的步骤,具体地是指:基于待融合图像的梯度场确定各个像素点的梯度,然后对各个像素点的梯度求导,便得到各个像素点的散度值。
在一个实施例中,确定了各个像素点的散度值之后,所述图像拍摄装置可执行基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,确定所述待融合图像中每个像素点的颜色值的步骤。所述颜色值计算规则是指用于计算像素点颜色值的规则,所述颜色计算规则可以是计算公式,也可以是其他规则。在本发明实施例中,假设颜色计算规则为计算公式Ax=b,其中A表示待融合图像的系数矩阵,x表示像素点的颜色值,b表示像素点的散度值。
由上述公式中可知,如果已知A和b以及其他一些约束条件便可计算得到x。具体地,基于所述待融合乳香中每个像素点的散度值及颜色计算规则计算所述待融合图像中每个像素点的颜色值的方法包括如图6所示的步骤S61-步骤S63:
步骤S61:确定融合约束条件;
步骤S62:获取所述待融合图像的系数矩阵;
步骤S63:将所述待融合图像中每个像素点的散度值和所述待融合图像的系数矩阵代入到所述颜色值计算规则中,结合所述融合约束条件,计算所述待融合图像中每个像素点的颜色值。
在一个实施例中,本发明实施例中所述的融合约束条件是指待融合图像周边处的各个像素点的颜色值。具体地,待融合图像周边的各个像素点的颜色值可以是根据配准后的第一波段图像周边处的各个像素点的颜色值确定的,也可以是根据边缘图像周边处的各个像素点的颜色值确定的。所述待融合图像的系数矩阵确定方法可以是:根据所述待融合图像各个像素点的散度值列出所述待图像相关的各个泊松方程;根据各个泊松方程构建待融合图像的系数矩阵。
在确定了约束条件和待融合图像的系数矩阵之后,将待融合图像中各个像素点的散度值和所述系数矩阵代入到颜色值计算规则中比如Ax=b,结合融合约束条件,便可得到每个像素点的颜色值。
本发明实施例中,在获取图像之前,对红外拍摄模块和可见光拍摄模块进行物理结构上的配准处理,然后通过物理结构上配准后的红外拍摄模块和可见光拍摄模块获取第一波段图像和第二波段图像,进一步的,对第一波段图像和第二波段图像在算法上进行配准处理,然后对配准后的第二波段图像进行边缘检测得到边缘图像,最后将配准后的第一波段图像和边缘图像进行融合处理,得到目标图像,可以获取到既能反应出拍摄对象的红外辐射信息又能体现出拍摄对象的边缘特征的图像,提高了图像质量。
请参见图7,为本发明实施例提供的一种图像处理设备的结构示意图,如图7所示的图像处理设备,所述图像处理设备可包括处理器701和存储器702,所述处理器701和所述存储器702通过总线703连接,所述存储器702用于存储程序指令。
所述存储器702可以包括易失性存储器(volatile memory),如随机存取存储器(random-access memory,RAM);存储器702也可以包括非易失性存储器(non-volatilememory),如快闪存储器(flash memory),固态硬盘(solid-state drive,SSD)等;存储器702还可以包括上述种类的存储器的组合。
所述处理器701可以是中央处理器(Central Processing Unit,CPU)。所述处理器701还可以进一步包括硬件芯片。上述硬件芯片可以是专用集成电路(application-specific integrated circuit,ASIC),可编程逻辑器件(programmable logic device,PLD)等。该PLD可以是现场可编程逻辑门阵列(field-programmable gate array,FPGA),通用阵列逻辑(generic array logic,GAL)等。所述处理器701也可以为上述结构的组合。
本发明实施例中,所述存储器702用于存储计算机程序,所述计算机程序包括程序指令,处理器701用于执行存储器702存储的程序指令,用来实现上述图2所示的实施例中的相应方法的步骤。
在一个实施例中,所述处理器701用于执行存储器702存储的程序指令,用来实现上述图2所示的实施例中的相应方法时,所述处理器701被配置用于调用所述程序指令时执行:获取第一波段图像和第二波段图像;对所述第一波段图像和所述第二波段图像进行配准;对配准后的第二波段图像进行边缘检测,获得边缘图像;将配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像。
在一个实施例中,所述处理器701在对配准后的第二波段图像进行边缘检测,获得边缘图像时,执行如下操作:将所述配准后的第二波段图像转换为灰度图像;对所述灰度图像进行边缘检测,获得边缘图像。
在一个实施例中,处理器701在对所述灰度图像进行边缘检测,获得边缘图像时,执行如下操作:对所述灰度图像进行去噪处理,得到去噪后的灰度图像;对所述去噪后的灰度图像进行边缘增强处理,得到待处理灰度图像;对所述待处理灰度图像进行边缘检测,获得边缘图像。
在一个实施例中,所述处理器701在将所述第一波段图像和所述边缘图像进行融合处理,得到目标图像时,执行如下操作:将所述配准后的第一波段图像和所述边缘图像进行叠加处理,得到待融合图像;获取所述待融合图像中每个像素点的颜色值;基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染,并将渲染后的待融合图像确定为目标图像。
在一个实施例中,所述处理器701在获取所述待融合图像中每个像素点的颜色值时,执行如下操作:获取所述待融合图像的梯度场;基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值;基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,计算所述待融合图像中每个像素点的颜色值。
在一个实施例中,所述处理器701在获取所述待融合图像的梯度场时,执行如下操作:对所述配准后的第一波段图像进行梯度处理,得到第一中间梯度场;对所述边缘图像进行梯度处理,得到第二中间梯度场;分别对所述第一中间梯度场和所述第二中间梯度场进行遮罩处理,得到第一梯度场和第二梯度场;将所述第一梯度场和所述第二梯度场进行叠加,得到所述待融合图像的梯度场。
在一个实施例中,所述处理器701在获取所述待融合图像中每个像素点的颜色值时,执行如下操作:获取所述待融合图像的梯度场;基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值;基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,计算所述待融合图像中每个像素点的颜色值。
在一个实施例中,处理器701在基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,计算所述待融合图像中每个像素点的颜色值时,执行如下操作:确定融合约束条件;获取所述待融合图像的系数矩阵;将所述待融合图像中每个像素点的散度值和所述待融合图像的系数矩阵代入到所述颜色值计算规则中,结合所述融合约束条件,计算所述待融合图像中每个像素点的颜色值。
在一个实施例中,所述第一波段图像为红外图像,所述第二波段图像为可见光图像;所述红外图像是由图像拍摄装置上设置的红外拍摄模块获取的,所述可见光图像是由所述图像拍摄装置上设置的可见光拍摄模块获取的。
在一个实施例中,所述处理器701在对所述第一波段图像和所述第二波段图像进行配准时,执行如下操作:基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。
在一个实施例中,所述处理器701在基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准时,执行如下操作:获取所述红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数;根据所述红外拍摄模块的标定参数对所述第一波段图像进行调整操作,和/或根据所述可见光拍摄模块的标定参数对所述第二波段图像进行调整操作;其中,所述调整操作包括以下一种或多种:旋转、缩放、平移、裁剪。
在一个实施例中,所述处理器701调用所述程序指令时还用于执行:基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外模块与所述可见光拍摄模块进行配准。
在一个实施例中,所述处理器701在基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外模块与所述可见光拍摄模块进行配准时,执行如下操作:根据所述红外拍摄模块相对于所述图像拍摄装置的位置和所述可见光拍摄模块相对于所述图像拍摄装置的位置,计算所述红外拍摄模块与所述可见光拍摄模块之间的位置差值;若所述位置差值大于或等于预设位置差值,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,以使得所述位置差值小于所述预设位置差值。
在一个实施例中,所述处理器701在基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外拍摄模块与所述可见光拍摄模块进行配准,执行如下操作:判断所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间是否满足水平分布条件;若所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间不满足水平分布条件,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,以使得所述红外拍摄模块与所述可见光拍摄模块之间满足中心水平分布条件。
在一个实施例中,所述处理器701调用所述程序指令时还用于执行:基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理。
在一个实施例中,所述处理器701在基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理时,执行如下操作:获取所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息;确定所述配准后的第一波段图像的特征信息相对所述边缘图像的特征信息的第一偏移量;根据所述第一偏移量对所述配准后的第一波段图像进行调整。
在一个实施例中,所述处理器701在基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理时,执行如下操作:获取所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息;确定所述边缘图像的特征信息相对所述配准后的第一波段图像的特征信息的第二偏移量;根据所述第二偏移对所述边缘图像进行调整。
本发明实施例提供了一种无人机,所述无人机包括:机身;设置在所述机身上的动力系统,用于提供飞行动力;图像拍摄装置,装设与所述机身上;处理器,用于获取第一波段图像和第二波段图像;对所述第一波段图像和所述第二波段图像进行配准;对配准后的第二波段图像进行边缘检测,获得边缘图像;将配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像。
在本发明的实施例中还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现本发明图2或图3所对应实施例中描述的图像处理方法方式,也可实现图7所述本发明所对应实施例的图像处理设备,在此不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明部分实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (49)
1.一种图像处理方法,其特征在于,包括:
获取第一波段图像和第二波段图像;
对所述第一波段图像和所述第二波段图像进行配准;
对配准后的第二波段图像进行边缘检测,获得边缘图像;
将配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像。
2.如权利要求1所述的方法,其特征在于,所述对配准后的第二波段图像进行边缘检测,获得边缘图像,包括:
将所述配准后的第二波段图像转换为灰度图像;
对所述灰度图像进行边缘检测,获得边缘图像。
3.如权利要求2所述的方法,其特征在于,所述对所述灰度图像进行边缘检测,获得边缘图像,包括:
对所述灰度图像进行去噪处理,得到去噪后的灰度图像;
对所述去噪后的灰度图像进行边缘增强处理,得到待处理灰度图像;
对所述待处理灰度图像进行边缘检测,获得边缘图像。
4.如权利要求1-3任一项所述的方法,其特征在于,所述将所述第一波段图像和所述边缘图像进行融合处理,得到目标图像,包括:
将所述配准后的第一波段图像和所述边缘图像进行叠加处理,得到待融合图像;
获取所述待融合图像中每个像素点的颜色值;
基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染,并将渲染后的待融合图像确定为目标图像。
5.如权利要求4所述的方法,其特征在于,所述获取所述待融合图像中每个像素点的颜色值,包括:
获取所述待融合图像的梯度场;
基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值;
基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,计算所述待融合图像中每个像素点的颜色值。
6.如权利要求5所述的方法,其特征在于,所述获取所述待融合图像的梯度场,包括:
对所述配准后的第一波段图像进行梯度处理,得到第一中间梯度场;
对所述边缘图像进行梯度处理,得到第二中间梯度场;
分别对所述第一中间梯度场和所述第二中间梯度场进行遮罩处理,得到第一梯度场和第二梯度场;
将所述第一梯度场和所述第二梯度场进行叠加,得到所述待融合图像的梯度场。
7.如权利要求6所述的方法,其特征在于,所述基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,计算所述待融合图像中每个像素点的颜色值,包括:
确定融合约束条件;
获取所述待融合图像的系数矩阵;
将所述待融合图像中每个像素点的散度值和所述待融合图像的系数矩阵代入到所述颜色值计算规则中,结合所述融合约束条件,计算所述待融合图像中每个像素点的颜色值。
8.如权利要求1-3任一项所述的方法,其特征在于,
所述第一波段图像为红外图像,所述第二波段图像为可见光图像;
所述红外图像是由图像拍摄装置上设置的红外拍摄模块获取的,所述可见光图像是由所述图像拍摄装置上设置的可见光拍摄模块获取的。
9.如权利要求8所述的方法,其特征在于,所述对所述第一波段图像和所述第二波段图像进行配准,包括:
基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。
10.如权利要求9所述的方法,其特征在于,所述基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准,包括:
获取所述红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数;
根据所述红外拍摄模块的标定参数对所述第一波段图像进行调整操作,和/或根据所述可见光拍摄模块的标定参数对所述第二波段图像进行调整操作;
其中,所述调整操作包括以下一种或多种:旋转、缩放、平移、裁剪。
11.如权利要求8所述的方法,其特征在于,所述获取第一波段图像和所述第二波段图像之前,所述方法还包括:
基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外模块与所述可见光拍摄模块进行配准。
12.如权利要求11所述的方法,其特征在于,所述基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外模块与所述可见光拍摄模块进行配准,包括:
根据所述红外拍摄模块相对于所述图像拍摄装置的位置和所述可见光拍摄模块相对于所述图像拍摄装置的位置,计算所述红外拍摄模块与所述可见光拍摄模块之间的位置差值;
若所述位置差值大于或等于预设位置差值,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,以使得所述位置差值小于所述预设位置差值。
13.如权利要求11或12所述的方法,其特征在于,所述基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外拍摄模块与所述可见光拍摄模块进行配准,包括:
判断所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间是否满足水平分布条件;
若所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间不满足水平分布条件,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,以使得所述红外拍摄模块与所述可见光拍摄模块之间满足中心水平分布条件。
14.如权利要求1所述的方法,其特征在于,所述对配准后的第二波段图像进行边缘检测,得到边缘图像之后,所述方法还包括:
基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理。
15.如权利要求14所述的方法,其特征在于,所述基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理,包括:
获取所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息;
确定所述配准后的第一波段图像的特征信息相对所述边缘图像的特征信息的第一偏移量;
根据所述第一偏移量对所述配准后的第一波段图像进行调整。
16.如权利要求15所述的方法,其特征在于,所述基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理,包括:
获取所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息;
确定所述边缘图像的特征信息相对所述配准后的第一波段图像的特征信息的第二偏移量;
根据所述第二偏移对所述边缘图像进行调整。
17.一种图像处理设备,其特征在于,所述图像处理设备包括处理器和存储器,所述处理器和所述存储器相连:
所述存储器,用于存储计算机程序,所述计算机程序包括程序指令;
所述处理器,调用所述程序指令时用于执行:
获取第一波段图像和第二波段图像;
对所述第一波段图像和所述第二波段图像进行配准;
对配准后的第二波段图像进行边缘检测,获得边缘图像;
将配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像。
18.如权利要求17所述的图像处理设备,其特征在于,所述处理器在对配准后的第二波段图像进行边缘检测,获得边缘图像时,执行如下操作:
将所述配准后的第二波段图像转换为灰度图像;
对所述灰度图像进行边缘检测,获得边缘图像。
19.如权利要求18所述的图像处理设备,其特征在于,所述处理器在对所述灰度图像进行边缘检测,获得边缘图像时,执行如下操作:
对所述灰度图像进行去噪处理,得到去噪后的灰度图像;
对所述去噪后的灰度图像进行边缘增强处理,得到待处理灰度图像;
对所述待处理灰度图像进行边缘检测,获得边缘图像。
20.如权利要求17-19任一项所述的图像处理设备,其特征在于,所述处理器在将所述第一波段图像和所述边缘图像进行融合处理,得到目标图像时,执行如下操作:
将所述配准后的第一波段图像和所述边缘图像进行叠加处理,得到待融合图像;
获取所述待融合图像中每个像素点的颜色值;
基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染,并将渲染后的待融合图像确定为目标图像。
21.如权利要求20所述的图像处理设备,其特征在于,所述处理器在获取所述待融合图像中每个像素点的颜色值时,执行如下操作:
获取所述待融合图像的梯度场;
基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值;
基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,计算所述待融合图像中每个像素点的颜色值。
22.如权利要求21所述的图像处理设备,其特征在于,所述处理器在获取所述待融合图像的梯度场时,执行如下操作:
对所述配准后的第一波段图像进行梯度处理,得到第一中间梯度场;
对所述边缘图像进行梯度处理,得到第二中间梯度场;
分别对所述第一中间梯度场和所述第二中间梯度场进行遮罩处理,得到第一梯度场和第二梯度场;
将所述第一梯度场和所述第二梯度场进行叠加,得到所述待融合图像的梯度场。
23.如权利要求22所述的图像处理设备,其特征在于,所述处理器在基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,计算所述待融合图像中每个像素点的颜色值时,执行如下操作:
确定融合约束条件;
获取所述待融合图像的系数矩阵;
将所述待融合图像中每个像素点的散度值和所述待融合图像的系数矩阵代入到所述颜色值计算规则中,结合所述融合约束条件,计算所述待融合图像中每个像素点的颜色值。
24.如权利要求17-19任一项所述的图像处理设备,其特征在于,
所述第一波段图像为红外图像,所述第二波段图像为可见光图像;
所述红外图像是由图像拍摄装置上设置的红外拍摄模块获取的,所述可见光图像是由所述图像拍摄装置上设置的可见光拍摄模块获取的。
25.如权利要求24所述的图像处理设备,其特征在于,所述处理器在对所述第一波段图像和所述第二波段图像进行配准时,执行如下操作:
基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。
26.如权利要求25所述的图像处理设备,其特征在于,所述处理器在基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准时,执行如下操作:
获取所述红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数;
根据所述红外拍摄模块的标定参数对所述第一波段图像进行调整操作,和/或根据所述可见光拍摄模块的标定参数对所述第二波段图像进行调整操作;
其中,所述调整操作包括以下一种或多种:旋转、缩放、平移、裁剪。
27.如权利要求24所述的图像处理设备,其特征在于,所述处理器调用所述程序指令时还用于执行:
基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外模块与所述可见光拍摄模块进行配准。
28.如权利要求27所述的图像处理设备,其特征在于,所述处理器在基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外模块与所述可见光拍摄模块进行配准时,执行如下操作:
根据所述红外拍摄模块相对于所述图像拍摄装置的位置和所述可见光拍摄模块相对于所述图像拍摄装置的位置,计算所述红外拍摄模块与所述可见光拍摄模块之间的位置差值;
若所述位置差值大于或等于预设位置差值,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,以使得所述位置差值小于所述预设位置差值。
29.如权利要求27或28所述的图像处理设备,其特征在于,所述处理器在基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外拍摄模块与所述可见光拍摄模块进行配准,执行如下操作:
判断所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间是否满足水平分布条件;
若所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间不满足水平分布条件,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,以使得所述红外拍摄模块与所述可见光拍摄模块之间满足中心水平分布条件。
30.如权利要求17所述的图像处理设备,其特征在于,所述处理器调用所述程序指令时还用于执行:
基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理。
31.如权利要求30所述的图像处理设备,其特征在于,所述处理器在基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理时,执行如下操作:
获取所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息;
确定所述配准后的第一波段图像的特征信息相对所述边缘图像的特征信息的第一偏移量;
根据所述第一偏移量对所述配准后的第一波段图像进行调整。
32.如权利要求31所述的图像处理设备,其特征在于,所述处理器在基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理时,执行如下操作:
获取所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息;
确定所述边缘图像的特征信息相对所述配准后的第一波段图像的特征信息的第二偏移量;
根据所述第二偏移对所述边缘图像进行调整。
33.一种无人机,其特征在于,包括:
机身;
设置在所述机身上的动力系统,用于提供飞行动力;
图像拍摄装置,装设与所述机身上;
处理器,用于获取第一波段图像和第二波段图像;对所述第一波段图像和所述第二波段图像进行配准;对配准后的第二波段图像进行边缘检测,获得边缘图像;将配准后的第一波段图像和所述边缘图像进行融合处理,得到目标图像。
34.如权利要求33所述的无人机,其特征在于,
所述处理器,用于将所述配准后的第二波段图像转换为灰度图像;
对所述灰度图像进行边缘检测,获得边缘图像。
35.如权利要求34所述的无人机,其特征在于,
所述处理器,用于对所述灰度图像进行去噪处理,得到去噪后的灰度图像;对所述去噪后的灰度图像进行边缘增强处理,得到待处理灰度图像;对所述待处理灰度图像进行边缘检测,获得边缘图像。
36.如权利要求33-35任一项所述的无人机,其特征在于,
所述处理器,用于将所述配准后的第一波段图像和所述边缘图像进行叠加处理,得到待融合图像;获取所述待融合图像中每个像素点的颜色值;基于所述待融合图像中每个像素点的颜色值对所述待融合图像进行渲染,并将渲染后的待融合图像确定为目标图像。
37.如权利要求36所述的无人机,其特征在于,
所述处理器,用于获取所述待融合图像的梯度场;基于所述待融合图像的梯度场计算所述待融合图像中每个像素点的散度值;基于所述待融合图像中每个像素点的散度值以及颜色值计算规则,计算所述待融合图像中每个像素点的颜色值。
38.如权利要求37所述的无人机,其特征在于,
所述处理器,用于对所述配准后的第一波段图像进行梯度处理,得到第一中间梯度场;对所述边缘图像进行梯度处理,得到第二中间梯度场;分别对所述第一中间梯度场和所述第二中间梯度场进行遮罩处理,得到第一梯度场和第二梯度场;将所述第一梯度场和所述第二梯度场进行叠加,得到所述待融合图像的梯度场。
39.如权利要求38所述的无人机,其特征在于,
所述处理器,用于确定融合约束条件;获取所述待融合图像的系数矩阵;将所述待融合图像中每个像素点的散度值和所述待融合图像的系数矩阵代入到所述颜色值计算规则中,结合所述融合约束条件,计算所述待融合图像中每个像素点的颜色值。
40.如权利要求33-35任一项所述的无人机,其特征在于,
所述处理器,用于所述第一波段图像为红外图像,所述第二波段图像为可见光图像;所述红外图像是由图像拍摄装置上设置的红外拍摄模块获取的,所述可见光图像是由所述图像拍摄装置上设置的可见光拍摄模块获取的。
41.如权利要求40所述的无人机,其特征在于,
所述处理器,用于基于所述红外拍摄模块的标定参数和所述可见光拍摄模块的标定参数对所述第一波段图像和所述第二波段图像进行配准。
42.如权利要求41所述的无人机,其特征在于,
所述处理器,用于获取所述红外拍摄模块的标定参数以及所述可见光拍摄模块的标定参数;
根据所述红外拍摄模块的标定参数对所述第一波段图像进行调整操作,和/或根据所述可见光拍摄模块的标定参数对所述第二波段图像进行调整操作;
其中,所述调整操作包括以下一种或多种:旋转、缩放、平移、裁剪。
43.如权利要求40所述的无人机,其特征在于,
所述处理器,用于基于所述红外拍摄模块的位置和所述可见光拍摄模块的位置对所述红外模块与所述可见光拍摄模块进行配准。
44.如权利要求43所述的无人机,其特征在于,
所述处理器,用于根据所述红外拍摄模块相对于所述图像拍摄装置的位置和所述可见光拍摄模块相对于所述图像拍摄装置的位置,计算所述红外拍摄模块与所述可见光拍摄模块之间的位置差值;
若所述位置差值大于或等于预设位置差值,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,以使得所述位置差值小于所述预设位置差值。
45.如权利要求43或44所述的无人机,其特征在于,
所述处理器,用于判断所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间是否满足水平分布条件;
若所述红外拍摄模块的位置与所述可见光拍摄模块的位置之间不满足水平分布条件,则触发调整所述红外拍摄模块的位置或所述可见光拍摄模块的位置,以使得所述红外拍摄模块与所述可见光拍摄模块之间满足中心水平分布条件。
46.如权利要求33所述的无人机,其特征在于,
所述处理器,用于基于所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息,对所述配准后的第一波段图像和所述边缘图像进行对齐处理。
47.如权利要求46所述的无人机,其特征在于,
所述处理器,用于获取所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息;确定所述配准后的第一波段图像的特征信息相对所述边缘图像的特征信息的第一偏移量;根据所述第一偏移量对所述配准后的第一波段图像进行调整。
48.如权利要求47所述的无人机,其特征在于,
所述处理器,用于获取所述配准后的第一波段图像的特征信息以及所述边缘图像的特征信息;确定所述边缘图像的特征信息相对所述配准后的第一波段图像的特征信息的第二偏移量;根据所述第二偏移对所述边缘图像进行调整。
49.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-16任一项所述的图像处理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2018/119118 WO2020113408A1 (zh) | 2018-12-04 | 2018-12-04 | 一种图像处理方法、设备、无人机、系统及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110869976A true CN110869976A (zh) | 2020-03-06 |
Family
ID=69651646
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201880038782.4A Pending CN110869976A (zh) | 2018-12-04 | 2018-12-04 | 一种图像处理方法、设备、无人机、系统及存储介质 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20200349687A1 (zh) |
CN (1) | CN110869976A (zh) |
WO (1) | WO2020113408A1 (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111667519A (zh) * | 2020-06-05 | 2020-09-15 | 北京环境特性研究所 | 一种不同视场偏振图像配准方法和装置 |
CN113012016A (zh) * | 2021-03-25 | 2021-06-22 | 北京有竹居网络技术有限公司 | 水印嵌入方法、装置、设备以及存储介质 |
CN113155288A (zh) * | 2020-11-30 | 2021-07-23 | 齐鲁工业大学 | 一种光伏电池热斑的图像识别方法 |
CN113222879A (zh) * | 2021-07-08 | 2021-08-06 | 中国工程物理研究院流体物理研究所 | 一种用于红外与可见光图像融合的生成对抗网络 |
WO2021217445A1 (zh) * | 2020-04-28 | 2021-11-04 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、系统和存储介质 |
WO2021253173A1 (zh) * | 2020-06-15 | 2021-12-23 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置及巡检系统 |
CN117314813A (zh) * | 2023-11-30 | 2023-12-29 | 奥谱天成(湖南)信息科技有限公司 | 高光谱图像波段融合方法及系统、介质 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11158060B2 (en) | 2017-02-01 | 2021-10-26 | Conflu3Nce Ltd | System and method for creating an image and/or automatically interpreting images |
US11176675B2 (en) * | 2017-02-01 | 2021-11-16 | Conflu3Nce Ltd | System and method for creating an image and/or automatically interpreting images |
CN115176274A (zh) * | 2020-06-08 | 2022-10-11 | 上海交通大学 | 一种异源图像配准方法及系统 |
CN112907493A (zh) * | 2020-12-01 | 2021-06-04 | 航天时代飞鸿技术有限公司 | 无人机蜂群协同侦察下的多源战场图像快速镶嵌融合算法 |
CN112634151A (zh) * | 2020-12-14 | 2021-04-09 | 深圳中兴网信科技有限公司 | 基于泊松融合的烟雾数据增强方法、增强设备和存储介质 |
US20220207673A1 (en) * | 2020-12-24 | 2022-06-30 | Continental Automotive Systems, Inc. | Method and device for fusion of images |
CN112887593B (zh) * | 2021-01-13 | 2023-04-07 | 浙江大华技术股份有限公司 | 图像获取方法及装置 |
CN113486697B (zh) * | 2021-04-16 | 2024-02-13 | 成都思晗科技股份有限公司 | 基于空基多模态图像融合的森林烟火监测方法 |
CN114418941A (zh) * | 2021-12-10 | 2022-04-29 | 国网浙江省电力有限公司宁波供电公司 | 一种基于电力巡检设备检测数据的缺陷诊断方法及系统 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104811624A (zh) * | 2015-05-06 | 2015-07-29 | 努比亚技术有限公司 | 红外拍摄方法及装置 |
CN106548467A (zh) * | 2016-10-31 | 2017-03-29 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
CN107465882A (zh) * | 2017-09-22 | 2017-12-12 | 维沃移动通信有限公司 | 一种图像拍摄方法及移动终端 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1300803A3 (en) * | 2001-08-28 | 2007-10-24 | Nippon Telegraph and Telephone Corporation | Image processing method and apparatus |
CN108364003A (zh) * | 2018-04-28 | 2018-08-03 | 国网河南省电力公司郑州供电公司 | 基于无人机可见光及红外图像融合的电力巡检方法及装置 |
CN108830819B (zh) * | 2018-05-23 | 2021-06-18 | 青柠优视科技(北京)有限公司 | 一种深度图像与红外图像的图像融合方法及装置 |
-
2018
- 2018-12-04 WO PCT/CN2018/119118 patent/WO2020113408A1/zh active Application Filing
- 2018-12-04 CN CN201880038782.4A patent/CN110869976A/zh active Pending
-
2020
- 2020-07-15 US US16/930,074 patent/US20200349687A1/en not_active Abandoned
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104811624A (zh) * | 2015-05-06 | 2015-07-29 | 努比亚技术有限公司 | 红外拍摄方法及装置 |
CN106548467A (zh) * | 2016-10-31 | 2017-03-29 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
CN107465882A (zh) * | 2017-09-22 | 2017-12-12 | 维沃移动通信有限公司 | 一种图像拍摄方法及移动终端 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021217445A1 (zh) * | 2020-04-28 | 2021-11-04 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置、系统和存储介质 |
CN111667519A (zh) * | 2020-06-05 | 2020-09-15 | 北京环境特性研究所 | 一种不同视场偏振图像配准方法和装置 |
CN111667519B (zh) * | 2020-06-05 | 2023-06-20 | 北京环境特性研究所 | 一种不同视场偏振图像配准方法和装置 |
WO2021253173A1 (zh) * | 2020-06-15 | 2021-12-23 | 深圳市大疆创新科技有限公司 | 图像处理方法、装置及巡检系统 |
CN113155288A (zh) * | 2020-11-30 | 2021-07-23 | 齐鲁工业大学 | 一种光伏电池热斑的图像识别方法 |
CN113012016A (zh) * | 2021-03-25 | 2021-06-22 | 北京有竹居网络技术有限公司 | 水印嵌入方法、装置、设备以及存储介质 |
CN113222879A (zh) * | 2021-07-08 | 2021-08-06 | 中国工程物理研究院流体物理研究所 | 一种用于红外与可见光图像融合的生成对抗网络 |
CN113222879B (zh) * | 2021-07-08 | 2021-09-21 | 中国工程物理研究院流体物理研究所 | 一种用于红外与可见光图像融合的生成对抗网络 |
CN117314813A (zh) * | 2023-11-30 | 2023-12-29 | 奥谱天成(湖南)信息科技有限公司 | 高光谱图像波段融合方法及系统、介质 |
CN117314813B (zh) * | 2023-11-30 | 2024-02-13 | 奥谱天成(湖南)信息科技有限公司 | 高光谱图像波段融合方法及系统、介质 |
Also Published As
Publication number | Publication date |
---|---|
US20200349687A1 (en) | 2020-11-05 |
WO2020113408A1 (zh) | 2020-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110869976A (zh) | 一种图像处理方法、设备、无人机、系统及存储介质 | |
CN109089047B (zh) | 控制对焦的方法和装置、存储介质、电子设备 | |
CN109376667B (zh) | 目标检测方法、装置及电子设备 | |
CN108810418B (zh) | 图像处理方法、装置、移动终端及计算机可读存储介质 | |
KR101858646B1 (ko) | 영상 융합 장치 및 방법 | |
CN110493527B (zh) | 主体对焦方法、装置、电子设备和存储介质 | |
CN110473185B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
EP3798975B1 (en) | Method and apparatus for detecting subject, electronic device, and computer readable storage medium | |
EP3425590B1 (en) | Image processing apparatus, image processing method, and storage medium | |
CN109685853B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN111837155A (zh) | 图像处理方法及设备 | |
CN107704798B (zh) | 图像虚化方法、装置、计算机可读存储介质和计算机设备 | |
CN108804658B (zh) | 图像处理方法和装置、存储介质、电子设备 | |
WO2021184302A1 (zh) | 图像处理方法、装置、成像设备、可移动载体及存储介质 | |
CN111246100B (zh) | 防抖参数的标定方法、装置和电子设备 | |
CN113159229B (zh) | 图像融合方法、电子设备及相关产品 | |
CN111247558A (zh) | 一种图像处理方法、设备、无人机、系统及存储介质 | |
CN107295261B (zh) | 图像去雾处理方法、装置、存储介质和移动终端 | |
CN110650288B (zh) | 对焦控制方法和装置、电子设备、计算机可读存储介质 | |
CN111164962B (zh) | 一种图像处理方法、设备、无人机、系统及存储介质 | |
CN112514366A (zh) | 图像处理方法、图像处理装置和图像处理系统 | |
CN107464225B (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 | |
CN110727966A (zh) | 图像处理方法和装置、存储介质、电子设备 | |
CN115835034A (zh) | 白平衡处理方法与电子设备 | |
CN109191396B (zh) | 人像处理方法和装置、电子设备、计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200306 |
|
WD01 | Invention patent application deemed withdrawn after publication |