CN115294002A - 图像融合方法、电子设备、无人机和存储介质 - Google Patents

图像融合方法、电子设备、无人机和存储介质 Download PDF

Info

Publication number
CN115294002A
CN115294002A CN202210939940.1A CN202210939940A CN115294002A CN 115294002 A CN115294002 A CN 115294002A CN 202210939940 A CN202210939940 A CN 202210939940A CN 115294002 A CN115294002 A CN 115294002A
Authority
CN
China
Prior art keywords
image
imaging device
contour
mapping
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210939940.1A
Other languages
English (en)
Inventor
李昭早
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Original Assignee
Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Autel Intelligent Aviation Technology Co Ltd filed Critical Shenzhen Autel Intelligent Aviation Technology Co Ltd
Priority to CN202210939940.1A priority Critical patent/CN115294002A/zh
Publication of CN115294002A publication Critical patent/CN115294002A/zh
Priority to US18/231,182 priority patent/US20240212101A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/60Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例涉及图像处理领域,尤其涉及一种图像融合方法、电子设备、无人机和存储介质。图像融合方法包括:获取第一图像;获取第二图像;基于第一变换参数和所述第一图像,获取所述第一图像的映射图像,所述第一变换参数用于表征所述第一图像和所述第二图像的空间转换关系;加权叠加所述第二图像和所述映射图像,以获取第一融合图像。本发明实施例获取第一图像和第二图像,基于第一变换参数对第一图像进行变换,以使获取的第一图像的映射图像在空间结构上与第二图像对齐,亦即映射图像与第二图像中同一位置的像素点具有对应关系。如此,映射图像和第二图像可以通过直接加权相加的方式进行融合,方法简单。

Description

图像融合方法、电子设备、无人机和存储介质
【技术领域】
本发明涉及图像处理领域,尤其涉及一种图像融合方法、电子设备、无人机和存储介质。
【背景技术】
微光成像和热成像均为较好的低照度成像技术手段。热红外成像通过辐射计接收目标发射的红外辐射,转换成可见的热红外图像。热红外成像对温度敏感,能很好的探测温差目标,且探测距离远,不受环境、灯光、树木遮挡等影响。但是对亮度变化不敏感,导致微光图像分辨率低,刻画细节能力有限。无法实现车牌、人貌等细节特征的识别或探测。
微光成像是反射成像,其视觉感受接近可见光,能很好的识别对于可见光反射率不一样的物体,微光图像细节丰富,层次感很强。但微光成像受天气、光源、烟雾等因素的影响较大,成像不稳定,甚至可能在雨雾天或者无光环境下无法工作。
将微光图像与热红外图像融合获得的融合图像,能集成两者的优势,既能体现微光图像的丰富细节,又能看到不同于反射图像的红外辐射图像,从而大幅度提高低照度视频图像的观测能力。目前的微光图像和热红外图像融合方法均较为复杂。
【发明内容】
本申请实施例提供一种图像融合方法、电子设备、无人机和存储介质,图像融合方法较为简单。
为解决上述技术问题,本申请实施例提供了一种图像融合方法,包括:
获取第一图像;
获取第二图像;
基于第一变换参数和所述第一图像,获取所述第一图像的映射图像,所述第一变换参数用于表征所述第一图像和所述第二图像的空间转换关系;
加权叠加所述第二图像和所述映射图像,以获取第一融合图像。
在一些实施例中,所述方法还包括:
提取所述第二图像中的轮廓特征点,以获取轮廓图像;
或者,
提取所述映射图像中的轮廓特征点,以获取轮廓图像。
在一些实施例中,还包括:
加权叠加所述第一融合图像和所述轮廓图像,以获取第二融合图像。
在一些实施例中,还包括:
响应于第一操作,将所述第一图像作为基准图像,所述第一图像作为基准图像时,所述轮廓图像包括第二图像中的轮廓特征点;
或者,
响应于第二操作,将所述第二图像作为基准图像,所述第二图像作为基准图像时,所述轮廓图像包括所述映射图像中的轮廓特征点。
在一些实施例中,还包括:
响应于第三操作,调节所述加权叠加的权重。
在一些实施例中,还包括:
响应于所述第一图像和所述第二图像满足第一条件,将所述第一图像作为基准图像;
响应于所述第一图像和所述第二图像满足第二条件,将所述第二图像作为基准图像;
所述第一图像作为基准图像时,所述轮廓图像包括第二图像中的轮廓特征点,所述第二图像作为基准图像时,所述轮廓图像包括所述映射图像中的轮廓特征点;
其中,所述第一条件包括以下条件中的一种:
(1)、所述第一图像的熵值大于或者等于所述第二图像的熵值;
(2)、所述第一图像的像素值之和大于或者等于所述第二图像的像素值之和;
所述第二条件包括以下条件中的一种:
(3)、所述第一图像的熵值小于所述第二图像的熵值;
(4)、所述第一图像的像素值之和小于所述第二图像的像素值之和。
在一些实施例中,还包括:
基于所述第一图像和所述第二图像满足第一条件或第二条件,确定所述加权叠加的权重;
其中,所述第一条件包括以下条件中的一种:
(1)、所述第一图像的熵值大于或者等于所述第二图像的熵值;
(2)、所述第一图像的像素值之和大于或者等于所述第二图像的像素值之和;
所述第二条件包括以下条件中的一种:
(3)、所述第一图像的熵值小于所述第二图像的熵值;
(4)、所述第一图像的像素值之和小于所述第二图像的像素值之和。
在一些实施例中,所述第一图像为微光成像装置获取的微光图像,所述第二图像为热红外成像装置获取的热红外图像;
或者,
所述第一图像为所述热红外图像,所述第二图像为所述微光图像。
在一些实施例中,还包括:
获取所述微光成像装置所处环境的亮度,若所述亮度大于或者等于第一亮度阈值,则将所述微光图像作为基准图像,否则,将所述热红外图像作为基准图像;
所述微光图像作为基准图像时,所述轮廓图像包括热红外图像中的轮廓特征点,所述热红外图像作为基准图像时,所述轮廓图像包括所述微光图像的映射图像中的轮廓特征点。
在一些实施例中,还包括:
基于所述微光成像装置所处环境的亮度,确定所述加权叠加的权重。
在一些实施例中,所述第一变换参数包括投影矩阵,所述投影矩阵为:
Figure BDA0003785117330000031
其中,m0、m1、m2、m3、m4、m5、m6、m7、m8、a、b、c、d为常数,L为目标到成像装置的距离。
第二方面,本申请实施例还提供了一种电子设备,包括:
处理器以及与所述处理器通信连接的存储器;
所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器调用时,以使所述处理器执行如上所述的方法。
第三方面,本申请实施例还提供了一种无人机,包括:
机身,所述机身上设置有第一成像装置和第二成像装置,所述第一成像装置用于获取第一图像,所述第二成像装置用于获取第二图像;
机臂,与所述机身相连;
动力装置,设于所述机臂,用于给所述无人机提供飞行的动力;以及
处理器,与所述处理器通信连接的存储器;
所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器调用时,以使所述处理器执行如上所述的方法
第四方面,本申请实施例还提供了一种存储介质,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于使处理器执行如上所述的方法。
本申请实施例获取第一图像和第二图像,基于第一变换参数对第一图像进行变换,以使获取的第一图像的映射图像在空间结构上与第二图像对齐,亦即映射图像与第二图像中同一位置的像素点具有对应关系。如此,映射图像和第二图像可以通过直接加权相加的方式进行融合,方法简单。
【附图说明】
一个或多个实施例通过与之对应的附图中的图片进行示例性说明,这些示例性说明并不构成对实施例的限定,附图中具有相同参考数字标号的元件表示为类似的元件,除非有特别申明,附图中的图不构成比例限制。
图1为本申请实施例电子设备的构成示意图;
图2为本申请实施例无人机的结构示意图;
图3为本申请实施例的发明原理示意图;
图4-图5b为本申请实施例图像融合方法的流程图;
图6a-图6b为本申请实施例图像融合方法的流程示意图;
图7为本申请实施例图像融合示意图;
图8a-图10c为本申请实施例图像融合方法的流程图;
图11为本申请实施例人机交互接口示意图;
图12为本申请实施例人机交互接口示意图。
【具体实施方式】
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、详细的描述。显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。应当理解,此处所描述的具体实施例仅用以解释本申请,并不用于限定本申请。
此外,下面所描述的本申请各个实施例中所涉及到的技术特征彼此之间未构成冲突可以相互组合。
另外,虽然在装置示意图中进行了功能模块划分,在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于装置中的模块划分,或流程图中的顺序执行可以不同于所示出或描述的步骤。此外,本文所采用的“第一”、“第二”、“第三”等字样并不对数据和执行次序进行限定,仅是对功能和作用基本相同的相同项或相似项进行区分。
除非另有定义,本文所使用的技术和科学术语与本领域技术人员通常理解的含义相同。说明书中所使用的术语只是为了描述具体的实施例不是旨在于限制本申请。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
电子设备常采用多种成像装置来获取图像,多种成像装置分别基于不同的成像技术,可以使电子设备获取的图像能集成多种成像技术的优点,并弥补彼此的不足。
图像融合将来自不同成像装置的图像进行合并,得到一个更加完整的图像或场景,通过对多幅图像间互补信息的处理来提高图像的信息量和清晰度。
图1以两个成像装置为例示出了电子设备100的一种结构,电子设备100包括第一成像装置10和第二成像装置20,第一成像装置10用于获取第一图像,第二成像装置20用于获取第二图像。
电子设备还包括处理器30和存储器40,第一成像装置10和第二成像装置20均与处理器30通信连接,处理器30和存储器40通过线路连接,在图1所示的实施例中,第一成像装置10、第二成像装置20和存储器30均通过总线与处理器40连接。
存储器40用于存储软件程序、计算机可执行程序指令等。存储器40可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。
存储器40可以是只读存储器(read-on1y memory,ROM),也可以是可存储静态信息和指令的其他类型的静态存储设备,也可以是随机存取存储器(random accessmemory,RAM),也可以是可存储信息和指令的其他类型的动态存储设备,还可以是电可擦可编程只读存储器(e1ectrica11y erasab1e programmab1e read-on1y memory,EEPROM),具体此处不做限定。
示例性的,前述存储器40可以为双倍速率同步动态随机存储器DDRSDRAM(简称DDR)。该存储器40可以独立存在,但与处理器30相连。可选的,该存储器40也可以和处理器30集成于一体。例如,集成于一个或多个芯片之内。
在一些实施例中,存储器40可选包括相对于处理器30远程设置的存储器,这些远程存储器可以通过网络连接至电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器30利用各种接口和线路连接整个电子设备100的各个部分,通过运行或执行存储在存储器40内的软件程序,以及调用存储在存储器40内的数据,执行电子设备的各种功能和处理数据,例如对第一图像和第二图像进行图像处理、融合第一图像和第二图像获得融合图像等,处理器30可以实现本申请任一实施例所述的方法。
处理器30可以是现场可编程逻辑门阵列(field programmable gate array,FPGA)、数字信号处理器(digita1 signa1 process,DSP)、中央处理器(centra1processingunit,CPU)或图形处理器(graphics processing unit,GPU)等具有图像处理功能的功能单元或功能模块。
处理器30可以是一个单核处理器,也可以是一个多核处理器,例如,该处理器30可以是由多个FPGA或多个DSP组成。此外,处理器30可以指一个或多个装置、电路和/或用于处理数据(例如计算机程序指令)的处理核。该处理器30可以是个单独的半导体芯片,也可以跟其他电路一起集成为一个半导体芯片,例如,可以跟其他电路(如编解码电路、硬件加速电路或各种总线和接口电路)构成一个片上系统(system-on-a-chip,SoC),或者也可以作为一个特殊应用集成电路(app1ication specific integrated circuit,ASIC)的内置处理器集成在所述ASIC当中,该集成了处理器的ASIC可以单独封装或者也可以跟其他电路封装在一起。
第一成像装置10和第二成像装置20可以是基于不同成像技术的成像装置,以使电子设备同时具有两种成像技术的优点。第一成像装置10和第二成像装置20可以是各类热成像装置、光成像装置等,例如红外热成像仪、微光夜视仪、电荷耦合器件(ChargeCoupledDevice,CCD)图像传感器,金属氧化物半导体元件(Complementary Metal-OxideSemiconductor,CMOS)图像传感器等。
电子设备包括由集成电路、晶体管、电子管等电子元器件组成的各类仪器、设备等,例如各种无人机、各种机器人、摄像设备、智能终端等。
图2示出了当电子设备为无人机时,无人机的一种结构,本申请各实施例的方法同样可以应用于无人机。如图2所示,无人机100包括机身50、与机身50相连的机臂60、设于机臂60的动力装置70和设于机身50的第一成像装置10和第二成像装置20。
在本实施例中,第一成像装置10和第二成像装置20设置于机身50,在另一些实施例中,也可以设置于无人机的其他位置,例如设置于机臂。图2仅示意性的示出了无人机包括一个第一成像装置10和一个第二成像装置20,在一些应用场合,可以在多个方向设置第一成像装置10和第二成像装置20,例如在四个方向、六个方向或八个方向等分别设置第一成像装置10和/或第二成像装置20。
其中,动力装置70例如包括电机和与电机相连的螺旋桨,电机的转轴转动以带动螺旋桨旋转从而给无人机提供升力。
在另一些实施例中,无人机100还可以包括视觉系统(图未示),用于获取周围环境图像,识别目标、检测目标的深度信息以及获取环境地图等,视觉系统可以包括视觉芯片。
无人机还可以包括飞行控制器(图未示),飞行控制器是无人机的控制中心,用于协调控制无人机的各组成部分或元件,实现无人机的各项功能,例如飞行、降落、拍摄、追踪目标等。
在电子设备为无人机的场合,上述处理器30为无人机中的处理器,上述存储器40为无人机中的内部存储器,或者与无人机通信连接的外部存储器等。本申请各实施例的方法可以由无人机中的飞行控制器执行,也可以由视觉系统中的视觉芯片执行,还可以由无人机中的其他控制器执行,或者由两个或两个以上的控制器协调执行,实现本申请任一实施例的方法。
本领域技术人员可以理解的,以上仅是对无人机100硬件结构的举例说明,在实际应用中,还可以根据实际功能需要,为无人机100设置更多部件,当然,也可以根据功能需要,省略其中一个或者多个部件。
其中,无人机可以是任意合适类型的无人机,例如固定翼无人机、旋翼无人机、无人飞艇、无人热气球等。
以下以第一成像装置10和第二成像装置20为热红外成像装置(例如红外热成像仪)和微光成像装置(例如微光夜视仪)为例说明。
微光成像和热成像均为较好的低照度成像技术手段。热红外成像通过辐射计接收目标发射的红外辐射,转换成可见的热红外图像。热红外成像对温度敏感,能很好的探测温差目标,且探测距离远,不受环境、灯光、树木遮挡等影响。但是对亮度变化不敏感,导致热红外图像分辨率低,刻画细节能力有限。无法实现车牌、人貌等细节特征的识别或探测。
微光成像是反射成像,其视觉感受接近可见光,能很好的识别对于可见光反射率不一样的物体,微光图像细节丰富,层次感很强。但微光成像受天气、光源、烟雾等因素的影响较大,成像不稳定,甚至可能在雨雾天或者无光环境下无法工作。
将微光图像与热红外图像融合获得的融合图像,能集成两者的优势,既能体现微光图像的丰富细节,又能看到不同于反射图像的红外辐射图像,从而大幅度提高低照度视频图像的观测能力。
目前的图像融合方法,例如基于金字塔分解的图像融合方法、基于小波分析的图像融合方法等,多较为复杂。本申请各实施例提供的图像融合方法,通过第一变换参数和第一图像,获得第一图像的映射图像,该映射图像在空间上与第二图像对齐。之后,加权叠加第二图像和映射图像,即可获取融合图像。该融合方法较为简单,能提高软件的运行速度。
请参照图3,第一图像和第二图像均包括M行N列的像素点,每个像素点具有一个像素值。像素点位置可以用像素坐标来表示,像素坐标可以为顺序排列的数组序列值,用以表征图像中各个像素点在图像中的位置。如图3所示,图3中的(0,0)、(0,1)…、(2,2)等均为像素坐标。
像素值是图像被数字化时由计算机赋予的值,代表了图像中某一像素的平均亮度信息。本申请各实施例涉及的图像,可以为单通道图像或三通道图像,也可以是四通道图像或者其他更多通道的图像。
其中,单通道图像也被称为灰度图像,每个像素由一个像素值表示。若单通道图像的像素值采用8位表示,则该单通道图像的像素值的取值范围为:0(黑)~255(白)。三通道图像一般指的是RGB图像,该RGB图像可以呈现出色彩,也可以表示黑白图像。若三通道图像的像素值采用8位表示,则每个像素值由三个通道值表示,即像素值由红(0~255)、绿(0~255)和蓝(0~255)叠加表示。四通道图像则是在三通道图像的基础上增加了一个亮度通道以表示透明程度。
本领域技术人员可以理解的,若图像为多通道图像,则一个像素的像素值是由多个通道值组成的,在计算过程中需要对每个通道值进行相同的计算。
其中,上述映射图像在空间上与第二图像对齐,可以理解为,映射图像中的各像素点与第二图像中的各像素点具有对应关系。亦即,映射图像和第二图像中同一位置的像素点指向同一个特征点。空间上对齐的映射图像和第二图像,同一位置处的像素点是对应的,可以直接加权叠加各像素值,获得第一融合图像。
本申请实施例中,为达到第一图像的映射图像和第二图像在空间上对齐,并非直接改变第一图像中各像素点的坐标,而是通过改变第一图像中各像素点的像素值,达到各像素点位置迁移(例如坐标改变))的效果,从而使获得的映射图像与第二图像在空间上对齐。
本申请实施例通过第一变换参数改变各像素点的像素值,以图3为例说明,第一图像I(x,y)经第一变换参数变换后,获得与第二图像V(x,y)对应的映射图像I0(x,y)。第一图像的各像素点I(0,0)、I(0,1)、…、I(2,2),经第一变换参数变换后,各像素点的像素值变为I0(0,0)、I0(0,1)、…、I0(2,2),映射图像I0(x,y)和第二图像V(x,y)中,I0(0,0)与V(0,0)对应,I0(0,1)与V(0,1)对应,…,I0(2,2)与V(2,2)对应。
以下说明本申请各实施例的图像融合方法,为方便说明,以下均以电子设备为无人机,各图像为单通道图像,像素值为灰度值为例说明。
如图4所示,本申请实施例提供的图像融合方法包括:
101:获取第一图像。
102:获取第二图像。
第一图像可以是热红外成像装置获取的热红外图像,第二图像可以是微光成像装置获取的微光图像,在另一些实施例中,第一图像也可以是微光成像装置获取的微光图像,第二图像也可以是热红外成像装置获取的热红外图像。本领域技术人员可以理解的,第一图像和第二图像还可以是任何基于不同成像技术的图像。
103:基于第一变换参数和第一图像,获取第一图像的映射图像。
获取第一图像后,基于第一变换参数对第一图像进行变换,以使获取的第一图像的映射图像在空间结构上与第二图像对齐,亦即映射图像与第二图像中同一位置的像素点具有对应关系。如此,映射图像和第二图像可以通过直接加权相加的方式进行融合,方法简单。
其中,第一变换参数用于表征第一图像和第二图像的空间转换关系,第一图像利用该第一变换参数变换后,获得的映射图像与第二图像在空间上对齐。
第一变换参数例如投影矩阵,投影矩阵可以是任何尺寸的矩阵,示例性的,投影矩阵为:
Figure BDA0003785117330000101
其中,m0、m1、m3、m4分别表示图像的缩放尺度和旋转量,m2表示图像在水平方向上的位移,m5表示图像在垂直方向上的位移,m6、m7表示图像在水平和垂直方向上的形变量,m8为权重因子,在部分应用场合,在归一化条件下,m8为1。
该投影矩阵中的各参数可以通过标定获得,以第一图像为热红外图像,第二图像为微光图像为例说明,可以选取纹理信息在热红外成像和微光成像上大体一致的标定图案,以便于后续特征点匹配。
获取投影矩阵的大体过程为,热红外成像装置和微光成像装置间隔标定图案一定距离(例如6米,下称基础距离)处分别取像,获取第一标定图像和第二标定图像。分别提取第一标定图像和第二标定图像中的特征点,并进行特征点匹配,以获取多个匹配的特征点对。之后基于各匹配特征点对的横纵坐标值,计算获得投影矩阵中的各参数值m0-m7
具体的,可以提取第一标定图像和第二标定图像中的边缘、轮廓等特征点,并进行特征点匹配,以获取各个匹配的特征点对。其中,可以采用Canny边缘检测算法检测图像中的边缘、轮廓等特征点。除此之外,还可以采用现有技术中的其他特征点匹配方法来进行特征点匹配。
在实际应用中,针对每个电子设备,该投影矩阵可以在出厂前标定,并添加到该电子设备的出厂设置中。
在另一些实施例中,为提高映射图像和第二图像的匹配精度,适应目标到无人机的距离变换,投影矩阵还可以是:
Figure BDA0003785117330000111
其中,L为目标到成像装置的距离,a、b、c、d为常数,可以通过标定获得。
该投影矩阵可以基于基础距离下的投影矩阵H,以及L和参数a、b、c、d获得。由于通常情况下,热红外成像装置和微光成像装置的距离大致相同,L可以是目标到热红外成像装置的距离,也可以是目标到微光成像装置的距离。
在实际应用中,获取目标到成像装置的距离的方法有多种方案,比如:激光测距或雷达测距等。
在第一成像装置和第二成像装置固定情况下,不同距离L的目标在图像上的主要表现是图像在水平和垂直方向上的位移m2和m5的变化,设距离L处的m2为m2L,设距离L处的m5为m5L
参数a、b、c和d,可以通过获取多个标定距离L和m2L的参数对,以及多个标定距离L和m5L的参数对,并通过线性拟合(例如最小二乘法)的方式获得。其中,m2L=am2+bL,即距离L下的m5L=cm5+dL。
多个标定距离,比如,1米、2米、3米……100米等。每次测量时,调整热红外成像装置和微光成像装置间隔标定图案的距离。
例如:当热红外成像装置和微光成像装置间隔标定图案为1米时,采集第一标定图像和第二标定图像,采用上述获取m0-m7相同的方式获取m21、m51。以获得参数对(1,m21)和(1,m51)。
当热红外成像装置和微光成像装置间隔标定图案为2米时,采集第一标定图像和第二标定图像,获取参数对(2,m22)和(2,m52)。
在其他的标定距离下(比如,3米、4米、5米……100米)再次进行测量,从而得到更多数量的参数对。
还可以采用不同的电子设备,亦即不同的热红外成像装置和微光成像装置,获得更多的参数对。
然后,通过线性拟合,获得参数a、b、c和d。
以下以投影矩阵为H为例,说明第一图像的映射过程。
本申请实施例中,通过投影矩阵改变第一图像中各像素点的灰度值,达到各像素点位置迁移的效果,从而使获得的映射图像与第二图像在空间上对齐。
假设第一图像为I(x,y),映射图像为I0(x,y),映射图像中任一像素点(x,y)的灰度值可以通过如下方式获得:
a:先获取第一图像中同一位置的像素点和周围的各个像素点的灰度值。在投影矩阵为3×3矩阵的场合,则可以获取共9个像素点的灰度值。其形成一3×3矩阵为:
Figure BDA0003785117330000121
b:将I1与投影矩阵H相乘,同样得到一3×3矩阵,为:
Figure BDA0003785117330000122
c:I0(x,y)可以为N1中9个元素的平均值。
以获取映射图像中I0(1,1)为例说明,获取第一图像中的I(0,0)、I(0,1)、I(0,2)、I(1,0)、I(1,1)、I(1,2)、I(2,0)、I(2,1)和I(2,2)。则I0(1,1)=(I(0,0)+I(0,1)+I(0,2)+I(1,0)+I(1,1)+I(1,2)+I(2,0)+I(2,1)+I(2,2))/9。
通过第一图像中同一位置的像素点和周围的各个像素点的灰度值,计算映射图像中任一像素点的灰度值,可以起到滤波作用,滤除噪声影响。
其中,在一些实施例中,映射图像边缘的像素点,例如坐标为(0,0)、(1,0)、(2,0)、(0,1)、(0,2)等像素点,可以不获取灰度值,而直接拷贝其邻近像素点的灰度值。
通过上述方式,可以获得映射图像中各个像素点的灰度值,从而获得映射图像。
本领域技术人员可以理解的,以上仅是对第一图像的投影映射过程的举例说明,不应理解为对投影映射方式的限定,在其他实施例中,还可以采用其他方式利用投影矩阵获得映射图像。
104:加权叠加第二图像和映射图像,以获取第一融合图像。
在一些实施例中,第一融合图像F(x,y)可以通过式(1)获得:
Figure BDA0003785117330000131
其中,w为图像宽度,h为图像高度,a为权重,V(x,y)为第二图像。
以F(1,1)、F(1,2)为例说明:
F(1,1)=I0(1,1)*a+V(1,1)*(1-a)
F(1,2)=I0(1,2)*a+V(1,2)*(1-a)
在另一些实施例中,为使融合后的图像具有更多的细节、特征,在获取第一融合图像后,还可以获取轮廓图像,并融合第一融合图像和轮廓图像获取第二融合图像。融合了轮廓图像的第二融合图像,具有更为丰富的特征和细节。
其中,可以将第一图像作为基准图像,可以设置第一图像的权重大于第二图像的权重(出于具体应用需要,也可能设置第一图像的权重小于第二图像的权重),轮廓图像取自第二图像,该实施例请参照图5a,所述融合方法包括:
101:获取第一图像。
102:获取第二图像。
103:基于第一变换参数和第一图像,获取第一图像的映射图像。
104:加权叠加第二图像和映射图像,以获取第一融合图像。
105a:提取所述第二图像中的轮廓特征点,以获取轮廓图像。
106:加权叠加所述第一融合图像和所述轮廓图像,以获取第二融合图像。
图6a中以第一图像为热红外图像,第二图像为微光图像为例,示出了第一图像作为基准图像时的图像融合过程。
在另一些实施例中,也可以将第二图像作为基准图像,可以设置第二图像的权重大于第一图像的权重(出于具体应用需要,也可能设置第一图像的权重大于第二图像的权重),轮廓图像取自第一图像的映射图像,该实施例请参照图5b,所述融合方法包括:
101:获取第一图像。
102:获取第二图像。
103:基于第一变换参数和第一图像,获取第一图像的映射图像。
104:加权叠加第二图像和映射图像,以获取第一融合图像。
105b:提取所述映射图像中的轮廓特征点,以获取轮廓图像。
106:加权叠加所述第一融合图像和所述轮廓图像,以获取第二融合图像。
图6b中以第一图像为热红外图像,第二图像为微光图像为例,示出了第二图像作为基准图像时的图像融合过程。
具体的,在一些实施例中,可以通过例如Canny边缘检测算法检测图像中的边缘、轮廓等特征点。上文中所说的提取轮廓特征点,可以通过保留轮廓特征点的灰度值,而将其余像素点的灰度值赋值为0的方式实现。在另一些实施例中,检测、提取轮廓特征点也可以通过其他算法实现。
在一些实施例中,融合第一融合图像F(x,y)和轮廓图像V0(x,y)可以参照下式:
Figure BDA0003785117330000141
其中,V1为灰度阈值,E(x,y)表示第二融合图像,在轮廓图像中像素点的灰度值大于V1的场合,认为其为轮廓特征点,将其与第一融合图像融合,在轮廓图像中像素点的灰度值小于V1的场合,则不与第一融合图像融合。
以E(1,1)、E(1,2)为例说明,设V1为235,若V0(1,1)大于235,V0(1,2)小于235,则:
E(1,1)=F(1,1)*a+V0(1,1)*(1-a)
E(1,2)=F(1,2)
在无人机具有多种图像成像装置的场合,获取的融合图像,可以兼具多种成像技术的优势。然而,在图像融合过程中,往往会以一种图像作为基准图像,另一种或几种图像作为辅助图像。作为基准图像的图像往往在融合图像中能保留更多的特征。
例如,图6a所示的实施例中,以热红外图像为基准图像,轮廓图像取自微光图像,可以设置热红外图像的权重大于微光图像的权重,则获取的融合图像中会更多的保留热红外图像的特征。
请参照图7,图7示出的第一种情形为(第一排图像),热红外图像为基准图像,热红外图像的权重大于微光图像的权重,轮廓图像取自微光图像。其获取的融合图像保留了更多的热红外图像特征。第一种情形主要用于无人机夜间侦测时,能醒目的标出目标的热度轮廓信息,便于提示动态热度目标。
图7示出的第二种情形为(第三排图像),微光图像为基准图像,微光图像的权重大于热红外图像的权重,轮廓图像取自热红外图像。其获取的融合图像保留了更多的微光图像特征。第二种情形主要用于无人机侦察探测时,需要图像能描绘出目标热成像的轮廓,同时使探测的目标图像有更多的纹理信息。
图7示出的第三种情形为(中间图像),热红外图像和微光图像的权重相同,均为0.5。
本申请在部分实施例中,可以结合无人机所处环境信息(例如亮度、天气情况等)、所需图像要求等改变权重值和/或改变基准图像。仍以第一图像和第二图像为热红外图像和微光图像为例说明。
可以检测微光成像装置附近的亮度,在亮度较大,大于或等于第一亮度阈值时,说明微光成像装置的成像条件良好,可以选择微光图像作为基准图像,轮廓图像取自热红外图像。在亮度小于第一亮度阈值时,可以选择热红外图像作为基准图像,轮廓图像取自微光图像的映射图像。该实施例请参照图8a和图8b。
在一些实施例中,在亮度大于或等于第一亮度阈值时,可以设置微光图像的权重大于热红外图像的权重,例如,图6a、图6b中的1-a>a。在亮度小于第一亮度阈值时,可以设置微光图像的权重小于热红外图像的权重。请参照图8c。
其中,可以在微光成像装置附近设置亮度检测装置,以检测微光成像装置附近的亮度。
在另一些实施例中,也可以根据第一图像和第二图像的图像质量等,例如哪个图像包括更多的特征来确定基准图像和/或设置权重。
若第一图像包含的特征多于第二图像包含的特征,则将第一图像作为基准图像,轮廓图像取自第二图像,若第二图像包含更多的特征,则将第二图像作为基准图像,轮廓图像取自第一图像的映射图像。
在一些实施例中,若第一图像包含的特征多于第二图像包含的特征,则第一图像的权重值大于第二图像的权重值,若第二图像包含更多的特征,则第二图像的权重值大于第一图像的权重值。例如,上述实施例中的a>1-a。
具体的,在一些实施例中,可以通过图像的熵值、像素值之和等来判断图像是否包含更多的特征。以熵值为例说明,若第一图像的熵值大于或者等于第二图像的熵值,则以第一图像作为基准图像,和/或,将第一图像的权重设置为大于第二图像的权重。若第一图像的熵值小于第二图像的熵值,则将第二图像作为基准图像,和/或,将第二图像的权重设置为大于第一图像的权重。该实施例请参照图9a-图9c。
再以像素值之和为例说明,若第一图像的像素值之和大于或者等于第二图像的像素值之和,则以第一图像作为基准图像,和/或,将第一图像的权重设置为大于第二图像的权重(例如a>1-a)。若第一图像的像素值之和小于第二图像的像素值之和,则将第二图像作为基准图像,和/或,将第二图像的权重设置为大于第一图像的权重(例如1-a>a)。
图像的熵值计算为现有技术,此处不予赘述。图像的像素值之和,例如图像中各像素点的像素值之和。
在本申请部分实施例中,用户可以通过设置于无人机的人界交互接口,选择基准图像,和/或,设置第一图像和第二图像的权重。用于可以根据实际应用情况作出设置。
具体的,用户可以通过向人机交互接口执行第一操作,选择第一图像作为基准图像,或者,用户通过向人机交互接口执行第二操作,选择第二图像作为基准图像。或者,用户通过向人机交互接口执行第三操作,调节第一图像或第二图像的权重。
在用户执行第一操作时,无人机响应于第一操作,将第一图像作为基准图像,该实施例请参照图10a。在用户执行第二操作时,无人机响应于第二操作,将第二图像作为基准图像,该实施例请参照图10b。在用户执行第三操作时,无人机响应于第三操作,调整第一图像或者第二图像的权重,该实施例请参照图10c。
需要说明的是,与第一图像相关的图像的权重,可以采用与第一图像相同的权重,例如,第一图像的投影图像、轮廓图像等可以采用与第一图像相同的权重,第一融合图像中第一图像占比较多的场合,第一融合图像的权重也可以与第一图像相同。
与第二图像相关的图像的权重,可以采用与第二图像相同的权重,例如,第二图像的投影图像、轮廓图像等可以采用与第二图像相同的权重,第一融合图像中第二图像占比较多的场合,第一融合图像的权重也可以与第二图像相同。
第一操作、第二操作和第三操作可以为任何能使无人机接收到信号的操作,示例性的,第一操作例如图11所示的点击触控屏上“第一图像的选择框”的单击操作,第二操作例如图11所示的点击触控屏上“第二图像的选择框”的单击操作。第三操作例如拖动进度条的操作。
在实际应用中,第三操作可以用于设置第一图像的权重a,第二图像的权重通过计算1-a获得。例如,用户拖动拖动条静止于进度条的某一点时,第一图像的权重a被设立。
由于无人机通常是在运动中获取图像,间隔一定时间获取的图像差别较大。为了使第一图像和第二图像更好的融合,需尽量保持两者获取的图像的一致性。在一些实施例中,使获取第一图像和第二图像的时间大体一致。
可以先获取第一图像的时间戳和第二图像的时间戳,若两者的时间戳不同步,例如第一图像的时间戳晚于第二图像的时间戳第一时间T,则可以延时第一时间T之后获取第一图像,以使无人机可以同步获取第一图像和第二图像。若第二图像的时间戳晚于第一图像的时间戳第一时间T,则可以延时第一时间T之后获取第二图像,以使无人机可以同步获取第一图像和第二图像。
需要说明的是,以上各步骤的标号仅用于标识该步骤,并不用于表示各步骤的先后顺序。除文字呈现的顺序外,各步骤之间还可以是其他顺序。
本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可执行指令,该计算机可执行指令被一个或多个处理器执行,例如图1中的一个处理器30,可使得上述一个或多个处理器可执行上述任意方法实施例中的图像融合方法。
本申请实施例还提供了一种计算机程序产品,所述计算机程序产品包括存储在非易失性计算机可读存储介质上的计算机程序,所述计算机程序包括程序指令,当所述程序指令被机器执行时,使所述机器执行上述任一实施例的图像融合方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本发明的不同方面的许多其它变化,为了简明,它们没有在细节中提供;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (14)

1.一种图像融合方法,其特征在于,包括:
获取第一图像;
获取第二图像;
基于第一变换参数和所述第一图像,获取所述第一图像的映射图像,所述第一变换参数用于表征所述第一图像和所述第二图像的空间转换关系;
加权叠加所述第二图像和所述映射图像,以获取第一融合图像。
2.根据权利要求1所述的方法,其特征在于,还包括:
提取所述第二图像中的轮廓特征点,以获取轮廓图像;
或者,
提取所述映射图像中的轮廓特征点,以获取轮廓图像。
3.根据权利要求2所述的方法,其特征在于,还包括:
加权叠加所述第一融合图像和所述轮廓图像,以获取第二融合图像。
4.根据权利要求2或3所述的方法,其特征在于,还包括:
响应于第一操作,将所述第一图像作为基准图像,所述第一图像作为基准图像时,所述轮廓图像包括第二图像中的轮廓特征点;
或者,
响应于第二操作,将所述第二图像作为基准图像,所述第二图像作为基准图像时,所述轮廓图像包括所述映射图像中的轮廓特征点。
5.根据权利要求1-3任一项所述的方法,其特征在于,还包括:
响应于第三操作,调节所述加权叠加的权重。
6.根据权利要求2或3所述的方法,其特征在于,还包括:
响应于所述第一图像和所述第二图像满足第一条件,将所述第一图像作为基准图像;
响应于所述第一图像和所述第二图像满足第二条件,将所述第二图像作为基准图像;
所述第一图像作为基准图像时,所述轮廓图像包括第二图像中的轮廓特征点,所述第二图像作为基准图像时,所述轮廓图像包括所述映射图像中的轮廓特征点;
其中,所述第一条件包括以下条件中的一种:
(1)、所述第一图像的熵值大于或者等于所述第二图像的熵值;
(2)、所述第一图像的像素值之和大于或者等于所述第二图像的像素值之和;
所述第二条件包括以下条件中的一种:
(3)、所述第一图像的熵值小于所述第二图像的熵值;
(4)、所述第一图像的像素值之和小于所述第二图像的像素值之和。
7.根据权利要求1-3任意一项所述的方法,其特征在于,还包括:
基于所述第一图像和所述第二图像满足第一条件或第二条件,确定所述加权叠加的权重;
其中,所述第一条件包括以下条件中的一种:
(1)、所述第一图像的熵值大于或者等于所述第二图像的熵值;
(2)、所述第一图像的像素值之和大于或者等于所述第二图像的像素值之和;
所述第二条件包括以下条件中的一种:
(3)、所述第一图像的熵值小于所述第二图像的熵值;
(4)、所述第一图像的像素值之和小于所述第二图像的像素值之和。
8.根据权利要求3所述的方法,其特征在于,所述第一图像为微光成像装置获取的微光图像,所述第二图像为热红外成像装置获取的热红外图像;
或者,
所述第一图像为所述热红外图像,所述第二图像为所述微光图像。
9.根据权利要求8所述的方法,其特征在于,还包括:
获取所述微光成像装置所处环境的亮度,若所述亮度大于或者等于第一亮度阈值,则将所述微光图像作为基准图像,否则,将所述热红外图像作为基准图像;
所述微光图像作为基准图像时,所述轮廓图像包括热红外图像中的轮廓特征点,所述热红外图像作为基准图像时,所述轮廓图像包括所述微光图像的映射图像中的轮廓特征点。
10.根据权利要求8所述的方法,其特征在于,还包括:
基于所述微光成像装置所处环境的亮度,确定所述加权叠加的权重。
11.根据权利要求1-3任意一项所述的方法,其特征在于,所述第一变换参数包括投影矩阵,所述投影矩阵为:
Figure FDA0003785117320000031
其中,m0、m1、m2、m3、m4、m5、m6、m7、m8、a、b、c、d为常数,L为目标到成像装置的距离。
12.一种电子设备,其特征在于,包括:
处理器以及与所述处理器通信连接的存储器;
所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器调用时,以使所述处理器执行如权利要求1-11任意一项所述的方法。
13.一种无人机,其特征在于,包括:
机身,所述机身上设置有第一成像装置和第二成像装置,所述第一成像装置用于获取第一图像,所述第二成像装置用于获取第二图像;
机臂,与所述机身相连;
动力装置,设于所述机臂,用于给所述无人机提供飞行的动力;以及
处理器,与所述处理器通信连接的存储器;
所述存储器中存储有计算机程序指令,所述计算机程序指令在被所述处理器调用时,以使所述处理器执行如权利要求1-11任意一项所述的方法。
14.一种存储介质,其特征在于,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于使处理器执行如权利要求1-11任一项所述的方法。
CN202210939940.1A 2022-08-05 2022-08-05 图像融合方法、电子设备、无人机和存储介质 Pending CN115294002A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210939940.1A CN115294002A (zh) 2022-08-05 2022-08-05 图像融合方法、电子设备、无人机和存储介质
US18/231,182 US20240212101A1 (en) 2022-08-05 2023-08-07 Image fusion method, electronic device, unmanned aerial vehicle and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210939940.1A CN115294002A (zh) 2022-08-05 2022-08-05 图像融合方法、电子设备、无人机和存储介质

Publications (1)

Publication Number Publication Date
CN115294002A true CN115294002A (zh) 2022-11-04

Family

ID=83828821

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210939940.1A Pending CN115294002A (zh) 2022-08-05 2022-08-05 图像融合方法、电子设备、无人机和存储介质

Country Status (2)

Country Link
US (1) US20240212101A1 (zh)
CN (1) CN115294002A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363026A (zh) * 2022-12-26 2023-06-30 江苏北方湖光光电有限公司 一种用于复杂环境条件下目标快速发现的图像融合方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116363026A (zh) * 2022-12-26 2023-06-30 江苏北方湖光光电有限公司 一种用于复杂环境条件下目标快速发现的图像融合方法

Also Published As

Publication number Publication date
US20240212101A1 (en) 2024-06-27

Similar Documents

Publication Publication Date Title
CN113111974B (zh) 基于深度典型相关分析的视觉-激光雷达融合方法及系统
US11948462B2 (en) Image generating apparatus, image generating method, and recording medium
CN106650708B (zh) 一种自动驾驶障碍物视觉检测方法与系统
CN107113408B (zh) 图像处理装置、图像处理方法、程序和系统
US10726580B2 (en) Method and device for calibration
CN110842940A (zh) 一种建筑测量机器人多传感器融合三维建模方法及系统
US20110115812A1 (en) Method for colorization of point cloud data based on radiometric imagery
CN111462128B (zh) 一种基于多模态光谱图像的像素级图像分割系统及方法
CN113050074B (zh) 无人驾驶环境感知中相机与激光雷达标定系统及标定方法
CN110276791B (zh) 一种参数可配置的深度相机仿真方法
CN111738969A (zh) 图像融合方法、装置及计算机可读存储介质
US20240212101A1 (en) Image fusion method, electronic device, unmanned aerial vehicle and storage medium
CN111027415A (zh) 一种基于偏振图像的车辆检测方法
CN112465735A (zh) 行人检测方法、装置及计算机可读存储介质
CN115953747A (zh) 车端目标分类检测方法及车端雷视融合设备
JP2011209896A (ja) 障害物検知装置、障害物検知方法及び障害物検知プログラム
CN113573035A (zh) 一种基于视觉的ar-hud亮度自适应调节方法
CN112335228A (zh) 图像处理方法、图像采集装置、可移动平台及存储介质
CN110197104B (zh) 基于车辆的测距方法及装置
CN113920066A (zh) 一种基于解耦注意力机制的多光谱红外巡检金具检测方法
EP4030338A1 (en) Obstacle detection method, apparatus and device, and medium
EP4071713B1 (en) Parameter calibration method and apapratus
CN117576461A (zh) 一种用于变电站场景的语义理解方法、介质及系统
CN117078767A (zh) 激光雷达与相机标定方法、装置、电子设备及存储介质
CN113065521B (zh) 物体识别方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination