CN115631140A - 一种基于图像融合的工业机器人图像处理方法 - Google Patents

一种基于图像融合的工业机器人图像处理方法 Download PDF

Info

Publication number
CN115631140A
CN115631140A CN202211189811.1A CN202211189811A CN115631140A CN 115631140 A CN115631140 A CN 115631140A CN 202211189811 A CN202211189811 A CN 202211189811A CN 115631140 A CN115631140 A CN 115631140A
Authority
CN
China
Prior art keywords
image
target
area image
background area
fusion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211189811.1A
Other languages
English (en)
Inventor
张强
王璐烽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Industry Polytechnic College
Original Assignee
Chongqing Industry Polytechnic College
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Industry Polytechnic College filed Critical Chongqing Industry Polytechnic College
Priority to CN202211189811.1A priority Critical patent/CN115631140A/zh
Publication of CN115631140A publication Critical patent/CN115631140A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/10Image enhancement or restoration using non-spatial domain filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20048Transform domain processing
    • G06T2207/20064Wavelet transform [DWT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)

Abstract

一种基于图像融合的工业机器人图像处理方法,采用的步骤具体为:一:获取目标环境光亮度值;二:通过红外摄像头对目标场景进行拍摄,得到第一图像;三:通过可见光摄像头对目标场景进行拍摄,得到第二图像;四:对第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像;五:根据第一目标区域图像和第一背景区域图像对所述第二图像进行图像分割,得到第二目标区域图像和第二背景区域图像;六:将第一目标区域图像和第二目标区域图像进行图像融合,得到参考目标区域图像;七:将第一背景区域图像与第二背景区域图像进行图像融合,得到参考背景区域图像;八:根据参考目标区域图像和参考背景区域图像进行图像拼接,得到目标图像。

Description

一种基于图像融合的工业机器人图像处理方法
技术领域
本发明涉及图像处理技术领域,具体涉及一种基于图像融合的工业机器人图像处理方法。
背景技术
随着通信技术以及电子技术快速发展,工业机器人也得到快速的发展,工业机器人会配置上摄像头,用于实现机器视觉。
实际应用中,工业机器人可以完成拍照功能,通过拍摄的图像实现故障分析,以实现工业机器人的日常维护,但在暗视觉环境下,很难拍出用户满意的图像效果,因此,如何在暗视觉环境下,提升图像质量的问题亟待解决。
发明内容
本发明针对现有技术的不足,提出一种在暗视觉环境下,提升图像质量的基于图像融合的工业机器人图像处理方法,具体技术方案如下:
一种基于图像融合的工业机器人图像处理方法,采用的步骤具体为:
步骤一:获取目标环境光亮度值,如低于预设阈值,进入下一步;
步骤二:通过红外摄像头对目标场景进行拍摄,得到第一图像;
步骤三:通过可见光摄像头对目标场景进行拍摄,得到第二图像;
步骤四:对所述第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像;
步骤五:根据所述第一目标区域图像和所述第一背景区域图像对所述第二图像进行图像分割,得到第二目标区域图像和第二背景区域图像;
步骤六:将所述第一目标区域图像和所述第二目标区域图像进行图像融合,得到参考目标区域图像;
步骤七:将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到参考背景区域图像;
步骤八:根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到目标图像。
作为优化:所述步骤六具体为:
6.1、对所述第一目标区域图像进行特征点提取,得到多个特征点;
6.2、确定所述多个特征点的目标均值和目标均方差;
6.3、按照预设的均值与图像融合算法控制参数之间的映射关系,确定所述目标均值对应的目标图像融合算法控制参数,所述目标图像融合算法控制参数包括目标图像融合算法类型及其对应的目标算法控制参数;
6.4、根据所述目标均方差对所述目标算法控制参数进行调节,得到参考算法控制参数;
6.5、对所述第二目标区域图像进行图像质量评价,得到目标图像质量评价值;
6.6、确定与所述目标环境光亮度值对应的参考图像质量评价值;
6.7、确定所述目标图像质量评价值与所述参考图像质量评价值对应的目标差值;
6.8、根据所述目标差值确定目标图像增强处理参数;
6.9、根据所述目标图像增强处理参数对所述第二目标区域图像进行图像增强处理,得到参考第二目标区域图像;
6.10、根据所述目标图像融合算法,所述参考算法控制参数将所述第一目标区域图像和所述参考第二目标区域图像进行图像融合,得到所述参考目标区域图像。
作为优化:所述步骤七具体为:
7.1、确定所述第一背景区域图像的第一能量值;
7.2、确定所述第二背景区域图像的第二能量值;
7.3、确定所述第一能量值与所述第二能量值之间的目标能量比;
7.4、根据所述目标能量比确定第一权值和第二权值;
7.5、根据所述第一权值和所述第二权值将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到所述参考背景区域图像。
作为优化:所述步骤八具体为:
8.1、确定所述参考目标区域图像的第一清晰度;
8.2、确定所述参考背景区域图像的第二清晰度;
8.3、确定所述第一清晰度与所述第二清晰度之间的最小值;
8.4、根据所述最小值确定参考平滑处理参数;
8.5、确定所述第一清晰度与所述第二清晰度之间的差值的目标绝对值;
8.6、根据所述目标绝对值优化所述参考平滑处理参数,得到目标平滑处理参数;
8.7、根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到参考图像;
8.8、根据所述目标平滑处理参数对所述参考图像进行优化处理,得到所述目标图像。
作为优化:所述步骤二具体为:
按照预设的环境光亮度值与拍摄参数集之间的映射关系,确定所述目标环境光亮度值对应的第一拍摄参数集,所述第一拍摄参数集包括拍摄参数为:
获取目标环境温度;
确定所述多个拍摄参数中与温度相关且可调的至少一个拍摄参数;
确定与所述目标环境温度对应的目标微调系数;
根据所述目标微调系数对所述至少一个拍摄参数进行微调,得到至少一个目标拍摄参数;
根据所述至少一个目标拍摄参数更新所述第一拍摄参数集,得到目标第一拍摄参数集;
通过所述红外摄像头根据所述目标第一拍摄参数集对目标场景进行拍摄,得到所述第一图像。
一种基于图像融合的工业机器人,包括获取单元、拍摄单元、分割单元和图像融合单元,其中,
所述获取单元,用于获取目标环境光亮度值;
所述拍摄单元,用于在所述目标环境光亮度值低于预设阈值时,通过红外摄像头对目标场景进行拍摄,得到第一图像;以及通过可见光摄像头对目标场景进行拍摄,得到第二图像;
所述分割单元,用于对所述第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像;以及根据所述第一目标区域图像和所述第一背景区域图像对所述第二图像进行图像分割,得到第二目标区域图像和第二背景区域图像;
所述图像融合单元,用于将所述第一目标区域图像和所述第二目标区域图像进行图像融合,得到参考目标区域图像;将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到参考背景区域图像;以及根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到目标图像。
本发明的有益效果为:一方面可以基于红外图像的分割结果对可见光图像进行图像分割,有助于实现可见光图像的精准分割,另一方面,将目标区域和背景区域分别进行图像融合,实现针对性图像融合,进而,可以在暗视觉环境下,提升图像质量,进而,能够为维修或者日常保养提升依据,提升维修或者保养效率。
附图说明
图1为本发明的流程示意图。
图2为本发明的结构示意图。
图3为本发明中图像融合装置的功能单元组成框图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1,一种基于图像融合的工业机器人图像处理方法,具体步骤包括:
101、获取目标环境光亮度值。
其中,本申请实施例中,工业机器人可以包括环境光传感器,通过环境光传感器可以获取环境光亮度值。
102、在所述目标环境光亮度值低于预设阈值时,通过所述红外摄像头对目标场景进行拍摄,得到第一图像。
其中,预设阈值可以预先设置或者系统默认。在目标环境光亮度值低于预设阈值时,则说明此时处于暗环境,则可以通过红外摄像头与可见光摄像头一起拍摄,再将两者拍摄的图像加以图像融合,以提升图像质量。
具体实现中,在目标环境光亮度值低于预设阈值时,可以通过红外摄像头对目标场景进行拍摄,得到第一图像,红外摄像头可以在暗视觉环境下,对物体进行热成像。
可选的,上述步骤102,通过所述红外摄像头对目标场景进行拍摄,得到第一图像,可以包括如下步骤:
21、按照预设的环境光亮度值与拍摄参数集之间的映射关系,确定所述目标环境光亮度值对应的第一拍摄参数集,所述第一拍摄参数集包括多个拍摄参数;
22、获取目标环境温度;
23、确定所述多个拍摄参数中与温度相关且可调的至少一个拍摄参数;
24、确定与所述目标环境温度对应的目标微调系数;
25、根据所述目标微调系数对所述至少一个拍摄参数进行微调,得到至少一个目标拍摄参数;
26、根据所述至少一个目标拍摄参数更新所述第一拍摄参数集,得到目标第一拍摄参数集;
27、通过所述红外摄像头根据所述目标第一拍摄参数集对目标场景进行拍摄,得到所述第一图像。
其中,本申请实施例中,可以预先存储预设的环境光亮度值与拍摄参数集之间的映射关系,拍摄参数集可以包括多个拍摄参数,拍摄参数可以包括以下至少一种:红外光工作频率、红外光的工作电流、红外光的工作电压、红外光的波长、红外光的工作功率等等,在此不做限定。
具体实现中,可以按照预设的环境光亮度值与拍摄参数集之间的映射关系,确定目标环境光亮度值对应的第一拍摄参数集,第一拍摄参数集包括多个拍摄参数,还可以获取目标环境温度,由于对于红外摄像头而言,其拍摄效果则基于环境温度的不同,则可能存在一些差异,进而,可以确定多个拍摄参数中与温度相关且可调的至少一个拍摄参数,再确定与目标环境温度对应的目标微调系数,具体可以按照预设的温度与微调系数之间的映射关系,确定目标环境温度对应的目标微调系数,再根据目标微调系数对至少一个拍摄参数进行微调,得到至少一个目标拍摄参数,再根据至少一个目标拍摄参数更新第一拍摄参数集,得到目标第一拍摄参数集,最后,可以通过红外摄像头根据目标第一拍摄参数集对目标场景进行拍摄,得到第一图像,如此,可以提升红外摄像头的拍摄效果,有助于提升后续图像融合效果。
103、通过所述可见光摄像头对所述目标场景进行拍摄,得到第二图像。
其中,可见光摄像头的数量可以为一个或者多个。第一图像与第二图像可以为已配准的图像。红外摄像头和可见光摄像头可以同时拍摄,或者,两者之间的拍摄时间的时间差极短,例如,小于0.01秒。
本申请实施例中,可以通过可见光摄像头对目标场景进行拍摄,得到第二图像,当然,也可以获取目标环境参数,按照预设的环境参数与拍摄参数之间的映射关系,确定与目标环境参数对应的拍摄参数,基于该拍摄参数进行拍摄,得到第二图像。环境参数可以包括以下至少一种:环境光亮度、环境温度、环境色温、环境湿度、天气、地理位置、磁场干扰强度等等,在此不做限定。拍摄参数可以包括以下至少一种:感光度ISO、曝光时长、白平衡参数等等,在此不做限定。
具体实现中,可见光摄像头与红外摄像头的拍摄场景可以一样,即均为目标场景。
104、对所述第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像。
其中,本申请实施例中,可以采用预设图像分割算法对第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像,预设图像分割算法可以预先设置或者系统默认,预设图像分割算法可以包括以下至少一种:基于预设的图像分割算法、基于区域的图像分割算法、基于边缘的图像分割算法、神经网络算法等等,在此不做限定。
具体实现中,可以对第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像,由于第一图像中可以包括较为清晰的目标,进而,对其进行目标分割,则可以获取清晰的目标区域和背景区域。
本申请实施例中,目标可以包括工业机器人的至少一个部件,部件可以包括以下至少一种:螺丝钉、弹簧、钻头等等,在此不做限定。
105、根据所述第一目标区域图像和所述第一背景区域图像对所述第二图像进行图像分割,得到第二目标区域图像和第二背景区域图像。
具体实现中,由于第一目标区域图像和第一背景区域图像可以较为精准地反映目标区域的位置和背景区域的位置,则基于第一目标区域图像和第一背景区域图像对第二图像进行图像分割,得到第二目标区域图像和第二背景区域图像,如此,可以快速且精准将第二图像进行分割。
106、将所述第一目标区域图像和所述第二目标区域图像进行图像融合,得到参考目标区域图像。
具体实现中,可以将红外摄像头和可见光摄像头拍摄的目标区域进行图像融合,即将第一目标区域图像和第二目标区域图像进行图像融合,得到参考目标区域图像。
可选的,上述步骤106,将所述第一目标区域图像和所述第二目标区域图像进行图像融合,得到参考目标区域图像,可以包括如下步骤:
61、对所述第一目标区域图像进行特征点提取,得到多个特征点;
62、确定所述多个特征点的目标均值和目标均方差;
63、按照预设的均值与图像融合算法控制参数之间的映射关系,确定所述目标均值对应的目标图像融合算法控制参数,所述目标图像融合算法控制参数包括目标图像融合算法类型及其对应的目标算法控制参数;
64、根据所述目标均方差对所述目标算法控制参数进行调节,得到参考算法控制参数;
65、对所述第二目标区域图像进行图像质量评价,得到目标图像质量评价值;
66、确定与所述目标环境光亮度值对应的参考图像质量评价值;
67、确定所述目标图像质量评价值与所述参考图像质量评价值对应的目标差值;
68、根据所述目标差值确定目标图像增强处理参数;
69、根据所述目标图像增强处理参数对所述第二目标区域图像进行图像增强处理,得到参考第二目标区域图像;
610、根据所述目标图像融合算法、所述参考算法控制参数将所述第一目标区域图像和所述参考第二目标区域图像进行图像融合,得到所述参考目标区域图像。
具体实现中,可以对第一目标区域图像进行特征点提取,得到多个特征点,每一特征点可以为一个向量,特征点提取算法可以包括以下至少一种:harris角点检测算法、尺度不变特征变换算法(scale invariant feature transform,SIFT)等等,在此不做限定。
进而,可以确定多个特征点的模值,得到多个模值,确定多个模值的均值,得到目标均值,确定多个模值的均方差,得到目标均方差。
其中,可以预先存储预设的均值与图像融合算法控制参数之间的映射关系,图像融合算法控制参数可以包括图像融合算法类型及其对应的目标算法控制参数,图像融合算法类型可以用于理解为图像融合算法的标识,不同的图像融合算法对应不同的图像融合算法类型,图像融合算法可以包括以下至少一种:基于非下采样轮廓波的图像融合算法、基于小波变换的图像融合算法、基于小波变换的图像融合算法、加权运算的图像融合算法等等,在此不做限定。不同的图像融合算法对应不同的算法控制参数,算法控制参数用于控制图像融合过程中,红外图像部分和可见光图像部分两者之间的权重比例、多尺度分解的程度,例如,多尺度分解的层数。不同的均值则说明环境情况、目标的特性不一样,则可以针对具体情况,选择合理的图像融合算法。上述非下采样轮廓波、小波变换均属于多尺度分解算法,当然,还可以通过其他多尺度分解算法实现图像融合,在此不再赘述。
举例说明下,以基于非下采样轮廓波的图像融合算法为例,则可以将红外图像与可见光图像都进行多尺度分解,得到红外图像的低频分量部分和高频分量部分,再将红外图像的低频分量部分与可见光图像的低频分量部分进行图像融合,再将将红外图像的高频分量部分与可见光图像的高频分量部分进行图像融合,再将两个图像融合结果进行多尺度分解相应的反变换,得到融合结果。
进一步的,可以按照预设的均值与图像融合算法控制参数之间的映射关系,确定目标均值对应的目标图像融合算法控制参数,目标图像融合算法控制参数包括目标图像融合算法类型及其对应的目标算法控制参数,再根据目标均方差对目标算法控制参数进行调节,得到参考算法控制参数,具体可以按照预设的均方差与调节系数之间的映射关系,确定目标均方差对应的目标调节系数,根据该目标调节系数对目标算法控制参数进行调节,得到参考算法控制参数,由于均方差反映了图像稳定性,基于该图像稳定性调节算法控制参数,可以提升图像融合效果。
进而,可以采用至少一个图像质量评价参数对第二目标区域图像进行图像质量评价,得到目标图像质量评价值,图像质量评价参数可以包括以下至少一种:信息熵、边缘保持度、清晰度等等,在此不做限定。
当然,还可以预先存储预设的环境光亮度值与参考图像质量评价值之间的映射关系,确定与目标环境光亮度值对应的参考图像质量评价值,不同的环境光下,则合理的图像质量评价值不一样。再确定目标图像质量评价值与参考图像质量评价值对应的目标差值,还可以预先存储预设的差值与图像增强处理参数之间的映射关系,图像增强处理参数可以包括以下至少一种:图像增强算法、图像增强算法控制参数,图像增强算法可以包括以下至少一种:Retinex算法、对比度拉伸算法、直方图均衡化等等,在此不做限定。图像增强算法控制参数用于控制图像增强程度。
进一步的,则可以基于预设的差值与图像增强处理参数之间的映射关系,确定目标差值对应的目标图像增强处理参数,即基于实际图像质量以及合理图像质量之间的差距,合理选择适宜的图像增强处理参数,再根据目标图像增强处理参数对第二目标区域图像进行图像增强处理,得到参考第二目标区域图像,最后,可以根据目标图像融合算法、参考算法控制参数将第一目标区域图像和参考第二目标区域图像进行图像融合,得到参考目标区域图像,如此,一方面,由于红外图像可以凸显目标的特性,而红外图像的目标区域图像的特征点的均值和均方差则反映了环境因素以及目标特性,基于此,可以精准选择适宜的图像融合算法及其对应的算法控制参数,另一方面,则可以基于可见光图像的目标区域图像的真实图像质量与合理图像质量之间的差值,合理选择图像增强处理参数,以增强可见光图像的目标区域图像的显著度,在此基础上进行图像融合,则即可以保证图像融合效果,也保证融合图像中目标的质量,提升用户体验。
107、将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到参考背景区域图像。
具体实现中,可以将红外摄像头和可见光摄像头拍摄的背景区域进行图像融合,即将第一背景区域图像和第二背景区域图像进行图像融合,得到参考背景区域图像。
可选的,上述步骤107,将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到参考背景区域图像,可以包括如下步骤:
71、确定所述第一背景区域图像的第一能量值;
72、确定所述第二背景区域图像的第二能量值;
73、确定所述第一能量值与所述第二能量值之间的目标能量比;
74、根据所述目标能量比确定第一权值和第二权值;
75、根据所述第一权值、所述第二权值将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到所述参考背景区域图像。
具体实现中,可以确定第一背景区域图像的第一能量值,再确定第二背景区域图像的第二能量值,确定第一能量值与第二能量值之间的目标能量比,根据目标能量比确定第一权值和第二权值,假设目标能量比为P/Q,则第一权值=P/(P+Q),第二权值=Q/(P+Q),进而,可以根据第一权值、第二权值将第一背景区域图像与第二背景区域图像进行图像融合,得到参考背景区域图像,可以按照如下公式进行:
参考背景区域图像=第一权值*第一背景区域图像+第二权值*第二背景区域图像
如此,可以基于背景之间的能量差异确定相应的权重系数,再基于权重系数对两个背景区域进行加权融合,有助于提升图像融合效率以及图像融合效果。
108、根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到目标图像。
具体实现中,可以将参考目标区域图像和参考背景区域图像进行图像拼接,得到目标图像。
可选的,上述步骤108,根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到目标图像,可以包括如下步骤:
81、确定所述参考目标区域图像的第一清晰度;
82、确定所述参考背景区域图像的第二清晰度;
83、确定所述第一清晰度与所述第二清晰度之间的最小值;
84、根据所述最小值确定参考平滑处理参数;
85、确定所述第一清晰度与所述第二清晰度之间的差值的目标绝对值;
86、根据所述目标绝对值优化所述参考平滑处理参数,得到目标平滑处理参数;
87、根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到参考图像;
88、根据所述目标平滑处理参数对所述参考图像进行优化处理,得到所述目标图像。
具体实现中,可以确定参考目标区域图像的第一清晰度,以及确定参考背景区域图像的第二清晰度,还可以确定第一清晰度与第二清晰度之间的最小值,基于该根据最小值确定参考平滑处理参数,具体可以按照预设的清晰度与平滑处理参数之间的映射关系,确定对应的参考平滑处理参数。
进而,还可以确定第一清晰度与第二清晰度之间的差值的目标绝对值,根据目标绝对值优化参考平滑处理参数,得到目标平滑处理参数,即按照预设的绝对值与优化系数之间的映射关系,确定目标绝对值对应的目标优化系数,根据该目标优化系数优化参考平滑处理参数,得到目标平滑处理参数,如此,可以基于背景与目标之间的差异合理选择平滑处理参数,有助于防止过平滑处理或者欠平滑处理,再根据参考目标区域图像和参考背景区域图像进行图像拼接,得到参考图像,根据目标平滑处理参数对参考图像进行优化处理,得到目标图像,如此,可以保证背景区域与目标区域之间的无缝衔接,有助于进一步提升图像融合效果。
可以看出,本申请实施例中所描述的图像融合方法,应用于工业机器人,工业机器人包括红外摄像头和可见光摄像头,获取目标环境光亮度值,在目标环境光亮度值低于预设阈值时,通过红外摄像头对目标场景进行拍摄,得到第一图像,通过可见光摄像头对目标场景进行拍摄,得到第二图像,对第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像,根据第一目标区域图像和第一背景区域图像对第二图像进行图像分割,得到第二目标区域图像和第二背景区域图像,将第一目标区域图像和第二目标区域图像进行图像融合,得到参考目标区域图像,将第一背景区域图像与第二背景区域图像进行图像融合,得到参考背景区域图像,根据参考目标区域图像和参考背景区域图像进行图像拼接,得到目标图像,如此,一方面,可以基于红外图像的分割结果对可见光图像进行图像分割,有助于实现可见光图像的精准分割,另一方面,将目标区域和背景区域分别进行图像融合,实现针对性图像融合,进而,可以在暗视觉环境下,提升图像质量。
与上述实施例一致地,请参阅图2,图2是本申请实施例提供的一种工业机器人的结构示意图,如图2所示,该工业机器人包括处理器、存储器、通信接口以及一个或多个程序,应用于工业机器人,所述工业机器人还包括红外摄像头和可见光摄像头,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,本申请实施例中,上述程序包括用于执行以下步骤的指令:
获取目标环境光亮度值;
在所述目标环境光亮度值低于预设阈值时,通过所述红外摄像头对目标场景进行拍摄,得到第一图像;
通过所述可见光摄像头对所述目标场景进行拍摄,得到第二图像;
对所述第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像;
根据所述第一目标区域图像和所述第一背景区域图像对所述第二图像进行图像分割,得到第二目标区域图像和第二背景区域图像;
将所述第一目标区域图像和所述第二目标区域图像进行图像融合,得到参考目标区域图像;
将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到参考背景区域图像;
根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到目标图像。
可选的,在所述将所述第一目标区域图像和所述第二目标区域图像进行图像融合,得到参考目标区域图像方面,上述程序包括用于执行以下步骤的指令:
对所述第一目标区域图像进行特征点提取,得到多个特征点;
确定所述多个特征点的目标均值和目标均方差;
按照预设的均值与图像融合算法控制参数之间的映射关系,确定所述目标均值对应的目标图像融合算法控制参数,所述目标图像融合算法控制参数包括目标图像融合算法类型及其对应的目标算法控制参数;
根据所述目标均方差对所述目标算法控制参数进行调节,得到参考算法控制参数;
对所述第二目标区域图像进行图像质量评价,得到目标图像质量评价值;
确定与所述目标环境光亮度值对应的参考图像质量评价值;
确定所述目标图像质量评价值与所述参考图像质量评价值对应的目标差值;
根据所述目标差值确定目标图像增强处理参数;
根据所述目标图像增强处理参数对所述第二目标区域图像进行图像增强处理,得到参考第二目标区域图像;
根据所述目标图像融合算法、所述参考算法控制参数将所述第一目标区域图像和所述参考第二目标区域图像进行图像融合,得到所述参考目标区域图像。
可选的,在所述将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到参考背景区域图像方面,上述程序包括用于执行以下步骤的指令:
确定所述第一背景区域图像的第一能量值;
确定所述第二背景区域图像的第二能量值;
确定所述第一能量值与所述第二能量值之间的目标能量比;
根据所述目标能量比确定第一权值和第二权值;
根据所述第一权值、所述第二权值将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到所述参考背景区域图像。
可选的,在所述根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到目标图像方面,上述程序包括用于执行以下步骤的指令:
确定所述参考目标区域图像的第一清晰度;
确定所述参考背景区域图像的第二清晰度;
确定所述第一清晰度与所述第二清晰度之间的最小值;
根据所述最小值确定参考平滑处理参数;
确定所述第一清晰度与所述第二清晰度之间的差值的目标绝对值;
根据所述目标绝对值优化所述参考平滑处理参数,得到目标平滑处理参数;
根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到参考图像;
根据所述目标平滑处理参数对所述参考图像进行优化处理,得到所述目标图像。
可选的,在所述通过所述红外摄像头对目标场景进行拍摄,得到第一图像方面,上述程序包括用于执行以下步骤的指令:
按照预设的环境光亮度值与拍摄参数集之间的映射关系,确定所述目标环境光亮度值对应的第一拍摄参数集,所述第一拍摄参数集包括多个拍摄参数;
获取目标环境温度;
确定所述多个拍摄参数中与温度相关且可调的至少一个拍摄参数;
确定与所述目标环境温度对应的目标微调系数;
根据所述目标微调系数对所述至少一个拍摄参数进行微调,得到至少一个目标拍摄参数;
根据所述至少一个目标拍摄参数更新所述第一拍摄参数集,得到目标第一拍摄参数集;
通过所述红外摄像头根据所述目标第一拍摄参数集对目标场景进行拍摄,得到所述第一图像。
可以看出,本申请实施例中所描述的工业机器人,工业机器人包括红外摄像头和可见光摄像头,获取目标环境光亮度值,在目标环境光亮度值低于预设阈值时,通过红外摄像头对目标场景进行拍摄,得到第一图像,通过可见光摄像头对目标场景进行拍摄,得到第二图像,对第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像,根据第一目标区域图像和第一背景区域图像对第二图像进行图像分割,得到第二目标区域图像和第二背景区域图像,将第一目标区域图像和第二目标区域图像进行图像融合,得到参考目标区域图像,将第一背景区域图像与第二背景区域图像进行图像融合,得到参考背景区域图像,根据参考目标区域图像和参考背景区域图像进行图像拼接,得到目标图像,如此,一方面,可以基于红外图像的分割结果对可见光图像进行图像分割,有助于实现可见光图像的精准分割,另一方面,将目标区域和背景区域分别进行图像融合,实现针对性图像融合,进而,可以在暗视觉环境下,提升图像质量。
图3是本申请实施例中所涉及的图像融合装置300的功能单元组成框图。该图像融合装置300应用于工业机器人,所述工业机器人包括红外摄像头和可见光摄像头,所述装置300包括:获取单元301、拍摄单元302、分割单元303和图像融合单元304,其中,
所述获取单元301,用于获取目标环境光亮度值;
所述拍摄单元302,用于在所述目标环境光亮度值低于预设阈值时,通过所述红外摄像头对目标场景进行拍摄,得到第一图像;以及通过所述可见光摄像头对所述目标场景进行拍摄,得到第二图像;
所述分割单元303,用于对所述第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像;以及根据所述第一目标区域图像和所述第一背景区域图像对所述第二图像进行图像分割,得到第二目标区域图像和第二背景区域图像;
所述图像融合单元304,用于将所述第一目标区域图像和所述第二目标区域图像进行图像融合,得到参考目标区域图像;将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到参考背景区域图像;以及根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到目标图像。
可选的,在所述将所述第一目标区域图像和所述第二目标区域图像进行图像融合,得到参考目标区域图像方面,所述图像融合单元304具体用于:
对所述第一目标区域图像进行特征点提取,得到多个特征点;
确定所述多个特征点的目标均值和目标均方差;
按照预设的均值与图像融合算法控制参数之间的映射关系,确定所述目标均值对应的目标图像融合算法控制参数,所述目标图像融合算法控制参数包括目标图像融合算法类型及其对应的目标算法控制参数;
根据所述目标均方差对所述目标算法控制参数进行调节,得到参考算法控制参数;
对所述第二目标区域图像进行图像质量评价,得到目标图像质量评价值;
确定与所述目标环境光亮度值对应的参考图像质量评价值;
确定所述目标图像质量评价值与所述参考图像质量评价值对应的目标差值;
根据所述目标差值确定目标图像增强处理参数;
根据所述目标图像增强处理参数对所述第二目标区域图像进行图像增强处理,得到参考第二目标区域图像;
根据所述目标图像融合算法、所述参考算法控制参数将所述第一目标区域图像和所述参考第二目标区域图像进行图像融合,得到所述参考目标区域图像。
可选的,在所述将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到参考背景区域图像方面,所述图像融合单元304具体用于:
确定所述第一背景区域图像的第一能量值;
确定所述第二背景区域图像的第二能量值;
确定所述第一能量值与所述第二能量值之间的目标能量比;
根据所述目标能量比确定第一权值和第二权值;
根据所述第一权值、所述第二权值将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到所述参考背景区域图像。
可选的,在所述根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到目标图像方面,所述图像融合单元304具体用于:
确定所述参考目标区域图像的第一清晰度;
确定所述参考背景区域图像的第二清晰度;
确定所述第一清晰度与所述第二清晰度之间的最小值;
根据所述最小值确定参考平滑处理参数;
确定所述第一清晰度与所述第二清晰度之间的差值的目标绝对值;
根据所述目标绝对值优化所述参考平滑处理参数,得到目标平滑处理参数;
根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到参考图像;
根据所述目标平滑处理参数对所述参考图像进行优化处理,得到所述目标图像。
可选的,在所述通过所述红外摄像头对目标场景进行拍摄,得到第一图像方面,所述拍摄单元302具体用于:
按照预设的环境光亮度值与拍摄参数集之间的映射关系,确定所述目标环境光亮度值对应的第一拍摄参数集,所述第一拍摄参数集包括多个拍摄参数;
获取目标环境温度;
确定所述多个拍摄参数中与温度相关且可调的至少一个拍摄参数;
确定与所述目标环境温度对应的目标微调系数;
根据所述目标微调系数对所述至少一个拍摄参数进行微调,得到至少一个目标拍摄参数;
根据所述至少一个目标拍摄参数更新所述第一拍摄参数集,得到目标第一拍摄参数集;
通过所述红外摄像头根据所述目标第一拍摄参数集对目标场景进行拍摄,得到所述第一图像。
可以看出,本申请实施例中所描述的图像融合装置,应用于工业机器人,该工业机器人包括红外摄像头和可见光摄像头,获取目标环境光亮度值,在目标环境光亮度值低于预设阈值时,通过红外摄像头对目标场景进行拍摄,得到第一图像,通过可见光摄像头对目标场景进行拍摄,得到第二图像,对第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像,根据第一目标区域图像和第一背景区域图像对第二图像进行图像分割,得到第二目标区域图像和第二背景区域图像,将第一目标区域图像和第二目标区域图像进行图像融合,得到参考目标区域图像,将第一背景区域图像与第二背景区域图像进行图像融合,得到参考背景区域图像,根据参考目标区域图像和参考背景区域图像进行图像拼接,得到目标图像,如此,一方面,可以基于红外图像的分割结果对可见光图像进行图像分割,有助于实现可见光图像的精准分割,另一方面,将目标区域和背景区域分别进行图像融合,实现针对性图像融合,进而,可以在暗视觉环境下,提升图像质量。
可以理解的是,本实施例的图像融合装置的各程序模块的功能可根据上述方法实施例中的方法具体实现,其具体实现过程可以参照上述方法实施例的相关描述,此处不再赘述。
本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括工业机器人。
本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括工业机器人。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:Read-Only Memory,简称:ROM)、随机存取器(英文:Random Access Memory,简称:RAM)、磁盘或光盘等。

Claims (6)

1.一种基于图像融合的工业机器人图像处理方法,其特征在于,采用的步骤具体为:
步骤一:获取目标环境光亮度值,如低于预设阈值,进入下一步;
步骤二:通过红外摄像头对目标场景进行拍摄,得到第一图像;
步骤三:通过可见光摄像头对目标场景进行拍摄,得到第二图像;
步骤四:对所述第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像;
步骤五:根据所述第一目标区域图像和所述第一背景区域图像对所述第二图像进行图像分割,得到第二目标区域图像和第二背景区域图像;
步骤六:将所述第一目标区域图像和所述第二目标区域图像进行图像融合,得到参考目标区域图像;
步骤七:将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到参考背景区域图像;
步骤八:根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到目标图像。
2.根据权利要求1所述基于图像融合的工业机器人图像处理方法,其特征在于:所述步骤六具体为:
6.1、对所述第一目标区域图像进行特征点提取,得到多个特征点;
6.2、确定所述多个特征点的目标均值和目标均方差;
6.3、按照预设的均值与图像融合算法控制参数之间的映射关系,确定所述目标均值对应的目标图像融合算法控制参数,所述目标图像融合算法控制参数包括目标图像融合算法类型及其对应的目标算法控制参数;
6.4、根据所述目标均方差对所述目标算法控制参数进行调节,得到参考算法控制参数;
6.5、对所述第二目标区域图像进行图像质量评价,得到目标图像质量评价值;
6.6、确定与所述目标环境光亮度值对应的参考图像质量评价值;
6.7、确定所述目标图像质量评价值与所述参考图像质量评价值对应的目标差值;
6.8、根据所述目标差值确定目标图像增强处理参数;
6.9、根据所述目标图像增强处理参数对所述第二目标区域图像进行图像增强处理,得到参考第二目标区域图像;
6.10、根据所述目标图像融合算法,所述参考算法控制参数将所述第一目标区域图像和所述参考第二目标区域图像进行图像融合,得到所述参考目标区域图像。
3.根据权利要求1所述基于图像融合的工业机器人图像处理方法,其特征在于:所述步骤七具体为:
7.1、确定所述第一背景区域图像的第一能量值;
7.2、确定所述第二背景区域图像的第二能量值;
7.3、确定所述第一能量值与所述第二能量值之间的目标能量比;
7.4、根据所述目标能量比确定第一权值和第二权值;
7.5、根据所述第一权值和所述第二权值将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到所述参考背景区域图像。
4.根据权利要求1所述基于图像融合的工业机器人图像处理方法,其特征在于:所述步骤八具体为:
8.1、确定所述参考目标区域图像的第一清晰度;
8.2、确定所述参考背景区域图像的第二清晰度;
8.3、确定所述第一清晰度与所述第二清晰度之间的最小值;
8.4、根据所述最小值确定参考平滑处理参数;
8.5、确定所述第一清晰度与所述第二清晰度之间的差值的目标绝对值;
8.6、根据所述目标绝对值优化所述参考平滑处理参数,得到目标平滑处理参数;
8.7、根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到参考图像;
8.8、根据所述目标平滑处理参数对所述参考图像进行优化处理,得到所述目标图像。
5.根据权利要求1所述基于图像融合的工业机器人图像处理方法,其特征在于:所述步骤二具体为:
按照预设的环境光亮度值与拍摄参数集之间的映射关系,确定所述目标环境光亮度值对应的第一拍摄参数集,所述第一拍摄参数集包括拍摄参数为:
获取目标环境温度;
确定所述多个拍摄参数中与温度相关且可调的至少一个拍摄参数;
确定与所述目标环境温度对应的目标微调系数;
根据所述目标微调系数对所述至少一个拍摄参数进行微调,得到至少一个目标拍摄参数;
根据所述至少一个目标拍摄参数更新所述第一拍摄参数集,得到目标第一拍摄参数集;
通过所述红外摄像头根据所述目标第一拍摄参数集对目标场景进行拍摄,得到所述第一图像。
6.根据权利要求1至5任意一项所述基于图像融合的工业机器人,其特征在于:包括获取单元、拍摄单元、分割单元和图像融合单元,其中,
所述获取单元,用于获取目标环境光亮度值;
所述拍摄单元,用于在所述目标环境光亮度值低于预设阈值时,通过红外摄像头对目标场景进行拍摄,得到第一图像;以及通过可见光摄像头对目标场景进行拍摄,得到第二图像;
所述分割单元,用于对所述第一图像进行图像分割,得到第一目标区域图像和第一背景区域图像;以及根据所述第一目标区域图像和所述第一背景区域图像对所述第二图像进行图像分割,得到第二目标区域图像和第二背景区域图像;
所述图像融合单元,用于将所述第一目标区域图像和所述第二目标区域图像进行图像融合,得到参考目标区域图像;将所述第一背景区域图像与所述第二背景区域图像进行图像融合,得到参考背景区域图像;以及根据所述参考目标区域图像和所述参考背景区域图像进行图像拼接,得到目标图像。
CN202211189811.1A 2022-09-28 2022-09-28 一种基于图像融合的工业机器人图像处理方法 Pending CN115631140A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211189811.1A CN115631140A (zh) 2022-09-28 2022-09-28 一种基于图像融合的工业机器人图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211189811.1A CN115631140A (zh) 2022-09-28 2022-09-28 一种基于图像融合的工业机器人图像处理方法

Publications (1)

Publication Number Publication Date
CN115631140A true CN115631140A (zh) 2023-01-20

Family

ID=84904679

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211189811.1A Pending CN115631140A (zh) 2022-09-28 2022-09-28 一种基于图像融合的工业机器人图像处理方法

Country Status (1)

Country Link
CN (1) CN115631140A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975454A (zh) * 2024-03-28 2024-05-03 西安图宾智能科技有限公司 基于机器学习的工业图像数据处理方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117975454A (zh) * 2024-03-28 2024-05-03 西安图宾智能科技有限公司 基于机器学习的工业图像数据处理方法及系统

Similar Documents

Publication Publication Date Title
CN108764370B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN109348089B (zh) 夜景图像处理方法、装置、电子设备及存储介质
US10666873B2 (en) Exposure-related intensity transformation
JP5197279B2 (ja) コンピュータによって実施されるシーン内を移動している物体の3d位置を追跡する方法
CN112258579B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110660088B (zh) 一种图像处理的方法和设备
WO2019105154A1 (en) Image processing method, apparatus and device
KR101858646B1 (ko) 영상 융합 장치 및 방법
US8675091B2 (en) Image data processing with multiple cameras
CN110349163B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
CN111369605B (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN111028170B (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN108717530A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109559353B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN109712177A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN108764371A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN109587392B (zh) 监控设备的调整方法及装置、存储介质、电子装置
CN108093183B (zh) 一种摄像机日夜模式切换方法及终端设备
CN115631140A (zh) 一种基于图像融合的工业机器人图像处理方法
CN111105370B (zh) 图像处理方法、图像处理装置、电子设备和可读存储介质
CN117061868A (zh) 一种基于图像识别的自动拍照装置
CN110365897B (zh) 图像修正方法和装置、电子设备、计算机可读存储介质
CN113159229B (zh) 图像融合方法、电子设备及相关产品
Choi et al. A method for fast multi-exposure image fusion
CN110650288A (zh) 对焦控制方法和装置、电子设备、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination