CN117132667B - 一种基于环境温度反馈的热图像处理方法及相关装置 - Google Patents

一种基于环境温度反馈的热图像处理方法及相关装置 Download PDF

Info

Publication number
CN117132667B
CN117132667B CN202311397460.8A CN202311397460A CN117132667B CN 117132667 B CN117132667 B CN 117132667B CN 202311397460 A CN202311397460 A CN 202311397460A CN 117132667 B CN117132667 B CN 117132667B
Authority
CN
China
Prior art keywords
thermal image
image data
data
processing
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311397460.8A
Other languages
English (en)
Other versions
CN117132667A (zh
Inventor
李亚楠
雷晓兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Peninsula Medical Technology Co ltd
Original Assignee
Hunan Peninsula Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Peninsula Medical Technology Co ltd filed Critical Hunan Peninsula Medical Technology Co ltd
Priority to CN202311397460.8A priority Critical patent/CN117132667B/zh
Publication of CN117132667A publication Critical patent/CN117132667A/zh
Application granted granted Critical
Publication of CN117132667B publication Critical patent/CN117132667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48Thermography; Techniques using wholly visual means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于环境温度反馈的热图像处理方法及相关装置,其中,所述方法包括:获得热图像采集设备所在环境的当前环境温度数据,并基于当前环境温度数据对热图像采集设备进行校准处理;基于校准后的热图像采集设备对指定组织区域进行图像采集处理;对热图像数据进行图像校正处理;将校正后的热图像数据中的颜色转换为对应的温度数据值;对校正后的热图像数据中的不同区域进行分割处理;将温度数据值对应的标记在热图像数据的不同分割区域;对不同分割区域的标记热图像数据进行指定组织区域的温度变化趋势分析处理,并将获得的温度变化趋势进行可视化处理。在本发明实施例中,实现准确的采集热图像数据,并对温度变化趋势进行准确的分析。

Description

一种基于环境温度反馈的热图像处理方法及相关装置
技术领域
本发明涉及图像处理技术领域,尤其涉及一种基于环境温度反馈的热图像处理方法及相关装置。
背景技术
在对指定组织区域进行超声能量治疗时,一般的医护人员无法准确的评估对指定组织区域质量时的温度趋势变化评估,而是需要具有相应的从业经验的医护人员才能实现对指定组织区域在超声能量治疗时的温度变化趋势分析评估,这样可能导致对指定组织区域进行超声能量治疗时无法准确的把控组织区域的温度变化趋势,导致组织区域的温度较高或者较低,无法达到相应的治疗效果。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种基于环境温度反馈的热图像处理方法及相关装置,实现准确的采集热图像数据,并对温度变化趋势进行准确的分析。
为了解决上述技术问题,本发明实施例提供了一种基于环境温度反馈的热图像处理方法,所述方法包括:
获得热图像采集设备所在环境的当前环境温度数据,并基于所述当前环境温度数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备;
基于校准后的所述热图像采集设备对指定组织区域进行图像采集处理,获得指定组织区域的热图像数据;
对所述热图像数据进行图像校正处理,获得校正后的热图像数据;
基于热图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值;
对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域;
将所述温度数据值对应的标记在所述热图像数据的不同分割区域,形成不同分割区域的标记热图像数据;
基于时间和/或空间对不同分割区域的标记热图像数据进行指定组织区域的温度变化趋势分析处理,并将获得的温度变化趋势进行可视化处理。
可选的,所述基于所述当前环境温度数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备,包括:
利用所述当前环境温度数据在预设设备校正模型中进行匹配处理,获得匹配校正数据;
基于所述匹配校正数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备;
所述预设设备校正模型为利用所述热图像采集设备在不同的环境温度下按照标准操作流程分别预设组织位置进行若干次热图像数据采集处理,获得不同的环境温度的若干张热图像数据,并利用不同的环境温度的若干张热图像数据与预设组织位置标准热图像数据进行拟合形成的模型。
可选的,所述基于校准后的所述热图像采集设备对指定组织区域进行图像采集处理,包括:
将校正后的所述热图像采集设备对准所述指定组织区域,并按照标准操作流程控制校正后的所述热图像采集设备对所述指定组织区域进行图像采集处理。
可选的,所述对所述热图像数据进行图像校正处理,获得校正后的热图像数据,包括:
对所述热图像数据进行去噪处理,获得去噪后的热图像数据;
对去噪后的所述热图像数据利用畸变校正算法进行图像校正处理,获得校正后的热图像数据。
可选的,所述对所述热图像数据进行去噪处理,获得去噪后的热图像数据,包括:
将所述热图像数据输入低通滤波器中进行低通滤波降噪处理,获得低通滤波处理后的热图像数据;
将低通滤波处理后的热图像数据输入高通滤波器进行高通滤波降噪处理,获得去噪后的热图像数据。
可选的,所述基于热图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值,包括:
基于HSI颜色模型对校正后的所述热图像数据的颜色特征进行提取处理,获得提取的HSI颜色特征数据;
将所述HIS颜色特征数据输入温度数据值转换模型中进行温度数据值转换处理,输出校正后的所述热图像数据对应的温度数据值;
所述温度数据值转换模型为利用标记有温度数据值的历史热图像数据所提取的训练HIS颜色特征数据对深度神经网络模型收敛所形成的模型。
可选的,所述对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域,包括:
对校正后的热图像数据进行灰度化处理,获得灰度化热图像数据;
利用Canny边缘检测算法对所述灰度化热图像数据进行图像分割轮廓提取处理,获得第一图像分割轮廓信息;
利用图像差分运算法对所述灰度化热图像数据进行图像分割轮廓提取处理,获得第二图像分割轮廓信息;
将所述第一图像分割轮廓信息与所述第二图像分割轮廓信息进行分割轮廓拟合处理,形成拟合分割轮廓信息;
基于所述拟合分割轮廓信息对校正后的所述热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域。
另外,本发明实施例还提供了一种基于环境温度反馈的热图像处理装置,所述装置包括:
设备校准模块:用于获得热图像采集设备所在环境的当前环境温度数据,并基于所述当前环境温度数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备;
图像采集模块:用于基于校准后的所述热图像采集设备对指定组织区域进行图像采集处理,获得指定组织区域的热图像数据;
图像校正模块:用于对所述热图像数据进行图像校正处理,获得校正后的热图像数据;
转换模块:用于基于热图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值;
图像分割模块:用于对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域;
标记模块:用于将所述温度数据值对应的标记在所述热图像数据的不同分割区域,形成不同分割区域的标记热图像数据;
趋势分析模块:用于基于时间和/或空间对不同分割区域的标记热图像数据进行指定组织区域的温度变化趋势分析处理,并将获得的温度变化趋势进行可视化处理。
另外,本发明实施例还提供了一种控制设备,所述控制设备与所述热图像采集设备通信连接,所述控制设备包括处理器和存储器,所述处理器运行存储于所述存储器中的计算机程序或代码,实现如上述中任一项所述的热图像处理方法。
另外,本发明实施例还提供了一种计算机可读存储介质,用于存储计算机程序或代码,当所述计算机程序或代码被处理器执行时,实现如上述中任一项所述的热图像处理方法。
在本发明实施例中,通过采集指定组织区域的热图像数据,并转换为对应的温度数据值,将对应的温度数据值标记到热图像数据不同分割区域中,然后再根据时间和/或空间进行指定组织区域的温度变化趋势分析,从而可以准确的掌握指定组织区域的温度变化区域,可以实现在对指定组织区域进行超声能量治疗时,无需具有相应从业经验的医护人员即可实现对指定组织区域在超声能量治疗时的温度变化趋势分析评估,从而可以使得对指定组织区域进行超声能量治疗时的治疗效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于环境温度反馈的热图像处理方法的流程示意图;
图2是本发明实施例中的基于环境温度反馈的热图像处理装置的结构组成示意图;
图3是本发明实施例中的控制设备的结构组成示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一,请参阅图1,图1是本发明实施例中的基于环境温度反馈的热图像处理方法的流程示意图。
如图1所示,一种基于环境温度反馈的热图像处理方法,所述方法包括:
S11:获得热图像采集设备所在环境的当前环境温度数据,并基于所述当前环境温度数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备;
在本发明具体实施过程中,所述基于所述当前环境温度数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备,包括:利用所述当前环境温度数据在预设设备校正模型中进行匹配处理,获得匹配校正数据;基于所述匹配校正数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备;所述预设设备校正模型为利用所述热图像采集设备在不同的环境温度下按照标准操作流程分别预设组织位置进行若干次热图像数据采集处理,获得不同的环境温度的若干张热图像数据,并利用不同的环境温度的若干张热图像数据与预设组织位置标准热图像数据进行拟合形成的模型。
具体的,在热图像采集设备上设置有环境温度传感器,在热图像采集设备启动工作时,通过设置的环境温度传感器进行环境温度数据采集处理,即可得道热图像采集设备所在环境的当前环境温度数据,然后将当前环境温度数据输入预设设备校正模型中进行匹配处理,即可匹配出对应的匹配校正数据,然后再根据匹配校正数据对热图像采集设备进行校准处理,即可得道校准后的热图像采集设备;即将匹配校正数据输入PID控制器中,生成校准信号,通过该校准信号来对热图像采集设备进行校准处理;该预设设备校正模型设置过程为:利用热图像采集设备在不同的环境温度下按照标准操作流程分别预设组织位置进行若干次的热图像采集处理,即可得道不同的环境温度下的若干张热图像数据,具体时在如20摄氏度、20.2摄氏度、20.4摄氏度等等差间隔预审差值的环境温度下进行热图像数据采集;最后利用不同的环境温度的若干张热图像数据与预设组织位置标准热图像数据进行函数拟合处理,即可形成预设设备校正模型。
S12:基于校准后的所述热图像采集设备对指定组织区域进行图像采集处理,获得指定组织区域的热图像数据;
在本发明具体实施过程中,所述基于校准后的所述热图像采集设备对指定组织区域进行图像采集处理,包括:将校正后的所述热图像采集设备对准所述指定组织区域,并按照标准操作流程控制校正后的所述热图像采集设备对所述指定组织区域进行图像采集处理。
具体的,将校正后的热图像采集设备对准指定组织区域,让后按照标准操作流程控制校正后的热图像采集设备对指定组织区域进行图像采集处理,即可获得指定组织区域的热图像数据,同时校正后的热图像采集设备判断上次校正后到当前的时间间隔是否到达预设时间间隔,若是到达之后,首先返回S11步骤进行重新校正,然后再进行热图像采集处理;这样有效的保证因为时间变换,环境温度也随着变化,从而导致所采集的热图像数据存在较大的误差。
S13:对所述热图像数据进行图像校正处理,获得校正后的热图像数据;
在本发明具体实施过程中,所述对所述热图像数据进行图像校正处理,获得校正后的热图像数据,包括:对所述热图像数据进行去噪处理,获得去噪后的热图像数据;对去噪后的所述热图像数据利用畸变校正算法进行图像校正处理,获得校正后的热图像数据。
进一步的,所述对所述热图像数据进行去噪处理,获得去噪后的热图像数据,包括:将所述热图像数据输入低通滤波器中进行低通滤波降噪处理,获得低通滤波处理后的热图像数据;将低通滤波处理后的热图像数据输入高通滤波器进行高通滤波降噪处理,获得去噪后的热图像数据。
具体的首先是需要对热图像数据进行去噪处理,得道去噪后的热图像数据,然后再对去噪后的热图像数据利用畸变校正算法来实现对图像校正处理,即可得到校正后的热图像数据。
在去噪处理时,对热图像数据依次经过低通滤波处理和高通滤波处理,即,将热图像数据输入低通滤波器中进行低通滤波降噪处理,获得低通滤波处理后的热图像数据;从而可以去除热图像数据中的低通噪声;然后再将低通滤波处理后的热图像数据输入高通滤波器进行高通滤波降噪处理,获得去噪后的热图像数据;从而可以有效的去处热图像数据中的高通噪声。
S14:基于热图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值;
在本发明具体实施过程中,所述基于热图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值,包括:基于HSI颜色模型对校正后的所述热图像数据的颜色特征进行提取处理,获得提取的HSI颜色特征数据;将所述HIS颜色特征数据输入温度数据值转换模型中进行温度数据值转换处理,输出校正后的所述热图像数据对应的温度数据值;所述温度数据值转换模型为利用标记有温度数据值的历史热图像数据所提取的训练HIS颜色特征数据对深度神经网络模型收敛所形成的模型。
具体的,首先是通过图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值,即,对校正后的所述热图像数据进行颜色特征提取处理,即可提取到对应的颜色特征数据,具体的颜色特征提取过程是将校正后的所述热图像数据输入HSI颜色模型来实现颜色特征提取处理,即可得到提取的HSI颜色特征数据;将HIS颜色特征数据输入温度数据值转换模型中进行温度数据值转换处理,即可输出校正后的热图像数据对应的温度数据值;其中,温度数据值转换模型为利用标记有温度数据值的历史热图像数据所提取的训练HIS颜色特征数据对深度神经网络模型收敛所形成的模型。
S15:对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域;
在本发明具体实施过程中,所述对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域,包括:对校正后的热图像数据进行灰度化处理,获得灰度化热图像数据;利用Canny边缘检测算法对所述灰度化热图像数据进行图像分割轮廓提取处理,获得第一图像分割轮廓信息;利用图像差分运算法对所述灰度化热图像数据进行图像分割轮廓提取处理,获得第二图像分割轮廓信息;将所述第一图像分割轮廓信息与所述第二图像分割轮廓信息进行分割轮廓拟合处理,形成拟合分割轮廓信息;基于所述拟合分割轮廓信息对校正后的所述热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域。
具体的,对校正后的热图像数据进行灰度化处理,获得灰度化热图像数据;在本申请中可以采用灰度直方图的方式进行灰度化处理,然后再利用边缘检测算法来对灰度化热图像数据进行图像分割轮廓提取处理,获得第一图像分割轮廓信息,该边缘检测算法可以为Canny边缘检测算法、Sobel边缘检测算法等;然后再利用图像差分运算法对灰度化热图像数据进行图像分割轮廓提取处理,获得第二图像分割轮廓信息;在得到第一图像分割轮廓信息和第二图像分割轮廓信息之后,将第一图像分割轮廓信息与第二图像分割轮廓信息进行分割轮廓拟合处理,形成拟合分割轮廓信息;最后即可根据拟合分割轮廓信息对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域;通过利用拟合分割轮廓信息来进行不同分割区域的分割处理,可以有效的提高分割精度。
S16:将所述温度数据值对应的标记在所述热图像数据的不同分割区域,形成不同分割区域的标记热图像数据;
在本发明具体实施过程中,在获得热图像数据中每一个区域对应的温度数据值和不同分割区域之后,需要将每一个区域对应的温度数据值分别标记到热图像数据中的不同分割区域中,在此利用悬浮水印技术来将每一个区域对应的温度数据值分别标记到热图像数据中的不同分割区域上,即可得形成不同分割区域的标记热图像数据。
S17:基于时间和/或空间对不同分割区域的标记热图像数据进行指定组织区域的温度变化趋势分析处理,并将获得的温度变化趋势进行可视化处理。
在本发明具体实施过程中,即可根据时间和/或空间对不同分割区域的标记热图像数据进行指定组织区域的温度变化趋势分析处理,在此,根据时间来对不同分割区域的标记热图像数据进行指定组织区域的温度变化趋势分析处理的具体过程为分析联系时间段内形成的不同分割区域的标记热图像数据中每一个分割区域内所标记的温度数据值,即可得到在时间上的指定组织区域的不同位置的温度变化趋势;同时也可以根据热图像数据不同分割区域来进行空间分析,即利用不同分割区域的标记热图像数据中的温度数据进行对比分析,即可得到不同分割区域中的温度对比情况;也可以同时结合时间和空间上来进行分析处理,最终即可得到指定组织区域在进行超声能量治疗过程中的温度变化趋势分析结果;然后将得到的温度变化趋势分析结果进行可视化处理,这样可以方便相关用户直观查看。
在本发明实施例中,通过采集指定组织区域的热图像数据,并转换为对应的温度数据值,将对应的温度数据值标记到热图像数据不同分割区域中,然后再根据时间和/或空间进行指定组织区域的温度变化趋势分析,从而可以准确的掌握指定组织区域的温度变化区域,可以实现在对指定组织区域进行超声能量治疗时,无需具有相应从业经验的医护人员即可实现对指定组织区域在超声能量治疗时的温度变化趋势分析评估,从而可以使得对指定组织区域进行超声能量治疗时的治疗效果。
实施例二,请参阅图2,图2是本发明实施例中的基于环境温度反馈的热图像处理装置的结构组成示意图。
如图2所示,一种基于环境温度反馈的热图像处理装置,所述装置包括:
设备校准模块21:用于获得热图像采集设备所在环境的当前环境温度数据,并基于所述当前环境温度数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备;
在本发明具体实施过程中,所述基于所述当前环境温度数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备,包括:利用所述当前环境温度数据在预设设备校正模型中进行匹配处理,获得匹配校正数据;基于所述匹配校正数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备;所述预设设备校正模型为利用所述热图像采集设备在不同的环境温度下按照标准操作流程分别预设组织位置进行若干次热图像数据采集处理,获得不同的环境温度的若干张热图像数据,并利用不同的环境温度的若干张热图像数据与预设组织位置标准热图像数据进行拟合形成的模型。
具体的,在热图像采集设备上设置有环境温度传感器,在热图像采集设备启动工作时,通过设置的环境温度传感器进行环境温度数据采集处理,即可得道热图像采集设备所在环境的当前环境温度数据,然后将当前环境温度数据输入预设设备校正模型中进行匹配处理,即可匹配出对应的匹配校正数据,然后再根据匹配校正数据对热图像采集设备进行校准处理,即可得道校准后的热图像采集设备;即将匹配校正数据输入PID控制器中,生成校准信号,通过该校准信号来对热图像采集设备进行校准处理;该预设设备校正模型设置过程为:利用热图像采集设备在不同的环境温度下按照标准操作流程分别预设组织位置进行若干次的热图像采集处理,即可得道不同的环境温度下的若干张热图像数据,具体时在如20摄氏度、20.2摄氏度、20.4摄氏度等等差间隔预审差值的环境温度下进行热图像数据采集;最后利用不同的环境温度的若干张热图像数据与预设组织位置标准热图像数据进行函数拟合处理,即可形成预设设备校正模型。
图像采集模块22:用于基于校准后的所述热图像采集设备对指定组织区域进行图像采集处理,获得指定组织区域的热图像数据;
在本发明具体实施过程中,所述基于校准后的所述热图像采集设备对指定组织区域进行图像采集处理,包括:将校正后的所述热图像采集设备对准所述指定组织区域,并按照标准操作流程控制校正后的所述热图像采集设备对所述指定组织区域进行图像采集处理。
具体的,将校正后的热图像采集设备对准指定组织区域,让后按照标准操作流程控制校正后的热图像采集设备对指定组织区域进行图像采集处理,即可获得指定组织区域的热图像数据,同时校正后的热图像采集设备判断上次校正后到当前的时间间隔是否到达预设时间间隔,若是到达之后,首先返回S11步骤进行重新校正,然后再进行热图像采集处理;这样有效的保证因为时间变换,环境温度也随着变化,从而导致所采集的热图像数据存在较大的误差。
图像校正模块23:用于对所述热图像数据进行图像校正处理,获得校正后的热图像数据;
在本发明具体实施过程中,所述对所述热图像数据进行图像校正处理,获得校正后的热图像数据,包括:对所述热图像数据进行去噪处理,获得去噪后的热图像数据;对去噪后的所述热图像数据利用畸变校正算法进行图像校正处理,获得校正后的热图像数据。
进一步的,所述对所述热图像数据进行去噪处理,获得去噪后的热图像数据,包括:将所述热图像数据输入低通滤波器中进行低通滤波降噪处理,获得低通滤波处理后的热图像数据;将低通滤波处理后的热图像数据输入高通滤波器进行高通滤波降噪处理,获得去噪后的热图像数据。
具体的首先是需要对热图像数据进行去噪处理,得道去噪后的热图像数据,然后再对去噪后的热图像数据利用畸变校正算法来实现对图像校正处理,即可得到校正后的热图像数据。
在去噪处理时,对热图像数据依次经过低通滤波处理和高通滤波处理,即,将热图像数据输入低通滤波器中进行低通滤波降噪处理,获得低通滤波处理后的热图像数据;从而可以去除热图像数据中的低通噪声;然后再将低通滤波处理后的热图像数据输入高通滤波器进行高通滤波降噪处理,获得去噪后的热图像数据;从而可以有效的去处热图像数据中的高通噪声。
转换模块24:用于基于热图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值;
在本发明具体实施过程中,所述基于热图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值,包括:基于HSI颜色模型对校正后的所述热图像数据的颜色特征进行提取处理,获得提取的HSI颜色特征数据;将所述HIS颜色特征数据输入温度数据值转换模型中进行温度数据值转换处理,输出校正后的所述热图像数据对应的温度数据值;所述温度数据值转换模型为利用标记有温度数据值的历史热图像数据所提取的训练HIS颜色特征数据对深度神经网络模型收敛所形成的模型。
具体的,首先是通过图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值,即,对校正后的所述热图像数据进行颜色特征提取处理,即可提取到对应的颜色特征数据,具体的颜色特征提取过程是将校正后的所述热图像数据输入HSI颜色模型来实现颜色特征提取处理,即可得到提取的HSI颜色特征数据;将HIS颜色特征数据输入温度数据值转换模型中进行温度数据值转换处理,即可输出校正后的热图像数据对应的温度数据值;其中,温度数据值转换模型为利用标记有温度数据值的历史热图像数据所提取的训练HIS颜色特征数据对深度神经网络模型收敛所形成的模型。
图像分割模块25:用于对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域;
在本发明具体实施过程中,所述对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域,包括:对校正后的热图像数据进行灰度化处理,获得灰度化热图像数据;利用Canny边缘检测算法对所述灰度化热图像数据进行图像分割轮廓提取处理,获得第一图像分割轮廓信息;利用图像差分运算法对所述灰度化热图像数据进行图像分割轮廓提取处理,获得第二图像分割轮廓信息;将所述第一图像分割轮廓信息与所述第二图像分割轮廓信息进行分割轮廓拟合处理,形成拟合分割轮廓信息;基于所述拟合分割轮廓信息对校正后的所述热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域。
具体的,对校正后的热图像数据进行灰度化处理,获得灰度化热图像数据;在本申请中可以采用灰度直方图的方式进行灰度化处理,然后再利用边缘检测算法来对灰度化热图像数据进行图像分割轮廓提取处理,获得第一图像分割轮廓信息,该边缘检测算法可以为Canny边缘检测算法、Sobel边缘检测算法等;然后再利用图像差分运算法对灰度化热图像数据进行图像分割轮廓提取处理,获得第二图像分割轮廓信息;在得到第一图像分割轮廓信息和第二图像分割轮廓信息之后,将第一图像分割轮廓信息与第二图像分割轮廓信息进行分割轮廓拟合处理,形成拟合分割轮廓信息;最后即可根据拟合分割轮廓信息对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域;通过利用拟合分割轮廓信息来进行不同分割区域的分割处理,可以有效的提高分割精度。
标记模块26:用于将所述温度数据值对应的标记在所述热图像数据的不同分割区域,形成不同分割区域的标记热图像数据;
在本发明具体实施过程中,在获得热图像数据中每一个区域对应的温度数据值和不同分割区域之后,需要将每一个区域对应的温度数据值分别标记到热图像数据中的不同分割区域中,在此利用悬浮水印技术来将每一个区域对应的温度数据值分别标记到热图像数据中的不同分割区域上,即可得形成不同分割区域的标记热图像数据。
趋势分析模块27:用于基于时间和/或空间对不同分割区域的标记热图像数据进行指定组织区域的温度变化趋势分析处理,并将获得的温度变化趋势进行可视化处理。
在本发明具体实施过程中,即可根据时间和/或空间对不同分割区域的标记热图像数据进行指定组织区域的温度变化趋势分析处理,在此,根据时间来对不同分割区域的标记热图像数据进行指定组织区域的温度变化趋势分析处理的具体过程为分析联系时间段内形成的不同分割区域的标记热图像数据中每一个分割区域内所标记的温度数据值,即可得到在时间上的指定组织区域的不同位置的温度变化趋势;同时也可以根据热图像数据不同分割区域来进行空间分析,即利用不同分割区域的标记热图像数据中的温度数据进行对比分析,即可得到不同分割区域中的温度对比情况;也可以同时结合时间和空间上来进行分析处理,最终即可得到指定组织区域在进行超声能量治疗过程中的温度变化趋势分析结果;然后将得到的温度变化趋势分析结果进行可视化处理,这样可以方便相关用户直观查看。
在本发明实施例中,通过采集指定组织区域的热图像数据,并转换为对应的温度数据值,将对应的温度数据值标记到热图像数据不同分割区域中,然后再根据时间和/或空间进行指定组织区域的温度变化趋势分析,从而可以准确的掌握指定组织区域的温度变化区域,可以实现在对指定组织区域进行超声能量治疗时,无需具有相应从业经验的医护人员即可实现对指定组织区域在超声能量治疗时的温度变化趋势分析评估,从而可以使得对指定组织区域进行超声能量治疗时的治疗效果。
本发明实施例提供的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现上述实施例中任意一个实施例的热图像处理方法。其中,所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random AcceSS Memory,随即存储器)、EPROM(EraSable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically EraSable ProgrammableRead-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储设备包括由设备(例如,计算机、手机)以能够读的形式存储或传输信息的任何介质,可以是只读存储器,磁盘或光盘等。
本发明实施例还提供了一种计算机应用程序,其运行在计算机上,该计算机应用程序用于执行上述中任意一个实施例的热图像处理方法。
此外,图3是本发明实施例中的控制设备的结构组成示意图。
本发明实施例还提供了一种控制设备,如图3所示。所述控制设备包括处理器302、存储器303、输入单元304以及显示单元305等器件。本领域技术人员可以理解,图3示出的控制设备结构器件并不构成对所有设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件。存储器303可用于存储应用程序301以及各功能模块,处理器302运行存储在存储器303的应用程序301,从而执行设备的各种功能应用以及数据处理。存储器可以是内存储器或外存储器,或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程 ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器只作为例子而非作为限定。
输入单元304用于接收信号的输入,以及接收用户输入的关键字。输入单元304可包括触控面板以及其它输入设备。触控面板可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并根据预先设定的程序驱动相应的连接装置;其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元305可用于显示用户输入的信息或提供给用户的信息以及终端设备的各种菜单。显示单元305可采用液晶显示器、有机发光二极管等形式。处理器302是终端设备的控制中心,利用各种接口和线路连接整个设备的各个部分,通过运行或执行存储在存储器303内的软件程序和/或模块,以及调用存储在存储器内的数据,执行各种功能和处理数据。
作为一个实施例,所述控制设备与所述热图像采集设备通信连接,所述控制设备包括:一个或多个处理器302,存储器303,一个或多个应用程序301,其中所述一个或多个应用程序301被存储在存储器303中并被配置为由所述一个或多个处理器302执行,所述一个或多个应用程序301配置用于执行上述实施例中的任意一实施例中的热图像处理方法。
在本发明实施例中,通过采集指定组织区域的热图像数据,并转换为对应的温度数据值,将对应的温度数据值标记到热图像数据不同分割区域中,然后再根据时间和/或空间进行指定组织区域的温度变化趋势分析,从而可以准确的掌握指定组织区域的温度变化区域,可以实现在对指定组织区域进行超声能量治疗时,无需具有相应从业经验的医护人员即可实现对指定组织区域在超声能量治疗时的温度变化趋势分析评估,从而可以使得对指定组织区域进行超声能量治疗时的治疗效果。
另外,以上对本发明实施例所提供的一种基于环境温度反馈的热图像处理方法及相关装置进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于环境温度反馈的热图像处理方法,其特征在于,所述方法包括:
获得热图像采集设备所在环境的当前环境温度数据,并基于所述当前环境温度数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备;
基于校准后的所述热图像采集设备对指定组织区域进行图像采集处理,获得指定组织区域的热图像数据;
对所述热图像数据进行图像校正处理,获得校正后的热图像数据;
基于热图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值;
对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域;
将所述温度数据值对应的标记在所述热图像数据的不同分割区域,形成不同分割区域的标记热图像数据;
基于时间和/或空间对不同分割区域的标记热图像数据进行指定组织区域的温度变化趋势分析处理,并将获得的温度变化趋势进行可视化处理;
所述基于所述当前环境温度数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备,包括:
利用所述当前环境温度数据在预设设备校正模型中进行匹配处理,获得匹配校正数据;
基于所述匹配校正数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备;
所述预设设备校正模型为利用所述热图像采集设备在不同的环境温度下按照标准操作流程分别预设组织位置进行若干次热图像数据采集处理,获得不同的环境温度的若干张热图像数据,并利用不同的环境温度的若干张热图像数据与预设组织位置标准热图像数据进行拟合形成的模型;
所述基于热图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值,包括:
基于HSI颜色模型对校正后的所述热图像数据的颜色特征进行提取处理,获得提取的HSI颜色特征数据;
将所述HSI颜色特征数据输入温度数据值转换模型中进行温度数据值转换处理,输出校正后的所述热图像数据对应的温度数据值;
所述温度数据值转换模型为利用标记有温度数据值的历史热图像数据所提取的训练HSI颜色特征数据对深度神经网络模型收敛所形成的模型;
所述对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域,包括:
对校正后的热图像数据进行灰度化处理,获得灰度化热图像数据;
利用Canny边缘检测算法对所述灰度化热图像数据进行图像分割轮廓提取处理,获得第一图像分割轮廓信息;
利用图像差分运算法对所述灰度化热图像数据进行图像分割轮廓提取处理,获得第二图像分割轮廓信息;
将所述第一图像分割轮廓信息与所述第二图像分割轮廓信息进行分割轮廓拟合处理,形成拟合分割轮廓信息;
基于所述拟合分割轮廓信息对校正后的所述热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域。
2.根据权利要求1所述的热图像处理方法,其特征在于,所述基于校准后的所述热图像采集设备对指定组织区域进行图像采集处理,包括:
将校正后的所述热图像采集设备对准所述指定组织区域,并按照标准操作流程控制校正后的所述热图像采集设备对所述指定组织区域进行图像采集处理。
3.根据权利要求1所述的热图像处理方法,其特征在于,所述对所述热图像数据进行图像校正处理,获得校正后的热图像数据,包括:
对所述热图像数据进行去噪处理,获得去噪后的热图像数据;
对去噪后的所述热图像数据利用畸变校正算法进行图像校正处理,获得校正后的热图像数据。
4.根据权利要求3所述的热图像处理方法,其特征在于,所述对所述热图像数据进行去噪处理,获得去噪后的热图像数据,包括:
将所述热图像数据输入低通滤波器中进行低通滤波降噪处理,获得低通滤波处理后的热图像数据;
将低通滤波处理后的热图像数据输入高通滤波器进行高通滤波降噪处理,获得去噪后的热图像数据。
5.一种基于环境温度反馈的热图像处理装置,其特征在于,所述装置包括:
设备校准模块:用于获得热图像采集设备所在环境的当前环境温度数据,并基于所述当前环境温度数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备;
图像采集模块:用于基于校准后的所述热图像采集设备对指定组织区域进行图像采集处理,获得指定组织区域的热图像数据;
图像校正模块:用于对所述热图像数据进行图像校正处理,获得校正后的热图像数据;
转换模块:用于基于热图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值;
图像分割模块:用于对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域;
标记模块:用于将所述温度数据值对应的标记在所述热图像数据的不同分割区域,形成不同分割区域的标记热图像数据;
趋势分析模块:用于基于时间和/或空间对不同分割区域的标记热图像数据进行指定组织区域的温度变化趋势分析处理,并将获得的温度变化趋势进行可视化处理;
所述基于所述当前环境温度数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备,包括:
利用所述当前环境温度数据在预设设备校正模型中进行匹配处理,获得匹配校正数据;
基于所述匹配校正数据对所述热图像采集设备进行校准处理,获得校准后的热图像采集设备;
所述预设设备校正模型为利用所述热图像采集设备在不同的环境温度下按照标准操作流程分别预设组织位置进行若干次热图像数据采集处理,获得不同的环境温度的若干张热图像数据,并利用不同的环境温度的若干张热图像数据与预设组织位置标准热图像数据进行拟合形成的模型;
所述基于热图像解析技术将校正后的所述热图像数据中的颜色转换为对应的温度数据值,包括:
基于HSI颜色模型对校正后的所述热图像数据的颜色特征进行提取处理,获得提取的HSI颜色特征数据;
将所述HSI颜色特征数据输入温度数据值转换模型中进行温度数据值转换处理,输出校正后的所述热图像数据对应的温度数据值;
所述温度数据值转换模型为利用标记有温度数据值的历史热图像数据所提取的训练HSI颜色特征数据对深度神经网络模型收敛所形成的模型;
所述对校正后的热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域,包括:
对校正后的热图像数据进行灰度化处理,获得灰度化热图像数据;
利用Canny边缘检测算法对所述灰度化热图像数据进行图像分割轮廓提取处理,获得第一图像分割轮廓信息;
利用图像差分运算法对所述灰度化热图像数据进行图像分割轮廓提取处理,获得第二图像分割轮廓信息;
将所述第一图像分割轮廓信息与所述第二图像分割轮廓信息进行分割轮廓拟合处理,形成拟合分割轮廓信息;
基于所述拟合分割轮廓信息对校正后的所述热图像数据中的不同区域进行分割处理,获得热图像数据的不同分割区域。
6.一种控制设备,所述控制设备与所述热图像采集设备通信连接,所述控制设备包括处理器和存储器,其特征在于,所述处理器运行存储于所述存储器中的计算机程序或代码,实现如权利要求1至4中任一项所述的热图像处理方法。
7.一种计算机可读存储介质,用于存储计算机程序或代码,其特征在于,当所述计算机程序或代码被处理器执行时,实现如权利要求1至4中任一项所述的热图像处理方法。
CN202311397460.8A 2023-10-26 2023-10-26 一种基于环境温度反馈的热图像处理方法及相关装置 Active CN117132667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311397460.8A CN117132667B (zh) 2023-10-26 2023-10-26 一种基于环境温度反馈的热图像处理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311397460.8A CN117132667B (zh) 2023-10-26 2023-10-26 一种基于环境温度反馈的热图像处理方法及相关装置

Publications (2)

Publication Number Publication Date
CN117132667A CN117132667A (zh) 2023-11-28
CN117132667B true CN117132667B (zh) 2024-02-06

Family

ID=88863150

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311397460.8A Active CN117132667B (zh) 2023-10-26 2023-10-26 一种基于环境温度反馈的热图像处理方法及相关装置

Country Status (1)

Country Link
CN (1) CN117132667B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663729A (zh) * 2012-03-11 2012-09-12 东华大学 基于轮廓跟踪的车载红外视频彩色化方法
CN107169966A (zh) * 2017-06-27 2017-09-15 国网湖南省电力公司 一种基于温度分布的输电线路山火辨识方法
WO2020038312A1 (zh) * 2018-08-20 2020-02-27 深圳市前海安测信息技术有限公司 多通道舌体边缘检测装置、方法及存储介质
CN112700459A (zh) * 2020-12-31 2021-04-23 南京理工大学 一种基于多特征信息融合的水平集红外图像分割方法
CN113218515A (zh) * 2021-06-02 2021-08-06 安徽淮光智能科技有限公司 一种红外多光谱温度校准仪
CN113718082A (zh) * 2021-08-17 2021-11-30 河南省冶金研究所有限责任公司 基于火焰图像判断转炉炼钢终点温度的预测系统及方法
KR20220016614A (ko) * 2020-08-03 2022-02-10 주식회사 인포웍스 심층 신경망 알고리즘 기반 EO IR RADAR LiDAR 센서융합 객체 인식 시스템
KR20220067387A (ko) * 2020-11-17 2022-05-24 아주대학교산학협력단 이미지의 레이아웃 분석 방법 및 시스템
CN115900973A (zh) * 2022-12-12 2023-04-04 上海深威科技有限公司 红外热电堆传感器温度补偿、校正方法、补偿装置及电子设备
CN116388379A (zh) * 2023-01-18 2023-07-04 国网浙江省电力有限公司开化县供电公司 一种变电站远程红外智能巡检方法及系统
CN116894849A (zh) * 2023-07-24 2023-10-17 上海哔哩哔哩科技有限公司 图像分割方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6942566B2 (ja) * 2017-08-30 2021-09-29 キヤノン株式会社 情報処理装置、情報処理方法およびコンピュータプログラム

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102663729A (zh) * 2012-03-11 2012-09-12 东华大学 基于轮廓跟踪的车载红外视频彩色化方法
CN107169966A (zh) * 2017-06-27 2017-09-15 国网湖南省电力公司 一种基于温度分布的输电线路山火辨识方法
WO2020038312A1 (zh) * 2018-08-20 2020-02-27 深圳市前海安测信息技术有限公司 多通道舌体边缘检测装置、方法及存储介质
KR20220016614A (ko) * 2020-08-03 2022-02-10 주식회사 인포웍스 심층 신경망 알고리즘 기반 EO IR RADAR LiDAR 센서융합 객체 인식 시스템
KR20220067387A (ko) * 2020-11-17 2022-05-24 아주대학교산학협력단 이미지의 레이아웃 분석 방법 및 시스템
CN112700459A (zh) * 2020-12-31 2021-04-23 南京理工大学 一种基于多特征信息融合的水平集红外图像分割方法
CN113218515A (zh) * 2021-06-02 2021-08-06 安徽淮光智能科技有限公司 一种红外多光谱温度校准仪
CN113718082A (zh) * 2021-08-17 2021-11-30 河南省冶金研究所有限责任公司 基于火焰图像判断转炉炼钢终点温度的预测系统及方法
CN115900973A (zh) * 2022-12-12 2023-04-04 上海深威科技有限公司 红外热电堆传感器温度补偿、校正方法、补偿装置及电子设备
CN116388379A (zh) * 2023-01-18 2023-07-04 国网浙江省电力有限公司开化县供电公司 一种变电站远程红外智能巡检方法及系统
CN116894849A (zh) * 2023-07-24 2023-10-17 上海哔哩哔哩科技有限公司 图像分割方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Topological Approach for Facial Region Segmentation in Thermal Images;Michael Lilley, et.al;《2022 IEEE International Symposium on Multimedia (ISM)》;第189-193页 *
于殿泓.《图像检测与处理技术》.西安电子科技大学出版社,2006,第140页. *
基于标记分水岭的视频帧图像分割;刘艳丽;刘奇;;通信技术(09);全文 *

Also Published As

Publication number Publication date
CN117132667A (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN110232326B (zh) 一种三维物体识别方法、装置及存储介质
CN108197564B (zh) 一种画钟试验的评估系统及方法
CN116434266B (zh) 一种医疗检验单的数据信息自动提取分析方法
CN110766656B (zh) 筛查眼底黄斑区异常的方法、装置、设备和存储介质
CN110942447A (zh) Oct图像分割方法、装置、设备及存储介质
CN113222913A (zh) 一种电路板缺陷检测定位方法、装置和存储介质
CN113269752A (zh) 一种图像检测方法、装置终端设备及存储介质
CN202267464U (zh) 一种基于手机的快速检测叶片面积的装置
US20180293425A1 (en) Symbol Detection for Desired Image Reconstruction
CN107194971B (zh) 一种金手指定位方法、装置及计算机可读存储介质
CN113707279B (zh) 医学影像图片的辅助分析方法、装置、计算机设备及介质
CN114863129A (zh) 仪表数值分析方法、装置、设备及存储介质
CN112613425B (zh) 一种面向小样本水下图像的目标识别系统
CN114119695A (zh) 一种图像标注方法、装置及电子设备
CN117132667B (zh) 一种基于环境温度反馈的热图像处理方法及相关装置
CN116824437A (zh) 一种坐位体前屈的测量方法和系统
CN111281355A (zh) 一种用于确定脉搏采集位置的方法与设备
CN103279953A (zh) 一种基于LabVIEW平台的机器视觉标定系统
CN111274953B (zh) 一种根据表情判断疼痛的方法及系统
CN115700805A (zh) 植物高度检测方法、装置、设备及存储介质
CN111598094A (zh) 基于深度学习的角度回归仪表读数识别方法、设备和系统
CN112288639A (zh) 影像对比减影方法、装置、终端设备及存储介质
CN113392782B (zh) 面向弱小目标检测的遥感影像深度学习训练样本增强方法
CN117952981B (zh) 一种基于cnn卷积神经网络的智能室内灯检测装置及方法
Trivedi et al. A Preliminary Method for Tracking In‐Season Grapevine Cluster Closure Using Image Segmentation and Image Thresholding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant