CN113759355A - 基于红外数据的测距方法和装置 - Google Patents
基于红外数据的测距方法和装置 Download PDFInfo
- Publication number
- CN113759355A CN113759355A CN202111054829.6A CN202111054829A CN113759355A CN 113759355 A CN113759355 A CN 113759355A CN 202111054829 A CN202111054829 A CN 202111054829A CN 113759355 A CN113759355 A CN 113759355A
- Authority
- CN
- China
- Prior art keywords
- temperature
- distance
- target object
- background
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000691 measurement method Methods 0.000 title claims description 4
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000003491 array Methods 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 8
- 238000005259 measurement Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 235000008733 Citrus aurantifolia Nutrition 0.000 description 1
- 235000011941 Tilia x europaea Nutrition 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 239000000919 ceramic Substances 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004571 lime Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
- G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/12—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using thermoelectric elements, e.g. thermocouples
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/10—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
- G01J5/12—Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using thermoelectric elements, e.g. thermocouples
- G01J2005/123—Thermoelectric array
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Electromagnetism (AREA)
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
Abstract
本发明提供了一种基于红外数据的测距方法和装置,该方法包括:在至少一种背景温度下,建立目标物体的特征温度和距离之间的对应关系;其中,目标物体的距离用于表征目标物体和用于进行红外检测的红外传感器之间的距离;对待测目标物体进行红外检测,得到红外数据;从红外数据中确定待测目标物体的实测特征温度和待测目标物体所在的实测背景温度;根据实测背景温度、实测特征温度和对应关系,确定待测目标物体与红外传感器之间的距离。本方案能够实现对目标物体的距离检测。
Description
技术领域
本发明涉及智能家居和光电检测技术领域,特别涉及一种基于红外数据的测距方法和装置。
背景技术
基于红外传感器的测温模组以其非接触式测量、响应快、直观显示温度场分布、适合大面阵作业等特点,可以应用于智能家居内具有热辐射特性的人体检测领域,进而可以应用在安保、科研、工业无损检测、电力、建筑漏热以及医疗病理检测等领域。
随着智能家居技术的不断发展,对家电产品的功能要求也越来越高。比如,对智能空调提出了对人体进行自动检测,并根据人体的距离信息自动进行功能调整的要求,而这就需要涉及到对目标体进行距离检测。然而,目前在利用红外技术进行距离测定时,通常是根据发送和接收到的红外信号来进行距离测定。比如,申请号为CN201810276118.5的专利公开了一种空调器的红外检测距离方法、空调器和计算机存储介质,其通过利用两个红外传感器发射不同占空比的红外信号,然后通过对接收到的反射信号进行处理,以计算得到目标物体的距离。
上述方案是通过建立占空比和目标距离的关系来进行距离检测。而基于该方法需要对信号进行精准的处理,以得到优异的占空比,占空比的好坏决定了测量的精度。在实际中由于各种干扰因素的存在,经常很难保证得到优异的占空比,从而导致测量精度较低。
发明内容
本发明提供了一种基于红外数据的测距方法和装置,能够实现对目标物体的距离检测。
第一方面,本发明实施例提供了基于红外数据的测距方法,包括:
在至少一种背景温度下,建立目标物体的特征温度和距离之间的对应关系;其中,所述目标物体的距离用于表征目标物体和用于进行红外检测的红外传感器之间的距离;
对待测目标物体进行红外检测,得到红外数据;
从所述红外数据中确定所述待测目标物体的实测特征温度和所述待测目标物体所在的实测背景温度;
根据所述实测背景温度、所述实测特征温度和所述对应关系,确定所述待测目标物体与红外传感器之间的距离。
在一种可能的实现方式中,所述在至少一种背景温度下建立目标物体的特征温度和距离之间的对应关系,包括:
确定至少一种背景温度;
针对每一种背景温度,均执行:
确定至少一个标定距离;
在当前背景温度下,对位于每一个标定距离处的目标物体进行红外检测,得到至少一组温度距离数组;其中,每一组所述温度距离数组包括一个标定距离和在该标定距离处检测得到的特征温度;
根据每一组所述温度距离数组,确定所述目标物体的特征温度和距离之间的对应关系。
在一种可能的实现方式中,当所述至少一种背景温度中不包括所述实测背景温度,且所述实测背景温度介于所述至少一种背景温度中的两种背景温度之间时,
所述根据所述实测背景温度、所述实测特征温度和所述对应关系确定所述待测目标物体与红外传感器之间的距离,包括:
从所述至少一种背景温度中确定相邻的两种背景温度Ti和Ti+1;其中,所述实测背景温度位于Ti和Ti+1之间;
分别获取背景温度为Ti和Ti+1的温度距离数组Li和Li+1;
利用二分法对背景温度Ti和Ti+1进行N次求解;其中,N次求解后得到的背景温度与所述实测背景温度相同;
利用二分法对温度距离数组Li和Li+1中同一标定距离之间的特征温度进行N次求解,得到所述待测目标物体与红外传感器之间的距离。
在一种可能的实现方式中,所述建立目标物体的特征温度和距离之间的对应关系,包括:
利用每一组所述温度距离数组进行线性拟合,得到特征温度和距离之间的拟合关系式。
在一种可能的实现方式中,所述特征温度的确定方法包括:
获取所述红外传感器采集到的红外数据;其中,所述红外数据包括预设像素阵列大小的温度数据,每个像素点对应一个温度数据;
根据预先设定的目标物体和非目标物体之间的温度偏差,确定目标物体的有效感温区;
将所述有效感温区中温度数据中的最大值确定为所述特征温度。
在一种可能的实现方式中,当所述特征温度位于所述预设像素阵列的非边缘区域时,所述背景温度的确定方法包括:
以所述特征温度所在的像素为中心,获取周围m×n个像素点所在的温度数据;
求取所述m×n个像素点所在的温度数据的平均值,得到对应所述当前特征温度的背景温度;
或,
当所述特征温度位于所述预设像素阵列的边缘区域时,所述背景温度的确定方法包括:
以所述特征温度为像素中心,获取周围m×n个像素点中的有效温度数据;其中,所述有效温度数据用于表征非零的温度数据;
求取所述有效温度数据的平均值,得到对应所述当前特征温度的背景温度。
第二方面,本发明实施例提供了基于红外数据的检测装置,包括:对应关系构建模块、红外检测模块、温度确定模块和距离确定模块;
所述对应关系构建模块,用于在至少一种背景温度下,建立目标物体的特征温度和距离之间的对应关系;其中,所述目标物体的距离用于表征目标物体和用于进行红外检测的红外传感器之间的距离;
所述红外检测模块,用于在对待测目标物体进行红外检测,得到红外数据;
所述温度确定模块,用于从所述红外检测模块得到的所述红外数据中确定所述待测目标物体的实测特征温度和所述待测目标物体所在的实测背景温度;
所述距离确定模块,用于根据所述温度确定模块确定的所述实测背景温度、所述实测特征温度和所述对应关系确定模块确定的所述对应关系,确定所述待测目标物体与红外传感器之间的距离。
在一种可能的实现方式中,所述对应关系构建模块在至少一种背景温度下建立目标物体的特征温度和距离之间的对应关系时,配置成执行如下操作:
确定至少一种背景温度;
针对每一种背景温度,均执行:
确定至少一个标定距离;
在当前背景温度下,对位于每一个标定距离处的目标物体进行红外检测,得到至少一组温度距离数组;其中,每一组所述温度距离数组包括一个标定距离和在该标定距离处检测得到的特征温度;
根据每一组所述温度距离数组,确定所述目标物体的特征温度和距离之间的对应关系。
在一种可能的实现方式中,当所述至少一种背景温度中不包括所述实测背景温度,且所述实测背景温度介于所述至少一种背景温度中的两种背景温度之间时,
所述距离确定模块在根据所述实测背景温度、所述实测特征温度和所述对应关系确定所述待测目标物体与红外传感器之间的距离时,配置成执行如下操作:
从所述至少一种背景温度中确定相邻的两种背景温度Ti和Ti+1;其中,所述实测背景温度位于Ti和Ti+1之间;
分别获取背景温度为Ti和Ti+1的温度距离数组Li和Li+1;
利用二分法对背景温度Ti和Ti+1进行N次求解;其中,N次求解后得到的背景温度与所述实测背景温度相同;
利用二分法对温度距离数组Li和Li+1中同一标定距离之间的特征温度进行N次求解,得到所述待测目标物体与红外传感器之间的距离。
在一种可能的实现方式中,所述对应关系构建模块在建立目标物体的特征温度和距离之间的对应关系时,配置成执行如下操作:
利用每一组所述温度距离数组进行线性拟合,得到特征温度和距离之间的拟合关系式。
由上述技术方案可知,在利用红外进行距离测定时,首先可以在至少一种背景温度下,建立目标物体的特征温度和距离之间的对应关系。然后对待检测目标物体进行红外检测得到红外数据,进一步从该红外数据中确定出待测目标物体的实测特征温度和其所在的实测背景温度,进而可以根据该实测背景温度、实测特征温度和对应关系确定出待测目标物体和红外传感器之间的距离。由此可见,本方案是通过构建不同的背景温度,然后针对不同的背景温度构建目标物体的特征温度和距离之间的对应关系。如此,当对待测目标物体进行检测时,通过从红外传感器得到的红外数据中确定出对应该待测目标物体的实测特征温度和所在的实测背景温度,即可结合构建的对应关系精准检测出待测目标物体的距离。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一个实施例提供的基于红外数据的测距方法的流程图;
图2是本发明一个实施例提供的基于红外数据的测距装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例,基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,本发明实施例提供了一种基于红外数据的测距方法,该方法可以包括如下步骤:
步骤101:在至少一种背景温度下,建立目标物体的特征温度和距离之间的对应关系;其中,目标物体的距离用于表征目标物体和用于进行红外检测的红外传感器之间的距离;
步骤102:对待测目标物体进行红外检测,得到红外数据;
步骤103:从红外数据中确定待测目标物体的实测特征温度和待测目标物体所在的实测背景温度;
步骤104:根据实测背景温度、实测特征温度和对应关系,确定待测目标物体与红外传感器之间的距离。
本发明实施例中,在利用红外进行距离测定时,首先可以在至少一种背景温度下,建立目标物体的特征温度和距离之间的对应关系。然后对待检测目标物体进行红外检测得到红外数据,进一步从该红外数据中确定出待测目标物体的实测特征温度和其所在的实测背景温度,进而可以根据该实测背景温度、实测特征温度和对应关系确定出待测目标物体和红外传感器之间的距离。由此可见,本方案是通过构建不同的背景温度,然后针对不同的背景温度构建目标物体的特征温度和距离之间的对应关系。如此,当对待测目标物体进行检测时,通过从红外传感器得到的红外数据中确定出对应该待测目标物体的实测特征温度和所在的实测背景温度,即可结合构建的对应关系精准检测出待测目标物体的距离。
在本发明实施例中,通过红外数据测定的距离为目标物体和进行红外检测的红外传感器之间的距离,如此该方法可应用于室内家电的距离检测。比如,本发明方案应用于空调,通过在空调上安装红外传感器,利用该方法可以检测人与空调之间的距离,从而可以实时对空调的风向、风速、温度等功能参数进行调节,以维持人体舒适性环境。
红外传感器可以采用非制冷红外热电堆阵列传感器,该类红外传感器属于焦平面探测器感应温度的器件类别。该传感器的像素布局为m行×n列,对应的X轴Y轴总视角FOV分别为α、β,单像素的视角FOV分别为α/n、β/m,其通信接口采用UART模式。该传感器探头透过镜头可以被动地接收波长范围为8μm~13μm的中远红外辐射并获得相应的感应温度,本发明即为通过利用感应温度的红外数据进行距离检测。本发明实施例中,总视角FOV可以为90°×90°,像素阵列可以为32Hx32V。
在一种可能的实现方式中,步骤101在至少一种背景温度下建立目标物体的特征温度和距离之间的对应关系时,可以通过如下方式实现:
确定至少一种背景温度;
针对每一种背景温度,均执行:
确定至少一个标定距离;
在当前背景温度下,对位于每一个标定距离处的目标物体进行红外检测,得到至少一组温度距离数组;其中,每一组温度距离数组包括一个标定距离和在该标定距离处检测得到的特征温度;
根据每一组温度距离数组,确定目标物体的特征温度和距离之间的对应关系。
本发明实施例中,在建立目标物体的特征温度和距离之间的对应关系时,需要先确定至少一种背景温度,然后针对每一种背景温度确定至少一个定标距离。如此,可以在当前背景温度下,对位于每一个定标距离处的目标物体进行红外检测,以得到温度距离数组。进一步,可以根据每一组的温度距离数组确定出目标物体的特征温度和距离之间的对应关系。由此可见,本方案是针对多种背景温度进行特征温度和距离对应关系的确定,而且在每一种背景温度下还分成了多个标定距离进行红外检测。如此建立的特征温度和距离之间的对应关系更加可靠,满足了不同的环境,从而能够得到更加准确的检测结果。
在建立目标物体的特征温度和距离之间的对应关系时,可以通过构建特定的检测环境以满足不同的背景温度。比如,由于红外辐射会基于背景材料的镜面反射性、透射性、发射率等产生较大的温度偏。因此在构建环境时,可以对场景进行先期预处理如下:a、不要有玻璃门窗;b、不要出现大面积的玻璃面设备、容器;c、不要出现光亮外表面的板材;d、对于金属板面应进行遮盖等。如此可以使得得到的检测结果更加精确,从而也能提高后续拟合出的特征温度和距离之间的对应关系的精度。
比如,在具体实施时,可以考虑构建如下环境:设定一间可调温的类似家庭的试验室,室内建筑及家居场景:石灰墙面,瓷砖地面、木门1件、玻璃门1件、玻璃窗2件、沙发2件、木制桌椅个1件等;室内空间场景(实例):长×宽×高/5m×3.5m×2.9m;红外模组的摆放高度为180cm,镜头垂直端面向前下方倾斜35°等。红外模组正对的方向上可以在地面、墙面、家具面等地方粘贴热电偶,热电偶的精度为±0.2℃,以用于调节背景温度。选择两名青年人作为室内目标物体,其服装可以分为春秋冬三种。其中人体身高数据:170cm(男性)、160cm(女性),在进行目标物体采样时,要求人体直立、面向红外模组、从无到有进入监视场。
根据实际应用需求,可以在背景温度为5~29℃的范围内建立特征温度和距离之间的对应关系,其中可以按2℃的温差布局温度段。即可以分别将背景温度设置为5、7、9、11、13、15、17、19、21、23、25、27、29℃。而在每一个背景温度下都对设定的每一个标定距离进行红外数据采集,比如标定距离的范围为100cm~500cm,其中可以按50cm等差分布测试点。即在每一个背景温度下,测试点的距离均可以为100、150、200、250、300、350、400、450、500cm。比如,针对每一个背景温度均可以通过测试均可以得到如下表1:
表1
其中,t0为背景温度,t1~t9分别对应100cm到500cm处检测到的特征温度。也就是说,在构建对应关系时,可以针对设定的每一个背景温度得到一个上述表1,进而根据得到的各个背景温度下的表1确定出特征温度和距离之间的关系。
在进行对应关系构建时,由于是按照温度段进行布局的,进而没有涉及到所有的背景温度值。而如果要通过减小构建对应关系的温度梯度值,则需要进行大量的检测和数据统计,而且当温度梯度较小时,由于环境的影响,背景温度并不能控制的很精确。因此,当步骤103中得到的实测背景温度不在构建的至少一种背景温度中,且该实测背景温度介于至少一种背景温度中的两种背景温度之间时,步骤104在根据实测背景温度、实测特征温度和对应关系确定待测目标物体与红外传感器之间的距离时,可以通过如下方式实现:
从至少一种背景温度中确定相邻的两种背景温度Ti和Ti+1;其中,实测背景温度位于Ti和Ti+1之间;
分别获取背景温度为Ti和Ti+1的温度距离数组Li和Li+1;
利用二分法对背景温度Ti和Ti+1进行N次求解;其中,N次求解后得到的背景温度与实测背景温度相同;
利用二分法对温度距离数组Li和Li+1中同一标定距离之间的特征温度进行N次求解,得到待测目标物体与红外传感器之间的距离。
在本发明实施例中,当对待测目标物体进行检测得到的实测背景温度在构建的对应关系中不存在时,即没有构建该特征温度下的特征温度和距离的对应关系。此时可以考虑从构建的各个背景温度下的对应关系中找出相邻的两个背景温度下的对应关系,并且保证该实测背景温度在找出的相邻两个背景温度之间。这样利用二分法对该相邻的两个背景温进行N次求解,即可得到实测背景温度。同样地,利用二分法对该相邻的两个背景温度中同一标定距离下的特征温度进行N次求解,从而可以得到待测目标物体和红外传感器之间的距离。也就是说,本方案不需要对每一种背景温度对应关系,可以通过已构建的对应关系通过二分法计算的方式得到该背景温度下的距离和特征温度的关系。
比如,在构建对应关系时,构建了背景温度为5、7、9、11、13、15、17、19、21、23、25、27、29℃下的对应关系。而在对待测目标物体进行检测时得到的实测背景温度为20℃。那么可以对19℃和21℃进行一次二分求解得到20℃。从而也可以对19和21℃下的特征温度进行二分求解。比如,19和21℃下的对应关系表分别为表2和表3。那么,20℃下的对应关系则有:标定距离为100cm时为(ta+tA)/2;标定距离为150cm时为(tb+tB)/2;依此得到标定距离为500cm时为(ti+tI)/2。如此即可得到20℃下的对应关系,进而得到对应该实测背景温度的特征温度,进一步用于根据该特征温度确定出待测目标物体的距离。
表2
表3
在一种可能的实现方式中,在步骤101建立目标物体的特征温度和距离之间的对应关系时,可以利用得到的特征温度和距离构建线性关系。比如,可以利用每一组温度距离数组进行线性拟合,得到特征温度和距离之间的拟合关系式。如此可以通过该拟合关系式覆盖预设范围内的所有特征温度和距离。
例如,针对上述表1,可以利用表1中的数据进行线性趋势拟合,得到类似于L=at+b的线性拟合公式,从而将检测得到的实测特征温度带入该公式即可得到待测目标物体的距离。当然需要指出的是,上述得到的拟合公式不限于L=at+b的形式。
本方案中,不管是在构建对应关系时,还是对待测目标物体进行检测时,都需要红外数据中确定特征温度。在一种可能的实现方式中,特征温度可以通过如下方式确定:
获取红外传感器采集到的红外数据;其中,红外数据包括预设像素阵列大小的温度数据,每个像素点对应一个温度数据;
根据预先设定的目标物体和非目标物体之间的温度偏差,确定目标物体的有效感温区;
将有效感温区中温度数据中的最大值确定为特征温度。
本发明实施例中,在确定特征温度时,考虑根据设定的温度偏差进行目标物体和非目标物体的区分,得到有效感温区,然后将该有效感温区中的最大值确定为特征温度。如此通过先确定有效感温区的方法能够有效降低干扰数据对确定特征温度的影响。
比如,如下表4所示的一组红外数据中,数据中加粗的部分即为有效感温区,而有效感温区中的最大值30.1℃即为该组红外数据的特征温度。
表4
同样地,在构建对应关系或对待测目标物体进行检测时,还需要确定背景温度。在一种可能的实现方式中,背景温度可以通过如下方式确定:
当特征温度位于预设像素阵列的非边缘区域时,背景温度的确定方法包括:
以特征温度所在的像素为中心,获取周围m×n个像素点所在的温度数据;
求取m×n个像素点所在的温度数据的平均值,得到对应当前特征温度的背景温度;
而当特征温度位于预设像素阵列的边缘区域时,背景温度的确定方法包括:
以特征温度为像素中心,获取周围m×n个像素点中的有效温度数据;其中,有效温度数据用于表征非零的温度数据;
求取有效温度数据的平均值,得到对应当前特征温度的背景温度。
由此可见,本方案在确定背景温度时,时通过以特征温度为像素中心,选取周围的多个像素点的温度数据,将这些温度数据进行求平均值得到的,如此能够有效降低干扰数据对确定背景温度的影响。
比如,如表5所示,特征温度所在像素的二维坐标位置为(xi,yj),那么以该像素为中心,选取周围5×5的背景像素点,求该25个像素点的温度平均值,并将该计算的结果作为该红外数据的背景温度。当然,如果特征温度所在像素在红外数据表格的边缘,则选取具有有效数据的一侧作为求取平均值的温度数据。
表5
(x<sub>i-2</sub>,y<sub>j-2</sub>) | (x<sub>i-2</sub>,y<sub>j-1</sub>) | (x<sub>i-2</sub>,y<sub>j</sub>) | (x<sub>i-2</sub>,y<sub>j+1</sub>) | (x<sub>i-2</sub>,y<sub>j+2</sub>) |
(x<sub>i-1</sub>,y<sub>j-2</sub>) | (x<sub>i-1</sub>,y<sub>j-1</sub>) | (x<sub>i-1</sub>,y<sub>j</sub>) | (x<sub>i-1</sub>,y<sub>j+1</sub>) | (x<sub>i-1</sub>,y<sub>j+2</sub>) |
(x<sub>i</sub>,y<sub>j-2</sub>) | (x<sub>i</sub>,y<sub>j-1</sub>) | (x<sub>i</sub>,y<sub>j</sub>) | (x<sub>i</sub>,y<sub>j+1</sub>) | (x<sub>i</sub>,y<sub>j+2</sub>) |
(x<sub>i+1</sub>,y<sub>j-2</sub>) | (x<sub>i+1</sub>,y<sub>j-1</sub>) | (x<sub>i+1</sub>,y<sub>j</sub>) | (x<sub>i+1</sub>,y<sub>j+1</sub>) | (x<sub>i+1</sub>,y<sub>j+2</sub>) |
(x<sub>i+2</sub>,y<sub>j-2</sub>) | (x<sub>i+2</sub>,y<sub>j-1</sub>) | (x<sub>i+2</sub>,y<sub>j</sub>) | (x<sub>i+2</sub>,y<sub>j+1</sub>) | (x<sub>i+2</sub>,y<sub>j+2</sub>) |
如图2所示,本发明实施例还提供了一种基于红外数据的测距装置,用于执行上述任一实施例提供的基于红外数据的测距方法,该装置可以包括:对应关系构建模块201、红外检测模块202、温度确定模块203和距离确定模块204;
对应关系构建模块201,用于在至少一种背景温度下,建立目标物体的特征温度和距离之间的对应关系;其中,目标物体的距离用于表征目标物体和用于进行红外检测的红外传感器之间的距离;
红外检测模块202,用于在对待测目标物体进行红外检测,得到红外数据;
温度确定模块203,用于从红外检测模块202得到的红外数据中确定待测目标物体的实测特征温度和待测目标物体所在的实测背景温度;
距离确定模块204,用于根据温度确定模块203确定的实测背景温度、实测特征温度和对应关系确定模块确定的对应关系,确定待测目标物体与红外传感器之间的距离。
在一种可能的实现方式中,对应关系构建模块201在至少一种背景温度下建立目标物体的特征温度和距离之间的对应关系时,配置成执行如下操作:
确定至少一种背景温度;
针对每一种背景温度,均执行:
确定至少一个标定距离;
在当前背景温度下,对位于每一个标定距离处的目标物体进行红外检测,得到至少一组温度距离数组;其中,每一组温度距离数组包括一个标定距离和在该标定距离处检测得到的特征温度;
根据每一组温度距离数组,确定目标物体的特征温度和距离之间的对应关系。
在一种可能的实现方式中,当至少一种背景温度中不包括实测背景温度,且实测背景温度介于至少一种背景温度中的两种背景温度之间时,
距离确定模块204在根据实测背景温度、实测特征温度和对应关系确定待测目标物体与红外传感器之间的距离时,配置成执行如下操作:
从至少一种背景温度中确定相邻的两种背景温度Ti和Ti+1;其中,实测背景温度位于Ti和Ti+1之间;
分别获取背景温度为Ti和Ti+1的温度距离数组Li和Li+1;
利用二分法对背景温度Ti和Ti+1进行N次求解;其中,N次求解后得到的背景温度与实测背景温度相同;
利用二分法对温度距离数组Li和Li+1中同一标定距离之间的特征温度进行N次求解,得到待测目标物体与红外传感器之间的距离。
在一种可能的实现方式中,对应关系构建模块201在建立目标物体的特征温度和距离之间的对应关系时,配置成执行如下操作:
利用每一组温度距离数组进行线性拟合,得到特征温度和距离之间的拟合关系式。
在一种可能的实现方式中,对应关系构建模块201和/或温度确定模块203在确定特征温度时,配置成执行如下操作:
获取红外传感器采集到的红外数据;其中,红外数据包括预设像素阵列大小的温度数据,每个像素点对应一个温度数据;
根据预先设定的目标物体和非目标物体之间的温度偏差,确定目标物体的有效感温区;
将有效感温区中温度数据中的最大值确定为特征温度。
在一种可能的实现方式中,当特征温度位于预设像素阵列的非边缘区域时,对应关系构建模块201和/或温度确定模块203在确定背景温度时,配置成执行如下操作:
以特征温度所在的像素为中心,获取周围m×n个像素点所在的温度数据;
求取m×n个像素点所在的温度数据的平均值,得到对应当前特征温度的背景温度;
在另一种可能的实现方式中,当特征温度位于预设像素阵列的边缘区域时,对应关系构建模块201和/或温度确定模块203在确定背景温度时,配置成执行如下操作:
以特征温度为像素中心,获取周围m×n个像素点中的有效温度数据;其中,有效温度数据用于表征非零的温度数据;
求取有效温度数据的平均值,得到对应当前特征温度的背景温度。
可以理解的是,本发明实施例示意的结构并不构成对基于红外数据的测距装置的具体限定。在本发明的另一些实施例中,基于红外数据的测距装置可以包括比图示更多或者更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或者软件和硬件的组合来实现。
上述装置内的各模块之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,具体内容可参见本发明方法实施例中的叙述,此处不再赘述。
本发明实施例还提供了一种计算设备,包括:至少一个存储器和至少一个处理器;
至少一个存储器,用于存储机器可读程序;
至少一个处理器,用于调用机器可读程序,执行本发明任一实施例中的基于红外数据的测距方法。
本发明实施例还提供了一种计算机可读介质,存储用于使一计算机执行如本文的基于红外数据的测距方法的指令。具体地,可以提供配有存储介质的方法或者装置,在该存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该方法或者装置的计算机(或CPU或MPU)读出并执行存储在存储介质中的程序代码。
在这种情况下,从存储介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此程序代码和存储程序代码的存储介质构成了本发明的一部分。
用于提供程序代码的存储介质实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD+RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上下载程序代码。
此外,应该清楚的是,不仅可以通过执行计算机所读出的程序代码,而且可以通过基于程序代码的指令使计算机上操作的操作方法等来完成部分或者全部的实际操作,从而实现上述实施例中任意一项实施例的功能。
上述对本发明特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
以上的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。
Claims (10)
1.基于红外数据的测距方法,其特征在于,包括:
在至少一种背景温度下,建立目标物体的特征温度和距离之间的对应关系;其中,所述目标物体的距离用于表征目标物体和用于进行红外检测的红外传感器之间的距离;
对待测目标物体进行红外检测,得到红外数据;
从所述红外数据中确定所述待测目标物体的实测特征温度和所述待测目标物体所在的实测背景温度;
根据所述实测背景温度、所述实测特征温度和所述对应关系,确定所述待测目标物体与红外传感器之间的距离。
2.根据权利要求1所述的方法,其特征在于,所述在至少一种背景温度下建立目标物体的特征温度和距离之间的对应关系,包括:
确定至少一种背景温度;
针对每一种背景温度,均执行:
确定至少一个标定距离;
在当前背景温度下,对位于每一个标定距离处的目标物体进行红外检测,得到至少一组温度距离数组;其中,每一组所述温度距离数组包括一个标定距离和在该标定距离处检测得到的特征温度;
根据每一组所述温度距离数组,确定所述目标物体的特征温度和距离之间的对应关系。
3.根据权利要求2所述的方法,其特征在于,当所述至少一种背景温度中不包括所述实测背景温度,且所述实测背景温度介于所述至少一种背景温度中的两种背景温度之间时,
所述根据所述实测背景温度、所述实测特征温度和所述对应关系确定所述待测目标物体与红外传感器之间的距离,包括:
从所述至少一种背景温度中确定相邻的两种背景温度Ti和Ti+1;其中,所述实测背景温度位于Ti和Ti+1之间;
分别获取背景温度为Ti和Ti+1的温度距离数组Li和Li+1;
利用二分法对背景温度Ti和Ti+1进行N次求解;其中,N次求解后得到的背景温度与所述实测背景温度相同;
利用二分法对温度距离数组Li和Li+1中同一标定距离之间的特征温度进行N次求解,得到所述待测目标物体与红外传感器之间的距离。
4.根据权利要求2所述的方法,其特征在于,所述建立目标物体的特征温度和距离之间的对应关系,包括:
利用每一组所述温度距离数组进行线性拟合,得到特征温度和距离之间的拟合关系式。
5.根据权利要求1至4中任一所述的方法,其特征在于,所述特征温度的确定方法包括:
获取所述红外传感器采集到的红外数据;其中,所述红外数据包括预设像素阵列大小的温度数据,每个像素点对应一个温度数据;
根据预先设定的目标物体和非目标物体之间的温度偏差,确定目标物体的有效感温区;
将所述有效感温区中温度数据中的最大值确定为所述特征温度。
6.根据权利要求5所述的方法,其特征在于,
当所述特征温度位于所述预设像素阵列的非边缘区域时,所述背景温度的确定方法包括:
以所述特征温度所在的像素为中心,获取周围m×n个像素点所在的温度数据;
求取所述m×n个像素点所在的温度数据的平均值,得到对应所述当前特征温度的背景温度;
或,
当所述特征温度位于所述预设像素阵列的边缘区域时,所述背景温度的确定方法包括:
以所述特征温度为像素中心,获取周围m×n个像素点中的有效温度数据;其中,所述有效温度数据用于表征非零的温度数据;
求取所述有效温度数据的平均值,得到对应所述当前特征温度的背景温度。
7.基于红外数据的测距装置,其特征在于,包括:对应关系构建模块、红外检测模块、温度确定模块和距离确定模块;
所述对应关系构建模块,用于在至少一种背景温度下,建立目标物体的特征温度和距离之间的对应关系;其中,所述目标物体的距离用于表征目标物体和用于进行红外检测的红外传感器之间的距离;
所述红外检测模块,用于在对待测目标物体进行红外检测,得到红外数据;
所述温度确定模块,用于从所述红外检测模块得到的所述红外数据中确定所述待测目标物体的实测特征温度和所述待测目标物体所在的实测背景温度;
所述距离确定模块,用于根据所述温度确定模块确定的所述实测背景温度、所述实测特征温度和所述对应关系确定模块确定的所述对应关系,确定所述待测目标物体与红外传感器之间的距离。
8.根据权利要求7所述的装置,其特征在于,所述对应关系构建模块在至少一种背景温度下建立目标物体的特征温度和距离之间的对应关系时,配置成执行如下操作:
确定至少一种背景温度;
针对每一种背景温度,均执行:
确定至少一个标定距离;
在当前背景温度下,对位于每一个标定距离处的目标物体进行红外检测,得到至少一组温度距离数组;其中,每一组所述温度距离数组包括一个标定距离和在该标定距离处检测得到的特征温度;
根据每一组所述温度距离数组,确定所述目标物体的特征温度和距离之间的对应关系。
9.根据权利要求8所述的装置,其特征在于,当所述至少一种背景温度中不包括所述实测背景温度,且所述实测背景温度介于所述至少一种背景温度中的两种背景温度之间时,
所述距离确定模块在根据所述实测背景温度、所述实测特征温度和所述对应关系确定所述待测目标物体与红外传感器之间的距离时,配置成执行如下操作:
从所述至少一种背景温度中确定相邻的两种背景温度Ti和Ti+1;其中,所述实测背景温度位于Ti和Ti+1之间;
分别获取背景温度为Ti和Ti+1的温度距离数组Li和Li+1;
利用二分法对背景温度Ti和Ti+1进行N次求解;其中,N次求解后得到的背景温度与所述实测背景温度相同;
利用二分法对温度距离数组Li和Li+1中同一标定距离之间的特征温度进行N次求解,得到所述待测目标物体与红外传感器之间的距离。
10.根据权利要求8所述的装置,其特征在于,所述对应关系构建模块在建立目标物体的特征温度和距离之间的对应关系时,配置成执行如下操作:
利用每一组所述温度距离数组进行线性拟合,得到特征温度和距离之间的拟合关系式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111054829.6A CN113759355B (zh) | 2021-09-09 | 2021-09-09 | 基于红外数据的测距方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111054829.6A CN113759355B (zh) | 2021-09-09 | 2021-09-09 | 基于红外数据的测距方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113759355A true CN113759355A (zh) | 2021-12-07 |
CN113759355B CN113759355B (zh) | 2023-04-28 |
Family
ID=78794221
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111054829.6A Active CN113759355B (zh) | 2021-09-09 | 2021-09-09 | 基于红外数据的测距方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113759355B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103292780A (zh) * | 2012-12-18 | 2013-09-11 | 北京航天益来电子科技有限公司 | 一种用于红外热像仪温度校正的距离信息获取方法 |
TW201337305A (zh) * | 2012-02-22 | 2013-09-16 | Excelitas Technologies Singapore Pte Ltd | 被動紅外測距接近偵測器 |
CN103424191A (zh) * | 2013-08-31 | 2013-12-04 | 西安电子科技大学 | 点源目标红外成像的探测距离估计方法 |
CN103512579A (zh) * | 2013-10-22 | 2014-01-15 | 武汉科技大学 | 一种基于热红外摄像机和激光测距仪的地图构建方法 |
CN103701986A (zh) * | 2013-12-13 | 2014-04-02 | 四川长虹电器股份有限公司 | 一种基于蓝牙及红外的室内电话随身接听系统及工作方法 |
JP2014139531A (ja) * | 2013-01-21 | 2014-07-31 | Toyoda Gosei Co Ltd | 赤外線波長測定による距離検出方法 |
CN104061662A (zh) * | 2014-07-17 | 2014-09-24 | 珠海格力电器股份有限公司 | 一种人体检测方法、装置和空调 |
CN105700679A (zh) * | 2015-12-31 | 2016-06-22 | 华勤通讯技术有限公司 | 距离检测方法、显示屏的控制方法及电子设备 |
CN106124062A (zh) * | 2016-06-16 | 2016-11-16 | 哈尔滨工程大学 | 一种基于历史数据的红外测温自动补偿方法 |
CN106440245A (zh) * | 2016-10-25 | 2017-02-22 | 广东美的制冷设备有限公司 | 一种人体位置获取方法和装置 |
CN106483522A (zh) * | 2015-09-02 | 2017-03-08 | 南京理工大学 | 一种基于天基红外探测系统的作用距离分析方法 |
CN106524422A (zh) * | 2016-11-29 | 2017-03-22 | 美的集团武汉制冷设备有限公司 | 空调器及其温度修正方法 |
CN107545720A (zh) * | 2016-06-29 | 2018-01-05 | 北京小米移动软件有限公司 | 红外信号处理方法及装置、电子设备 |
WO2019098405A1 (ko) * | 2017-11-15 | 2019-05-23 | (주)토핀스 | 원거리 감시용 단적외선 카메라 광학계 |
CN111537074A (zh) * | 2020-03-31 | 2020-08-14 | 深圳奥比中光科技有限公司 | 一种温度测量方法及系统 |
CN113358231A (zh) * | 2020-03-06 | 2021-09-07 | 杭州海康威视数字技术股份有限公司 | 红外测温方法、装置及设备 |
-
2021
- 2021-09-09 CN CN202111054829.6A patent/CN113759355B/zh active Active
Patent Citations (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201337305A (zh) * | 2012-02-22 | 2013-09-16 | Excelitas Technologies Singapore Pte Ltd | 被動紅外測距接近偵測器 |
CN103292780A (zh) * | 2012-12-18 | 2013-09-11 | 北京航天益来电子科技有限公司 | 一种用于红外热像仪温度校正的距离信息获取方法 |
JP2014139531A (ja) * | 2013-01-21 | 2014-07-31 | Toyoda Gosei Co Ltd | 赤外線波長測定による距離検出方法 |
CN103424191A (zh) * | 2013-08-31 | 2013-12-04 | 西安电子科技大学 | 点源目标红外成像的探测距离估计方法 |
CN103512579A (zh) * | 2013-10-22 | 2014-01-15 | 武汉科技大学 | 一种基于热红外摄像机和激光测距仪的地图构建方法 |
CN103701986A (zh) * | 2013-12-13 | 2014-04-02 | 四川长虹电器股份有限公司 | 一种基于蓝牙及红外的室内电话随身接听系统及工作方法 |
CN104061662A (zh) * | 2014-07-17 | 2014-09-24 | 珠海格力电器股份有限公司 | 一种人体检测方法、装置和空调 |
CN106483522A (zh) * | 2015-09-02 | 2017-03-08 | 南京理工大学 | 一种基于天基红外探测系统的作用距离分析方法 |
CN105700679A (zh) * | 2015-12-31 | 2016-06-22 | 华勤通讯技术有限公司 | 距离检测方法、显示屏的控制方法及电子设备 |
CN106124062A (zh) * | 2016-06-16 | 2016-11-16 | 哈尔滨工程大学 | 一种基于历史数据的红外测温自动补偿方法 |
CN107545720A (zh) * | 2016-06-29 | 2018-01-05 | 北京小米移动软件有限公司 | 红外信号处理方法及装置、电子设备 |
CN106440245A (zh) * | 2016-10-25 | 2017-02-22 | 广东美的制冷设备有限公司 | 一种人体位置获取方法和装置 |
WO2018076757A1 (zh) * | 2016-10-25 | 2018-05-03 | 广东美的制冷设备有限公司 | 一种人体位置获取方法和装置 |
CN106524422A (zh) * | 2016-11-29 | 2017-03-22 | 美的集团武汉制冷设备有限公司 | 空调器及其温度修正方法 |
WO2019098405A1 (ko) * | 2017-11-15 | 2019-05-23 | (주)토핀스 | 원거리 감시용 단적외선 카메라 광학계 |
CN113358231A (zh) * | 2020-03-06 | 2021-09-07 | 杭州海康威视数字技术股份有限公司 | 红外测温方法、装置及设备 |
CN111537074A (zh) * | 2020-03-31 | 2020-08-14 | 深圳奥比中光科技有限公司 | 一种温度测量方法及系统 |
Non-Patent Citations (1)
Title |
---|
张岩: "危化品仓储安全状态监测与预警系统" * |
Also Published As
Publication number | Publication date |
---|---|
CN113759355B (zh) | 2023-04-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Hauschildt et al. | Advances in thermal infrared localization: Challenges and solutions | |
CN111351583A (zh) | 红外测温的温度修正方法及红外热成像仪 | |
US10533903B2 (en) | Heat transfer measurement and calculation method | |
Staranowicz et al. | Practical and accurate calibration of RGB-D cameras using spheres | |
US8384783B2 (en) | Infrared camera and method for calculating output power value indicative of an amount of energy dissipated in an image view | |
CN108535321A (zh) | 一种基于三维红外热成像技术的建筑热工性能检测方法 | |
CN107144356B (zh) | 非制冷红外焦平面探测器阵列热响应时间测试系统及方法 | |
Lagüela et al. | High performance grid for the metric calibration of thermographic cameras | |
CN106124062A (zh) | 一种基于历史数据的红外测温自动补偿方法 | |
US20230204429A1 (en) | Devices and methods for temperature measurment | |
Liu et al. | An external parameter calibration method for multiple cameras based on laser rangefinder | |
CN102818636A (zh) | 一种红外热像仪低温测温的辐射定标方法 | |
CN109416284A (zh) | 用于无接触式确定温度的方法以及红外测量系统 | |
CN112434598A (zh) | 一种非接触式体温测量方法和系统 | |
CN111209822A (zh) | 一种热红外图像的人脸检测方法 | |
CN103335717B (zh) | 一种基于变积分模式的红外热像仪高精度抗温漂测温方法 | |
CN112446927A (zh) | 激光雷达和相机的联合标定方法、装置、设备及存储介质 | |
CN109724703A (zh) | 基于模式识别的复杂场景下的温度矫正方法 | |
US20170264882A1 (en) | System and method of generating a temperature map | |
González-Jorge et al. | Single image rectification of thermal images for geometric studies in façade inspections | |
CN111920391A (zh) | 一种测温方法及设备 | |
CN111076819A (zh) | 一种超大视场红外热像仪噪声等效温差装置及测试方法 | |
CN111385558A (zh) | Tof摄像模组精度测量方法及其系统 | |
CN109060144A (zh) | 红外热像仪netd自动测试的方法 | |
Nagymáté et al. | Motion capture system validation with surveying techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |