CN109798983A - 烹饪设施中食材温度测量方法、系统及烹饪设施 - Google Patents
烹饪设施中食材温度测量方法、系统及烹饪设施 Download PDFInfo
- Publication number
- CN109798983A CN109798983A CN201910185166.8A CN201910185166A CN109798983A CN 109798983 A CN109798983 A CN 109798983A CN 201910185166 A CN201910185166 A CN 201910185166A CN 109798983 A CN109798983 A CN 109798983A
- Authority
- CN
- China
- Prior art keywords
- food materials
- temperature
- culinary art
- art facility
- point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Radiation Pyrometers (AREA)
Abstract
本发明公开了一种烹饪设施中食材温度测量方法，包括以下步骤：S1，通过摄像头采集烹饪设施中食材图像；S2，使用深度卷积神经网络模型从食材图像中获取食材的种类、形状、大小和位置信息；S3，通过红外传感器采集烹饪设施中多点的温度信息；S4，通过计算得到食材对应的多点温度信息；S5，通过对应的多点温度信息拟合得到食材的准确温度。本发明还相应地公开了一种烹饪设施中食材温度测量系统以及烹饪设施。本发明实现精确测量食材的温度，从而保障整个烹饪过程的精准控制。
Description
技术领域
本发明涉及烹饪技术领域，尤其涉及一种烹饪设施中食材温度测量方法、系统及烹饪设施。
背景技术
智能烹饪设施(光波炉或者微蒸烤等)使用多点红外传感器时，因为多点红外传感器采集的温度覆盖了食材1、食材容器2以及烹饪设施底板3，如图1所示，即使采用一些算法，多点红外传感器仍然不能准确区分食材、盛器以及底板，因此食材温度的测量精度较差。
发明内容
为了解决现有技术存在的技术问题，本发明提出了一种烹饪设施中食材温度测量方法、系统及烹饪设施。
本发明所采用的技术方案是：
一种烹饪设施中食材温度测量方法，包括以下步骤：
S1，通过摄像头采集烹饪设施中食材图像；
S2，使用深度卷积神经网络模型从食材图像中获取食材的种类、形状、大小和位置信息；
S3，通过红外传感器采集烹饪设施中多点的温度信息；
S4，通过计算得到食材对应的多点温度信息；
S5，通过对应的多点温度信息拟合得到食材的准确温度。
较佳的，步骤S2中所述深度卷积神经网络模型获得方法包括：
S21，采集或收集大量食材图像，并对食材的种类、形状、大小和位置进行标定；
S22，使用标定后的数据来训练深度卷积神经网络模型；
S23，将新采集的食材图像输入深度卷积神经网络模型得到食材的种类、形状、大小及位置信息。
较佳的，步骤S5包括：
S51，根据温度采集点与图像坐标系间的对应关系表，定位落在食材上的测温点；
S52，去除干扰测温点；
S53，使用筛选后的测温点拟合食材的温度。
较佳的，步骤S52包括：
S521，计算食材的中心以及所有候选点到食材中心的距离，并根据该距离对所有候选点从小到大进行排序；
S522，将距离食材中心最近的候选点首先作为测温点，记其温度为T1并计算所有非测温点的平均温度T2；
S523，设待判断候选点的温度为t，并计算比例系数v＝|T2-t|/|T1-t|，若v＞th，则该候选点为干扰点，其中th为阈值参数；
S524，若该候选点为干扰点，则将该候选点加入非测温点，并重新计算非测温点的平均温度T2；否则，将该候选点加入到测温点，并重新计算测温点的平均温度T1；
S525，重复步骤S523和S524，直至所有候选点都判断完毕。
较佳的，步骤S53包括：
S531，计算每个测温点对食材温度的贡献度gi＝1/(di+ε)，其中di表示第i个测温点到食材中心的距离，ε为平衡因子；
S532，计算每个测温点温度的权重系数
S533，拟合食材的温度其中N为测温点个数，wi，ti分别表示第i个测温点的系数和温度。
一种烹饪设施中食材温度测量系统，包括：
摄像单元，用于采集烹饪设施中的食材图像；
图像处理单元，用于获取食材图像中食材的种类、形状、大小以及位置信息；
温度采集单元，用于采集烹饪设施中多点的温度参数；
信息处理单元，用于根据食材的种类、形状、大小以及位置信息和温度参数得到食材对应的多点温度信息，并根据多点温度信息拟合得到食材的准确温度信息。
较佳的，一种烹饪设施中食材温度测量系统还包括：
加热单元，用于对烹饪设施中食材进行加热；
光照补偿单元，用于对所述摄像单元进行光照补偿；
主控单元，用于接收所述信息处理单元输出的食材种类、位置和温度信息，并控制所述加热单元对食材进行智能加热；
散热单元，用于对所述摄像单元、图像处理单元、温度采集单元、信息处理单元、光照补偿单元和所述主控单元进行散热处理。
较佳的，一种烹饪设施中食材温度测量系统还包括无线通信模块，所述无线通信模块与所述主控单元电连接，采用包括WIFI、蓝牙、2G、3G、4G和5G在内的任意一种或多种通信方式与云端服务器通信连接，移动终端APP与云端服务器通信连接。
较佳的，一种烹饪设施中食材温度测量系统还包括触控屏和/或语音交互单元，所述触控屏与所述主控单元电连接，所述语音交互单元与所述主控单元电连接。
一种烹饪设施，包括上述任一项所述的一种烹饪设施中食材温度测量系统。
与现有技术相比，本发明的有益效果是：
本发明使用摄像头和红外传感器，通过图像识别食材位置，结合相应位置的温度信息获得食材的多点温度信息，通过对食材表面的多点温度进行拟合来获取烹饪设施中食材的准确温度；
本发明由主控单元对加热单元和光照补偿单元进行控制，散热单元对系统各模块进行散热，通过触控屏和/或语音交互单元进行触摸或者语音控制，在实现准确测量烹饪设施中食材温度的基础上，结合食物的种类和位置，整体上实现了烹饪设施的智能化烹饪。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
图1为本发明的食材、容器和烹饪设施底板的示意图；
图2为本发明的一种烹饪设施中食材温度测量系统的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。
实施例一
一种烹饪设施中食材温度测量方法，包括以下步骤：
S1，通过摄像头采集烹饪设施中食材图像；
S2，使用深度卷积神经网络模型从食材图像中获取食材的种类、形状、大小和位置信息；
S3，通过红外传感器采集烹饪设施中多点的温度信息，其中图1中的均
匀密布的黑点为温度采集点，食材1、食材容器2和烹饪设施底板3均在
温度采集点的范围内；
S4，通过计算得到食材对应的多点温度信息；
S5，通过对应的多点温度信息拟合得到食材的准确温度。
本实施例中，由于摄像头和红外传感器的位置相对固定，所以可以得到两个坐标系之间的对应关系，进而得到温度采集点与图像坐标系间的对应关系表；通过食材的形状、大小和位置信息以及对应关系表可以精确定位到食材所对应的温度采集点，从而排除了食材容器和烹饪设施底板对测量精度的影响，进而计算出食材较为准确的温度。
在一个实施例中，步骤S2中所述深度卷积神经网络模型获得方法包括：
S21，采集或收集大量食材图像，并对食材的种类、形状、大小和位置进行标定。
优选的，本实施例标定了食材的种类和外接矩形(把食材框起来的图形结构)。
优选的，本实施例标定了食材的种类及对应的像素。
S22，使用标定后的数据来训练深度卷积神经网络模型。
优选的，本实施例使用one-stage目标检测模型SSD。
优选的，本实施例使用实例分割模型mask r-cnn。
S23，将新采集的食材图像输入深度卷积神经网络模型得到食材的种类、形状、大小及位置信息。
在一个实施例中，步骤S5包括：
S51，根据温度采集点与图像坐标系间的对应关系表，定位落在食材上的测温点，并将其作为候选点；
S52，根据红外传感器采集到的信息去除候选点中的干扰测温点；
S53，使用筛选后的测温点拟合食材的温度。
在一个实施例中，步骤S52包括以下步骤：
S521，计算食材的中心以及所有候选点到食材中心的距离，并根据该距离对所有候选点从小到大进行排序；
S522，将距离食材中心最近的候选点首先作为测温点，记其温度为T1并计算所有非测温点的平均温度T2；
S523，设待判断候选点的温度为t，并计算比例系数v＝|T2-t|/|T1-t|，若v＞th，则该候选点为干扰点，其中th为阈值参数；
S524，若该候选点为干扰点，则将该候选点加入非测温点，并重新计算非测温点的平均温度T2；否则，将该候选点加入到测温点，并重新计算测温点的平均温度T1；
S525，重复步骤S523和S524，直至所有候选点都判断完毕。
在一个实施例中，步骤S53包括：
S531，计算每个测温点对食材温度的贡献度gi＝1/(di+ε)，其中di表示第i个测温点到食材中心的距离，ε为平衡因子；
S532，计算每个测温点温度的权重系数
S533，拟合食材的温度其中N为测温点个数，wi，ti分别表示第i个测温点的系数和温度。
实施例二
如图2所示，一种烹饪设施中食材温度测量系统，包括：
摄像单元，用于采集烹饪设施中的食材图像；
图像处理单元，用于获取食材图像中食材的种类、形状、大小以及位置信息；
温度采集单元，用于采集烹饪设施中多点的温度参数；
信息处理单元，用于根据食材的种类、形状、大小以及位置信息和温度参数得到食材位置对应的多点温度信息，并根据多点温度信息拟合得到食材的准确温度信息。
优选的，摄像单元和温度采集单元的位置相对固定，且位于烹饪设施的顶部或四壁的上部。
优选的，温度采集单元为红外传感器。
实施例三
本实施例是在实施例二的基础上的进一步改进，一种烹饪设施中食材温度测量系统还包括：
加热单元，用于对烹饪设施中食材进行加热；
光照补偿单元，用于对所述摄像单元和所述图像处理单元进行光照补偿；
主控单元，用于接收所述信息处理单元输出的食材种类、位置和温度信息，并控制所述加热单元对食材进行智能加热，精确控制整个烹饪过程；
散热单元，用于对所述摄像单元、图像处理单元、温度采集单元、信息处理单元、光照补偿单元和所述主控单元进行散热处理。
实施例四
本实施例是在实施例三的基础上进行的改进，一种烹饪设施中食材温度测量系统还包括无线通信模块，所述无线通信模块与所述主控单元电连接，采用包括WIFI、蓝牙、2G、3G、4G和5G在内的任意一种或多种通信方式与云端服务器通信连接，移动终端APP与云端服务器通信连接。
本实施例中，一种烹饪设施中食材温度测量系统可以将各种参数上传到云端服务器，同时从云端服务器下载食谱或者更新网络模型，也可以联接到其他的互联网社区，并通过手机对烹饪设施中食材温度测量系统进行远程的控制。
实施例五
本实施例是在实施例三或实施例四的基础上进行的改进，一种烹饪设施中食材温度测量系统还包括触控屏和/或语音交互单元，所述触控屏与所述主控单元电连接，所述语音交互单元与所述主控单元电连接。
本实施例中，可以选用触摸方式或者语音方式与烹饪设施中食材温度测量系统进行交互。
实施例六
一种烹饪设施，其特点在于，包括以上任一实施例所述的一种烹饪设施中食材温度测量系统。
本发明可应用于微波炉、带烘培功能的微波炉(光波炉)、微蒸烤一体机等各种类似烹饪设施中。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (10)
1.一种烹饪设施中食材温度测量方法，其特征在于，包括以下步骤：
S1，通过摄像头采集烹饪设施中食材图像；
S2，使用深度卷积神经网络模型从食材图像中获取食材的种类、形状、大小和位置信息；
S3，通过红外传感器采集烹饪设施中多点的温度信息；
S4，通过计算得到食材对应的多点温度信息；
S5，通过对应的多点温度信息拟合得到食材的准确温度。
2.根据权利要求1所述的一种烹饪设施中食材温度测量方法，其特征在于，步骤S2中所述深度卷积神经网络模型获得方法包括：
S21，采集或收集大量食材图像，并对食材的种类、形状、大小和位置进行标定；
S22，使用标定后的数据来训练深度卷积神经网络模型；
S23，将新采集的食材图像输入深度卷积神经网络模型得到食材的种类、形状、大小及位置信息。
3.根据权利要求1所述的一种烹饪设施中食材温度测量方法，其特征在于，步骤S5包括：
S51，根据温度采集点与图像坐标系间的对应关系表，定位落在食材上的测温点；
S52，去除干扰测温点；
S53，使用筛选后的测温点拟合食材的温度。
4.根据权利要求3所述的一种烹饪设施中食材温度测量方法，其特征在于，步骤S52包括：
S521，计算食材的中心以及所有候选点到食材中心的距离，并根据该距离对所有候选点从小到大进行排序；
S522，将距离食材中心最近的候选点首先作为测温点，记其温度为T1并计算所有非测温点的平均温度T2；
S523，设待判断候选点的温度为t，并计算比例系数v＝|T2-t|/|T1-t|，若v＞th，则该候选点为干扰点，其中th为阈值参数；
S524，若该候选点为干扰点，则将该候选点加入非测温点，并重新计算非测温点的平均温度T2；否则，将该候选点加入到测温点，并重新计算测温点的平均温度T1；
S525，重复步骤S523和S524，直至所有候选点都判断完毕。
5.根据权利要求3所述的一种烹饪设施中食材温度测量方法，其特征在于，步骤S53包括：
S531，计算每个测温点对食材温度的贡献度gi＝1/(di+ε)，其中di表示第i个测温点到食材中心的距离，ε为平衡因子；
S532，计算每个测温点温度的权重系数
S533，拟合食材的温度其中N为测温点个数，wi，ti分别表示第i个测温点的系数和温度。
6.一种烹饪设施中食材温度测量系统，其特征在于，包括：
摄像单元，用于采集烹饪设施中的食材图像；
图像处理单元，用于获取食材图像中食材的种类、形状、大小以及位置信息；
温度采集单元，用于采集烹饪设施中多点的温度参数；
信息处理单元，用于根据食材的种类、形状、大小以及位置信息和温度参数得到食材对应的多点温度信息，并根据多点温度信息拟合得到食材的准确温度信息。
7.根据权利要求6所述的一种烹饪设施中食材温度测量系统，其特征在于，包括：
加热单元，用于对烹饪设施中食材进行加热；
光照补偿单元，用于对所述摄像单元进行光照补偿；
主控单元，用于接收所述信息处理单元输出的食材种类、位置和温度信息，并控制所述加热单元对食材进行智能加热；
散热单元，用于对所述摄像单元、图像处理单元、温度采集单元、信息处理单元、光照补偿单元和所述主控单元进行散热处理。
8.根据权利要求7所述的一种烹饪设施中食材温度测量系统，其特征在于，包括无线通信模块，所述无线通信模块与所述主控单元电连接，采用包括WIFI、蓝牙、2G、3G、4G和5G在内的任意一种或多种通信方式与云端服务器通信连接，移动终端APP与云端服务器通信连接。
9.根据权利要求7所述的一种烹饪设施中食材温度测量系统，其特征在于，包括触控屏和/或语音交互单元，所述触控屏与所述主控单元电连接，所述语音交互单元与所述主控单元电连接。
10.一种烹饪设施，其特征在于，包括权利要求6-9中任一项所述的一种烹饪设施中食材温度测量系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910185166.8A CN109798983B (zh) | 2019-03-12 | 2019-03-12 | 烹饪设施中食材温度测量方法、系统及烹饪设施 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910185166.8A CN109798983B (zh) | 2019-03-12 | 2019-03-12 | 烹饪设施中食材温度测量方法、系统及烹饪设施 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109798983A true CN109798983A (zh) | 2019-05-24 |
| CN109798983B CN109798983B (zh) | 2020-10-27 |
Family
ID=66562724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910185166.8A Active CN109798983B (zh) | 2019-03-12 | 2019-03-12 | 烹饪设施中食材温度测量方法、系统及烹饪设施 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109798983B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110488696A (zh) * | 2019-08-12 | 2019-11-22 | 上海达显智能科技有限公司 | 一种智能防干烧方法及系统 |
| CN113676706A (zh) * | 2021-08-26 | 2021-11-19 | 广东美的厨房电器制造有限公司 | 烹饪视频生成方法、装置、服务器及控制系统 |
| CN118583304A (zh) * | 2024-08-01 | 2024-09-03 | 厨曼智能制造(杭州)有限公司 | 一种多点温度测量监控方法及系统 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000130766A (ja) * | 1998-10-28 | 2000-05-12 | Toshiba Corp | オーブンレンジ |
| US20020084418A1 (en) * | 2000-12-28 | 2002-07-04 | Hewitt Anthony Victor | Pseudo-randomized infrared blurring array |
| US6536945B2 (en) * | 2000-10-09 | 2003-03-25 | United Biscuits (Uk) Limited | Measurement of heat flux in a heated chamber |
| CN1627051A (zh) * | 2003-12-11 | 2005-06-15 | 虹光精密工业（苏州）有限公司 | 温度感测装置 |
| CN101901015A (zh) * | 2009-05-27 | 2010-12-01 | 深圳市爱可机器人技术有限公司 | 基于机器视觉的烹调设备的火候控制系统 |
| US20180125283A9 (en) * | 2013-09-20 | 2018-05-10 | Anova Applied Electronics, Inc. | Sous-vide cooker with image translation functionality |
| CN108204612A (zh) * | 2017-12-28 | 2018-06-26 | 广东美的厨房电器制造有限公司 | 加热烹调装置及其控制方法 |
| CN108428224A (zh) * | 2018-01-09 | 2018-08-21 | 中国农业大学 | 基于卷积神经网的动物体表温度检测方法及装置 |
| CN108647734A (zh) * | 2018-05-15 | 2018-10-12 | 上海达显智能科技有限公司 | 一种食物图像大数据采集方法、采集系统及食物识别方法 |
| CN208382259U (zh) * | 2018-05-15 | 2019-01-15 | 上海达显智能科技有限公司 | 一种具有食材参数采集功能的智能微波炉 |
-
2019
- 2019-03-12 CN CN201910185166.8A patent/CN109798983B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000130766A (ja) * | 1998-10-28 | 2000-05-12 | Toshiba Corp | オーブンレンジ |
| US6536945B2 (en) * | 2000-10-09 | 2003-03-25 | United Biscuits (Uk) Limited | Measurement of heat flux in a heated chamber |
| US20020084418A1 (en) * | 2000-12-28 | 2002-07-04 | Hewitt Anthony Victor | Pseudo-randomized infrared blurring array |
| CN1627051A (zh) * | 2003-12-11 | 2005-06-15 | 虹光精密工业（苏州）有限公司 | 温度感测装置 |
| CN101901015A (zh) * | 2009-05-27 | 2010-12-01 | 深圳市爱可机器人技术有限公司 | 基于机器视觉的烹调设备的火候控制系统 |
| US20180125283A9 (en) * | 2013-09-20 | 2018-05-10 | Anova Applied Electronics, Inc. | Sous-vide cooker with image translation functionality |
| CN108204612A (zh) * | 2017-12-28 | 2018-06-26 | 广东美的厨房电器制造有限公司 | 加热烹调装置及其控制方法 |
| CN108428224A (zh) * | 2018-01-09 | 2018-08-21 | 中国农业大学 | 基于卷积神经网的动物体表温度检测方法及装置 |
| CN108647734A (zh) * | 2018-05-15 | 2018-10-12 | 上海达显智能科技有限公司 | 一种食物图像大数据采集方法、采集系统及食物识别方法 |
| CN208382259U (zh) * | 2018-05-15 | 2019-01-15 | 上海达显智能科技有限公司 | 一种具有食材参数采集功能的智能微波炉 |
Non-Patent Citations (2)
| Title |
|---|
| IBARRA, JG等: "Combined IR imaging-neural network method for the estimation of internal temperature in cooked chicken meat", 《OPTICAL ENGINEERING 》 * |
| 孙元等: "CCD 比色测温中辐射图像滤波与分割", 《中国图像图形学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110488696A (zh) * | 2019-08-12 | 2019-11-22 | 上海达显智能科技有限公司 | 一种智能防干烧方法及系统 |
| CN113676706A (zh) * | 2021-08-26 | 2021-11-19 | 广东美的厨房电器制造有限公司 | 烹饪视频生成方法、装置、服务器及控制系统 |
| CN113676706B (zh) * | 2021-08-26 | 2023-09-12 | 广东美的厨房电器制造有限公司 | 烹饪视频生成方法、装置、服务器及控制系统 |
| CN118583304A (zh) * | 2024-08-01 | 2024-09-03 | 厨曼智能制造(杭州)有限公司 | 一种多点温度测量监控方法及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109798983B (zh) | 2020-10-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109798983A (zh) | 烹饪设施中食材温度测量方法、系统及烹饪设施 | |
| US10022008B1 (en) | Cooking assistive device and method for making and using same | |
| CN109276147B (zh) | 一种获得食物内部温度的方法及烹饪器具 | |
| CN104730931B (zh) | 一种美食交互系统和美食食谱的生成方法 | |
| CN203940916U (zh) | 一种基于无线通信技术的智能厨用称量仪及称量系统 | |
| US20150285513A1 (en) | Oven comprising a scanning system | |
| US20200253415A1 (en) | Monitoring system and food preparation system | |
| CN104506629A (zh) | 食物营养分析及健康管理系统 | |
| CN104823518B (zh) | 用于控制感应烹饪炉架上的烹饪过程的方法和控制单元 | |
| CN108008649A (zh) | 烹饪器及其检测方法和系统、控制方法和系统 | |
| CN108665134A (zh) | 用于监控食品制备的装置和方法 | |
| CN111290352A (zh) | 烘焙控制方法及相关产品 | |
| CN110231301A (zh) | 食品的分析 | |
| CN108985959A (zh) | 一种基于地表温度反演技术的小麦白粉病遥感监测方法 | |
| US10928325B1 (en) | Urine test system with nutritional recommendations | |
| CN105115899A (zh) | 冰箱及用于冰箱的食物营养和/或热量的检测方法 | |
| CN108700306B (zh) | 用于制作至少一种食物的系统以及运行相关系统的方法 | |
| CN107232964A (zh) | 一种带营养成分分析功能的烹饪器具 | |
| CN112426060A (zh) | 控制方法、烹饪器具、服务器和可读存储介质 | |
| CN112468954A (zh) | 一种基于神经网络的可见光室内立体定位方法 | |
| CN108076506B (zh) | 一种扩展型节电式基站 | |
| CN109270546A (zh) | 一种基于结构光和双图像传感器的测距装置及其测距方法 | |
| CN111248762A (zh) | 一种烹饪设备的控制方法及烹饪设备 | |
| CN109140659A (zh) | 一种以用户距离控制空调风避人的方法 | |
| CN107911838A (zh) | 无线路由器上下行状态分析平台 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |