CN114578876A - 液体投放控制方法、装置、系统、存储介质及程序产品 - Google Patents

液体投放控制方法、装置、系统、存储介质及程序产品 Download PDF

Info

Publication number
CN114578876A
CN114578876A CN202210463170.8A CN202210463170A CN114578876A CN 114578876 A CN114578876 A CN 114578876A CN 202210463170 A CN202210463170 A CN 202210463170A CN 114578876 A CN114578876 A CN 114578876A
Authority
CN
China
Prior art keywords
liquid
channel
throwing
determining
temperature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210463170.8A
Other languages
English (en)
Other versions
CN114578876B (zh
Inventor
米明恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xianglu Technology Co ltd
Original Assignee
Beijing Xianglu Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xianglu Technology Co ltd filed Critical Beijing Xianglu Technology Co ltd
Priority to CN202210463170.8A priority Critical patent/CN114578876B/zh
Publication of CN114578876A publication Critical patent/CN114578876A/zh
Application granted granted Critical
Publication of CN114578876B publication Critical patent/CN114578876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D23/00Control of temperature
    • G05D23/19Control of temperature characterised by the use of electric means
    • G05D23/20Control of temperature characterised by the use of electric means with sensing elements having variation of electric or magnetic properties with change of temperature

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Radiation Pyrometers (AREA)

Abstract

本公开提供一种液体投放控制方法,包括:获取包含至少一根投放通道温度分布的热力图;确定至少一根投放通道的位置信息;根据至少一根投放通道的位置信息以及热力图确定至少一根投放通道各个位置的温度;根据上述至少一根投放通道各个位置的温度确定上述至少一根投放通道所对应至少一种待投放液体的实际投放量;以及根据上述至少一种待投放液体的预期投放量与上述至少一种待投放液体的实际投放量的差值控制液体投放执行机构进行液体投放。本公开还提供了液体投放控制装置、液体投放控制系统、存储介质以及程序产品。

Description

液体投放控制方法、装置、系统、存储介质及程序产品
技术领域
本公开涉及智能厨房技术领域,尤其涉及一种液体投放控制方法、液体投放控制装置、液体投放控制系统、存储介质及程序产品。
背景技术
在智能烹饪设备的实现中,为了实现准确的液体投放,例如液态调味料的投放,通常会使用控制泵投料时间的方式。然而在实际应用中,在温度的影响下,这种方式常常会出现液体的实际投放量与预期投放量相差较多的问题。这是因为,温度会直接影响待投放液体的粘度,而粘度的变化则会影响到液体单位时间内的流速,从而最终影响到在给定投料时间内投放出的液体的重量,导致液体的实际投放量和预期的投放量之间通常会存在差异。
发明内容
有鉴于此,本公开的实施例提供一种液体投放控制方法,可以实现对液体投放量的精确控制。
本公开实施例所述的液体投放控制方法包括:获取包含至少一根投放通道温度分布的热力图;确定所述至少一根投放通道的位置信息;根据所述至少一根投放通道的位置信息以及所述热力图确定所述至少一根投放通道各个位置的温度;根据所述至少一根投放通道各个位置的温度确定所述至少一根投放通道所对应至少一种待投放液体的实际投放量;以及根据所述至少一种待投放液体的预期投放量与所述至少一种待投放液体的实际投放量的差值控制液体投放执行机构进行液体投放。
在本公开的一些实施例中,上述方法可以进一步包括:在获取包含至少一根投放通道温度分布的热力图之后,对所述热力图进行图像畸变矫正,以消除所述热力图中的图像畸变。
在本公开的一些实施例中,所述确定所述至少一根投放通道的位置信息可以包括:读取预先存储各根投放通道的坐标点数据并输出。
在本公开的一些实施例中,所述确定所述至少一根投放通道的位置信息可以包括:通过边缘提取技术对投放通道的轮廓进行提取,得到所述至少一根投放通道在热力图中对应的像素的一组坐标点数据;或者通过训练好的神经网络对所述热力图中的投放通道的位置进行识别,得到所述至少一根投放通道在热力图中对应的像素的一组坐标点数据。
在本公开的一些实施例中,所述根据所述至少一根投放通道各个位置的温度确定所述至少一根投放通道所对应至少一种待投放液体的实际投放量可以包括:根据所述至少一根投放通道各个位置的温度确定所述至少一种待投放液体在其对应投放通道各个位置上的粘度参数;根据所述至少一种待投放液体在其对应投放通道各个位置上的粘度参数确定所述至少一种待投放液体在其对应投放通道各个位置上的流动阻力;基于液体投放执行机构的输出功率,根据所述至少一种待投放液体在其投放通道各个位置上的流动阻力确定所述至少一种待投放液体在其投放通道各个位置上的流速;根据所述至少一种待投放液体在其投放通道各个位置上的流速确定所述至少一种待投放液体在其投放通道上的总体流速;以及根据所述至少一种待投放液体的总体流速确定所述至少一种待投放液体的实际投放量。
在本公开的一些实施例中,所述根据所述至少一根投放通道各个位置的温度确定所述至少一根投放通道所对应至少一种待投放液体的实际投放量可以包括:根据所述至少一根投放通道各个位置的温度将所述至少一根投放通道在热力图中对应的图像区域分割为多个区段,并确定每个区段对应的温度以及每个区段的长度;基于液体投放执行机构的输出功率,根据所述每个区段对应的温度以及长度确定所述至少一种待投放液体的在其对应投放通道内各个区段的流速;根据所述至少一种待投放液体的在其对应投放通道内各个区段的流速估计该待投放液体在其对应投放通道上的总体流速;以及根据所述至少一种待投放液体在其对应投放通道上的总体流速确定所述至少一种待投放液体的实际投放量。
在本公开的一些实施例中,所述确定所述至少一种待投放液体的实际投放量可以包括:根据由检测频率确定的时间周期对所述至少一种待投放液体在其对应投放通道上的总体流速进行积分,得到所述至少一种待投放液体的实际投放量。
对应上述液体投放控制方法,本公开的实施例还公开了一种液体投放控制装置,包括:
热力图获取模块,用于获取包含至少一根投放通道温度分布的热力图;
通道路径确定模块,用于确定所述至少一根投放通道的位置信息;
温度提取模块,用于根据所述至少一根投放通道的位置信息以及所述热力图确定所述至少一根投放通道各个位置的温度;以及
投料控制模块,用于根据所述至少一根投放通道各个位置的温度确定至少一种待投放液体的实际投放量,并根据所述至少一种待投放液体的预期投放量与所述至少一种待投放液体的实际投放量的差值控制液体投放执行机构进行液体投放。
对应上述液体投放控制方法,本公开的实施例还公开了一种液体投放控制装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时执行:
获取包含至少一根投放通道温度分布的热力图;
确定所述至少一根投放通道的位置信息;
根据所述至少一根投放通道的位置信息以及所述热力图确定所述至少一根投放通道各个位置的温度;
根据所述至少一根投放通道各个位置的温度确定所述至少一根投放通道所对应至少一种待投放液体的实际投放量;以及
根据所述至少一种待投放液体的预期投放量与所述至少一种待投放液体的实际投放量的差值控制液体投放执行机构进行液体投放。
本公开的实施例还公开了一种液体投放控制系统,包括:红外成像模块以及上述液体投放控制装置;其中,所述红外成像模块用于进行热成像并输出包含至少一根投放通道温度分布的热力图。
本公开的实施例中,上述红外成像模块可以安装在智能烹饪设备机体内部的至少一个液体储料盒的正前方。
本公开的实施例中,上述液体投放控制系统,可以进一步包括:安装在所述红外成像模块前的广角镜头;此时,处理器执行所述程序时可以进一步执行:在获取包含至少一根投放通道温度分布的热力图之后,对所述热力图进行图像畸变矫正,以消除所述热力图中的图像畸变。
本公开的实施例还公开了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行上述液体投放控制方法。
本公开的实施例还公开了一种计算机程序产品,包括计算机程序指令,当所述计算机程序指令在计算机上运行时,使得计算机执行上述液体投放控制方法。
可以看出,本公开实施例所提出的液体投放控制方法、液体投放控制装置、液体投放控制系统、存储介质及程序产品可以通过红外成像模块拍摄的热力图一次性获得某一时刻智能烹饪设备内部至少一根投放通道各个位置的温度信息,接下来可以利用获得各根投放通道各个位置的温度信息准确确定各根投放通道内液体的实际投放量,进而实现对液体投放量的精确控制。
附图说明
为了更清楚地说明本公开或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本公开的实施例所述的液体投放控制系统的内部结构示意图;
图2为本公开的一些实施例中红外成像模块的安装位置示意图;
图3为本公开的实施例所述的液体投放控制方法的实现流程示意图;
图4为在本公开的实施例中投放通道在各个位置上的温度示意图;
图5为在本公开的一些实施例中确定上述至少一根投放通道所对应至少一种待投放液体的实际投放量的实现流程示意图;
图6为在本公开的另一些实施例中确定上述至少一根投放通道所对应至少一种待投放液体的实际投放量的实现流程示意图;
图7为本公开实施例中将一根投放通道在热力图中对应的图像区域分割为多个区段的示意图;以及
图8示出了本公开一些实施例所述的一种更为具体的液体投放控制装置的硬件结构示意图。
具体实施方式
为使本公开的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本公开进一步详细说明。
需要说明的是,除非另外定义,本公开实施例使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
如前所述,温度会直接影响待投放液体的粘度,而液体粘度的变化会影响到液体单位时间内的流速,从而最终影响到在给定投料时间内投放的液体的重量,导致液体的实际投放量和预期的投放量之间会存在差异。
在传统的智能烹饪设备的液体投放方案中,通常会使用温度传感器获取储料盒中液体的温度,进而基于获取的温度调整投料时间,也即进行投料时间上的补偿。但是,在上述液体投放方案中,所测量的温度通常仅为储料盒中液体的单点温度,并没有考虑到液体在投放通道中与通道发生热交换后,液体温度变化对其粘度造成的影响。例如,在北方冬季,从储料盒中的食用油通常温度较低,而从储料盒中抽出的食用油在通道中流动时,其温度会逐渐升高。当食用油到达喷嘴时,其温度已经高于储料盒中传感器测量到的温度。再比如,因为投放通道存在一定的长度,在两次炒制投料之间,通常会有一段液柱滞留在通道中,由于投放通道中液柱与外部环境接触面积远大于储料盒中液体与环境的接触面积,滞留液柱的温度会快速上升,当下一次喷料时,会有新的储料盒中的低温食用油进入投放通道中,此时可以认为通道中存在温度不同、粘度不同的多段液体,在这样的情况下,仅通过单点测温难以控制整个设备的投料精度,使得液体的实际投放量和预期的投放量之间仍存在较大差异。而如果在智能烹饪设备安装多个传感器,考虑到智能烹饪设备通常需要多个不同的调料投放通道,需要增加的传感器数量会大幅增长,从而大幅提高智能烹饪设备的成本,无法投入实际使用。
为此,本公开的实施例提供一种液体投放控制系统、液体投放控制装置以及液体投放控制方法,可以实现对液体投放量的精确控制。
图1显示了本公开的实施例所述的液体投放控制系统的内部结构。在本公开的一些实施例中,上述液体投放控制系统可以放置于智能烹饪设备内部。在本公开的另一些实施例中,上述液体投放控制系统中的部分模块可以放置于智能烹饪设备内部,而其他模块可以放置于与智能烹饪设备具有通信连接的其他控制设备中,例如,可以放置于用户移动终端或者位于用户本地的智能厨房的控制设备亦或者位于云端的智能厨房控制设备中。
如图1所示,本公开实施例所述的液体投放控制系统可以包括:红外成像模块10以及液体投放控制装置20。其中,按照上述液体投放控制装置20所实现的功能上划分,上述液体投放控制装置20可以包括:热力图获取模块102、通道路径确定模块104、温度提取模块106以及投料控制模块108。
其中,上述红外成像模块10可以安装于智能烹饪设备机体的内部,用于对机体内部的各根投放通道进行热成像,以输出包含至少一根投放通道温度分布的热力图。
具体地,在本公开的一些实施例中,上述红外成像模块10可以采用传统的红外成像仪实现,也可以采用线阵红外传感器通过扫描的方式实现对指定表面的热成像。此外,上述红外成像模块10的输出数据可以为描述某一区域内表面温度分布的二维数据。在下文中,将上述描述某一区域内表面温度分布的二维数据称为热力图。
图2为本公开的一些实施例中红外成像模块10安装位置的示意图。如图2所示,上述红外成像模块10可以安装在智能烹饪设备机体内部的至少一个液体储料盒202的正前方,用于对上述至少一个液体储料盒202对应的投放通道204所在的区域206进行热成像,得到代表上述区域206内物体表面温度分布的热力图。
上述液体投投放控制装置20中的热力图获取模块102主要用于从上述红外成像模块10获取包含至少一根投放通道温度分布的热力图。
在本公开的一些实施例中,由于智能烹饪设备内部的空间通常相对狭小,受到安装空间的限制,同时为了加大上述红外成像模块10的视野,可以在上述红外成像模块10前使用广角镜头以便对箱体内的各根投放通道204均能同时进行成像。但是,使用广角镜头进行成像后会产生图像畸变的问题。因此,在上述这些实施例中,在上述液体投投放控制装置20中,在热力图获取模块102以及通道路径确定模块104或者温度提取模块106之间还可以进一步包括:图像畸变矫正模块103,用于对上述热力图进行图像畸变矫正,以消除上述热力图中的图像畸变。由于上述图像畸变矫正模块103并非上述液体投放控制装置20的必需模块,因此,在图1中以虚线框表示。此外,图1中的其他虚线也表示非必需的含义。
此外,上述通道路径确定模块104用于确定上述至少一根投放通道的位置信息。具体地,上述通道路径确定模块104输出数据可以为坐标点数据,这些坐标点数据描述了各根投放通道在热力图中对应的像素点位置。
在本公开的实施例中,上述通道路径确定模块104可以使用多种方法确定上述至少一根投放通道的位置信息,具体方法将在下文中详细描述。
上述温度提取模块106用于根据上述至少一根投放通道的位置信息以及上述热力图确定上述至少一根投放通道各个位置的温度。
上述投料控制模块108用于根据上述至少一根投放通道各个位置的温度确定至少一种待投放液体的实际投放量,并根据上述至少一种待投放液体的预期投放量与其实际投放量的差值控制液体投放执行机构进行液体投放。
需要说明的是,上述液体投放执行机构是位于智能烹饪设备内部的用于进行液体投放的机构,例如泵。
在本公开的一些实施例中,上述投料控制模块108可以包括:
液体粘度确定单元,用于根据上述至少一根投放通道各个位置的温度确定上述至少一种待投放液体在其对应投放通道各个位置上的粘度参数;
流动阻力确定单元,用于根据上述至少一种待投放液体在其对应投放通道各个位置上的粘度参数确定上述至少一种待投放液体在其对应投放通道各个位置上的流动阻力;
第一流速确定单元,用于基于液体投放执行机构的输出功率,根据上述至少一种待投放液体在其对应投放通道各个位置上的流动阻力确定上述至少一种待投放液体在其对应投放通道各个位置上的流速;
第二流速确定单元,用于根据上述至少一种待投放液体在其对应投放通道各个位置上的流速确定上述至少一种待投放液体在其对应投放通道上的总体流速;
第一投放量确定单元,用于根据上述至少一种待投放液体在其对应投放通道上的总体流速确定液体的实际投放量。
在本公开的另一些实施例中,上述投料控制模块108可以包括:
区段分割单元,用于根据上述至少一根投放通道各个位置的温度将上述至少一根投放通道在热力图中对应的图像区域分割为多个区段,并确定每个区段对应的温度以及每个区段的长度;
第三流速确定单元,用于基于液体投放执行机构的输出功率,根据上述每个区段对应的温度以及每个区段的长度确定上述至少一种待投放液体的在其对应投放通道内各个区段的流速;
第四流速确定单元,用于根据上述至少一种待投放液体的在其对应投放通道内各个区段的流速估计上述至少一种待投放液体在其对应投放通道上的总体流速;以及
第二投放量确定单元,用于根据上述至少一种待投放液体在其对应投放通道上的总体流速确定上述至少一种待投放液体的实际投放量。
在本公开的实施例中,上述各个功能模块以及功能单元可以采用多种方法实现其功能。各个功能模块以及功能单元的具体的实现方法将在后文中详细描述。
本公开实施例所提出的液体投放控制系统可以通过红外成像模块10拍摄的热力图一次性获得某一时刻智能烹饪设备内部至少一根投放通道各个位置上的温度信息,从而可以利用获得的温度信息准确确定各根投放通道内液体的实际投放量,进而实现对液体投放量的精确控制。
对应上述液体投放控制装置,本公开的实施例还提供了一种液体投放控制方法,可以实现对液体投放量的精确控制。
图3为本公开的实施例所述的液体投放控制方法的实现流程示意图。如图3所示,本公开实施例所述的液体投放控制方法可以包括如下步骤:
在步骤302,获取包含至少一根投放通道温度分布的热力图。
如前所述,上述热力图可以由安装在智能烹饪设备机体内部的红外成像模块拍摄得到。上述热力图具体可以为描述某一区域内表面温度分布的二维数据。
如前所述,为了加大红外成像模块的视野,可以在红外成像模块10前使用广角镜头以便对箱体内的各根投放通道均能进行成像。然而,在使用广角镜头进行成像后会产生图像畸变的问题。因此,在这种情况下,在获得上述热力图之后,上述方法还需要进一步包括:对上述热力图进行图像畸变矫正,以消除上述热力图中的图像畸变。
在本公开的实施例中,可以使用数字图像处理算法中的图像畸变矫正算法上述热力图进行图像畸变矫正。具体地,可以根据预先标定好的红外成像模块内参(内部参数)和外参(外部参数)确定红外成像模块的畸变系数,例如,径向畸变系数和切向畸变系数等;然后再根据确定的畸变系数以及已知的图像畸变表达式对上述热力图进行图像畸变矫正。
在步骤304,确定上述至少一根投放通道的位置信息。
具体地,在本公开的实施例中,上述至少一根投放通道的位置信息可以具体为描述了各根投放通道位置的坐标点数据。
在本公开的实施例中,可以通过以下两种方法确定上述至少一根投放通道的位置信息。
方法1:适用于各根投放通道和红外成像模块相对安装位置固定的场景。在这种场景下,由于每条投放通道的位置均是固定且已知,每条投放通道在红外成像模块输出的每一张热力图中位置也是固定且已知的,则可以采用预先标定的方式,也即将各根投放通道在红外成像模块输出的各张热力图中对应像素的坐标点数据预先标定好并存储于存储器中。这样,在上述步骤304,可以直接从存储器中读取这些坐标点数据并输出。
方法2:适用于各根投放通道的位置不固定,红外成像模块和投放通道之间的相对位置可能动态变更的场景。在这种场景下,可以采用数字图像处理的方式来识别提取每条投放通道的路径。具体地,可以通过边缘提取技术对投放通道的轮廓进行提取,得到各根投放通道在热力图中对应的像素的坐标点数据。或者,也可以通过训练好的神经网络(例如卷积神经网络)对上述热力图中的投放通道的位置进行识别,得到各根投放通道在热力图中对应的像素的坐标点数据。
在步骤306,根据上述至少一根投放通道的位置信息以及上述热力图确定上述至少一根投放通道各个位置的温度。
根据红外成像的原理,物体表面的红外辐射量与其温度以及其发射率有关,当物体确定后,可以根据物体的材质、表面粗糙度、理化结构和材料厚度等参数确定其发射率。也即是说,在智能烹饪设备的各根投放通道制作完成后或者说设计完成后即可通过实验手段或者根据公知常识确定各根投放通道的发射率。因此,在上述步骤306中,可以根据红外成像模块拍摄的热力图以及各根投放通道的发射率确定上述至少一根投放通道各个位置的温度。亦或者,还可以通过实验手段或者其他手段预先得到热力图中像素点的值与温度的对应关系,并将上述对应关系存储于存储器中。这样,在上述步骤306,可以根据上述至少一根投放通道的位置信息所对应像素点的值直接从存储器中读取与所对应像素点的值对应的温度,也即这些位置上的温度。
此外,在本公开的一些实施例中,上述至少一根投放通道各个位置的温度具体可以是指上述至少一根投放通道在热力图中对应的像素点位置上的温度。
图4为本公开的实施例中通过上述步骤306所示的方法确定的某一根投放通道在各个位置上的温度示意图。图4显示了热力图中某一根投放通道经过温度提取之后得到的该投放通道在各个位置上的温度。图4中,每一个小方格代表一个像素点,这些像素点组合在一起形成一根投放通道的路径,其右侧标注了该像素点对应的温度数值。需要说明的是,本实施例中为了简化描述,图4中投放通道的宽度只显示为一个像素点。在实际的应用中,投放通道的宽度不限于一个像素点。
在步骤308,根据上述至少一根投放通道各个位置的温度确定上述至少一根投放通道所对应至少一种待投放液体的实际投放量。
在本公开的一些实施例中,上述根据上述至少一根投放通道各个位置的温度确定上述至少一根投放通道所对应至少一种待投放液体的实际投放量的实现方法可如图5所示,包括:
在步骤502,根据上述至少一根投放通道各个位置的温度确定上述至少一种待投放液体在其对应投放通道各个位置上的粘度参数。
需要说明的是,液体的粘度通常与液体自身的成分以及温度有关,当温度升高时,液体的粘度通常会下降;而当温度下降时,液体的粘度通常会增加。而当液体的成分以及温度确定时,其粘度也基本确定。而且一种液体在不同温度下的粘度参数可以通过实验手段或者根据公知常识获得。如此,在本公开的实施例中,可以将预先确定的各种液体在不同温度下的粘度参数存储于存储器中,在需要时,根据待投放液体的标识及在其对应的投放通道各个位置上的温度从存储器中读取该待投放液体在上述投放通道各个位置上的粘度参数。
在步骤504,根据上述至少一种待投放液体在其对应投放通道各个位置上的粘度参数确定上述至少一种待投放液体在其对应投放通道各个位置上的流动阻力。
根据流体力学的相关知识可以理解,液体的流动阻力与液体的粘度等参数有关,因此,在本步骤中,可以根据上述待投放液体在其对应投放通道各个位置上的粘度参数确定上述待投放液体在其对应投放通道各个位置上的流动阻力,具体算法在此不展开详细说明。
在步骤506,基于液体投放执行机构的输出功率,根据上述至少一种待投放液体在其投放通道各个位置上的流动阻力确定上述至少一种待投放液体在其投放通道各个位置上的流速。
此外,还可以理解,液体的流速与液体的流动阻力以及液体投放执行机构输出功率有关,在确定了流动阻力以及液体投放执行机构输出功率的情况下,可以确定上述至少一种待投放液体在当前时刻在其对应投放通道各个位置上的流速,具体算法在此不展开详细说明。
在步骤508,根据上述至少一种待投放液体在其投放通道各个位置上的流速确定上述至少一种待投放液体在其投放通道上的总体流速。
进一步,在确定了一种待投放液体在某一时刻在其对应投放通道各个位置上的流速后可以估计该待投放液体在该时刻在其对应投放通道上的总体流速,例如可以通过求上述各个位置上的流速的平均值、中位数、最大值或者最小值等方式来估计上述总体流速。
在步骤510,根据上述至少一种待投放液体的总体流速确定上述至少一种待投放液体的实际投放量。
在本公开的实施例中,上述通过红外成像模块拍摄的热力图确定上述至少一根投放通道各个位置的温度,进而确定上述至少一种待投放液体的总体流速的过程可以是按照预设的检测频率周期性执行的,因此,所确定的上述至少一种待投放液体的总体流速是指在由上述检测频率确定的时间周期内的近似平均流速。则在本公开的实施例中,上述至少一种待投放液体的实际投放量可以通过根据由上述检测频率确定的时间周期对上述至少一种待投放液体在其对应投放通道上的总体流速进行积分的方式得到。
从上述方法可以看出,在图5所示的方法中,是基于上述至少一根投放通道在热力图中对应的各个像素点位置上的温度得到的是上述至少一种待投放液体在其对应投放通道在热力图中对应的各个像素点位置上的流速,也即针对投放通道所对应的每个像素点均需要进行上述处理操作,导致计算量偏大,处理总时间加长,效率降低,也在一定程度上造成了计算资源的浪费。为了解决这一问题,本公开的另一些实施例还给出了另一种根据上述至少一根投放通道各个位置的温度确定上述至少一根投放通道所对应至少一种待投放液体的实际投放量的替换实现方法。该方法的具体实现过程如图6所示,可以包括如下步骤:
在步骤602,根据上述至少一根投放通道各个位置的温度将上述至少一根投放通道在热力图中对应的图像区域分割为多个区段,并确定每个区段对应的温度以及每个区段的长度。
具体地,在本公开的一些实施例中,可以预先给定多个温度阶梯区间以及各个温度阶梯区间对应的温度值。这样,在上述步骤602中,可以根据预先给定的温度阶梯区间将上述至少一根投放通道在热力图中对应的图像区域分割为多个区段。可知,对于相同的温度变化,上述温度阶梯区间窗口越小,则分割出的区段数量越多。例如,可以按照1℃(摄氏度)的间隔设置温度阶梯区间,比如多个温度阶梯区间可以设置为[0,1)、[1,2)、……、[19,20)、[20,21)、……、[49,50)、……。其中,每个温度阶梯区间对应的温度值可以是区间的最大值、最小值或者中值等等其温度阶梯区间内的值。
这样,可以根据上述至少一根投放通道各个位置的温度将上述至少一根投放通道在热力图中对应的图像区域分割为多个区段,并确定每个区段对应的温度。
此外,在上述实施例中,还可以进一步结合红外成像模块10预先标定好的内参和外参,反推计算出热力图上各个区段对应到实际投放管路上对应的距离信息。具体地,可以根据预先标定好的内参和外参确定热力图上一个像素点对应实际物理世界中的距离,然后再根据各个区段包含的像素点的个数来确定各个区段的长度。
图7显示了本公开实施例中将一根投放通道在热力图中对应的图像区域分割为多个区段的示意图。在确定了如图4所示的某一投放通道在各个位置上的温度的基础之上,通过上述方法可以得到图7所示的多个区段。如图7所示,根据预先给定多个温度阶梯区间可以将该投放通道在热力图中对应的图像区域分割为S1-S6六个部分,对应的温度依次为20℃、19℃、18℃、19℃、18℃以及17℃。此外,假设图7中S1段包括6个像素点,假定经过相机内外参标定后,热力图上一个像素点对应实际物理世界中5cm的距离,那么可以推算出6个像素点对应物理世界中30cm的距离,也即S1段的长度为30cm。类似地,可以得到S2段的长度为15cm;S3段的长度为20cm;S4段的长度为20cm;S5段的长度为15cm;以及S6段的长度为10cm。
需要说明的是,此处图7给出的示例是为了便于描述问题而给出的简化的示例。在实际应用场景中,投放通道宽度或者直径对应到热力图上可能大于一个像素,此时,可以利用亚像素级的数字图像处理技术,识别出投放通道的中心线,然后再根据各个区段内的中心线所经过的像素的个数来确定中心线的长度,也就是各个区段的长度。
此外,在本公开的另一些实施例中,还可以按照预先给定的区段长度单位将上述至少一根投放通道在热力图中对应的图像区域分割为多个区段,例如,可以预先设置区段长度单位为M个像素,则可以按照每M个像素作为一个区段的方式,将上述至少一根投放通道在热力图中对应的图像区域分割为多个区段。然后,再根据各个区段内各个位置的温度确定每个区段对应的温度。具体的,每个区段对应的温度的确定方法可以是求每个区段内各个位置温度的平均值、中位数、最小值、最大值等等方法。经过相机内参和外参标定后,热力图上一个像素点对应实际物理世界中的距离也就确定了,这样,可以根据预先设置区段长度单位确定每个区段对应实际物理世界中的长度。例如,假设预先设置区段长度单位为5个像素,且经过相机内参和外参标定后,热力图上一个像素点对应实际物理世界中5cm的距离,则在该实施例中每个区段的长度将为5*5=25cm。
在步骤604,基于液体投放执行机构的输出功率,根据上述每个区段对应的温度以及长度确定上述至少一种待投放液体的在其对应投放通道内各个区段的流速。
具体地,如前所述,可以先确定上述至少一种待投放液体在其对应投放通道各个区段内的粘度参数。然后,再确定上述待投放液体在其对应投放通道各个区段内的流动阻力。最后,再确定上述至少一种待投放液体的在其对应投放通道内各个区段的流速。上述各个过程的具体的实现方式可以参考前述实施例,在此不再重复说明。
在步骤606,根据上述至少一种待投放液体的在其对应投放通道内各个区段的流速估计该待投放液体在其对应投放通道上的总体流速。
在本公开的实施例中,可以通过求上述各个区段内的流速的平均值、中位数、最大值或者最小值等方式来确定上述总体流速。
在步骤608,根据上述至少一种待投放液体在其对应投放通道上的总体流速确定上述至少一种待投放液体的实际投放量。
如前所述,在上述步骤608中,上述至少一种待投放液体的实际投放量可以通过根据由检测频率确定的时间周期对上述至少一种待投放液体在其对应投放通道上的总体流速进行积分的方式得到。
在步骤310,根据液体的预期投放量与上述实际投放量的差值控制液体投放执行机构进行液体投放。
在本公开的实施例中,通过对比上述实际投放量和预期投放量,可以控制液体投放执行机构,也就是泵的启动和停止。例如,在实际投放量小于预期投放量时,可以控制上述投放执行机构启动,而在实际投放量达到预期投放量时,可以控制上述投放执行机构停止。需要说明的是,在本公开的实施例中,使用的投放执行机构控制算法包括但不限于PID(比例、积分、微分)控制算法。
本公开实施例所提出的液体投放控制方法可以根据获取的热力图一次性获得某一时刻智能烹饪设备内部至少一根投放通道各个位置上的温度信息,从而可以利用获得的温度信息准确确定各根投放通道内液体的实际投放量,以实现对液体投放量的精确控制。此外,上述方法描述的是针对一根投放通道的投料控制过程,在实际的适用中,上述红外成像模块会对多根投放通道同时进行成像,上述液体投放控制方法可以针对多根投放通道同时并行执行,也即实现多个液体投放通道的并行控制。
需要说明的是,本公开实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本公开实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本公开的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
需要说明的是,上述液体投放控制装置的各个模块的具体实现可以参考前述方法以及附图,在此不再重复说明。为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本公开时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的液体投放控制方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
本公开还提供了液体投投放控制装置的硬件实现方式。具体地,上述液体投投放控制装置可以包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上任意一实施例所述的液体投放控制方法。
图8示出了本实施例所提供的液体投投放控制装置的硬件结构示意图。如图8所示该液体投投放控制装置可以包括:处理器2010、存储器2020、输入/输出接口2030、通信接口2040和总线2050。其中处理器2010、存储器2020、输入/输出接口2030和通信接口2040通过总线2050实现彼此之间在设备内部的通信连接。
处理器2010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器2020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器2020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器2020中,并由处理器2010来调用执行。
输入/输出接口2030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口2040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线2050包括一通路,在设备的各个组件(例如处理器2010、存储器2020、输入/输出接口2030和通信接口2040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器2010、存储器2020、输入/输出接口2030、通信接口2040以及总线2050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
上述实施例的液体投投放控制装置用于实现前述任一实施例中相应的液体投放控制方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本公开还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一实施例所述的液体投放控制方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的任务处理方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本公开的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本公开实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本公开实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本公开实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本公开实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本公开的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本公开实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本公开的具体实施例对本公开进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本公开实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本公开实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本公开的保护范围之内。

Claims (14)

1.一种液体投放控制方法,包括:
获取包含至少一根投放通道温度分布的热力图;
确定所述至少一根投放通道的位置信息;
根据所述至少一根投放通道的位置信息以及所述热力图确定所述至少一根投放通道各个位置的温度;
根据所述至少一根投放通道各个位置的温度确定所述至少一根投放通道所对应至少一种待投放液体的实际投放量;以及
根据所述至少一种待投放液体的预期投放量与所述至少一种待投放液体的实际投放量的差值控制液体投放执行机构进行液体投放。
2.根据权利要求1所述的方法,进一步包括:在获取包含至少一根投放通道温度分布的热力图之后,对所述热力图进行图像畸变矫正,以消除所述热力图中的图像畸变。
3.根据权利要求1所述的方法,其中,所述确定所述至少一根投放通道的位置信息包括:读取预先存储的各根投放通道对应的坐标点数据并输出。
4.根据权利要求1所述的方法,其中,所述确定所述至少一根投放通道的位置信息包括:
通过边缘提取技术对所述热力图中投放通道的轮廓进行提取,得到所述至少一根投放通道在热力图中对应的像素的坐标点数据;或者
通过训练好的神经网络对所述热力图中的投放通道的位置进行识别,得到所述至少一根投放通道在热力图中对应的像素的坐标点数据。
5.根据权利要求1所述的方法,其中,所述根据所述至少一根投放通道各个位置的温度确定所述至少一根投放通道所对应至少一种待投放液体的实际投放量包括:
根据所述至少一根投放通道各个位置的温度确定所述至少一种待投放液体在其对应投放通道各个位置上的粘度参数;
根据所述至少一种待投放液体在其对应投放通道各个位置上的粘度参数确定所述至少一种待投放液体在其对应投放通道各个位置上的流动阻力;
基于液体投放执行机构的输出功率,根据所述至少一种待投放液体在其投放通道各个位置上的流动阻力确定所述至少一种待投放液体在其投放通道各个位置上的流速;
根据所述至少一种待投放液体在其投放通道各个位置上的流速估计所述至少一种待投放液体在其投放通道上的总体流速;以及
根据所述至少一种待投放液体的总体流速确定所述至少一种待投放液体的实际投放量。
6.根据权利要求1所述的方法,其中,所述根据所述至少一根投放通道各个位置的温度确定所述至少一根投放通道所对应至少一种待投放液体的实际投放量包括:
根据所述至少一根投放通道各个位置的温度将所述至少一根投放通道在热力图中对应的图像区域分割为多个区段,并确定每个区段对应的温度以及每个区段的长度;
基于液体投放执行机构的输出功率,根据所述每个区段对应的温度以及每个区段的长度确定所述至少一种待投放液体的在其对应投放通道内各个区段的流速;
根据所述至少一种待投放液体在其对应投放通道内各个区段的流速估计所述至少一种待投放液体在其对应投放通道上的总体流速;以及
根据所述至少一种待投放液体在其对应投放通道上的总体流速确定所述至少一种待投放液体的实际投放量。
7.根据权利要求5或6所述的方法,其中,所述确定所述至少一种待投放液体的实际投放量包括:
根据由检测频率确定的时间周期对所述至少一种待投放液体在其对应投放通道上的总体流速进行积分,得到所述至少一种待投放液体的实际投放量。
8.一种液体投放控制装置,包括:
热力图获取模块,用于获取包含至少一根投放通道温度分布的热力图;
通道路径确定模块,用于确定所述至少一根投放通道的位置信息;
温度提取模块,用于根据所述至少一根投放通道的位置信息以及所述热力图确定所述至少一根投放通道各个位置的温度;以及
投料控制模块,用于根据所述至少一根投放通道各个位置的温度确定至少一种待投放液体的实际投放量,并根据所述至少一种待投放液体的预期投放量与所述至少一种待投放液体的实际投放量的差值控制液体投放执行机构进行液体投放。
9.一种液体投放控制装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时执行:
获取包含至少一根投放通道温度分布的热力图;
确定所述至少一根投放通道的位置信息;
根据所述至少一根投放通道的位置信息以及所述热力图确定所述至少一根投放通道各个位置的温度;
根据所述至少一根投放通道各个位置的温度确定所述至少一根投放通道所对应至少一种待投放液体的实际投放量;以及
根据所述至少一种待投放液体的预期投放量与所述至少一种待投放液体的实际投放量的差值控制液体投放执行机构进行液体投放。
10.一种液体投放控制系统,包括:红外成像模块以及如权利要求9所述的液体投放控制装置;其中,所述红外成像模块用于进行热成像并输出包含至少一根投放通道温度分布的热力图。
11.根据权利要求10的液体投放控制系统,其中,所述红外成像模块安装在智能烹饪设备机体内部的至少一个液体储料盒的正前方。
12.根据权利要求10的液体投放控制系统,进一步包括:安装在所述红外成像模块前的广角镜头;其中,
所述处理器执行所述程序时进一步执行:在获取包含至少一根投放通道温度分布的热力图之后,对所述热力图进行图像畸变矫正,以消除所述热力图中的图像畸变。
13.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行权利要求1-7中任意一项所述的液体投放控制方法。
14.一种计算机程序产品,包括计算机程序指令,当所述计算机程序指令在计算机上运行时,使得计算机执行如权利要求1-7中任意一项所述的液体投放控制方法。
CN202210463170.8A 2022-04-29 2022-04-29 液体投放控制方法、装置、系统、存储介质及程序产品 Active CN114578876B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210463170.8A CN114578876B (zh) 2022-04-29 2022-04-29 液体投放控制方法、装置、系统、存储介质及程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210463170.8A CN114578876B (zh) 2022-04-29 2022-04-29 液体投放控制方法、装置、系统、存储介质及程序产品

Publications (2)

Publication Number Publication Date
CN114578876A true CN114578876A (zh) 2022-06-03
CN114578876B CN114578876B (zh) 2022-07-29

Family

ID=81778939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210463170.8A Active CN114578876B (zh) 2022-04-29 2022-04-29 液体投放控制方法、装置、系统、存储介质及程序产品

Country Status (1)

Country Link
CN (1) CN114578876B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101721149A (zh) * 2008-10-10 2010-06-09 刘信羽 一种用于烹调设备的液体物料投放装置及方法
DE102011108799A1 (de) * 2011-07-29 2013-01-31 Vermes Microdispensing GmbH Dosiersystem und Dosierverfahren
CN105078244A (zh) * 2015-08-12 2015-11-25 广州市奔翔电子有限公司 一种自动泡茶机
CN111694385A (zh) * 2020-05-09 2020-09-22 深圳安吉尔饮水产业集团有限公司 加热控制方法、加热装置及计算机存储介质
CN111837990A (zh) * 2020-07-20 2020-10-30 西门子(中国)有限公司 液态饲料投放方法、下位机和计算机可读介质
CN215992398U (zh) * 2021-08-12 2022-03-11 珠海市斗门生态农业园管理委员会农业科技推广中心 禾虫养殖饲料投放装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101721149A (zh) * 2008-10-10 2010-06-09 刘信羽 一种用于烹调设备的液体物料投放装置及方法
DE102011108799A1 (de) * 2011-07-29 2013-01-31 Vermes Microdispensing GmbH Dosiersystem und Dosierverfahren
CN105078244A (zh) * 2015-08-12 2015-11-25 广州市奔翔电子有限公司 一种自动泡茶机
CN111694385A (zh) * 2020-05-09 2020-09-22 深圳安吉尔饮水产业集团有限公司 加热控制方法、加热装置及计算机存储介质
CN111837990A (zh) * 2020-07-20 2020-10-30 西门子(中国)有限公司 液态饲料投放方法、下位机和计算机可读介质
CN215992398U (zh) * 2021-08-12 2022-03-11 珠海市斗门生态农业园管理委员会农业科技推广中心 禾虫养殖饲料投放装置

Also Published As

Publication number Publication date
CN114578876B (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
US11418751B2 (en) Electronic device and method for generating image data
Wasenmüller et al. Comparison of kinect v1 and v2 depth images in terms of accuracy and precision
US10318976B2 (en) Methods for determining measurement data of an item
US9904841B2 (en) Method and system for estimating finger movement
JP5432227B2 (ja) 測定対象物計数器および測定対象物を計数するための方法
CN106133488B (zh) 一种红外测温方法及装置
US20120307046A1 (en) Methods and apparatus for thermographic measurements
CN111392368B (zh) 一种输送带损伤检测方法、装置、设备及存储介质
CN107941202B (zh) 一种航空摄影飞行质量即时检查方法及装置
CN103631698A (zh) 一种用于目标跟踪的摄像机ptz控制方法和装置
CN114578876B (zh) 液体投放控制方法、装置、系统、存储介质及程序产品
KR20230023698A (ko) 복수의 센서들을 이용한 물품 판매 시스템 및 그 방법
CN104427237A (zh) 一种聚焦图片的显示方法及图像处理设备
WO2017169782A1 (ja) 距離画像処理装置、距離画像取得装置、及び距離画像処理方法
CN103759640A (zh) 堆垛机数据自动测量方法
CN108111914B (zh) 视频播放区域识别方法、装置及媒体播放设备
WO2016022436A1 (en) Facilitating intelligent and competitive consumer-favored online shopping experience at computing devices
CN111721201A (zh) 温度检测方法
CN104116505A (zh) 脉搏估计装置和脉搏估计程序
CN111047642A (zh) 环境地图的校正方法、设备及存储介质
Yu et al. Droplet image feedback control system in evaporation experiment
KR101825202B1 (ko) 터치 입력에 기반한 프로세스 처리 방법 및 시스템
KR102335850B1 (ko) 물류 운임비용 책정 시스템 및 방법
KR102350918B1 (ko) 히트맵 제공 장치 및 방법
CN114237242B (zh) 基于光学编码器对机器人进行控制的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant