CN109312929B - 加热烹调器 - Google Patents

加热烹调器 Download PDF

Info

Publication number
CN109312929B
CN109312929B CN201780035125.XA CN201780035125A CN109312929B CN 109312929 B CN109312929 B CN 109312929B CN 201780035125 A CN201780035125 A CN 201780035125A CN 109312929 B CN109312929 B CN 109312929B
Authority
CN
China
Prior art keywords
heating
unit
image
food
control information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780035125.XA
Other languages
English (en)
Other versions
CN109312929A (zh
Inventor
今井博久
松井严徹
谷口直哉
竹之内磨理子
高仓穗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of CN109312929A publication Critical patent/CN109312929A/zh
Application granted granted Critical
Publication of CN109312929B publication Critical patent/CN109312929B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00Stoves or ranges heated by electric energy
    • F24C7/08Arrangement or mounting of control or safety devices
    • F24C7/082Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination
    • F24C7/085Arrangement or mounting of control or safety devices on ranges, e.g. control panels, illumination on baking ovens
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C15/00Details
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F24HEATING; RANGES; VENTILATING
    • F24CDOMESTIC STOVES OR RANGES ; DETAILS OF DOMESTIC STOVES OR RANGES, OF GENERAL APPLICATION
    • F24C7/00Stoves or ranges heated by electric energy
    • F24C7/02Stoves or ranges heated by electric energy using microwaves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404Methods for optical code recognition
    • G06K7/1408Methods for optical code recognition the method being specifically adapted for the type of code
    • G06K7/14131D bar codes
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00Heating by electric, magnetic or electromagnetic fields
    • H05B6/64Heating using microwaves
    • H05B6/6414Aspects relating to the door of the microwave heating apparatus
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00Heating by electric, magnetic or electromagnetic fields
    • H05B6/64Heating using microwaves
    • H05B6/6435Aspects relating to the user interface of the microwave heating apparatus
    • H05B6/6441Aspects relating to the user interface of the microwave heating apparatus allowing the input of coded operation instructions, e.g. bar code reader
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00Heating by electric, magnetic or electromagnetic fields
    • H05B6/64Heating using microwaves
    • H05B6/6447Method of operation or details of the microwave heating apparatus related to the use of detectors or sensors
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05BELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B6/00Heating by electric, magnetic or electromagnetic fields
    • H05B6/64Heating using microwaves
    • H05B6/66Circuits
    • H05B6/68Circuits for monitoring or control
    • H05B6/687Circuits for monitoring or control for cooking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Electric Ovens (AREA)
  • Cold Air Circulating Systems And Constructional Details In Refrigerators (AREA)
  • Control Of High-Frequency Heating Circuits (AREA)

Abstract

加热控制信息识别部(19)从拍摄部(16)拍摄到的加热仓(12)内的图像中识别被加热物的加热控制信息,加热控制部(14)根据该加热控制信息对加热部(13)进行控制。此外,在基于加热控制信息识别部(19)的识别较困难的情况下,载置位置引导部(30)将被加热物向拍摄部(16)的拍摄范围进行引导。由此,能够通过具有1个照相机作为拍摄部(16)的简单结构来识别加热控制信息。

Description

加热烹调器
技术领域
本发明涉及对食品进行加热的加热烹调器。
背景技术
作为代表性的加热烹调器的微波炉具有无需使用锅或平底锅便能够在将食品放入到容器中的状态下进行加热的便利性。并且,在将盒饭或副食等放入到容器中进行售卖的商店中,店员提供使用微波炉对购买的食品进行加热的服务。
对这种加热服务进行说明。通常,在盒饭或副食的容器上显示有利用微波炉加热所需的最佳的加热时间。然后,商店的店员在看到该显示后利用微波炉对加热时间进行设定并开始加热。在微波炉的操作部中设置有数字键等,通过手动来设定加热时间(分、秒)。
并且,在微波炉上具有多个操作按钮,有时也对各操作按钮分配单独的加热时间。在该情况下,商店的店员通过选择与所要加热的食品对应的按钮,利用适合于该食品的加热控制对食品等进行加热,从而能够向顾客提供食品。
如前者的结构那样,在利用数字键来设定加热时间(分、秒)的情况下,有可能因操作次数较多而变成麻烦的操作。并且,在后者的结构(即,对多个操作按钮分别分配单独的加热时间)的情况下,当食品的种类增加时,有可能难以记住与按钮的对应关系。
为了解决这些麻烦和错误等,还提出了如下的方法:微波炉对每个商品预先存储加热控制内容,商店的店员使用条形码阅读器来读取添附于商品的条形码信息(码信息),微波炉从该码信息中调用与商品对应的加热控制内容而进行适当的加热。
此外,还提出了如下的方法:不使用条形码阅读器,微波炉具有对仓内进行拍摄的照相机,从放入到仓内的商品的图像中提取条形码部分,通过读取该条形码而从码信息中调用与商品对应的加热控制内容,从而进行适当的加热(例如,参照专利文献1)。
并且,如果将加热控制信息直接作为码信息添附于商品而不从码信息中调用与商品对应的加热控制信息,则微波炉也不需要预先存储每个商品的加热控制信息。
根据这种方法,能够减轻店员的操作负担,从而进行无误的加热服务。
现有技术文献
专利文献
专利文献1:日本特开2001-349546号公报
发明内容
要想从设置于微波炉的仓内的照相机所拍摄到的仓内图像中读取码信息,需要非常高精细的照相机。也就是说,像条形码那样存在白色部分和黑色部分,当分辨率不足以对黑色的线段和白色的间隔分别分配几个像素来明确地判别这些部分时,无法读取信息。在这点上,无论是条形码还是字符/数字、其他符号等码信息,都是相同的。
因此,存在如下的方法:使用多个照相机,利用各照相机来按区域分担拍摄仓内整体,对任意的照相机所拍摄到的拍摄图像中所呈现的码信息进行读取。不过,在该方法中,系统变得复杂。并且,在码信息横跨多个图像的情况下等难以读取。
本发明利用具有1个照相机的简单结构来识别加热控制信息,从而自动地设定加热控制内容。
本发明的加热烹调器具有:加热仓,其收纳被加热物;加热部,其对载置于加热仓的被加热物进行加热;拍摄部,其对加热仓内进行拍摄;以及加热控制信息识别部,其从拍摄部拍摄到的图像中识别被加热物的加热控制信息。并且,具有:加热控制部,其根据加热控制信息识别部所识别出的加热控制信息对加热部进行控制;载置位置引导部,其将被加热物的载置位置向拍摄部的拍摄范围进行引导;以及操作显示部,其显示由所述载置位置引导部所决定的引导方向,在收纳于所述加热仓的所述被加热物的所述加热控制信息未进入所述拍摄部的拍摄范围而使得所述加热控制信息识别部无法识别所述加热控制信息的情况下,所述载置位置引导部确定将所述被加热物在所述加热仓内的载置位置引导至所述拍摄部的拍摄范围的方向,并显示于所述操作显示部。
根据本发明,在将盒饭或副食等作为加热对象的被加热物放入到加热仓内的情况下,在基于加热控制信息识别部的识别较困难时,利用载置位置引导部将被加热物向拍摄部的拍摄范围进行引导,因此能够利用具有1个照相机的简单结构来识别加热控制信息。
附图说明
图1是本发明第1实施方式的加热烹调器的外观立体图。
图2是本发明第1实施方式的加热烹调器的概略结构图。
图3是利用本发明第1实施方式的加热烹调器进行加热的被加热物上所显示的包含加热控制信息的商品信息的说明图。
图4是在本发明第1实施方式的加热烹调器的图像比较部的比较结果图像中的、被加热物的一个边与周围接触的情况下的差分图像的说明图。
图5是在本发明第1实施方式的加热烹调器的图像比较部的比较结果图像中的、被加热物的两个边与周围接触的情况下的差分图像的说明图。
图6是在本发明第1实施方式的加热烹调器的图像比较部的比较结果图像中的、被加热物的三个边与周围接触的情况下的比较结果图像的说明图。
图7是在本发明第1实施方式的加热烹调器的图像比较部的比较结果图像中的、无法判断被加热物的引导方向的情况下的差分图像的说明图。
图8是示出本发明第1实施方式的加热烹调器的门从打开状态变为关闭状态的情况下的动作流程的流程图。
图9是示出本发明第1实施方式的加热烹调器的门从打开状态变为关闭状态的情况下的动作流程的流程图。
具体实施方式
(第1实施方式)
图1是作为本发明第1实施方式的加热烹调器的一例的微波炉的外观立体图。如图1所示,微波炉1在用于储存食品的壳体2上设置有用于取出放入食品的门3。在门3上设置有用于从外部看到壳体2的内部的透明的玻璃窗4、在打开关闭门3时抓取的把手5以及操作显示部6。
操作显示部6具有液晶显示器7、时间设定按钮组8、加热开始按钮9、取消按钮10以及暂停按钮11。该微波炉1如后述那样利用拍摄部对作为加热对象(被加热物)的食品进行拍摄,读取显示于食品的加热时间,按照该加热时间对食品进行加热。
在液晶显示器7中显示所读取的加热时间或者通知字符。并且,在液晶显示器7中显示由后述的引导方向确定部33(参照图2)确定的引导方向。
在微波炉1上设置有时间设定按钮组8,以针对无法顺利地读取加热时间的情况下,或者对没有显示加热时间的食品进行加热的情况。使用者能够使用数字按钮和“分”、“秒”的按钮来设定加热时间。在该情况下,在液晶显示器7中显示所设定的加热时间。
加热开始按钮9是在使用者确认了显示于液晶显示器7的加热时间之后开始加热时按下的按钮。取消按钮10是在使用者按下加热开始按钮9而开始加热之后,在加热中途使加热停止的情况下被使用者按下、或者在取消显示于液晶显示器7的加热时间的设定的情况下被使用者按下的按钮。暂停按钮11是在加热中途使加热暂停的情况下被使用者按下的按钮。并且,在使加热暂停的情况下,使用者通过再次按下加热开始按钮9而从中途开始进行剩余的加热。
图2是本实施方式的微波炉1的概略结构图。微波炉1能够利用高频进行食品等的加热,在收纳食品等被加热物的加热仓12内具有输出高频的作为加热部的磁控管13。通过磁控管13向加热仓12供给高频而对食品进行加热。磁控管13被加热控制部14控制。
微波炉1具有照明15,并且在与设置有照明15相同的侧面上具有作为拍摄部的照相机16。照相机16对加热仓12内的影像进行拍摄。由于照相机16配置在与照明15相同的侧面上,所以能够避免逆着光对加热仓12内进行拍摄。
在壳体2上设置有用于检测门3的开闭的门开关17。门3具有用于压入该门开关17的突起部18。
向加热仓12放入盒饭、饭团、副食等食品(被加热物)。在这些食品上分别粘贴有封条(参照图3),该封条是显示有作为食品的加热控制信息的、加热功率和加热时间的粘贴物。加热控制信息识别部19具有读取部20,读取部20根据照相机16所拍摄的图像,从粘贴于商品的封条中提取显示有加热控制信息的部位,并读取加热控制信息的字符(至少包含数字)。
图3示出了赋予给食品的封条21的一例。在封条21中显示有商品名称22、加热控制信息23、金额信息24、保质期信息25、作为确定食品的码符号的一例的条形码26、营养信息27以及通知信息28等各种信息。在封条21中显示有以围绕加热控制信息23的方式形成的作为矩形的位置指定标记的标记框29,以便于从这样的各种信息中提取加热控制信息23。
该封条21的加热控制信息23包含两种加热控制信息。更具体来说,在该封条21的加热控制信息23中一并记载有:作为使用普通家庭用的微波炉进行加热时的标准,例如以500W的加热功率进行加热的情况下的加热时间;以及作为使用商业用的微波炉以较大的加热功率在短时间内进行加热时的标准,例如以1500W的加热功率进行加热的情况下的加热时间。例如,显示为“500W 2分00秒1500W 0分40秒”等。
更具体来说,加热控制信息23是按照第1字符串、第2字符串、···第6字符串的顺序包含第1字符串~第6字符串的字符串。第1字符串是表示规定的加热功率下的加热量的数字,例如为“500”。第2字符串表示该加热功率的单位,例如为“W”。第3字符串是作为该加热功率下的加热时间的数字,例如为“2”。第4字符串表示该加热时间的单位,例如为“分”。第5字符串表示该加热功率下的加热时间的数字,例如为“00”。并且,第6字符串表示该加热时间的单位,例如为“秒”。此外,加热控制信息是按照第7字符串、第8字符串、···第12字符串的顺序包含第7字符串~第12字符串的字符串。第7字符串是表示比上述规定的加热功率大的加热功率的加热量的数字,例如为“1500”。第8字符串表示该加热功率的单位,例如为“W”。第9字符串是作为该加热功率下的加热时间的数字,例如为“0”。第10字符串表示该加热时间的单位,例如为“分”。第11字符串是表示该加热功率下的加热时间的数字,例如为“40”。并且,第12字符串表示该加热时间的单位,例如为“秒”。
另外,在本实施方式中,作为第2字符串和第8字符串,使用了作为表示热量的SI单位的“W(瓦特)”,但只要是表示加热功率的单位,则也可以是其他字符或单位。并且,作为第4字符串、第6字符串、第10字符串以及第12字符串,使用了“分”或“秒”来作为表示时间的单位的字符,但只要是表示时间的单位的字符,则也可以是其他字符或单位。
首先,读取部20从照相机16所拍摄的图像中提取标记框29。接着,读取部20将包围在标记框29中的英文数字读取为“500W2001500W040”这一字符串。这里,读取部20不读取“分”、“秒”之类的表示时间单位的字符,或者即使读取也不用于分析。
然后,读取部20根据预先确定的分析规则,将字符串分解为“W”之前的数字串、“W”之后的3位数字串、接着该3位数字串的“W”之前的数字串以及“W”之后的3位数字串这4个数字串而获得“500”、“200”、“1500”、“040”。此外,第2个数字串和第4个数字串分别被分析为最初的1位为“分”,之后的2位为“秒”。并且,读取部20分析为第1个数字串为加热功率,并且与第2个数字串的时间对应,并且分析为第3个数字串为加热功率,并且与第4个数字串的时间对应。其结果是,读取部20读取出“500W和2分”、“1500W和40秒”这一加热信息。
根据图2,继续进行说明。使用者打开门3将食品放入到加热仓12,然后将门3关闭。当通过门开关17检测到门被打开、关闭的情况时,读取部20从照相机16所拍摄到的加热仓12内部的图像中如上述那样读取加热控制信息。
当读取部20读取出两种加热控制信息时,从两种加热控制信息中选择出微波炉1所使用的加热功率的范围内的、功率较大的加热控制信息,并发送到操作显示部6和加热控制部14。操作显示部6将该加热控制信息中所包含的加热时间显示于液晶显示器7。
使用者对液晶显示器7中显示出适当的时间的情况进行确认,然后按下加热开始按钮9。加热控制部14在从门开关17接收到门3关闭并且从操作显示部6接收到加热开始按钮9被按下时,对磁控管13进行控制,使得按照从读取部20发送来的加热控制信息所包含的加热功率和加热时间对食品进行加热。
接着,对载置位置引导部30进行说明。载置位置引导部30用于根据照相机16所拍摄到的图像来检测食品被放置于何处,从而在使食品移动的方向上引导食品。
在使用者将食品放入到加热仓12中时,在因偏置放置等而导致加热控制信息23和标记框29未进入到照相机16的拍摄范围的情况下,优选载置位置引导部30根据照相机16所拍摄到的图像来检测食品被放置在何处,从而确定使食品移动的方向。以下,说明如下情况:在标记框29未进入到照相机16的拍摄范围时,载置位置引导部30确定使食品移动的方向(引导方向)并将该方向显示于液晶显示器7。
载置位置引导部30具有仓内空图像存储部31、图像比较部32、引导方向确定部33以及空图像临时存储部34。仓内空图像存储部31对仓内未放置食品的空置状态时的图像(仓内空图像)进行存储。图像比较部32通过对照相机16所拍摄到的仓内图像和仓内空图像存储部31所存储的仓内空图像进行比较,从仓内图像中去除仓内的底面部分而仅提取食品部分。引导方向确定部33检测该食品部分被偏置放置在仓内图像整体中的何处,判定应该朝哪个方向移动食品而确定引导方向。
空图像临时存储部34为了将加热仓12中未放置食品的空置状态的图像存储于仓内空图像存储部31,在通过磁控管13进行了加热之后利用门开关17检测到门3关闭时,对照相机16所拍摄到的图像进行临时存储。
通常,使用者为了取出放入食品而对门3进行开闭。在放入食品而将门3关闭之后,对加热开始按钮9进行操作,从而进行食品的加热。在加热结束之后打开门3。
使用者将食品取出而将门3关闭时是加热仓12的空置状态。在该状态时,在接下来为了放入食品而打开门3之前,不会通过加热开始按钮9的操作来加热食品。
因此,在门从打开状态变为关闭状态时拍摄到的图像中,在接下来门变为打开状态之前没有进行加热开始按钮9的操作的图像很有可能是加热仓12内为空置状态时拍摄到的图像。
因此,在利用门开关17检测到门3关闭时,照相机16每次都对加热仓12内的影像进行拍摄。并且,空图像临时存储部34每次都对照相机16拍摄到的图像进行存储。然后,当没有按下加热开始按钮9而利用门开关17检测到门3打开时,仓内空图像存储部31提取存储于空图像临时存储部34的图像而存储为仓内空图像。
但是,还存在不对食品进行加热,而利用载置位置引导部30所进行的引导使食品的载置部位移动后将门3关闭的情况,所以优选照相机16只有在食品被加热后的门开闭的情况下才进行拍摄。或者,优选空图像临时存储部34只有在食品被加热后的门开闭的情况下才对照相机16所拍摄到的图像进行存储。
接着,对基于图像比较部32的比较方法进行说明。图像比较部32对照相机16所拍摄到的仓内图像和仓内空图像存储部31所存储的仓内空图像进行比较并提取差分。具体来说,针对相同位置的像素,计算照相机16所拍摄到的仓内图像的各像素的灰度等级值、与仓内空图像存储部31所存储的仓内空图像的各像素的灰度等级值之差。然后,对该差为规定的范围以上的像素的位置进行提取。通过以这种方式进行提取,可提取出与仓内空图像存在差异的像素的位置。其结果是,提取出放置有食品的位置。
接着,使用图4~图7对基于图像比较部32的比较结果的、引导方向确定部33的判定方法进行说明。引导方向确定部33根据图像比较部32所提取的放置有食品的位置(食品位置)是否为与仓内图像的周围的某个边接触的位置来进行分类。
首先,引导方向确定部33判定食品位置是否为与仓内图像的周围的四个边中的某几个边接触的位置。
使用图4对食品位置是与仓内图像的一个边接触的位置的例子进行说明。图4是仅提取了食品部分的差分图像,在图4中,斜线部分是图像比较部32所提取出的放置有食品的位置。
图4中的(a)示出了食品位置与仓内图像的周围的下侧的一个边接触。根据该图像,判断为食品在照相机16的拍摄范围中偏向前侧(门3侧)放置。在该情况下,引导方向确定部33将引导方向确定为后侧。然后,在液晶显示器7中显示“请向里面放置”。
并且,图4中的(b)示出了食品位置与仓内图像的周围的左侧的一个边接触。根据该图像,判断为食品在照相机16的拍摄范围中偏向朝着加热仓12里面的左侧放置。在该情况下,引导方向确定部33将引导方向确定为朝着加热仓12里面的右侧。然后,在液晶显示器7中显示“请向右侧放置”。
并且,图4中的(c)表示食品位置与仓内图像的周围的上侧的一边接触。根据该图像,判断为食品在照相机16的拍摄范围中偏向后侧放置。在该情况下,引导方向确定部33将引导方向确定为前侧。然后,在液晶显示器7中显示“请向前面放置”。
并且,图4中的(d)表示食品位置与仓内图像的周围的右侧的一边接触。根据该图像,判断为食品在照相机16的拍摄范围中偏向朝着加热仓12的里面的右侧放置。在该情况下,引导方向确定部33将引导方向确定为朝着加热仓12的里面的左侧。然后,在液晶显示器7中显示“请向左侧放置”。
也就是说,在食品位置是与仓内图像的周围的四个边中的1个边接触的位置的情况下,引导方向确定部33将与该接触的边对置的边所位于的方向设为应该使食品移动的方向。
接着,使用图5对食品位置是与仓内图像的相邻的两个边接触的位置的例子进行说明。图5也与图4同样,是仅提取了食品部分的差分图像,在图5中,斜线部分是图像比较部32所提取出的放置有食品的位置。
图5中的(a)示出了食品位置与仓内图像的周围的左侧和下侧的两个边接触。根据该图像,判断为食品在照相机16的拍摄范围中偏向朝着加热仓12里面的左前侧放置。在该情况下,引导方向确定部33将引导方向确定为朝着加热仓12里面的右后侧。然后,在液晶显示器7中显示“请向右后侧放置”。
图5中的(b)示出了食品位置与仓内图像的周围的左侧和上侧的两个边接触。根据该图像,判断为食品在照相机16的拍摄范围中偏向朝着加热仓12的左后侧放置。在该情况下,引导方向确定部33将引导方向确定为朝着加热仓12里面的右前侧。然后,在液晶显示器7中显示“请向右前侧放置”。
图5中的(c)示出了食品位置与仓内图像的周围的右侧和上侧的两个边接触。根据该图像,判断为食品在照相机16的拍摄范围中偏向朝着加热仓12的里面的右后侧放置。在该情况下,引导方向确定部33将引导方向确定为朝着加热仓12的里面的左前侧。然后,在液晶显示器7中显示“请向左前侧放置”。
图5中的(d)示出了食品位置与仓内图像的周围的右侧和下侧的两个边接触。根据该图像,判断为食品在照相机16的拍摄范围中偏向朝着加热仓12的里面的右前侧放置。在该情况下,引导方向确定部33将引导方向确定为朝着加热仓12的里面的左后侧。然后,在液晶显示器7中显示“请向左后侧放置”。
也就是说,在食品位置是与仓内图像的周围的四个边中的两个边接触的位置的情况下,引导方向确定部33将与这两个接触的边所形成的角部对置的角部所位于的方向设为应该使食品移动的方向。由此,作为应该使食品移动的方向,引导方向确定部33不仅可以选择加热仓12的左右方向或深度方向,还可以选择包括右后或左前等倾斜方向在内的方向。因此,使用者更容易理解使食品移动的方向。
接着,使用图6对食品位置是与仓内图像的三个边接触的位置的例子进行说明。图6也与图4同样,是仅提取了食品部分的差分图像,在图6中,斜线部分是图像比较部32所提取出的放置有食品的位置。
图6中的(a)示出了食品位置与仓内图像的周围的下侧、左侧和上侧的三个边接触。根据该图像,判断为食品在照相机16的拍摄范围中偏向朝着加热仓12的里面的左侧放置。并且,由于食品位置与仓内图像的上侧和下侧的两个边接触,所以判断为食品在深度方向上无偏向。在该情况下,引导方向确定部33将引导方向确定为右侧。然后,在液晶显示器7中显示“请向右侧放置”。
图6中的(b)示出了食品位置与仓内图像的周围的左侧、上侧和右侧的三个边接触。根据该图像,判断为食品在照相机16的拍摄范围中偏向加热仓12的后侧放置。并且,由于食品位置与仓内图像的左侧和右侧的两个边接触,所以判断为食品在左右方向上无偏向。在该情况下,引导方向确定部33将引导方向确定为前侧。然后,在液晶显示器7中显示“请向前侧放置”。
图6中的(c)示出了食品位置与仓内图像的周围的上侧、右侧和下侧的三个边接触。根据该图像,判断为食品在照相机16的拍摄范围中偏向朝着加热仓12里面的右侧放置。并且,由于食品位置与仓内图像的下侧和上侧的两个边接触,所以判断为食品在深度方向上无偏向。在该情况下,引导方向确定部33将引导方向确定为左侧。然后,在液晶显示器7中显示“请向左侧放置”。
图6中的(d)示出了食品位置与仓内图像的周围的右侧、下侧和左侧的三个边接触。根据该图像,判断为食品在照相机16的拍摄范围中偏向朝着加热仓12里面的前侧放置。并且,由于食品位置与仓内图像的左侧和右侧的两个边接触,所以判断为食品在左右方向上无偏向。在该情况下,引导方向确定部33将引导方向确定为后侧。然后,在液晶显示器7中显示“请向后侧放置”。
也就是说,在食品位置是与仓内图像的周围的四个边中的3个边接触的位置的情况下,引导方向确定部33将与3个边中的位于中央的边对置的边所位于的方向设为应该使食品移动的方向。
接着,使用图7对无法判断应该朝哪个方向引导的例子进行说明。图7也与图4同样,是仅提取了食品部分的差分图像,在图7中,斜线部分是图像比较部32所提取出的放置有食品的位置。
图7中的(a)示出了食品位置与仓内图像的周围的任何边都不接触。根据该图像,判断为食品被放置在照相机16的拍摄范围的中央。
并且,图7中的(b)示出了食品位置与仓内图像的四个边全部接触。根据该图像,判断为食品在照相机16的拍摄范围中不偏向任何边,也就是说,食品被放置在中央。
图7中的(c)示出了食品位置与仓内图像的下侧和上侧的两个边接触。根据该图像,判断为食品在照相机16的拍摄范围中既不偏向前侧也不偏向后侧,并且也不偏向左侧或右侧,也就是说,食品被放置在中央。
图7中的(d)是食品位置为与仓内图像的左侧和右侧的两个边接触的位置的情况下的差分图像。根据该图像,判断为食品在照相机16的拍摄范围中既不偏向左侧也不偏向右侧,并且也不偏向前侧或后侧,也就是说,食品被放置在中央。
根据图7所示的差分图像,判断为食品被放置在中央,因此引导方向确定部33无法确定引导方向。因此,引导方向确定部33例如将“请手动设定”显示于液晶显示器7。这很可能是因为加热控制信息23和标记框29未被印刷于食品的容器等。
如以上说明的那样,在标记框29未进入到照相机16的拍摄范围的情况下,载置位置引导部30根据图像比较部32所提取出的放置有食品的位置是否为与仓内图像的周围的某个边接触的位置来确定使食品移动的方向。
首先,引导方向确定部33判定食品位置是否为与仓内图像的周围的四个边中的某些边接触的位置。在食品位置是与仓内图像的周围的四个边中的任何1个边都不接触的位置的情况下,或者是与4个边都接触的位置的情况下,不用确定使食品移动的方向,在液晶显示器7中进行提醒基于操作显示部6来设定的消息等显示。
并且,在食品位置是仅与仓内图像的周围的四个边中的1个边接触的位置的情况下,将与该接触的边对置的边所位于的方向设为应该使食品移动的方向,在液晶显示器7中显示该方向。
并且,在食品位置是与仓内图像的周围的四个边中的两个边接触的位置的情况下,判定该两个边是对置的边还是相邻的边,如果与食品接触的两个边是对置的边,则不用确定使食品移动的方向,在液晶显示器7中进行提醒基于操作显示部6来设定的消息等显示。并且,如果与食品接触的两个边是相邻的边,则将与这两个接触的边所形成的角部对置的角部所位于的方向设为应该使食品移动的方向,在液晶显示器7中显示该方向。
并且,在食品位置是与仓内图像的周围的四个边中的3个边接触的位置的情况下,将与位于3个边中的中央的边对置的边所位于的方向设为应该使食品移动的方向,在液晶显示器7中显示该方向。
在图8和图9中示出了对加热控制部14、加热控制信息识别部19以及载置位置引导部30的动作流程进行说明的流程图。图8是示出门3从打开状态变为关闭状态的情况下的各个动作的流程图。图9是示出门3从关闭状态变为打开状态的情况下的各个动作的流程图。
首先,门3的从打开状态到关闭状态的变化能够通过门开关17来检测。具体来说,是门开关17在检测到门3的打开状态之后检测到关闭状态的情况。
在图8中,在步骤S1中,检查加热标志是否为“1”,如果加热标志是“1”,则进入到步骤S2,另一方面,如果加热标志不是1,则进入到步骤S5。加热标志是用于区分是否通过磁控管13进行了加热的标志,是如果进行了加热则为“1”、如果未进行加热则为“0”的1比特的变量。
在步骤S2中,照相机16对加热仓12内进行拍摄。在步骤S3中,空图像临时存储部34对照相机16所拍摄到的仓内图像进行存储。在步骤S4中,将加热标志从“1”复位为“0”。
在步骤S5中,读取部20从照相机16拍摄到的仓内图像中搜索标记框29,如果找到标记框29,则进入到步骤S6,另一方面,如果未找到标记框29,则进入到步骤S10。
在步骤S6中,读取部20读取加热控制信息23。然后,进入到步骤S7。
在步骤S7中,加热控制部14检测使用者是否按下了加热开始按钮9,在按下了加热开始按钮9之后进入到步骤S8,另一方面,如果未按下,则重复步骤S7,一直等待至加热开始按钮9被按下。
然后,在步骤S8中,加热控制部14根据读取部20所读取的加热控制信息,通过磁控管13来进行食品的加热。在步骤S9中,使加热标志为“1”而结束处理。
当在上述步骤S5中读取部20未找到标记框29的情况下,在步骤S10中,图像比较部32对照相机16拍摄到的仓内图像和存储于仓内空图像存储部31的仓内空图像进行比较,提取差分图像。
在步骤S11中,引导方向确定部33根据该差分图像,按照如图4~图7所示那样进行接触的周围的边进行分类。也就是说,判定差分图像是否为图7的(a)~(d)中的某一个。更具体来说,在步骤S11中,引导方向确定部33根据该差分图像来判定放置有食品的位置是否为与仓内图像的周围的四个边中的某几个边接触的位置。
在步骤S11中,如果差分图像是图7的(a)~(d)中的某一个,则进入到步骤S12,另一方面,如果不是那样,则进入到步骤S13。这里,差分图像是图7的(a)~(d)中的某一个的情况是引导方向确定部33不能确定引导方向的情况。
或者,在步骤S11中,在差分图像的食品位置是与仓内图像的周围的四个边中的1个边也不接触的位置的情况、或者是与不相邻的两个边接触的位置的情况、或者是与4个边全部接触的位置的任意情况下,进入到步骤S12,另一方面,如果不是那样,则进入到步骤S13。
在步骤S12中,在液晶显示器7中显示“请手动设定”。之后,进入到步骤S15。
然后,在步骤S15中,判定是否手动设定了例如由加热功率和加热时间构成的加热控制信息,如果已手动设定,则进入到步骤S7,如前述那样加热控制部14等待加热开始按钮9被按下,另一方面,如果没有手动设定加热控制信息,则结束处理。
在上述步骤S11中进入到步骤S13的情况下,在步骤S13中,引导方向确定部33确定引导方向。
也就是说,在差分图像的食品位置是仅与仓内图像的周围的四个边中的1个边接触的位置的情况下,将与该接触的边对置的边所位于的方向设为引导方向。
并且,在差分图像的食品位置是与仓内图像的周围的四个边中的相邻的两个边接触的位置的情况下,将与这两个边所形成的角部对置的角部所位于的方向设为引导方向。
并且,在差分图像的食品位置是与仓内图像的周围的四个边中的3个边接触的位置的情况下,将与位于3个边中的中央的边对置的边所位于的方向设为引导方向。
然后,在步骤S14中,引导方向确定部33将在步骤S13中确定的引导方向显示于液晶显示器7。之后,结束处理。
接着,对门3从关闭状态变为打开状态的情况下的动作进行说明。门3的从关闭状态变为打开状态的变化能够通过门开关17来检测。具体来说,是门开关17在检测到门3的关闭状态之后检测到打开状态的情况。
如图9所示,在步骤S101中,载置位置引导部30检查在空图像临时存储部34中是否存储有图像,如果存储有图像,则进入到步骤S102,另一方面,如果没有存储图像,则结束处理。
在步骤S102中,检查加热标志是否为0,如果加热标志为0(即,未进行加热),则进入到步骤S103,如果加热标志不为0(即,进行了加热),则结束处理。
在进入到步骤S103的情况下,在门3从关闭状态切换为打开状态时,是在空图像临时存储部34中存储有图像并且未进行加热的情况。然后,可认为存储于空图像临时存储部34的图像是加热仓12内为空置状态的图像。因此,在步骤S103中,将存储于空图像临时存储部34的图像转移到仓内空图像存储部31。然后,结束处理。
这样,根据本实施方式,加热控制信息识别部19从照相机16拍摄到的加热仓12内的图像中识别被加热物的加热控制信息,加热控制部14根据该加热控制信息对磁控管13进行控制。因此,使用者不需要进行麻烦的操作。并且,在基于加热控制信息识别部19的识别较困难的情况下,载置位置引导部30提醒使用者将被加热物向照相机16的拍摄范围进行引导,因此能够利用具有1个照相机的简单结构来识别加热控制信息。
另外,在本实施方式中,通过读取加热控制信息的字符来进行识别,但也可以不是字符而是条形码等符号信息,此外还可以通过颜色或形状等进行识别。
如以上说明的那样,本发明具有:加热仓,其收纳被加热物;加热部,其对载置于加热仓的被加热物进行加热;拍摄部,其对加热仓内进行拍摄;以及加热控制信息识别部,其从拍摄部拍摄到的图像中识别被加热物的加热控制信息。此外,还具有:加热控制部,其根据加热控制信息识别部所识别出的加热控制信息,对加热部进行控制;以及载置位置引导部,其将加热物的载置位置向拍摄部的拍摄范围进行引导。
利用该结构,加热烹调器的加热控制信息识别部从拍摄部拍摄到的加热仓内的图像中识别被加热物的加热控制信息,加热控制部根据该加热控制信息对加热部进行控制,其中,在基于加热控制信息识别部的识别较困难的情况下,载置位置引导部将被加热物向拍摄部的拍摄范围进行引导,因此能够通过具有1个照相机的简单结构来识别加热控制信息,从而自动设定加热控制内容。
并且,关于本发明,也可以是,在加热控制信息识别部未找到加热控制信息的情况下,载置位置引导部将被加热物的载置位置向拍摄部的拍摄范围进行引导。
利用该结构,在加热控制信息识别部未找到加热控制信息的情况下,载置位置引导部将被加热物的载置位置向拍摄范围进行引导,因此能够通过具有1个照相机的简单结构来识别加热控制信息,从而自动设定加热控制内容。
并且,关于本发明,也可以具有:仓内空图像存储部,其对加热仓内未载置被加热物的状态下的图像进行存储;图像比较部,其对拍摄部拍摄到的图像和仓内空图像存储部所存储的图像进行比较;以及引导方向确定部,其根据图像比较部的比较结果,判定被加热物的载置位置,确定引导方向。
利用该结构,图像比较部对拍摄到的图像和存储于仓内空图像存储部的未载置食品时的图像进行比较,引导方向确定部判定被加热物的载置位置以确定引导方向,因此能够将被加热物向拍摄部的拍摄范围内进行引导,能够通过具有1个照相机的简单结构来识别加热控制信息,从而自动设定加热控制内容。
并且,关于本发明,也可以具有:门,其对加热仓进行开闭;门开关,其检测门的开闭;操作部,其对基于加热部的加热的开始进行操作;以及空图像临时存储部,其在加热部进行了加热之后、且门开关检测到门的打开状态之后检测到关闭状态时,对拍摄部拍摄到的图像进行存储。此外,在门开关检测到门的关闭状态之后,在操作部没有进行开始加热的操作而门开关检测到门的打开状态时,将存储于空图像临时存储部的图像转移到仓内空图像存储部。
根据该结构,空图像临时存储部对加热后且门从打开状态变为关闭状态时拍摄到的图像进行存储。但不知道该图像是仓内为空置状态的图像还是仓内具有被加热物的状态的图像。不过,之后,如果在到门变为打开状态为止都不存在开始加热的操作,则可认为存储于空图像临时存储部的图像是在仓内为空置状态时拍摄到的图像。因此,通过将该图像转移到仓内空图像存储部,能够始终存储最新的仓内为空置状态的图像。由此,能够适当进行与空置状态的图像的比较,从而能够将被加热物向拍摄部的拍摄范围内进行引导,能够利用具有1个照相机的简单结构来识别加热控制信息,从而自动设定加热控制内容。
产业上的可利用性
如以上那样,根据本发明,使用者仅通过将食品放入到加热仓内便能够读取印刷于该食品的容器等的加热控制信息,从而能够相应地进行适当加热,因此不存在设定的麻烦,除了用于商店的微波炉、家庭用的微波炉之外,还可以通过与读取加热控制信息的装置连接而应用于电饭煲、IH烹调加热器等整个烹调器系列。
标号说明
1:微波炉;2:壳体;3:门;4:玻璃窗;5:把手;6:操作显示部;7:液晶显示器;8:时间设定按钮组;9:加热开始按钮;10:取消按钮;11:暂停按钮;12:加热仓;13:磁控管(加热部);14:加热控制部;15:照明;16:照相机(拍摄部);17:门开关;18:突起部;19:加热控制信息识别部;20:读取部;21:封条;22:商品名称;23:加热控制信息;24:金额信息;25:保质期信息;26:条形码;27:营养信息;28:通知信息;29:标记框;30:载置位置引导部;31:仓内空图像存储部;32:图像比较部;33:引导方向确定部;34:空图像临时存储部。

Claims (3)

1.一种加热烹调器,其具有:
加热仓,其收纳被加热物;
加热部,其对载置于所述加热仓的所述被加热物进行加热;
拍摄部,其对所述加热仓内进行拍摄;
加热控制信息识别部,其从所述拍摄部拍摄到的图像中识别所述被加热物的加热控制信息;
加热控制部,其根据所述加热控制信息识别部所识别出的加热控制信息,对所述加热部进行控制;
载置位置引导部,其将所述被加热物的载置位置向所述拍摄部的拍摄范围进行引导;以及
操作显示部,其显示由所述载置位置引导部所决定的引导方向,
在收纳于所述加热仓的所述被加热物的所述加热控制信息未进入所述拍摄部的拍摄范围而使得所述加热控制信息识别部无法识别所述加热控制信息的情况下,所述载置位置引导部确定将所述被加热物在所述加热仓内的载置位置引导至所述拍摄部的拍摄范围的方向,并显示于所述操作显示部。
2.根据权利要求1所述的加热烹调器,其中,该加热烹调器具有:
仓内空图像存储部,其对所述加热仓内未载置所述被加热物的状态下的图像进行存储;
图像比较部,其对所述拍摄部拍摄到的图像和所述仓内空图像存储部所存储的图像进行比较;以及
引导方向确定部,其根据所述图像比较部的比较结果,判定所述被加热物的载置位置,确定引导方向。
3.根据权利要求2所述的加热烹调器,其中,该加热烹调器具有:
门,其对所述加热仓进行开闭;
门开关,其检测所述门的开闭;
操作部,其对基于所述加热部的加热的开始进行操作;以及
空图像临时存储部,其在所述加热部进行了加热之后、且所述门开关检测到所述门的打开状态之后检测到关闭状态时,对所述拍摄部拍摄到的图像进行存储,
在所述门开关检测到所述门的关闭状态之后,在所述操作部没有进行开始加热的操作而所述门开关检测到所述门的打开状态时,将存储于所述空图像临时存储部的图像转移到所述仓内空图像存储部。
CN201780035125.XA 2016-07-11 2017-06-23 加热烹调器 Active CN109312929B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016136485 2016-07-11
JP2016-136485 2016-07-11
PCT/JP2017/023118 WO2018012245A1 (ja) 2016-07-11 2017-06-23 加熱調理器

Publications (2)

Publication Number Publication Date
CN109312929A CN109312929A (zh) 2019-02-05
CN109312929B true CN109312929B (zh) 2020-09-15

Family

ID=60952948

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780035125.XA Active CN109312929B (zh) 2016-07-11 2017-06-23 加热烹调器

Country Status (5)

Country Link
US (1) US10986703B2 (zh)
EP (1) EP3483507B1 (zh)
JP (1) JP6920594B2 (zh)
CN (1) CN109312929B (zh)
WO (1) WO2018012245A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111279792A (zh) * 2017-09-18 2020-06-12 国际制造技术咨询有限两合公司 监控系统以及食物制备系统
JP7142320B2 (ja) * 2018-04-19 2022-09-27 パナソニックIpマネジメント株式会社 加熱調理器
CN113227657A (zh) * 2018-12-28 2021-08-06 惠而浦公司 用于微波炉的透明lcd解决方案
DE102019203629A1 (de) * 2019-03-18 2020-09-24 BSH Hausgeräte GmbH Speichern von mittels eines Haushaltsgeräts aufgenommenen Bildern
US11265518B2 (en) * 2019-09-03 2022-03-01 BOB Profit Partners LLC Camera system monitor for shopping cart bottom shelf
JP7374864B2 (ja) 2020-07-13 2023-11-07 シャープ株式会社 加熱調理器
BE1029128B1 (de) * 2021-02-22 2022-09-19 Miele & Cie Verfahren zum Betreiben eines Gargeräts und Gargerät
US20230020205A1 (en) * 2021-07-19 2023-01-19 Rayford Hull In-Kitchen Label System

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0722310U (ja) 1993-09-14 1995-04-21 株式会社日立ホームテック 加熱調理器
JPH08236268A (ja) * 1995-02-28 1996-09-13 Toshiba Corp 電子レンジ
JP3588333B2 (ja) * 2001-04-03 2004-11-10 三洋電機株式会社 加熱調理装置
KR20040059142A (ko) * 2002-12-28 2004-07-05 삼성전자주식회사 전자레인지 및 그 제어 방법
JP2006145142A (ja) * 2004-11-22 2006-06-08 Fuji Photo Film Co Ltd 電子レンジ
KR20070005808A (ko) * 2005-07-06 2007-01-10 삼성전자주식회사 바코드를 이용하는 조리 장치와 조리 시스템 및 조리 제어방법
JP5104021B2 (ja) 2007-05-15 2012-12-19 パナソニック株式会社 マイクロ波加熱装置
JP2009127922A (ja) * 2007-11-22 2009-06-11 Panasonic Corp 電子レンジ
US9538880B2 (en) * 2012-05-09 2017-01-10 Convotherm Elektrogeraete Gmbh Optical quality control system
JP5658327B2 (ja) * 2012-07-10 2015-01-21 シャープ株式会社 電気機器
US9420641B2 (en) * 2013-01-23 2016-08-16 Whirlpool Corporation Microwave oven multiview silhouette volume calculation for mass estimation
JP5653465B2 (ja) * 2013-02-06 2015-01-14 三菱電機株式会社 加熱調理器
CN105378388B (zh) * 2013-07-08 2018-01-02 夏普株式会社 加热烹调器
JP6586274B2 (ja) 2014-01-24 2019-10-02 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 調理装置、調理方法、調理制御プログラム、および、調理情報提供方法
CN203964055U (zh) * 2014-07-04 2014-11-26 广东美的厨房电器制造有限公司 微波炉
US10210444B2 (en) 2015-06-30 2019-02-19 Panasonic Intellectual Property Corporation Of America Cooking assistance method and cooking apparatus
JP6906146B2 (ja) 2016-04-11 2021-07-21 パナソニックIpマネジメント株式会社 加熱調理器、加熱調理器の制御方法、および、加熱調理システム

Also Published As

Publication number Publication date
CN109312929A (zh) 2019-02-05
JPWO2018012245A1 (ja) 2019-04-25
EP3483507A4 (en) 2020-04-01
EP3483507A1 (en) 2019-05-15
US20190141797A1 (en) 2019-05-09
US10986703B2 (en) 2021-04-20
WO2018012245A1 (ja) 2018-01-18
JP6920594B2 (ja) 2021-08-18
EP3483507B1 (en) 2022-04-27

Similar Documents

Publication Publication Date Title
CN109312929B (zh) 加热烹调器
CN109539334B (zh) 加热烹饪器
JP2005140418A (ja) 加熱調理器
US11229093B2 (en) Cooker
CN109964083B (zh) 加热烹调器以及加热烹调器的控制方法
CN108700303B (zh) 加热烹调器
WO2019159518A1 (ja) 加熱調理器および加熱調理システム
JP6920591B2 (ja) 加熱調理器
CN109844410B (zh) 加热烹调器以及加热烹调器的控制方法
CN110832256A (zh) 加热烹调器
US20230276547A1 (en) Cooker
JP4726710B2 (ja) 注文管理装置および容器
WO2018186117A1 (ja) 加熱調理器
JP2020153615A (ja) 加熱調理器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant