CN108052858A - 抽油烟机的控制方法和抽油烟机 - Google Patents

抽油烟机的控制方法和抽油烟机 Download PDF

Info

Publication number
CN108052858A
CN108052858A CN201711052732.5A CN201711052732A CN108052858A CN 108052858 A CN108052858 A CN 108052858A CN 201711052732 A CN201711052732 A CN 201711052732A CN 108052858 A CN108052858 A CN 108052858A
Authority
CN
China
Prior art keywords
image information
lip image
lip
range hood
control instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711052732.5A
Other languages
English (en)
Inventor
黄玉钊
方召军
谢志强
巨姗
章龙
卫雪松
周荣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gree Electric Appliances Inc of Zhuhai
Original Assignee
Gree Electric Appliances Inc of Zhuhai
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gree Electric Appliances Inc of Zhuhai filed Critical Gree Electric Appliances Inc of Zhuhai
Priority to CN201711052732.5A priority Critical patent/CN108052858A/zh
Publication of CN108052858A publication Critical patent/CN108052858A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Neurology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Ventilation (AREA)

Abstract

本发明公开了一种抽油烟机的控制方法和抽油烟机。其中,该方法包括:获取目标对象的第一唇部图像信息;使用第一模型对上述第一唇部图像信息进行分析,确定上述第一唇部图像信息对应的第一识别内容,其中,上述第一模型为使用多组数据通过机器学习训练得到的,上述多组数据中的每组数据均包括:唇部图像信息和唇部图像信息所对应的内容;依据上述第一识别内容生成第一控制指令;依据上述第一控制指令控制上述抽油烟机执行与上述第一控制指令对应的动作。本发明解决了现有的抽油烟机需要依靠人工手动操作,导致用户使用体验感降低的技术问题。

Description

抽油烟机的控制方法和抽油烟机
技术领域
本发明涉及电器控制领域,具体而言,涉及一种抽油烟机的控制方法和抽油烟机。
背景技术
随着人民生活水平的提高和对品质生活的要求,抽油烟机不仅用在饭店、餐厅等大型场所,而是已经走进千家万户,越来越多的家庭使用抽油烟机净化厨房空气。
相关技术中,传统抽油烟机,需要依靠人工手动操作进行控制,例如,通过手动点击抽油烟机上设置的按键(按钮),或旋转档位开关来控制抽油烟机工作。但是,依靠人工进行手动控制抽油烟机存在极大的不便,例如,当用户正在做饭时,需要手动操作控制抽油烟机,手上不可避免会沾上油污,导致用户使用体验感降低,再例如,用户当前可能在操作其他家务,无法兼顾对抽油烟机的控制,无法实现及时对抽油烟机进行调节控制。
由上可知,现有的抽油烟机的控制方法已经难以满足用户的需求,由于需要依靠人工手动操作按键或者开关带来了诸多不便,会导致抽油烟机的吸烟效果不佳的问题,严重影响了用户的身体健康和使用体验。
针对上述现有的抽油烟机需要依靠人工手动操作,导致用户使用体验感降低的问题,目前尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种抽油烟机的控制方法和抽油烟机,以至少解决现有的抽油烟机需要依靠人工手动操作,导致用户使用体验感降低的技术问题。
根据本发明实施例的一个方面,提供了一种抽油烟机的控制方法,包括:获取目标对象的第一唇部图像信息;使用第一模型对上述第一唇部图像信息进行分析,确定上述第一唇部图像信息对应的第一识别内容,其中,上述第一模型为使用多组数据通过机器学习训练得到的,上述多组数据中的每组数据均包括:唇部图像信息和唇部图像信息所对应的内容;依据上述第一识别内容生成第一控制指令;依据上述第一控制指令控制上述抽油烟机执行与上述第一控制指令对应的动作。
进一步地,获取目标对象的第一唇部图像信息,包括:获取上述目标对象的唇部运动时的视频序列;从上述视频序列中提取关键帧,将上述关键帧对应的图像信息作为上述第一唇部图像信息。
进一步地,依据上述第一识别内容生成第一控制指令之前,上述方法还包括:获取上述目标对象在上述关键帧对应的时刻的语音信息;识别上述语音信息,得到第二识别内容;将上述第一识别内容和第二识别内容进行匹配;在上述第一识别内容和上述第二识别内容一致时,将上述第一识别内容作为生成上述第一控制指令的依据。
进一步地,依据上述第一识别内容生成第一控制指令之前,上述方法还包括:获取上述目标对象的第二唇部图像信息,其中,上述第二唇部图像信息和上述第一唇部图像信息为从不同角度同时采集的图像信息;使用第一模型对上述第二图像信息进行分析,确定上述第二唇部图像信息对应的第二识别内容。
进一步地,依据上述第一识别内容生成第一控制指令之前,上述方法还包括:比较上述第一识别内容和上述第二识别内容信息,并在上述第一识别内容和上述第二识别内容的差异小于预设阈值时,从上述第一识别内容和上述第二识别内容中任意选择一个识别内容,作为生成上述第一控制指令的依据。
进一步地,上述第一唇部图像信息和上述第二唇部图像信息中的至少一个为上述目标对象的唇部的部分图像信息。
进一步地,获取目标对象的第一唇部图像信息,包括:获取上述目标对象的第三唇部图像信息和第四唇部图像信息;其中,上述第三唇部图像信息和上述第四唇部图像信息均为上述目标对象的唇部的部分图像信息;将上述第三唇部图像信息和上述第四唇部图像信息进行组合,得到上述第一唇部图像信息。
进一步地,依据上述第一控制指令控制上述抽油烟机执行与上述第一控制指令对应的动作,包括:依据上述第一控制指令控制上述抽油烟机的风量档位,其中,不同的风量档位对应不同的风量值;或者,依据上述第一控制指令控制上述抽油烟机的开启或关闭。
进一步地,依据上述第一控制指令控制上述抽油烟机的风量档位之后,上述方法还包括:检测预设时间段内产生的第二控制指令;在上述第二控制指令和上述第一控制指令中的内容相同时,提高或降低上述风量档位。
根据本发明实施例的另一方面,还提供了一种抽油烟机,包括:图像采集装置,用于获取目标对象的第一唇部图像信息;处理器,用于使用第一模型对上述第一唇部图像信息进行分析,确定上述第一唇部图像对应的第一识别内容,其中,上述第一模型为使用多组数据通过机器学习训练得到的,上述多组数据中的每组数据均包括:唇部图像信息和唇部图像信息所对应的内容;依据上述第一识别内容生成控制指令;依据上述控制指令控制上述抽油烟机执行与上述控制指令对应的动作。
在本发明实施例中,采用智能控制的方式,通过获取目标对象的第一唇部图像信息;使用第一模型对上述第一唇部图像信息进行分析,确定上述第一唇部图像信息对应的第一识别内容,其中,上述第一模型为使用多组数据通过机器学习训练得到的,上述多组数据中的每组数据均包括:唇部图像信息和唇部图像信息所对应的内容;依据上述第一识别内容生成第一控制指令;依据上述第一控制指令控制上述抽油烟机执行与上述第一控制指令对应的动作,达到了根据用户唇语智能控制抽油烟机的目的,从而实现了提高抽油烟机的智能化程度,增强用户体验感的技术效果,进而解决了现有的抽油烟机需要依靠人工手动操作,导致用户使用体验感降低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例的一种抽油烟机的控制方法的步骤流程图;
图2是根据本发明实施例的一种可选的抽油烟机的控制方法的步骤流程图;
图3是根据本发明实施例的一种抽油烟机的结构示意图;
图4是根据本发明实施例的一种抽油烟机的控制装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,为方便理解本发明实施例,下面将对本发明中所涉及的部分术语或名词进行解释说明:
像素:是计算机屏幕上所能显示的最小单位,用来表示图像的单位,指可以显示出的水平和垂直像素的数组,屏幕中的像素点越多,画面的分辨率越高,图像就越细腻和逼真;像素点:指像素的数值。
二值化:是指对摄像头拍摄的图片,大多数是彩色图像,彩色图像所含信息量巨大,对于图片的内容,可以简单的分为前景与背景,先对彩色图进行处理,使图片只有前景信息与背景信息,可以简单的定义前景信息为黑色,背景信息为白色,这就是二值化图了。
CNN:卷积神经网络,是指描述了对输入图像的操作,输出一组描述图像内容的分类或分类的概率,即对输入的图像进行识别,以输出图像中的对象的概率;通过一系列卷积层级建构出更为抽象的概念,包括建立多个神经元,并建立对应的输入层和输出层,从而将输入的节点通过神经元不断关联,得到优化对象,一般会包括卷积层、过滤层,通过前向传导、损失函数、后向传导、以及函数更新作为一个学习周期,对每一训练图片,程序将重复固定数目的周期过程,以不断优化训练学习结果。
以图搜图:是指在获取到图像后,通过深度学习对结果进行排序,并通过用户记录的三元组数据(查询图片、点击图片和未点击图片)来训练模型的排序损失函数,从而得到排序结果,在输入一张图像后,模型会自动检测出主体,然后按照排序分数高低排出相关对象的结果。
迁移学习:实质是图像匹配,通过迁移学习将模型应用在各个领域中,具体是数据库中的图片的矢量表示X通过线性变换迁移到别的领域的图像X1上,通过引用随机傅里叶函数,将迁移变换转变为非线性函数,然后得到需要的图像。
朴素贝叶斯:是指给一张图片,可以返回对象分类,将图片识别作为一个简单的态度,以得到相应的对象。
决策树:是指根据特征进行分类,每个节点提出一个问题,将数据分为两类,并继续提问,这些问题是在已有的数据上学习训练的,以在投入新数据时,根据数据所在的树上的问题,将数据划分到对应的叶子上。
深度学习:是机器学习中一种基于对数据进行表征学习的方法,概念源于人工神经网络的研究,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示,含多隐层的多层感知器就是一种深度学习结构。
KNN算法:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。KNN算法中,所选择的邻居都是已经正确分类的对象。
实施例1
根据本发明实施例,提供了一种抽油烟机的控制方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
图1是根据本发明实施例的一种抽油烟机的控制方法的步骤流程图,如图1所示,该方法包括如下步骤:
步骤S102,获取目标对象的第一唇部图像信息;
步骤S104,使用第一模型对上述第一唇部图像信息进行分析,确定上述第一唇部图像信息对应的第一识别内容,其中,上述第一模型为使用多组数据通过机器学习训练得到的,上述多组数据中的每组数据均包括:唇部图像信息和唇部图像信息所对应的内容;
步骤S106,依据上述第一识别内容生成第一控制指令;
步骤S108,依据上述第一控制指令控制上述抽油烟机执行与上述第一控制指令对应的动作。
在本申请实施例中,采用智能控制的方式,通过获取目标对象的第一唇部图像信息;使用第一模型对上述第一唇部图像信息进行分析,确定上述第一唇部图像信息对应的第一识别内容,其中,上述第一模型为使用多组数据通过机器学习训练得到的,上述多组数据中的每组数据均包括:唇部图像信息和唇部图像信息所对应的内容;依据上述第一识别内容生成第一控制指令;依据上述第一控制指令控制上述抽油烟机执行与上述第一控制指令对应的动作,达到了根据用户唇语智能控制抽油烟机的目的,从而实现了增强用户体验感的技术效果,进而解决了现有的抽油烟机需要依靠人工手动操作,导致用户使用体验感降低的技术问题。
可选的,上述目标对象可以为用户,但不限于人类,例如,随着人工智能的发展,智能机器人也可以代替人类,完成清洁卫生、洗衣烧饭等家务,仿真类机器人也可以根据预先设置的唇语,对本申请中所提供的抽油烟机进行调节控制。
需要说明的是,在依据第一控制指令控制抽油烟机执行上述控制动作之后,可以但不限于再次采集用户的唇部图像信息,使用第一模型对该唇部图像信息进行分析,确定对应的识别内容,并根据该识别内容生成控制指令,在此时的控制指令和之前的第一控制指令一致的情况下,依据此时的控制指令对抽油烟机进行控制。
本申请实施例中,可以在设置有上述抽油烟机的房间内的指定区域设置一个或多个图像采集装置,(例如,摄像头),以采集目标对象的唇语图像信息,本申请中对于摄像头的设置位置不作具体限定,例如,图像采集装置可以设置在抽油烟机上,例如,设置在抽油烟机的抽风口处,或者,设置在抽油烟机的边缘位置。
以上述抽油烟机设置在普通居民家庭为例,上述摄像头可以在靠近抽油烟机的位置,或抽油烟机上,分别设置一个摄像头;但是如果上述抽油烟机设置在饭店、餐厅、酒店等大型场所,上述摄像头的设置个数和部署范围,则除上述设置方式之外,还可以根据具体情况适应性增加设置。
通过设置在不同位置的摄像头,可以分别采集抽油烟机所在区域的目标对象的唇部图像信息,在一种可选的实施例中,可以通过以下实施方式获取上述目标对象的第一唇部图像信息:获取上述目标对象的唇部运动时的视频序列;从上述视频序列中提取关键帧,将上述关键帧对应的图像信息作为上述第一唇部图像信息。
需要说明的是,在采集目标对象的唇部图像信息时,可以是每隔预设时间段(例如,每隔一分钟)拍摄或录制一次图像,然后目标对象的唇部运动时的视频序列,并依从上述视频序列中提取关键帧,将上述关键帧对应的图像信息作为上述第一唇部图像信息。
仍需要说明的是,本申请中对于拍摄的图像的类别不做限定,包括但不限于:黑白图像(灰度图像)、彩色图像(RGB图像)。在分析图像时,可以根据二值化图像处理方式分析图像中的信息,具体的,在分析时,可以对图像中多个像素点与历史图像中的像素点位置进行比较,以确定出存在差异的像素点,然后将存在差异的像素点区分出来,得到图像中是否存在目标对象的唇部图像信息。
在一种可选的实施例中,本申请所提供的实施方案,可以将一个或多个摄像头分别与抽油烟机、服务器和用户家庭(餐厅、饭店、酒店等)的网关设备建立网络连接,在获取上述目标对象的第一唇部图像信息之后,可以将上述第一唇部图像信息发送至互联的数据库中进行存储,以方便服务器对第一唇部图像信息进行分析处理,进而实现有效对抽油烟机进行控制。需要说明的是,上述网关设备可以包括但不限于:无线网卡、蓝牙、Wi-Fi等。
作为一种可选的实施方式,本申请可以预先在服务器或者数据库中预先存储预定模板图像,例如,预先拍摄一张目标对象的唇语图像,将该图像作为预定模板图像。
需要说明的是,本申请对于预存的预定模板图像不作具体限定,可以为但不限于为任意一个抽油烟机都预存一份(一张或者多张)预定模板图像,以用于和之后获取到的图像信息进行比较,但是由于一个区域内可能设置有多个抽油烟机,例如,多个抽油烟机利用互联网络进行通信,进而可以协同或者分工进行抽油烟,因此,可以在与上述多个抽油烟机存在连接关系的数据库中预存一份预定模板图像。
在获取得到上述第一唇部图像信息之后,可以将第一唇部图像信息与预定模板图像进行比较,从而分析出差异,依据差异确定上述第一图像信息对应的第一识别内容。其中,预定模板图像中可以包括多个信息,可以包括但不限于:唇部、闭合的唇部、张开的唇部等信息,将预定模板图像中的多个信息进行分析,并将预定模板图像和模板图像信息存储在上述第一模型中,以用于之后对拍摄到的目标对象的唇部图像信息进行分析。
其中,在分析当前拍摄的目标对象的唇部图像信息与预定模板图像的差异时,可以通过二值化处理方式对图像进行预处理,以提取出图像中存在明显差异的地方。在二值化处理时,可以分析图像中的各个像素点所在的像素差异和颜色差异,从而确定出整体的图像存在的差异。
作为一种可选的实施方式,上述数据库或者服务器可以预先存储预定模板图像中预先存储的多个特征信息,从而在分析获取得到的目标对象的唇部图像信息与预定模板图像的差异时,可以通过比较特征信息来确定出存在差异之处。
其中,可以利用CNN算法,从拍摄到的图像信息中提取出目标对象的唇部图像特征信息,在提取时,可以将图像中输入至神经网络中,以通过建立相应的神经元,并根据神经元之间的预设函数(如Sigmoid函数)确定图像特征和图像特征映射,从而根据确定的特征映射,输出图像的多个特征。另外,在分析图像差异时,可以采用深度学习,建立第一预设模型之后,再次进行用户身份特征和用户特征提取时,可以利用以图搜图的方法搜索数据库中与当前拍摄图像相似的图像,并提取出目标对象的唇部图像特征信息,此外,还可以使用朴素贝叶斯算法提取目标对象的唇部图像特征信息。
在分析图像中的目标对象时,可以利用深度学习或者KNN算法,将图像信息中存在相同特征的图像信息滤除,以得到存在差异的特征信息,进而得到目标对象的唇部图像信息与模板图像的差异信息。
本申请在分析目标对象的唇部图像时,可以但不限于采用以图搜图的方式,将模型中与当前图像有相似特征的图像提取出来,并通过迁移学习算法,确定出最接近的图像。而在确定第一唇部图像信息对应的第一识别内容,依据第一识别内容生成第一控制指令,并依据上述第一控制指令控制上述抽油烟机执行与上述第一控制指令对应的动作时,可以通过KNN算法提取出上述第一控制指令对应的抽油烟机执行的动作,其中,可以控制抽油烟机调节其吸风状态,开启或者关闭。
需要说明的是,上述吸风状态中的吸风的风量、方向和速度、导烟板的开度,均可以根据抽油烟机的类型(大型、小型、室内型、室外型、家用、酒店用等类型)进行预先区分设置。
在建立上述第一模型时,可以通过历史时间段中拍摄的目标对象的唇部图像信息和图像信息所对应的第一识别内容,指示目标对象的唇部图像标签。在拍摄的图像信息中可以着重提取包含唇部运动时的视频序列的图像信息,并将对应的目标对象的唇部图像标签和唇部图像存储在数据库中,以让机器学习训练,从而在拍摄到最新的唇部图像信息之后,可以根据输入的唇部图像信息,分析出该唇部图像信息对应的第一识别内容,进而依据该识别内容生成用于控制上述抽油烟机执行对应的动作的控制指令。
另外,可以建立每个用户或家庭(餐厅、饭店、酒店等)对应设置的抽油烟机调整参数,并将参数数据和用户或家庭(餐厅、饭店、酒店等)身份相匹配存在数据库中,并建立一个数据模型,以在确定出用户或家庭(餐厅、饭店、酒店等)身份信息后,提取对应的抽油烟机调整参数,从而可以有效调节控制抽油烟机,增强用户的体验感。
在一种可选的实施例中,图2是根据本发明实施例的一种可选的抽油烟机的控制方法的步骤流程图,如图2所示,依据上述第一识别内容生成第一控制指令之前,上述方法还包括如下步骤:
步骤S202,获取上述目标对象在上述关键帧对应的时刻的语音信息;
步骤S204,识别上述语音信息,得到第二识别内容;
步骤S206,将上述第一识别内容和第二识别内容进行匹配;
步骤S208,在上述第一识别内容和上述第二识别内容一致时,将上述第一识别内容作为生成上述第一控制指令的依据。
为了提高依据唇语控制抽油烟机的准确性,提高用户的使用体验,不但可以根据上述设置一个或多个摄像头的方式,获取上述目标对象的唇部图像信息并根据第一模型对其进行分析,得到第一识别内容,还可以通过在抽油烟机上,或者靠近抽油烟机的位置,设置语音采集装置(例如,录音器)的方式,在获取上述目标对象在上述关键帧对应的时刻的语音信息,识别上述语音信息得出第二识别内容之后,并且上述第一识别内容和上述第二识别内容一致时,将上述第一识别内容作为生成上述第一控制指令的依据。
通过上述步骤S202至步骤S208,可以实现有效提高依据唇语对抽油烟机进行控制的准确性,提高了用户的使用体验,从而可以改善油烟机吸油烟效果,减少能源的消耗。
在一种可选的实施例中,依据上述第一识别内容生成第一控制指令之前,上述方法还包括:获取上述目标对象的第二唇部图像信息;使用第一模型对上述第二图像信息进行分析,确定上述第二唇部图像信息对应的第二识别内容。
可选的,上述第二唇部图像信息和上述第一唇部图像信息为从不同角度,同时刻所采集的图像信息。
需要说明的是,上述第二唇部图像信息可以为但不限于:通过以上获取上述第一唇部图像信息的方式获取得到,可以参见上述获取第一唇部图像信息的相关描述,此处不再赘述。
在一种可选的实施例中,上述第一唇部图像信息和上述第二唇部图像信息中的至少一个为上述目标对象的唇部的部分图像信息。
例如,可以分别在两个预定角度设置图像采集装置,在第一预定角度采集目标对象的一半唇部图像,得到上述第一唇部图像信息;在另一预定角度采集目标对象的另一半唇部图像,得到上述第二唇部图像信息,进而可以比对上述第一唇部图像信息和上述第二唇部图像信息所对应的第一识别内容和第二识别内容是否一致。
在一种可选的实施例中,为了提高根据用户的唇语控制油烟机的准确性,提高用户的使用体验,依据上述第一识别内容生成第一控制指令之前,上述方法还包括:比较上述第一识别内容和上述第二识别内容信息,并在上述第一识别内容和上述第二识别内容的差异小于预设阈值时,从上述第一识别内容和上述第二识别内容中任意选择一个识别内容,作为生成上述第一控制指令的依据。
在一种可选的实施例中,获取目标对象的第一唇部图像信息,包括:获取上述目标对象的第三唇部图像信息和第四唇部图像信息;其中,上述第三唇部图像信息和上述第四唇部图像信息均为上述目标对象的唇部的部分图像信息;将上述第三唇部图像信息和上述第四唇部图像信息进行组合,得到上述第一唇部图像信息。
需要说明的是,上述组合第三唇部信息与第四唇部信息的方式可以包括但不限于:拼接、去掉两者重复部分图像等方式,例如,可以利用深度学习或者KNN算法,将图像信息中存在相同特征的图像信息滤除,以得到存在差异的特征信息。
在一种可选的实施例中,依据上述第一控制指令控制上述抽油烟机执行与上述第一控制指令对应的动作,包括:依据上述第一控制指令控制上述抽油烟机的风量档位,其中,不同的风量档位对应不同的风量值;或者,依据上述第一控制指令控制上述抽油烟机的开启或关闭。
在一种可选的实施例中,上述抽油烟机的风量值可以不设置具体的档位,也即无档位,区别于现有的固定根据快档位和慢档位控制方式,根据油烟的浓度和分布区域,无档位进行风量控制,可以实现更加的准确调节控制的效果。
在另一种可选的实施例中,上述抽油烟机的风量值可以与现有技术中的调整风量值的风量档位相匹配,进而可以通过依据上述第一指令控制风量档位的方式,可以更加准确的调节控制抽油烟机。
在一种可选的实施例中,依据上述第一控制指令控制上述抽油烟机的风量档位之后,上述方法还包括:检测预设时间段内产生的第二控制指令;在上述第二控制指令和上述第一控制指令中的内容相同时,提高或降低上述风量档位。
需要说明的是,本申请实施例中的第二控制指令的生成方式,可以与上述第一控制指令生成方式相同,也可以不同于第一控制指令生成方式。
可选的,上述第二控制指令和上述第一控制指令中的内容相同的情况可以为:上述两个指令均为增大(减少)风量,则相对于之前的抽油烟机的运行档位,提高(降低)一个档位,以实现增大(减少)风量的控制。
可选的,上述第二控制指令和上述第一控制指令中的内容相同的情况还可以为:上述两个指令均为开启油烟机,如果当前的抽油烟机处于关闭状态,则控制开启抽油烟机的启动开关,或打开抽油烟机的电源开关。
实施例2
本发明实施例还提供了一种用于实施上述抽油烟机的控制方法的抽油烟机,图3是根据本申请实施例的一种抽油烟机的结构示意图,如图3所示,上述抽油烟机,包括:图像采集装置30和处理器32,其中,
图像采集装置30,用于获取目标对象的第一唇部图像信息;处理器32,用于使用第一模型对上述第一唇部图像信息进行分析,确定上述第一唇部图像对应的第一识别内容,其中,上述第一模型为使用多组数据通过机器学习训练得到的,上述多组数据中的每组数据均包括:唇部图像信息和唇部图像信息所对应的内容;依据上述第一识别内容生成控制指令;依据上述控制指令控制上述抽油烟机执行与上述控制指令对应的动作。
需要说明的是,上述实施例1中的任意一种抽油烟机的控制方法,均可以在本实施例所提供的抽油烟机中执行或实现。
此外,仍需要说明的是,本实施例的可选或优选实施方式可以参见实施例1中的相关描述,此处不再赘述。
实施例3
本发明实施例还提供了一种用于实施上述抽油烟机的控制方法的装置,图4是根据本发明实施例的一种抽油烟机的控制装置的结构示意图,如图4所示,上述抽油烟机的控制装置,包括:获取模块40、分析模块42、生成模块44和控制模块46,其中,
获取模块40,用于获取目标对象的第一唇部图像信息;分析模块42,用于使用第一模型对上述第一唇部图像信息进行分析,确定上述第一唇部图像信息对应的第一识别内容,其中,上述第一模型为使用多组数据通过机器学习训练得到的,上述多组数据中的每组数据均包括:唇部图像信息和唇部图像信息所对应的内容;生成模块44,用于依据上述第一识别内容生成第一控制指令;控制模块46,用于依据上述第一控制指令控制上述抽油烟机执行与上述第一控制指令对应的动作。
此处需要说明的是,上述获取模块40、分析模块42、生成模块44和控制模块46对应于实施例1中的步骤S102至步骤S108,上述模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在计算机终端中。
需要说明的是,本实施例的可选或优选实施方式可以参见实施例1中的相关描述,此处不再赘述。
上述的抽油烟机的控制装置还可以包括处理器和存储器,上述获取模块40、分析模块42、生成模块44和控制模块46等均作为程序单元存储在存储器中,由处理器执行存储在存储器中的上述程序单元来实现相应的功能。
处理器中包含内核,由内核去存储器中调取相应的程序单元。内核可以设置一个或以上,通过调整内核参数来调整抽油烟机的运行参数,以合理、准确的调整抽油烟机的吸风状态和风量。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM),存储器包括至少一个存储芯片。
本申请实施例还提供了一种存储介质。可选地,在本实施例中,上述存储介质包括存储的程序,其中,在上述程序运行时控制上述存储介质所在设备执行上述任意一种抽油烟机的控制方法。
可选地,在本实施例中,上述存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
本申请实施例还提供了一种处理器。可选地,在本实施例中,上述处理器用于运行程序,其中,上述程序运行时执行上述任意一种抽油烟机的控制方法。
本申请实施例提供了一种设备,设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序,处理器执行程序时实现以下步骤:获取目标对象的第一唇部图像信息;使用第一模型对上述第一唇部图像信息进行分析,确定上述第一唇部图像信息对应的第一识别内容,其中,上述第一模型为使用多组数据通过机器学习训练得到的,上述多组数据中的每组数据均包括:唇部图像信息和唇部图像信息所对应的内容;依据上述第一识别内容生成第一控制指令;依据上述第一控制指令控制上述抽油烟机执行与上述第一控制指令对应的动作。
可选地,上述处理器执行程序时,还可以获取上述目标对象的唇部运动时的视频序列;从上述视频序列中提取关键帧,将上述关键帧对应的图像信息作为上述第一唇部图像信息。
可选地,上述处理器执行程序时,还可以获取上述目标对象在上述关键帧对应的时刻的语音信息;识别上述语音信息,得到第二识别内容;将上述第一识别内容和第二识别内容进行匹配;在上述第一识别内容和上述第二识别内容一致时,将上述第一识别内容作为生成上述第一控制指令的依据。
可选地,上述处理器执行程序时,还可以获取上述目标对象的第二唇部图像信息,其中,上述第二唇部图像信息和上述第一唇部图像信息为从不同角度同时采集的图像信息;使用第一模型对上述第二图像信息进行分析,确定上述第二唇部图像信息对应的第二识别内容。
可选地,上述处理器执行程序时,还可以比较上述第一识别内容和上述第二识别内容信息,并在上述第一识别内容和上述第二识别内容的差异小于预设阈值时,从上述第一识别内容和上述第二识别内容中任意选择一个识别内容,作为生成上述第一控制指令的依据。
可选地,上述处理器执行程序时,还可以获取上述目标对象的第三唇部图像信息和第四唇部图像信息;其中,上述第三唇部图像信息和上述第四唇部图像信息均为上述目标对象的唇部的部分图像信息;将上述第三唇部图像信息和上述第四唇部图像信息进行组合,得到上述第一唇部图像信息。
可选地,上述处理器执行程序时,还可以依据上述第一控制指令控制上述抽油烟机的风量档位,其中,不同的风量档位对应不同的风量值;或者,依据上述第一控制指令控制上述抽油烟机的开启或关闭。
可选地,上述处理器执行程序时,还可以检测预设时间段内产生的第二控制指令;在上述第二控制指令和上述第一控制指令中的内容相同时,提高或降低上述风量档位。
本申请还提供了一种计算机程序产品,当在数据处理设备上执行时,适于执行初始化有如下方法步骤的程序:获取目标对象的第一唇部图像信息;使用第一模型对上述第一唇部图像信息进行分析,确定上述第一唇部图像信息对应的第一识别内容,其中,上述第一模型为使用多组数据通过机器学习训练得到的,上述多组数据中的每组数据均包括:唇部图像信息和唇部图像信息所对应的内容;依据上述第一识别内容生成第一控制指令;依据上述第一控制指令控制上述抽油烟机执行与上述第一控制指令对应的动作。
可选地,上述计算机程序产品执行程序时,还可以获取上述目标对象的唇部运动时的视频序列;从上述视频序列中提取关键帧,将上述关键帧对应的图像信息作为上述第一唇部图像信息。
可选地,上述计算机程序产品执行程序时,还可以获取上述目标对象在上述关键帧对应的时刻的语音信息;识别上述语音信息,得到第二识别内容;将上述第一识别内容和第二识别内容进行匹配;在上述第一识别内容和上述第二识别内容一致时,将上述第一识别内容作为生成上述第一控制指令的依据。
可选地,上述计算机程序产品执行程序时,还可以获取上述目标对象的第二唇部图像信息,其中,上述第二唇部图像信息和上述第一唇部图像信息为从不同角度同时采集的图像信息;使用第一模型对上述第二图像信息进行分析,确定上述第二唇部图像信息对应的第二识别内容。
可选地,上述计算机程序产品执行程序时,还可以比较上述第一识别内容和上述第二识别内容信息,并在上述第一识别内容和上述第二识别内容的差异小于预设阈值时,从上述第一识别内容和上述第二识别内容中任意选择一个识别内容,作为生成上述第一控制指令的依据。
可选地,上述计算机程序产品执行程序时,还可以获取上述目标对象的第三唇部图像信息和第四唇部图像信息;其中,上述第三唇部图像信息和上述第四唇部图像信息均为上述目标对象的唇部的部分图像信息;将上述第三唇部图像信息和上述第四唇部图像信息进行组合,得到上述第一唇部图像信息。
可选地,上述计算机程序产品执行程序时,还可以依据上述第一控制指令控制上述抽油烟机的风量档位,其中,不同的风量档位对应不同的风量值;或者,依据上述第一控制指令控制上述抽油烟机的开启或关闭。
可选地,上述计算机程序产品执行程序时,还可以检测预设时间段内产生的第二控制指令;在上述第二控制指令和上述第一控制指令中的内容相同时,提高或降低上述风量档位。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,可以为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种抽油烟机的控制方法,其特征在于,包括:
获取目标对象的第一唇部图像信息;
使用第一模型对所述第一唇部图像信息进行分析,确定所述第一唇部图像信息对应的第一识别内容,其中,所述第一模型为使用多组数据通过机器学习训练得到的,所述多组数据中的每组数据均包括:唇部图像信息和唇部图像信息所对应的内容;
依据所述第一识别内容生成第一控制指令;
依据所述第一控制指令控制所述抽油烟机执行与所述第一控制指令对应的动作。
2.根据权利要求1所述的方法,其特征在于,获取目标对象的第一唇部图像信息,包括:
获取所述目标对象的唇部运动时的视频序列;从所述视频序列中提取关键帧,
将所述关键帧对应的图像信息作为所述第一唇部图像信息。
3.根据权利要求1所述的方法,其特征在于,依据所述第一识别内容生成第一控制指令之前,所述方法还包括:
获取所述目标对象在关键帧对应的时刻的语音信息;
识别所述语音信息,得到第二识别内容;
将所述第一识别内容和第二识别内容进行匹配;在所述第一识别内容和所述第二识别内容一致时,将所述第一识别内容作为生成所述第一控制指令的依据。
4.根据权利要求1所述的方法,其特征在于,依据所述第一识别内容生成第一控制指令之前,所述方法还包括:
获取所述目标对象的第二唇部图像信息,其中,所述第二唇部图像信息和所述第一唇部图像信息为从不同角度同时采集的图像信息;
使用所述第一模型对第二图像信息进行分析,确定所述第二唇部图像信息对应的第二识别内容。
5.根据权利要求4所述的方法,其特征在于,依据所述第一识别内容生成第一控制指令之前,所述方法还包括:比较所述第一识别内容和所述第二识别内容信息,并在所述第一识别内容和所述第二识别内容的差异小于预设阈值时,从所述第一识别内容和所述第二识别内容中任意选择一个识别内容,作为生成所述第一控制指令的依据。
6.根据权利要求4所述的方法,其特征在于,所述第一唇部图像信息和所述第二唇部图像信息中的至少一个为所述目标对象的唇部的部分图像信息。
7.根据权利要求1述的方法,其特征在于,获取目标对象的第一唇部图像信息,包括:
获取所述目标对象的第三唇部图像信息和第四唇部图像信息;其中,所述第三唇部图像信息和所述第四唇部图像信息均为所述目标对象的唇部的部分图像信息;
将所述第三唇部图像信息和所述第四唇部图像信息进行组合,得到所述第一唇部图像信息。
8.根据权利要求1所述的方法,其特征在于,依据所述第一控制指令控制所述抽油烟机执行与所述第一控制指令对应的动作,包括:
依据所述第一控制指令控制所述抽油烟机的风量档位,其中,不同的风量档位对应不同的风量值;或者,
依据所述第一控制指令控制所述抽油烟机的开启或关闭。
9.根据权利要求1所述的方法,其特征在于,依据所述第一控制指令控制所述抽油烟机的风量档位之后,所述方法还包括:
检测预设时间段内产生的第二控制指令;
在所述第二控制指令和所述第一控制指令中的内容相同时,提高或降低所述风量档位。
10.一种抽油烟机,其特征在于,包括:
图像采集装置,用于获取目标对象的第一唇部图像信息;
处理器,用于使用第一模型对所述第一唇部图像信息进行分析,确定所述第一唇部图像对应的第一识别内容,其中,所述第一模型为使用多组数据通过机器学习训练得到的,所述多组数据中的每组数据均包括:唇部图像信息和唇部图像信息所对应的内容;依据所述第一识别内容生成控制指令;依据所述控制指令控制所述抽油烟机执行与所述控制指令对应的动作。
CN201711052732.5A 2017-10-30 2017-10-30 抽油烟机的控制方法和抽油烟机 Pending CN108052858A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711052732.5A CN108052858A (zh) 2017-10-30 2017-10-30 抽油烟机的控制方法和抽油烟机

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711052732.5A CN108052858A (zh) 2017-10-30 2017-10-30 抽油烟机的控制方法和抽油烟机

Publications (1)

Publication Number Publication Date
CN108052858A true CN108052858A (zh) 2018-05-18

Family

ID=62119908

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711052732.5A Pending CN108052858A (zh) 2017-10-30 2017-10-30 抽油烟机的控制方法和抽油烟机

Country Status (1)

Country Link
CN (1) CN108052858A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110658118A (zh) * 2018-06-29 2020-01-07 九阳股份有限公司 一种烹饪烟雾的检测方法以及烟机
CN110908566A (zh) * 2018-09-18 2020-03-24 珠海格力电器股份有限公司 信息处理方法及装置
CN111211952A (zh) * 2019-12-17 2020-05-29 珠海格力电器股份有限公司 烟机交互的方法及装置、存储介质和处理器
CN111396944A (zh) * 2020-03-26 2020-07-10 珠海格力电器股份有限公司 油烟机工作状态的自适应方法、装置、存储介质及油烟机

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182136A1 (en) * 2004-09-07 2010-07-22 Timothy Pryor Control of appliances, kitchen and home
CN104504088A (zh) * 2014-12-26 2015-04-08 安徽寰智信息科技股份有限公司 一种用于唇语识别的唇形模型库构建方法
CN105022470A (zh) * 2014-04-17 2015-11-04 中兴通讯股份有限公司 一种基于唇读的终端操作方法及装置
CN106383452A (zh) * 2016-11-24 2017-02-08 北京地平线机器人技术研发有限公司 智能控制模块和包括其的厨电设备
CN106941601A (zh) * 2017-02-13 2017-07-11 杭州百航信息技术有限公司 金融系统风控双录装置及其文件生物识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100182136A1 (en) * 2004-09-07 2010-07-22 Timothy Pryor Control of appliances, kitchen and home
CN105022470A (zh) * 2014-04-17 2015-11-04 中兴通讯股份有限公司 一种基于唇读的终端操作方法及装置
CN104504088A (zh) * 2014-12-26 2015-04-08 安徽寰智信息科技股份有限公司 一种用于唇语识别的唇形模型库构建方法
CN106383452A (zh) * 2016-11-24 2017-02-08 北京地平线机器人技术研发有限公司 智能控制模块和包括其的厨电设备
CN106941601A (zh) * 2017-02-13 2017-07-11 杭州百航信息技术有限公司 金融系统风控双录装置及其文件生物识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GERASIMOS POTAMIANOS,ET.AL: "Audio-Visual ASR from Multiple Views inside Smart Rooms", 《2006 IEEE INTERNATIONAL CONFERENCE ON MULTISENSOR FUSION AND INTEGRATION FOR INTELLIGENT SYSTEMS》 *
林晓鑫: "多视角的唇动身份识别研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110658118A (zh) * 2018-06-29 2020-01-07 九阳股份有限公司 一种烹饪烟雾的检测方法以及烟机
CN110658118B (zh) * 2018-06-29 2023-05-02 九阳股份有限公司 一种烹饪烟雾的检测方法以及烟机
CN110908566A (zh) * 2018-09-18 2020-03-24 珠海格力电器股份有限公司 信息处理方法及装置
CN111211952A (zh) * 2019-12-17 2020-05-29 珠海格力电器股份有限公司 烟机交互的方法及装置、存储介质和处理器
CN111396944A (zh) * 2020-03-26 2020-07-10 珠海格力电器股份有限公司 油烟机工作状态的自适应方法、装置、存储介质及油烟机

Similar Documents

Publication Publication Date Title
CN108052199A (zh) 抽油烟机的控制方法、装置和抽油烟机
CN107862018B (zh) 食材烹饪方法的推荐方法及装置
CN109447140B (zh) 一种基于神经网络深度学习的图像识别并推荐认知的方法
CN108039988B (zh) 设备控制处理方法及装置
CN108197635B (zh) 烹饪方式的展示方法及装置、抽油烟机
US11087167B2 (en) First-person camera based visual context aware system
CN108052858A (zh) 抽油烟机的控制方法和抽油烟机
CN109176535B (zh) 基于智能机器人的交互方法及系统
CN108153158A (zh) 家居场景的切换方法、装置、存储介质及服务器
CN110446063A (zh) 视频封面的生成方法、装置及电子设备
CN108105136A (zh) 风扇的控制方法、装置和风扇
CN114821236A (zh) 智慧家庭环境感知方法、系统、存储介质及电子装置
CN111413877A (zh) 控制家电设备的方法及装置
CN112069916B (zh) 人脸美丽预测方法、装置、系统及可读存储介质
WO2020078076A1 (zh) 控制空调的方法及系统、空调器、家用电器
CN109421044A (zh) 智能机器人
CN108959889A (zh) 一种智能家电的注册系统及方法
CN117762032B (zh) 基于场景适应和人工智能的智能设备控制系统及方法
CN107578015A (zh) 一种基于深度学习的第一印象识别与回馈系统及方法
CN107883520B (zh) 基于空调设备的提醒方法及装置、终端
CN118051625A (zh) 一种用于优化场景生成模型的方法及装置、存储介质、电子装置
WO2023248061A1 (en) Furniture recommendation method and system using artificial intelligence and augmented reality
WO2023088079A1 (zh) 植物病症诊断信息的显示方法、显示系统及可读存储介质
CN114925158A (zh) 语句文本的意图识别方法和装置、存储介质及电子装置
CN109766795B (zh) 基于循环神经网络的虚拟现实场景下人机交互方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180518

RJ01 Rejection of invention patent application after publication