CN112766020A - 带屏装置识别方法、带屏装置、菜谱推荐系统及存储介质 - Google Patents
带屏装置识别方法、带屏装置、菜谱推荐系统及存储介质 Download PDFInfo
- Publication number
- CN112766020A CN112766020A CN201911061466.1A CN201911061466A CN112766020A CN 112766020 A CN112766020 A CN 112766020A CN 201911061466 A CN201911061466 A CN 201911061466A CN 112766020 A CN112766020 A CN 112766020A
- Authority
- CN
- China
- Prior art keywords
- food material
- user
- screen device
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 235000013305 food Nutrition 0.000 claims abstract description 211
- 239000000463 material Substances 0.000 claims abstract description 209
- 238000012545 processing Methods 0.000 claims description 20
- 238000012549 training Methods 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000002372 labelling Methods 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 5
- 235000020785 dietary preference Nutrition 0.000 claims description 3
- 206010034203 Pectus Carinatum Diseases 0.000 description 25
- 238000010586 diagram Methods 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 9
- 241000287828 Gallus gallus Species 0.000 description 7
- 238000010606 normalization Methods 0.000 description 7
- 244000178231 Rosmarinus officinalis Species 0.000 description 5
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 4
- 239000003921 oil Substances 0.000 description 4
- 235000021395 porridge Nutrition 0.000 description 4
- 235000002568 Capsicum frutescens Nutrition 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008054 signal transmission Effects 0.000 description 3
- 235000012033 vegetable salad Nutrition 0.000 description 3
- 235000013311 vegetables Nutrition 0.000 description 3
- 210000000577 adipose tissue Anatomy 0.000 description 2
- 235000015278 beef Nutrition 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 235000005911 diet Nutrition 0.000 description 2
- 230000037213 diet Effects 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000003760 tallow Substances 0.000 description 2
- 244000025272 Persea americana Species 0.000 description 1
- 235000008673 Persea americana Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000000889 atomisation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000021186 dishes Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000036632 reaction speed Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/12—Fingerprints or palmprints
- G06V40/13—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请涉及智能家居领域，公开了一种带屏装置识别方法、带屏装置、菜谱推荐系统及存储介质，所述识别方法包括：调用所述带屏装置的拍摄模块采集食材图像，并获取当前用户的用户信息；采用所述带屏装置中预先部署的食材识别模块对所述食材图像进行识别，以得到所述食材图像对应的食材识别结果；根据所述食材识别结果和所述用户信息，得到当前用户对应的推荐菜谱信息。本申请通过对食材进行识别，并根据识别结果和用户信息为用户精准地推荐了更为健康合适的菜谱信息。
Description
技术领域
本申请涉及智能家居领域，尤其涉及一种带屏装置识别方法、带屏装置、菜谱推荐系统及存储介质。
背景技术
随着人工智能以及大数据技术的快速发展，越来越多的产品开始向智能化发展，较之非智能化产品，智能化产品多有功能更加强大，用户体验更为舒适等特点。目前食材智能识别装置大部分都是仅对食材识别结果做出展示，即使有部分食材智能识别装置可提供食材识别结果对应的菜谱信息也是直接从服务器上获取的，推荐的菜谱信息很可能不符合用户的需求。
因此，如何使得食材智能识别装置精准推荐更符合用户个人情况的菜谱信息成为亟待解决的技术问题。
发明内容
本申请提供了一种带屏装置识别方法、带屏装置、菜谱推荐系统及存储介质，实现了根据用户信息精准推荐更符合用户个人情况的菜谱信息。
第一方面，本申请提供了一种带屏装置识别方法，所述带屏装置设有拍摄模块，所述识别方法包括：
调用所述带屏装置的拍摄模块采集食材图像，并获取当前用户的用户信息；
采用所述带屏装置中预先部署的食材识别模块对所述食材图像进行识别，以得到所述食材图像对应的食材识别结果；
根据所述食材识别结果和所述用户信息，得到当前用户对应的推荐菜谱信息。
第二方面，本申请还提供了一种带屏装置，所述带屏装置包括拍摄模块、存储器和处理器：
所述拍摄模块用于采集食材图像；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现上述的识别方法。
第三方面，本申请还提供了一种菜谱推荐系统，所述系统包括用户设备和上述的带屏装置，所述带屏装置和用户设备建立通信连接；
所述用户设备用于获取并记录用户信息；
所述带屏装置用于获取用户设备上记录的所述用户信息。
第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的识别方法。
本申请公开了一种带屏装置识别方法、带屏装置、菜谱推荐系统及存储介质，所述带屏装置上设有拍摄模块，调用所述带屏装置的拍摄模块采集食材图像，并获取当前用户的用户信息；采用所述带屏装置中预先部署的食材识别模块对所述食材图像进行识别，以得到所述食材图像对应的食材识别结果；根据所述食材识别结果和所述用户信息，得到当前用户对应的推荐菜谱信息。本申请实现了根据用户信息精准推荐更符合用户个人情况的菜谱信息。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种带屏装置的结构示意性框图；
图2是本申请实施例提供的一种带屏装置识别方法的步骤示意图；
图3是本申请实施例提供的一种带屏装置识别方法的子步骤示意图；
图4是本申请实施例提供的又一种带屏装置识别方法的子步骤示意图；
图5是本申请实施例提供的一种食材识别算法模型的训练方法的步骤示意图；
图6是本申请提供的一种菜谱推荐系统使用场景的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参阅图1，图1是本申请实施例提供的一种带屏装置的结构示意性框图。该带屏装置11包括拍摄模块111、存储器112和处理器113，拍摄模块111、存储器112和处理器113通过总线连接，该总线比如为I2C(Inter-integrated Circuit)总线。
具体的，拍摄模块111，用于响应带屏装置11采集食材图片。在一些实施例中，拍摄模块111包括摄像头，该摄像头可以是普通2D摄像头，当然也可以是其他摄像头，比如深度摄像头。
在一些实施例中，带屏装置11还包括显示模块，用于获取并展示推荐菜谱信息。在一些实施例中，显示模块包括显示屏，其中该显示屏可以是普通的LCD显示屏，当然也可以是其他显示屏，比如CRT显示屏。
所述带屏装置11还包括食材识别模块、信息收集模块和菜谱推荐模块，其中，所述食材识别模块、信息收集模块和菜谱推荐模块在图中未示出。
食材识别模块，用于对采集到的食材图像进行食材识别，得出食材识别结果。
信息收集模块，用于响应带屏装置11实现信息传输并获取当前用户的用户信息。所述信息收集模块可实现与用户设备建立通信互联，获取当前用户的用户信息。具体的，信息收集模块在进行信号传输时，可以利用例如5G/4G网络、WIFI网络、蓝牙或者ZigBee等多种无线信号传输方式。
在一些实施例中，所述信息收集模块根据当前用户的用户身份从通信互联的用户设备上获取与所述用户身份关联的用户信息。在另一些实施例中，可通过查询所述带屏装置11中存储的用户信息，来获取当前用户身份关联的用户信息。
菜谱推荐模块，用于根据食材识别模块的识别结果和获取到的当前用户的用户信息生成当前用户对应的推荐菜谱信息。
在一些实施例中，带屏装置11调用拍摄模块111采集食材图像和调用信息收集模块收集当前用户对应的用户信息，并将所述食材图像发送至食材识别模块进行食材识别，并将所述用户信息和食材识别结果发送至菜谱推荐模块。所述菜谱推荐模块根据所述用户信息和食材识别结果生成当前用户对应的推荐菜谱信息。所述显示模块获取并展示所述推荐菜谱信息。
在一些实施例中，带屏装置11可以包括人脸识别模块，通过调用拍摄模块111采集当前用户对应的人脸图像数据，并根据采集到的人脸图像数据确认当前用户的用户身份。在另一些实施例中，带屏装置11还可以设有指纹采集模块和指纹识别模块，其中，所述指纹采集模块用于获取当前用户对应的指纹数据，所述指纹识别模块用于根据所述指纹数据确认当前用户的用户身份。
还有的实施例中，所述存储器可以包括人脸识别模块、指纹采集模块和指纹识别模块，通过采集到的人脸图像数据和/或获取当前用户对应的指纹数据确认当前用户的用户身份，以提高确认用户身份的速率。获取当前用户的用户身份之后，带屏装置11根据当前用户的用户身份从通信互联的用户设备上获取相对应的用户信息，和/或可通过查询所述带屏装置11中存储的用户信息，来获取当前用户身份对应的用户信息。
存储器112，用于存储计算机程序，可以是Flash芯片、只读存储器(ROM，Read-OnlyMemory)磁盘、光盘、U盘或移动硬盘等。
处理器113，用于运行存储在存储器中的计算机程序，并在执行所述计算机程序执行所述计算机程序。其中，该处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述处理器113执行所述计算机程序时实现带屏装置识别方法时，具体实现如下步骤：
调用所述带屏装置的拍摄模块采集食材图像，并获取当前用户的用户信息；
采用所述带屏装置中预先部署的食材识别模块对所述食材图像进行识别，以得到所述食材图像对应的食材识别结果；
根据所述食材识别结果和所述用户信息，得到当前用户对应的推荐菜谱信息。
在一些实施例中，所述获取当前用户的用户信息时，具体实现：
获取当前用户对应的人脸图像数据和/或指纹数据；
根据所述人脸图像数据和/或指纹数据，确认当前用户的用户身份；
获取与所述用户身份关联的用户信息。
在一些实施例中，所述根据所述食材识别结果和所述用户信息，得到当前用户对应的推荐菜谱信息时，具体实现：
根据所述食材识别结果，获取所述食材识别结果对应的待选菜谱信息；
根据所述待选菜谱信息和所述用户信息，得到当前用户对应的推荐菜谱信息。
在一些实施例中，所述处理器113在实现所述带屏装置识别方法时，具体实现：
获取的所述用户信息包括下述信息中的至少一个：身体状态信息、历史饮食偏好信息、家庭成员信息。
在一些实施例中，所述食材识别模块包括图像处理硬件单元和食材识别算法模型，所述采用所述带屏装置中预先部署的食材识别模块对所述食材图像进行识别，以得到所述食材图像对应的食材识别结果时，具体实现：
采用所述图像处理硬件单元对所述食材图像进行图像预处理，以得到预处理图像；
调用所述食材识别算法模型对所述预处理图像进行识别，以得到所述食材识别结果。
在一些实施例中，所述处理器113在实现所述带屏装置识别方法时，具体实现：
获取样本食材图像，所述样本食材图像为拍摄的多种食材的图像；
基于样本对应的名称对所述样本食材图像进行分类标注，以构建样本数据；
基于卷积神经网络对所述样本数据进行模型训练，以得到所述食材识别算法模型。
在一些实施例中，所述处理器113在实现所述带屏装置识别方法时，具体实现：
获取当前用户对应的外界环境信息；
根据所述食材识别结果、所述用户信息和所述外界环境信息，得到当前用户对应的推荐菜谱信息。
请参阅图2，图2是本申请实施例提供的一种带屏装置识别方法的步骤示意图。该带屏装置推荐方法可应用于如上所述的带屏装置上，通过对食材进行识别，得出识别结果，根据识别结果和用户信息为用户精准地推荐了更为健康合适的菜谱信息。
如图2所示，该带屏装置推荐方法，具体包括：步骤S101至步骤S103。
S101、调用所述带屏装置的拍摄模块采集食材图像，并获取当前用户的用户信息。
具体地，所述带屏装置接收到用户的食材识别指令后，调用拍摄模块，即开启摄像头，获取待识别的食材图像，并调用信息采集模块获取当前用户的用户信息。在一些实施例中，所述食材识别指令可通过用户点击所述带屏装置上的识别功能控件触发生成，或者通过用户终端生成。
在一些实施例中，所述获取当前用户的用户信息，如图3所示，具体包括：步骤S1011至步骤S1013。
步骤S1011、获取当前用户对应的人脸图像数据和/或指纹数据。
在一些实施例中，通过调用拍摄模块采集当前用户对应的人脸图像数据。在另一些实施例中，带屏装置设有指纹采集模块。具体地，通过调用所述指纹采集模块获取当前用户对应的指纹数据。
还有的实施例中，通过调用拍摄模块采集当前用户对应的人脸图像数据和通过调用所述指纹采集模块获取当前用户对应的指纹数据。
步骤S1012、根据所述人脸图像数据和/或指纹数据，确认当前用户的用户身份。
在一些实施例中，带屏装置设有人脸识别模块。具体地，获取当前用户对应的人脸图像数据后通过调取所述人脸识别模块对所述人脸图像数据进行人脸识别以确认当前用户的用户身份。在另一些实施例中，带屏装置设有指纹识别模块。具体地，获取当前用户对应的指纹数据后通过调用所述指纹识别模块对所述指纹数据进行指纹识别，确认当前用户的用户身份。还有的实施例中，带屏装置设有人脸识别模块和指纹识别模块，通过将采集到的人脸图像数据和获取当前用户对应的指纹数据分别进行人脸识别和指纹识别以得到当前用户的用户身份，使提高用户身份识别的准确率。
步骤S1013、获取与所述用户身份关联的用户信息。
信息收集模块根据当前用户的用户身份从通信互联的用户设备上获取与所述用户身份关联的用户信息。在一些实施例中，可通过查询所述带屏装置中存储的用户信息，来获取当前用户身份关联的用户信息。
在一些实施例中，所述通信互联的用户设备可包括手机、体脂称和/或运动手环。
在一些实施例中，所述用户信息包括下述信息中的至少一个：身体状态信息、历史饮食偏好信息、家庭成员信息。
S102、采用所述带屏装置中预先部署的食材识别模块对所述食材图像进行识别，以得到所述食材图像对应的食材识别结果。
具体地，将所述拍摄模块获取到的所述食材图像输入预先部署的食材识别模块，进行食材图片的识别，从而输出食材识别结果。
在一些实施例中，所述食材识别模块包括图像处理硬件单元和食材识别算法模型，所述采用所述带屏装置中预先部署的食材识别模块对所述食材图像进行识别，以得到所述食材图像对应的食材识别结果，包括：
采用所述图像处理硬件单元对所述食材图像进行图像预处理，以得到预处理图像；调用所述食材识别算法模型对所述预处理图像进行识别，以得到所述食材识别结果。
所述预处理具体包括：对所述食材图像进行尺寸调整，以得到预设尺寸的图像；对所述预设尺寸的图像进行色彩空间转换，以得到预处理图像。
具体地，对采集到的图像进行尺寸调整，使采集到的不同尺寸的图像调整为统一尺寸，得到预设尺寸的图像。
示例性地，所述预设尺寸是预先设定的尺寸，例如所述预设尺寸为高度500像素，宽度为300像素。
在一些实施例中，若所述图像的尺寸与所述预设尺寸不一致，例如所述图像的高度为680像素，宽度为450像素；则可以根据所述预测尺寸对所述图像进行调整。示例性的，将所述图像的高度调整为500像素，宽度调整为300像素。
得到预设尺寸的图像后，对预设尺寸的图像进行色彩空间转换以得到转换后的图像。具体地，对于不同型号的摄像头，采样格式不同，因此拍摄得到的图像的色彩空间类型也不同。因此需要对摄像头拍摄的图像进行色彩空间转换，以得到食材识别算法模型需要的图像的色彩空间。
示例性地，所述色彩空间类型可以包括RGB、HSI、HSL、HSV、HSB、YCrCb、CIE XYZ、CIE Lab等类型。在本申请的实施例中，所述图像的色彩空间类型默认为RGB色彩空间，若所述图像不是RGB色彩空间，则需要将所述图像的色彩空间转换为RGB色彩空间，便于食材识别算法模型对图像的处理，并且提高食材识别算法模型识别的准确率。
在一些实施例中，若采集到的图像的色彩空间类型为HSB色彩空间，则需要将所述图像的色彩空间转换为RGB色彩空间。示例性的，可以通过色彩空间转化函数cv2.cvtColor()对所述图像进行色彩空间的转换。
需要说明的是，在对采集到的图像进行预处理是，即进行尺寸调整和色彩空间转换时，并不限制尺寸调整和色彩空间转换的处理顺序。示例性地，既可以先进行尺寸调整，再进行色彩空间转换，也可以先进行色彩空间转换，再进行尺寸调整。
在一些实施例中，所述预处理还包括：对所述预处理图像进行归一化处理。需要说明的是，所述归一化是指将图像数据的0-255的UNIT型数据转换到0-1之间。所述归一化可以包括坐标中心化、x-shearing归一化、缩放归一化和旋转归一化等过程。
通过对所述预处理图像进行归一化处理，可以找出所述预处理图像中的不变量，例如可以减小所述预处理图像由于光线不均匀造成的干扰，从而提高食材识别算法模型的准确率识别准确度。
S103、根据所述食材识别结果和所述用户信息，得到当前用户对应的推荐菜谱信息。
具体地，菜谱推荐模块根据所述食材识别结果，结合所述用户信息，如身体状态信息、历史饮食偏好信息、家庭成员信息，生成与当前用户对应的推荐菜谱信息。
在一些实施例中，所述根据所述食材识别结果和所述用户信息，得到当前用户对应的推荐菜谱信息，如图4所示，具体包括以下步骤：步骤S1031和步骤S1032。
S1031、根据所述食材识别结果，获取所述食材识别结果对应的待选菜谱信息。
具体地，菜谱推荐模块根据所述食材识别结果，获取与所述食材识别结果相对应的待选菜谱信息。示例性地，若识别出的食材识别结果为鸡胸肉，获取到所有包含鸡胸肉的待选菜谱信息，如烤鸡胸肉粒牛油果彩蔬沙拉、香煎迷迭香鸡胸肉、鸡胸肉炒鲜蔬、宫保鸡丁、香菇鸡脯粥、双瓜烩鸡丁和辣子红油鸡胸等菜谱信息。
在一些实施例中，所述食材识别模块还可以根据获取到的食材图像中食材的大小，将获取到的食材图像中的其它物品作为参照物识别估算出当前食材的重量。根据当前食材的重量，在所有包含该当前食材的菜谱信息中生成待选菜谱信息。根据当前食材的重量推荐菜谱可获得更为精准的推荐效果，避免推选到不适合当前食材的重量的菜谱，以提升用户体验。
示例性地，若识别出的食材识别结果为鸡胸肉，估算出所述鸡胸肉的重量仅为50g，所以不足以做一些以鸡胸肉为主食材的菜，如宫保鸡丁、辣子红油鸡胸等。若向用户推送以鸡胸肉为主食材的菜谱信息就显得不太合适，可能会造成较差的用户体验，所以此时适宜推送一些以鸡胸肉为辅食材的菜谱信息，如香菇鸡脯粥等。S1032、根据所述待选菜谱信息和所述用户信息，得到当前用户对应的推荐菜谱信息。
具体地，菜谱推荐模块根据所述用户信息，如当前用户的各项身体状况数据、历史饮食偏好信息和当前用户的家庭成员情况等信息，从用户状态和用户偏好两个方向，从所述待选菜谱信息中挑选出适合当前用户对应的推荐菜谱信息。示例性地，若识别出的食材识别结果为鸡胸肉且获取到的用户信息为正在处于减脂期间的且不喜欢迷迭香味道的独居青年男性，当所述待选菜谱为烤鸡胸肉粒牛油果彩蔬沙拉、香煎迷迭香鸡胸肉、香菇鸡脯粥、鸡胸肉炒鲜蔬、宫保鸡丁、双瓜烩鸡丁、和辣子红油鸡胸时，出于用户状态的角度考虑，即减脂状态的角度考虑，则排除掉宫保鸡丁、辣子红油鸡胸的菜谱推荐；出于用户偏好的角度考虑，即不喜欢迷迭香的角度考虑，则排除掉香煎迷迭香鸡胸肉的菜谱推荐，于是生成的当前用户对应的推荐菜谱信息为烤鸡胸肉粒牛油果彩蔬沙拉、香菇鸡脯粥、双瓜烩鸡丁和鸡胸肉炒鲜蔬。
在一些实施例中，所述带屏装置识别方法，还包括以下步骤：
获取当前用户对应的外界环境信息；
根据所述食材识别结果、所述用户信息和所述外界环境信息，得到当前用户对应的推荐菜谱信息。
具体地，获取发送所述食材识别指令的当前用户对应的位置信息，根据所述位置信息获取所述位置信息对应的外界环境信息，其中，所述外界环境信息包括天气数据，所述天气数据包括当日天气、所属季节。根据所述食材识别结果、所述用户信息和所述外界环境信息，得到当前用户对应的推荐菜谱信息。示例性地，若获取到的外界环境信息显示当前处于下雨的冬季，则在所述食材识别结果对应的全部菜谱信息中优先选择推荐温润滋补、驱寒的菜谱信息；若获取到的外界环境信息显示当前处于晴天的夏季，则在所述食材识别结果对应的全部菜谱信息中优先选择推荐开胃爽口、降火的菜谱信息。
上述实施例提供的带屏装置识别方法，调用所述带屏装置的拍摄装置采集食材图像，并获取当前用户的用户信息；采用所述带屏装置中预先部署的食材识别模块对所述食材图像进行识别，以得到所述食材图像对应的食材识别结果；根据所述食材识别结果和所述用户信息，得到当前用户对应的推荐菜谱信息。本申请通过对食材进行识别，得出识别结果，根据识别结果和用户信息为用户精准地推荐了更为健康合适的菜谱信息。
请参阅图5，图5是本申请实施例提供的一种食材识别算法模型的训练方法的步骤示意图。该食材识别算法模型是基于卷积神经网络进行模型训练得到的，当然也可以采用其他网络进行训练得到。
需要说明的是，在一些实施例中，使用MobileNet v2网络进行模型训练以得到食材识别算法模型，当然也可以采用其他网络来进行模型训练。以下将以MobileNet v2网络为例进行介绍。
如图5所示，该食材识别算法模型的训练方法，用于训练出食材识别算法模型以便应用于带屏装置识别方法上。其中，该训练方法包括：步骤S201至步骤S203。
S201、获取样本食材图像，所述样本食材图像为拍摄的多种食材的图像。
具体地，所述样本食材图像为拍摄的多种食材的图像。在一些实施例中，所述样本食材图像可以是从不同角度拍摄的食材图像。选取多种不同食材，并从不同的角度对食材进行拍摄，并将拍摄得到的图像作为样本食材图像，该样本食材图像构成样本食材图像集，用于训练食材识别算法模型。
S202、基于样本对应的名称对所述样本食材图像进行分类标注，以构建样本数据。
在一些实施例中，为了提高食材识别模型的准确度，在对样本食材图像进行分类标注后，可以对样本食材图像进行图像处理以增加所述样本食材图像的多样性。
具体的，分类标注表示对样本食材图像进行筛选和分类，得到各样本食材图像中食材的种类，将食材的种类作为对应样本食材图像的标注。
其中，图像处理操作包括：尺寸调整、裁剪处理、旋转处理和图像算法处理等等；图像算法处理包括：调整色温算法、调整曝光算法、调整对比度算法、高光恢复算法、低光补偿算法、白平衡算法、调整清晰度算法、雾化算法索引、调整自然饱和度算法。通过这些图像处理操作可以增加样本数据的多样性，使得样本数据更贴近真实拍摄的图片。
相应地，图片参数包括尺寸信息、像素大小、色温参数、曝光度、对比度、白平衡、清晰度、雾化参数和自然饱和度等。
需要说明的是，对样本食材图像进行图像处理操作以改变所述对样本食材图像的图片参数，是指分别对样本食材图像进行上述多种图像处理操作中的一种或几种结合以改变所述样本食材图像的图片参数。进而增加样本的多样性，同时使得样本更能代表现实环境，由此提高了模型的识别准确度。
S203、基于卷积神经网络对所述样本数据进行模型训练，以得到所述食材识别算法模型。
其中，所述卷积神经网络包括输入层、卷积层、池化层、dropout层、全连接层等。具体地，使用构建的样本数据，基于MobileNet v2网络自定义的网络进行模型训练。其中，在全连接层前增加了dropout层，可以防止过拟合，使模型的泛化能力更强。在一些实施例中，基于卷积神经网络对所述样本数据进行模型训练时，通过数据增强的方法增加数据的多样性，同时通过调整网络中的学习率、优化方法、网络层数、神经元数量等参数，优化网络结构，以提高模型的准确率，缩小模型的尺寸。
在一些实施例中，由于带屏装置识别方法应用于带屏装置中，因此可以将训练好的模型保存在带屏装置的食材识别模块中，以提高数据处理速度和模型的反应速度，提高交互速度，给用户带来更实时的体验。
在一些实施例中，为了保证带屏装置的正常运行以及快速识别出食材的类别，还需要对训练得到的食材识别算法模型进行压缩处理，将压缩处理后的模型保存在带屏装置的食材识别模块中。
其中，该压缩处理具体包括对食材识别算法模型进行量化处理，以减小食材识别算法模型的大小，进而方便保存在容量较小的带屏装置的食材识别模块中。
上述实施例提供的训练方法，通过拍摄多个食材动作的图像，并利用图像处理操作对拍摄得到的图像进行处理以增加样本数据的多样性；在对得到的样本食材图像进行分类标注后，构建样本数据，再基于卷积神经网络，根据构建的样本数据进行模型训练以得到食材识别算法模型，并将得到的食材识别算法模型作为预先训练的食材识别算法模型应用于带屏装置识别方法中，由此可提高食材识别的准确度。
在一些实施例中，为了提高食材识别算法模型对于输入的图像的识别准确度，降低运算复杂度，在采集到食材图像之后，还可以对采集到的食材图像进行预处理。具体包括：对所述食材图像进行尺寸调整，以得到预设尺寸的图像。对所述预设尺寸的图像进行色彩空间转换，以得到预处理图像。
请参阅图6，图6是本申请提供的一种菜谱推荐系统使用场景的示意图。以下将结合图6，对本申请实施例中的菜谱推荐系统进行说明。
如图6所示，该菜谱推荐系统10包括带屏装置11和用户设备，所述带屏装置11和所述用户设备设有信号传输装置，并两者建立通信互联。如图6所示，带屏装置11包括拍摄模块111、显示模块114、存储器和处理器，其中存储器和处理器在图中未示出，所述用户设备可包括手机12、体脂称13、运动手环14等，带屏装置与一个或多个用户设备连接。
其中，所述用户设备用于获取并记录用户信息；
所述带屏装置11用于获取用户设备上记录的所述用户信息；
所述菜谱推荐系统10用于实现上述的带屏装置识别方法。
所述菜谱推荐系统10实现上述的带屏装置识别方法时，具体包括以下步骤：
调用所述带屏装置11的拍摄模块111采集食材图像，并通过所述带屏装置11中预先部署的食材识别模块对所述食材图像进行识别，以得到所述食材图像对应的食材识别结果；根据所述食材识别结果得到所述食材识别结果对应的待推荐菜谱信息；
调用所述带屏装置11获取当前用户的用户身份，并根据所述用户身份在所述与带屏装置11通信互联的用户设备上获取当前用户对应的用户信息；
所述带屏装置11根据所述用户信息在所述待推荐菜谱信息中确定推荐菜谱信息；
调用所述带屏装置11的显示模块114，所述显示模块114获取并展示所述推荐菜谱信息。
在一些实施例中，所述带屏装置11设有人脸识别模块，所述调用带屏装置11获取当前用户的用户身份，具体包括：
调用所述带屏装置11的拍摄模块111采集当前用户对应的人脸图像数据，通过所述人脸识别模块识别所述人脸图像数据以获取当前用户的用户身份。
在另一些实施例中，所述带屏装置11设有指纹采集模块和指纹识别模块，所述调用带屏装置11获取当前用户的用户身份，具体包括：
调用所述带屏装置11的指纹采集模块采集当前用户对应的指纹图像数据，通过所述指纹识别模块识别所述指纹图像数据以获取当前用户的用户身份。
本申请的实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现本申请实施例提供的任一项带屏装置识别方法。
其中，所述计算机可读存储介质可以是前述实施例所述的带屏装置的内部存储单元，例如所述带屏装置的硬盘或内存。所述计算机可读存储介质也可以是所述带屏装置的外部存储设备，例如所述带屏装置上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种带屏装置识别方法，其特征在于，所述带屏装置设有拍摄模块，所述识别方法包括：
调用所述带屏装置的拍摄模块采集食材图像，并获取当前用户的用户信息；
采用所述带屏装置中预先部署的食材识别模块对所述食材图像进行识别，以得到所述食材图像对应的食材识别结果；
根据所述食材识别结果和所述用户信息，得到当前用户对应的推荐菜谱信息。
2.根据权利要求1所述的识别方法，其特征在于，所述根据所述食材识别结果和所述用户信息，得到当前用户对应的推荐菜谱信息，包括：
根据所述食材识别结果，获取所述食材识别结果对应的待选菜谱信息；
根据所述待选菜谱信息和所述用户信息，得到当前用户对应的推荐菜谱信息。
3.根据权利要求1或2所述的识别方法，其特征在于，所述用户信息包括下述信息中的至少一个：身体状态信息、历史饮食偏好信息、家庭成员信息。
4.根据权利要求1所述的识别方法，其特征在于，所述食材识别模块包括图像处理硬件单元和食材识别算法模型，所述采用所述带屏装置中预先部署的食材识别模块对所述食材图像进行识别，以得到所述食材图像对应的食材识别结果，包括：
采用所述图像处理硬件单元对所述食材图像进行图像预处理，以得到预处理图像；
调用所述食材识别算法模型对所述预处理图像进行识别，以得到所述食材识别结果。
5.根据权利要求4所述的识别方法，其特征在于，还包括：
获取样本食材图像，所述样本食材图像为拍摄的多种食材的图像；
基于样本对应的名称对所述样本食材图像进行分类标注，以构建样本数据；
基于卷积神经网络对所述样本数据进行模型训练，以得到所述食材识别算法模型。
6.根据权利要求1所述的识别方法，其特征在于，所述获取当前用户的用户信息，包括：
获取当前用户对应的人脸图像数据和/或指纹数据；
根据所述人脸图像数据和/或指纹数据，确认当前用户的用户身份；
获取与所述用户身份关联的用户信息。
7.根据权利要求1至6任一项所述的识别方法，其特征在于，还包括：
获取当前用户对应的外界环境信息；
所述根据所述食材识别结果和所述用户信息，得到当前用户对应的推荐菜谱信息，包括：
根据所述食材识别结果、所述用户信息和所述外界环境信息，得到当前用户对应的推荐菜谱信息。
8.一种带屏装置，其特征在于，所述带屏装置包括拍摄模块、存储器和处理器：
所述拍摄模块用于采集食材图像；
所述存储器用于存储计算机程序；
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至7中任一项所述的识别方法。
9.一种菜谱推荐系统，其特征在于，包括用户设备和如权利要求8所述的带屏装置，所述带屏装置和用户设备建立通信连接；
所述用户设备用于获取并记录用户信息；
所述带屏装置用于获取用户设备上记录的所述用户信息。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1至7中任一项所述的识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911061466.1A CN112766020A (zh) | 2019-11-01 | 2019-11-01 | 带屏装置识别方法、带屏装置、菜谱推荐系统及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911061466.1A CN112766020A (zh) | 2019-11-01 | 2019-11-01 | 带屏装置识别方法、带屏装置、菜谱推荐系统及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112766020A true CN112766020A (zh) | 2021-05-07 |
Family
ID=75692360
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911061466.1A Pending CN112766020A (zh) | 2019-11-01 | 2019-11-01 | 带屏装置识别方法、带屏装置、菜谱推荐系统及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112766020A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591576A (zh) * | 2021-06-29 | 2021-11-02 | 青岛海尔科技有限公司 | 食材信息的检测方法和装置、存储介质及电子装置 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150074434A (ko) * | 2013-12-24 | 2015-07-02 | 김강 | 문자인식 기반 식단 자문 방법 |
| CN106611105A (zh) * | 2016-12-08 | 2017-05-03 | 美的集团股份有限公司 | 实现菜谱推荐的方法及装置 |
| CN107423421A (zh) * | 2017-07-31 | 2017-12-01 | 京东方科技集团股份有限公司 | 菜谱推荐方法、装置和冰箱 |
| CN107563124A (zh) * | 2017-09-28 | 2018-01-09 | 珠海格力电器股份有限公司 | 菜谱数据的推送方法、装置和系统、存储介质及处理器 |
| WO2018023425A1 (zh) * | 2016-08-02 | 2018-02-08 | 步晓芳 | 一种自动推荐食谱的方法以及冰箱 |
| CN107863138A (zh) * | 2017-10-31 | 2018-03-30 | 珠海格力电器股份有限公司 | 菜谱生成装置和方法 |
| CN108766529A (zh) * | 2018-05-16 | 2018-11-06 | 北京豆果信息技术有限公司 | 一种智能食谱推荐方法及系统 |
| CN109166614A (zh) * | 2018-08-14 | 2019-01-08 | 四川虹美智能科技有限公司 | 一种推荐个人健康菜谱的系统及方法 |
| CN110021402A (zh) * | 2017-09-21 | 2019-07-16 | 宁波方太厨具有限公司 | 一种基于图像识别的菜谱推荐方法及菜谱推荐系统 |
| CN110223757A (zh) * | 2019-04-23 | 2019-09-10 | 平安科技（深圳）有限公司 | 食谱方案的推荐方法、装置、介质、电子设备 |
-
2019
- 2019-11-01 CN CN201911061466.1A patent/CN112766020A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150074434A (ko) * | 2013-12-24 | 2015-07-02 | 김강 | 문자인식 기반 식단 자문 방법 |
| WO2018023425A1 (zh) * | 2016-08-02 | 2018-02-08 | 步晓芳 | 一种自动推荐食谱的方法以及冰箱 |
| CN106611105A (zh) * | 2016-12-08 | 2017-05-03 | 美的集团股份有限公司 | 实现菜谱推荐的方法及装置 |
| CN107423421A (zh) * | 2017-07-31 | 2017-12-01 | 京东方科技集团股份有限公司 | 菜谱推荐方法、装置和冰箱 |
| CN110021402A (zh) * | 2017-09-21 | 2019-07-16 | 宁波方太厨具有限公司 | 一种基于图像识别的菜谱推荐方法及菜谱推荐系统 |
| CN107563124A (zh) * | 2017-09-28 | 2018-01-09 | 珠海格力电器股份有限公司 | 菜谱数据的推送方法、装置和系统、存储介质及处理器 |
| CN107863138A (zh) * | 2017-10-31 | 2018-03-30 | 珠海格力电器股份有限公司 | 菜谱生成装置和方法 |
| CN108766529A (zh) * | 2018-05-16 | 2018-11-06 | 北京豆果信息技术有限公司 | 一种智能食谱推荐方法及系统 |
| CN109166614A (zh) * | 2018-08-14 | 2019-01-08 | 四川虹美智能科技有限公司 | 一种推荐个人健康菜谱的系统及方法 |
| CN110223757A (zh) * | 2019-04-23 | 2019-09-10 | 平安科技（深圳）有限公司 | 食谱方案的推荐方法、装置、介质、电子设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591576A (zh) * | 2021-06-29 | 2021-11-02 | 青岛海尔科技有限公司 | 食材信息的检测方法和装置、存储介质及电子装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11062169B2 (en) | Metric-based recognition, systems and methods | |
| US11503205B2 (en) | Photographing method and device, and related electronic apparatus | |
| CN108984657B (zh) | 图像推荐方法和装置、终端、可读存储介质 | |
| CN111881913A (zh) | 图像识别方法及装置、存储介质和处理器 | |
| CN102741882B (zh) | 图像分类装置、图像分类方法、集成电路、模型制作装置 | |
| CN110163810B (zh) | 一种图像处理方法、装置以及终端 | |
| CN104346503A (zh) | 一种基于人脸图像的情感健康监控方法及手机 | |
| CN108399052A (zh) | 图片压缩方法、装置、计算机设备和存储介质 | |
| US9449226B2 (en) | Information processing device | |
| CN103546803A (zh) | 一种图像处理的方法、客户端和图像处理的系统 | |
| CN110599554A (zh) | 人脸肤色的识别方法和装置、存储介质及电子装置 | |
| CN115482529A (zh) | 近景色水果图像识别方法、设备、存储介质及装置 | |
| CN112766020A (zh) | 带屏装置识别方法、带屏装置、菜谱推荐系统及存储介质 | |
| EP3869466A1 (en) | Method and device for picture generation, electronic device, and storage medium | |
| Vig et al. | Saliency-based selection of sparse descriptors for action recognition | |
| US9667709B2 (en) | Picture conversion SNS system and method, apparatus, and terminal | |
| CN113299367A (zh) | 基于冰箱的菜谱推荐方法、冰箱、菜谱推荐系统及介质 | |
| US20230377199A1 (en) | System and method of imaging | |
| KR20220102087A (ko) | 미디어 데이터를 처리하는 전자 장치 및 방법 | |
| CN116452881A (zh) | 食品营养价值检测方法、装置、设备及存储介质 | |
| CN117912638A (zh) | 一种菜谱的营养素分析方法与装置 | |
| CN116524608A (zh) | 活体检测方法、装置、设备与存储介质 | |
| CN115867935A (zh) | 成像系统和方法 | |
| KR20240067618A (ko) | 계층적 모델을 이용한 객체 식별 방법 및 장치 | |
| CN116612375A (zh) | 物品识别方法、装置、存储介质及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |