CN114581265A - 一种就餐人员食用喜好分析系统及方法 - Google Patents
一种就餐人员食用喜好分析系统及方法 Download PDFInfo
- Publication number
- CN114581265A CN114581265A CN202210220947.8A CN202210220947A CN114581265A CN 114581265 A CN114581265 A CN 114581265A CN 202210220947 A CN202210220947 A CN 202210220947A CN 114581265 A CN114581265 A CN 114581265A
- Authority
- CN
- China
- Prior art keywords
- food
- eating
- characteristic information
- person
- diner
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 235000005686 eating Nutrition 0.000 title claims abstract description 291
- 238000000034 method Methods 0.000 title claims abstract description 49
- 235000013305 food Nutrition 0.000 claims abstract description 774
- 238000004458 analytical method Methods 0.000 claims abstract description 18
- 235000012054 meals Nutrition 0.000 claims description 147
- 239000000463 material Substances 0.000 claims description 70
- 235000003166 Opuntia robusta Nutrition 0.000 claims description 51
- 244000218514 Opuntia robusta Species 0.000 claims description 51
- 238000012545 processing Methods 0.000 claims description 45
- 230000015572 biosynthetic process Effects 0.000 claims description 26
- 238000003786 synthesis reaction Methods 0.000 claims description 26
- 238000001514 detection method Methods 0.000 claims description 18
- 235000015097 nutrients Nutrition 0.000 claims description 14
- 230000000291 postprandial effect Effects 0.000 claims description 14
- 230000008569 process Effects 0.000 claims description 14
- 235000006694 eating habits Nutrition 0.000 claims description 10
- 239000000126 substance Substances 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 claims description 7
- 238000003066 decision tree Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 7
- 238000012417 linear regression Methods 0.000 claims description 7
- 238000012706 support-vector machine Methods 0.000 claims description 7
- 238000013527 convolutional neural network Methods 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 3
- 235000012631 food intake Nutrition 0.000 claims 1
- 239000010813 municipal solid waste Substances 0.000 abstract description 2
- 235000013311 vegetables Nutrition 0.000 abstract description 2
- 238000013461 design Methods 0.000 description 44
- 235000021158 dinner Nutrition 0.000 description 16
- 244000061456 Solanum tuberosum Species 0.000 description 15
- 235000002595 Solanum tuberosum Nutrition 0.000 description 15
- 235000013372 meat Nutrition 0.000 description 13
- 235000021190 leftovers Nutrition 0.000 description 7
- 238000011002 quantification Methods 0.000 description 7
- 241000209094 Oryza Species 0.000 description 6
- 235000007164 Oryza sativa Nutrition 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 235000009566 rice Nutrition 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000012010 growth Effects 0.000 description 5
- 235000016709 nutrition Nutrition 0.000 description 5
- 235000008429 bread Nutrition 0.000 description 4
- 235000021186 dishes Nutrition 0.000 description 4
- 235000020803 food preference Nutrition 0.000 description 4
- 230000036541 health Effects 0.000 description 3
- 235000006286 nutrient intake Nutrition 0.000 description 3
- 235000012015 potatoes Nutrition 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000010806 kitchen waste Substances 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000009747 swallowing Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- 238000005303 weighing Methods 0.000 description 2
- 241000282376 Panthera tigris Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 235000018648 unbalanced nutrition Nutrition 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/12—Hotels or restaurants
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
- G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
- G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Business, Economics & Management (AREA)
- Evolutionary Biology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Tourism & Hospitality (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及计算机技术领域,公开了一种就餐人员食用喜好分析系统及方法,其通过在领餐处及收餐处均布置人员信息采集终端和食物信息采集终端,可使后台服务器能够根据在领餐处采集的信息,确定食用前就餐人员及其对食用前食物的领取量,以及根据在收餐处采集的信息,确定食用后就餐人员及其对食用后食物的剩余量,最后可针对某种食物,根据单个/多个就餐人员对其的历史领取量和历史剩余量,统计得到所述单个/多个就餐人员对其的食用喜好度,从而无需人工地对厨余垃圾中的剩菜品类去进行统计,可大大地省时省力,降低食堂食物的评选难度,并由于是直接得到各种食物的喜好度,能够有效降低差错率,提升评选结果的准确性,便于实际应用和推广。
Description
技术领域
本发明属于计算机技术领域,具体地涉及一种就餐人员食用喜好分析系统及方法。
背景技术
目前在中小学,很多学生都在学校用餐,并多数由学校统一配餐。虽然学校根据营养餐的配餐要求提供营养午餐,但在现实中由于各种原因,学校营养午餐的剩饭剩菜情况非常普遍。这种情况的存在一方面造成了学生的营养摄入不均衡,进而对学生的生长发育及健康带来不利影响,另一方面剩菜剩饭问题也造成了食物及资源的很大浪费。
传统的中小学及大学食堂,可供选择的菜色品种稀少,质量和口感参差不齐。为保证菜品质量以及开发受欢迎的新菜色,需要一套有效的菜品衡量指标,例如使用销售量、好评率和回头率等指标来综合评选最受欢迎的食物,这种评选方式已受到餐厅经营者的普遍青睐。然而,食堂是采用统一配餐,每个就餐人员的菜式都是一样的,使得传统评选方式是由人工对厨余垃圾中的剩菜品类进行统计,并根据统计结果来反推得到最受欢迎的食物。然而,一般泔水回收处环境较差,气味难闻,人工统计费时费力,差错率较高,因此不但存在评选工作难开展的问题,还限制了评选结果准确性的进一步提高。
发明内容
为了解决在食堂供餐场景中所存在食用喜好评选工作难开展和评选结果准确性受限的问题,本发明目的在于提供一种就餐人员食用喜好分析系统及方法。
第一方面,本发明提供了一种就餐人员食用喜好分析系统,包括有第一人员信息采集终端、第二人员信息采集终端、第一食物信息采集终端、第二食物信息采集终端和后台服务器,其中,所述第一人员信息采集终端和所述第一食物信息采集终端一起布置在领餐处,所述第二人员信息采集终端和所述第二食物信息采集终端一起布置在收餐处,所述第一人员信息采集终端、所述第二人员信息采集终端、所述第一食物信息采集终端和所述第二食物信息采集终端分别通信连接所述后台服务器;
所述第一人员信息采集终端,用于采集出现在所述领餐处的食用前就餐人员的第一人员特征信息,并将所述第一人员特征信息传送至所述后台服务器;
所述第二人员信息采集终端,用于采集出现在所述收餐处的食用后就餐人员的第二人员特征信息,并将所述第二人员特征信息传送至所述后台服务器;
所述第一食物信息采集终端,用于采集出现在所述领餐处的食用前食物的第一食物特征信息,并将所述第一食物特征信息传送至所述后台服务器;
所述第二食物信息采集终端,用于采集出现在所述收餐处的食用后食物的第二食物特征信息,并将所述第二食物特征信息传送至所述后台服务器;
所述后台服务器,用于根据所述第一人员特征信息,识别出所述食用前就餐人员,并根据与所述第一人员特征信息同期采集的第一食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量,以及根据所述第二人员特征信息,识别出所述食用后就餐人员,并根据与所述第二人员特征信息同期采集的第二食物特征信息,确定出所述食用后就餐人员对所述食用后食物的剩余量,以及还针对某种食物,根据单个/多个就餐人员对其的历史领取量和历史剩余量,统计得到所述单个/多个就餐人员对其的食用喜好度。
基于上述发明内容,提供了一种自动分析就餐人员对食堂食物喜好程度的技术方案,即通过在领餐处布置第一人员信息采集终端和第一食物信息采集终端,以及在收餐处布置第二人员信息采集终端和第二食物信息采集终端,可使后台服务器能够根据在领餐处采集的信息,确定食用前就餐人员及其对食用前食物的领取量,以及根据在收餐处采集的信息,确定食用后就餐人员及其对食用后食物的剩余量,最后可针对某种食物,根据单个/多个就餐人员对其的历史领取量和历史剩余量,统计得到所述单个/多个就餐人员对其的食用喜好度,从而无需人工地对厨余垃圾中的剩菜品类去进行统计,可大大地省时省力,降低食堂食物的评选难度,并由于是直接得到各种食物的喜好度,能够有效降低差错率,提升评选结果的准确性,便于实际应用和推广。
在一个可能的设计中,所述第一人员信息采集终端或所述第二人员信息采集终端包括有摄像头,其中,所述摄像头用于采集所述食用前就餐人员或所述食用后就餐人员的人脸图像,并将所述人脸图像作为所述第一人员特征信息或所述第二人员特征信息传送至所述后台服务器,以便所述后台服务器根据所述人脸图像,通过人脸识别处理识别出所述食用前就餐人员或所述食用后就餐人员。
在一个可能的设计中,所述第一人员信息采集终端或所述第二人员信息采集终端包括有第一RFID阅读器,其中,所述第一RFID阅读器用于采集被所述食用前就餐人员或所述食用后就餐人员所持的用餐卡的第一RFID信息,并将所述第一RFID信息作为所述第一人员特征信息或所述第二人员特征信息传送至所述后台服务器,以便所述后台服务器根据预先绑定的就餐人员与用餐卡的一一对应关系,将与所述第一RFID信息对应的就餐人员识别为所述食用前就餐人员或所述食用后就餐人员,其中,所述用餐卡内置有第一RFID标签。
在一个可能的设计中,所述第一人员信息采集终端或所述第二人员信息采集终端包括有摄像头和第一RFID阅读器,其中,所述摄像头用于采集所述食用前就餐人员或所述食用后就餐人员的人脸图像,并将所述人脸图像作为所述第一人员特征信息或所述第二人员特征信息的一部分内容传送至所述后台服务器,所述第一RFID阅读器用于采集被所述食用前就餐人员或所述食用后就餐人员所持的用餐卡的第一RFID信息,并将所述第一RFID信息作为所述第一人员特征信息或所述第二人员特征信息的另一部分内容传送至所述后台服务器,以便所述后台服务器先根据所述人脸图像,通过人脸识别处理识别出所述食用前就餐人员或所述食用后就餐人员,并在人脸识别失败时,再根据预先绑定的就餐人员与用餐卡的一一对应关系,将与所述第一RFID信息对应的就餐人员识别为所述食用前就餐人员或所述食用后就餐人员,其中,所述用餐卡内置有第一RFID标签。
在一个可能的设计中,所述第一食物信息采集终端或所述第二食物信息采集终端包括有深度相机,其中,所述深度相机用于采集所述食用前食物或所述食用后食物的食物图像数据,并将所述食物图像数据作为所述第一食物特征信息或所述第二食物特征信息传送至所述后台服务器,以便所述后台服务器根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量;
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量,包括:
将与所述第一人员特征信息或所述第二人员特征信息同期采集的食物图像数据,输入预先建模所得的食物识别模型中,输出得到所述食用前食物或所述食用后食物的识别结果,其中,所述食物识别模型采用基于支持向量机、K最邻近法、随机梯度下降法、多变量线性回归、多层感知机、决策树、反向传播神经网络、卷积神经网络或径向基函数网络建模而得的人工智能模型;
根据所述食物图像数据,通过食物立体图像的合成处理估算出与所述识别结果对应的食物体积;
将所述食物体积确定为所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量。
在一个可能的设计中,所述深度相机有多个且以不同视角布置在所处位置。
在一个可能的设计中,所述深度相机包括有双目相机和/或飞行时间相机。
在一个可能的设计中,所述深度相机采用单个飞行时间相机与单目光学相机的配合方案,以便采集得到包含有彩色信息的食物立体图像数据。
在一个可能的设计中,将与所述第一人员特征信息或所述第二人员特征信息同期采集的食物图像数据,输入预先建模所得的食物识别模型中,输出得到所述食用前食物或所述食用后食物的识别结果,包括:
获取与所述第一人员特征信息或所述第二人员特征信息的采集日期同日的食物目录,其中,所述食物目录记录有多种食物;
针对所述多种食物中的各种食物,将与所述第一人员特征信息或所述第二人员特征信息同期采集的食物图像数据,输入对应的且预先建模所得的食物识别模型中,输出得到所述食用前食物或所述食用后食物为该食物的置信度;
将所述多种食物中的且与最大置信度对应的食物,确定为所述食用前食物或所述食用后食物的识别结果。
在一个可能的设计中,当所述深度相机包括有双目相机和飞行时间相机时,根据所述食物图像数据,通过食物立体图像的合成处理估算出与所述识别结果对应的食物体积,包括:
根据所述食物图像数据中的且由所述双目相机采集而得的第一图像数据,通过食物立体图像的合成处理,得到第一合成结果,并根据所述第一合成结果估算出与所述识别结果对应的第一体积;
根据所述食物图像数据中的且由所述飞行时间相机采集而得的第二图像数据,通过食物立体图像的合成处理,得到第二合成结果,并根据所述第二合成结果估算出与所述识别结果对应的第二体积;
按照如下公式计算得到与所述识别结果对应的食物体积V:
V=η1*V1+η2*V2
式中,V1表示所述第一体积,V2表示所述第二体积,η1和η2分别表示预设的权重系数且有η1+η2=1。
在一个可能的设计中,所述深度相机用于通过对被所述食用前就餐人员或所述食用后就餐人员所持的餐盘进行拍照,采集得到包含有至少一个所述食用前食物或至少一个所述食用后食物的食物图像数据的餐盘图像数据,并将所述餐盘图像数据作为所述第一食物特征信息或所述第二食物特征信息传送至所述后台服务器,其中,所述餐盘具有为特定颜色的餐盘底色,使得所述餐盘图像数据还包含有餐盘底色数据;
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量,包括:
从与所述第一人员特征信息或所述第二人员特征信息同期采集的餐盘图像数据中识别出餐盘底色数据;
以识别出的餐盘底色数据为背景数据,对所述餐盘图像数据进行图像数据分割处理,得到各个所述食用前食物或各个所述食用后食物的食物图像数据;
针对各个所述食用前食物或各个所述食用后食物,根据对应的食物图像数据,确定出所述食用前就餐人员对其的领取量或所述食用后就餐人员对其的剩余量。
在一个可能的设计中,所述深度相机用于通过对被所述食用前就餐人员或所述食用后就餐人员所持的餐盘进行拍照,采集得到包含有至少一个所述食用前食物或至少一个所述食用后食物的食物图像数据的餐盘图像数据,并将所述餐盘图像数据作为所述第一食物特征信息或所述第二食物特征信息传送至所述后台服务器;
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量,包括:
基于聚类算法对与所述第一人员特征信息或所述第二人员特征信息同期采集的餐盘图像数据进行食物堆聚类分析,识别出至少一个食物堆;
针对所述至少一个食物堆中的各个食物堆,根据对应的食物堆边界像素在所述餐盘图像数据中的像素坐标,对所述餐盘图像数据进行图像数据分割处理,得到对应的食物堆图像数据;
针对所述各个食物堆,根据对应的食物堆图像数据,确定出对应的所属食物及食物量;
针对各种所述食用前食物或各种所述食用后食物,汇总在所述至少一个食物堆中的且属于该食物的所有食物堆的食物量,并将对应的总食物量确定为所述食用前就餐人员对其的领取量或所述食用后就餐人员对其的剩余量。
在一个可能的设计中,所述后台服务器还用于根据与所述第一人员特征信息同期采集的食物图像数据,通过基于目标检测算法的食材识别处理,得到所述食用前就餐人员对在所有食材中各个食材的食用前识别个数,以及根据与所述第二人员特征信息同期采集的食物图像数据,通过基于目标检测算法的食材识别处理,得到所述食用后就餐人员对所述各个食材的食用后识别个数,以及还针对所述各个食材,根据某个就餐人员对其的食用前识别个数和食用后识别个数,计算得到所述某个就餐人员对其的食用量,然后针对所述某个就餐人员,按照食用量从大到小的顺序,依次排列所述所有食材,得到食材序列,最后将所述食材序列中排序靠前的若干食材确定为所述某个就餐人员的个人偏好食材。
在一个可能的设计中,所述后台服务器还用于根据与所述第一人员特征信息同期采集的食物图像数据,通过基于目标检测算法的食材识别处理,得到所述食用前就餐人员对在所有食材中各个食材的食用前识别个数,以及根据与所述第二人员特征信息同期采集的食物图像数据,通过基于目标检测算法的食材识别处理,得到所述食用后就餐人员对所述各个食材的食用后识别个数,以及还针对所述各个食材,根据某个就餐人员对其的食用前识别个数和食用后识别个数,计算得到所述某个就餐人员对其的单餐食用量,然后针对所述某个就餐人员及某个食材,根据对应的单餐食用量,计算得到所述某个就餐人员对所述某个食材中的各种营养物质的单餐摄入量,最后针对所述某个就餐人员及某种营养物质,汇总对应的所有单餐摄入量,得到对应的单餐总摄入量。
在一个可能的设计中,所述第一食物信息采集终端或所述第二食物信息采集终端包括有称重器和第二RFID阅读器,其中,所述称重器用于采集被所述食用前就餐人员或所述食用后就餐人员所持的且内置有第二RFID标签的餐碗的重量数据,并将所述重量数据作为所述第一食物特征信息或所述第二食物特征信息的一部分内容传送至所述后台服务器,所述第二RFID阅读器用于采集所述餐碗的第二RFID信息,并将所述第二RFID信息作为所述第一食物特征信息或所述第二食物特征信息的另一部分内容传送至所述后台服务器,以便所述后台服务器根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,按照如下步骤确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量:
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的第二RFID信息,基于预先绑定的食物与餐碗的对应关系,确定出所述食用前食物或所述食用后食物的识别结果;
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的重量数据,基于已知的空碗重量数据,计算得到与所述识别结果对应的食物重量;
将所述食物重量确定为所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量。
在一个可能的设计中,所述第一食物信息采集终端或所述第二食物信息采集终端包括有称重器和拍照相机,其中,所述称重器用于采集被所述食用前就餐人员或所述食用后就餐人员所持的餐碗的重量数据,并将所述重量数据作为所述第一食物特征信息或所述第二食物特征信息的一部分内容传送至所述后台服务器,所述拍照相机用于采集所述餐碗的餐碗图像数据,并将所述餐碗图像数据作为所述第一食物特征信息或所述第二食物特征信息的另一部分内容传送至所述后台服务器,以便所述后台服务器根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,按照如下步骤确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量:
将与所述第一人员特征信息或所述第二人员特征信息同期采集的餐碗图像数据,输入预先建模所得的食物识别模型中,输出得到所述食用前食物或所述食用后食物的识别结果,其中,所述食物识别模型采用基于支持向量机、K最邻近法、随机梯度下降法、多变量线性回归、多层感知机、决策树、反向传播神经网络、卷积神经网络或径向基函数网络建模而得的人工智能模型;
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的重量数据,基于已知的空碗重量数据,计算得到与所述识别结果对应的食物重量;
将所述食物重量确定为所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量。
在一个可能的设计中,所述第一食物信息采集终端或所述第二食物信息采集终端包括有深度相机和第二RFID阅读器,其中,所述深度相机用于采集被所述食用前就餐人员或所述食用后就餐人员所持的且内置有第二RFID标签的餐碗的餐碗图像数据,并将所述餐碗图像数据作为所述第一食物特征信息或所述第二食物特征信息的一部分内容传送至所述后台服务器,所述第二RFID阅读器用于采集所述餐碗的第二RFID信息,并将所述第二RFID信息作为所述第一食物特征信息或所述第二食物特征信息的另一部分内容传送至所述后台服务器,以便所述后台服务器根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,按照如下步骤确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量:
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的第二RFID信息,基于预先绑定的食物与餐碗的对应关系,确定出所述食用前食物或所述食用后食物的识别结果;
根据所述餐碗图像数据,通过食物立体图像的合成处理估算出与所述识别结果对应的食物体积;
将所述食物体积确定为所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量。
在一个可能的设计中,所述后台服务器还用于针对各种食物,根据某个就餐人员对其的领取量和剩余量,计算得到所述某个就餐人员对其的食用量,然后针对所述某个就餐人员,按照食用量从大到小的顺序,依次排列所有食物,得到食物序列,最后将所述食物序列中排序靠前的若干食物确定为所述某个就餐人员的个人偏好食物。
在一个可能的设计中,所述后台服务器还用于针对各种食物,根据某个就餐人员对其的领取量和剩余量,计算得到所述某个就餐人员对其的单餐食用量,然后针对所述某个就餐人员及某个食物,根据对应的单餐食用量,计算得到所述某个就餐人员对所述某个食物中的各种营养物质的单餐摄入量,最后针对所述某个就餐人员及某种营养物质,汇总对应的所有单餐摄入量,得到对应的单餐总摄入量。
在一个可能的设计中,所述后台服务器还用于根据所述第一人员特征信息的和/或所述第一食物特征信息的采集时间戳,确定所述食用前就餐人员的就餐前时间戳,以及根据所述第二人员特征信息的和/或所述第二食物特征信息的采集时间戳,确定所述食用后就餐人员的就餐后时间戳,以及还根据就餐人员的就餐前时间戳和就餐后时间戳,为所述就餐人员生成就餐占用时间建议。
第二方面,本发明提供了一种就餐人员食用喜好分析方法,包括:
采集出现在领餐处的食用前就餐人员的第一人员特征信息和食用前食物的第一食物特征信息;
采集出现在收餐处的食用后就餐人员的第二人员特征信息和食用后食物的第二食物特征信息;
根据所述第一人员特征信息,识别出所述食用前就餐人员,并根据与所述第一人员特征信息同期采集的第一食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量;
根据所述第二人员特征信息,识别出所述食用后就餐人员,并根据与所述第二人员特征信息同期采集的第二食物特征信息,确定出所述食用后就餐人员对所述食用后食物的剩余量;
针对某种食物,根据单个/多个就餐人员对其的历史领取量和历史剩余量,统计得到所述单个/多个就餐人员对其的食用喜好度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明提供的就餐人员食用喜好分析系统的结构示意图。
图2是本发明提供的第一种食物识别及量化方式的流程示意图。
图3是本发明提供的基于食物目录进行食物识别的流程示意图。
图4是本发明提供的基于两种不同深度相机进行食物量化的流程示意图。
图5是本发明提供的第一种对餐盘中食物进行识别量化的流程示意图。
图6是本发明提供的第二种对餐盘中食物进行识别量化的流程示意图。
图7是本发明提供的第二种食物识别及量化方式的流程示意图。
图8是本发明提供的第三种食物识别及量化方式的流程示意图。
图9是本发明提供的第四种食物识别及量化方式的流程示意图。
图10是本发明提供的就餐人员食用喜好分析方法的流程示意图。
具体实施方式
下面结合附图及具体实施例来对本发明作进一步阐述。在此需要说明的是,对于这些实施例方式的说明虽然是用于帮助理解本发明,但并不构成对本发明的限定。本文公开的特定结构和功能细节仅用于描述本发明示例的实施例。然而,可用很多备选的形式来体现本发明,并且不应当理解为本发明限制在本文阐述的实施例中。
应当理解,尽管本文可能使用术语第一和第二等等来描述各种对象,但是这些对象不应当受到这些术语的限制。这些术语仅用于区分一个对象和另一个对象。例如可以将第一对象称作第二对象,并且类似地可以将第二对象称作第一对象,同时不脱离本发明的示例实施例的范围。
应当理解,对于本文中可能出现的术语“和/或”,其仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A、单独存在B或者同时存在A和B等三种情况;对于本文中可能出现的术语“/和”,其是描述另一种关联对象关系,表示可以存在两种关系,例如,A/和B,可以表示:单独存在A或者同时存在A和B等两种情况;另外,对于本文中可能出现的字符“/”,一般表示前后关联对象是一种“或”关系。
如图1所示,本实施例第一方面提供的所述就餐人员食用喜好分析系统,包括但不限于有第一人员信息采集终端、第二人员信息采集终端、第一食物信息采集终端、第二食物信息采集终端和后台服务器,其中,所述第一人员信息采集终端和所述第一食物信息采集终端一起布置在领餐处,所述第二人员信息采集终端和所述第二食物信息采集终端一起布置在收餐处,所述第一人员信息采集终端、所述第二人员信息采集终端、所述第一食物信息采集终端和所述第二食物信息采集终端分别通信连接所述后台服务器;所述第一人员信息采集终端,用于采集出现在所述领餐处的食用前就餐人员的第一人员特征信息,并将所述第一人员特征信息传送至所述后台服务器;所述第二人员信息采集终端,用于采集出现在所述收餐处的食用后就餐人员的第二人员特征信息,并将所述第二人员特征信息传送至所述后台服务器;所述第一食物信息采集终端,用于采集出现在所述领餐处的食用前食物的第一食物特征信息,并将所述第一食物特征信息传送至所述后台服务器;所述第二食物信息采集终端,用于采集出现在所述收餐处的食用后食物的第二食物特征信息,并将所述第二食物特征信息传送至所述后台服务器;所述后台服务器,用于根据所述第一人员特征信息,识别出所述食用前就餐人员,并根据与所述第一人员特征信息同期采集的第一食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量,以及根据所述第二人员特征信息,识别出所述食用后就餐人员,并根据与所述第二人员特征信息同期采集的第二食物特征信息,确定出所述食用后就餐人员对所述食用后食物的剩余量,以及还针对某种食物,根据单个/多个就餐人员对其的历史领取量和历史剩余量,统计得到所述单个/多个就餐人员对其的食用喜好度。
如图1所示,在所述就餐人员食用喜好分析系统的具体结构中,所述领餐处是指在食堂中可实现就餐人员使用餐盘/餐碗等用具领取食用前食物的位置,例如为“打菜”位置、“打饭”位置和/或饭菜结算位置等,其中,所述食用前食物可以但不限于包括有领取的米饭、菜肴、包子和/或馒头等食物。所述收餐处是指在食堂中用于回收就餐人员未食用完的食用后食物的位置,即为与所述领餐处相对应的位置,由于收取的是残留的剩饭剩菜,有时也可以叫收残处,其中,所述食用后食物是指与所述食用前食物对应的残留食物,例如残留的米饭、菜肴、包子和/或馒头等。
所述第一人员信息采集终端可以具体包括有一个摄像头,该摄像头的镜头视野涵盖所述领餐处,进而可用于采集所述食用前就餐人员的人脸图像,并将该人脸图像作为所述第一人员特征信息传送至所述后台服务器。所述第二人员信息采集终端可以具体包括有另一个摄像头,该摄像头的镜头视野涵盖所述收餐处,进而可用于采集所述食用后就餐人员的人脸图像,并将该人脸图像作为所述第二人员特征信息传送至所述后台服务器。
所述第一食物信息采集终端可以具体包括有一组深度相机,该组深度相机的镜头视野涵盖所述领餐处,进而可用于采集所述食用前食物的食物图像数据,并将该食物图像数据作为所述第一食物特征信息传送至所述后台服务器。所述第二食物信息采集终端可以具体包括有另一组深度相机,该组深度相机的镜头视野涵盖所述收餐处,进而可用于采集所述食用后食物的食物图像数据,并将该食物图像数据作为所述第二食物特征信息传送至所述后台服务器。前述深度相机又称之为3D相机,顾名思义,就是通过该相机能检测出拍摄空间的景深距离,这也是与普通摄像头最大的区别,即其还能准确知道图像中每个点离摄像头的距离,这样加上该点在2D图像中的(x,y)坐标,就能获取图像中每个点的三维空间坐标,最终通过三维坐标就能还原真实场景,实现场景建模等应用。为了便于后续根据食物图像数据精确地进行食物立体图像的合成处理,所述深度相机优选有多个且以不同视角布置在所处位置(即领餐处或收餐处)。此外详细的,所述深度相机包括但不限于有双目相机和/或飞行时间相机,和/或,所述深度相机采用单个飞行时间相机与单目光学相机的配合方案,以便采集得到包含有彩色信息的食物立体图像数据。
所述后台服务器作为所述就餐人员食用喜好分析系统的核心设备,需要具有一定的计算资源以用于数据处理。所述后台服务器在收到用于作为所述第一人员特征信息或所述第二人员特征信息的人脸图像后,可根据所述人脸图像,通过人脸识别处理识别出所述食用前就餐人员或所述食用后就餐人员,其中,所述人脸识别处理的具体所用算法为现有算法。而所述后台服务器在收到用于作为所述第一食物特征信息或所述第二食物特征信息的食物图像数据后,可根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,按照如下步骤S11~S13确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量,如图2所示。
S11.将与所述第一人员特征信息或所述第二人员特征信息同期采集的食物图像数据,输入预先建模所得的食物识别模型中,输出得到所述食用前食物或所述食用后食物的识别结果,其中,所述食物识别模型可以但不限于采用基于支持向量机、K最邻近法、随机梯度下降法、多变量线性回归、多层感知机、决策树、反向传播神经网络、卷积神经网络或径向基函数网络等建模而得的人工智能模型。
在所述步骤S11中,具体的,是通过将与所述第一人员特征信息同期采集的食物图像数据输入所述食物识别模型中,来输出得到所述食用前食物的识别结果;以及是通过将与所述第二人员特征信息同期采集的食物图像数据输入所述食物识别模型中,来输出得到所述食用后食物的识别结果。所述支持向量机、所述K最邻近法、所述随机梯度下降法、所述多变量线性回归、所述多层感知机、所述决策树、所述反向传播神经网络和所述径向基函数网络等均为现有人工智能方法中的常见方案,即可通过常规的率定验证建模方式(其具体过程包括有模型的率定过程和校核过程,即是先通过对比模型模拟结果与实测数据,然后根据对比结果调整模型参数,使得模拟结果与实际吻合的过程),得到所述食物识别模型。
S12.根据所述食物图像数据,通过食物立体图像的合成处理估算出与所述识别结果对应的食物体积。
在所述步骤S12中,由于所述食物图像数据为由深度相机(例如双目相机或飞行时间相机等)采集而得3D数据,因此可以通过常规的场景建模方式,根据所述食物图像数据进行食物立体图像的合成处理,得到合成结果,然后根据该合成结果估算出与所述识别结果对应的食物体积。
S13.将所述食物体积确定为所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量。
在所述步骤S13中,若所述食物图像数据是与所述第一人员特征信息同期采集的,则意味着所述食用前就餐人员与所述食用前食物是同期出现在所述领餐处,可以建立可信的且人与食物的绑定关系,进而可将所述食物体积确定为所述食用前就餐人员对所述食用前食物的领取量。而若所述食物图像数据是与所述第二人员特征信息同期采集的,则意味着所述食用后就餐人员与所述食用后食物是同期出现在所述收餐处,也可以建立可信的且人与食物的绑定关系,进而可将所述食物体积确定为所述食用后就餐人员对所述食用后食物的剩余量。此外,所述同期采集包括有同时采集的情况和两采集时间差不大于预设时长阈值(例如1秒)的情况。
所述后台服务器在确定出各个就餐人员对各种食物的领取量和剩余量后,具体的,针对某种食物,根据单个/多个就餐人员对其的历史领取量和历史剩余量,统计得到所述单个/多个就餐人员对其的食用喜好,包括但不限于:根据单个/多个就餐人员对某种食物(例如包子或土豆炒肉丝等)的历史领取量和历史剩余量,例如最近一周/月各次用餐的领取量和剩余量(若某次用餐没有确定出就餐人员对某种食物的剩余量,则默认该次用餐时该就餐人员对该某种食物的剩余量为零),先计算得到所述单个/多个就餐人员对所述某种食物的历史食用量(即历史领取量与历史剩余量之差),然后将所述历史食用量与所述历史领取量的比值作为所述单个/多个就餐人员对所述某种食物的食用喜好度,即比值越大,表示越喜好。所述多个就餐人员可以但不限于是一个班级、一个年级或全校所有的就餐人员,如此可以统计得到一个班级的学生、一个年级的学生或全校所有学生对某种食物的食用喜好度,进而可利于开展食用喜好评选工作。
由此基于前述的就餐人员食用喜好分析系统,提供了一种自动分析就餐人员对食堂食物喜好程度的技术方案,即通过在领餐处布置第一人员信息采集终端和第一食物信息采集终端,以及在收餐处布置第二人员信息采集终端和第二食物信息采集终端,可使后台服务器能够根据在领餐处采集的信息,确定食用前就餐人员及其对食用前食物的领取量,以及根据在收餐处采集的信息,确定食用后就餐人员及其对食用后食物的剩余量,最后可针对某种食物,根据单个/多个就餐人员对其的历史领取量和历史剩余量,统计得到所述单个/多个就餐人员对其的食用喜好度,从而无需人工地对厨余垃圾中的剩菜品类去进行统计,可大大地省时省力,降低食堂食物的评选难度,并由于是直接得到各种食物的喜好度,能够有效降低差错率,提升评选结果的准确性,便于实际应用和推广。
本实施例在前述第一方面的技术方案基础上,还提供了另一种如何进行人员识别的可能设计一,即所述第一人员信息采集终端或所述第二人员信息采集终端包括有第一RFID(Radio Frequency Identification,射频识别)阅读器,其中,所述第一RFID阅读器用于采集被所述食用前就餐人员或所述食用后就餐人员所持的用餐卡的第一RFID信息,并将所述第一RFID信息作为所述第一人员特征信息或所述第二人员特征信息传送至所述后台服务器,以便所述后台服务器根据预先绑定的就餐人员与用餐卡的一一对应关系,将与所述第一RFID信息对应的就餐人员识别为所述食用前就餐人员或所述食用后就餐人员,其中,所述用餐卡内置有第一RFID标签。具体的,当所述第一RFID阅读器被布置在所述领餐处时,即可用于采集被所述食用前就餐人员所持的用餐卡的第一RFID信息;而当所述第一RFID阅读器被布置在所述收餐处时,即可用于采集被所述食用后就餐人员所持的用餐卡的第一RFID信息。由于所述用餐卡会预先在办卡时建立人与卡的绑定关系,因此所述后台服务器可根据预先绑定的就餐人员与用餐卡的一一对应关系,将与所述第一RFID信息对应的就餐人员识别为所述食用前就餐人员或所述食用后就餐人员,进而可用RFID阅读器替代摄像头进行人员信息采集,并实现人员识别目的。
本实施例在前述第一方面或可能设计一的技术方案基础上,还提供了另一种如何进行人员识别的可能设计二,即所述第一人员信息采集终端或所述第二人员信息采集终端包括有摄像头和第一RFID阅读器,其中,所述摄像头用于采集所述食用前就餐人员或所述食用后就餐人员的人脸图像,并将所述人脸图像作为所述第一人员特征信息或所述第二人员特征信息的一部分内容传送至所述后台服务器,所述第一RFID阅读器用于采集被所述食用前就餐人员或所述食用后就餐人员所持的用餐卡的第一RFID信息,并将所述第一RFID信息作为所述第一人员特征信息或所述第二人员特征信息的另一部分内容传送至所述后台服务器,以便所述后台服务器先根据所述人脸图像,通过人脸识别处理识别出所述食用前就餐人员或所述食用后就餐人员,并在人脸识别失败时,再根据预先绑定的就餐人员与用餐卡的一一对应关系,将与所述第一RFID信息对应的就餐人员识别为所述食用前就餐人员或所述食用后就餐人员,其中,所述用餐卡内置有第一RFID标签。由此可在人脸识别失败时,通过RFID技术进行人员识别补充,确保能够得到人员识别结果。
本实施例在前述第一方面的技术方案基础上,还提供了一种如何进行食物精准识别的可能设计三,即如图3所示,将与所述第一人员特征信息或所述第二人员特征信息同期采集的食物图像数据,输入预先建模所得的食物识别模型中,输出得到所述食用前食物或所述食用后食物的识别结果,包括但不限于有如下步骤S111~S113。
S111.获取与所述第一人员特征信息或所述第二人员特征信息的采集日期同日的食物目录,其中,所述食物目录记录有多种食物。
在所述步骤S111中,所述食物目录可具体为菜单目录;所述多种食物即为食堂在采集日可供应的食物,就餐人员会从所述多种食物中选取所想食用的一种或几种食物进行食用。
S112.针对所述多种食物中的各种食物,将与所述第一人员特征信息或所述第二人员特征信息同期采集的食物图像数据,输入对应的且预先建模所得的食物识别模型中,输出得到所述食用前食物或所述食用后食物为该食物的置信度。
在所述步骤S112中,举例的,若所述多种食物包含有包子、面包、米饭和土豆炒肉丝等,可将所述食物图像数据作为输入项,分别输入包子识别模型、面包识别模型、米饭识别模型和土豆炒肉丝识别模型中,得到所述食用前食物或所述食用后食物分别为包子、面包、米饭和土豆炒肉丝的置信度。
S113.将所述多种食物中的且与最大置信度对应的食物,确定为所述食用前食物或所述食用后食物的识别结果。
在所述步骤S113中,举例的,若所述食用前食物或所述食用后食物分别为包子、面包、米饭和土豆炒肉丝的置信度:10%、5%、2%和80%,可将土豆炒肉丝作为所述食用前食物或所述食用后食物的识别结果。
由此通过前述步骤S111~S113所描述的可能设计三,可以配合采集日的食物目录,确定所要用到的有限个食物识别模型,进而快速准确地得到最终的食物识别结果。
本实施例在前述第一方面的技术方案基础上,还提供了一种如何进行食物体积精准估算的可能设计四,即如图4所示,当所述深度相机包括有双目相机和飞行时间相机时,根据所述食物图像数据,通过食物立体图像的合成处理估算出与所述识别结果对应的食物体积,包括但不限于有如下步骤S121~S123。
S121.根据所述食物图像数据中的且由所述双目相机采集而得的第一图像数据,通过食物立体图像的合成处理,得到第一合成结果,并根据所述第一合成结果估算出与所述识别结果对应的第一体积。
S122.根据所述食物图像数据中的且由所述飞行时间相机采集而得的第二图像数据,通过食物立体图像的合成处理,得到第二合成结果,并根据所述第二合成结果估算出与所述识别结果对应的第二体积。
S123.按照如下公式计算得到与所述识别结果对应的食物体积V:
V=η1*V1+η2*V2
式中,V1表示所述第一体积,V2表示所述第二体积,η1和η2分别表示预设的权重系数且有η1+η2=1。
在所述步骤S123中,举例的,η1和η2可分别为0.5和0.5。
由此通过前述步骤S121~S123所描述的可能设计四,可以综合双目相机和飞行时间相机采集结果,提升食物体积估算结果的精准性。
本实施例在前述第一方面的技术方案基础上,还提供了一种如何对餐盘中食物进行量化处理的可能设计五,即所述深度相机用于通过对被所述食用前就餐人员或所述食用后就餐人员所持的餐盘进行拍照,采集得到包含有至少一个所述食用前食物或至少一个所述食用后食物的食物图像数据的餐盘图像数据,并将所述餐盘图像数据作为所述第一食物特征信息或所述第二食物特征信息传送至所述后台服务器,其中,所述餐盘具有为特定颜色的餐盘底色,使得所述餐盘图像数据还包含有餐盘底色数据;根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量,如图5所示,包括但不限于有如下步骤S21~S23。
S21.从与所述第一人员特征信息或所述第二人员特征信息同期采集的餐盘图像数据中识别出餐盘底色数据。
在所述步骤S21中,由于所述餐盘为特制餐盘且具有为特定颜色的餐盘底色,因此可以基于已知的特定颜色,从所述餐盘图像数据中识别出餐盘底色数据,例如当餐盘底色为蓝色时,可将所述餐盘图像数据中的蓝色数据作为所述餐盘底色数据。
S22.以识别出的餐盘底色数据为背景数据,对所述餐盘图像数据进行图像数据分割处理,得到各个所述食用前食物或各个所述食用后食物的食物图像数据。
在所述步骤S22中,由于在餐盘图像中餐盘底色图像会包围各个食物堆(即各个所述食用前食物或各个所述食用后食物)的图像,因此可以所述餐盘底色数据为背景数据,通过常规的图像数据分割处理,得到所述各个食物堆的食物图像数据。
S23.针对各个所述食用前食物或各个所述食用后食物,根据对应的食物图像数据,确定出所述食用前就餐人员对其的领取量或所述食用后就餐人员对其的剩余量。
在所述步骤S23中,所述领取量或剩余量的具体确定过程可参照前述步骤S11~S13,于此不再赘述。
由此通过前述步骤S21~S23所描述的可能设计五,可以针对具有特定餐盘底色的餐盘,先基于识别出的餐盘底色数据从餐盘图像数据中切割出各个食物堆的食物图像数据,然后再量化得到在餐盘中的各个食用前食物的领取量或各个食用后食物的剩余量,实现对餐盘中至少一种食物进行量化处理的目的。
本实施例在前述第一方面的技术方案基础上,还提供了另一种如何对餐盘中食物进行量化处理的可能设计六,即所述深度相机用于通过对被所述食用前就餐人员或所述食用后就餐人员所持的餐盘进行拍照,采集得到包含有至少一个所述食用前食物或至少一个所述食用后食物的食物图像数据的餐盘图像数据,并将所述餐盘图像数据作为所述第一食物特征信息或所述第二食物特征信息传送至所述后台服务器;根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量,如图6所示,包括但不限于有如下步骤S31~S34。
S31.基于聚类算法对与所述第一人员特征信息或所述第二人员特征信息同期采集的餐盘图像数据进行食物堆聚类分析,识别出至少一个食物堆。
在所述步骤S31中,聚类是一种运用广泛的探索性数据分析技术,人们对数据产生的第一直觉往往是通过对数据进行有意义的分组,通过对对象进行分组,使相似的对象归为一类,不相似的对象归为不同类,因此可通过对现有聚类算法的常规改动,实现对餐盘图像数据进行数据分类的目的,进而得到食物堆聚类分析结果,即识别出至少一个食物堆。具体的,所述聚类算法可以但不限于采用k均值聚类算法(其是一种迭代求解的聚类分析算法,其步骤是,预将数据分为K组,则随机选取K个对象作为初始的聚类中心,然后计算每个对象与各个种子聚类中心之间的距离,把每个对象分配给距离它最近的聚类中心)。
S32.针对所述至少一个食物堆中的各个食物堆,根据对应的食物堆边界像素在所述餐盘图像数据中的像素坐标,对所述餐盘图像数据进行图像数据分割处理,得到对应的食物堆图像数据。
在所述步骤S32中,针对各个食物堆,对应的所有食物堆边界像素会围成一个封闭的边界线,进而可基于该边界线对所述餐盘图像数据进行图像数据分割处理,得到对应的食物堆图像数据。
S33.针对所述各个食物堆,根据对应的食物堆图像数据,确定出对应的所属食物及食物量。
在所述步骤S33中,确定所属食物的具体细节可参照前述步骤S11得到(即将食物堆图像数据输入食物识别模型中,输出得到食物识别结果),确定食物量的具体细节可参照前述步骤S12得到(即根据食物堆图像数据,通过食物立体图像的合成处理估算出食物体积),于此不再赘述。
S34.针对各种所述食用前食物或各种所述食用后食物,汇总在所述至少一个食物堆中的且属于该食物的所有食物堆的食物量,并将对应的总食物量确定为所述食用前就餐人员对其的领取量或所述食用后就餐人员对其的剩余量。
在所述步骤S34中,举例的,若某种食物在所述餐盘中有两个食物堆,则可将这两个食物堆的食物量汇总起来,得到所述某种食物的领取量或剩余量。
由此通过前述步骤S31~S34所描述的可能设计六,可基于聚类算法分析结果直接进行食物图像分割,使得无需特制餐盘也能实现对餐盘中至少一种食物进行量化处理的目的。
本实施例在前述第一方面的技术方案基础上,还提供了一种如何对食材进行偏好分析的可能设计七,即所述后台服务器还用于根据与所述第一人员特征信息同期采集的食物图像数据,通过基于目标检测算法的食材识别处理,得到所述食用前就餐人员对在所有食材中各个食材的食用前识别个数,以及根据与所述第二人员特征信息同期采集的食物图像数据,通过基于目标检测算法的食材识别处理,得到所述食用后就餐人员对所述各个食材的食用后识别个数,以及还针对所述各个食材,根据某个就餐人员对其的食用前识别个数和食用后识别个数,计算得到所述某个就餐人员对其的食用量,然后针对所述某个就餐人员,按照食用量从大到小的顺序,依次排列所述所有食材,得到食材序列,最后将所述食材序列中排序靠前的若干食材确定为所述某个就餐人员的个人偏好食材。前述目标检测算法可采用现有算法,例如采用YOLO(You Only Look Once)算法,其是一种基于深度神经网络的对象识别和定位算法,其最大的特点是运行速度很快,可以用于实时系统。以土豆炒肉丝为例,可以通过基于目标检测算法的食材识别处理,分别得到土豆和肉的食用前识别个数及食用后识别个数,并根据食用前识别个数与食用后识别个数之差,得到土豆和肉的食用量;最后针对某个就餐人员,若食材排序结果为肉在前,可确定该某个就餐人员偏好食肉。
由此通过前述可能设计七,可以及时发现就餐人员是否存在偏食问题,进而可助力及时纠正偏食现象,确保就餐人员的身体健康及正常成长。
本实施例在前述第一方面的技术方案基础上,还提供了一种如何对营养物质摄入量进行量化分析的可能设计八,即所述后台服务器还用于根据与所述第一人员特征信息同期采集的食物图像数据,通过基于目标检测算法的食材识别处理,得到所述食用前就餐人员对在所有食材中各个食材的食用前识别个数,以及根据与所述第二人员特征信息同期采集的食物图像数据,通过基于目标检测算法的食材识别处理,得到所述食用后就餐人员对所述各个食材的食用后识别个数,以及还针对所述各个食材,根据某个就餐人员对其的食用前识别个数和食用后识别个数,计算得到所述某个就餐人员对其的单餐食用量,然后针对所述某个就餐人员及某个食材,根据对应的单餐食用量,计算得到所述某个就餐人员对所述某个食材中的各种营养物质的单餐摄入量,最后针对所述某个就餐人员及某种营养物质,汇总对应的所有单餐摄入量,得到对应的单餐总摄入量。同样以土豆炒肉丝为例,可以通过基于目标检测算法的食材识别处理,分别得到土豆和肉的食用前识别个数及食用后识别个数,并根据食用前识别个数与食用后识别个数之差,得到土豆和肉的单餐食用量,然后可根据土豆和肉分别与蛋白质(营养物质之一)的已知对应关系,计算得到蛋白质的单餐总摄入量。
由此通过前述可能设计八,可以及时发现就餐人员是否存在营养物质摄入失衡问题,进而可助力及时纠正营养物质摄入失衡现象,确保就餐人员的身体健康及正常成长。
本实施例在前述第一方面的技术方案基础上,还提供了另一种如何进行食物识别及量化处理的可能设计九,即所述第一食物信息采集终端或所述第二食物信息采集终端包括有称重器和第二RFID阅读器,其中,所述称重器用于采集被所述食用前就餐人员或所述食用后就餐人员所持的且内置有第二RFID标签的餐碗的重量数据,并将所述重量数据作为所述第一食物特征信息或所述第二食物特征信息的一部分内容传送至所述后台服务器,所述第二RFID阅读器用于采集所述餐碗的第二RFID信息,并将所述第二RFID信息作为所述第一食物特征信息或所述第二食物特征信息的另一部分内容传送至所述后台服务器,以便所述后台服务器根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,按照如下步骤S41~S43确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量,如图7所示。
S41.根据与所述第一人员特征信息或所述第二人员特征信息同期采集的第二RFID信息,基于预先绑定的食物与餐碗的对应关系,确定出所述食用前食物或所述食用后食物的识别结果。
在所述步骤S41中,所述餐碗与食物的预先绑定关系,可以但不限于是由出餐人员在提前将食物装载到餐碗中时,通过一个RFID写入器将与所装食物对应的所述第二RFID信息写入所述第二RFID标签中,由此可在领餐处和收餐处再次通过RFID技术确定碗中食物。
S42.根据与所述第一人员特征信息或所述第二人员特征信息同期采集的重量数据,基于已知的空碗重量数据,计算得到与所述识别结果对应的食物重量。
S43.将所述食物重量确定为所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量。
由此通过前述可能设计九,可以基于RFID技术和称重手段,来对碗中食物进行识别及量化处理,提升食物食用前后量化结果的准确性和实用性。
本实施例在前述第一方面的技术方案基础上,还提供了另一种如何进行食物识别及量化处理的可能设计十,即所述第一食物信息采集终端或所述第二食物信息采集终端包括有称重器和拍照相机,其中,所述称重器用于采集被所述食用前就餐人员或所述食用后就餐人员所持的餐碗的重量数据,并将所述重量数据作为所述第一食物特征信息或所述第二食物特征信息的一部分内容传送至所述后台服务器,所述拍照相机用于采集所述餐碗的餐碗图像数据,并将所述餐碗图像数据作为所述第一食物特征信息或所述第二食物特征信息的另一部分内容传送至所述后台服务器,以便所述后台服务器根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,按照如下步骤S51~S53确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量,如图8所示。
S51.将与所述第一人员特征信息或所述第二人员特征信息同期采集的餐碗图像数据,输入预先建模所得的食物识别模型中,输出得到所述食用前食物或所述食用后食物的识别结果,其中,所述食物识别模型可以但不限于采用基于支持向量机、K最邻近法、随机梯度下降法、多变量线性回归、多层感知机、决策树、反向传播神经网络、卷积神经网络或径向基函数网络等建模而得的人工智能模型。
在所述步骤S51中,具体识别细节可参见前述步骤S11,于此不再赘述。
S52.根据与所述第一人员特征信息或所述第二人员特征信息同期采集的重量数据,基于已知的空碗重量数据,计算得到与所述识别结果对应的食物重量。
S53.将所述食物重量确定为所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量。
由此通过前述可能设计十,可以基于图像识别技术和称重手段,来对碗中食物进行识别及量化处理,提升食物食用前后量化结果的准确性和实用性。
本实施例在前述第一方面的技术方案基础上,还提供了另一种如何进行食物识别及量化处理的可能设计十一,即所述第一食物信息采集终端或所述第二食物信息采集终端包括有深度相机和第二RFID阅读器,其中,所述深度相机用于采集被所述食用前就餐人员或所述食用后就餐人员所持的且内置有第二RFID标签的餐碗的餐碗图像数据,并将所述餐碗图像数据作为所述第一食物特征信息或所述第二食物特征信息的一部分内容传送至所述后台服务器,所述第二RFID阅读器用于采集所述餐碗的第二RFID信息,并将所述第二RFID信息作为所述第一食物特征信息或所述第二食物特征信息的另一部分内容传送至所述后台服务器,以便所述后台服务器根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,按照如下步骤S61~S63确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量,如图9所示。
S61.根据与所述第一人员特征信息或所述第二人员特征信息同期采集的第二RFID信息,基于预先绑定的食物与餐碗的对应关系,确定出所述食用前食物或所述食用后食物的识别结果。
在所述步骤S61中,具体识别细节可参见前述步骤S41,于此不再赘述。
S62.根据所述餐碗图像数据,通过食物立体图像的合成处理估算出与所述识别结果对应的食物体积。
在所述步骤S62中,具体估算细节可参见前述步骤S12,于此不再赘述。
S63.将所述食物体积确定为所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量。
由此通过前述可能设计十一,可以基于RFID技术和3D建模技术,来对碗中食物进行识别及量化处理,提升食物食用前后量化结果的准确性和实用性。
本实施例在前述第一方面的技术方案基础上,还提供了一种如何对食物进行偏好分析的可能设计十二,即所述后台服务器还用于针对各种食物,根据某个就餐人员对其的领取量和剩余量,计算得到所述某个就餐人员对其的食用量,然后针对所述某个就餐人员,按照食用量从大到小的顺序,依次排列所有食物,得到食物序列,最后将所述食物序列中排序靠前的若干食物确定为所述某个就餐人员的个人偏好食物。如此也可及时发现就餐人员是否存在偏食问题,进而可助力及时纠正偏食现象,确保就餐人员的身体健康及正常成长。
本实施例在前述第一方面的技术方案基础上,还提供了一种如何对营养物质摄入量进行量化分析的可能设计十三,即所述后台服务器还用于针对各种食物,根据某个就餐人员对其的领取量和剩余量,计算得到所述某个就餐人员对其的单餐食用量,然后针对所述某个就餐人员及某个食物,根据对应的单餐食用量,计算得到所述某个就餐人员对所述某个食物中的各种营养物质的单餐摄入量,最后针对所述某个就餐人员及某种营养物质,汇总对应的所有单餐摄入量,得到对应的单餐总摄入量。如此也可以及时发现就餐人员是否存在营养物质摄入失衡问题,进而可助力及时纠正营养物质摄入失衡现象,确保就餐人员的身体健康及正常成长。
本实施例在前述第一方面的技术方案基础上,还提供了一种如何给予就餐用时建议的可能设计十四,即所述后台服务器还用于根据所述第一人员特征信息的和/或所述第一食物特征信息的采集时间戳,确定所述食用前就餐人员的就餐前时间戳,以及根据所述第二人员特征信息的和/或所述第二食物特征信息的采集时间戳,确定所述食用后就餐人员的就餐后时间戳,以及还根据就餐人员的就餐前时间戳和就餐后时间戳,为所述就餐人员生成就餐占用时间建议。具体的,根据就餐人员的就餐前时间戳和就餐后时间戳,为所述就餐人员生成就餐占用时间建议,包括但不限于有:根据所有就餐人员的就餐前时间戳与就餐后时间戳之差,统计得到平均就餐占用时间,然后根据某个就餐人员的就餐前时间戳与就餐后时间戳之差,计算得到个人就餐占用时间,最后根据所述平均就餐占用时间与所述个人就餐占用时间的比较结果,得到针对所述某个就餐人员的就餐占用时间建议,其中,所述就餐占用时间建议包括有加快用餐速度、维持用餐速度和/或降低用餐速度。详细的,若所述平均就餐占用时间明显小于所述个人就餐占用时间,则针对所述某个就餐人员的就餐占用时间建议为加快用餐速度;而若所述平均就餐占用时间略等于所述个人就餐占用时间,则针对所述某个就餐人员的就餐占用时间建议为维持用餐速度;而若所述平均就餐占用时间明显大于所述个人就餐占用时间,则针对所述某个就餐人员的就餐占用时间建议为降低用餐速度。
由此通过前述可能设计十四,可为就餐人员生成就餐占用时间建议,科学指导就餐人员用餐,避免出现狼吞虎咽等不良用餐习惯。
如图10所示,本实施例第二方面还提供了一种就餐人员食用喜好分析方法,包括但不限于有如下步骤S1~S5。
S1.采集出现在领餐处的食用前就餐人员的第一人员特征信息和食用前食物的第一食物特征信息。
S2.采集出现在收餐处的食用后就餐人员的第二人员特征信息和食用后食物的第二食物特征信息。
S3.根据所述第一人员特征信息,识别出所述食用前就餐人员,并根据与所述第一人员特征信息同期采集的第一食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量。
S4.根据所述第二人员特征信息,识别出所述食用后就餐人员,并根据与所述第二人员特征信息同期采集的第二食物特征信息,确定出所述食用后就餐人员对所述食用后食物的剩余量。
S5.针对某种食物,根据单个/多个就餐人员对其的历史领取量和历史剩余量,统计得到所述单个/多个就餐人员对其的食用喜好度。
本实施例第二方面提供的前述方法的工作过程、工作细节和技术效果,可以参见第一方面或第一方面中任一可能设计所述的就餐人员食用喜好分析系统,于此不再赘述。
最后应说明的是,本发明不局限于上述可选的实施方式,任何人在本发明的启示下都可得出其他各种形式的产品。上述具体实施方式不应理解成对本发明的保护范围的限制,本发明的保护范围应当以权利要求书中界定的为准,并且说明书可以用于解释权利要求书。
Claims (15)
1.一种就餐人员食用喜好分析系统,其特征在于,包括有第一人员信息采集终端、第二人员信息采集终端、第一食物信息采集终端、第二食物信息采集终端和后台服务器,其中,所述第一人员信息采集终端和所述第一食物信息采集终端一起布置在领餐处,所述第二人员信息采集终端和所述第二食物信息采集终端一起布置在收餐处,所述第一人员信息采集终端、所述第二人员信息采集终端、所述第一食物信息采集终端和所述第二食物信息采集终端分别通信连接所述后台服务器;
所述第一人员信息采集终端,用于采集出现在所述领餐处的食用前就餐人员的第一人员特征信息,并将所述第一人员特征信息传送至所述后台服务器;
所述第二人员信息采集终端,用于采集出现在所述收餐处的食用后就餐人员的第二人员特征信息,并将所述第二人员特征信息传送至所述后台服务器;
所述第一食物信息采集终端,用于采集出现在所述领餐处的食用前食物的第一食物特征信息,并将所述第一食物特征信息传送至所述后台服务器;
所述第二食物信息采集终端,用于采集出现在所述收餐处的食用后食物的第二食物特征信息,并将所述第二食物特征信息传送至所述后台服务器;
所述后台服务器,用于根据所述第一人员特征信息,识别出所述食用前就餐人员,并根据与所述第一人员特征信息同期采集的第一食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量,以及根据所述第二人员特征信息,识别出所述食用后就餐人员,并根据与所述第二人员特征信息同期采集的第二食物特征信息,确定出所述食用后就餐人员对所述食用后食物的剩余量,以及还针对某种食物,根据单个/多个就餐人员对其的历史领取量和历史剩余量,统计得到所述单个/多个就餐人员对其的食用喜好度。
2.如权利要求1所述的就餐人员食用喜好分析系统,其特征在于,所述第一人员信息采集终端或所述第二人员信息采集终端包括有摄像头,其中,所述摄像头用于采集所述食用前就餐人员或所述食用后就餐人员的人脸图像,并将所述人脸图像作为所述第一人员特征信息或所述第二人员特征信息传送至所述后台服务器,以便所述后台服务器根据所述人脸图像,通过人脸识别处理识别出所述食用前就餐人员或所述食用后就餐人员;
或者,所述第一人员信息采集终端或所述第二人员信息采集终端包括有第一RFID阅读器,其中,所述第一RFID阅读器用于采集被所述食用前就餐人员或所述食用后就餐人员所持的用餐卡的第一RFID信息,并将所述第一RFID信息作为所述第一人员特征信息或所述第二人员特征信息传送至所述后台服务器,以便所述后台服务器根据预先绑定的就餐人员与用餐卡的一一对应关系,将与所述第一RFID信息对应的就餐人员识别为所述食用前就餐人员或所述食用后就餐人员,其中,所述用餐卡内置有第一RFID标签;
或者,所述第一人员信息采集终端或所述第二人员信息采集终端包括有摄像头和第一RFID阅读器,其中,所述摄像头用于采集所述食用前就餐人员或所述食用后就餐人员的人脸图像,并将所述人脸图像作为所述第一人员特征信息或所述第二人员特征信息的一部分内容传送至所述后台服务器,所述第一RFID阅读器用于采集被所述食用前就餐人员或所述食用后就餐人员所持的用餐卡的第一RFID信息,并将所述第一RFID信息作为所述第一人员特征信息或所述第二人员特征信息的另一部分内容传送至所述后台服务器,以便所述后台服务器先根据所述人脸图像,通过人脸识别处理识别出所述食用前就餐人员或所述食用后就餐人员,并在人脸识别失败时,再根据预先绑定的就餐人员与用餐卡的一一对应关系,将与所述第一RFID信息对应的就餐人员识别为所述食用前就餐人员或所述食用后就餐人员,其中,所述用餐卡内置有第一RFID标签。
3.如权利要求1所述的就餐人员食用喜好分析系统,其特征在于,所述第一食物信息采集终端或所述第二食物信息采集终端包括有深度相机,其中,所述深度相机用于采集所述食用前食物或所述食用后食物的食物图像数据,并将所述食物图像数据作为所述第一食物特征信息或所述第二食物特征信息传送至所述后台服务器,以便所述后台服务器根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量;
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量,包括:
将与所述第一人员特征信息或所述第二人员特征信息同期采集的食物图像数据,输入预先建模所得的食物识别模型中,输出得到所述食用前食物或所述食用后食物的识别结果,其中,所述食物识别模型采用基于支持向量机、K最邻近法、随机梯度下降法、多变量线性回归、多层感知机、决策树、反向传播神经网络、卷积神经网络或径向基函数网络建模而得的人工智能模型;
根据所述食物图像数据,通过食物立体图像的合成处理估算出与所述识别结果对应的食物体积;
将所述食物体积确定为所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量。
4.如权利要求3所述的就餐人员食用喜好分析系统,其特征在于,所述深度相机有多个且以不同视角布置在所处位置;
和/或,所述深度相机包括有双目相机和/或飞行时间相机;
和/或,所述深度相机采用单个飞行时间相机与单目光学相机的配合方案,以便采集得到包含有彩色信息的食物立体图像数据。
5.如权利要求3所述的就餐人员食用喜好分析系统,其特征在于,将与所述第一人员特征信息或所述第二人员特征信息同期采集的食物图像数据,输入预先建模所得的食物识别模型中,输出得到所述食用前食物或所述食用后食物的识别结果,包括:
获取与所述第一人员特征信息或所述第二人员特征信息的采集日期同日的食物目录,其中,所述食物目录记录有多种食物;
针对所述多种食物中的各种食物,将与所述第一人员特征信息或所述第二人员特征信息同期采集的食物图像数据,输入对应的且预先建模所得的食物识别模型中,输出得到所述食用前食物或所述食用后食物为该食物的置信度;
将所述多种食物中的且与最大置信度对应的食物,确定为所述食用前食物或所述食用后食物的识别结果。
6.如权利要求3所述的就餐人员食用喜好分析系统,其特征在于,当所述深度相机包括有双目相机和飞行时间相机时,根据所述食物图像数据,通过食物立体图像的合成处理估算出与所述识别结果对应的食物体积,包括:
根据所述食物图像数据中的且由所述双目相机采集而得的第一图像数据,通过食物立体图像的合成处理,得到第一合成结果,并根据所述第一合成结果估算出与所述识别结果对应的第一体积;
根据所述食物图像数据中的且由所述飞行时间相机采集而得的第二图像数据,通过食物立体图像的合成处理,得到第二合成结果,并根据所述第二合成结果估算出与所述识别结果对应的第二体积;
按照如下公式计算得到与所述识别结果对应的食物体积V:
V=η1*V1+η2*V2
式中,V1表示所述第一体积,V2表示所述第二体积,η1和η2分别表示预设的权重系数且有η1+η2=1。
7.如权利要求3所述的就餐人员食用喜好分析系统,其特征在于,所述深度相机用于通过对被所述食用前就餐人员或所述食用后就餐人员所持的餐盘进行拍照,采集得到包含有至少一个所述食用前食物或至少一个所述食用后食物的食物图像数据的餐盘图像数据,并将所述餐盘图像数据作为所述第一食物特征信息或所述第二食物特征信息传送至所述后台服务器,其中,所述餐盘具有为特定颜色的餐盘底色,使得所述餐盘图像数据还包含有餐盘底色数据;
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量,包括:
从与所述第一人员特征信息或所述第二人员特征信息同期采集的餐盘图像数据中识别出餐盘底色数据;
以识别出的餐盘底色数据为背景数据,对所述餐盘图像数据进行图像数据分割处理,得到各个所述食用前食物或各个所述食用后食物的食物图像数据;
针对各个所述食用前食物或各个所述食用后食物,根据对应的食物图像数据,确定出所述食用前就餐人员对其的领取量或所述食用后就餐人员对其的剩余量。
8.如权利要求3所述的就餐人员食用喜好分析系统,其特征在于,所述深度相机用于通过对被所述食用前就餐人员或所述食用后就餐人员所持的餐盘进行拍照,采集得到包含有至少一个所述食用前食物或至少一个所述食用后食物的食物图像数据的餐盘图像数据,并将所述餐盘图像数据作为所述第一食物特征信息或所述第二食物特征信息传送至所述后台服务器;
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量,包括:
基于聚类算法对与所述第一人员特征信息或所述第二人员特征信息同期采集的餐盘图像数据进行食物堆聚类分析,识别出至少一个食物堆;
针对所述至少一个食物堆中的各个食物堆,根据对应的食物堆边界像素在所述餐盘图像数据中的像素坐标,对所述餐盘图像数据进行图像数据分割处理,得到对应的食物堆图像数据;
针对所述各个食物堆,根据对应的食物堆图像数据,确定出对应的所属食物及食物量;
针对各种所述食用前食物或各种所述食用后食物,汇总在所述至少一个食物堆中的且属于该食物的所有食物堆的食物量,并将对应的总食物量确定为所述食用前就餐人员对其的领取量或所述食用后就餐人员对其的剩余量。
9.如权利要求3所述的就餐人员食用喜好分析系统,其特征在于,所述后台服务器还用于根据与所述第一人员特征信息同期采集的食物图像数据,通过基于目标检测算法的食材识别处理,得到所述食用前就餐人员对在所有食材中各个食材的食用前识别个数,以及根据与所述第二人员特征信息同期采集的食物图像数据,通过基于目标检测算法的食材识别处理,得到所述食用后就餐人员对所述各个食材的食用后识别个数,以及还针对所述各个食材,根据某个就餐人员对其的食用前识别个数和食用后识别个数,计算得到所述某个就餐人员对其的食用量,然后针对所述某个就餐人员,按照食用量从大到小的顺序,依次排列所述所有食材,得到食材序列,最后将所述食材序列中排序靠前的若干食材确定为所述某个就餐人员的个人偏好食材。
10.如权利要求3所述的就餐人员食用喜好分析系统,其特征在于,所述后台服务器还用于根据与所述第一人员特征信息同期采集的食物图像数据,通过基于目标检测算法的食材识别处理,得到所述食用前就餐人员对在所有食材中各个食材的食用前识别个数,以及根据与所述第二人员特征信息同期采集的食物图像数据,通过基于目标检测算法的食材识别处理,得到所述食用后就餐人员对所述各个食材的食用后识别个数,以及还针对所述各个食材,根据某个就餐人员对其的食用前识别个数和食用后识别个数,计算得到所述某个就餐人员对其的单餐食用量,然后针对所述某个就餐人员及某个食材,根据对应的单餐食用量,计算得到所述某个就餐人员对所述某个食材中的各种营养物质的单餐摄入量,最后针对所述某个就餐人员及某种营养物质,汇总对应的所有单餐摄入量,得到对应的单餐总摄入量。
11.如权利要求1所述的就餐人员食用喜好分析系统,其特征在于,所述第一食物信息采集终端或所述第二食物信息采集终端包括有称重器和第二RFID阅读器,其中,所述称重器用于采集被所述食用前就餐人员或所述食用后就餐人员所持的且内置有第二RFID标签的餐碗的重量数据,并将所述重量数据作为所述第一食物特征信息或所述第二食物特征信息的一部分内容传送至所述后台服务器,所述第二RFID阅读器用于采集所述餐碗的第二RFID信息,并将所述第二RFID信息作为所述第一食物特征信息或所述第二食物特征信息的另一部分内容传送至所述后台服务器,以便所述后台服务器根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,按照如下步骤确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量:
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的第二RFID信息,基于预先绑定的食物与餐碗的对应关系,确定出所述食用前食物或所述食用后食物的识别结果;
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的重量数据,基于已知的空碗重量数据,计算得到与所述识别结果对应的食物重量;
将所述食物重量确定为所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量;
或者,所述第一食物信息采集终端或所述第二食物信息采集终端包括有称重器和拍照相机,其中,所述称重器用于采集被所述食用前就餐人员或所述食用后就餐人员所持的餐碗的重量数据,并将所述重量数据作为所述第一食物特征信息或所述第二食物特征信息的一部分内容传送至所述后台服务器,所述拍照相机用于采集所述餐碗的餐碗图像数据,并将所述餐碗图像数据作为所述第一食物特征信息或所述第二食物特征信息的另一部分内容传送至所述后台服务器,以便所述后台服务器根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,按照如下步骤确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量:
将与所述第一人员特征信息或所述第二人员特征信息同期采集的餐碗图像数据,输入预先建模所得的食物识别模型中,输出得到所述食用前食物或所述食用后食物的识别结果,其中,所述食物识别模型采用基于支持向量机、K最邻近法、随机梯度下降法、多变量线性回归、多层感知机、决策树、反向传播神经网络、卷积神经网络或径向基函数网络建模而得的人工智能模型;
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的重量数据,基于已知的空碗重量数据,计算得到与所述识别结果对应的食物重量;
将所述食物重量确定为所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量;
或者,所述第一食物信息采集终端或所述第二食物信息采集终端包括有深度相机和第二RFID阅读器,其中,所述深度相机用于采集被所述食用前就餐人员或所述食用后就餐人员所持的且内置有第二RFID标签的餐碗的餐碗图像数据,并将所述餐碗图像数据作为所述第一食物特征信息或所述第二食物特征信息的一部分内容传送至所述后台服务器,所述第二RFID阅读器用于采集所述餐碗的第二RFID信息,并将所述第二RFID信息作为所述第一食物特征信息或所述第二食物特征信息的另一部分内容传送至所述后台服务器,以便所述后台服务器根据与所述第一人员特征信息或所述第二人员特征信息同期采集的食物特征信息,按照如下步骤确定出所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量:
根据与所述第一人员特征信息或所述第二人员特征信息同期采集的第二RFID信息,基于预先绑定的食物与餐碗的对应关系,确定出所述食用前食物或所述食用后食物的识别结果;
根据所述餐碗图像数据,通过食物立体图像的合成处理估算出与所述识别结果对应的食物体积;
将所述食物体积确定为所述食用前就餐人员对所述食用前食物的领取量或所述食用后就餐人员对所述食用后食物的剩余量。
12.如权利要求1所述的就餐人员食用喜好分析系统,其特征在于,所述后台服务器还用于针对各种食物,根据某个就餐人员对其的领取量和剩余量,计算得到所述某个就餐人员对其的食用量,然后针对所述某个就餐人员,按照食用量从大到小的顺序,依次排列所有食物,得到食物序列,最后将所述食物序列中排序靠前的若干食物确定为所述某个就餐人员的个人偏好食物。
13.如权利要求1所述的就餐人员食用喜好分析系统,其特征在于,所述后台服务器还用于针对各种食物,根据某个就餐人员对其的领取量和剩余量,计算得到所述某个就餐人员对其的单餐食用量,然后针对所述某个就餐人员及某个食物,根据对应的单餐食用量,计算得到所述某个就餐人员对所述某个食物中的各种营养物质的单餐摄入量,最后针对所述某个就餐人员及某种营养物质,汇总对应的所有单餐摄入量,得到对应的单餐总摄入量。
14.如权利要求1所述的就餐人员食用喜好分析系统,其特征在于,所述后台服务器还用于根据所述第一人员特征信息的和/或所述第一食物特征信息的采集时间戳,确定所述食用前就餐人员的就餐前时间戳,以及根据所述第二人员特征信息的和/或所述第二食物特征信息的采集时间戳,确定所述食用后就餐人员的就餐后时间戳,以及还根据就餐人员的就餐前时间戳和就餐后时间戳,为所述就餐人员生成就餐占用时间建议。
15.一种就餐人员食用喜好分析方法,其特征在于,包括:
采集出现在领餐处的食用前就餐人员的第一人员特征信息和食用前食物的第一食物特征信息;
采集出现在收餐处的食用后就餐人员的第二人员特征信息和食用后食物的第二食物特征信息;
根据所述第一人员特征信息,识别出所述食用前就餐人员,并根据与所述第一人员特征信息同期采集的第一食物特征信息,确定出所述食用前就餐人员对所述食用前食物的领取量;
根据所述第二人员特征信息,识别出所述食用后就餐人员,并根据与所述第二人员特征信息同期采集的第二食物特征信息,确定出所述食用后就餐人员对所述食用后食物的剩余量;
针对某种食物,根据单个/多个就餐人员对其的历史领取量和历史剩余量,统计得到所述单个/多个就餐人员对其的食用喜好度。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210220947.8A CN114581265B (zh) | 2022-03-08 | 2022-03-08 | 一种就餐人员食用喜好分析系统及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210220947.8A CN114581265B (zh) | 2022-03-08 | 2022-03-08 | 一种就餐人员食用喜好分析系统及方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114581265A true CN114581265A (zh) | 2022-06-03 |
CN114581265B CN114581265B (zh) | 2022-09-20 |
Family
ID=81773550
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210220947.8A Active CN114581265B (zh) | 2022-03-08 | 2022-03-08 | 一种就餐人员食用喜好分析系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114581265B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090111099A1 (en) * | 2007-10-27 | 2009-04-30 | Yongsheng Ma | Promoter Detection and Analysis |
US20130095459A1 (en) * | 2006-05-12 | 2013-04-18 | Bao Tran | Health monitoring system |
CN109509535A (zh) * | 2018-10-08 | 2019-03-22 | 北京健康有益科技有限公司 | 食物体积的获取方法、食物热量的获取方法、电子设备 |
CN110852299A (zh) * | 2019-11-19 | 2020-02-28 | 秒针信息技术有限公司 | 顾客饮食习惯确定方法及装置 |
CN112074248A (zh) * | 2018-04-27 | 2020-12-11 | 爱尔康公司 | 立体可视化相机和集成式机器人技术平台 |
CN112381506A (zh) * | 2020-11-10 | 2021-02-19 | 广东电力信息科技有限公司 | 基于物联网及智能预测推荐的智慧食堂管理系统 |
-
2022
- 2022-03-08 CN CN202210220947.8A patent/CN114581265B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130095459A1 (en) * | 2006-05-12 | 2013-04-18 | Bao Tran | Health monitoring system |
US20090111099A1 (en) * | 2007-10-27 | 2009-04-30 | Yongsheng Ma | Promoter Detection and Analysis |
CN112074248A (zh) * | 2018-04-27 | 2020-12-11 | 爱尔康公司 | 立体可视化相机和集成式机器人技术平台 |
CN109509535A (zh) * | 2018-10-08 | 2019-03-22 | 北京健康有益科技有限公司 | 食物体积的获取方法、食物热量的获取方法、电子设备 |
CN110852299A (zh) * | 2019-11-19 | 2020-02-28 | 秒针信息技术有限公司 | 顾客饮食习惯确定方法及装置 |
CN112381506A (zh) * | 2020-11-10 | 2021-02-19 | 广东电力信息科技有限公司 | 基于物联网及智能预测推荐的智慧食堂管理系统 |
Non-Patent Citations (1)
Title |
---|
马跃龙等: "一种基于深度相机的机器人室内导航点云地图生成方法", 《测绘工程》 * |
Also Published As
Publication number | Publication date |
---|---|
CN114581265B (zh) | 2022-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9734426B2 (en) | Automated food recognition and nutritional estimation with a personal mobile electronic device | |
US9977980B2 (en) | Food logging from images | |
US11823042B2 (en) | System for measuring food weight | |
CN107658001B (zh) | 一种家庭用油健康管理方法和系统 | |
TW201228632A (en) | Health monitoring system | |
CN105608650A (zh) | 一种菜品搭配推荐方法及其系统 | |
CN111080493B (zh) | 一种菜品信息识别方法、装置及菜品自助结算系统 | |
CN112329866A (zh) | 一种餐厅智能健康点餐系统及方法 | |
US20210313039A1 (en) | Systems and Methods for Diet Quality Photo Navigation Utilizing Dietary Fingerprints for Diet Assessment | |
CN112053428A (zh) | 一种识别食物所含营养信息的方法及装置 | |
CN110444271A (zh) | 饮食建议生成方法、装置、计算机设备及存储介质 | |
CN111666893A (zh) | 一种点餐处理方法及装置 | |
CN110366731B (zh) | 用于指导膳食的图像捕获的系统、方法和存储介质 | |
KR102487925B1 (ko) | 음식량 측정을 이용한 배식소의 운영정보와 배식대상의 관리정보 제공 방법, 서버 및 프로그램 | |
KR102326540B1 (ko) | 음식 영상을 이용한 영양관리 및 질병관리 방법 | |
JP2021513708A (ja) | 食品を分類する方法及びシステム | |
CN113158036A (zh) | 一种自动化食谱推荐方法、装置、终端及存储介质 | |
EP3964793A1 (en) | Food measurement method, device, and program | |
CN114581265B (zh) | 一种就餐人员食用喜好分析系统及方法 | |
KR102473282B1 (ko) | 인공지능을 활용한 영상 분석 기반 영양정보 제공 시스템 및 방법 | |
CN114359299B (zh) | 一种饮食分割方法及慢病患者的饮食营养管理方法 | |
CN111415328B (zh) | 物品分析数据确定方法、装置、电子设备 | |
CN114882973A (zh) | 一种基于标准食品识别的每日营养摄取分析方法及系统 | |
CN114360690A (zh) | 一种慢病患者的饮食营养管理方法和系统 | |
KR20210049704A (ko) | 음식 측정 방법, 장치, 및 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |