CN111860263B - 信息录入方法、装置及计算机可读存储介质 - Google Patents
信息录入方法、装置及计算机可读存储介质 Download PDFInfo
- Publication number
- CN111860263B CN111860263B CN202010665115.8A CN202010665115A CN111860263B CN 111860263 B CN111860263 B CN 111860263B CN 202010665115 A CN202010665115 A CN 202010665115A CN 111860263 B CN111860263 B CN 111860263B
- Authority
- CN
- China
- Prior art keywords
- goods
- list
- information
- cargo
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000003860 storage Methods 0.000 title claims abstract description 36
- 239000000463 material Substances 0.000 claims abstract description 186
- 235000013305 food Nutrition 0.000 claims abstract description 183
- 230000011218 segmentation Effects 0.000 claims abstract description 35
- 238000010801 machine learning Methods 0.000 claims abstract description 28
- 238000012216 screening Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 24
- 235000012054 meals Nutrition 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 11
- 238000012790 confirmation Methods 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 abstract description 13
- 230000000694 effects Effects 0.000 abstract description 4
- 238000012015 optical character recognition Methods 0.000 description 33
- 238000010586 diagram Methods 0.000 description 10
- 230000002452 interceptive effect Effects 0.000 description 8
- 238000012937 correction Methods 0.000 description 7
- 238000013145 classification model Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000002360 preparation method Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 241000220225 Malus Species 0.000 description 4
- 235000021016 apples Nutrition 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 235000010724 Wisteria floribunda Nutrition 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 235000021152 breakfast Nutrition 0.000 description 2
- 238000010411 cooking Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 235000015219 food category Nutrition 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/232—Orthographic correction, e.g. spell checking or vowelisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Multimedia (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种信息录入方法、装置及计算机可读存储介质。该方法包括：获取货物列表的图像；对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息。通过本发明，解决了相关技术中食材录入中逐条输入导致效率低下的问题，进而达到了高效、准确识别并记录食材信息的效果。
Description
技术领域
本发明涉及通信领域，具体而言，涉及一种信息录入方法、装置及计算机可读存储介质。
背景技术
随着科技的发展，智能冰箱越来越受到人们的关注。智能冰箱相比于传统冰箱具有更为合理化的管理方式，并引入了很多新的技术，如精控微风道技术、干湿分离技术、动态杀菌技术、食材管理、到期提醒等。而这些功能的高精度实现依赖于存储区域食材种类的准确推导与录入。
目前，冰箱内储存物品的录入主要包括以下几种方式：
1)手动录入，即根据所放置的物品在智能冰箱屏幕或与之连接的手机端等通过人工的方式录入；
2)语音录入，即在放置物品时直接通过语音交流的方式进行信息的录入；
3)图像录入，即通过定时对冰箱内食材进行图像分析，确定冰箱内的物品种类等。
然而，上述几种食材录入方式存在以下几点不足：
1)手动录入需要用户与冰箱进行多次交互，输入商品名、类别、时间等等信息，效率较低。而在大量物品的购买后往往由于时间原因无法进行全面的录入，从而影响了信息的完整性。
2)语音录入优化了录入的交流方式，减少了人的劳动，但同样存在与手动录入类似的问题。
3)图像录入的方式容易受到食材之间互相遮挡的影响，摄像头无法拍摄到全部的食材信息，从而出现判断模糊的问题。
面对目前冰箱食材录入方法的不足，亟待提供一种高效、准确的冰箱食材录入方案。
发明内容
本发明实施例提供了一种信息录入方法、装置及计算机可读存储介质，以至少解决相关技术中食材录入中逐条输入导致效率低下的问题。
根据本发明的一个实施例，提供了一种信息录入方法，包括：获取货物列表的图像；对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息。
在至少一个示例性实施例中，获取所述货物列表的所述图像包括以下至少之一：通过智能冰箱上的图像采集模块采集所述货物列表的所述图像；接收移动终端采集并发送的所述货物列表的所述图像。
在至少一个示例性实施例中，在所述货物列表对应多幅图像的情况下，获取所述货物列表的所述图像之后，所述方法还包括：对所述货物列表对应的所述多幅图像进行图像拼接。
在至少一个示例性实施例中，对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的所述文本信息包括：采用多种不同的文本内容识别系统对所述货物列表的图像进行文本内容识别，得到多个识别结果；根据所述多个不同的文本内容识别系统对不同类别的文本的识别准确度对所述多个识别结果进行合并，得到所述货物列表对应的所述文本信息。
在至少一个示例性实施例中，对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的所述文本信息之后，还包括：根据自然语言模型，基于上下文信息对所述货物列表对应的文本信息进行纠错。
在至少一个示例性实施例中，对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别包括：对所述货物列表对应的文本信息进行分词，将每个词转换为词向量，并根据词之间的关系将词向量组合为向量矩阵；基于所述向量矩阵采用机器学习模型预测所述货物列表中的货物的类别，其中，所述机器学习模型采用焦点损失作为训练误差。
在至少一个示例性实施例中，对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别之前，所述方法还包括：基于字符模糊匹配的方式从所述货物列表对应的文本信息中确定出所述货物列表的生成时间；记录所述货物列表的生成时间，并将所述生成时间从所述货物列表对应的文本信息中删除。
在至少一个示例性实施例中，记录所述食材类的货物的货物信息包括：从所述货物列表对应的文本信息中，提取所述食材类的货物对应的货物信息并记录，其中，所述货物信息包括以下至少之一：货物名称、货物数量、货物品牌、货物重量。
在至少一个示例性实施例中，记录所述食材类的货物的货物信息包括：确定所述货物列表的生成时间和所述图像的获取时间之间的时间差值；采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息。
在至少一个示例性实施例中，采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息包括以下至少之一：在所述时间差值小于阈值t的情况下，显示第一界面，其中，所述第一界面中显示筛选出的所述食材类的货物的货物信息，并提示对筛选出的所述食材类的货物的货物信息进行确认；在所述时间差值不小于所述阈值t的情况下，显示第二界面，其中，所述第二界面中显示筛选出的所述食材类的货物的货物信息，并提示删除已使用的食材类的货物的货物信息；在接收到删除结果时，记录未被删除的食材类的货物的货物信息，并显示所述未被删除的食材类的货物的建议存储位置。
在至少一个示例性实施例中，所述阈值t在进餐时间段的取值小于在除进餐时间段之外的其他时间段的取值。
根据本发明的另一个实施例，提供了一种信息录入装置，包括：图像获取模块，设置为获取货物列表的图像；文本内容识别模块，设置为对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；类别预测模块，设置为对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；货物筛选记录模块，设置为根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息。
在至少一个示例性实施例中，所述文本内容识别模块设置为：采用多种不同的文本内容识别系统对所述货物列表的图像进行文本内容识别，得到多个识别结果；根据所述多个不同的文本内容识别系统对不同类别的文本的识别准确度对所述多个识别结果进行合并，得到所述货物列表对应的所述文本信息。
在至少一个示例性实施例中，所述类别预测模块设置为：对所述货物列表对应的文本信息进行分词，将每个词转换为词向量，并根据词之间的关系将词向量组合为向量矩阵；基于所述向量矩阵采用机器学习模型预测所述货物列表中的货物的类别，其中，所述机器学习模型采用焦点损失作为训练误差。
在至少一个示例性实施例中，所述货物筛选记录模块设置为：确定所述货物列表的生成时间和所述图像的获取时间之间的时间差值；采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息。
根据本发明的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
通过本发明，由于对货物列表的图像进行文本内容识别，基于文本内容识别的结果进行分词并基于机器学习模型进行货物的类别的预测，从而能够准确筛选出食材类的货物，并记录食材信息，因此，可以解决相关技术中食材录入中逐条输入导致效率低下的问题，达到高效、准确识别并记录食材信息的效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例1的信息录入方法的流程图；
图2是根据本发明实施例2的信息录入装置的结构框图；
图3是根据本发明实施例2的信息识别装置的示例性结构框图；
图4是根据本发明实施例4的食材录入流程的示意图；
图5是根据本发明实施例4的识别结果交互确认的第一模型的示意图；
图6是根据本发明实施例4的识别结果交互确认的第二模型的示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
实施例1
在本实施例中提供了一种信息录入方法，图1是根据本发明实施例1的信息录入方法的流程图，如图1所示，该流程包括如下步骤：
步骤S102，获取货物列表的图像，其中，货物列表包括线上或线下购物时所涉及的货物的列表，货物列表可以包括以下至少之一：购物小票、购物清单、发货清单、网购订单等等；
步骤S104，对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；
步骤S106，对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；
步骤S108，根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息。
通过上述步骤，由于对货物列表的图像进行文本内容识别，基于文本内容识别的结果进行分词并基于机器学习模型进行货物的类别的预测，从而能够准确筛选出食材类的货物，并记录食材信息，因此，可以解决相关技术中食材录入中逐条输入导致效率低下的问题，达到高效、准确识别并记录食材信息的效果。
可选地，上述信息录入方法可以由智能冰箱(或其对应的服务器，或由智能冰箱与其对应的服务器交互)执行，也可以由移动终端(或其对应的服务器，或由移动终端与其对应的服务器交互)执行，但不限于此。
在至少一个示例性实施例中，步骤S102可以包括以下至少之一：
通过智能冰箱上的图像采集模块采集所述货物列表的所述图像，也就是说，可以在智能冰箱上安装图像采集模块，并由智能冰箱采集货物列表的图像；
接收移动终端采集并发送的所述货物列表的所述图像，也就是说，可以通过移动终端在智能冰箱相关的客户端APP中拍摄或上传货物列表的所述图像，再将所述图像传输给智能冰箱或服务器。
在至少一个示例性实施例中，在所述货物列表对应多幅图像的情况下，获取所述货物列表的所述图像之后，所述方法还包括：对所述货物列表对应的所述多幅图像进行图像拼接。通过该方法，可以在货物列表长度较长的情况下，通过分多次获取所述货物列表的图像并将多幅图像拼接在一起，能够一次性处理完整个货物列表的食材类信息的录入。
在至少一个示例性实施例中，为了实现更加准确的文字识别，步骤S104可以包括：
步骤S1042，采用多种不同的文本内容识别系统(例如，多种光学字符识别(Optical Character Recognition，OCR)系统等等)对所述货物列表的图像进行文本内容识别，得到多个识别结果；
步骤S1044，根据所述多个不同的文本内容识别系统对不同类别的文本的识别准确度对所述多个识别结果进行合并，得到所述货物列表对应的所述文本信息。
通过该方案，例如通过多家OCR识别结果，根据预期的统计信息对模型识别结果进行选择，针对中文、英文字母、数字等分别选用不同OCR模型的识别结果，从而提高识别结果的鲁棒性。
在至少一个示例性实施例中，还可以对文字识别结果进行纠错，例如，在步骤S104之后，还可以包括：根据自然语言模型，基于上下文信息对所述货物列表对应的文本信息进行纠错。通过纠错处理，可以进一步提高文字识别结果的准确性，得到更加准确的所述货物列表对应的文本信息，从而为接下来的货物类别预测和食材类货物的信息记录提供更加准确的基础信息。
在至少一个示例性实施例中，步骤S106可以包括：
步骤S1062，对所述货物列表对应的文本信息进行分词，将每个词转换为词向量，并根据词之间的关系将词向量组合为向量矩阵；
步骤S1064，基于所述向量矩阵采用机器学习模型预测所述货物列表中的货物的类别，其中，所述机器学习模型采用焦点损失focal loss作为训练误差。
通过上述使用加权focal loss作为模型的训练误差的方式实现步骤S106，能够有效避免其他类别过多造成的分类误差，降低类别“其他”对模型的影响。
在至少一个示例性实施例中，步骤S106之前，所述方法还包括：
基于字符模糊匹配的方式从所述货物列表对应的文本信息中确定出所述货物列表的生成时间；
记录所述货物列表的生成时间，并将所述生成时间从所述货物列表对应的文本信息中删除。
通过以上方法，将时间信息从文本信息中剔除，从而使得分词和类别预测的结果更加准确。
在至少一个示例性实施例中，记录所述食材类的货物的货物信息可以包括：从所述货物列表对应的文本信息中，提取所述食材类的货物对应的货物信息并记录，其中，所述货物信息包括以下至少之一：货物名称、货物数量、货物品牌、货物重量。本领域技术人员应当清楚，所记录的货物信息可以不限于上述列举的几种信息，货物列表对应的文本信息中存在的各种类型的关于食材类的货物对应的货物信息，都可以进行提取并记录。
在至少一个示例性实施例中，记录所述食材类的货物的货物信息可以包括：
确定所述货物列表的生成时间和所述图像的获取时间之间的时间差值；
采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息。
通过确定货物列表的生成时间和图像的获取时间之间的时间差值，实际上可以得知从采购货物到当前准备进行信息录入所经历了多长时间，根据时间差值的长短，需要进行记录策略的适当调整，以进行更加准确的货物信息的记录，具体的记录策略请见以下描述。
在一个示例性实施例中，采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息可以包括以下至少之一：
(1)在所述时间差值小于阈值t的情况下，显示第一界面，其中，所述第一界面中显示筛选出的所述食材类的货物的货物信息，并提示对筛选出的所述食材类的货物的货物信息进行确认；在接收到对筛选出的所述食材类的货物的货物信息的确认时，记录显示的所述货物信息，并显示所述食材类的货物对应的建议储存位置。在这种情况下，从采购货物到当前准备进行信息录入所经历的时间较短，这表明用户可能是在采购完成并返回家中后直接开始进行信息录入，并准备将食材类的货物放进冰箱中，在此情况下用户可能并没有对食材类的货物进行使用，因此所要放进冰箱的食材类的货物一般与货物列表上的食材类的货物一致，此时的记录策略可以是直接在第一界面中显示筛选出的食材类的货物的货物信息供用户确认，在用户确认后可以记录货物信息，并优选可以显示食材的建议存储位置。
(2)在所述时间差值不小于所述阈值t的情况下，显示第二界面，其中，所述第二界面中显示筛选出的所述食材类的货物的货物信息，并提示删除已使用的食材类的货物的货物信息；在接收到删除结果时，记录未被删除的食材类的货物的货物信息，并显示所述未被删除的食材类的货物的建议存储位置。在这种情况下，从采购货物到当前准备进行信息录入所经历的时间较长，这种情况下很可能用户已经对部分食材类的货物进行了使用，因此所要放进冰箱的食材类的货物一般与货物列表上的食材类的货物不一致(前者比后者要少)，此时的记录策略可以是在第二界面中显示筛选出的食材类的货物的货物信息并提示用户删除已经使用的食材，在用户删除后可以记录货物信息，并优选可以显示食材的建议存储位置。
在上述示例性实施例中，考虑到在接近进餐时间(例如，早餐、中餐、晚餐时间)时，用户有较大可能会在采购食材后直接对部分食材进行使用(即，烹制食材)，此时应当更加优先地发出询问，提示用户删除已经使用的食材，所以，所述阈值t在进餐时间段(也就是说在进餐时间前后的预定范围内)的取值建议小于在除进餐时间段之外的其他时间段的取值，这样能够在用户使用食材的高峰期更倾向于提示用户注意删除已经使用的食材，使得录入的内容更加准确。
在另一个示例性实施例中，采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息可以包括以下至少之一：
(1)在所述时间差值小于第一阈值t1的情况下，显示第一界面，其中，所述第一界面中显示筛选出的所述食材类的货物的货物信息，并提示对筛选出的所述食材类的货物的货物信息进行确认；在接收到对筛选出的所述食材类的货物的货物信息的确认时，记录显示的所述货物信息，并显示所述食材类的货物对应的建议储存位置。在这种情况下，从采购货物到当前准备进行信息录入所经历的时间较短，这表明用户可能是在采购完成并返回家中后直接开始进行信息录入，并准备将食材类的货物放进冰箱中，在此情况下用户可能并没有对食材类的货物进行使用，因此所要放进冰箱的食材类的货物一般与货物列表上的食材类的货物一致，此时的记录策略可以是直接在第一界面中显示筛选出的食材类的货物的货物信息供用户确认，在用户确认后可以记录货物信息，并优选可以显示食材的建议存储位置。
(2)在所述时间差值不小于所述第一阈值t1但小于第二阈值t2的情况下，显示第二界面，其中，所述第二阈值t2大于所述第一阈值t1，所述第二界面中显示筛选出的所述食材类的货物的货物信息，并提示对筛选出的所述食材类的货物的货物信息进行确认；在接收到对筛选出的所述食材类的货物的货物信息的确认时，记录显示的所述货物信息。在这种情况下，从采购货物到当前准备进行信息录入所经历的时间中等，这种情况下用户可能准备对部分食材类的货物进行使用，但还没有使用完毕，此时所要放进冰箱的食材类的货物可能与货物列表上的食材类的货物一致也可能不一致，处于不确定状态，此时的记录策略可以是在第二界面中显示筛选出的食材类的货物的货物信息并提示用户进行确认，在用户确认后可以记录货物信息。
(3)在所述时间差值不小于所述第二阈值t2的情况下，显示第三界面，其中，所述第三界面中显示筛选出的所述食材类的货物的货物信息，并提示删除已使用的食材类的货物的货物信息；在接收到删除结果时，记录未被删除的食材类的货物的货物信息，并显示所述未被删除的食材类的货物的建议存储位置。在这种情况下，从采购货物到当前准备进行信息录入所经历的时间较长，这种情况下很可能用户已经对部分食材类的货物进行了使用，因此所要放进冰箱的食材类的货物一般与货物列表上的食材类的货物不一致(前者比后者要少)，此时的记录策略可以是在第三界面中显示筛选出的食材类的货物的货物信息并提示用户删除已经使用的食材，在用户删除后可以记录货物信息，并优选可以显示食材的建议存储位置。
在上述示例性实施例中，考虑到在接近进餐时间(例如，早餐、中餐、晚餐时间)时，用户有较大可能会在采购食材后直接对部分食材进行使用(即，烹制食材)，此时应当更加优先地发出询问，提示用户删除已经使用的食材，所以，所述第一阈值t1和所述第二阈值t2在进餐时间段(也就是说在进餐时间前后的预定范围内)的取值建议小于在除进餐时间段之外的其他时间段的取值，这样能够在用户使用食材的高峰期更倾向于提示用户注意删除已经使用的食材，使得录入的内容更加准确。
通过该方案，可以根据货物列表的生成时间和所述图像的获取时间之间的时间差值，确定用户输入货物列表的图像的时间与货物购买时间之间的时间差值的大小，从而可以确定是货物购买后的录入时机是即时录入还是使用部分食材后录入，从而根据对应的策略执行更加人性化的记录和提醒功能。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例中还提供了一种信息录入装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明实施例2的信息录入装置的结构框图，如图2所示，该装置包括：
图像获取模块22，设置为获取货物列表的图像，其中，货物列表包括线上或线下购物时所涉及的货物的列表，货物列表可以包括以下至少之一：购物小票、购物清单、发货清单、网购订单等等；
文本内容识别模块24，设置为对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；
类别预测模块26，设置为对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；
货物筛选记录模块28，设置为根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息。
通过上述装置，通过文本内容识别模块24对货物列表的图像进行文本内容识别，类别预测模块26基于文本内容识别的结果进行分词并基于机器学习模型进行货物的类别的预测，从而货物筛选记录模块28能够准确筛选出食材类的货物，并记录食材信息，因此，可以解决相关技术中食材录入中逐条输入导致效率低下的问题，达到高效、准确识别并记录食材信息的效果。
可选地，上述信息录入装置可以设置于智能冰箱(或其对应的服务器，或其中的不同模块分别设置于智能冰箱与其对应的服务器中)，也可以设置于移动终端(或其对应的服务器，或其中的不同模块分别设置于移动终端与其对应的服务器中)，但不限于此。
在至少一个示例性实施例中，所述图像获取模块22可以包括安装在智能冰箱上的图像采集模块，也可以包括用于接收移动终端采集并发送的所述货物列表的所述图像的接收器。
在至少一个示例性实施例中，图像获取模块22还设置为在所述货物列表对应多幅图像的情况下，获取所述货物列表的所述图像之后，对所述货物列表对应的所述多幅图像进行图像拼接。
在至少一个示例性实施例中，为了实现更加准确的文字识别，所述文本内容识别模块24可以设置为：
采用多种不同的文本内容识别系统(例如，多种光学字符识别(OpticalCharacterRecognition，OCR)系统等等)对所述货物列表的图像进行文本内容识别，得到多个识别结果；
根据所述多个不同的文本内容识别系统对不同类别的文本的识别准确度对所述多个识别结果进行合并，得到所述货物列表对应的所述文本信息。
通过该方案，例如通过多家OCR识别结果，根据预期的统计信息对模型识别结果进行选择，针对中文、英文字母、数字等分别选用不同OCR模型的识别结果，从而提高识别结果的鲁棒性。
图3是根据本发明实施例2的信息识别装置的示例性结构框图，如图3所示，在至少一个示例性实施例中，为了对文字识别结果进行纠错，所述装置还可以包括：文本信息纠错模块32，设置为根据自然语言模型，基于上下文信息对所述货物列表对应的文本信息进行纠错。
在至少一个示例性实施例中，所述类别预测模块26可以设置为：对所述货物列表对应的文本信息进行分词，将每个词转换为词向量，并根据词之间的关系将词向量组合为向量矩阵；基于所述向量矩阵采用机器学习模型预测所述货物列表中的货物的类别，其中，所述机器学习模型采用焦点损失focal loss作为训练误差。
在至少一个示例性实施例中，所述货物筛选记录模块28设置为基于字符模糊匹配的方式从所述货物列表对应的文本信息中确定出所述货物列表的生成时间；记录所述货物列表的生成时间，并将所述生成时间从所述货物列表对应的文本信息中删除。
通过以上方案，将时间信息从文本信息中剔除，从而使得分词和类别预测的结果更加准确。
在至少一个示例性实施例中，所述货物筛选记录模块28设置为从所述货物列表对应的文本信息中，提取所述食材类的货物对应的货物信息并记录，其中，所述货物信息包括以下至少之一：货物名称、货物数量、货物品牌、货物重量。
在至少一个示例性实施例中，所述货物筛选记录模块28设置为确定所述货物列表的生成时间和所述图像的获取时间之间的时间差值；采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息。
在一个示例性实施例中，所述货物筛选记录模块28设置为执行以下至少之一：
在所述时间差值小于阈值t的情况下，显示第一界面，其中，所述第一界面中显示筛选出的所述食材类的货物的货物信息，并提示对筛选出的所述食材类的货物的货物信息进行确认；在接收到对筛选出的所述食材类的货物的货物信息的确认时，记录显示的所述货物信息，并显示所述食材类的货物对应的建议储存位置；
在所述时间差值不小于所述阈值t的情况下，显示第二界面，其中，所述第二界面中显示筛选出的所述食材类的货物的货物信息，并提示删除已使用的食材类的货物的货物信息；在接收到删除结果时，记录未被删除的食材类的货物的货物信息，并显示所述未被删除的食材类的货物的建议存储位置。
在上述示例性实施例中，所述阈值t在进餐时间段的取值小于在除进餐时间段之外的其他时间段的取值。
在另一个示例性实施例中，采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息可以包括以下至少之一：
在所述时间差值小于第一阈值t1的情况下，显示第一界面，其中，所述第一界面中显示筛选出的所述食材类的货物的货物信息，并提示对筛选出的所述食材类的货物的货物信息进行确认；在接收到对筛选出的所述食材类的货物的货物信息的确认时，记录显示的所述货物信息，并显示所述食材类的货物对应的建议储存位置；
在所述时间差值不小于所述第一阈值t1但小于第二阈值t2的情况下，显示第二界面，其中，所述第二阈值t2大于所述第一阈值t1，所述第二界面中显示筛选出的所述食材类的货物的货物信息，并提示对筛选出的所述食材类的货物的货物信息进行确认；在接收到对筛选出的所述食材类的货物的货物信息的确认时，记录显示的所述货物信息；
在所述时间差值不小于所述第二阈值t2的情况下，显示第三界面，其中，所述第三界面中显示筛选出的所述食材类的货物的货物信息，并提示删除已使用的食材类的货物的货物信息；在接收到删除结果时，记录未被删除的食材类的货物的货物信息，并显示所述未被删除的食材类的货物的建议存储位置。
在上述示例性实施例中，所述第一阈值t1和所述第二阈值t2在进餐时间段的取值小于在除进餐时间段之外的其他时间段的取值。
通过该方案，可以根据货物列表的生成时间和所述图像的获取时间之间的时间差值，确定用户输入货物列表的图像的时间与货物购买时间之间的时间差值的大小，从而可以确定是货物购买后的录入时机是即时录入还是使用部分食材后录入，从而根据对应的策略执行更加人性化的记录和提醒功能。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读存储介质可以被设置为存储用于执行以下步骤的计算机程序：
步骤S1，获取货物列表的图像，其中，货物列表包括线上或线下购物时所涉及的货物的列表，货物列表可以包括以下至少之一：购物小票、购物清单、发货清单、网购订单等等；
步骤S2，对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；
步骤S3，对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；
步骤S4，根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息。
可选地，计算机可读存储介质还被设置为存储用于执行以下步骤的计算机程序：
可选地，在本实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
步骤S1，获取货物列表的图像，其中，货物列表包括线上或线下购物时所涉及的货物的列表，货物列表可以包括以下至少之一：购物小票、购物清单、发货清单、网购订单等等；
步骤S2，对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；
步骤S3，对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；
步骤S4，根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
实施例4
为解决食材录入中逐条输入导致效率低下的问题，本实施例提供的方案从购物小票、清单等出发，通过OCR技术对购物小票、清单进行内容识别，再对识别出的文本进行建模，确定商品所属类别，从而实现批量导入的功能。为了更好的进行食材管理，在确认类别后，会根据当前时间与购物时间进行相应的信息展示。
用于智能冰箱的食材录入方案，具体的涉及智能冰箱、图像采集相机与智能冰箱绑定的终端设备等硬件部分，同时包含有图像采集模块、OCR(光学字符识别，OpticalCharacter Recognition)识别、文本纠错模块、基于文本的食材分类模型、识别结果确认交互的软件部分。
所述的图像采集模块用于对购物小票、购物清单等通过手持终端拍照、智能冰箱自带相机拍照、屏幕截图等方式获取，同时包含图像文件导入；
所述的OCR识别模块用于对所述图像使用OCR技术进行识别，该OCR识别模型包含多家OCR引擎。优选的是选用多家OCR识别模型进行文本内容识别，并通过多家模型的对比从而提高识别结果的准确率。更为具体的是通过多家OCR识别结果，根据预期的统计信息对模型识别结果进行选择，针对中文、英文字母、数字等分别选用不同OCR模型的识别结果，从而提高识别结果的鲁棒性；
所述的文本纠错模块用于对于易混淆的字母与数字，如0与o，1与I，9与g的识别则通过自然语言模型借助上下文信息进行纠错；
基于文本的食材分类模型用于对文本纠错模块所获取的结果进行分类，按行进行内容的分割，将内容通过机器学习模型分类到非食材、时间、具体的食材类别；
所述的识别结果确认交互模型用于根据图像采集模块记录时间与购物小票、购物清单中时间对比，若时间小于阈值t，则在用户确认识别结果的同时提供合适放置的位置，如放入冷藏区等；若时间不小于阈值t，则提醒用户删除已使用物品后录入食材，同时提供合适放置的位置，如放入冷藏区等。以上是一种实施方式，在另一种实施方式中，也可以将条件进一步细化，若时间小于阈值t1，则在用户确认识别结果的同时提供合适放置的位置，如放入冷藏区等；若时间不小于阈值t2(t2大于t1)，则提醒用户删除已使用物品后录入食材，同时提供合适放置的位置，如放入冷藏区等；若在t1与t2之间，则在客户确认后即录入食材。
图4是根据本发明实施例4的食材录入流程的示意图。如图4所示，该智能冰箱的食材录入方案包括以下步骤：
步骤S401，在购物完成后即打开手机APP通过APP中的拍照入口进行购物小票拍摄，并通过辅助框进行边缘对齐。对于较长的购物小票，可进行多次拍摄获得一系列的包含有购物小票的图像。本步骤也可以通过在智能冰箱中配置图像采集模块进行购物小票拍摄，而不限于通过手机拍摄的实现方式。
步骤S402，在获取得到购物小票的图像后，将图像通过百度OCR、Ali OCR、腾讯OCR等多个OCR系统进行识别，得到识别后的结果。不同的OCR模型由于采用的方法不同所识别的结果也有所不同，从而错误位置不同。在识别时，针对OCR系统的不同处根据不同符号类型选择不同的OCR输出结果作为最后的结果。
步骤S403，在获取得到OCR的结果后，往往可能由于印刷体的不同而导致字母、数字、文字如l(字母L)与1(数字)之间差别很小，建立基于根据上下文进行估测。如建立n-gram模型进行学习，通过概率推理推测可能的候选结果。
步骤S404，获取纠错后的结果，将其用于食材分类模型，食材分类模型为结合词向量与LSTM的两段式模型。首先，使用字符模糊匹配的方式确定出小票中的时间，提取出时间，并删除该行文字；然后，将剩余文本行利用jieba分词工具进行分词，将每个词转换为256维的词向量，如“红富士苹果”分为红富士与苹果，并组合为2x 256的向量矩阵。由于小票一般信息较短，所以将句子进行0填充补齐到8x 256维的向量，为避免补充信息的影响，使用双向LSTM模型进行预测，得到最终的预测类别，共包含有601类(600类食材加1类其他)。为避免其他过多造成的分类误差，使用加权focal loss作为模型的训练误差，降低类别“其他”对模型的影响。
步骤S405，在获取了小票所包含的所有食材后，获取数据库中食材合适的存储空间，并执行食材信息记录过程。优选地，可以在本步骤执行识别结果交互确认流程，本实施例给出两种识别结果交互确认流程作为示例，本领域技术人员应当理解，实际采用的确认流程可以根据需要进行设置，而不限于此处给出的两个例子。
图5是根据本发明实施例4的识别结果交互确认的第一模型的示意图，如图5所示，识别结果交互确认的具体过程如下：
步骤S501，获取到食材分类结果；
步骤S502，获取图像采集模块的记录时间(也就是图像采集模块采集清单图像的时间，或称清单获取时间)；
步骤S503，判断该记录时间是否落入就餐时间段，以便根据不同的时间段获取不同的t；
步骤S504，如落入就餐时间段，则减小阈值t的取值，例如在早、中、晚餐时间由于买菜后直接使用，所以减小t的值到30分钟-45分钟。在其他时间则可以相应变长；
步骤S505，判断记录时间与清单中的时间的时间差是否小于t，若是，则进入步骤S506，如果否，则进入步骤S507；
步骤S506，用户确认识别结果的同时，提供合适放置的位置；
步骤S507，提醒用户删除已使用物品后录入食材。
图6是根据本发明实施例4的识别结果交互确认的第二模型的示意图，如图6所示，识别结果交互确认的具体过程如下：
步骤S601，获取到食材分类结果；
步骤S602，获取图像采集模块的记录时间(也就是图像采集模块采集清单图像的时间，或称清单获取时间)；
步骤S603，判断该记录时间是否落入就餐时间段，以便根据不同的时间段获取不同的t1与t2；
步骤S604，如落入就餐时间段，则减小阈值t1和t2的取值，例如在早、中、晚餐时间由于买菜后直接使用，所以减小t2、t1的值到30分钟-45分钟。在其他时间则可以相应变长；
步骤S605，判断记录时间与清单中的时间的时间差是否小于t1，若是，则进入步骤S607，如果否，则进入步骤S606；
步骤S606，判断时间差是否小于t2，若否，则进入步骤S608，若是，则进入步骤S609；
步骤S607，用户确认识别结果的同时，提供合适放置的位置；
步骤S608，提醒用户删除已使用物品后录入食材
步骤S609，在客户确认后即录入食材。
在以上的方案中，智能冰箱的食材录入功能通过触控输入、语音输入、条码扫描或二维码扫描等方法实现，单条录入，存在录入效率低且信息录入不全的问题。如手动录入需要用户与冰箱进行多次交互，输入商品名、类别、时间等等信息，效率较低。而在大量物品的购买后往往由于时间原因无法进行全面的录入，从而影响了信息的完整性。而本实施例提供的方案通过购物小票、清单等信息聚合体进行统一识别，从而实现多条信息录入。
虽然OCR技术可以实现对小票上文字信息的读取，但是却不进行相关信息的判定，难以直接将结果用于存储，且结果有时候存在识别错误，如数字与字母的识别错误问题。具体来说，OCR技术会识别出小票中信息，如包含有苹果、锅等物品，但是仅有食材等放入冰箱，因此需要实现对OCR识别文字的分类，确定所属类别。
现在商品种类繁多，不同商家对不同产地的同一物品的描述存在差异，如500g红苹果作为商品名。对于广泛的商品来说，预先构建数据库，然后进行数据库匹配往往存在匹配错误、无法匹配的问题。为了提高准确率，需人工构建庞大的菜品库，从而提高人工成本，降低了效率。本实施例提供的方案通过针对食材相关信息进行建立机器学习模型，从而提高食材识别准确率。
本实施例的方案通过OCR对购物小票、购物清单等信息进行识别，然后导入文本分类模型，实现了多条食品信息的批量导入，提高了效率。用户只需输入图像和确认信息，降低了用户的劳动量，提高了产品的可用性。通过对文本建立识别模型，将不同的文本分类到不同的类别，从而避免了庞大的食材数据库的构建工作，减少了人力成本。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种信息录入方法，其特征在于，包括：
获取货物列表的图像；
对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；
对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；
根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息；
其中，所述记录所述食材类的货物的货物信息包括：确定所述货物列表的生成时间和所述图像的获取时间之间的时间差值；采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息；
其中，所述采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息包括以下至少之一：在所述时间差值小于阈值t的情况下，显示第一界面，其中，所述第一界面中显示筛选出的所述食材类的货物的货物信息，并提示对筛选出的所述食材类的货物的货物信息进行确认；在接收到对筛选出的所述食材类的货物的货物信息的确认时，记录显示的所述货物信息，并显示所述食材类的货物对应的建议储存位置；在所述时间差值不小于所述阈值t的情况下，显示第二界面，其中，所述第二界面中显示筛选出的所述食材类的货物的货物信息，并提示删除已使用的食材类的货物的货物信息；在接收到删除结果时，记录未被删除的食材类的货物的货物信息，并显示所述未被删除的食材类的货物的建议存储位置。
2.根据权利要求1所述的方法，其特征在于，获取所述货物列表的所述图像包括以下至少之一：
通过智能冰箱上的图像采集模块采集所述货物列表的所述图像；
接收移动终端采集并发送的所述货物列表的所述图像。
3.根据权利要求1所述的方法，其特征在于，对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的所述文本信息包括：
采用多种不同的文本内容识别系统对所述货物列表的图像进行文本内容识别，得到多个识别结果；
根据所述多种不同的文本内容识别系统对不同类别的文本的识别准确度对所述多个识别结果进行合并，得到所述货物列表对应的所述文本信息。
4.根据权利要求1所述的方法，其特征在于，对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的所述文本信息之后，还包括：
根据自然语言模型，基于上下文信息对所述货物列表对应的文本信息进行纠错。
5.根据权利要求1所述的方法，其特征在于，对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别包括：
对所述货物列表对应的文本信息进行分词，将每个词转换为词向量，并根据词之间的关系将词向量组合为向量矩阵；
基于所述向量矩阵采用机器学习模型预测所述货物列表中的货物的类别，其中，所述机器学习模型采用焦点损失作为训练误差。
6.根据权利要求1所述的方法，其特征在于，对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别之前，还包括：
基于字符模糊匹配的方式从所述货物列表对应的文本信息中确定出所述货物列表的生成时间；
记录所述货物列表的生成时间，并将所述生成时间从所述货物列表对应的文本信息中删除。
7.根据权利要求1-6任一项所述的方法，其特征在于，记录所述食材类的货物的货物信息包括：
从所述货物列表对应的文本信息中，提取所述食材类的货物对应的货物信息并记录，其中，所述货物信息包括以下至少之一：货物名称、货物数量、货物品牌、货物重量。
8.根据权利要求1所述的方法，其特征在于，所述阈值t在进餐时间段的取值小于在除进餐时间段之外的其他时间段的取值。
9.一种信息录入装置，其特征在于，包括：
图像获取模块，设置为获取货物列表的图像；
文本内容识别模块，设置为对所述货物列表的图像进行文本内容识别，得到所述货物列表对应的文本信息；
类别预测模块，设置为对所述货物列表对应的文本信息进行分词，并基于分词结果采用机器学习模型预测所述货物列表中的货物的类别；
货物筛选记录模块，设置为根据预测的所述货物的类别从所述货物列表的货物中筛选出食材类的货物，并记录所述食材类的货物的货物信息；
所述货物筛选记录模块，还设置为确定所述货物列表的生成时间和所述图像的获取时间之间的时间差值；采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息；其中，所述采用所述时间差值对应的记录策略，记录所述食材类的货物的货物信息包括以下至少之一：在所述时间差值小于阈值t的情况下，显示第一界面，其中，所述第一界面中显示筛选出的所述食材类的货物的货物信息，并提示对筛选出的所述食材类的货物的货物信息进行确认；在接收到对筛选出的所述食材类的货物的货物信息的确认时，记录显示的所述货物信息，并显示所述食材类的货物对应的建议储存位置；在所述时间差值不小于所述阈值t的情况下，显示第二界面，其中，所述第二界面中显示筛选出的所述食材类的货物的货物信息，并提示删除已使用的食材类的货物的货物信息；在接收到删除结果时，记录未被删除的食材类的货物的货物信息，并显示所述未被删除的食材类的货物的建议存储位置。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至8任一项中所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010665115.8A CN111860263B (zh) | 2020-07-10 | 2020-07-10 | 信息录入方法、装置及计算机可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010665115.8A CN111860263B (zh) | 2020-07-10 | 2020-07-10 | 信息录入方法、装置及计算机可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111860263A CN111860263A (zh) | 2020-10-30 |
| CN111860263B true CN111860263B (zh) | 2024-08-23 |
Family
ID=72984038
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010665115.8A Active CN111860263B (zh) | 2020-07-10 | 2020-07-10 | 信息录入方法、装置及计算机可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111860263B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113487254A (zh) * | 2021-06-03 | 2021-10-08 | 佛山企帅数字科技有限公司 | 智能数字化监测采购收货方法及系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107514869A (zh) * | 2016-06-17 | 2017-12-26 | 九阳股份有限公司 | 一种智能冰箱的信息录入方法及智能冰箱 |
| CN109858453A (zh) * | 2019-02-15 | 2019-06-07 | 浪潮通用软件有限公司 | 一种通用的多引擎票据识别系统及方法 |
| CN110322206A (zh) * | 2019-07-26 | 2019-10-11 | 苏州创腾软件有限公司 | 一种基于ocr识别的试剂信息录入方法及装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120117464A (ko) * | 2011-04-15 | 2012-10-24 | 엘지전자 주식회사 | 냉장고 및 냉장고의 제어방법 |
| KR102003938B1 (ko) * | 2012-08-10 | 2019-07-25 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어 방법 |
| CN104990359A (zh) * | 2015-07-03 | 2015-10-21 | 九阳股份有限公司 | 一种智能冰箱 |
| US9965798B1 (en) * | 2017-01-31 | 2018-05-08 | Mikko Vaananen | Self-shopping refrigerator |
| CN106907890A (zh) * | 2017-02-23 | 2017-06-30 | 海信（山东）冰箱有限公司 | 一种智能冰箱的食材管理方法及智能冰箱 |
| CN106969593B (zh) * | 2017-03-23 | 2019-04-30 | 辽宁科技学院 | 一种智能冰箱的食材管理方法 |
| CN108734183A (zh) * | 2017-04-14 | 2018-11-02 | 清华大学 | 检查方法和检查设备 |
| CN109190594A (zh) * | 2018-09-21 | 2019-01-11 | 广东蔚海数问大数据科技有限公司 | 光学字符识别系统及信息提取方法 |
| KR102637119B1 (ko) * | 2018-10-25 | 2024-02-15 | 삼성전자주식회사 | 냉장고 안의 객체에 관한 정보를 제공하는 방법 및 시스템 |
| KR20220164915A (ko) * | 2021-06-07 | 2022-12-14 | 노준수 | Ai 레시피 어플리케이션 |
-
2020
- 2020-07-10 CN CN202010665115.8A patent/CN111860263B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107514869A (zh) * | 2016-06-17 | 2017-12-26 | 九阳股份有限公司 | 一种智能冰箱的信息录入方法及智能冰箱 |
| CN109858453A (zh) * | 2019-02-15 | 2019-06-07 | 浪潮通用软件有限公司 | 一种通用的多引擎票据识别系统及方法 |
| CN110322206A (zh) * | 2019-07-26 | 2019-10-11 | 苏州创腾软件有限公司 | 一种基于ocr识别的试剂信息录入方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111860263A (zh) | 2020-10-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210073531A1 (en) | Multi-page document recognition in document capture | |
| US9582484B2 (en) | Methods and systems for filling forms | |
| CN111428599B (zh) | 票据识别方法、装置和设备 | |
| CN105893465A (zh) | 自动问答方法和装置 | |
| CN105894359A (zh) | 订单推送方法、装置及系统 | |
| CN104871198A (zh) | 商品信息处理装置、其数据处理方法和程序 | |
| CN109727411B (zh) | 基于人脸识别、扫码认证、人体感应的借书系统 | |
| US11328250B2 (en) | Inventory management server, inventory management system, inventory management program, and inventory management method | |
| CN112036153B (zh) | 工单纠错方法、装置、计算机可读存储介质和计算机设备 | |
| CN113220266B (zh) | 一种数据填充方法、装置及电子设备 | |
| CN110941702A (zh) | 一种法律法规和法条的检索方法及装置、可读存储介质 | |
| KR102466396B1 (ko) | 상품 정보 관리 방법 및 장치 | |
| CN112989990A (zh) | 医疗票据识别方法、装置、设备及存储介质 | |
| CN112036295A (zh) | 票据图像处理方法、装置、存储介质及电子设备 | |
| JP2022125220A (ja) | 画像処理装置、画像処理方法、プログラム | |
| US11748787B2 (en) | Analysis method and system for the item on the supermarket shelf | |
| CN111860263B (zh) | 信息录入方法、装置及计算机可读存储介质 | |
| CN117788109A (zh) | 一种基于大语言模型生成商品标签的方法及电子设备 | |
| CN113111829B (zh) | 识别文档的方法和装置 | |
| CN105243365B (zh) | 一种数据处理方法及数据处理系统 | |
| CN112015870B (zh) | 数据上传方法及装置 | |
| CN111401438B (zh) | 图像分拣方法、装置及系统 | |
| CN105913071A (zh) | 信息处理装置、信息处理系统、信息处理方法 | |
| CN108021617A (zh) | 基于文字内容推荐场景信息的方法与装置 | |
| CN113722577B (zh) | 反馈信息的处理方法、装置、设备以及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |