CN103745188A - 通过图像识别提醒过期商品的方法和电子终端 - Google Patents

Abstract

本发明公开了通过图像识别提醒过期商品的方法和电子终端，所述的方法通过拍照获取含有商品信息的图片，并扫描图片中是否包含二维码或条码，若包含二维码或条码，直接扫描所述二维码或条码，并提取所述二维码或条码中包含的商品到期日和商品名称；之后根据用户是否设置提前提醒时间来计算相应的提醒日，并将相应的提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒，实现了在商品过期前自动提醒用户，避免不必要的浪费，为用户节省不必要的购买费用。

Description

通过图像识别提醒过期商品的方法和电子终端

技术领域

本发明涉及电子终端，特别涉及一种通过图像识别提醒过期商品的方法和电子终端。

背景技术

目前，所有食品、大部分日常生活用品或其它产品等的外包装，或物品的商品标签上都会写明产品的名称、生产日期、保质期等一系列与产品相关信息。现在人类的生活节奏越来越快，同时也越来越追求高品质的生活。但常常会忽略掉日常生活中购买的生活用品或食品的保质期。等到使用的时候发现已经过期，若此时还没有购买新的，会造成生活上的不便和浪费。或者使用时没注意直接使用了过期商品，给消费者的身体健康带来威胁。

但是，如果要记住家中众多的生活用品或食品的保质期是一件很难的事情。如果能在商品到期前提前及时提醒用户，将给用户带来方便，避免不必要的浪费。

发明内容

鉴于上述现有技术的不足之处，本发明的目的在于提供一种通过图像识别提醒过期商品的方法和电子终端，通过在商品过期前提醒用户，避免商品过期造成浪费。

为了达到上述目的，本发明采取了以下技术方案：

一种通过图像识别提醒过期商品的方法，其包括：

A、采集含有商品信息的图片；

B、扫描所述图片中是否包含有二维码或条码；

C、当所述图片中包含有二维码或者条码时，扫描所述二维码或条码，并提取所述二维码或条码中包含的商品到期日和商品名称；

D、提示用户是否设置提前提醒时间；如果是，则执行步骤E；否则，执行步骤F；

E、根据商品到期日和用户设置的提前提醒时间计算第一提醒日，并将所述第一提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒；

F、根据商品到期日和默认的提前提醒时间计算第二提醒日，并将所述第二提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒。

所述的通过图像识别提醒过期商品的方法中，所述步骤C还包括：

C1、当所述图片中不包含二维码或者条码时，对所述图片进行分析处理获取商品信息，并查找所述商品信息包含的商品到期日和商品名称，然后执行步骤D。

所述的通过图像识别提醒过期商品的方法中，所述步骤C1具体包括：

C11、对所述图片进行二值化处理，使图片中的字符和背景色分离；

C12、分割图片中的字符，获取每一个字符；

C13、采用关键字匹配法将字符与模板库中字符模板匹配，获取商品信息中，并从所述商品信息中查找商品到期日和商品名称。

所述的通过图像识别提醒过期商品的方法中，所述步骤C11中，在对图片进行二值化处理时，通过以下公式进行：

其中，x为图像的像素点，X为像素点x的灰度值的门限值。

所述的通过图像识别提醒过期商品的方法中，所述步骤C12具体包括：

C121、检测每行字符的灰度值起始位置和结束位置，获取每行字符所在的矩形区域；

C122、获取第一个字符所在的子矩形区域，并以所述子矩形区域的大小将该字符所在行的矩形区域平均划分为多个子矩形区域；

C123、获取每个子矩形区域中包含的字符。

所述的通过图像识别提醒过期商品的方法中，在步骤C122之后、步骤C123之前，所述的方法还包括：

C1221、根据灰度值依次检测每个子矩形区域，将相邻的且灰度值相同的子矩形区域合并为一个子矩形区域。

所述的通过图像识别提醒过期商品的方法中，所述步骤C13具体包括：

C131、将分割的字符与模板库中字符模板匹配，查找与模板库中匹配相似度最大的字符模板，获取商品信息；

C132、查找商品信息中包含的商品到期日和商品名称。

一种通过图像识别提醒过期商品的电子终端，包括：

摄像模块，用于采集含有商品信息的图片；

扫描模块，用于扫描二维码或条码，及扫描所述图片中是否包含有二维码或条码；

信息提取模块，用于提取所述二维码或条码中包含的商品到期日和商品名称；

分析处理模块，用于提示用户是否设置提前提醒时间；如果是，则根据商品到期日和用户设置的提前提醒时间计算第一提醒日，并将所述第一提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒；否则，根据商品到期日和默认的提前提醒时间计算第二提醒日，并将所述第二提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒。

所述的电子终端中，所述分析处理模块，还用于当所述图片中不包含二维码或者条码时，对所述图片进行分析处理获取商品信息，并查找所述商品信息包含的商品到期日和商品名称。

所述的电子终端中，所述分析处理模块包括：

二值化处理单元，用于对所述图片进行二值化处理，使图片中的字符和背景色分离；

字符分割单元，用于分割图片中的字符，获取每一个字符；

匹配单元，用于采用关键字匹配法将字符与模板库中字符模板匹配，获取商品信息中，并从所述商品信息中查找商品到期日和商品名称。

相较于现有技术，本发明提供的通过图像识别提醒过期商品的方法和电子终端，通过拍照获取含有商品信息的图片，并扫描图片中是否包含二维码或条码，若包含二维码或条码，直接扫描所述二维码或条码，并提取所述二维码或条码中包含的商品到期日和商品名称；之后根据用户是否设置提前提醒时间来计算相应的提醒日，并将相应的提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒，实现了在商品过期前自动提醒用户，避免不必要的浪费，为用户节省不必要的购买费用。

附图说明

图1为本发明提供的通过图像识别提醒过期商品的方法的流程图。

图2为本发明提供的通过图像识别提醒过期商品的电子终端的结构框图。

具体实施方式

本发明提供一种通过图像识别提醒过期商品的方法和电子终端，通过将所有有保质期限的商品图片存储至电子终端中，然后通过电子终端对这些图片进行处理，提取图片中的商品名称及到期时间并存储，并根据到期时间自动设置日程提醒，实现了在商品的保质期前及时提醒该商品即将过期，避免造成不必要浪费，为用户节省不必要的购买费用。

为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明可通过手机等电子终端，实现对商品的保质期限进行智能提醒，请参阅图1，其为本发明通过图像识别提醒过期商品的方法的流程图。如图1所示，本发明提供的通过图像识别提醒过期商品的方法，包括：

S10、采集含有商品信息的图片；

S20、扫描所述图片中是否包含有二维码或条码；

S30、当所述图片中包含有二维码或者条码时，扫描所述二维码或条码，并提取所述二维码或条码中包含的商品到期日和商品名称；

S40、提示用户是否设置提前提醒时间；如果是，则执行步骤S50；否则，执行步骤S60；

S50、根据商品到期日和用户设置的提前提醒时间计算第一提醒日，并将所述第一提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒；

S60、根据商品到期日和默认的提前提醒时间计算第二提醒日，并将所述第二提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒。

本发明实施例中，所述商品信息包括商品名称、产品名称、品名、二维码、条码、生产日期、出厂日期、封装日期、保质期、有效期和/或最佳使用日期等。

以手机为例，在步骤S10中，先需要用户通过手机的摄像头对商品拍照获取包含有商品信息的图片。用户在对商品进行拍照时，若商品包装中包含有二维码或条码，可直接拍摄该二维码或条码即可；当然，也可以直接扫描二维码或条码。

如果商品包装中没有二维码或条码，则用户拍照时需拍摄包含有商品标签、生产日期、出厂日期、封装日期、保质期、有效期和/或最佳使用日期等信息的图片，这些信息可能不能在一张图片中显示，所以一种商品可能需要拍摄多张图片，在后续进行图片处理时，需要同时对该商品相关的图片进行处理。

譬如，有些商品的生产日期或有效期是单独印刷产品包装背面的一串八位数的数字，而商品标签在产品包装正面。所以，此种情况下需要在拍取商品标签之后，同时还需要拍取一张包含八位数生产期的照片，那么在后续处理图片之前需同时选取两张照片，再选择过期提醒功能选项，或者开启过期提醒功能时，在预览模式下同时选取两张照片。

在步骤S20中，用户可通过手机相册选择是否需要开启手机的商品过期提醒功能，此时用户可以在照片预览模式下选择包含有某个商品的商品信息的一张和多张图片，并选择“到期提醒”选项。若图片中包含有二维码或条码，用户还可直接在照片的预览模式下，选择二维码/条码解析、及到期提醒选项，此时手机将自动扫描图片判断该图片是否二维码或条码的相关信息。

在步骤S30中，若所述图片中包含有二维码或者条码，则提取所述二维码或条码中包含的商品到期日和商品名称；若所述图片中不包含二维码或者条码时，对所述图片进行分析处理获取商品信息，并查找所述商品信息包含的商品到期日和商品名称，然后执行步骤S40。

在步骤S40中，用户在设置到期提醒功能时，还可设置提前提醒时间，该提前提醒时间为用户设置的任一数值，如1-30天中的任一数，此时手机将在商品过期的提前提醒时间到达时（例如，在商品过期前的第30天），启动日程提醒功能提醒用户。本实施例中，该日程提醒可与闹钟关联，通过闹铃的方式达到及时提醒的目的。如果用户没有设置提前提醒时间，手机会将提前提醒时间设置系统默认的时间，如1天，此时商品将在过期前一天提醒用户使用。

其中，当拍摄的图片中不包含二维码或者条码时，需要对图片进行分析处理，提醒商品到期日和商品名称。为了获取准确的文字字符，在图片处理过程依次包括：预处理、图像二值化处理、噪声去除、倾斜校正、版面分析、字符切割、字符识别、面恢复、后期处理等步骤。

由于本实施例只需获取产品名称、有效期、生产日期、保质期这些信息，因此只需要在二值化处理后，采用关键字匹配技术搜索出图片中包含的商品名称、有效期、生产日期、保质期等信息即可。

因此，在图片处理时，其具体包括：第一步、对所述图片进行二值化处理，使图片中的字符和背景色分离；第二步、分割图片中的字符，获取每一个字符；第三步、采用关键字匹配法将字符与模板库中字符模板匹配，获取商品信息中，并从所述商品信息中查找商品到期日和商品名称。

在对图片进行二值化处理时，通过以下公式进行：

其中，x为图像的像素点，X为像素点x灰度值的门限值，本实施例通过此方式将灰度值大于门限值X的像素点的灰度值设为255，将灰度值小于等于门限值X的像素点的灰度值设为0，使图片呈现黑白两种颜色，使文字和背景可以区别开。

一般情况下，商品包装上的标签很少出现字符粘连、倾斜或模糊不清的情况，同时商品标签上字符的字体大小基本一致、至少每行的文字基本上一致。在图像二值化处理后，还需正确分离单个文字。

在对图片中的字符进行分割时，需先检测每行字符的灰度值起始位置和结束位置，获取每行字符所在的矩形区域；之后、获取第一个字符所在的子矩形区域，并以所述子矩形区域的大小将该字符所在行的矩形区域平均划分为多个子矩形区域；再获取每个子矩形区域中包含的字符。

譬如，图片中包括的字符为：2013年11月16日，在检测时可以检测到“2”是灰度值为255的起始位置，“日”是灰度值为255的结束位置，由此可以划出包含该行所有字符为一个矩形区域。之后再检测该行字符第一个字符“2”所在的子矩形区域，然后根据该子矩形区域的大小平均划分“2013年11月16日”所在的矩形区域，获取每个子矩形区域中包含的字符，如各子矩形区域中的字符分别为：2、0、1、3、年、1、1、月、1、6、日。当然为了进一步提高分割精度，在检测第一个子矩形区域时，可以将多个字符划分在第一个子矩形区域中，使该行按该包含有多个字符的子矩形区域平均划分。

进一步的，在分割子矩形区域后还可对子矩形区域进行调整，避免将字符分割错误，其具体包括：根据灰度值依次检测每个子矩形区域，将相邻的且灰度值相同的子矩形区域合并为一个子矩形区域。本实施例根据灰度值再次检测分割后的子矩形区域，并判断相邻的两个子矩形区域之间的灰度值是否有粘连，如果有则认为是一个字符，并使两个子矩形区域合并为一个，避免由于矩形区域的该行文字大小不一致导致将字符分割错误。

在字符分割之后，需要匹配字符，查找商品名称、有效期、生产日期、保质期等信息。其具体包括：将分割的字符与模板库中字符模板匹配，查找与模板库中匹配相似度最大的字符模板，获取商品信息；之后，查找商品信息中包含的商品到期日和商品名称。

由于不同商品采用的关键字有所区别，本实施例需要对需匹配的关键词做适当扩展。因此模板库中字符模板可包括：商品名称、产品名称、品名、生产日期、出厂日期、封装日期、保质期、有效期、最佳使用日期、0-9十个数字等。在匹配过程中，先查找与其匹配度最大的字符模版，再识别其后紧跟着的文字。

为了缩短处理时间，在字符识别之后，可先判断被识别商品的保质期是否为空，如果为空，放弃步骤S40～S60的处理过程，当然也可直接在用户拍摄照片时，确定商品是否有保质期，若没有保质期要求，则无需拍摄些照片。

如果识别结果为“TURE”，则在步骤S40中弹出提示框提示用户是否设置提前提醒时间。此时如果用户输入提前提醒时间为20天，且在有效期前的20天上午10点提醒，则计算提醒日为商品到期日前的第20天上午10点。如果用户输入的日期超过提前提醒范围（例如，提前提醒范围为30天，而用户输入的日期为50天），则提示用户重新输入提前提醒时间。如果用户不设置提前提醒时间，系统默认提前提醒时间为1天。在计算了提醒时间之后，可调用日历程序，将其作为提醒事件自动录入对应日期的日程中，且自动在添加商品名称，在提醒日期到达时，启动闹铃提醒用户。

进一步的，当提前提醒时间大于一天时，还可提醒用户是否设置每天定时提醒，如果启动了每天定时提醒功能，此时提前提醒日期大于一天的商品，将从提前提醒日期开始到商品到期日前每天定时提醒用户。

基于上述的通过图像识别提醒过期商品的方法，本发明还相应提供一种电子终端，该电子终端包括手机、平板电脑等便携式电子设备，其包括摄像模块101、扫描模块102、信息提取模块103和分析处理模块104。

所述摄像模块101用于采集含有商品信息的图片，通过图片预览模式下设置过期提醒功能。所述扫描模块102用于扫描二维码或条码，及扫描所述图片中是否包含有二维码或条码。信息提取模块103用于提取所述二维码或条码中包含的商品到期日和商品名称。所述分析处理模块104用于提示用户是否设置提前提醒时间；如果是，则根据商品到期日和用户设置的提前提醒时间计算第一提醒日，并将所述第一提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒；否则，根据商品到期日和默认的提前提醒时间计算第二提醒日，并将所述第二提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒。具体请参阅上述实施例。

本实施例中，所述分析处理模块，还用于当所述图片中不包含二维码或者条码时，对所述图片进行分析处理获取商品信息，并查找所述商品信息包含的商品到期日和商品名称。具体请参阅上述实施例。

具体实施时，所述分析处理模块104包括：二值化处理单元、字符分割单元和匹配单元。其中，所述二值化处理单元用于对所述图片进行二值化处理，使图片中的字符和背景色分离。所述字符分割单元用于分割图片中的字符，获取每一个字符。所述匹配单元用于采用关键字匹配法将字符与模板库中字符模板匹配，获取商品信息中，并从所述商品信息中查找商品到期日和商品名称。具体请参阅上述实施例。

综上所述，本发明提供通过拍照获取含有商品信息的图片，并扫描图片中是否包含二维码或条码，若包含二维码或条码，直接扫描所述二维码或条码，并提取所述二维码或条码中包含的商品到期日和商品名称；若没有二维码或条码，通过图片处理方式获取图片中包含的商品信息，并从商品信息中查找商品到期日和商品名称，之后根据用户是否设置提前提醒时间来计算相应的提醒日，并将相应的提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒，实现了在提醒日到达时自动提醒商品即将过期，避免不必要的浪费，给用户带来了方便，而且为用户节省不必要的购买费用。本发明在不增加硬件成本的前提下，增加了产品的功能，提升了产品的市场竞争力。

可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

Claims (10)

1.一种通过图像识别提醒过期商品的方法，其特征在于，包括：

A、采集含有商品信息的图片；

B、扫描所述图片中是否包含有二维码或条码；

C、当所述图片中包含有二维码或者条码时，扫描所述二维码或条码，并提取所述二维码或条码中包含的商品到期日和商品名称；

D、提示用户是否设置提前提醒时间；如果是，则执行步骤E；否则，执行步骤F；

E、根据商品到期日和用户设置的提前提醒时间计算第一提醒日，并将所述第一提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒；

F、根据商品到期日和默认的提前提醒时间计算第二提醒日，并将所述第二提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒。

2.根据权利要求1所述的通过图像识别提醒过期商品的方法，其特征在于，所述步骤C还包括：

C1、当所述图片中不包含二维码或者条码时，对所述图片进行分析处理获取商品信息，并查找所述商品信息包含的商品到期日和商品名称，然后执行步骤D。

3.根据权利要求2所述的通过图像识别提醒过期商品的方法，其特征在于，所述步骤C1具体包括：

C11、对所述图片进行二值化处理，使图片中的字符和背景色分离；

C12、分割图片中的字符，获取每一个字符；

C13、采用关键字匹配法将字符与模板库中字符模板匹配，获取商品信息中，并从所述商品信息中查找商品到期日和商品名称。

4.根据权利要求2所述的通过图像识别提醒过期商品的方法，其特征在于，所述步骤C11中，在对图片进行二值化处理时，通过以下公式进行：

其中，x为图像的像素点，X为像素点x的灰度值的门限值。

5.根据权利要求3所述的通过图像识别提醒过期商品的方法，其特征在于，所述步骤C12具体包括：

C121、检测每行字符的灰度值起始位置和结束位置，获取每行字符所在的矩形区域；

C122、获取第一个字符所在的子矩形区域，并以所述子矩形区域的大小将该字符所在行的矩形区域平均划分为多个子矩形区域；

C123、获取每个子矩形区域中包含的字符。

6.根据权利要求5所述的通过图像识别提醒过期商品的方法，其特征在于，在步骤C122之后、步骤C123之前，所述的方法还包括：

C1221、根据灰度值依次检测每个子矩形区域，将相邻的且灰度值相同的子矩形区域合并为一个子矩形区域。

7.根据权利要求3所述的通过图像识别提醒过期商品的方法，其特征在于，所述步骤C13具体包括：

C131、将分割的字符与模板库中字符模板匹配，查找与模板库中匹配相似度最大的字符模板，获取商品信息；

C132、查找商品信息中包含的商品到期日和商品名称。

8.一种通过图像识别提醒过期商品的电子终端，其特征在于，包括：

摄像模块，用于采集含有商品信息的图片；

扫描模块，用于扫描二维码或条码，及扫描所述图片中是否包含有二维码或条码；

信息提取模块，用于提取所述二维码或条码中包含的商品到期日和商品名称；

分析处理模块，用于提示用户是否设置提前提醒时间；如果是，则根据商品到期日和用户设置的提前提醒时间计算第一提醒日，并将所述第一提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒；否则，根据商品到期日和默认的提前提醒时间计算第二提醒日，并将所述第二提醒日与日历关联，自动在日程中添加商品名称、设置日程提醒。

9.根据权利要求8所述的通过图像识别提醒过期商品的电子终端，其特征在于，所述分析处理模块，还用于当所述图片中不包含二维码或者条码时，对所述图片进行分析处理获取商品信息，并查找所述商品信息包含的商品到期日和商品名称。

10.根据权利要求9所述的通过图像识别提醒过期商品的电子终端，其特征在于，所述分析处理模块包括：

二值化处理单元，用于对所述图片进行二值化处理，使图片中的字符和背景色分离；

字符分割单元，用于分割图片中的字符，获取每一个字符；

匹配单元，用于采用关键字匹配法将字符与模板库中字符模板匹配，获取商品信息中，并从所述商品信息中查找商品到期日和商品名称。

Images