CN103729532A

CN103729532A - 基于果蔬的图像来提供信息的方法和装置

Info

Publication number: CN103729532A
Application number: CN201210401140.0A
Authority: CN
Inventors: 马小东
Original assignee: Beijing Oak Pacific Interactive Technology Development Co Ltd
Current assignee: Beijing Oak Pacific Interactive Technology Development Co Ltd
Priority date: 2012-10-16
Filing date: 2012-10-16
Publication date: 2014-04-16

Abstract

本发明的各实施方式提供了基于果蔬的图像来提供信息的方法和装置。在本发明的一个实施方式中，提供了一种用于基于果蔬的图像来提供信息的方法，包括：读取所述果蔬的图像；基于训练模型，根据所述图像来确定所述果蔬的名称；基于所述名称，获取与所述果蔬相关联的信息；以及提供所述信息。在本发明的一个实施方式中，提供了一种用于基于果蔬的图像来提供信息的装置。

Description

基于果蔬的图像来提供信息的方法和装置

技术领域

本发明的各实施方式涉及数据处理，更具体地，涉及用于基于果蔬的图像来提供信息的方法和装置。

背景技术

目前，在果蔬市场中的果蔬种类越来越丰富，人们能够购买的果蔬已经不再局限于诸如苹果、香蕉等常见的种类。然而，面对不熟悉或者从未见过的果蔬，人们很难准确说出其名称，更是无从得知其中所含的营养成分、适合人群以及禁忌等信息。

尽管互联网的发展为人们提供了获得未知信息的便捷通道，然而人们只有在得知果蔬的准确名称的情况下才有可能搜索到该果蔬的相关信息。在某些市场中，人们可以从果蔬的条形码或者价格标签上获得该果蔬的名称，然而在有些市场中根本不提供条形码或者价格标签。另外，不同区域的人们对于相同果蔬的称呼也可能不尽相同，人们口头传递的可能仅仅是果蔬的俗称或者在特定地区的称谓，这也增加了获得果蔬信息的复杂性。

发明内容

因而，期望开发一种能够从果蔬的外观即可获得该果蔬的相关信息的技术方案，并且期望该技术方案能够尽可能利用现有的各种资源来向用户提供与果蔬相关的信息。

在本发明的一个实施方式中，提供了一种用于基于果蔬的图像来提供信息的方法，包括：读取果蔬的图像；基于训练模型，根据图像来确定果蔬的名称；基于名称，获取与果蔬相关联的信息；以及提供信息。

在本发明的一个实施方式中，与果蔬相关联的信息至少包括：果蔬的营养成分。

在本发明的一个实施方式中，进一步包括：基于营养成分获取果蔬的适合人群和/或食用禁忌。

在本发明的一个实施方式中，提供了一种用于基于果蔬的图像来提供信息的装置，包括：读取模块，配置用于读取果蔬的图像；确定模块，配置用于基于训练模型，根据图像来确定果蔬的名称；获取模块，配置用于基于名称，获取与果蔬相关联的信息；以及提供模块，配置用于提供信息。

在本发明的一个实施方式中，进一步包括：第二获取模块，配置用于基于营养成分获取果蔬的适合人群和/或食用禁忌。

附图说明

结合附图并参考以下详细说明，本发明各实施方式的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本发明的若干实施方式。在附图中：

图1示意性示出了适于实现本发明实施方式的示例性计算系统的框图；

图2示意性示出了根据一个解决方案的提供果蔬信息的方法的示意图；

图3示意性示出了根据本发明一个实施方式的基于果蔬的图像来提供信息的方法的流程图；

图4示意性示出了根据本发明一个实施方式的基于果蔬的图像来提供信息的系统的架构图；

图5示意性示出了所提供信息的示意性视图；以及

图6示意性示出了根据本发明一个实施方式的基于果蔬的图像来提供信息的装置的框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了适于用来实现本发明实施方式的示例性计算系统100的框图。如图1所示，计算机系统100可以包括：CPU(中央处理单元)101、RAM(随机存取存储器)102、ROM(只读存储器)103、系统总线104、硬盘控制器105、键盘控制器106、串行接口控制器107、并行接口控制器108、显示控制器109、硬盘110、键盘111、串行外部设备112、并行外部设备113和触摸屏显示器114。在这些设备中，与系统总线104耦合的有CPU 101、RAM 102、ROM 103、硬盘控制器105、键盘控制器106、串行控制器107、并行控制器108和显示控制器109。硬盘110与硬盘控制器105耦合，键盘111与键盘控制器106耦合，串行外部设备112与串行接口控制器107耦合，并行外部设备113与并行接口控制器108耦合，以及触摸屏显示器114与显示控制器109耦合。应当理解，图1所示的结构框图仅仅是为了示例的目的，而不是对本发明范围的限制。在某些情况下，可以根据具体情况增加或减少某些设备。

所属技术领域的技术人员知道，本发明可以实现为系统、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施方式中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。

可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

下面将参照本发明实施方式的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机程序指令实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，这些计算机程序指令通过计算机或其他可编程数据处理装置执行，产生了实现流程图和/或框图中的方框中规定的功能/操作的装置。

也可以把这些计算机程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读介质中，这样，存储在计算机可读介质中的指令就产生出一个包括实现流程图和/或框图中的方框中规定的功能/操作的指令装置(instruction means)的制造品(manufacture)。

也可以把计算机程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其他可编程装置上执行的指令能够提供实现流程图和/或框图中的方框中规定的功能/操作的过程。

图2示意性示出了根据一个解决方案的提供果蔬信息的方法的示意图200。根据这一解决方案，人们需要人工识别果蔬210的种类并获得其名称(步骤220)，继而利用诸如计算机、智能终端等装置通过网络搜索果蔬210的相关信息。成功搜索的基础在于人们必须准确得知果蔬的名称，然而由于在果蔬市场的现场难于获得果蔬的准确名称，导致这一方案很难实现。

基于这一问题，本发明的各实施方式提出了一种用于基于果蔬的图像来提供信息的方法和装置，本发明可以不依赖于人们对果蔬的认知程度，而是通过识别果蔬的图像来获取果蔬的名称，进而提供相关信息。该方法包括：读取果蔬的图像；根据图像来确定果蔬的名称；基于名称，获取与果蔬相关联的信息；以及提供信息。

图3示意性示出了根据本发明一个实施方式的基于果蔬的图像来提供信息的方法的流程图300。首先在步骤S302中，读取果蔬的图像。应当注意，本发明并不限制所读取的图像的来源。例如，所读取的图像可以来源于用户在果蔬市场现场拍摄的照片，或者还可以是配置用于执行本发明的方法的计算设备处本地存储的图像、或者是该计算设备通过网络等方式获取的任何图像。

在步骤S304中，根据图像来确定果蔬的名称。例如，可以通过图像识别的方法来获取果蔬的名称。图像识别是指通过计算机对图像进行相关处理，并利用数学算法对图像数据进行分析和理解，以达到从图像中识别出特定目标和对象的技术。图像识别技术是计算机图像处理技术、人工智能技术和模式识别技术相结合的综合性技术，是人工智能领域研究的热点。

可以采用多种图像识别算法来获得果蔬的名称。例如，可以使用图像识别技术对图像中各性特征进行提取，并采用训练模型匹配的方法。该方法是指根据待识别图像中的内容与训练模型之间的差异(相似度)来判断待识别图像与训练模型是否一致，继而得出果蔬的名称。

例如，可以基于从已知名称的果蔬图像获得的训练模型，获取待分析图像中果蔬的名称。在预先基于多幅果蔬图像(已知图像中果蔬的名称)建立训练模型的情况下，例如，已经拍摄了苹果、葡萄、黄瓜等果蔬的照片，则可以基于这些照片构造包括苹果、葡萄、黄瓜等果蔬的训练模型。当待分析图像为苹果的图像时，可以通过比较待分析图像的特征与训练模型中与苹果有关部分的特征之间的相似性，来判断该待分析图像是否是苹果的图像。

接着，在步骤S306中，基于名称，获取与果蔬相关联的信息；以及在步骤S308中提供信息。在获得果蔬名称的基础上，通过查询数据库即可获得与该果蔬相关联的信息，并可以向用户提供该信息。

可以以多种方式实现上述步骤，图4示意性示出了根据本发明一个实施方式的基于果蔬的图像来提供信息的系统的架构图400。用户可以使用自己的移动终端420来拍摄果蔬410的图像(如箭头A所示)，并且通过网络430来向服务器440传输果蔬的图像(如箭头B和C所示)。接着，服务器440可以基于训练模型分析图像的内容并识别出果蔬的名称。继而，服务器440查询数据库450(如双向箭头D所示)并获取与果蔬的名称相关联的信息。最后，通过网络430向用户的移动终端430发送信息(如箭头E和F所示)。在此实施方式中，数据库450可以驻留在服务器440上，或者还可以与服务器440位于不同的计算设备中。

应当注意，尽管上文中仅示出了用户利用移动终端现场拍摄果蔬的实施方式，然而本发明并不限制如何获得果蔬的图像。用户还可以采用其他终端拍摄图像并向服务器传输该图像，或者选择移动终端或者其他的不可移动的计算设备上的已有图像，或者还可以通过网络指定其他远程计算设备上的图像，只要用于实现本发明的计算设备可以获得待分析图像即可。

采用如图4所示的方法，用户可以在果蔬市场现场拍摄果蔬的图像，之后向指定地址(例如，多媒体消息服务器地址、即时消息服务器地址、邮件地址)发送该图像、或者还可以向指定目的地上传该图像。在服务器已经获取有关果蔬的信息后，还可以以多种方式向用户提供信息，例如，通过短消息、多媒体消息、电子邮件或者web页面的方式提供。

在本发明的一个实施方式中，与果蔬相关联的信息至少包括：果蔬的营养成分。例如，对于如图4所示果蔬410，可以确定果蔬的名称为“葡萄”，继而可以向用户提供如下文表1所示的营养成分。

表1 营养成分列表

在用户通过web页面向服务器上传图像的实施方式中，可以在后续的web页面中向用户提供关于果蔬的信息；在用户通过多媒体消息向服务器提供图像的实施方式中，可以通过多媒体消息向用户提供关于果蔬的信息；在用户通过电子邮件向服务器提供图像的实施方式中，可以通过电子邮件向用户提供关于果蔬的信息；在其他实施方式中，还可以向用户的移动终端发送(例如，以短消息、即时消息或者电子邮件等方式)包括果蔬信息的web页面的地址(例如，URL)，当用户点击该URL之后，即可获得与所上传图像中的果蔬相关的信息。应当注意，本发明的各实施方式并不限制服务器如何读取果蔬的图像，也并不限制如何提供信息的方式。

在本发明的一个实施方式中，进一步包括：基于营养成分获取果蔬的适合人群和/或食用禁忌。通常，果蔬的营养成分决定了果蔬适合于或者不适合于哪种类型的人群。例如，糖尿病患者不适合吃含糖量过高的果蔬，因而可以在得知某果蔬含糖量较高时，提醒用户该果蔬不适于糖尿病人过多食用。图5示意性示出了所提供信息的示意性视图500。在此实施方式中，该视图500可以包括：名称、主要营养成分、适合人群以及禁忌几个部分。在其他实施方式中，所提供信息可以包括更多或者更少内容。

在本发明的一个实施方式中，基于训练模型，根据图像来确定果蔬的名称包括：从图像中提取描述果蔬的特征；以及将提取的特征与训练模型中的标准特征进行比较，以确定果蔬的名称。

在此实施方式中，可以基于神经网络的思想来实现从图像确定果蔬的名称。人工神经网络(Artificial Neural Network，简写为ANN)也简称为神经网络(NN)，它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。通过网络训练，可以建立数据库信息的非线性模型，并从中提取相应的规则，能够实现基于计算机图像识别操作。

可以首先对图像进行处理以提取特征，在此特征可以以矢量方式(例如，以(x1，x2，x3，...，xn))表示；训练模型中的标准特征是基于已知名称的水果的图像名称构建的，例如以(x1_标准，x2_标准，x3_标准，...，xn_标准)表示。可以比较特征(x1，x2，x3，...，xn)和标准特征(x1_标准，x2_标准，x3_标准，...，xn_标准)，来确定果蔬的名称。标准特征可以包括针对不同果蔬的一组标准特征，例如针对苹果的标准特征1、针对葡萄的标准特征2、针对黄瓜的标准特征3，等等。

在本发明的一个实施方式中，特征包括以下至少一个：形状特征、颜色特征、纹理特征。例如，形状特征可以采用面积、周长、弧度来表示。可以利用果蔬在图像中所占区域的像素数来作为面积；以果蔬轮廓线上的像素数作为周长；并且在面积和周长的基础上计算果蔬的弧度，例如，可以利用如下公式来计算弧度：

弧度＝4π×面积/周长²

例如，可以采用颜色直方图提取果蔬的颜色特征。颜色直方图是颜色信息的函数，表示图像中具有同颜色级别的像素的个数，其横坐标表示颜色级别(例如各个像素的灰度级)，纵坐标表示该颜色出现的频率(像素的个数)。可以将彩色图像分解为R、G、B三幅单色图像进行计算，并获得三个通道的直方图。本领域技术人员可以基于上述说明的原理来构造描述图像的纹理特征的函数。

可以将上述一个或者多个特征表示为矢量：

(面积，周长，弧度，颜色，纹理)

在本发明的一个实施方式中，将提取的特征与训练模型中的标准特征进行比较，以确定果蔬的名称包括：计算果蔬的特征与标准特征之间的距离；以及将最小距离所对应的标准特征的名称，指定作为果蔬的名称。

例如，在已知例如苹果、葡萄、黄瓜等果蔬的标准特征的基础上，可以计算所提取特征与各已知标准特征的“距离”，例如，通过计算特征之间的欧氏距离来实现。例如可以分别计算所提取特征(x1，x2，x3，...，xn)与针对苹果、葡萄、黄瓜等果蔬的各标准特征(x1_标准，x2_标准，x3_标准，...，xn_标准)之间的欧氏距离：

例如当与葡萄的标准特征的距离为所有距离中的最小距离时，则可以认为果蔬的名称是葡萄。

图6示意性示出了根据本发明一个实施方式的基于果蔬的图像来提供信息的装置的框图600。框图600示出了一种用于基于果蔬的图像来提供信息的装置，包括：读取模块610，配置用于读取果蔬的图像；确定模块620，配置用于基于训练模型，根据图像来确定果蔬的名称；获取模块630，配置用于基于名称，获取与果蔬相关联的信息；以及提供模块640，配置用于提供信息。

在本发明的一个实施方式中，确定模块620包括：提取模块，配置用于从图像中提取描述果蔬的特征；以及比较模块，配置用于将提取的特征与训练模型中的标准特征进行比较，以确定果蔬的名称。

在本发明的一个实施方式中，特征包括以下至少一个：形状特征、纹理特征、颜色特征。

在本发明的一个实施方式中，其中确定模块620包括：计算模块，配置用于果蔬的特征与标准特征之间的距离；以及指定模块，配置用于将最小距离所对应的标准特征的名称，指定作为果蔬的名称。

附图中的流程图和框图显示了根据本发明的多个实施方式的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

以上已经描述了本发明的各实施方式，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施方式。在不偏离所说明的各实施方式的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施方式的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其他普通技术人员能理解本文披露的各实施方式。

Claims

1.一种用于基于果蔬的图像来提供信息的方法，包括：

读取所述果蔬的图像；

根据所述图像来确定所述果蔬的名称；

基于所述名称，获取与所述果蔬相关联的信息；以及

提供所述信息。

2.根据权利要求1所述的方法，其中与所述果蔬相关联的信息至少包括：所述果蔬的营养成分。

3.根据权利要求2所述的方法，进一步包括：基于所述营养成分获取所述果蔬的适合人群和/或食用禁忌。

4.根据权利要求1-3中任一项所述的方法，其中根据所述图像来确定所述果蔬的名称包括：

从所述图像中提取描述所述果蔬的特征；以及

将提取的所述特征与所述训练模型中的标准特征进行比较，以确定所述果蔬的名称。

5.根据权利要求4所述的方法，其中所述特征包括以下至少一个：形状特征、纹理特征、颜色特征。

6.根据权利要求4所述的方法，其中将提取的所述特征与所述训练模型中的标准特征进行比较，以确定所述果蔬的名称包括：

计算所述果蔬的特征与所述标准特征之间的距离；以及

将最小距离所对应的标准特征的名称，指定作为所述果蔬的名称。

7.一种用于基于果蔬的图像来提供信息的装置，包括：

读取模块，配置用于读取所述果蔬的图像；

确定模块，配置用于根据所述图像来确定所述果蔬的名称；

获取模块，配置用于基于所述名称，获取与所述果蔬相关联的信息；以及

提供模块，配置用于提供所述信息。

8.根据权利要求7所述的装置，其中与所述果蔬相关联的信息至少包括：所述果蔬的营养成分。

9.根据权利要求8所述的装置，进一步包括：

第二获取模块，配置用于基于所述营养成分获取所述果蔬的适合人群和/或食用禁忌。

10.根据权利要求7-9中任一项所述的装置，其中所述确定模块包括：

提取模块，配置用于从所述图像中提取描述所述果蔬的特征；以及

比较模块，配置用于将提取的所述特征与所述训练模型中的标准特征进行比较，以确定所述果蔬的名称。

11.根据权利要求10所述的装置，其中所述特征包括以下至少一个：形状特征、纹理特征、颜色特征。

12.根据权利要求10所述的装置，其中所述确定模块包括：

计算模块，配置用于所述果蔬的特征与所述标准特征之间的距离；以及

指定模块，配置用于将最小距离所对应的标准特征的名称，指定作为所述果蔬的名称。