CN108364420A - 图像识别方法及装置和电子设备 - Google Patents

图像识别方法及装置和电子设备 Download PDF

Info

Publication number
CN108364420A
CN108364420A CN201810016409.0A CN201810016409A CN108364420A CN 108364420 A CN108364420 A CN 108364420A CN 201810016409 A CN201810016409 A CN 201810016409A CN 108364420 A CN108364420 A CN 108364420A
Authority
CN
China
Prior art keywords
image
commodity
carrying object
merchandise news
image information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810016409.0A
Other languages
English (en)
Inventor
冯士恒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced New Technologies Co Ltd
Advantageous New Technologies Co Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201810016409.0A priority Critical patent/CN108364420A/zh
Publication of CN108364420A publication Critical patent/CN108364420A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07GREGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00Cash registers
    • G07G1/12Cash registers electronically operated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisions for transferring data to distant stations, e.g. from a sensing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种图像识别方法及装置和电子设备,获取拍摄到的承载对象的图像信息;其中,所述承载对象承载有商品;对所述图像信息进行图像识别,得到所述承载对象内不同商品的商品信息;基于所述商品信息生成二维码并展示给用。

Description

图像识别方法及装置和电子设备
技术领域
本说明书实施例涉及互联网技术领域,尤其涉及一种图像识别方法及装置和电子设备。
背景技术
随着人力成本的越来越高,越来越多的场所将原本由工作人员提供的服务改为用户自助的服务。以快餐店为例,快餐店通常采用食客自助取餐,然后统一到收银台付款的方式。然而,收银台一般都是工作人员人工识别菜品并统计收款金额,这样的方式需要工作人员熟记每个菜品的单价,需要一定的经验;而且人工方式不仅效率较低,还容易出错。
发明内容
本说明书实施例提供的一种图像识别方法及装置和电子设备:
根据本说明书实施例的第一方面,提供一种图像识别方法,所述方法包括:
获取拍摄到的承载对象的图像信息;其中,所述承载对象承载有商品;
对所述图像信息进行图像识别,得到所述承载对象内不同商品的商品信息;
基于商品信息生成二维码并展示给用户。
根据本说明书实施例的第二方面,提供一种图像识别装置,所述装置包括:
获取图像单元,获取拍摄到的承载对象的图像信息;其中,所述承载对象承载有商品;
识别图像单元,对所述图像信息进行图像识别,得到所述承载对象内不同商品的商品名称;
总价统计单元,根据所述商品名称以及对应的单价,统计所述承载对象内商品的信息;
展示信息单元,基于所述商品信息生成二维码并展示给用户。
根据本说明书实施例的第三方面,提供一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取拍摄到的承载对象的图像信息;其中,所述承载对象承载有商品;
对所述图像信息进行图像识别,得到所述承载对象内不同商品的商品信息;
基于所述商品信息生成二维码并展示给用户。
本说明书实施例,利用图像识别技术,自动识别承载对象内承载的商品的商品信息,从而基于所识别的商品信息生成二维码展示给用户。如此,可以由机器取代了传统人工识别商品,通过机器识别商品信息可以提升商品结算的效率。
附图说明
图1是本说明书一实施例提供的实现图像识别的系统架构图;
图2是本说明书一实施例提供的图像识别方法的流程图;
图3是本说明书一实施例提供的承载对象的图像信息的示意图;
图4是本说明书一实施例提供的红外模块的示意图;
图5是本说明书一实施例提供的短距离无线通信模块的示意图;
图6是本说明书一实施例提供的拆分图像信息的示意图;
图7是本说明书一实施例提供的对图像信息中的几何轮廓进行区域选择的示意图;
图8是本说明书一实施例提供的图像直方图的示意图;
图9是本说明书一实施例提供的用户终端扫码二维码后显示的商品列表的示意图;
图10是本说明书一实施例提供的图像识别装置的模块示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
在本说明书使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本说明书可以涉及一个或多个系统。例如图1所示,本说明书的一种系统的架构100可以包括商品识别系统111,用户反馈系统112和对接支付系统113。用户可以通过用户终端117并经由网络116与商品识别系统111、用户反馈系统112进行数据交互。所述对接支付系统113,可以通过网络115调用支付平台114,从而实现用户付款商家收款。
本说明书中的网络115和网络116都可以包括有线或无线电信装置,用户终端117所基于的网络装置可以通过所述有线或无线电信装置来交换数据。例如,每个网络115和116都可以包括局域网(“LAN”)、广域网(“WAN”)、内部网、互联网、移动电话网络、虚拟专用网(VPN)、蜂窝式或其它移动通信网络、蓝牙、NFC或其任何组合。在示例性实施方案的讨论中,应理解,术语“数据”和“信息”可在本文中互换使用来指代可存在于基于计算机的环境中的文字、图像、音频、视频或任何其它形式的信息。
每个用户终端117所基于的网络装置都可以包括具有能够经由网络116发出并接收数据的通信模块的装置。例如,每个用户终端117所基于的网络装置都可以包括服务器、台式计算机、膝上型计算机、平板计算机、智能手机、手持式计算机、个人数字助理(“PDA”),或者其它任何的有线或无线处理器驱动装置。在图1所描绘的示例性实施方案中,用户终端117所基于的网络装置可以分别由最终用户或消费者、可能的交易对手方用户、产品展销网络系统的发布者,以及等待支付的操作者进行操作。每个用户终端117所基于的网络装置,可以通过软件或硬件甚至软硬件结合的方式纳入数字钱包应用程序模块。数字钱包可以涵盖用户终端117以用来帮助客户端完成购买交易的任何应用程序、硬件、软件或进程。数字钱包可以与网页浏览器应用程序分开、可以与其交互,或者可以具体实现为其配套应用。作为配套应用,数字钱包在网页浏览器应用内执行。也就是说,数字钱包可以是嵌入网页浏览器应用程序中的应用程序。如果数字钱包与网页浏览器应用程序分开,则数字钱包可以经由任何可用的通信技术来访问网络116。
以下结合图2所示的例子介绍本说明书一种实现图像识别方法的实施例,所述方法应用于商品识别系统服务器,如图2所示,可以包括以下步骤:
步骤210:获取拍摄到的承载对象的图像信息;其中,所述承载对象承载有商品。
商品识别系统服务器获取拍摄到的承载对象的图像信息。一般的,通过图像采集设备例如摄像头可以拍摄图像信息。
以下以快餐店的场景为例,如图3所示,为本说明书提供的拍摄到的承载对象的图像信息,图3中所述承载对象可以包括餐盘311,商品可以包括菜品312。所述餐盘311可以用于放置装有菜品312的餐具313。
再以超市的场景为例,所述承载对象可以包括购物车或者购物篮,所述商品可以为超市内售卖的物品。所述购物车或者购物篮用于装用户需要购物的物品。
在一个具体地实施例中,在所述步骤210之前,所述方法还可以包括:
初始化图像采集系统;
判断是否有承载对象放入;
在有承载对象放入的情况下,启动摄像头拍摄所述承载物的图像信息;
相应地,所述步骤210,具体可以包括:
从所述图像采集系统中获取拍摄到的承载对象的图像信息。
在实际应用中,只有在承载对象放入摄像头前时,才需要拍摄图像信息。如果没有承载对象放入,可以不启动摄像头;如此,可以保证摄像头拍摄到的图像信息中必定存在承载对象。
在一个实现方式中,所述判断是否有承载对象放入,具体包括:
启动红外模块,发出红外线;
根据红外线发出和返回的时刻,计算出距离;
判断所述距离是否小于阈值;所述阈值为红外模块与放置承载对象的平台之间的距离;
在所述距离小于阈值的情况下,确定有承载物放入。
该实施例中,通过设置可以发出红外线的红外模块,根据红外线发出和返回的时刻,可以计算出距离,距离计算公式如下公式1所示:
L=V*(T2-T1)/2 公式1
其中,L表示距离,V表示红外线的速度,T2表示红外线返回的时刻,T1表示红外线发出的时刻。
进一步的,通过比对计算出的距离和红外模块与放置承载对象的平台之间的距离,就可以判断出是否有承载物放入。
如图4所示的示意图。承载对象412置于平台411之上,红外模块414可以发出红外线,测出距离值L1;由于红外模块414与放置承载对象412的平台411之间的距离为L2。如果L1不小于L2,说明平台上没有承载对象。如果L1小于L2,说明平台上有承载对象。在确定有承载物放入的情况下,可以启动摄像头413,拍摄放入的承载对象412的图像信息。
在另一个实现方式中,所述判断是否有承载对象放入,具体包括:
启动短距离无线通信模块;
在与其它设备建立短距离无线通信的情况下,确定有承载物放入。
如图5所示的示意图。承载对象512置于平台511之上,所述承载对象512和平台511可以设置有短距离无线通信模块513。所述短距离无线通信模块513可以包括蓝牙模块、wifi模块、NFC模块等。当用户将承载对象512放在平台511上时,由于两个短距离无线通信模块之间距离接近,可以建立短距离无线通信模块,从而确定有承载物放入。
步骤220:对所述图像信息进行图像识别,得到所述承载对象内不同商品的商品信息。
商品识别系统服务器在获取到图像信息之后,可以对所述图像信息进行图像识别,从而得到所述承载对象内不同商品的商品信息。
在实际应用中,所述承载对象通常承载有多个商品。为了提高图像识别效率,可以对所述图像信息进行预处理。例如,所述步骤220,具体可以包括:
A1:根据承载对象底色和商品轮廓,对所述图像信息进行拆分;
如图6所示为拆分图像信息的示意图。具体地,所述步骤A1,可以包括:
对所述承载对象的图像信息中的几何轮廓进行区域选择;
确定每个区域的绝对值坐标;所述绝对值坐标包括区域4个顶点坐标;
从所述承载对象的图像信息中截取所述绝对值坐标范围内的区域;所截取的区域为拆分出的小图像。
举例说明,如图7所示,对图像信息中的几何轮廓进行区域选择,首先可以确定出3个区域分别为区域A,区域B和区域C。承载对象通常都是统一规格的,因此,商品识别系统服务器可以预设承载对象图像的坐标系。如图7中坐标系中,横坐标为0至90,纵坐标可以为0至70。对照这个预设的坐标系,可以确定每个区域的绝对值坐标:
区域A的绝对值坐标:从左上角的顶点顺时针4个顶点的绝对值坐标依次为:横坐标10,纵坐标10;横坐标30,纵坐标10;横坐标10,纵坐标30;横坐标30,纵坐标30;可以记作{(10,10),(30,10),(10,30),(30,30)}。
区域B的绝对值坐标:{(60,10),(80,10),(60,30),(80,30)}。
区域C的绝对值坐标:{(30,40),(50,40),(30,60),(50,60)}。
之后,商品识别系统服务器可以从所述承载对象的图像信息中截取所确定的绝对值坐标范围内的区域;所截取的区域即为拆分出的小图像区域A、区域B和区域C。
值得一提的是,还可以采用一些数字抠图算法来实现对所述图像信息进行拆分,例如贝叶斯抠图算法。
A2:对拆分出的每一个小图像进行图像识别,得出每一个小图像中商品的商品信息。
具体地,所述步骤A2,可以包括:
将所述小图像与样本商品图像进行相似度计算;
获取相似度最高的样本商品图像的商品信息;
将所获取的商品信息确定为所述小图像中商品的商品名称。
该实施例中,所述样本商品图像可以是预先存储在商品识别系统服务器的。以快餐店的场景为例,商家可以将今日菜品的图像作为样本商品图像存储在商品识别系统服务器中。需要说明的是,每一个样本商品图像还关联有商品信息。
通常,根据图像识别算法,例如可以使用Python图像处理库PIL,可以计算出小图像与样本商品图像之间的相似度。在一种实现方式中,所述相似度的计算可以依据图像直方图的重合度,具体地如下公式2所示:
其中,N表示颜色空间样本点数,gi表示小图像的直方图中第i个颜色空间样本点数的亮度值,si表示样本商品图像的直方图中第i个颜色空间样本点数的亮度值,Max(gi,si)表示两个值中数值大的一个。本说明书中所述直方图可以是指图像直方图,可以用以表示数字图像中亮度分布。这样的直方图可以反映图像中每个像素点的亮度值。在计算机中,亮度可以通过RGB色彩模式表示,即可以使用R(red,红)、G(green,绿)、B(blue,蓝)三个分量来表示。通常可以使用整数表示,R、G、B各可以有256级的亮度,一般采用数字0、1、2、3……、255,即R、G、B的范围值各为0~255。如图8展示了2幅图像test1/1.JPG和test1/2.JPG的直方图,横坐标可以表示颜色空间样本点数,纵坐标可以表示颜色空间样本点数对应的亮度值。
举例说明,图像A和图像B为样本商品图像,图像C为待识别的小图像。通过计算相似度,假设得出图像C和图像A之间的相似度为75%;图像B和图像A之间的相似度为49%。由于图像C和图像A之间的相似度最高,因此,可以确定待识别的小图像C的商品信息为所述图像C的商品信息。
在一种具体地实施例中,所述步骤A2,可以包括:
基于图像识别模型,对拆分出的每一个小图像进行图像识别;所述图像识别模型基于机器学习算法训练的出;
获取所述图像识别模型计算出的每一个小图像中商品的商品信息。
一般的,所述样本商品图像可以是预先存储在商品识别系统服务器的
机器学习模块可以对预先存储的到的样本商品图像进行训练。训练可以基于Google深度学习的开源框架TensorFlow,当然可以是其它任意机器学习算法,结合合理的函数如上述公式2,可以借助已有的机器学习技术对这些样本商品图像进行建模,通过不断地迭代优化算法,可以计算出各个参数属性之间的关系以及各个参数的权重,从而优化出一个最优的、识别率最高的方程或者计算公式;一般的,可以将这样的方程或者计算公式称之为模型。通过训练出的图像识别模型,可以快速识别出输入待识别的小图像的商品信息。如图8所示的,商家可以对每一份菜品进行拍照,然后记录每一张照片对应的菜品信息;将这些照片和对应菜品信息作为训练样本输入到图像识别模型中进行训练。需要说明的是,样本训练过程可以采用无监督自主学习,后续模型上线后可以结合用户的纠错反馈采用半监督学习,这样可以持续完善模型,逐渐提高模型识别准确率。
步骤230:基于所述商品信息生成二维码并展示给用户。
本说明书实施例,利用图像识别技术,自动识别承载对象内承载的商品的商品信息,从而基于所识别的商品信息生成二维码展示给用户。如此,可以由机器取代了传统人工识别商品,通过机器识别商品信息可以提升商品结算的效率。
所述商品信息包括商品图片或者商品名称;所述商品信息还包括:商品单价、商品数量。优选地,商品识别系统服务器还可以根据所述商品单价和商品数量,统计所述承载对象内商品的总价,并基于所述商品单价和商品数量和商品总价生成二维码。
以快餐店的场景为例,用户可以将挑选好的菜品放入餐盘中,在结算前将所述餐盘放在平台上供图像采集系统拍照。商品识别系统服务器在识别出所述餐盘中每个菜品的菜品信息后,基于菜品信息生成二维码并展示给用户。
所述二维码用于被用户扫描,在用户扫描二维码后,用户终端将显示对商品信息进行修改和确认的界面。
具体地,用户可以通过用户终端进行扫码,在用户终端上显示菜品信息。
第一种情况:如果用户觉得识别出的菜品信息没有错误,则用户可以进行确认。
在一种实施例中,当用户确认的情况下,收营台工作人员可以收取用户费用。
本说明书实施例,利用图像识别技术,自动识别承载对象内承载的商品,并自动统计这些商品的总价。如此,可以由机器取代了传统人工识别商品和统计商品总价,不仅提升了商品结算效率,而且可以避免人工识别商品和统计商品总价容易发生的错误。
在另一种实施例中,当用户确认的情况下,用户终端可以通知商品识别系统启动对接支付系统113。所述对接支付系统113可以调用支付平台如支付宝的支付接口,供用户终端进行付款。依然以快餐店的场景为例,如图9所示为用户终端扫码二维码后显示的商品列表。如果用户觉得没有问题,可以点击“提交”按钮进行确定,进而用户终端可以跳转到支付平台提供的支付界面进行付款。
本说明书实施例,利用图像识别技术,自动识别承载对象内承载的商品,并自动统计这些商品的总价。如此,可以由机器取代了传统人工识别商品和统计商品总价。进一步的,通过对接支付系统可以提供用户移动支付,商家自动收款;如此,商家连收营台工作人员都不需要,节约了运营成本。对于用户来说,从取餐到付款全程自助完成,给与用户不一样的消费体验。
第二种情况:如果用户觉得识别出的菜品信息错误,则用户可以对错误的菜品信息进行修改。
依然以图9所示为用户终端扫码二维码后显示的商品列表为例,用户如果认为商品列表中某个商品信息有误,可以点击“纠错”按钮,向用户反馈系统反馈错误;所述用户反馈系统可以将错误信息发送给商品识别系统。所述商品识别系统在所述用户对所述商品列表中物品名称有异议的情况下,重新执行所述对所述图像信息进行图像识别,得到所述图像信息内不同物品的名称的步骤。优选地,可以单独对有异议的商品进行重新识别。
本说明书实施例,通过提供用户纠错反馈的渠道,不仅可以实现纠错,而且如前图像识别模型中所述,在模型上线后可以结合用户的纠错反馈采用半监督学习,持续完善模型,逐渐提高模型识别准确率。
与前述图像识别方法实施例相对应,本说明书还提供了图像识别装置的实施例。所述装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,本说明书图像识别装置所在设备的一种硬件结构可以包括处理器、网络接口、内存和非易失性存储器之外,实施例中装置所在的设备通常根据该图像识别实际功能,还可以包括其他硬件,对此不再赘述。
参见图10,为本说明书一实施例提供的图像识别装置的模块图,所述装置对应了图2所示方法实施例,该实施例应用于自助终端,所述装置包括:
获取图像单元610,获取拍摄到的承载对象的图像信息;其中,所述承载对象承载有商品;
识别图像单元620,对所述图像信息进行图像识别,得到所述承载对象内不同商品的商品信息;
生成信息单元630,基于所述商品信息生成二维码并展示给用户。
在一个可选的实施例中:
所述商品信息包括商品图片或者商品名称;所述商品信息还包括:商品单价、商品数量。
在一个可选的实施例中:
所述二维码用于被用户扫码,在用户扫描二维码后,用户终端将显示对商品信息进行修改和确认的界面。
在一个可选的实施例中:
在所述获取图像单元610之前,所述装置还包括:
初始化系统单元,初始化图像采集系统;
判断单元,判断是否有承载对象放入;
启动摄像头单元,在有承载对象放入的情况下,启动摄像头拍摄所述承载物的图像信息;
所述图像获取单元610,具体包括:
从所述图像采集系统中获取拍摄到的承载对象的图像信息。
在一个可选的实施例中:
所述判断单元,具体包括:
启动红外子单元,启动红外模块,发出红外线;
计算距离子单元,根据红外线发出和返回的时刻,计算出距离;
判断阈值子单元,判断所述距离是否小于阈值;所述阈值为红外模块与放置承载对象的平台之间的距离;
确定子单元,在所述距离小于阈值的情况下,确定有承载物放入。
在一个可选的实施例中:
所述识别图像单元620,具体包括:
拆分图像子单元,根据承载对象底色和商品轮廓,对所述图像信息进行拆分;
识别小图像子单元,对拆分出的每一个小图像进行图像识别,得出每一个小图像中商品的商品名称。
在一个可选的实施例中:
所述识别小图像子单元,具体包括:
模型识别子单元,基于图像识别模型,对拆分出的每一个小图像进行图像识别;所述图像识别模型基于机器学习算法训练的出;
获取商品信息子单元,获取所述图像识别模型计算出的每一个小图像中商品的商品信息。
在一个可选的实施例中:
所述识别小图像子单元,具体包括:
计算相似度子单元,将所述小图像与样本商品图像进行相似度计算;
获取商品信息子单元,获取相似度最高的样本商品图像的商品信息;
确定商品信息子单元,将所获取的商品信息确定所述小图像中商品的商品信息。
在一个可选的实施例中:
所述拆分图像子单元,具体包括:
选择区域子单元,对所述承载对象的图像信息中的几何轮廓进行区域选择;
坐标确定子单元,确定每个区域的绝对值坐标;所述绝对值坐标包括区域4个顶点坐标;
截取区域子单元,从所述承载对象的图像信息中截取所述绝对值坐标范围内的区域;所截取的区域为拆分出的小图像。
在一个可选的实施例中:
所述承载对象包括餐盘;
所述商品包括菜品。
上述实施例阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
以上图10描述了图像识别装置的内部功能模块和结构示意,其实质上的执行主体可以为一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取拍摄到的承载对象的图像信息;其中,所述承载对象承载有商品;
对所述图像信息进行图像识别,得到所述承载对象内不同商品的商品信息;
基于所述商品信息生成二维码并展示给用户。
可选的,所述商品信息包括商品图片或者商品名称;所述商品信息还包括:商品单价、商品数量。
可选的,所述二维码用于被用户扫描,在用户扫描二维码后,用户终端将显示对商品信息进行修改和确认的界面。
可选的,在所述获取拍摄到的承载对象的图像信息之前,还包括:
初始化图像采集系统;
判断是否有承载对象放入;
在有承载对象放入的情况下,启动摄像头拍摄所述承载物的图像信息;
所述获取拍摄到的承载对象的图像信息,具体包括:
从所述图像采集系统中获取拍摄到的承载对象的图像信息。
可选的,所述判断是否有承载对象放入,具体包括:
启动红外模块,发出红外线;
根据红外线发出和返回的时刻,计算出距离;
判断所述距离是否小于阈值;所述阈值为红外模块与放置承载对象的平台之间的距离;
在所述距离小于阈值的情况下,确定有承载物放入。
可选的,所述对所述图像信息进行图像识别,得到所述承载对象内不同商品的商品信息,具体包括:
根据承载对象底色和商品轮廓,对所述图像信息进行拆分;
对拆分出的每一个小图像进行图像识别,得出每一个小图像中商品的商品信息。
可选的,所述对拆分出的每一个小图像进行图像识别,得出每一个小图像中商品的商品信息,具体包括:
基于图像识别模型,对拆分出的每一个小图像进行图像识别;所述图像识别模型基于机器学习算法训练的出;
获取所述图像识别模型计算出的每一个小图像中商品的商品信息。
可选的,所述对拆分出的每一个小图像进行图像识别,得出每一个小图像中商品的商品信息,具体包括:
将所述小图像与样本商品图像进行相似度计算;
获取相似度最高的样本商品图像的商品信息;
将所获取的商品信息确定所述小图像中商品的商品信息。
可选的,所述根据承载对象底色和商品轮廓,对所述图像信息进行拆分,具体包括:
对所述承载对象的图像信息中的几何轮廓进行区域选择;
确定每个区域的绝对值坐标;所述绝对值坐标包括区域4个顶点坐标;
从所述承载对象的图像信息中截取所述绝对值坐标范围内的区域;所截取的区域为拆分出的小图像。
可选的,所述承载对象包括餐盘;
所述商品包括菜品。
在上述电子设备的实施例中,应理解,该处理器可以是中央处理单元(英文:Central Processing Unit,简称:CPU),还可以是其他通用处理器、数字信号处理器(英文:Digital Signal Processor,简称:DSP)、专用集成电路(英文:Application SpecificIntegrated Circuit,简称:ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,而前述的存储器可以是只读存储器(英文:read-only memory,缩写:ROM)、随机存取存储器(英文:random access memory,简称:RAM)、快闪存储器、硬盘或者固态硬盘。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本说明书的其它实施方案。本说明书旨在涵盖本说明书的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本说明书的一般性原理并包括本说明书未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本说明书的真正范围和精神由下面的权利要求指出。
应当理解的是,本说明书并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本说明书的范围仅由所附的权利要求来限制。

Claims (11)

1.一种图像识别方法,所述方法包括:
获取拍摄到的承载对象的图像信息;其中,所述承载对象承载有商品;
对所述图像信息进行图像识别,得到所述承载对象内不同商品的商品信息;
基于所述商品信息生成二维码并展示给用户。
2.根据权利要求1所述的方法,所述商品信息包括商品图片或者商品名称;所述商品信息还包括:商品单价、商品数量。
3.根据权利要求2所述的方法,所述二维码用于被用户扫描,在用户扫描二维码后,用户终端将显示对商品信息进行修改和确认的界面。
4.根据权利要求1所述的方法,在所述获取拍摄到的承载对象的图像信息之前,所述方法还包括:
初始化图像采集系统;
判断是否有承载对象放入;
在有承载对象放入的情况下,启动摄像头拍摄所述承载物的图像信息;
所述获取拍摄到的承载对象的图像信息,具体包括:
从所述图像采集系统中获取拍摄到的承载对象的图像信息。
5.根据权利要求4所述的方法,所述判断是否有承载对象放入,具体包括:
启动红外模块,发出红外线;
根据红外线发出和返回的时刻,计算出距离;
判断所述距离是否小于阈值;所述阈值为红外模块与放置承载对象的平台之间的距离;
在所述距离小于阈值的情况下,确定有承载物放入。
6.根据权利要求1所说的方法,所述对所述图像信息进行图像识别,得到所述承载对象内不同商品的商品信息,具体包括:
根据承载对象底色和商品轮廓,对所述图像信息进行拆分;
对拆分出的每一个小图像进行图像识别,得出每一个小图像中商品的商品信息。
7.根据权利要求6所述的方法,所述对拆分出的每一个小图像进行图像识别,得出每一个小图像中商品的商品信息,具体包括:
基于图像识别模型,对拆分出的每一个小图像进行图像识别;所述图像识别模型基于机器学习算法训练的出;
获取所述图像识别模型计算出的每一个小图像中商品的商品信息。
8.根据权利要求6所述的方法,所述对拆分出的每一个小图像进行图像识别,得出每一个小图像中商品的商品信息,具体包括:
将所述小图像与样本商品图像进行相似度计算;
获取相似度最高的样本商品图像的商品信息;
将所获取的商品信息确定为所述小图像中商品的商品信息。
9.根据权利要求6所述的方法,所述根据承载对象底色和商品轮廓,对所述图像信息进行拆分,具体包括:
对所述承载对象的图像信息中的几何轮廓进行区域选择;
确定每个区域的绝对值坐标;所述绝对值坐标包括区域4个顶点坐标;
从所述承载对象的图像信息中截取所述绝对值坐标范围内的区域;所截取的区域为拆分出的小图像。
10.根据权利要求1所述的方法,所述承载对象包括餐盘;
所述商品包括菜品。
11.一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取拍摄到的承载对象的图像信息;其中,所述承载对象承载有商品;
对所述图像信息进行图像识别,得到所述承载对象内不同商品的商品信息;
基于所述商品信息生成二维码并展示给用户。
CN201810016409.0A 2018-01-08 2018-01-08 图像识别方法及装置和电子设备 Pending CN108364420A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810016409.0A CN108364420A (zh) 2018-01-08 2018-01-08 图像识别方法及装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810016409.0A CN108364420A (zh) 2018-01-08 2018-01-08 图像识别方法及装置和电子设备

Publications (1)

Publication Number Publication Date
CN108364420A true CN108364420A (zh) 2018-08-03

Family

ID=63011165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810016409.0A Pending CN108364420A (zh) 2018-01-08 2018-01-08 图像识别方法及装置和电子设备

Country Status (1)

Country Link
CN (1) CN108364420A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109118681A (zh) * 2018-08-22 2019-01-01 明超 食堂餐盘菜品划价机构
CN109242601A (zh) * 2018-08-08 2019-01-18 阿里巴巴集团控股有限公司 商品信息查询方法和系统
CN109508664A (zh) * 2018-10-26 2019-03-22 浙江师范大学 一种基于深度学习的菜品识别计价方法
CN109523428A (zh) * 2018-09-13 2019-03-26 上海交通大学 基于图像识别技术的智能餐饮结算方法、系统、装置及介质
CN109543621A (zh) * 2018-11-23 2019-03-29 广州逗号智能零售有限公司 商品识别方法及装置
CN109740579A (zh) * 2019-03-01 2019-05-10 上海柏珍信息科技有限公司 一种基于碗盘智能识别的快餐收银系统
CN110597642A (zh) * 2019-08-27 2019-12-20 数字广东网络建设有限公司 业务信息处理方法、获取业务信息的方法、装置和设备
CN110599257A (zh) * 2019-09-19 2019-12-20 福建工程学院 一种基于图像识别技术的计算菜品总金额的方法及系统
CN110956459A (zh) * 2019-11-28 2020-04-03 浙江由由科技有限公司 一种商品处理方法及系统
CN110972346A (zh) * 2018-09-30 2020-04-07 珠海格力电器股份有限公司 数据处理方法及装置
CN111311343A (zh) * 2018-12-11 2020-06-19 阿里巴巴集团控股有限公司 商品信息处理方法及装置
CN111597862A (zh) * 2019-02-21 2020-08-28 杭州海康威视数字技术股份有限公司 一种菜品类别识别方法、装置及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063616A (zh) * 2010-12-30 2011-05-18 上海电机学院 一种基于图像特征匹配的商品自动识别系统及方法
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
CN103617420A (zh) * 2013-11-27 2014-03-05 上海电机学院 基于图像特征匹配的商品快速识别方法及系统
CN104269003A (zh) * 2014-09-12 2015-01-07 李龙龙 一种食物识别方法、装置及系统
CN104463658A (zh) * 2014-12-15 2015-03-25 杭州陆港科技有限公司 一种商品信息汇总和结算
US20150193668A1 (en) * 2014-01-07 2015-07-09 Toshiba Tec Kabushiki Kaisha Information processing apparatus, store system and method for recognizing object
CN106355184A (zh) * 2016-08-18 2017-01-25 无锡天脉聚源传媒科技有限公司 一种基于图像分割的商品识别方法及装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063616A (zh) * 2010-12-30 2011-05-18 上海电机学院 一种基于图像特征匹配的商品自动识别系统及方法
CN102982332A (zh) * 2012-09-29 2013-03-20 顾坚敏 基于云处理方式的零售终端货架影像智能分析系统
CN103617420A (zh) * 2013-11-27 2014-03-05 上海电机学院 基于图像特征匹配的商品快速识别方法及系统
US20150193668A1 (en) * 2014-01-07 2015-07-09 Toshiba Tec Kabushiki Kaisha Information processing apparatus, store system and method for recognizing object
CN104269003A (zh) * 2014-09-12 2015-01-07 李龙龙 一种食物识别方法、装置及系统
CN104463658A (zh) * 2014-12-15 2015-03-25 杭州陆港科技有限公司 一种商品信息汇总和结算
CN106355184A (zh) * 2016-08-18 2017-01-25 无锡天脉聚源传媒科技有限公司 一种基于图像分割的商品识别方法及装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109242601A (zh) * 2018-08-08 2019-01-18 阿里巴巴集团控股有限公司 商品信息查询方法和系统
CN109118681A (zh) * 2018-08-22 2019-01-01 明超 食堂餐盘菜品划价机构
CN109523428A (zh) * 2018-09-13 2019-03-26 上海交通大学 基于图像识别技术的智能餐饮结算方法、系统、装置及介质
CN110972346A (zh) * 2018-09-30 2020-04-07 珠海格力电器股份有限公司 数据处理方法及装置
CN110972346B (zh) * 2018-09-30 2021-06-04 珠海格力电器股份有限公司 数据处理方法及装置
CN109508664A (zh) * 2018-10-26 2019-03-22 浙江师范大学 一种基于深度学习的菜品识别计价方法
CN109508664B (zh) * 2018-10-26 2023-09-05 浙江师范大学 一种基于深度学习的菜品识别计价方法
CN109543621A (zh) * 2018-11-23 2019-03-29 广州逗号智能零售有限公司 商品识别方法及装置
CN111311343A (zh) * 2018-12-11 2020-06-19 阿里巴巴集团控股有限公司 商品信息处理方法及装置
CN111311343B (zh) * 2018-12-11 2023-05-02 阿里巴巴集团控股有限公司 商品信息处理方法及装置
CN111597862A (zh) * 2019-02-21 2020-08-28 杭州海康威视数字技术股份有限公司 一种菜品类别识别方法、装置及电子设备
CN109740579A (zh) * 2019-03-01 2019-05-10 上海柏珍信息科技有限公司 一种基于碗盘智能识别的快餐收银系统
CN110597642A (zh) * 2019-08-27 2019-12-20 数字广东网络建设有限公司 业务信息处理方法、获取业务信息的方法、装置和设备
CN110597642B (zh) * 2019-08-27 2022-09-06 数字广东网络建设有限公司 业务信息处理方法、获取业务信息的方法、装置和设备
CN110599257A (zh) * 2019-09-19 2019-12-20 福建工程学院 一种基于图像识别技术的计算菜品总金额的方法及系统
CN110956459A (zh) * 2019-11-28 2020-04-03 浙江由由科技有限公司 一种商品处理方法及系统

Similar Documents

Publication Publication Date Title
CN108364420A (zh) 图像识别方法及装置和电子设备
US12079861B2 (en) Imagery and annotations
US11487712B2 (en) Digital image suitability determination to generate AR/VR digital content
JP2020194602A (ja) 検索システム、検索方法、及びプログラム
US10565635B2 (en) Item recognition and interaction
KR102072339B1 (ko) 이미지 특징 데이터 추출 및 사용
JP6069565B1 (ja) レコメンド装置、レコメンド方法、およびプログラム
CN104246813B (zh) 衣服图像处理系统以及衣服图像处理方法
CN106202316A (zh) 基于视频的商品信息获取方法及装置
CN115115499A (zh) 自动引导的图像捕获和展示的方法和系统
CN111506758B (zh) 物品名称确定方法、装置、计算机设备及存储介质
US20140129370A1 (en) Chroma Key System and Method for Facilitating Social E-Commerce
US20180174299A1 (en) Intelligent auto-cropping of images
US11232511B1 (en) Computer vision based tracking of item utilization
CN112200631B (zh) 一种行业分类模型的训练方法及装置
US20140095349A1 (en) System and Method for Facilitating Social E-Commerce
CN108090206A (zh) 评论信息的排序方法及装置、电子设备
CN109416693A (zh) 服务器装置、终端装置以及信息处理方法
Lobo Intelli-mirror: An augmented reality based IoT system for clothing and accessory display
CN107622434A (zh) 信息处理方法、系统及智能设备
CN106203225A (zh) 基于深度的图像元素删除
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
Shadrach et al. Smart virtual trial room for apparel industry
JP2020119283A (ja) 学習モデル生成装置、プログラム、及び端末装置を製造する方法
TW201032156A (en) Customer analyzing system, customer data gathering apparatus, customer analyzing apparatus, customer data gathering method, and program

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1257385

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20200922

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Innovative advanced technology Co.,Ltd.

Address before: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant before: Advanced innovation technology Co.,Ltd.

Effective date of registration: 20200922

Address after: Cayman Enterprise Centre, 27 Hospital Road, George Town, Grand Cayman Islands

Applicant after: Advanced innovation technology Co.,Ltd.

Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands

Applicant before: Alibaba Group Holding Ltd.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20180803

RJ01 Rejection of invention patent application after publication