CN104299337B - 信息处理装置及其控制方法 - Google Patents

信息处理装置及其控制方法 Download PDF

Info

Publication number
CN104299337B
CN104299337B CN201410250322.1A CN201410250322A CN104299337B CN 104299337 B CN104299337 B CN 104299337B CN 201410250322 A CN201410250322 A CN 201410250322A CN 104299337 B CN104299337 B CN 104299337B
Authority
CN
China
Prior art keywords
commodity
unit
candidate
similarity
product
Prior art date
Application number
CN201410250322.1A
Other languages
English (en)
Other versions
CN104299337A (zh
Inventor
二宮茂樹
澁谷高志
角田洋二
福田正嗣
Original Assignee
东芝泰格有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JPJP2013-147991 priority Critical
Priority to JP2013147991 priority
Application filed by 东芝泰格有限公司 filed Critical 东芝泰格有限公司
Publication of CN104299337A publication Critical patent/CN104299337A/zh
Application granted granted Critical
Publication of CN104299337B publication Critical patent/CN104299337B/zh

Links

Abstract

本发明公开一种信息处理装置及其控制方法,其能够有效地进行商品的识别所涉及的处理,该信息处理装置,包括:采集部,采集摄像部已摄像的图像;抽出部,从所述摄像部已摄像的商品的图像中抽出特征量;计算部,对关联有指示执行或非执行自动确定的指示信息的基准商品的各个商品的特征量和所述抽出部已抽出的特征量进行比较,并计算出其相似度;识别部,将所述相似度大于等于阈值的基准商品识别为商品候选;判别部,对与所述相似度最大的商品候选关联的所述指示信息进行判别;以及显示控制部,当判别出为对应有指示所述非执行自动确定的指示信息时,能够选择地显示所述识别部已识别的各商品候选。

Description

信息处理装置及其控制方法

[0001] 本申请主张申请日为2〇13年7月I6日、申请号为JP2〇13-14799l的日本申请为优先 权,并引用上述申请的内容。

技术领域

[0002] 本发明涉及一种信息处理装置及其控制方法。

背景技术

[0003] 近年来,存在有一种这样的技术,通过从摄像了物品的图像数据中抽出所述物品 的特征量,并与表示预先准备的核对用物品的特征量的数据进行比较,对该物品的种类等 进行识别。此外,提案有一种店铺系统,通过将该技术应用于蔬菜和水果等的识别中,对已 识别出的商品进行销售登记。在所涉及的店铺系统中,将与商品的相似度大于等于阈值的 数据(核对用商品)识别为所述商品的候选。此外,例如,当大于等于阈值的数据为一个时, 自动地确定为与商品相符的数据。

[0004] 不过,在各种商品中,存在有因其特性等不同而容易发生误识别的商品。这时,如 果已被误识别的数据是一个,则由于能够自动地确定已被误识别的商品,所以有成为妨碍 处理的可能性。

发明内容

[0005] 鉴于上述问题,本发明的目的在于提供一种信息处理装置及其控制方法,其能够 有效地进行商品的识别所涉及的处理。

[0006]为解决上述问题,本发明第一方面涉及的信息处理装置,包括:采集部、抽出部、计 算部、识别部、判别部及显示控制部。采集部采集摄像部已摄像的图像。抽出部从所述摄像 部已摄像的商品的图像中抽出特征量。计算部对关联有指示自动确定的执行或非执行的指 不信息的基准商品的各个商品的特征量和所述抽出部已抽出的特征量进行比较,并计算出 其相似度。识别部将所述相似度大于等于阈值的基准商品识别为商品候选。判别部对与所 述相似度最大的商品候选关联的所述指示信息进行判别。显示控制部当判别出为对应有指 示所述自动确定的非执行的指示信息时,能够选择地显示所述识别部己识别的各商品候 选。

[0007]本发明第二方面涉及的信息处理装置的控制方法,包括以下步骤:采集步骤,采集 摄像部已摄像的图像;抽出步骤,从所述摄像部已摄像的商品的图像中抽出特征量;计算步 骤,对关联有指不自动确定的执行或非执行的指示信息的基准商品的各个商品的特征量和 通过所述抽出步骤己抽出的特征量进行比较,并计算出其相似度;识别步骤,将所述相似度 大于等于阈值的基准商品,识别为商品候选;判别步骤,对与所述相似度最大的商品候选关 联的所述指示信息进行判别;以及显示控制步骤,当判别出为对应有指示所述自动确定的 非执行的指示信息时,能够选择地显示通过所述识别步骤已识别的各商品候选。

附图说明

[0008] 下面,参照附图对本发明所涉及信息处理装置及其控制方法进行说明。当结合附 图考虑时,通过参照下面的详细描述,能够更完整更好地理解本发明以及容易得知其中许 多伴随的优点,但此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部 分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定,其 中:

[0009] 图1是表示实施例所涉及的结账系统的外观构成的立体图;

[0010] 图2是表示图1所示的P0S终端及商品读取装置的硬件构成的框图;

[0011] 图3是示意地表示图2所示的PLU文件的数据构成的一例图;

[0012] 图4是示意地表示图2所示的组设定文件的数据构成的一例图;

[0013] 图5是表示图1所示的P0S终端及商品读取装置的功能构成的框图;

[0014] 图6是表示确认画面的显示例的示意图;

[0015] 图7是表示商品候选画面的显示例的示意图;

[0016] 图8是表示商品读取装置执行的商品识别处理的次序的流程图;

[0017] 图9是表示P0S终端执行的销售登记处理的次序的流程图;

[0018] 图10是表示实施例所涉及的自助P0S的构成的立体图;以及

[0019] 图11是表示图10所示的自助P0S的硬件构成的框图。

[0020] 附图标记说明

[0021] 1 结账系统 11 POS终端

[0022] 611 销售登记部 101 商品读取装置

[0023] 1611 图像采集部 1612 商品检测部

[0024] 1613 特征量抽出部 1614 相似度判定部

[0025] 1615 商品候选提示部1616 输入接受部

[0026] 1617 信息输出部 FI PLU文件

[0027] F2 组设定文件 SC 存储计算机

具体实施方式

[0028]下面,参照附图,以结账系统为例,对本实施例所涉及的信息处理装置及其控制方 法进行说明。店铺系统是具有进行一交易所涉及的商品的登记、结账的P0S终端的结账系统 (P0S系统)等。本实施例是向引进到超市等的店铺的结账系统的应用例。

[0029]图1是表示结账系统1的外观构成的立体图。如图1所示,结账系统1具有P0S终端 11、作为信息处理装置的商品读取装置101。

[0030] P0S终端11载置在结账台51上的拉出装置21上表面上。拉出装置21通过P0S终端11 控制开放动作。通过操作员(店员等)进行按下操作的键盘22,配置在P0S终端11的上表面 上。从操作键盘22的操作员角度看,在键盘22的里侧具有朝向操作员显示信息的显示设备 23。显不设备23在其显不面23a上显不彳目息。触摸面板26层压配置在显示面23a上。顾客用显 示设备24旋转自如地竖直设置在显示设备23的更里侧。顾客用显示设备24在其显示面24a 上显示信息。

[0031] 另外,图1所示的顾客用显示设备24虽然处于将显示面24a朝向图1中跟前侧的状 态,但是通过以显示面24a朝向图1中里侧的方式旋转顾客用显示设备24,顾客用显示设备 24朝向顾客显示信息。

[0032] 长方形桌子状的柜台151以与载置有P0S终端11的结账台51形成L字的方式被配 置。在柜台151的上表面上形成有负荷接受面152。负荷接受面152载置有收纳商品G的购物 筐153。购物筐153可以考虑划分成由顾客带来的第一购物筐153a、载置在与第一购物筐 153a隔着商品读取装置101的位置上的第二购物筐153b。

[0033] 柜台151的负荷接受面152设置有可与P0S终端11数据发送接收地连接的商品读取 装置101。商品读取装置101具有薄的矩形形状的外壳102。

[0034] 在外壳102的正面配置有读取窗103。在外壳102的上部安装有显示、操作部104。显 示、操作部104设置有在表面上层压配置有触摸面板105的液晶显示器等的显示设备106。在 显示设备106的右边配设有键盘107。在键盘107的右边设置有未图示的读卡器的卡读取槽 108。从操作员角度看,在显示、操作部104的里面靠左侧设置有用于向顾客提供信息的顾客 用显不设备109。

[0035] 顾客带来的第一购物筐153a收纳有一交易所涉及的商品G。第一购物筐153a内的 商品G通过操作商品读取装置101的操作员被移动到第二购物筐153b。在该移动过程中,商 品G被朝向商品读取装置101的读取窗103。这时,配置在读取窗103内的摄像部164 (参照图 2)摄像商品G。

[0036] 图2是表示P0S终端11及商品读取装置101的硬件构成的框图。

[0037] P0S终端11具有作为执行信息处理的信息处理部的微机60。微机60具有执行各种 运算处理并控制各部的CF*U (Central Processing Unit:中央处理器)61、R0M (Read Only Memory:只读存储器)62及RAM (Random Access Memory:随机存取存储器)63。1?(^62存储 CPU61所执行的程序。

[0038] 拉出装置21、键盘22、显示设备23、顾客用显示设备24、通信接口 25、触摸面板26、 HDD (Hard Disk Drive:硬盘驱动器)64、连接接口65及打印机66均通过各种输入输出电路 (均未图示)与P0S终端11的CPU61连接。

[0039] 键盘22包括在上面中显示有“1”、“2”、“3”……等数字、“X”的乘法的运算符的置 数键22d、临时合计键22e及合计键22f。

[0040] HDD64存储各种程序、各种文件。CPU61在P0S终端11的起动等时,将HDD64所存储的 程序的全部或一部分复制到RAM63中并进行执行。

[0041] 此外,HDD64存储PLU文件F1、组设定文件F2等的数据文件。PLU文件F1及组设定文 件F2通过连接接口 65,可由商品读取装置101读出。

[0042] PLU文件F1是设定有店铺内销售的商品G和与其商品G的销售登记等相关的信息的 关联的数据文件。图3是示意地表示PLU文件F1的数据构成的一例图。如图3所示,PLU文件F1 对应每个商品,关联登记有被唯一分配的商品ID、商品名、单价等的与商品有关的信息及摄 像了该商品G的商品图像。此外,PLU文件F1对应每个商品G关联登记有该商品G的特征量(基 准商品的特征量数据)。而且,PLU文件F1对应每个商品G,关联登记有作为指示是否进行识 别的自动确定的指示信息的第一标志。

[0043]商品图像是在后述的相似度判定时摄像了被作为比较对象的基准商品的各个商 品的图像。商品图像在后述的商品候选的提示时,作为表示其商品候选的图像被提示。此 夕卜,从各商品G的摄像图像(例如,商品图像)中预先抽出的该商品G的特征量与对应的商品 ID关联登记。在这里,特征量就是商品G的表面的色彩、图案、凹凸状况、形状等表示了商品G 的特征的信息。

[0044] 另外,在本实施例中,虽然是将各商品G的特征量预先登记在PLU文件F1中的形式, 但是不限定于此,也可以是不登记特征量的形式。这时,也可以是通过后述的特征量抽出部 1613从各商品图像中抽出特征量,随时取得特征量的形式。此外,也可以是替代商品图像, 登记提示用的图像的形式。以下,将PLU文件F1所登记的商品称为“登记商品”。

[0045] 第一标志是对应每个商品G设定的、关于商品G的各个商品单独制定是否进行识别 的自动确定用的信息。“识别的自动确定”,意思为在后述的相似度判定部1614的相似度判 定中,当大于等于阈值的登记商品为一个时,将所述基准商品自动地确定为确定商品。在第 一标志中,能够诸如用“0N”及“OFF”等的二值的设定值设定是否通过该相似度判定部1614 进行识别的自动确定。另外,对识别的成功率大于等于规定值的登记商品,最好将自动确定 设定为执行(0N)。在这里,识别的成功率所涉及的阈值虽然并不特别限定,但是最好诸如是 大于等于8成(80%)等表示高准确度的值。

[0046] 组设定文件F2是用于将具有规定的关系性的登记商品,作为属于同一组的一份子 (成员)进行管理的数据文件。图4是示意地表示组设定文件F2的数据构成的一例图。如图4 所示,组设定文件F2对应每个组关联登记有唯一分配的组ID、属于该组的各登记商品的商 品ID。此外,在组设定文件F2中,对应每个组,关联登记有作为指示是否进行识别的自动确 定的指示信息的第二标志。

[0047] 在该组设定文件F2中,视为相同组的登记商品的组合尤其不限。例如,关于相同商 品,当存在有多个销售形式时,也可以将分配给各销售形式的商品ID作为相同组。这时,例 如,能够使以1棵单位、被分割成1/2或1/4的状态销售的相同商品属于相同组。此外,也可以 将属于相同类别或种类的登记商品的商品ID作为相同组。这时,诸如能够使种类名“苹果” 所包含的各品种属于相同组。此外,即使是相互不同的登记商品,也可以将其外观的特征相 似的登记商品作为相同组。这时,诸如能够使在后述的商品候选的识别时有发生误识别的 可能性的登记商品属于相同组。

[0048] 第二标志是对应每个组设定的、关于属于该组的登记商品的各个商品总括地制定 是否进行识别的自动确定用的信息。另外,关于由识别的成功率大于等于规定值(例如大于 等于8成(80%))的登记商品构成的组,最好将自动确定设定为执行(0N)。

[0049] 返回到图2,P0S终端11的CPU61通过输入输出电路(未图示)连接有用于与存储计 算机SC执行数据通信的通信接口 25。存储计算机SC设置在店铺的后院等。存储计算机SC的 HDD(未图示),存储发送给P0S终端11的PLU文件F1、组设定文件F2及用于管理PLU文件F1所 登记的各登记商品的库存状态的库存管理文件等。

[0050] 连接接口 65可在与商品读取装置101之间发送接收数据。连接接口 65连接有商品 读取装置101。此外,打印机66在票据等上进行打字。P0S终端11在CPU61的控制下,通过打印 机66在票据上打印一交易的交易内容。

[0051] 商品读取装置101具有商品读取部110及显示、操作部104。商品读取部11〇具有微 机160。微机160具有CPU16UR0M162及RAM163.R0M162存储CPU161所执行的程序。

[0052] CPU161通过各种输入输出电路(均未图示)连接有摄像部164、声音输出部1G5及连 接接口 175。摄像部164、声音输出部165及连接接口 175通过CPU161来控制动作。

[0053] 摄像部164是彩色CCD传感器或彩色CMOS传感器等,并是从读取窗103进行摄像的 摄像部。例如,摄像部164进行30fps的视频摄像。摄像部164以规定帧频依次摄像了的帧图 像(摄像图像)被保存到RAM163中。声音输出部165是用于发出预设的警告音等的声音电路、 扬声器等。声音输出部165在CPU161的控制下,通过警告音等声音来进行告知。

[0054] 显示、操作部104具有触摸面板105、显示设备106、键盘107、顾客用显示设备109及 连接接口 176。商品读取部110的连接接口 175,与P0S终端11的连接接口65连接,并可与P0S 终端11之间发送接收数据。连接接口 175通过连接接口 176与显示、操作部104连接,CPU161 通过连接接口 175在商品读取部110和显示、操作部104之间进行数据发送接收。

[0055] 接着,参照图5,对通过CPU161、CPU61执行程序来实现的CPU161、CPU61的功能构成 进行说明。

[0056]图5是表示P0S终端11及商品读取装置101的功能构成的框图。如图5所示,商品读 取装置101的CPU161通过依次执行程序,具有作为图像采集部1611、商品检测部1612、特征 量抽出部1613、相似度判定部1614、商品候选提示部1615、输入接受部1616及信息输出部 1617的功能。

[0057]图像采集部1611是与采集部对应的功能部。图像采集部1611向摄像部164输出摄 像导通信号从而使摄像部164开始摄像动作。图像采集部1611,在摄像动作开始后依次采集 摄像部164摄像并保存在RAM163中的摄像图像。基于图像采集部1611的摄像图像的采集按 照被保存到RAM163中的顺序进行。

[0058]商品检测部1612,采用公知的模式匹配(图案匹配)技术检测出通过图像采集部 1611采集到的摄像图像所包含的商品G的全部或一部分的轮廓线。接着,将从前次的摄像图 像(帧图像)中抽出的轮廓线和从本次的帧图像中抽出的轮廓线进行比较,检测出有变化的 部分、即朝向读取窗103的商品G的映入区域。

[0059]作为检测出商品G的另外方法,判定是否从摄像图像中检测出有皮肤区域,并当检 测出有皮肤区域时,就是说当检测出有店员的手的映入时,通过在该皮肤区域的附近进行 上述的轮廓线的检测,从而对假想店员的手正把持的商品G的轮廓抽出进行尝试。这时,当 检测出有表示手的形状的轮廓和在手的轮廓附近除此之外的物体的轮廓时,从该物体的轮 廊中检测出商品G。

[0060] 特征量抽出部1613是与抽出部对应的功能部。特征量抽出部1613从图像采集部 1611采集到的摄像图像中,抽出在商品检测部1612中检测出的商品G的表面状态(表面的色 彩、图案、凹凸状况、形状等),作为特征量。

[0061] 相似度判定部1614是与计算部、识别部及判别部对应的功能部。相似度判定部 iei4对P0S终端11的PLU文件F1所登记的各登记商品的特征量和通过特征量抽出部1613抽 出的特征量进行比较,并分别计算出其相似度。此外,相似度判定部1614在计算出的相似度 中将其值大于等于规定阈值的登记商品(商品ID),识别为通过摄像部164所摄像的商品G的 候选(商品候选)。

[0062] 在这里,相似度只要是对商品G的特征量和PLU文件F1所登记的商品的基准的特征 量进行比较,并表示两特征量相似哪种程度的值(相似度)就行。另外,相似度的概念不限定 于该例子,也可以是表示与PLU文件F1所登记的各登记商品的特征量的一致度的值、表示商 品G的特征量和PLU文件F1所登记的各登记商品的特征量相关哪种程度的值。

[0063] 对在如上所述那样的图像中所包含的物体进行识别,被称为一般物体识别 (generic object recognition:—般物体识别)。关于这样的一般物体识别在下述的文献 中各种识别技术被说明。

[0064] 柳井啓司,“一般物体認識©現状&amp;今後”,情報処理学会論文誌,Vol. 48, No. SIG16 [平成22年8月 10 日検索],夕一本4<URL:http://mm. cs.uec.ac. jp/IPSJ-TCVIM-Yanai.pdf〉(柳井启司,“一般物体识别的现状与未来”,信息处理学会论文志, ¥〇1.48,1\1〇.51616“平成22年8月10日检索”,互联网<11此:111:1卩://111111.〇3.116〇.&amp;(:.』卩/1?8_1-TCVIM-Yanai.pdf>)

[0065] 此外,通过对应每个物品(目的物)对图像进行区域分割,进行一般物体识别的技 术在下列的文献中被说明。

[0066] Jamie Shottonb,“Semantic Texton Forests for Image Categorization and Segmentation”,[平成 22年 8 月 10 日検索],夕一本5/h<URL:http:// citeseerx. ist .psu.edu/viewdoc/download?doi = 10.1.1.145.3036&amp;rep = repl&amp;type = pdf> (Jamie Shottonb(杰米肖顿等人),“Semantic Texton Forests for Image Categorization and Segmentation平成22年8月 10日检索”,互联网<URL:http:// citeseerx. ist .psu. edu/viewdoc/download?doi = 10.1.1.145.3036&amp;rep = repl&amp;type = pdf>)

[0067] 另外,相似度的计算方法尤其不限定。例如,既可以将相似度作为绝对评价进行计 算出,又可以作为相对评价进行计算出。当将相似度作为绝对评价计算出时,只要将已摄像 的商品G的图像和登记商品以一对一方式进行比较,并直接采用该比较的结果导出的相似 度就行。此外,当将相似度作为相对评价进行计算出时,只要以己摄像的商品G和各登记商 品的相似度的总和作为1 .〇 (100%)的方式进行计算出就行。

[0068] 此外,相似度判定部1614对在已识别的商品候选中相似度最大的商品候选,参照 PLU文件F1判别所述商品候选的第一标志。在这里,当第一标志设定有执行(〇N)自动确定 (自动确定的执行(0N))时,相似度判定部1614将相似度最大的商品候选确定为与商品G对 应的商品(确定商品)。此外,当设定有非执行(OFF)自动确定(自动确定的非执行(〇FF))时, 相似度判定部1614参照组设定文件F2,判别相似度最大的商品候选所属的组的第二标志。 在这里,当第二标志设定有执行(〇N)自动确定时,相似度判定部1614将相似度最大的商品 候选确定为与商品G对应的商品(确定商品)。

[0069] 在本实施例中,“相似度最大的商品候选”不限定于已识别的多个商品候选中的一 个商品候选,假想有当识别有一个商品候选时的所述商品候选。另外,也可以是当存在有多 个相似度最大的商品候选时,既可以将任意一个商品候选作为确定商品,又可以通过将已 识别的所有商品候选通知给商品候选提示部1615,从而不进行自动识别的形式。

[0070] 此外,在本实施例中,虽然是对相似度最大的商品候选,判别第一标志及第二标志 的形式,但是并不限定于此。例如,也可以是以相似度最大的商品候选和除所述商品候选之 外的其他商品候选的相似度之差大于等于规定值为条件,进行判别第一标志及第二标志的 形式。

[0071] 相似度判定部1614当确定确定商品时,则将用于向操作员通知其确定商品的确认 画面显示在显示设备106上。在这里,图6是表示确认画面的显示例的图。如图6所示,确认画 面A1包含用于显示确定商品的商品名等的确定商品提示区域All。此外,确认画面A1包含用 于确认许诺确定商品的确认按钮B11、用于指示再识别的再识别按钮B12。

[0072] 在这里,操作员确认确定商品提示区域All所显示的确定商品,当其内容正确时, 通过操作确认按钮B11从而通知认证成功。相似度判定部1614当接受确认按钮B11的操作 时,则记录关于其确定商品(商品ID)识别已成功的情况。

[0073] 此外,操作员当在确认商品提示区域All所显示的确定商品有错误时,通过操作再 识别按钮B12从而通知发生误识别。相似度判定部1614当接受再识别按钮B12的操作时,则 记录关于其确定商品(商品ID)发生了误识别的情况。而且,相似度判定部1614通过再开始 相似度判定从而进行商品候选的再识别。另外,也可以是在再识别时,在第一标志及第二标 志中设定有非执行自动确定而进行处理的形式。此外,也可以是当确认了读入新的商品G时 或当经过了规定时间(例如2秒等)时,操作有确认按钮B11而进行处理的形式。

[0074] 另外,当在第一标志及第二标志中设定有自动确定的非执行(OFF)时,相似度判定 部1614不进行确定处理,而向商品候选提示部1615通知己识别的所有商品候选。

[0075] 商品候选提示部1615是与显示控制部对应的功能部。商品候选提示部1615,将与 从相似度判定部1614通知为商品候选的登记商品有关的信息显示在显示设备106上。更详 细地说,商品候选提示部1615,从P0S终端11的PLU文件F1中读出与商品候选对应的登记商 品的记录,并显示在显示设备106上。

[0076] 图7是表不商品候选画面的显不例的图。如图7所不,商品候选画面A2包括摄像图 像区域A21、商品候选提示区域A22。

[0077] 摄像图像区域A21是用于显示图像采集部1611采集到的摄像图像的区域。商品候 选提示区域A22是用于显示被识别为商品候选的各登记商品的商品图像、商品名等的区域。 在该商品候选提示区域A22中,通过相似度判定部1614识别出的商品候选的商品图像(G1〜 G3)与商品名等同时被显示。另外,也可以在商品候选提示区域A22中,不显示通过相似度判 定部1614识别出的商品候选的商品图像,而显示商品名。

[0078] 在摄像图像区域A21的下部,设置有用于从分类代码、商品明细等中手动选择(确 定)商品的手动确定按钮B2UCPU161根据手动确定按钮B21的操作,将用于手动进行确定商 品的手动确定画面(未图示)显示在显示设备106上。从手动确定画面中己选择的商品(登记 商品),被作为确定商品进行处理。

[0079] 另外,商品候选提示区域A22所显示的商品候选,不限定于从相似度判定部1614通 知的商品候选。例如,也可以当从相似度判定部1614通知的商品候选属于任意一个组时,将 属于该组的其他登记商品作为商品候选显示在商品候选提示区域A22中。这时,商品候选提 示部1615从组设定文件F2中指定已通知的商品候选的商品ID所属的组。而且,商品候选提 示部1615从PLU文件F1中读出属于已指定的组的登记商品的记录,并作为商品候选显示在 商品候选提示区域A22中。

[0080] 返回到图5,输入接受部1616通过触摸面板105或键盘107接受与显示设备106的显 示对应的各种输入操作。例如,输入接受部1616,从显示设备106所显示的商品候选中接受 对任意一个商品候选的选择操作。输入接受部1616将已选择的商品候选,确定为与商品G对 应的商品(确定商品)。另外,当商品检测部1612可检测出多个商品G时,输入接受部W16也 可以从商品候选中接受多个商品候选的选择操作。

[0081] 信息输出部1617对上述那样已被确定的确定商品,将表示该商品的信息(例如,商 品ID、商品名等)通过连接接口 175输出给P0S终端11。

[0082] 另外,信息输出部1617也可以将通过触摸面板1〇5或键盘1〇7另外输入的销售个数 与商品ID等同时输出给P0S终端11。此外,作为信息输出部I617输出给P0S终端11的信息,信 息输出部1617既可以直接通知从PLU文件F1读出的商品ID,又可以通知可指定商品ID的商 品名、商品图像的文件名,还可以通知其商品ID的存储位置(在PLU文件F1中的存储地址)。

[0083] 另一方面,P0S终端11的CPU61通过执行程序,具有作为销售登记部611的功能。销 售登记部611,基于从商品读取装置1〇1的信息输出部1617中输出的商品ID和销售个数,进 行对应的商品的销售登记。具体地说,销售登记部611通过参照PLU文件F1,将已通知的商品 ID及与所述商品ID对应的商品分类、商品名、单价等与销售个数同时记录在销售主文件等 中,从而进行销售登记。

[0084] 以下,对结账系统1的动作进行说明。首先,参照图8,对商品读取装置101的动作进 行说明。在这里,图8是表示商品读取装置101所执行的商品识别处理的次序的流程图。

[0085] 当根据P0S终端11开始商品登记等而开始本处理时,则图像采集部1611向摄像部 164输出摄像导通信号从而开始由摄像部164的摄像。(步骤S11)。

[0086] 图像采集部1611,采集摄像部164摄像并保存在RAM163中的帧图像(摄像图像)(步 骤S12)。接着,商品检测部1612从在步骤S12中采集到的摄像图像中进行商品G的全部或一 部分的检测(步骤S13)。在这里,当未检测出商品G时(步骤S13的否),返回到步骤S12。

[0087] 当在步骤S13中检测出有商品G时(步骤S13的是),特征量抽出部1613从在步骤S12 中采集到的摄像图像中,抽出在步骤S13中检测出的商品G的特征量(步骤S14)。接着,相似 度判定部1614对在步骤S14中已抽出的特征量和PLU文件F1所登记的各登记商品的特征量 进行比较,分别计算出其相似度(步骤S15)。

[0088] 相似度判定部1614将计算出的相似度大于等于规定阈值的登记商品的商品ID识 别为商品候选(步骤S16)。此外,当商品候选的个数为0个时,返回到步骤S12。

[0089] 接着,相似度判定部1614对与在己识别的商品候选中相似度最大的商品候选关联 的第一标志的设定值进行判别(步骤S17)。当第一标志中设定有执行(0N)自动确定时(步骤 S17的是),相似度判定部1614将相似度最大的商品候选确定为确定商品(步骤S19),并过渡 到步骤S20。另外,当在第一标志中设定有执行(0N)自动确定时(步骤S17的是),相似度判定 部1614不限定于将相似度最大的商品候选确定为确定商品。当在第一标志中设定有执行 (0N)自动确定时(步骤S17的是),相似度判定部1614也可以根据相似度的阈值,进行自动确 定或显示商品候选。例如,如果相似度为大于等于90 %,则视为自动确定,如果相似度小于 90 %,则显示商品候选。

[00«?0] 此外,当在第一标志中设定有非执行(OFF)时(步骤S17的否),相似度判定部1614 判别与该商品候选所属的组关联的第二标志的设定值(步骤S18)。

[0091]当在第二标志中设定有执行(0N)自动确定时(步骤S18的是),相似度判定部1614 将其商品候选确定为确定商品(步骤S19),并过渡到步骤S20。此外,当在第二标志中设定有 自动确定的非执行(OFF)时(步骤S18的否),相似度判定部1614向商品候选提示部1615通知 该商品候选,并过渡到步骤S22。

[0092] 在步骤S20中,相似度判定部1614显示确定商品的确认画面(步骤S20)。在这里,当 确认按钮B11被操作了时(步骤S21的是),相似度判定部1614记录识别已成功的情况,并过 渡到步骤S24。此外,当再识别按钮B12被操作了时(步骤S21的否),相似度判定部1614记录 已发生了误识别的情况,并返回到步骤S12。

[0093] 在步骤S22中,商品候选提示部1615从PLU文件F1中读出已通知的商品候选的记 录,并显示在显示设备106上。也可以在将第二标志被设定为OFF的商品作为商品候选而显 示在显示设备106上时,变更候选的商品图像(例如,图7的G1〜G3)的背景色。例如,以能区 别的方式,将第二标志已被设定为OFF的商品的商品图像的背景色作为蓝色、将第二标志未 被设定为OFF的商品的商品图像的背景色作为白色来进行显示。

[0094] 接着,输入接受部1616判定是否通过触摸面板105或键盘107接受了商品候选的选 择(步骤S23)。当进行有选择操作时(步骤S23的是),则输入接受部1616将已选择的商品候 选接受为与商品G对应的确定商品,并过渡到步骤S24。此外,当在步骤S23中未接受商品候 选的选择时(步骤S23的否),再返回到步骤S12。

[0095] 在步骤S24中,信息输出部1617将表示确定商品的商品ID等的信息,输出给P0S终 端11 (步骤S24),并过渡到步骤S25。在这里,当通过触摸面板105等另外输入有销售个数时, 在步骤S24中,将其销售个数与表示确定商品的信息同时输出给P0S终端11。另外,也可以是 当未进行有销售个数的输入时,输出销售个数“1”作为默认值的形式。

[0096] 在接着的步骤S25中,CPU161判定有无根据从P0S终端11通知结束商品登记的工作 结束(步骤S25)。当继续工作时(步骤S25的否),CPU161返回到步骤S12的处理并继续处理。 此外,当结束工作时(步骤S25的是),图像采集部1611通过向摄像部164输出摄像截至信号, 从而结束由摄像部164的摄像(步骤S26),并结束商品识别处理。

[0097] 接着,对P0S终端11的处理动作进行说明。图9是表示P0S终端11执行的销售登记处 理的次序的流程图。

[0098] 首先,当根据键盘22的操作指示开始商品登记等而开始处理时,则CPU61接收商品 读取装置101在图8的步骤S24中已输出的确定商品的商品ID和其销售个数(步骤S31)。接 着,销售登记部611基于在步骤S31中接收到的商品ID及销售个数,从PLU文件F1中读出商品 种类、单价等,从而将通过商品读取装置1〇1已读取的商品G的销售,登记在销售主文件中 (步骤S32)。

[0099] 接着,CPU61判定有无根据通过键盘22的操作指示结束销售登记等的工作结束(步 骤S33)。当继续工作时(步骤S33的否),CPU61返回到步骤S31并继续处理。当结束工作时(步 骤S33的是),CPU61结束销售登记处理。

[0100] 如以上那样,根据本实施例,基于根据识别率等设定的第一标志及第二标志的设 定值,执行与商品G对应的登记商品(确定商品)的自动确定。通过这样,当识别了指示有执 行自动确定的登记商品时,能够自动进行确定确定商品,所以能够有效地进行商品的识别 所涉及的处理。此外,例如,通过将识别的误识别的发生率高的登记商品视为非执行自动确 定、将除此之外的登记商品视为执行自动识别,能够使自动确定的准确度提高。

[0101] 以上,虽然对本发明的实施例进行了说明,但是上述实施例是作为例子提出的,并 不意图限定发明的范围。上述实施例可以用其他各种形式来实施,只要在不脱离发明的要 旨的范围内可以进行各种省略、替换、变更、追加等。此外,上述实施例及其变形均被包含在 发明的范围或要旨中,而且,包含在权利要求的范围所记载的发明和其均等的范围内。

[0102]例如,第一标志及第二标志的设定值既可以为固定值,又可以动态地进行变更。当 采用后者的构成时,CPU161或CPU61具有作为设定变更部的功能,基于相似度判定部1614的 识别率,对第一标志及第二标志的设定值进行变更。具体地说,设定变更部基于在步骤S21 中获得的商品候选(确定商品)各个商品的识别成功及误识别的记录(历史),计算出关于各 商品候选的误识别的发生率。而且,设定变更部将识别的成功率大于等于规定值(例如大于 等于8成(80%))的商品候选(登记商品)所涉及的第一标志或第二标志设定(变更)为0N。此 夕卜,设定变更部将识别的成功率小于规定值(例如,小于8成(80%))的商品候选(登记商品) 所涉及的第一标志或第二标志设定(变更)为OFF。 _

[0103] 此外,在上述实施例中,虽然是设置第一标志及第二标志的两方的形式,但是也可 以是只设置任意一方的形式。

[0104] 此外,在上述实施例中,虽然是P0S终端11具有PLU文件F1及组设定文件F2的形式, 但是不限定于此,也可以是商品读取装置101具有PLU文件H及组设定文件F2的一部分或全 部的形式。

[0105] 此外,在上述实施例中,虽然是在商品读取装置101中进行商品候选的识别的形 式,但是也可以是P0S终端11具有商品读取装置101所具有的功能部的一部分或全部的形 式。

[0106] 例如,也可以是P0S终端11具有特征量抽出部1613及相似度判定部1614,商品读取 装置101具有图像采集部1611、商品检测部1612、商品候选提示部1615、输入接受部1616及 信息输出部1617的形式。这时,在商品读取装置101侧中,将通过图像采集部1611采集、并在 商品检测部1612中检测出商品的摄像图像发送给P0S终端11。此外,商品读取装置101接收 在P0S终端11侧识别出的商品(登记商品)的结果,商品候选提示部1615将该接收到的结果 作为商品候选进行提示。此外,当P0S终端11具有商品读取装置101的全部功能部时,商品读 取装置101具有作为摄像装置的功能,在P〇S终端U中,基于从商品读取装置101发送出的摄 像图像,进行商品候选的显示和选择。

[0107] 此外,在上述实施例中,虽然对采用了固定式的扫描器装置(商品读取装置101)的 例子进行了说明,但是不限定于此,也可以是将所谓的手持式扫描装置与P0S终端11连接的 形式。

[0108] 此外,在上述实施例中,虽然在由P0S终端11和商品读取装置101构成的结账系统1 中,将本发明的实施例应用于商品读取装置101中,但是并不限定于此,也可以应用于具有 P0S终端11及商品读取装置101的功能的一体构成的装置、或诸如将图1所示的商品读取装 置101及P0S终端11通过有线或无线地连接而构成的结账系统。作为具有P0S终端11及商品 读取装置101的功能的一体构成的装置,列举有设置在超市等店铺中而使用的自助结账装 置(以后,仅称为自助P0S)。

[0109] 在这里,图10是表示自助P0S200的外观构成的立体图,图11是表示自助P0S200的 硬件构成的框图。另外,以下,对图1及图2所示的同样构成,附加相同符号进行示出,并省略 其重复的说明。

[0110] 如图10及图11所示,自助P0S200的主体202具有在表面上配设有触摸面板105的显 示装置106、为了识别(检测)商品的种类等而读取商品图像的商品读取部110。

[0111] 显示装置106显示用于向顾客告知自助P0S200的操作方法的引导画面、各种的输 入画面、显示在商品读取部110中己读取的商品信息的登记画面、显示商品的合计金额、预 付金额、找零金额等并进行选择支付方法的对账(结账)画面等。

[0112] 商品读取部110是通过顾客将附在商品上的码符号对准商品读取部110的读取窗 103,从而通过摄像部164读取商品图像的装置。

[0113] 此外,在主体202的右侧设置有用于放置己装入筐中的未结算的商品的商品载置 台203,在主体202的左侧设置有用于放置己结算的商品的商品载置台2〇4。此外,设置用于 挂装入已结算的商品用的袋的袋挂钩205、用于将已结算的商品在装入袋之前临时放置的 临时放置台206。商品载置台203及204分别设置有计量器207、208,并具有确认在结算前后 商品的重量为相同的情况的功能。

[0114] 此外,自助POS200的主体202设置有用于进行存入结算用纸币和接受找零纸币的 找零机201。

[0115] 当在这样构成的自助POS200中应用了本发明的实施例时,自助POS200具有作为信 息处理装置的功能。另外,具有POS终端11和商品读取装置1〇1的功能的一体构成的装置,不 限定于上述构成的自助POS200,也可以是去除计量器207及208而构成的装置。

[0116] 此外,在上述实施例的各装置中执行的程序,虽然被预先安装在各装置所具有的 存储介质(ROM或存储部)中而提供,但是并不限定于此,诸如也可以用可安装的形式或可执 行的形式的文件记录在CD-R0M、软磁盘(FD)、CD-R、DVD (Digital Versatile Disk:数字多 功能光盘)等计算机可读的存储介质中而提供。而且,存储介质不限定于与计算机或嵌入系 统独立的介质,也包含有下载通过LAN、互联网等传输来的程序而存储或临时存储的存储介 质。

[0117] 此外,也可以将在上述实施例的各装置中执行的程序存储在与互联网等的网络连 接的计算机上,并通过经由网络下载来提供。此外,也可以将在上述实施例的各装置中执行 的程序经由互联网等的网络进行配置。

[0118] 此外,也可以是将上述实施例的程序安装在具有通信功能的移动电话、智能电话、 PDA (Personal Digital Assistant:个人数字助理)等的便携信息终端中而实现其功能的 形式。

Claims (8)

1. 一种信息处理装置,包括: 采集部,采集摄像部已摄像的图像; 抽出部,从所述摄像部已摄像的商品的图像中抽出特征量; 计算部,对关联有指示自动确定的执行或非执行的指示信息的基准商品的各个商品的 特征量和所述抽出部已抽出的特征量进行比较,并计算出其相似度; 识别部,将所述相似度大于等于阈值的基准商品,识别为商品候选; 判别部,对与所述商品候选关联的所述指示信息进行判别;以及 显示控制部,当判别出为对应有指示所述自动确定的非执行的指示信息时,能够选择 地显示所述识别部己识别的各商品候选, 其中,所述判别部当所述相似度最大的商品候选和除所述相似度最大的商品候选之外 的其他商品候选的相似度之差大于等于规定值时,对所述指示信息进行判别, 所述显示控制部当所述相似度之差小于所述规定值时,能够选择地显示所述识别部已 识别的各商品候选。
2. 根据权利要求1所述的信息处理装置,其中, 所述指示信息与将具有规定的关系性的多个基准商品进行了组化的各组关联, 所述判别部对与所述相似度最大的商品候选所属的组关联的所述指示信息进行判别。
3. 根据权利要求1所述的信息处理装置,其中, 指示所述自动确定的执行的指示信息,与基于所述识别部的识别的成功率大于等于规 定值的基准商品或由所述基于所述识别部的识别的成功率大于等于规定值的基准商品构 成的组关联。
4. 根据权利要求1至3中任一项所述的信息处理装置,还包括: 设定变更部,基于所述识别部的所述商品候选的识别率,变更与和所述商品候选对应 的所述基准商品关联的所述指示信息的指示内容。
5. —种信息处理装置的控制方法,包括以下步骤: 采集步骤,采集摄像部已摄像的图像; 抽出步骤,从所述摄像部已摄像的商品的图像中抽出特征量; 计算步骤,对关联有指示自动确定的执行或非执行的指示信息的基准商品的各个商品 的特征量和通过所述抽出步骤已抽出的特征量进行比较,并计算出其相似度; 识别步骤,将所述相似度大于等于阈值的基准商品,识别为商品候选; 判别步骤,对与所述相似度最大的商品候选关联的所述指示信息进行判别;以及 显示控制步骤,当判别出为对应有指示所述自动确定的非执行的指示信息时,能够选 择地显示通过所述识别步骤已识别的各商品候选, 其中,在所述判别步骤中,当所述相似度最大的商品候选和除所述相似度最大的商品 候选之外的其他商品候选的相似度之差大于等于规定值时,对所述指示信息进行判别, 在所述显示控制步骤中,当所述相似度之差小于所述规定值时,能够选择地显示通过 所述识别步骤已识别的各商品候选。
6. 根据权利要求5所述的控制方法,其中, 所述指示信息与将具有规定的关系性的多个基准商品进行了组化的各组关联, 在所述判别步骤中,对与所述相似度最大的商品候选所属的组关联的所述指示信息进 行判别。
7. 根据权利要求5所述的控制方法,其中, 、 、 指示所述自动确定的撕的指示儲、,与基于所述识别步_识細成神大于等于 规定值的基准商品或由所述基于所述识别步骤的识别的成功率大于等于规定值的基准商 品构成的组关联。
8. 根据权利要求5至7中任一项所述的控制方法,还包括: 设定变更步骤,基于所述识别步骤的所述商品候选的识别率,变更与和所述商品候选 对应的所述基准商品关联的所述指示信息的指示内容。
CN201410250322.1A 2013-07-16 2014-06-06 信息处理装置及其控制方法 CN104299337B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JPJP2013-147991 2013-07-16
JP2013147991 2013-07-16

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610728295.3A CN106408800B (zh) 2013-07-16 2014-06-06 信息处理装置及其控制方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201610728295.3A Division CN106408800B (zh) 2013-07-16 2014-06-06 信息处理装置及其控制方法

Publications (2)

Publication Number Publication Date
CN104299337A CN104299337A (zh) 2015-01-21
CN104299337B true CN104299337B (zh) 2017-07-07

Family

ID=52319054

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201410250322.1A CN104299337B (zh) 2013-07-16 2014-06-06 信息处理装置及其控制方法
CN201610728295.3A CN106408800B (zh) 2013-07-16 2014-06-06 信息处理装置及其控制方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610728295.3A CN106408800B (zh) 2013-07-16 2014-06-06 信息处理装置及其控制方法

Country Status (2)

Country Link
JP (1) JP6190019B2 (zh)
CN (2) CN104299337B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1123940A (zh) * 1994-04-29 1996-06-05 国际商业机器公司 产品识别系统
CN102063616A (zh) * 2010-12-30 2011-05-18 上海电机学院 一种基于图像特征匹配的商品自动识别系统及方法
CN102375977A (zh) * 2010-08-23 2012-03-14 东芝泰格有限公司 店铺系统及商品销售数据处理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004206357A (ja) * 2002-12-25 2004-07-22 Nec Infrontia Corp 販売商品データの出力装置及び販売商品データの出力方法
DE102006044365A1 (de) * 2006-09-20 2008-04-03 Mettler-Toledo (Albstadt) Gmbh Automatische Erkennungsvorrichtung
JP5403657B2 (ja) * 2009-02-23 2014-01-29 Necインフロンティア株式会社 定置スキャナ、pos端末および決済商品選別方法
JP5194149B2 (ja) * 2010-08-23 2013-05-08 東芝テック株式会社 店舗システムおよびプログラム
JP5984096B2 (ja) * 2011-08-30 2016-09-06 ディジマーク コーポレイション 物体を識別する方法及び機構
JP5485954B2 (ja) * 2011-09-06 2014-05-07 東芝テック株式会社 店舗システム及びプログラム
JP5194160B1 (ja) * 2011-10-19 2013-05-08 東芝テック株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1123940A (zh) * 1994-04-29 1996-06-05 国际商业机器公司 产品识别系统
CN102375977A (zh) * 2010-08-23 2012-03-14 东芝泰格有限公司 店铺系统及商品销售数据处理方法
CN102063616A (zh) * 2010-12-30 2011-05-18 上海电机学院 一种基于图像特征匹配的商品自动识别系统及方法

Also Published As

Publication number Publication date
CN106408800A (zh) 2017-02-15
JP6190019B2 (ja) 2017-08-30
CN106408800B (zh) 2019-04-19
CN104299337A (zh) 2015-01-21
JP2016212915A (ja) 2016-12-15

Similar Documents

Publication Publication Date Title
US9245424B2 (en) Store system and sales registration method
US20130182899A1 (en) Information processing apparatus, store system and method
US8856035B2 (en) Store system and sales registration method
US9042660B2 (en) Information processing apparatus and information processing method
JP5485954B2 (ja) 店舗システム及びプログラム
JP6189761B2 (ja) 商品データ登録装置、チェックアウトシステムおよびプログラム
JP5553866B2 (ja) 商品認識装置及び認識辞書追加プログラム
US20120312605A1 (en) Commodity search device and commodity information processing device
JP2013210971A (ja) 情報処理装置及びプログラム
US20160189128A1 (en) Store system and sales registration method
CN103226687B (zh) 商品读取装置及商品读取方法
JP2015143961A (ja) 商品データ登録装置およびプログラム
US9036870B2 (en) Commodity recognition apparatus and commodity recognition method
CN102431692B (zh) 标签发放装置及标签发放方法
US20130057670A1 (en) Information processing apparatus and method
JP5132732B2 (ja) 店舗システムおよびプログラム
JP5596630B2 (ja) 商品リスト発券装置
JP5826152B2 (ja) 商品認識装置及び商品認識プログラム
JP5149950B2 (ja) 商品情報読取装置及びプログラム
US9990541B2 (en) Commodity recognition apparatus and commodity recognition method
CN103810468B (zh) 商品识别装置及商品识别方法
JP5228010B2 (ja) 商品情報処理装置及びプログラム
JP5936993B2 (ja) 商品認識装置及び商品認識プログラム
US20130141585A1 (en) Checkout system and method for operating checkout system
JP5554796B2 (ja) 情報処理装置およびプログラム

Legal Events

Date Code Title Description
C06 Publication
C10 Entry into substantive examination
GR01