CN105719412A - 商品注册装置以及商品注册方法 - Google Patents

商品注册装置以及商品注册方法 Download PDF

Info

Publication number
CN105719412A
CN105719412A CN201510954879.8A CN201510954879A CN105719412A CN 105719412 A CN105719412 A CN 105719412A CN 201510954879 A CN201510954879 A CN 201510954879A CN 105719412 A CN105719412 A CN 105719412A
Authority
CN
China
Prior art keywords
mentioned
commodity
sound
auxiliary information
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510954879.8A
Other languages
English (en)
Inventor
榎本茂辉
佐藤芳广
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Publication of CN105719412A publication Critical patent/CN105719412A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Cash Registers Or Receiving Machines (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明涉及一种商品注册装置和商品注册方法。该商品注册装置具备：摄影单元，其将物体拍摄为图像；声音输入单元，其输入声音；以及控制单元，其将声音用作商品识别上述物体的辅助信息来进行商品识别，上述声音是在包括检测出通过上述摄影单元将上述物体拍摄为图像的定时的上述定时的前后预定期间，通过上述声音输入单元进行输入的声音。

Description

商品注册装置以及商品注册方法
技术领域
本发明涉及商品注册装置以及商品注册方法。
背景技术
目前，电子式收银机(商品注册装置)通过条形码读取部读取赋予商品的条形码等数据代码，从而识别该商品。赋予商品的条形码包括制造商代码信息、项目代码信息以及校验数字信息而构成。商品注册装置根据校验码信息判断正确地读取了条形码后，根据项目代码信息来识别该商品。预先在商品的包装等上印刷条形码，由此能够减轻收银员的负担。
但是，没有进行包装的商品，例如蔬菜水果食品等逐个地粘贴条形码是非常繁琐的，花费时间和成本。目前针对蔬菜水果食品等，进行由操作员通过键盘输入商品代码和金额这样的运用。
近年来，开始普及一种商品注册装置，其对蔬菜水果食品等进行对象识别来识别，将识别的商品进行销售额注册。该商品注册装置从拍摄了蔬菜水果食品等的图像信息提取外观的特征量，来与预先准备的特征量数据库进行比较，由此识别该物品是哪一个商品。这样，即使是没有预先包装的商品也不需要一个个粘贴条形码而商品注册装置能够识别，因此能够减轻店铺方的负担。
例如，日本特开2013-89258号公报中记载一种信息处理装置，比较通过摄像单元拍摄的对象物的图像信息和各商品的基准图像信息，将与类似度位于预定范围内的基准图像信息对应的商品作为相当于对象物的商品候补显示在显示单元中。
但是，日本特开2013-89258号公报所记载的装置在所拍摄的对象物图像非常类似的情况下(例如产地不同的苹果或橘子)，操作员需要进行由键盘或触摸画面进行的选择操作。例如，在将和歌山(温州)、爱媛等多个产地的商品“橘子”进行商品注册时，难以通过图像识别来判定“橘子”的产地等。因此，操作员需要暂时中断图像读取操作，进行通过键盘或触摸画面进行的选择操作。
另外，在结账前，即使在要追加注册多个与结束了识别的商品相同的商品的情况下也必须重复同样的识别操作。另外，关于取消也需要同样的操作。
这样，如没有贴条形码的蔬菜水果食品那样，商品类似，并且要进行跨多个产地的商品或相应的商品的追加注册/取消的情况下，会有操作员不得不返回键盘操作等而使工作效率下降的问题。
发明内容
本发明的课题是提高商品的销售额注册操作的操作性。
本发明的商品注册装置具备：摄影单元，其将物体拍摄为图像；声音输入单元，其输入声音；以及控制单元，其将声音用作用于对上述物体进行商品识别的辅助信息来进行商品识别，上述声音是在包括检测出通过上述摄影单元将上述物体拍摄为图像的定时的上述定时的前后预定期间，通过上述声音输入单元输入的声音。
本发明的商品注册方法包括以下步骤：将物体拍摄为图像的摄影步骤；输入声音的声音输入步骤；将声音用作用于对上述物体进行商品识别的辅助信息来进行商品识别的控制步骤，上述声音是在包括检测出通过上述摄影步骤将上述物体拍摄为图像的定时的上述定时的前后预定期间，通过上述声音输入步骤输入的声音。
根据本发明，能够提高商品的销售额注册操作的操作性。
附图说明
图1是表示本实施方式的商品注册装置的外观的立体图。
图2是表示本实施方式的商品注册装置的概略结构图。
图3是表示本实施方式的商品注册装置的概略功能框图。
图4是本实施方式的商品识别装置的主视图。
图5是表示本实施方式的特征量文件的一例的图。
图6A和图6B是表示本实施方式的商品注册处理的流程图。
图7是表示本实施方式的商品注册装置的声音识别缓冲器的一例的图。
图8A～图8C是在本实施方式的商品注册装置的显示器上显示的商品的确认画面的例子。
图9A～图9D是说明本实施方式的商品注册装置的商品识别方法的时序图。
具体实施方式
以后参照附图详细说明用于实施本发明的方式。另外，即使在不同附图表示相同要素也赋予相同的符号，省略其重复的说明。
(实施方式)
图1是表示本发明的实施方式的商品注册装置1的外观的立体图。
如图1所示，商品注册装置1具备注册各个商品的商品识别装置2、进行与各交易相关的商品销售额注册和补款计算的POS终端3。该商品识别装置2是读取与商品相关的信息进行注册的POS连接用扫描仪。
商品识别装置2设置在长方形桌状的计数器台5的长度方向的中央。商品识别装置2具备薄型的长方体状的外壳51。该外壳51的正面经由读取窗52配置照相机27(参照图2)。在读取窗52的上部配置有麦克风28。
外壳51的上部安装有显示/操作部22。显示/操作部22中设置有显示器221。在该显示器221的表面叠层有触摸面板222(参照图2)。在显示器221的右边配置有键盘23。在键盘23的右边设置有未图示的读卡器的读卡槽。在显示/操作部22左面靠里侧面向背面设置用于对顾客提供信息的顾客用显示器24。
POS终端3被载置在结账(checkout)台6上的抽屉(drawer)37的上面。该抽屉37通过POS终端3接受开放动作的控制。
在POS终端3的上面配置用于操作员(店员)进行操作的键盘33。从该操作员观察的话，在键盘33的上部靠里侧设置显示信息的显示器321。在该显示器321的表面叠层有触摸面板322(参照图2)。在显示器321的里侧以能够在左右方向旋转的方式设置用于显示信息的顾客用显示器34。另外，图1所示的顾客用显示器34面向图1的跟前侧。该顾客用显示器34通过面向图1的里侧旋转而向顾客显示信息。
为了与载置有POS终端3的结账台6形成L字，配置长方形桌状的收款(counter)台5。在收款台5的上面形成载荷面。顾客一边从图1的左侧向右侧移动，一边接受商品的注册处理。即，在收款台5的载荷面载置有收纳商品的第一购物筐4L、第二购物筐4R。以下在没有特别区别第一购物筐4L和第二购物筐4R时，有时简单记载为购物筐4。这些购物筐4不限于所谓的筐形状，也可以是托盘等。另外，购物筐4不限于所谓的筐形状，也可以是箱子状或袋状等。
第一购物筐4L是由顾客带入，收纳一个交易相关的商品。第二购物筐4R被载置在从第一购物筐4L隔着商品识别装置2的位置。第一购物筐4L内的商品由操作商品识别装置2的操作员取出，并移动到第二购物筐4R中。在该移动过程中，商品被商品识别装置2的读取窗口52遮住。这时，配置在读取窗口52内的照相机27(参照图2)拍摄商品。
在商品识别装置2中，在显示器221显示用于指定由照相机27拍摄的图像中包括的商品与后述的特征量文件361(参照图2)中记录的哪个商品对应的画面。商品识别装置2进一步将所指定的商品的商品ID通知给POS终端3。POS终端3根据从商品识别装置2通知的商品ID，将与该商品ID对应的商品的商品分类、商品名、单价等与销售额注册相关的信息记录在销售额主文件(未图示)等中，进行销售额注册。
图2是表示本实施方式的商品注册装置1的概略结构图。商品注册装置1包括商品识别装置2和POS终端3而构成。商品识别装置2包括微型计算机21、显示/操作部22、接口25、照相机27、扬声器29以及电源30而构成。将ROM(ReadOnlyMemory只读存储器)212和RAM(RandomAccessMemory随机存取存储器)213进行总线连接在CPU(CentralProcessingUnit中央处理单元)上而构成微型计算机21。在ROM212中存储由CPU211执行的程序。
CPU211经由内部总线、各个输入输出电路(未图示)与显示/操作部22、接口25、照相机27、麦克风28以及扬声器29连接。
显示/操作部22包括显示器221、触摸面板222、顾客用显示器24以及键盘23而构成，通过CPU211来控制动作。
显示器211根据CPU211的指示显示针对操作员的信息。触摸面板222接受针对由显示器221进行显示的信息的操作输入。顾客用显示器24通过CPU211的指示显示针对顾客的信息。
键盘23由多个操作键构成，接受操作员的操作输入。
接口25与POS终端3的接口35连接，能够与POS终端3之间进行数据接收发送。
照相机27是彩色CCD图像传感器、彩色CMOS图像传感器等，是在CPU211的控制下，进行来自读取窗口52(参照图1)的拍摄的摄像单元。照相机27进行例如30[fps]的动态图像的拍摄。由照相机27以预定的帧速率依次拍摄的帧图像(摄像图像)被保存在RAM213中。
麦克风28输入从操作员发出的声音。麦克风28被配置在商品识别装置2的读取窗口52的上部，假设输入操作员的声音。
扬声器29产生预先设定的警告音等。扬声器29在CPU211的控制下进行基于警告音或声音的通知。
电源30向该商品识别装置2的各部提供电力。
接口25与POS终端3的接口35连接，能够与POS终端3之间进行数据接收发送。
POS终端3包括微型计算机31、显示器321、触摸面板322、键盘33、顾客用显示器34、接口35、HDD36、抽屉37、打印机38以及电源39而构成。
微型计算机31执行信息处理。将ROM312和RAM313进行总线连接在执行各种运算处理并控制各部的CPU311上来构成该微型计算机31。CPU311经由内部总线、各个输入输出电路与抽屉37、键盘33、显示器321、触摸面板322、顾客用显示器34以及HDD36(HardDiskDrive硬盘驱动器)连接。这些接受CPU311进行的控制。
显示器321通过CPU311的指示显示针对操作员的信息。触摸面板322接受针对通过显示器321显示的信息的操作的输入。顾客用显示器34根据CPU311的指示显示针对顾客的信息。
键盘33包括临时紧固键331、紧固键332、数字键333而构成，接受操作员的操作输入。数字键333由0到9的数字键和各种运算符键构成。
HDD36中存储程序和各种文件。HDD36中存储的程序和各种文件在POS终端3启动时，将其全部或一部分复制到RAM313后，由CPU311执行。HDD36中记录了例如特征量文件361，不过也可以记录商品销售数据处理用的程序。特征量文件361是针对在店铺陈列并销售的交易商品的每一个，设定了关于商品的销售额注册的信息与该商品的图像之间的关联的商品文件，作为交易商品的词典而发挥功能(参照图5)。
接口35与商品识别装置2连接，能够与商品识别装置2之间进行数据接收发送。
打印机38对收据等进行打字。POS终端3在CPU311的控制下，在收据上打字各个交易的交易内容。
电源39向该POS终端3的各部提供电力。
图3是表示本实施方式的商品注册装置1的概略功能框图。以下的说明中，适当参照图1和图2。
商品识别装置2的CPU211通过执行存储在ROM212中的程序，将图像取得部90、物体检测部91、类似度运算部92、类似度判断部93、声音识别部94、声音识别缓冲器941、商品确定部95、确定通知部96、信息输出部97的各部具体化。另外，同样地POS终端3的CPU311通过执行存储在HDD36中的程序而将销售额注册部99的各部具体化。POS终端3的HDD36中还存储特征量文件361以及声音识别DB362。
图像取得部90向照相机27输出摄像接通信号，使该照相机27开始拍摄动作。进而图像取得部90依次取入由照相机27拍摄后保存在RAM213中的帧图像。按照保存在RAM213中的顺序进行基于图像取得部90的帧图像的取入。
物体检测部91使用模式匹配技术等来检测通过图像取得部90取入的帧图像中包括的物体的全部或一部分。
具体地说，如果操作员为了销售额注册而将商品面向读取窗口52，则图像取得部90通过照相机27拍摄该商品的图像。物体检测部91将取入的帧图像二进制化来提取轮廓线。接着，物体检测部91比较从上次的帧图像中提取的轮廓线和从此次的帧图像中提取的轮廓线，检测作为该商品的物体。
以下表示另外的具体方法，如果操作员为了销售额注册而用手把持商品并面向读取窗口52，则图像取得部90通过照相机27拍摄该商品以及手的图像。物体检测部91从取入的帧图像检测有无肤色区域。在检测出肤色区域的情况下，即检测出店员的手的情况下，物体检测部91在该肤色区域的附近检测轮廓线。这样，提取被认为由操作员的手进行把持的商品的轮廓。物体检测部91检测表示手的形状的轮廓，在手的轮廓附近还检测出其以外的物体轮廓的情况下，根据该物体的轮廓检测商品。
类似度运算部92从照相机27拍摄的商品图像读取该商品的色调和表面的凹凸状况等表面状态来作为特征量。类似度运算部92不考虑该商品的轮廓和大小。这样类似度运算部92能够缩短处理时间。
类似度运算部92还从记录在特征量文件361中的各商品(以下称为交易商品)的商品图像读取该交易商品的色调和表面的凹凸状况等表面状态来作为特征量，分别与所拍摄的商品特征量进行比较，由此计算所拍摄的商品和记录在特征量文件361中的交易商品之间的类似度。这里，类似度是指在将记录在特征量文件361中的各商品所设想的商品图像设为100％的类似度的情况下，表示商品的全部或一部分的图像类似到怎样的程度。另外，类似度运算部92例如也可以改变色调和表面的凹凸状况之间的权重来计算类似度。
这样，将识别图像中包括的物体称为一般物体识别(genericobjectrecognition)。在柳井启司著的“一般物体识别的现状和未来”(“一般物体認識の現状と今後”)中，除了将一般物体识别的研究测量加入方法中，还执行数据组(dataset)、评价基准，更进一步展望其未来。
柳井启司，“一般物体识别的现状和未来“一般物体認識の現状と今後”)”，[online]，信息处理学会期刊论文(情報処理学会論文誌)，2007年11月15日，Vol.48，No.SIG16、1-24页，[平成26年9月8日检索]，英特网<URL:http://mm.cs.uec.ac.jp/IPSJ-TCVIM-Yanai.pdf>。
另外，在下述的文献中解说了通过按照每个对象对图像进行区域分割而进行一般物体识别的技术。
JamieSchotton等，“SemanticTextonForestsforImageCategorizationandSegmentation”，ComputerVisionandPatternRecognition，2008.CVPR2008.IEEEConferenceon，“平成26年9月8日检索”，英特网<URL:http://citeseerx.ist.psu.edu/viewdoc/download？doi＝10.1.1.145.3036&rep＝rep1&type＝pdf>。
另外，关于所拍摄的商品的图像和记录在特征量文件361中的交易商品的商品图像之间的类似度的计算方法是没有特别限制的。例如可以将所拍摄的商品的图像和记录在特征量文件361中的各交易商品之间的类似度计算为绝对评价，也可以计算为相对评价。
在将类似度计算为绝对评价的情况下，将所拍摄的商品图像和记录在特征量文件361中的各个交易商品进行一对一比较，直接采用该比较结果导出的类似度即可。另外，在将类似度计算为相对评价的情况下，进行计算使得与各交易商品的类似度总和为1.0(100％)。例如在特征量文件361中记录4个商品#1～#4。这时关于所拍摄的商品，进行以下计算，即针对商品#1类似度为0.65，针对商品#2类似度为0.2，针对商品#3类似度为0.1，针对商品#4类似度为0.05等。
类似度判断部93按照图像取得部90所取入的每个帧图像，比较商品的图像和记录在特征量文件361中的商品图像之间的类似度。在本实施方式中，交易商品的商品图像和商品的摄影图像之间的类似度被设置多个条件。类似度判断部93根据这些被满足的条件来选定交易商品的确定或商品的候补。不特别限定关于类似度的条件，不过以下说明使用条件X、Y、Z的情况。
这里，条件X以及条件Y是用于将帧图像上的物体确定为记录在特征量文件361中的交易商品中的一个的条件。另外，条件Z是用于从帧图像上的物体提取记录在特征量文件361中的交易商品的候补的条件。
类似度判断部93例如判定为满足条件X或/以及条件Y的交易商品是与帧图像上的物体一对一对应的商品。另外，类似度判断部93对于满足条件Z的交易商品，判定为不是确定商品而是由照相机27拍摄的商品的候补。并且，类似度判断部93通过从记录在特征量文件361中的多个交易商品提取满足条件Z的交易商品，提取针对所拍摄的交易商品的候补。
如果根据类似度进行阶段地设定条件X～Z，则不特别限定其细节，不过作为一例，能够通过预先设定的多个阈值来设定条件X～Z。这里，说明根据阈值Tx～Tz设定条件X～Z的情况。另外，假设按照阈值Tx～Tz的顺序逐渐变小。
类似度判断部93计数与交易商品的类似度成为预定的阈值Tx以上的次数，当该次数大于预定次数时判定为满足了条件X。
另外，类似度判读部93在与交易商品之间的类似度不足阈值Tx并且在阈值Ty以上时，判定为满足条件Y。并且，判定为满足了条件Y的交易商品虽然是确定商品但需要操作员的确认操作。
进而，类似度判读部93在与交易商品之间的类似度不足阈值Ty并且在阈值Tz以上时，判定为满足条件Z。
另外，各个条件X～Z能够根据类似度的大小等适当进行设定，不限定于上述的例子。
这样，类似度判断部93从特征量文件361读出满足了条件Z的交易商品的摄影图像以及商品名，按照类似度运算部92计算出的类似度从高到低的顺序作为商品候补进行输出。
声音识别部94参照声音识别DB362识别发出的声音。具体地说，由操作员发声的语言作为声音信号从麦克风28被取入到声音识别部94，声音识别部94将该声音信号进行波形分析并提取特征模式，进行声音识别，并将声音识别结果暂时存储在声音识别缓冲器941(参照图7)中。如图7所示，声音识别缓冲器941存储操作员的发声定时(声音输入的开始时间和结束时间)、该发声定时的声音输入的声音识别结果。
在该例子中，存储从开始时间0：00：10到结束时间0：00：15之间进行声音输入的声音信号的声音识别结果“青森”。在接着的发声定时，存储从开始时间0：00：17到结束时间0：00：20之间进行声音输入的声音信号的声音识别结果“两个”。
商品确定部95从类似度判断部93进行了对象识别的商品的商品候补中通过声音识别部94进行的声音识别来确定商品或商品的个数。
具体地说，商品确定部95将在前后预定期间中输入的声音用作商品识别的辅助信息来确定商品或其个数，该前后预定期间包括识别出由照相机27拍摄的商品的定时。另外，商品确定部95根据在前后预定期间中输入的声音来执行商品的注册或商品注册的取消，该前后预定期间包括识别出由照相机27拍摄的商品的定时。
确定通知部96将通过商品确定部确定了商品及其个数通过图像输出或声音输出等通知给操作员和顾客。更详细地说，确定通知部96使显示器221显示被确定的商品及其个数，将与所确定的商品相关的信息输出给扬声器29。扬声器29将所确定的商品的信息通知给操作员和顾客。
信息输出部97对于如上述那样确定的商品，将表示该商品的信息(例如，商品ID、商品名、降价信息等)经由接口25输出给POS终端3。
另外，信息输出部97可以将经由触摸面板222或键盘23另外输入的销售个数和商品ID等一起输出给POS终端3。另外，作为信息输出部97输出到POS终端3的信息，可以直接通知由信息输出部97从特征量文件361读出的商品ID，也可以将能够确定商品ID的商品名或商品图像、摄影图像的文件名通知给POS终端3。
POS终端3的销售额注册部99根据从信息输出部97输出的商品ID和销售个数进行相应的商品的销售额注册。具体地说，销售额注册部99参照特征量文件361将所通知的商品ID、与其对应的商品分类、商品名、单价、销售个数记录到销售额主文件等中并进行销售额注册(临时注册)。
图4是本实施方式的商品识别装置2的主视图。
商品识别装置2设置在收款台5上。商品识别装置2包括薄型的长方体状的外壳51、安装在该外壳51的上部的显示/操作部22和在显示/操作部22的左边里侧面向背面设置的顾客用显示器24而构成。
在该外壳51的正面设置读取窗口52和麦克风28，麦克风28被设置在容易清楚地收到操作员的发音的位置。具体地说，设置在读取窗口52的中央上侧或显示器221的中央下侧。如果将麦克风28设置在读取窗口52的中央上侧或显示器221的中央下侧，则麦克风28的高度位置接近操作员的脸，所以能够良好地收到操作员的发声。另外，该麦克风28的安装位置是外壳51的中央位置，能够防止操作员以外的声音(例如顾客的发音)绕进来。
读取窗口52中配置有照明271和照相机27(摄像单元)。识别区域8M是照相机27拍摄物体，检测该物体来确定商品的区域。
图5是表示本实施方式的特征量文件361的一例的图。
如图5所示，特征量文件361按照每个商品的特征量存储图像链接地址、声音数据、商品ID、单价以及商品名。另外，图像链接地址可以是图像数据。声音数据与声音识别DB362的采样数据对应。特征量文件361例如按照“青森苹果的特征量”、“长野苹果的特征量”、……、“温州橘子的特征量”、“爱媛橘子的特征量”、……，将图像链接地址“N0001F.jpg”、声音数据“青森”……、商品ID“N0001”……、单价“100”、商品名“苹果/青森产”……存储为商品的特征量。如后述那样，商品确定部95从对象识别的“商品特征量”提取商品候补，根据声音识别的“声音识别结果”来确定该商品。
图6A和图6B是表示本实施方式的商品注册处理的流程图。
图6A是执行用作商品识别的辅助信息的声音的识别处理以及声音识别结果的存储的流程图，图6B是由对象识别处理执行商品的临时注册的流程图。图6A的流程图和图6B的流程图并行进行动作。各流程图之间通过通信而被链接，谋求对象识别处理和声音识别结果的协作。
本实施方式的商品注册处理，例如是操作员(店员)取出第一购物筐4L(参照图1)的商品，盖住读取窗口52的照相机27后进入第二购物筐4R的一系列的处理。
另外，本发明也可以适用于顾客是操作员的自助收银。
<基于声音辅助信息的商品确定>
如果操作员发声，则声音识别部94开始步骤S11的处理。
在步骤S11中，声音识别部94从麦克风28接受操作员的声音输入。声音识别部94在从操作员发出的声音水平为预定值以上的情况下，设为有声音输入。具体地说，首先将发出“青森”的声音的情况作为例子。
在步骤S12中，声音识别部94将操作员发出的声音信号进行波形分析并提取特征模式来进行声音识别。这里，声音识别部94为识别操作员的发声“青森”的识别部。
参照图9A～图9D说明声音识别的具体例子。
图9B是表示声音信号的声音水平的输入(高/低)的时序图。为了方便说明，通过简略化的包络线来描绘图9B的声音信号。另外，当声音水平在预定值以下(例如0水平)时，设为没有声音信号的输入，当在预定值水平以上设为有声音信号的输入。实际上考虑噪音成分而设定适当的预定值。
如图9B所示，从时刻T0开始第一个声音信号S1的声音水平高，在时刻T2结束第一个声音信号S1的输入。之后，如图9C所示，声音识别部94在第一个声音信号S1的声音水平变低(0水平)的时刻T2，取入从时刻T0开始产生的声音信号S1并进行波形分析。
然后，提取特征模式进行声音识别(图6A的步骤S12)。该声音识别处理需要预定时间，在图9D所示的时刻T12结束。
返回图6A的流程，在步骤S13中，声音识别部94判别声音识别是否成功，当声音识别不成功时结束本流程。
如果声音识别成功(是)，则在步骤S14中，声音识别部94将声音识别结果存储在声音识别缓冲器941(参照图7)中。在图7例的情况下，声音识别缓冲器941中存储由操作员发声的声音识别结果“青森”。另外，如图6A以及图6B的符号S31所示，在步骤S24的处理中参照保存在声音识别缓冲器941中的声音识别结果“青森”。
在步骤S15中，如图6A以及图6B的符号S32所示那样，商品确定部95取得基于对象识别至临时注册的流程(参照图6B)进行的商品临时注册的结果，判别是否在预定期间之前进行了临时注册。
如果没有在预定期间之前进行临时注册(否)，则结束本声音识别至临时注册信息的更新流程。
这里，没有临时注册基于对象识别的商品，所以将声音识别结果“青森”存储在声音识别缓冲器941中并结束本流程。
另外，当在预定期间之前进行了临时注册时(是)，进入步骤S16以后。后面记述步骤S16～18。
接着，说明与图6A的流程图并行进行动作的图6B的对象识别或临时注册的流程图。
操作员在发声“青森”的同时，将商品“苹果”遮住照相机27。
如果操作员将商品遮住照相机27，则图像取得部90开始步骤S21的处理。
在步骤S21中，图像取得部90将摄像接通信号输出给照相机27并开始照相机27进行的商品图像的捕捉(拍摄)。图像取得部90取入由照相机27进行拍摄并保存在RAM213中的帧图像(摄像图像)。
图9A是表示对象识别的开始和结束定时的定时流程图。在从开始对象识别处理(时间：T1)到结束(时间：T4)之间的期间，通过将各个帧图像进行捕捉来识别对象。在本实施方式中，将包括由物体检测部91开始对象识别处理后到类似度判断部93判断类似度之间的期间的一定期间设为从对象识别处理的开始(时刻：T1)到结束(时刻：T4)的期间。
图8A是显示在显示器221上的确认画面的例子。图8A的箭头表示在商品注册操作时，操作员取出第一购物筐4L的商品，遮住读取窗口52的照相机27的操作。例如，照相机27拍摄商品“苹果”并作为帧图像(摄像图像)保存在RAM213中。
返回图6B的流程图，在步骤S22中，物体检测部91针对图像取得部90所取入的帧图像进行对象识别处理，尝试商品即物体的全部或一部分的识别(检测)。
在步骤S23中，物体检测部91判断商品即物体的全部或一部分的识别是否成功了。物体检测部91如果判断商品即物体的识别成功了(是)，则进入步骤S24的处理，如果商品即物体的识别没有成功(否)，则结束本流程图。具体地说步骤S21～S23是操作员将商品遮住读取窗52的照相机27，商品识别装置2成功检测该商品即物体的一系列处理。
在上述步骤S23中，如果对象识别成功(是)，则在步骤S24中，商品确定部95根据声音识别缓冲器941的声音识别结果来判别在预定期间之前是否有声音输入。
这种情况下，在声音识别缓冲器941中存储声音识别结果“青森”，参照该结果，在步骤S24判断在预定期间之前有声音输入(是)。
如果在预定期间之前有声音输入，则在步骤S25中，商品确定部95将声音识别结果作为识别辅助信息。具体地说，商品确定部95将声音识别结果“青森”设为辅助信息。
返回图6B的流程图，在步骤S26中，商品确定部95根据该识别辅助信息，从主商品(主销售额)检索并调用商品名/单价/个数。
具体地说，商品确定部95从主商品(主销售额)检索并调用该商品的商品名“青森苹果”和商品单价“100日元”。这样，如图8B所示，在显示器221中显示所确定的商品“青森苹果”和商品单价“100日元”。
在步骤S27中，信息输出部97使所确定的交易商品的商品ID等输出到POS终端3并进行临时注册。这样，POS终端3的销售额注册部991根据该商品ID临时注册商品。这时确定通知部96使包括确定商品的摄影图像的确定画面显示在显示器221上，并且通过声音通知确定商品的商品名。如果步骤S27的处理结束，则图6A以及图6B的处理结束。
另外，在步骤S27中，商品确定部95如图6A以及图6B的符号S32所示，记录商品的临时注册结果，在步骤S15的处理中参照。
<基于声音辅助信息决定商品个数>
在包括识别出商品“青森苹果”的定时的预定期间后，再次发声而声音输入“两个”的情况下成为以下的处理。
如果操作员再次发声，则声音识别部94开始步骤S11的处理。
在步骤S11中，声音识别部94从麦克风28接受操作员的声音输入。声音识别部94在从操作员发出的声音水平为预定值以上时设为有声音输入。
这里，如图9(b)所示，第二个声音信号S2的输入从时刻T3开始，在时刻T5结束。第二个声音信号S2是“两个”。
在步骤S12中，声音识别部94将操作员发声的声音信号进行波形分析，提取特征模式并进行声音识别。声音识别部94如图9D所示，从时刻T5到时刻T13中，将操作员发声的“两个”进行声音识别。另外，在预定期间(例如3秒)从“青森苹果”的临时注册发声“两个”。
在步骤S13中，声音识别部94判别声音识别是否成功。
如果声音识别成功(是)，则在步骤S14中，声音识别部94将声音识别结果存储在声音识别缓冲器941(参照图7)中。此时，在声音识别缓冲器941中存储由操作员发声的声音识别结果“两个”。
在步骤S15中，如图6A以及图6B的符号S32所示，商品确定部95取得基于对象识别至临时注册的流程(参照图6B)的商品的临时注册结果后，判别是否在预定期间前进行了临时注册。此时，通过步骤S27的处理临时注册商品“青森苹果”。因此商品确定部95判断在预定期间前有临时注册(是)，进入步骤S16。
商品确定部95取得存储在声音识别缓冲器941中的声音识别结果“两个”，因此在步骤S24判断在预定期间前有声音输入(是)。
在步骤S16中，商品确定部95将声音识别结果设为识别辅助信息。这里，将声音识别结果“两个”设为辅助信息。
在步骤S17中，商品确定部95根据该识别辅助信息，从主商品(省略图示)检索并调用商品名/单价/个数。具体地说，针对确定的商品“青森苹果”作为辅助信息而使用声音识别结果“两个”来决定商品个数。
在步骤S18中，商品确定部95更新商品的临时注册信息并结束流程。
再次参照图8和图9，说明将再次的声音输入的声音识别结果用作识别辅助信息来确定商品的例子。
通过再次的声音输入及其声音识别处理，对确定商品“青森苹果”决定个数。例如，操作员发出声音“两个”，声音识别部94声音识别为“2个”，由此决定为所确定的商品“青森苹果”为2个。如图9D所示，商品名检索结果到时刻T13为止没有指定个数，但是从时刻T13成为个数“2个”，决定商品名“青森苹果”为“2个”。这样，商品识别装置2能够确定该商品“青森苹果”的商品名和个数。
另外，图9A～图9D的例子是在确定商品的对象识别不成功的情况下，决定个数的情况。这里，在对象识别不成功的情况下，包括不进行声音识别而唯一确定商品的情况。例如，当商品“苹果”只有一种时，能够省略操作员确定商品名的“青森”的发声。这样，操作员能够仅进行基于声音的个数输入。
虽然省略图示，不过在图9B中去除第一个声音信号S1，将在第二个声音信号S2(时刻：T13)的“青森”的发声改变为“两个”的发声。这里，通过将到第2个声音信号S2(时刻：T13)的“青森”的发声改变为“取消”的发声，能够通过与上述相同的处理进行商品注册的取消。
另外，在图5的特征量文件361的“声音”中设定多个声音，即使在识别了任意声音的情况下也能够确定商品。例如在商品“苹果”的情况下，除了产地名“青森”，如果也设定“津轻”，则如果发声“津轻”，则与发声“青森”的情况同样地确定商品“青森苹果”。另外，图5的特征量文件361的“声音”除了产地以外也可以是爱称/通称。例如，在商品“橘子”的情况下，除了产地名“和歌山”，如果也设定通称名“温州”，则如果发声“温州”，则与发声“和歌山”的情况同样地确定商品“温州橘子”。
通过该商品注册处理，操作员不进行键盘操作而能够进行商品的销售额注册和追加注册/取消的操作。特别是能够简单地进行只基于图像的对象识别而难以实现的商品产地的确定和个数的指定、商品的取消等，从而能够大幅地提高工作效率。
换句话说，在本实施方式中，摄影单元将物体拍摄为图像。另外，能够通过声音输入单元输入声音。并且，控制单元将声音用作用于对上述物体进行商品识别的辅助信息来进行商品识别，上述声音是在包括检测出通过上述摄影单元将上述物体拍摄为图像的定时的上述定时的前后预定期间，通过上述声音输入单元输入的声音。
这时，上述控制单元将通过上述声音输入单元输入的声音用作根据上述图像进行商品识别时的辅助信息。
另外，上述控制单元在对上述物体进行商品识别时将上述辅助信息用作上述物体的个数信息。
另外，上述控制单元在对上述物体进行商品识别时将上述辅助信息用作上述物体的产地信息。
另外，上述控制单元在对上述物体进行商品识别时将上述辅助信息用作上述物体的作为商品的注册取消信息。
(变形例)
本发明不限定于上述实施方式，在不脱离本发明的主旨的范围内，能够变更实施，例如是以下的(a)、(b)那样。
(a)识别的声音可以是任意的。例如，除了产地或爱称(通称)、个数之外，可以是取消，也可以是这些的组合。另外，该声音识别的数量和顺序也是任意的。
(b)识别了由照相机27拍摄的商品的期间不与通过麦克风28输入并识别的声音的期间重叠即可，可以是任意的重叠情况。例如，如图9A所示，在对象识别的开始(时刻：T1)或结束(时刻：T4)中的任意一部重叠即可。另外，所识别的声音期间可以与对象识别的开始(时刻：T1)到结束(时刻：T4)之间的期间完全重叠。

Claims (20)

1.一种商品注册装置，其特征在于，具备：
摄影单元，其将物体拍摄为图像；
声音输入单元，其输入声音；以及
控制单元，其将声音用作用于对上述物体进行商品识别的辅助信息来进行商品识别，上述声音是在包括检测出通过上述摄影单元将上述物体拍摄为图像的定时的上述定时的前后预定期间，通过上述声音输入单元输入的声音。
2.根据权利要求1所述的商品注册装置，其特征在于，
上述控制单元将通过上述声音单元输入的声音用作根据上述图像进行商品识别时的辅助信息。
3.根据权利要求1所述的商品注册装置，其特征在于，
上述控制单元在对上述物体进行商品识别时，将上述辅助信息用作上述物体的个数信息。
4.根据权利要求1所述的商品注册装置，其特征在于，
上述控制单元在对上述物体进行商品识别时，将上述辅助信息用作上述物体的产地信息。
5.根据权利要求1所述的商品注册装置，其特征在于，
上述控制单元在对上述物体进行商品识别时，将上述辅助信息用作上述物体的作为商品的注册取消信息。
6.根据权利要求1所述的商品注册装置，其特征在于，
具备显示预定信息的显示单元，
上述控制单元在每次识别上述辅助信息时，将识别出的上述辅助信息显示在上述显示单元中。
7.根据权利要求6所述的商品注册装置，其特征在于，
上述控制单元以将上述辅助信息显示在上述图像的上段侧的方式将上述辅助信息和上述图像显示在上述显示单元中。
8.根据权利要求1所述的商品注册装置，其特征在于，
上述声音输入单元被设置在上述摄影单元的上段。
9.根据权利要求1所述的商品注册装置，其特征在于，
具备显示预定信息的显示器，
上述声音输入单元被设置在上述摄影单元和上述显示器之间。
10.一种商品注册装置，其特征在于，具备：
照相机，其将物体拍摄为图像；
麦克风，其输入声音；以及
处理器，其将声音用作用于对上述物体进行商品识别的辅助信息来进行商品识别，上述声音是在包括检测出通过上述照相机将上述物体拍摄为图像的定时的上述定时的前后预定期间，通过上述麦克风进行输入的声音。
11.根据权利要求10所述的商品注册装置，其特征在于，
上述处理器将通过上述麦克风输入的声音用作根据上述图像进行商品识别时的辅助信息。
12.根据权利要求10所述的商品注册装置，其特征在于，
上述处理器在对上述物体进行商品识别时，将上述辅助信息用作上述物体的个数信息。
13.根据权利要求10所述的商品注册装置，其特征在于，
上述处理器在对上述物体进行商品识别时，将上述辅助信息用作上述物体的产地信息。
14.根据权利要求10所述的商品注册装置，其特征在于，
上述处理器在对上述物体进行商品识别时，将上述辅助信息用作上述物体的作为商品的注册取消信息。
15.根据权利要求10所述的商品注册装置，其特征在于，
具备显示预定信息的显示器，
上述处理器在每次识别上述辅助信息时，将识别出的上述辅助信息显示在上述显示器中。
16.根据权利要求15所述的商品注册装置，其特征在于，
上述处理器以将上述辅助信息显示在上述图像的上段侧的方式将上述辅助信息和上述图像显示在上述显示器中。
17.一种商品注册方法，其特征在于，包括以下步骤：
摄影步骤，其将物体拍摄为图像；
声音输入步骤，其输入声音；以及
控制步骤，其将声音用作用于对上述物体进行商品识别的辅助信息来进行商品识别，上述声音是在包括检测出通过上述摄影步骤将上述物体拍摄为图像的定时的上述定时的前后预定期间，通过上述声音输入步骤输入的声音。
18.根据权利要求17所述的商品注册方法，其特征在于，
上述控制步骤将通过上述声音输入步骤输入的声音用作根据上述图像进行商品识别时的辅助信息。
19.根据权利要求17所述的商品注册方法，其特征在于，
上述控制步骤在对上述物体进行商品识别时，将上述辅助信息用作上述物体的个数信息。
20.根据权利要求17所述的商品注册方法，其特征在于，
上述控制步骤在对上述物体进行商品识别时，将上述辅助信息用作上述物体的产地信息。
CN201510954879.8A 2014-12-17 2015-12-17 商品注册装置以及商品注册方法 Pending CN105719412A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014255521A JP6428240B2 (ja) 2014-12-17 2014-12-17 商品登録装置、商品認識方法、およびプログラム
JP2014-255521 2014-12-17

Publications (1)

Publication Number Publication Date
CN105719412A true CN105719412A (zh) 2016-06-29

Family

ID=56129802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510954879.8A Pending CN105719412A (zh) 2014-12-17 2015-12-17 商品注册装置以及商品注册方法

Country Status (3)

Country Link
US (1) US20160180174A1 (zh)
JP (1) JP6428240B2 (zh)
CN (1) CN105719412A (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170193290A1 (en) * 2016-01-06 2017-07-06 Toshiba Tec Kabushiki Kaisha Commodity registration apparatus and commodity registration method
JP6851193B2 (ja) * 2016-12-20 2021-03-31 東芝テック株式会社 情報処理装置及びプログラム
CN110019899B (zh) * 2017-08-25 2023-10-03 腾讯科技（深圳）有限公司 一种目标对象识别方法、装置、终端及存储介质
JP6647485B1 (ja) * 2018-08-27 2020-02-14 隆均 半田 商品代金精算システム
WO2022201679A1 (ja) * 2021-03-25 2022-09-29 日本電気株式会社 検知システム、検知方法、及び、記憶媒体

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5426282A (en) * 1993-08-05 1995-06-20 Humble; David R. System for self-checkout of bulk produce items
CN1265497A (zh) * 1999-03-01 2000-09-06 株式会社石田 商品处理系统
CN1985281A (zh) * 2005-05-23 2007-06-20 东芝泰格有限公司 商品销售注册处理系统和商品信息注册装置
CN101470929A (zh) * 2007-12-28 2009-07-01 东芝泰格有限公司 商品销售数据处理装置及商品销售数据处理方法
US20130182899A1 (en) * 2012-01-16 2013-07-18 Toshiba Tec Kabushiki Kaisha Information processing apparatus, store system and method
US20140023241A1 (en) * 2012-07-23 2014-01-23 Toshiba Tec Kabushiki Kaisha Dictionary registration apparatus and method for adding feature amount data to recognition dictionary

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5083638A (en) * 1990-09-18 1992-01-28 Howard Schneider Automated point-of-sale machine
JPH07244782A (ja) * 1994-03-04 1995-09-19 Ishida Co Ltd キャッシュコーナ
US5546475A (en) * 1994-04-29 1996-08-13 International Business Machines Corporation Produce recognition system
US5839104A (en) * 1996-02-20 1998-11-17 Ncr Corporation Point-of-sale system having speech entry and item recognition support system
JP2001319275A (ja) * 2000-05-12 2001-11-16 Shinei:Kk セルフオーダーエントリシステム
US7845554B2 (en) * 2000-10-30 2010-12-07 Fujitsu Frontech North America, Inc. Self-checkout method and apparatus
EP1720139A1 (en) * 2002-05-17 2006-11-08 Fujitsu Transaction Solutions, Inc. Self-checkout method and apparatus
US8876001B2 (en) * 2007-08-07 2014-11-04 Ncr Corporation Methods and apparatus for image recognition in checkout verification
US20090113475A1 (en) * 2007-08-21 2009-04-30 Yi Li Systems and methods for integrating search capability in interactive video
US8260455B2 (en) * 2008-12-05 2012-09-04 Siemens Industry, Inc. Address label re-work station
JP5372191B2 (ja) * 2012-01-30 2013-12-18 東芝テック株式会社 商品読取装置及び商品読取プログラム
JP2013191180A (ja) * 2012-03-15 2013-09-26 Ishida Co Ltd Ｐｏｓ端末装置
JP5747014B2 (ja) * 2012-11-05 2015-07-08 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5936993B2 (ja) * 2012-11-08 2016-06-22 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5744824B2 (ja) * 2012-12-03 2015-07-08 東芝テック株式会社 商品認識装置及び商品認識プログラム
JP5760022B2 (ja) * 2013-02-28 2015-08-05 東芝テック株式会社 商品情報表示装置及びコンピュータプログラム
JP5848734B2 (ja) * 2013-08-30 2016-01-27 東芝テック株式会社 商品登録装置
JP5865316B2 (ja) * 2013-08-30 2016-02-17 東芝テック株式会社 商品登録装置およびプログラム
US20150100445A1 (en) * 2013-10-08 2015-04-09 Toshiba Global Commerce Solutions Holdings Corporation Systems and methods for interaction with objects to implement a retail function
JP6180285B2 (ja) * 2013-11-06 2017-08-16 キヤノン株式会社 撮像装置、撮像方法、及びプログラム
US9613448B1 (en) * 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
WO2015168306A1 (en) * 2014-04-30 2015-11-05 Eye Stalks Corporation Dba Bay Sensors Methods, systems, and apparatuses for visitor monitoring
US20150339647A1 (en) * 2014-05-23 2015-11-26 Toshiba Tec Kabushiki Kaisha Commodity information input apparatus and commodity information input method
JP6369258B2 (ja) * 2014-09-22 2018-08-08 カシオ計算機株式会社 商品登録装置、商品登録方法およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5426282A (en) * 1993-08-05 1995-06-20 Humble; David R. System for self-checkout of bulk produce items
CN1265497A (zh) * 1999-03-01 2000-09-06 株式会社石田 商品处理系统
CN1985281A (zh) * 2005-05-23 2007-06-20 东芝泰格有限公司 商品销售注册处理系统和商品信息注册装置
CN101470929A (zh) * 2007-12-28 2009-07-01 东芝泰格有限公司 商品销售数据处理装置及商品销售数据处理方法
US20130182899A1 (en) * 2012-01-16 2013-07-18 Toshiba Tec Kabushiki Kaisha Information processing apparatus, store system and method
US20140023241A1 (en) * 2012-07-23 2014-01-23 Toshiba Tec Kabushiki Kaisha Dictionary registration apparatus and method for adding feature amount data to recognition dictionary

Also Published As

Publication number Publication date
JP2016115279A (ja) 2016-06-23
JP6428240B2 (ja) 2018-11-28
US20160180174A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
US10169752B2 (en) Merchandise item registration apparatus, and merchandise item registration method
JP6274097B2 (ja) 商品識別装置および商品認識ナビゲーション方法
JP6141208B2 (ja) 情報処理装置及びプログラム
CN105719412A (zh) 商品注册装置以及商品注册方法
CN103679977B (zh) 信息处理装置及其控制方法
JP6258761B2 (ja) 情報処理装置及びプログラム
US10482447B2 (en) Recognition system, information processing apparatus, and information processing method
JP2014052800A (ja) 情報処理装置及びプログラム
JP2015053030A (ja) 情報処理装置、店舗システム及びプログラム
EP3002739A2 (en) Information processing apparatus and information processing method by the same
JP2018055716A (ja) 情報処理装置及びプログラム
US20190385141A1 (en) Check-out system with merchandise reading apparatus and pos terminal
JP5658720B2 (ja) 情報処理装置及びプログラム
JP6547856B2 (ja) 情報表示装置、誘導表示方法およびプログラム
JP6336351B2 (ja) 情報処理装置及びプログラム
JP6517398B2 (ja) 情報処理装置及びプログラム
JP6138060B2 (ja) 情報処理装置及びプログラム
JP2016062548A (ja) 商品登録装置、商品登録方法、および商品登録プログラム
JP6295944B2 (ja) 商品識別装置および商品認識ナビゲーション方法
US20170083891A1 (en) Information processing apparatus and information processing method
US20190370774A1 (en) Information processing apparatus and method of controlling an information processing apparatus
JP5903414B2 (ja) 情報処理装置、店舗システム及びプログラム
JP6610724B2 (ja) 商品登録装置、およびプログラム
EP2960831A1 (en) Information processing apparatus and information processing method
JP6306776B2 (ja) 情報処理装置及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160629

RJ01 Rejection of invention patent application after publication