CN106164989A - 信息处理设备、信息处理方法、记录介质及pos终端设备 - Google Patents

Abstract

本发明提供一种技术，由此能够快速辨别物体。这种POS终端设备具备：图像拾取单元，其拾取物体的图像，并且生成图像；显示单元，其显示引导显示，以便在预定的方向上引导所述图像中的所述物体；确定单元，其确定所述图像中是否存在所述物体的至少一部分；以及控制单元，其控制所述显示单元以在所述图像中存在所述物体的至少一部分的情况下显示所述引导显示。

Description

信息处理设备、信息处理方法、记录介质及POS终端设备

技术领域

本发明涉及一种使用识别物体的技术的设备。本发明涉及一种使用识别物体的技术的POS(Point Of Sales)终端设备。

背景技术

专利文献1公开了一种条形码扫描器技术。条形码扫描器的图像确定单元确定为条形码候选者的图像是否存在于用于捕获条形码的成像帧内。接下来，如果条形码处理单元检测出条形码候选图像的部分缺失，捕获的图像显示单元在显示设备上显示用于引导条形码候选图像的引导图像，以便能够捕获条形码候选图像作为条形码。

【引用列表】

【专利文献】

PTL 1：日本专利申请公开号2010-231436

发明内容

【技术问题】

问题在于，如果未能检测出条形码候选图像的部分缺失，则无法显示用于引导的引导图像并且无法快速识别物体。

本发明的目的在于，提供一种能够快速识别物体的技术以便解决上述问题。

【问题的解决方案】

一种根据本发明的一个方面的POS终端设备包括：成像装置，用于成像物体并且生成其图像；显示装置，用于显示引导标记，以便将所述图像中的所述物体向预定方向引导；确定装置，用于确定所述图像中是否存在所述物体的至少一部分；以及控制装置，用于执行控制以便在所述图像中存在所述物体的至少一部分的情况下在所述显示装置上显示所述引导标记。

一种根据本发明的一个方面的信息处理设备包括：确定装置，用于确定所捕获的图像中是否存在物体的至少一部分；以及控制装置，用于执行控制以便在所述图像中存在所述物体的至少一部分的情况下在显示设备上显示引导标记，以便将所述图像中的所述物体向预定方向引导。

一种根据本发明的一个方面的图像处理方法包括：确定所捕获的图像中是否存在物体的至少一部分；以及在所述图像中存在所述物体的至少一部分的情况下在显示设备上显示引导标记，以便将所述图像中的所述物体向预定方向引导。

一种根据本发明的一个方面的计算机可读记录介质，所述记录介质存储程序，该程序使得计算机执行：确定所捕获的图像中是否存在物体的至少一部分；以及在所述图像中存在所述物体的至少一部分的情况下在显示设备上显示引导标记，以便将所述图像中的所述物体向预定方向引导。

【发明的有益效果】

根据本发明，能够快速识别物体。

附图说明

图1是图示本发明的第一示例性实施例的POS终端设备的概要的示意图；

图2是图示第一示例性实施例的POS终端设备的外观的侧视图；

图3是图示第一示例性实施例的POS终端设备的结构的框图；

图4是图示第一示例性实施例的POS终端设备以及信息处理设备的操作的流程图；

图5A是图示第一示例性实施例中的物体与成像区域之间的位置关系的示意图；

图5B是图示显示单元中所显示的引导标记的示意图；

图5C是图示显示单元上所显示的引导标记的示意图；

图6A是图示第一示例性实施例中的物体与成像区域之间的位置关系的示意图；

图6B是图示显示单元上所显示的引导标记的示意图；

图7是图示第二示例性实施例的POS终端设备的结构的框图；

图8是图示第二示例性实施例的POS终端设备以及信息处理设备的操作的流程图；

图9是图示计算机的硬件结构的示意图。

具体实施方式

(第一示例性实施例)

对本发明的第一示例性实施例的概要进行解释。图1是图示本发明的第一示例性实施例的POS终端设备1的概要的示意图。如图1所示，POS终端设备1包括成像单元10、显示单元20以及信息处理设备50。信息处理设备50包括确定单元30以及控制单元40。

成像单元10成像物体以生成其图像。显示单元20显示由成像单元10所捕获的图像。信息处理设备50的确定单元30确定由成像单元10所捕获的图像中是否存在物体的至少一部分。在由成像单元10所捕获的图像中存在物体的至少一部分的情况下，信息处理设备50的控制单元40在显示单元20上显示引导标记，以便将图像中的物体向预定方向引导。例如，控制单元40的引导标记可以是执行引导以使物体的完整图像都显示在显示单元20的显示屏幕上的引导标记，或者可以是在使物体的图像聚焦的方向上引导物体的引导标记。控制单元40可以执行控制以便在显示单元20上显示成像单元10捕获的物体的图像，同时在显示单元20上显示引导标记。

当图像中存在物体的至少一部分时，本发明的示例性实施例的POS终端设备1在显示单元20上显示引导标记，以便沿预定的方向引导图像中的物体。因此，能够快速识别物体。

上文描述了POS终端设备1包括成像单元10、显示单元20以及信息处理设备50的结构的一个示例。但并不限于上述结构。例如，可应用一种结构，其中POS终端设备1包括成像单元10以及显示单元20、置于POS终端设备1之外的信息处理设备50包括确定单元30以及控制单元40，并且POS终端设备1通过有线或无线方式而被连接至信息处理设备50。使用附图来详细阐述第一示例性实施例的具体示例。图2是图示作为第一示例性实施例的具体示例的POS终端设备100的外观的侧视图。图3是图示第一示例性实施例的POS终端设备100的结构的框图。POS终端设备100包括员工显示单元110、顾客显示单元112、信息处理设备120以及商品读取设备140。图2中所示的员工显示单元110为员工显示信息，并且顾客显示单元112为顾客显示信息。

员工显示单元110以及顾客显示单元112可以采用触控面板显示器或者LCD(液晶显示器)。员工显示单元110以及顾客显示单元112可以包括输入设备，诸如键盘等。员工显示单元110在信息处理设备120的控制下显示员工所需的信息，并且接收员工的操作。

顾客显示单元112在信息处理设备120的控制下显示顾客所需的信息，并且视需要可以接收顾客的操作。

信息处理设备120控制员工显示单元110、顾客显示单元112以及商品读取设备140的动作。信息处理设备120响应于由员工显示单元110所接收的操作而执行必要处理。信息处理设备120响应于由商品读取设备140所读取的图像信息而执行必要处理，诸如图像处理。

商品读取设备140包括壳体142以及成像单元130。具有光线透明度的商品读取表面144被布置在壳体142的一部分处。商品读取表面144被布置在壳体142的员工侧的表面上以便员工的工作，并且当物体被成像时，将物体转向表面144。成像单元130位于壳体142的内部。当员工将从顾客接收的物体朝向商品读取表面144设置时，成像单元130读取物体的图像。由此，POS终端设备100执行对于物体的识别处理。

成像单元130捕获物体的范围(在下文中被称作“成像区域”)取决于成像单元130的例如视角、透镜的焦距等的光学特性以及诸如此类。成像区域A由基于视角通过透镜透射到成像单元130上的视角范围以及获取通过聚焦的清晰图像的聚焦范围组成。在图2中将POS终端设备100的成像区域图示为通过点划线圈出的成像区域A。在图2中，通过从成像单元130延伸穿过商品读取表面144的虚线示出视角范围的垂直方向。在图2中并未示出视角范围的水平方向。垂直方向和水平方向的起点是成像单元130的位置。聚焦范围是从成像单元130到商品读取表面144的深度方向的范围。在图2中未示出的视角范围的水平方向是相对于垂直方向和深度方向的垂直方向。

下面对成像单元130进行详细阐述。成像单元130可以采取至少如下所述的三种形式。在第一实例中，成像单元130包括用于捕获二维图像的二维成像单元、用于测量到商品的距离的距离传感器以及距离图像生成单元。二维成像单元捕获面向商品读取表面144的物体的图像并且生成各自包括物体的图像的二维彩色图像或二维单色图像。

距离传感器基于TOF(飞行时间(Time Of Flight))系统来测量从距离传感器到面向商品读取表面144的物体的位置的距离。距离传感器发射光束，如红外射束，并且基于其用于发射的光束往返于物体所花费的时间来测量距离。距离图像生成单元在物体上的每个位置处测量距离，并且叠加二维图像以生成距离图像(三维图像)。在第一实例中，成像单元140能够捕获物体的图像，其中物体到商品的距离在预定的范围内(例如，15cm至30cm)。

在第二实例中，成像单元130包括一个用于捕获二维图像的二维成像单元。在第二实例中，物体的图像能够通过取得成像单元130预先捕获的背景图像与包括物体的图像之间的差异来获取。

在第三实例中，成像单元130包括多个用于捕获二维图像的二维成像单元以及距离图像生成单元。距离图像生成单元能够基于多个二维成像单元之间的视角的差异来生成距离图像(三维图像)。

确定单元122确定图像中是否存在物体的至少一部分。例如，当在控制单元124的控制下执行程序时，可以实现处理。具体地，执行和实现存储器单元(未示出)中所存储的程序。

图4是图示POS终端设备100以及信息处理设备120的动作的流程图。在图4中，步骤S100至S300是图示POS终端设备100的动作的流程图，并且步骤S200至S300是图示信息处理设备120的动作的流程图。

POS终端设备100的成像单元130捕获物体的图像以生成图像(S100)。信息处理设备120中的确定单元122确定图像中是否存在物体的至少一部分(S200)。具体地，如果图像是包括距离信息的距离图像，则确定在为成像区域A的预定的垂直方向、水平方向以及深度方向的范围内是否存在物体的至少一部分。如果图像是并不包括距离信息的正常二维图像，则确定在为成像区域A的预定的垂直方向和水平方向的范围内是否存在物体的至少一部分。

下一步，如果图像中并未存在物体的至少一部分(S200中为否)，则步骤S100开始并且成像单元130再次捕获物体的图像。

下一步，如果图像中存在物体的至少一部分(步骤S200为是)，则控制单元124在员工显示单元110上显示引导标记，以便沿预定的方向引导图像中的物体(S300)。作为示例，控制单元124执行控制引导标记，该引导标记进行引导以便在成像区域A中存在整个物体。当进行引导以便在其中存在整个物体的引导标记被显示时，员工根据引导标记来移动物体。作为结果，因为整个物体的图像被成像单元130捕获，能够快速执行与商品图像数据库的图像匹配。

图5A是图示物体131与图2中的POS终端设备的成像单元130的成像区域A之间的位置关系的示例的示意图。图5A中的成像区域A是沿着从成像单元130到物体的方向设定的区域。在图5A中图示出物体131的一部分位于成像单元130的成像区域A中的状态。在图5A中，物体被绘制为圆形，并且物体具体为诸如西红柿、苹果等的新鲜食品或者经包装的糖果。物体可以具有不限于圆形的形状。在图5A中，从成像单元130一侧来看，物体131的一部分存在于成像区域A的右上方。

图5B是图示在图3或图4中的员工显示单元110上所显示的引导标记111的示例的示意图。当在由成像单元130(图4)捕获的图像中存在物体131的至少一部分时，控制单元124(图4)通过执行图像处理来辨别物体131的一部分的图像的哪一部分存在。

由成像单元130捕获的图像是由划分为垂直方向和水平方向的像素组成。控制单元124辨别物体位于哪一像素上。进一步，控制单元124确定引导方向以使整个物体131存在于成像区域A内。控制单元124计算从捕获物体的图像处的像素的位置到大致位于完整图像的中心的像素的位置的方向，以确定引导方向。在该实例中，由成像单元130捕获的物体的图像的位置与员工从工作位置看到的物体的位置对称地定位。考虑到这一点，控制单元124在员工显示单元110上显示对应于引导方向的引导标记111。

如图5C所示，控制单元124可以在显示单元110上显示物体114的所捕获的图像连同引导标记111。当物体114的所捕获的图像被显示在员工显示单元110上时，由成像单元130捕获的物体的图像的位置与员工从工作位置看到的物体的位置也对称地定位。控制单元124由此在员工显示单元110上显示关于图像的中心水平反相的图像。因为员工能够在员工显示单元110上确认存在物体的位置以及引导标记，员工能够移动物体以便能够捕获物体的完整图像。因此，因为物体的完整图像能够被成像单元130捕获，能够快速执行与商品图像数据库的图像匹配。

除图5A至图5C中所示的箭头的引导标记之外，控制单元124可以随着物体131的运动而改变员工显示单元110上所显示的色彩。例如，当整个物体都存在于成像区域A中时，可以显示绿色，当物体的一半或一半以上存在于其中时，可以显示黄色，并且当物体的一半以下存在于其中时，可以显示红色。

图6A是图示第一示例性实施例中的物体与成像区域之间的位置关系的示意图。置于为POS终端设备的一部分的商品读取设备140中的成像单元130通过商品读取表面144来捕获物体131的图像。如图6A所示，物体131的一部分存在于成像区域A中并且被定位成靠近成像单元130而非成像区域A。

在该实例中，控制单元124(图4)基于在上述第一实例和第二实例中通过成像单元130获取的到物体的距离，确定物体131的位置与成像区域A比较更靠近成像单元130。控制单元124基于所获取的关于距离的信息，辨别物体131的一部分在图像的深度方向上位于何处。控制单元124在员工显示单元110上显示引导标记，以便沿预定方向引导图像中的物体。作为期望的示例，在员工显示单元110上显示引导标记以使整个物体位于成像区域A内。

图6B是图示在员工显示单元110中所显示的引导标记的示意图。如图6A所示，在需要朝向相对于成像单元130的深度方向移动物体的情况下，控制单元124显示文字“保持商品远离商品读取表面”作为引导标记113。作为另一个引导标记，当物体十分靠近商品读取表面144时(图6)，控制单元124显示红色，并且当物体相当远离商品读取表面144时，控制单元124显示绿色。

虽然已参照POS终端设备100包括成像单元130、员工显示单元110、确定单元122以及控制单元124的结构来描述示例性实施例，但示例性实施例并不限于上述结构。例如，可应用一种结构，其中POS终端设备100包括成像单元130以及员工显示单元110、置于POS终端设备100之外的信息处理设备120包括确定单元122以及控制单元124，并且POS终端设备100通过有线或无线方式而被连接至信息处理设备120。

(第二示例性实施例)

接下来，对第二示例性实施例进行描述。第二示例性实施例与第一示例性实施例的区别在于，信息处理设备120包括存储器单元126以及匹配单元128。大体上类似于第一示例性实施例中那些的组成部分具有与其那些标记相同的标记，并且省略对所述组成部分的阐述。

图7是图示第二示例性实施例中的POS终端设备100的结构的框图。除图3中的组成部分之外，在第二示例性实施例中的POS终端设备100包括存储器单元126以及匹配单元128。存储器单元126存储商品图像数据库。商品图像数据库包括关于表示每个商品的商品图像的特征的形状和色彩的信息。匹配单元128使由成像单元130所捕获的图像与商品图像数据库中的商品图像的特征进行匹配并且识别对应于所捕获的图像的商品。

例如，当程序在控制单元124的控制下运行时，实现确定单元122以及匹配单元128。具体地，运行存储在存储器单元126中的程序来加以实现。在上述说明中，商品图像数据库被存储在存储器单元126中。然而，并不限于此。置于POS终端设备100之外的存储器设备(未示出)可以存储商品图像数据库。在该实例中，匹配单元128从存储器设备中获取商品图像的特征并且将由成像单元130捕获的图像与这些特征进行比较。

图8是图示POS终端设备100或者信息处理设备120的操作的流程图。在图8中，图4中的步骤S100至步骤S300表示图示POS终端设备100的操作的流程图，并且其一部分步骤S200至步骤S230表示图示信息处理设备120的操作的流程图。

POS终端设备100中的成像单元130捕获物体的图像以生成图像(S100)。下一步，信息处理设备120的确定单元122确定图像中是否存在物体的至少一部分(S200)。具体地，如果图像是包括距离信息的距离图像，则确定在为成像区域A的预定的垂直方向、水平方向以及深度方向的范围内是否存在物体的至少一部分。如果图像是并不包括距离信息的正常二维图像，则确定在为成像区域A的预定的垂直方向和水平方向的范围内是否存在物体的至少一部分。

下一步，如果图像中并未存在物体的至少一部分(S200中为否)，则步骤S100开始并且成像单元130再次捕获物体的图像。

确定单元122可以不执行在S200中的否的处理。其原因在于，有可能通过下一步骤的图像比较来指定商品。

当物体的至少一部分存在于图像中时(S200中为是)，匹配单元128将所捕获的图像与存储在存储器单元126中的商品图像数据库进行匹配。如果匹配单元128识别出对应于所捕获的图像的商品作为匹配的结果，则控制单元124进入对所指定的商品的清算处理(S300)。如果匹配单元128未能识别出对应于所捕获的图像的商品作为匹配的结果，则控制单元124在员工显示单元110上显示引导标记(S230)。该引导标记类似于在图5B或图5C以及图6B中所示的显示。

虽然已在POS终端设备1包括成像单元130、员工显示单元110、确定单元122、匹配单元128以及控制单元124的情况下描述了示例性实施例，但示例性实施例并不限于上述情况。例如，可能有一种结构，其中POS终端设备100包括成像单元130以及员工显示单元110、置于POS终端设备100之外的信息处理设备120包括确定单元122、控制单元124以及匹配单元128，并且POS终端设备100通过有线或无线方式而被连接至信息处理设备120。

上述信息处理设备50和120的至少一部分可以通过由图9中所示的计算机900的CPU 910所执行的程序(软件程序、计算机程序)来实现。具体地，执行作为图1的确定单元30以及控制单元40、图3和图7的确定单元122以及控制单元124以及图7的匹配单元128的组成部分的程序来加以实现。根据图4和图8中的流程处理，这些组成部分可以通过由CPU(中央处理单元)910从ROM(只读存储器)930或者硬盘驱动器940中读取程序并且使用CPU 910和RAM(随机存取存储器)920来执行所读取的程序加以实现。在这种情况下，能够理解的是，在上述示例性实施例中作为示例说明的本发明能够通过表示计算机程序的代码或者存储表示计算机程序的代码的计算机可读记录介质来加以配置。计算机可读记录介质例如是硬盘驱动器940、可拆卸磁盘介质、光盘介质或者存储器卡(未示出)。图1中的确定单元30以及控制单元40、图3和图7中的确定单元122以及控制单元124以及图7中的匹配单元128可以是包括集成电路的专用硬件。

如上所述，使用上述示例性实施例作为典型示例对本发明进行阐述。本申请的发明并不限于上述实施例。应理解的是，对于本申请的发明的配置和细节，在本申请的发明的范围内能够作出各种变化。

本申请请求于2014年3月27日提交的日本专利申请No.2014-065932的优先权，其全部内容通过引用并入本文中。

【附图标记列表】

1 POS终端设备

10 成像单元

20 显示单元

30 确定单元

40 控制单元

50 信息处理设备

100 POS终端设备

110 员工显示单元

111 引导标记

112 员工显示单元

113 引导标记

114 物体的图像

120 信息处理设备

122 确定单元

124 控制单元

128 匹配单元

130 成像单元

131 物体

140 商品读取设备

142 壳体

144 商品读取表面

900 计算机

910 CPU

920 RAM

930 ROM

940 硬盘驱动器

950 通信接口

Claims (10)

1.一种POS终端设备，包括：

成像装置，所述成像装置用于成像物体并且生成所述物体的图像；

显示装置，所述显示装置用于显示引导标记，所述引导标记用于将所述图像中的所述物体向预定的方向引导；

确定装置，所述确定装置用于确定所述图像中是否存在所述物体的至少一部分；以及

控制装置，所述控制装置用于执行控制，以便在所述图像中存在所述物体的至少一部分的情况下在所述显示装置上显示所述引导标记。

2.一种POS终端设备，进一步包括：

匹配装置，所述匹配装置用于将所述物体的所述图像与商品图像数据库进行匹配，

其中，在作为匹配的结果没有发现商品与所述物体相匹配的情况下，用于执行控制的所述控制装置在所述显示装置上显示所述引导标记。

3.根据权利要求1或权利要求2所述的POS终端设备，

其中，将所述图像中的所述物体向所述预定的方向引导是通过下述方式来引导所述物体，所述方式使得所述物体的整体被包括在所述成像装置的能够执行成像的成像区域中。

4.根据权利要求1至权利要求3中的任一项所述的POS终端设备，

其中，将所述图像中的所述物体向所述预定的方向引导是在所述成像装置的能够执行成像的成像区域的聚焦范围内沿着深度方向的引导。

5.根据权利要求1至权利要求3中的任一项所述的POS终端设备，

其中，将所述图像中的所述物体向所述预定的方向引导是在所述成像装置能够捕获图像的成像区域中在垂直方向、水平方向或者结合所述垂直方向与所述水平方向的方向上的引导。

6.根据权利要求1至权利要求5中的任一项所述的POS终端设备，

其中，所述引导标记的色彩取决于在所述图像中的所述物体的位置而变化。

7.一种信息处理设备，包括：

确定装置，所述确定装置用于确定捕获的图像中是否存在物体的至少一部分；以及

控制装置，所述控制装置用于执行控制，以便在所述图像中存在所述物体的至少一部分的情况下在显示设备上显示引导标记，所述引导标记用于将所述图像中的所述物体向预定的方向引导。

8.一种信息处理系统，包括：

POS终端设备，所述POS终端设备包括：

成像装置，所述成像装置用于成像物体并且生成所述物体的图像；以及

显示装置，所述显示装置用于显示引导标记，所述引导标记用于将所述图像中的所述物体向所述预定的方向引导；以及

信息处理设备，所述信息处理设备包括：

确定装置，所述确定装置用于确定所述图像中是否存在所述物体的至少一部分；以及

控制装置，所述控制装置用于执行控制，以便在所述图像中存在所述物体的至少一部分的情况下在显示设备上显示所述引导标记。

9.一种图像处理方法，包括：

确定捕获的图像中是否存在物体的至少一部分；以及

在所述图像中存在所述物体的至少一部分的情况下，在显示设备上显示引导标记，所述引导标记用于将所述图像中的所述物体向所述预定的方向引导。

10.一种存储程序的计算机可读记录介质，所述程序使得计算机执行：

确定捕获的图像中是否存在物体的至少一部分；以及

在所述图像中存在所述物体的至少一部分的情况下，在显示设备上显示引导标记，所述引导标记用于将所述图像中的所述物体向所述预定的方向引导。