CN114766033A - 信息处理系统、信息处理装置和信息处理方法 - Google Patents

Abstract

信息处理系统具备：成像部，利用成像生成图像信号；以及信息处理装置。信息处理装置对相当于图像信号的成像图像执行多种图像处理中的至少任一种。信息处理装置基于成像图像中包括的部分图像所对应的物体的状况或对执行后的图像处理的处理结果赋予的可靠度中的任一方来指定成像图像中包括的部分图像所对应的物体。

Description

信息处理系统、信息处理装置和信息处理方法

相关应用的交叉引用

本申请要求2019年12月6日在日本申请的日本专利申请第2019-221131号、2019年12月20日在日本申请的日本专利申请第2019-230748号和2019年12月24日在日本申请的日本专利申请第2019-233268号的优先权，并且这些在先申请的全部公开内容通过引用并入本文。

技术领域

本公开涉及信息处理系统、信息处理装置和信息处理方法。

背景技术

寻求基于以不调整被摄体的姿势的方式从指定的方向成像的图像来识别任意的物体。例如，提出了在商店等中的收银终端中，基于对商品识别区域上的物体进行成像而得到的图像来识别该物体是哪个商品的信息处理系统(参照专利文献1)。

现有技术文献

专利文献

日本特开2017-220198号公报

发明内容

本公开的一个实施方式涉及的信息处理系统具备：

成像部，利用成像生成图像信号；以及

信息处理装置，对相当于所述图像信号的成像图像执行多种图像处理中的至少任一种，

所述信息处理装置基于所述成像图像中包括的部分图像所对应的物体的状况或者对执行后的所述图像处理的处理结果赋予的可靠度中的任一方来指定所述成像图像中包括的部分图像所对应的物体。

本公开的一个实施方式涉及的信息理装置具备：

通信部，能够与利用成像生成图像信号的成像部进行通信；以及

控制部，由所述通信部取得相当于所述图像信号的成像图像，并对取得的所述成像图像执行多种图像处理中的至少任一种，

所述控制部基于在所述成像图像中包括的部分图像所对应的物体的状况或者对执行后的所述图像处理的处理结果赋予的可靠度中任一方来指定在所述成像图像中包括的部分图像所对应的物体。

本公开的一个实施方式涉及的信息处理方法包括：

利用成像生成图像信号；

取得相当于所述图像信号的成像图像，并对取得的所述成像图像执行多种图像处理中的至少任一种；并且

基于所述成像图像中包括的部分图像所对应的物体的状况或者对执行后的所述图像处理的处理结果赋予的可靠度中的任一方来指定所述成像图像中包括的部分图像所对应的物体。

本公开的一个实施方式涉及的信息处理系统具备：

成像部，利用成像生成图像信号；以及

信息处理装置，取得相当于所述图像信号的成像图像，并基于成像时刻不同的两个所述成像图像的差分图像来指定该两个成像图像中的至少任一个中包括的部分图像所对应的物体。

本公开的一个实施方式涉及的信息处理装置具备：

通信部，能够与利用成像生成图像信号的成像部进行通信；以及

控制部，由所述通信部取得相当于所述图像信号的成像图，并基于成像时刻不同的两个所述成像图像的差分图像来指定该两个成像图像中的至少任一个中包括的部分图像所对应的物体。

本公开的一个实施方式及的信息处理方法包括：

利用成像生成图像信号；并且

取得相当于所述图像信号的成像图像，并基于成像时刻不同的两个所述成像图像的差分图像来指定该两个成像图像中的至少任一个中包括的部分图像所对应的物体。

本公开的一个实施方式涉及的信息处理系统具备：

相机，利用成像生成图像信号；

反射部，配置在所述相机的成像范围内，反射面相对于所述相机的光轴倾斜；以及

信息处理装置，对相当于从所述相机接收的图像信号的图像的整个区域中的、所述反射部所占据的区域中的第一部分图像和该区域外的区域中的第二部分图像进行物体识别。

本公开的一个实施式涉及的信息处理装置具备：

通信部，接收通过相机成像生成的图像信号，该相机在成像范围内包括反射面相对于该相机的光轴倾斜的反射部；

控制部，相当于所述图像信号的图像的整个区域中的、所述反射部所占据的区域中的第一部分图像与该区域以外的区域中的第二部分图像来进行物体识别。

本公开的一实施方式涉及的信息处理方法，

利用相机成像生成图像信号，该相机在成像范围内包括反射面相对于该相机的光轴倾斜的反射部，

使用相当于所述图像信号的图像的整个区域中的所述反射部所占据的区域中的、第一部分图像与该区域以外的区域中的第二部分图像来进行物体识别。

附图说明

图1是示出包括本实施方式涉及的信息处理系统在内的结算系统的整体构成的构成图。

图2是示出图1的信息处理系统的整体构成的构成图。

图3是示出图2的信息处理装置的概略构成的功能框图。

图4是用于说明图2的相机成像的图像中的第一部分图像和第二部分图像的区域的图。

图5是用于说明图3的控制部所执行的第一方式的确定处理的流程图。

图6是用于说明图3的控制部所执行的第二方式的确定处理的流程图。

图7是用于说明图3的控制部所执行的第三方式的确定处理的流程图。

图8是用于说明图3的控制部所执行的第三方式的变形例的确定处理的流程图。

图9是用于说明图3的控制部所执行的第四方式的确定处理的流程图。

图10是示出本公开的另一个实施方式涉及的结算系统的整体构成的图。

图11是示出图10所示的信息处理系统的整体构成的图。

图12是图11所示的信息处理系统的功能框图。

图13是示出本公开的另一个实施方式涉及的成像图像的一例的图。

图14是示出本公开的另一个实施方式涉及的成像图像的一例的图。

图15是示出本公开的另一个实施方式涉及的成像图像的一例的图。

图16是示出本公开的另一个实施方式涉及的差分图像的一例的图。

图17是示出本公开的另一个实施方式涉及的差分图像的一例的图。

图18是示出本公开的另一个实施方式涉及的信息处理系统的物体指定处理的流程图。

图19是示出本公开的又一个实施方式涉及的成像图像的一例的图。

图20是示出本公开的又一个实施方式涉及的成像图像的一例的图。

图21是示出本公开的又一个实施方式涉及的信息处理系统的物体指定处理的流程图。

图22是示出本公开的又一个实施方式涉及的信息处理系统的整体构成的图。

图23是示出本公开的又一个实施方式涉及的信息处理系统的物体指定处理的流程图。

图24是示出本公开的又一个实施方式涉及的差分图像的一例的图。

图25是示出本公开的又一个实施方式涉及的信息处理系统的对差分图像的物体识别的流程图。

图26是示出本公开的又一个实施方式涉及的信息处理系统的整体构成的图。

图27是示出本公开的又一个实施方式涉及的结算系统的整体构成的图。

图28是示出图27所示的信息处理系统的整体构成的图。

图29是图28所示的信息处理系统的功能框图。

图30是示出本公开的又一个实施方式涉及的成像图像的一例的图。

图31是示出本公开的又一个实施方式涉及的处理结果和可靠度的一例的图。

图32是示出本公开的又一个实施方式涉及的信息处理系统的物体指定处理的流程图。

图33是示出本公开的又一个实施方式涉及的信息处理系统的物体指定处理的流程图。

图34是示出本公开的又一个实施方式涉及的信息处理系统的物体指定处理的流程图。

图35是示出本公开的又一个实施方式涉及的成像图像的一例的图。

图36是示出本公开的又一个实施方式涉及的信息处理系统的物体指定处理的流程图。

图37是示出本公开的又一个实施方式涉及的信息处理系统的商品的价钱的计算处理的流程图。

具体实施方式

现有的信息处理系统有改进的空间。根据本公开的一个实施方式，可以提供改进的信息处理系统、信息处理装置和信息处理方法。

以下，将参考附图说明应用了本公开的信息处理系统的实施方式。

如图1所示，包括本公开的一个实施方式涉及的信息处理系统10的结算系统11构成为包括至少一个信息处理系统10和服务器12。在本实施方式中，结算系统11包括多个信息处理系统10。

在本实施方式中，信息处理系统10包括在收银终端中。信息处理系统10对购买者放置在收银终端的商品进行成像。信息处理系统10对成像的图像进行物体识别，识别图像中包括的物体是商店中的哪个商品。图像中的物体意味在图像内绘制的物体。信息处理系统10将载置的全部商品的识别结果经由网络13通知给服务器12。服务器12基于识别结果来计算帐单金额。服务器12向信息处理系统10通知帐单金额。信息处理系统10向购买者提示帐单金额，并请求支付购买金额。

如图2所示，信息处理系统10构成为包括相机14、反射部15和信息处理装置17。另外，信息处理系统10还可以构成为还包括显示装置16、载置台18和支撑柱19。

相机14以能够对载置台18的整个范围成像的方式被固定。相机14例如被固定在从载置台18的侧面延伸的支撑柱19上。相机14例如以能够对载置台18的整个上表面us进行成像并且以光轴垂直于该上表面us的方式被固定。相机14以任意的帧率连续地进行成像，生成图像信号。

反射部15被配置在相机14的成像范围内的任意的位置。反射部15例如可以配置在成像范围内的中央和端部等任意位置。可以配置单个反射部15，也可以配置多个反射部15。在本实施方式中，单个反射部15以在沿着矩形的载置台18的一边配置的状态下被固定。反射部15例如是与载置台18的长度方向相同的长度，底面是直角等边三角形的三角柱。反射部15的三角柱的两个底面中的顶点位于载置台18的相同的长边上，并且三角柱的侧面与载置台18的上表面us对置地配置。另外，反射部15的大小可以根据载置台18的大小和相机14的成像范围而设定为适当的最佳大小。

在反射部15中，反射面rs相对于相机14的光轴倾斜。在本实施方式中，在反射部15中，通过在与底面中的底边相当的侧面被覆铝、银或铬等金属材料等来形成反射面rs。在本实施方式中，反射面rs是平坦形的，也可以是球面形、非球面形、圆柱侧面形，还可以是凸形或凹形。

显示装置16是现有公知的任意的显示器。显示装置16显示相当于从信息处理装置17发送的图像信号的图像。另外，如后所述，显示装置16可以作为触控屏发挥功能。

如图3所示，信息处理装置17构成为包括通信部20、输入部21、存储部22和控制部23。在本实施方式中，信息处理装置17构成为与相机14、反射部15和显示装置16独立的装置，但也可以例如与相机14、反射部15、载置台18、支撑柱19和显示装置16中的至少一个一体地构成。

通信部20例如包括通信模块，通信模块经由包括有线或者无线地构成的通信线路而与相机14通信。通信部20从相机14接收图像信号。通信部20包括经由通信线路与显示装置16通信的通信模块。通信部20将相当于显示的图像的图像信号向显示装置16发送。通信部20可以从显示装置16接收相当于在显示表面中检测到接触的位置的位置信号。通信部20包括经由网络13与服务器12通信的通信模块。通信部20将后述的相当于确定的识别结果的结果信息发送给服务器12。通信部20可以从服务器12接收相当于帐单金额的金额信息。

输入部21包括检测用户输入的一个以上的接口。输入部21例如可以包括与物理键、电容键以及显示装置16一体地设置的触摸屏。在本实施方式中，输入部21是触控屏。

存储部22例如包括RAM(Random Access Memory)和ROM(Read Only Memory)等任意的存储设备。存储部22存储使控制部23发挥功能的各种程序以及控制部23使用的各种信息。

控制部23包括一个以上处理器和存储器。处理器可以包括用于读取指定的程序来执行指定的功能的通用的处理器和专用于指定的处理的专用的处理器。专用的处理器可以包括专用集成电路(ASIC；Application Specific Integrated Circuit)。处理器可以包括可编程逻辑装置(PLD；Programmable Logic Device)。PLD可以包括FPGA(Field-Programmable Gate Array，可编程阵列逻辑)。控制部23也可以是一个或多个处理器协作的SoC(System-on-a-Chip，系统级芯片)和SiP(System In a Package，系统级封装)中的任一个。

如图4所示，控制部23将相当于从相机14接收的图像信号的图像im分割为第一部分图像im_p1和第二部分图像im_p2。第一部分图像im_p1是相当于图像信号的图像im的整个区域中的反射部15所占据的区域的图像。第二部分图像im_p2是该图像的整个区域中的反射部15所占据的区域以外的区域的图像。

如以下说明，控制部23对第一部分图像im_p1和第二部分图像im_p2进行物体识别。物体识别意味把握图像im中的物体是什么，并生成识别结果。控制部23例如可以在图像im内检测物体，并生成该检测到的物体是什么的识别结果。在本实施方式中，在物体的图像im内的检测意味与位置一起分别把握图像im内的物体的存在。或者，控制部23例如可以以不在图像im内检测物体的方式进行直接物体识别来生成识别结果。控制部23通过物体识别，例如通过载置于载置台18来识别位于相机14的成像范围内的物体。

控制部23例如通过条形码检测、深度学习(DNN：Deep Neural Network)、模式匹配和字符识别等公知的识别方法对第一部分图像im_p1和第二部分图像im_p2进行物体识别。控制部23利用物体识别对图像im中的物体进行暂时识别，同时计算该物体的暂时识别结果的可靠度。可靠度是表示识别结果的正确性的指标。

控制部23例如可以通过以下说明的第一方式到第四方式中的任一个来进行物体的识别。需要说明的是，以针对在载置台18上载置“饭团”和“瓶装茶”(以下称作“茶”。)的状况而进行的物体识别为例来说明各个方式进行的物体的识别。

在第一方式中，控制部23对第一部分图像im_p1和第二部分图像im_p2中的一方进行物体识别。在本实施方式中，控制部23对第二部分图像im_p2进行物体识别。控制部23利用物体识别对每个物体进行暂时识别，并且生成识别结果作为暂时识别结果。控制部23将赋予每个物体的可靠度分别与阈值进行比较。控制部23在赋予每个物体的可靠度全部超过阈值的情况下，将利用对第二部分图像im_p2的物体识别得到的针对全部物体的各自的暂时识别结果确定为最终识别结果。例如，在第二部分图像im_p2中识别的两个物体的暂时识别结果为“饭团”和“茶”且各自的可靠度超过阈值的情况下，控制部23将暂时识别结果即“饭团”和“茶”确定为最终识别结果。

进而在第一方式中，控制部23在利用对第二部分图像im_p2的物体识别得到的针对至少一部分物体的可靠度在阈值以下的情况下，对另一部分图像即第一部分图像im_p1进行物体识别。例如，在第二部分图像im_p2中识别的两个物体的暂时识别结果为“饭团”和“青汁”且其中一个的可靠度在阈值以下的情况下，控制部23对第一部分图像im_p1进行物体识别。

进而在第一方式中，控制部23将利用对第一部分图像im_p1的物体识别得到的全部物体的暂时识别结果确定为最终识别结果。例如，控制部23将在第一部分图像im_p1识别的两个物体的暂时识别结果、即“饭团”和“茶”确定为最终识别结果。

与第一方式相同地，在第二方式中，控制部23进行对第一部分图像im_p1和第二部分图像im_p2中的一方的物体识别以及针对全部物体的可靠度的阈值的比较。在本实施方式中，控制部23针对全部物体之中可靠度超过阈值的物体，将利用对其中一个部分图像即第二部分图像im_p2的物体识别得到的针对该物体的识别结果确定为最终识别结果。例如，在第二部分图像im_p2中识别的两个物体之中的一个物体的暂时识别结果为“饭团”且可靠度超过阈值的情况下，控制部23将该物体的暂时识别结果即“饭团”确定为最终识别结果。

进而在第二方式中，控制部23在利用对第二部分图像im_p2的物体识别得到的针对物体的可靠度在阈值以下的情况下，将第二部分图像im_p2中的该物体与在第一部分图像im_p1中被识别的物体相关联。控制部23例如可以将第一部分图像im_p1和第二部分图像im_p2各自的位于指定的方向上的相同位置的物体视为相同的物体并相关联。关于相关联的物体，控制部23进行对另一部分图像即第一部分图像im_p1的物体识别。例如，在第二部分图像im_p2中被识别的两个物体之中的一个物体的暂时识别结果为“青汁”且可靠度在阈值以下的情况下，控制部23针对该物体对第一部分图像im_p1进行物体识别。

进而在第二方式中，控制部23将利用对第一部分图像im_p1的物体识别得到的该物体的暂时识别结果确定为最终识别结果。例如，控制部23对于利用对第二部分图像im_p2的物体识别生成的称为“青汁”的暂时识别结果，将利用对第一部分图像im_p1的物体识别得到的暂时识别结果即“茶”确定为最终识别结果。

在上述的第一方式和第二方式中，控制部23可以基于容易度来决定先对第一部分图像im_p1和第二部分图像im_p2中的哪一个进行物体识别。容易度通过能够生成针对被物体识别的图像的、正确的识别结果的容易性进行数值化来表示。

为计算容易度，控制部23例如分别对第一部分图像im_p1和第二部分图像im_p2进行分割，并分别在第一部分图像im_p1和第二部分图像im_p2中提取分割区域。分割区域是形成被视为单个物体的像的区域。控制部23可以分别计算第一部分图像im_p1和第二部分图像im_p2提取的分割区域的数量作为容易度。分割区域的数量与分别在第一部分图像im_p1和第二部分图像im_p2中检测的物体的数量相同。或者，控制部23可以计算相对于第一部分图像im_p1的大小的分割区域合计的大小和相对于第二部分图像im_p2的大小的分割区域合计的大小作为容易度。或者，控制部23可以计算第一部分图像im_p1的分割区域合计的大小和第二部分图像im_p2的分割区域合计的大小作为容易度。

控制部23可以对在第一部分图像im_p1和第二部分图像im_p2之中计算出的容易度较高的一方进行物体识别。

在第三方式中，控制部23分别对第一部分图像im_p1和第二部分图像im_p2进行物体识别。控制部23将在第一部分图像im_p1中被暂时识别的物体与在第二部分图像im_p2中被暂时识别的物体相关联。控制部23例如可以将第一部分图像im_p1和第二部分图像im_p2各自的位于指定的方向上的相同位置的物体视为相同的物体并相关联。另外，控制部23可以将分别位于第一部分图像im_p1和第二部分图像im_p2的包括物体的边缘在内的形状相同的物体视为相同的物体并相关联。控制部23在相关联的物体的各自的暂时识别结果一致的情况下，将该物体的暂时识别结果确定为最终识别结果。

进而在第三方式中，控制部23在相关联的物体的暂时识别结果不同的情况下，提示各自的暂时识别结果。控制部23例如可以通过将表示暂时识别结果的图像显示在显示装置16，将暂时识别结果提示给使用者。控制部23控制通信部20，以使在进行图像的显示的构成中，生成相当于该图像的图像信号并发送给显示装置16。控制部23例如可以通过语音提示那样的图像显示以外的方法来提示暂时识别结果。控制部23在暂时识别结果的提示中，可以按可靠度从高到低的顺序进行提示。针对正在提示的暂时识别结果，在输入部21检测由使用者进行的选择时，控制部23可以将被选择的暂时识别结果确定为最终识别结果。

例如，在对在第一部分图像im_p1和第二部分图像im_p2之间相关联的物体利用各自的物体识别得到的暂时识别结果为“茶”和“青汁”的情况下，控制部23提示识别结果即“茶”和“青汁”。在第一部分图像im_p1中的暂时识别结果即“茶”的可靠度高于第二部分图像im_p2中的暂时识别结果即“青汁”的可靠度的情况下，暂时识别结果按照“茶”和“青汁”的顺序被提示。

或者在第三方式中，控制部23在相关联的物体的暂时识别结果不同且其中至少一方的暂时识别结果的可靠度超过阈值的情况下，将可靠度高的暂时识别结果确定为该物体的最终识别结果。例如，控制部23在对在第一部分图像im_p1和第二部分图像im_p2之间相关联的物体利用各自的物体识别得到的暂时识别结果为“茶”和“青汁”且各自的暂时识别结果的可靠度超过阈值的情况下，将可靠度更高的暂时识别结果即“茶”确定为最终识别结果。

在第四方式中，控制部23分别在第一部分图像im_p1和第二部分图像im_p2中检测物体。控制部23将分别在第一部分图像im_p1和第二部分图像im_p2中检测的物体相关联。控制部23提取相关联的物体分别在第一部分图像im_p1和第二部分图像im_p2中被检测的部分。控制部23将分别从第一部分图像im_p1和第二部分图像im_p2提取的部分进行组合并进行物体识别。控制部23生成通过对第一部分图像im_p1和第二部分图像im_p2提取的部分的组合进行的物体识别而得到的物体的暂时识别结果。控制部23将生成的暂时识别结果确定为最终识别结果。

控制部23控制通信部20，以将表示所确定的最终识别结果的信息发送给服务器12。对于表示最终识别结果的信息的发送，控制部23在从服务器12接收表示帐单金额的信息时，将该帐单金额提示给用户。控制部23例如可以生成请求支付该帐单金额的图像，并通过显示在显示装置16来提示给用户。

服务器12例如由物理服务器或者云服务器构成。服务器12基于从信息处理系统10发送的表示最终识别结果的信息来指定载置于该信息处理系统10中的载置台18的物体。服务器12通过从数据库读取该物体的售价来计算该信息处理系统10的用户的帐单金额。服务器12将表示该帐单金额的信息发送给信息处理系统10。

服务器12具有在信息处理系统10中用于物体识别的多个指定的物体的图像、特征量、绘制在表面的字符等参考数据库，可以将该参考数据库内的参考信息发送给信息处理系统10。

接着，使用图5的流程图说明在本实施方式中控制部23所执行的第一方式的确定处理。第一方式的确定处理在每次从相机14接收一帧图像信号时开始。

在步骤S100中，控制部23将相当于接收的图像信号的图像im分割为第一部分图像im_p1和第二部分图像im_p2。在分割后，流程进入步骤S101。

在步骤S101中，控制部23分别从在步骤S100中分割的第一部分图像im_p1和第二部分图像im_p2提取分割区域。在提取后，流程进入步骤S102。

在步骤S102中，控制部23基于在步骤S101中提取到的分割区域来计算第一部分图像im_p1和第二部分图像im_p2各自的容易度。在计算后，流程进入步骤S103。

在步骤S103中，控制部23在第一部分图像im_p1和第二部分图像im_p2之中，选择在步骤S102中计算出的容易度较高的一方的部分图像。在选择后，流程进入步骤S104。

在步骤S104中，控制部23对在步骤S103中选择的一方的部分图像进行物体识别。控制部23计算利用物体识别而被暂时识别的各物体的暂时识别结果的可靠度。在物体识别后，流程进入步骤S105。

在步骤S105中，控制部23判断针对在步骤S104中识别的全部物体中的每一个的可靠度是否超过阈值。在针对全部物体中的每一个的可靠度超过阈值的情况下，流程进入步骤S106。在针对至少一部分物体的可靠度未超过阈值的情况下，流程进入步骤S107。

在步骤S106中，控制部23将在步骤S104中被暂时识别的全部物体的暂时识别结果确定为最终识别结果。在确定后，流程进入步骤S109。

在步骤S107中，控制部23针对在步骤S103中被选择的一方的部分图像所相对的另一方的部分图像进行物体识别。在物体识别后，流程进入步骤S108。

在步骤S108中，控制部23将在步骤S108中利用物体识别而被暂时识别的全部物体的暂时识别结果确定为最终识别结果。在确定后，流程进入步骤S109。

在步骤S109中，控制部23控制通信部20，以将表示在步骤S106或步骤S108中确定的最终识别结果的信息发送给服务器12。在发送后，第一方式的确定处理结束。

接着，使用图6的流程图说明在本实施方式中控制部23所执行的第二方式的确定处理。第二方式的确定处理在每次从相机14接收一帧图像信号时开始。

在从步骤S200到步骤S206中，控制部23进行与第一方式的确定处理的从步骤S100到步骤S106相同的处理。在步骤S205中，在针对至少一部分物体的可靠度未超过阈值的情况下，流程进入步骤S207。在步骤S206中，在确定后，流程进入步骤S210。

在步骤S207中，控制部23将在步骤S204中计算出的可靠度低于阈值的暂时识别结果的物体与在步骤S203中被选择的一方的部分图像所相对的另一方的部分图像中被识别的物体相关联。在相关联后，流程进入步骤S208。

在步骤S208中，关于在步骤S207中相关联的物体，控制部23进行针对在步骤S203中被选择的一个部分图像所相对的另一部分图像的物体识别。在物体识别后，流程进入步骤S209。

在步骤S209中，控制部23将在步骤S204中计算出的可靠度低于阈值的暂时识别结果确定为该暂时识别结果的物体的最终识别结果。控制部23对于在步骤S204中计算出的可靠度低于阈值的暂时识别结果的物体，将在步骤S208中利用物体识别而得到的暂时识别结果确定为最终识别结果。在确定后，流程进入步骤S210。

在步骤S210中，控制部23控制通信部20，以将表示在步骤S206或步骤S209中确定的最终识别结果的信息发送给服务器12。在发送后，第二方式的确定处理结束。

接着，使用图7的流程图说明在本实施方式中控制部23所执行的第三方式的确定处理。第三方式的确定处理在每次从相机14接收一帧图像信号时开始。

在步骤S300中，控制部23将相当于接收的图像信号的图像im分割为第一部分图像im_p1和第二部分图像im_p2。在分割后，流程进入步骤S301。

在步骤S301中，控制部23分别对在步骤S300中分割的第一部分图像im_p1和第二部分图像im_p2进行物体识别。在物体识别后，流程进入步骤S302。

在步骤S302中，控制部23将在步骤S301中利用物体识别在第一部分图像im_p1和第二部分图像im_p2中分别被暂时识别的各物体相关联。在相关联后，流程进入步骤S303。

在步骤S303中，控制部23在步骤S302中相关联的全部物体之中，选择未判定暂时识别结果是否一致的物体。在选择后，流程进入步骤S304。

在步骤S304中，关于相关联的物体，控制部23判断利用分别针对第一部分图像im_p1和第二部分图像im_p2的物体识别得到的暂时识别结果是否一致。在一致的情况下，流程进入步骤S305。在不一致的情况下，流程进入步骤S306。

在步骤S305中，控制部23将针对在步骤S303中选择的物体的、在步骤S301的物体识别的暂时识别结果确定为最终识别结果。在确定后，流程进入步骤S310。

在步骤S306中，控制部23将利用分别对第一部分图像im_p1和第二部分图像im_p2的物体识别得到的暂时识别结果按照可靠度从高到低的顺序提示给用户。在提示后，流程进入步骤S307。

在步骤S307中，控制部23判断是否检测到用于选择所提示的暂时识别结果中的哪一个的用户输入。在未检测到的情况下，流程回到步骤S307。在检测到的情况下，流程进入步骤S308。

在步骤S308中，控制部23将在步骤S307中选择的用户输入所确认的暂时识别结果确定为最终识别结果。在确定后，流程进入步骤S309。

在步骤S309中，控制部23判断是否对在步骤S302中相关联的全部物体进行关于暂时识别结果是否一致的判断。在未针对全部物体进行判断的情况下，流程回到步骤S303。在针对全部物体进行判断的情况下，流程进入步骤S310。

在步骤S310中，控制部23控制通信部20，以将表示在步骤S305或步骤S308中确定的最终识别结果的信息发送给服务器12。在发送后，第三方式的确定处理结束。

接着，使用图8的流程图说明在本实施方式中控制部23所执行的、第三方式的变形例的确定处理。第三方式的变形例的确定处理在每次从相机14接收一帧图像信号时开始。

在从步骤S400到步骤S405中，控制部23进行与第三方式的确定处理的从步骤S300到步骤S305相同的处理。在步骤S304中，关于相关联的物体，在利用分别对第一部分图像im_p1和第二部分图像im_p2的物体识别得到的暂时识别结果一致的情况下，流程进入步骤S406。在步骤S405中，在确定后，流程进入步骤S412。

在步骤S406中，控制部23判断关于在步骤S403中被选择的物体的、利用分别对第一部分图像im_p1和第二部分图像im_p2进行的物体识别得到的暂时识别结果的可靠度中的至少一个是否超过阈值。在超过的情况下，流程进入步骤S407。在不超过的情况下，流程进入步骤S408。

在步骤S407中，控制部23对于在步骤S403中选择的物体，将可靠度更高的暂时识别结果确定为最终识别结果。在确定后，流程进入步骤S412。

在从步骤S408到步骤S412中，控制部23进行与第三方式的确定处理的从步骤S306到步骤S310相同的处理。在步骤S412中，在表示最终识别结果的信息的发送后，第三方式的变形例的确定处理结束。

接着，使用图9的流程图说明在本实施方式中控制部23所执行的第四方式的确定处理。第四方式的确定处理在每次从相机14接收一帧图像信号时开始。

在步骤S500中，控制部23将相当于接收的图像信号的图像im分割为第一部分图像im_p1和第二部分图像im_p2。在分割后，流程进入步骤S501。

在步骤S501中，控制部23对在步骤S500中分割后的第一部分图像im_p1和第二部分图像im_p2中的每一个进行物体检测。在物体检测后，流程进入步骤S502。

在步骤S502中，控制部23将在步骤S501中分别在第一部分图像im_p1和第二部分图像im_p2中被检测的各物体相关联。在相关联后，流程进入步骤S503。

在步骤S503中，控制部23提取在步骤S502中相关联的各物体的分别在第一部分图像im_p1和第二部分图像im_p2中被检测的部分。控制部23将对相关联的物体提取到的部分进行组合来进行物体识别。在物体识别后，流程进入步骤S504。

在步骤S504中，控制部23将利用在步骤S503中进行的物体识别得到的暂时识别结果确定为最终识别结果。在确定后，流程进入步骤S505。

在步骤S505中，控制部23控制通信部20，以将表示在步骤S504中确定的最终识别结果的信息发送给服务器12。在发送后，第四方式的确定处理结束。

以上的构成的本实施方式的信息处理系统10对相当于从相机14接收的图像信号的图像im的整个区域中的反射部15所占据的区域中的第一部分图像im_p1、以及除该区域以外的区域中的第二部分图像im_p2进行物体识别。通过这样的构成，在信息处理系统10中，在第一部分图像im_p1和第二部分图像im_p2中可以包括从各自不同的方向看到的相同物体的像。因此，信息处理系统10无需调整识别的物体的姿势，即使是单个相机14也可以使用从多个方向看到的物体的像来进行物体识别。其结果是，信息处理系统10可以通过简单的构成来提高物体的识别精度。

另外，本实施方式的信息处理系统10对第一部分图像im_p1和第二部分图像im_p2中的一方进行物体识别，计算利用该物体识别得到的物体的暂时识别结果的可靠度，并且在该可靠度超过阈值的情况下，确定该物体的暂时识别结果。通过这样的构成，信息处理系统10基于表示识别结果的正确性的指标即可靠度来确定识别结果，因此可以进一步提高物体的识别精度。

另外，本实施方式的信息处理系统10在对第一部分图像im_p1和第二部分图像im_p2中的一方利用物体识别得到的至少一部分物体的可靠度在阈值以下的情况下，在另一方中进行物体识别，并确定利用该物体识别得到的全部物体的暂时识别结果。通过这样的构成，信息处理系统10在识别精度低的识别结果的情况下，进行从不同的方向看到的物体的物体识别，因此可以维持高识别精度的物体识别。

另外，本实施方式的信息处理系统10在对第一部分图像im_p1和第二部分图像im_p2中的一方利用物体识别得到的针对物体的可靠度在阈值以下的情况下，在另一方的部分图像中的包括该物体的部分中进行物体识别，并确定利用该物体识别暂时识别的该物体的暂时识别结果。通过这样的构成，信息处理系统10对于其中一方的部分图像的利用物体识别得到的识别结果在阈值以下的物体，进行使用另一方的部分图像的物体识别，因此可以进一步提高识别精度。

另外，本实施方式的信息处理系统10计算第一部分图像im_p1和第二部分图像im_p2中的物体识别的容易度，并先对在第一部分图像im_p1和第二部分图像im_p2之中容易度较高的一个进行物体识别。通过这样的构成，信息处理系统10可以降低对第一部分图像im_p1和第二部分图像im_p2这两者进行物体识别的可能性，并有助于降低处理负荷并且加快处理。

另外，本实施方式的信息处理系统10分别对第一部分图像im_p1和第二部分图像im_p2进行物体识别，并将在第一部分图像im_p1中被暂时识别的物体与在第二部分图像im_p2中被暂时识别的物体相关联，在相关联的物体的各自的暂时识别结果一致的情况下确定该物体的暂时识别结果。通过这样的构成，信息处理系统10可以进一步提高物体的识别精度。

另外，本实施方式的信息处理系统10在相关联的物体的各自的暂时识别结果不同的情况下，提示各自的暂时识别结果。在暂时识别结果不同的情况下，各自的暂时识别结果可能是错误的。因此，通过上述构成，信息处理系统10可以将暂时识别结果未被确定的物体和该物体的暂时识别结果作为候选并报告给用户。

另外，本实施方式的信息处理系统10按各暂时识别结果的各自的可靠度从高到低的顺序提示各暂时识别结果。通过这样的构成，信息处理系统10可以使用户迅速地指定暂时识别结果未被确定的物体。

另外，本实施方式的信息处理系统10在相关联的物体的各自的暂时识别结果不同且其中至少一个暂时识别结果的可靠度超过阈值的情况下，将可靠度高的暂时识别结果确定为该物体的识别结果。即使在暂时识别结果不同的情况下，超过阈值的暂时识别结果正确的可能性也高。因此利用上述的构成，信息处理系统10可以以不向用户请求操作的方式用户尽可能自动地执行物体识别。

另外，本实施方式的信息处理系统10分别在第一部分图像im_p1和第二部分图像im_p2中检测物体，并将在第一部分图像im_p1中检测的物体与在第二部分图像im_p2中检测的物体相关联，将相关联的物体分别在第一部分图像im_p1和第二部分图像im_p2中被检测的部分组合来进行物体识别，并确定利用该物体识别得到的物体的暂时识别结果。使用识别对象即物体的从多个方向的外观的物体识别通常比使用从单一的方向的外观的物体识别的识别精度高。因此利用上述的构成，信息处理系统10可以进一步提高识别精度。

如图10所示，结算系统111包括至少一个信息处理系统110和服务器112。服务器112可以是物理服务器，也可以是云服务器。信息处理系统110与服务器112能够经由网络113通信。网络113可以是无线、有线或者无线和有线的组合。

信息处理系统110可以被配置在便利店和超市等任意的商店。信息处理系统110可以构成为商店的收银终端。信息处理系统110通过对顾客在后述的载置台114放置的商品进行成像来生成成像图像。信息处理系统110指定生成的成像图像中的物体是商店的哪个商品。在本公开中“成像图像中的物体”意味成像图像中的、作为图像绘制的物体的像。信息处理系统110经由网络113将指定的商品信息发送给服务器112。在该商品信息中可以包括商品名称和商品的数量等。服务器112基于商品信息来计算顾客的帐单金额。服务器112经由网络113将帐单金额发送给信息处理系统110。信息处理系统110通过将帐单金额提示给顾客来向顾客请求帐单金额的支付。

如图11所示，信息处理系统110包括相机116(成像部)和信息处理装置118。信息处理系统110可以包括载置台114、支撑柱115和显示装置117。

载置台114包括载置面114a。顾客在结账时，将想购买的商品放置在载置面114a上。在本实施方式中，载置面114a大致呈矩形状。但是，载置面114a可以是任意的形状。

支撑柱115从载置台114的侧部向载置面114a的法线方向的一侧延伸。该法线方向的一侧可以是在载置面114a的法线方向中远离载置面114a的方向。相机116位于支撑柱115的顶端。

相机116利用成像生成相当于成像图像的图像信号。在本实施方式中，相机116对载置台114的载置面114a进行成像。但是，相机116成像的范围可以是载置面114a的至少一部分，也可以是超过载置面114a的范围。另外，相机116所成像的范围不限于载置台114的载置面114a。例如，相机116所成像的范围也可以是在后述的图26所示的购物篮314内。

相机116可以配置为能够对载置台114的载置面114a进行成像。相机116可以以光轴垂直于载置面114a的方式配置。相机116可以配置在支撑柱115的顶端。相机116可以以能够对载置台114的载置面114a进行成像的方式固定在例如支撑柱115的顶端。

相机116可以从信息处理装置118取得指示成像开始的信号。相机116可以在取得指示成像开始的信号时开始成像。相机116将利用成像生成的图像信号经由通信线路输出到信息处理装置118。相机116以任意的帧率执行连续地成像。相机116可以通过连续地执行成像来生成成像时刻不同的图像信号。但是，相机116可以基于规定触发来对静止图像进行随时成像。

显示装置117可以构成为包括液晶显示器等任意的显示器。显示装置117基于从信息处理装置118取得的信号来显示图像。例如，显示装置117可以从信息处理装置118取得表示商品的帐单金额的信号。显示装置117可以基于表示该商品的帐单金额的信号来显示表示帐单金额的图像。

显示装置117可以具有触控屏功能。显示装置117可以被配置在靠近载置台114的周边。显示装置117可以配置为在顾客将商品置于载置台114时朝向顾客一侧。

信息处理装置118可以被配置在载置台114的周边。如图12所示，信息处理装置118包括控制部123。信息处理装置118可以包括通信部120、输入部121和存储部122。

通信部120包括任意的通信模块。该任意的通信模块可以包括：经由通信线路能够与相机116通信的通信模块、经由通信线路能够与显示装置117通信的模块以及经由网络113能够与服务器112通信的通信模块。相机116与通信部120之间的通信线路以及显示装置117与通信部120之间的通信线路可以构成为包括有线或者无线。

输入部121包括能够检测用户输入的一个以上的接口。例如，输入部121可以构成为包括物理键、电容键和触摸屏中的至少任一种。在本实施方式中，输入部121是触控屏。作为触控屏的输入部121与显示装置117一体地设置。

存储部122包括RAM和ROM等任意的存储设备。存储部122存储使控制部123发挥功能的各种程序和控制部123所使用的各种信息。

存储部122可以存储商店的商品数据。该商品数据可以用于后述的物体检测和物体识别等。商品数据可以包括将与识别商品的识别符相关联的、附在商品图像和商品的包装的字符等。以下，为方便起见，识别商品的识别符设为商品名称。

控制部123包括一个以上处理器和存储器。处理器可以包括用于读取指定的程序来执行指定的功能的通用的处理器和专用于指定的处理的专用的处理器。专用的处理器可以包括专用集成电路(ASIC)。处理器可以包括可编程逻辑装置(PLD)。PLD可以包括FPGA。控制部123也可以是一个或多个处理器协作的SoC和SiP中的任一个。

控制部123可以通过通信部120经由网络113从服务器112取得上述商品数据。控制部123可以将取得的商品数据存储在存储部122中。

控制部123可以通过通信部120将指示成像开始的信号发送给相机116。当信息处理装置118起动时，控制部123可以发送指示成像开始的信号。控制部123在由输入部121检测到指示成像开始的用户输入时，可以发送指示成像开始的信号。该用户输入可以在商店的开店时等由店员从输入部121输入。

控制部123通过通信部120从相机116取得图像信号。控制部123可以通过取得图像信号来取得相当于图像信号的成像图像。控制部123可以将取得的成像图像存储在存储部122中。通过由相机116生成成像时刻不同的图像信号，控制部123可以取得成像时刻不同的成像图像。这里，顾客在购买多个商品的情况下，可以依次将商品放置于载置台114的载置面114a。通过顾客依次将商品放置于载置台114的载置面114a，在成像图像中可以显示随着该成像图像的成像时间的推移而依次放置于载置台114的商品。例如，控制部123可以取得图13、图14和图15所示的成像图像130、131、132。

图13所示的成像图像130是在成像时刻t0成像的图像。在成像时刻t0，在载置台114的载置面114a未载置商品等。成像图像130包括载置台114的载置面114a所对应的图像。

图14所示的成像图像131是在成像时刻t1成像的图像。成像时刻t1是比成像时刻t0晚的时刻。在成像时刻t1中，黄油被载置于载置台114的载置面114a。成像图像131包括部分图像131a。部分图像131a是成像图像131的一部分。部分图像131a与黄油对应。

图15所示的成像图像132是在成像时刻t2成像的图像。成像时刻t2是比成像时刻t1晚的时刻。在成像时刻t2中，黄油和饭团被载置于载置台114的载置面114a。在顾客将黄油载置于载置台114之后饭团被载置。饭团与黄油的一部分重合。成像图像132包括部分图像132a和部分图像132b。部分图像132a和部分图像132b是成像图像132的一部分。部分图像132a与黄油对应。部分图像132b与饭团对应。由于饭团与黄油的一部分重合，部分图像132a与图14所示的部分图像131a不同，一部分缺失。

控制部123基于成像时刻不同的两个成像图像来生成差分图像。例如，控制部123可以通过计算两个成像图像中分别包括的各像素的亮度值的差分来生成差分图像。这里，控制部123可以在判定为成像时刻不同的两个成像图像中存在差分的情况下，生成差分图像。以下，说明判定在两个成像图像中是否存在差分的处理的一例。

控制部123通过物体检测来检测成像图像中的物体的数量。在本公开中“物体检测”意味将成为检测的对象的物体与成像图像中的背景和其他的物体相区别并检测。成为检测的对象的物体是配置有信息处理系统110的商店的商品。控制部123可以通过由公知的物体检测方法检测成像图像中的物体来检测物体的数量。作为公知的物体检测方法的一例，例举了使用分割、语义分割和/或边界框(bounding box)的方法。控制部123可以通过公知的物体识别方法来检测成像图像中的物体的数量。作为公知的物体识别方法的一例，可以列举使用深度学习等机器学习和/或特征量模式匹配的方法。

控制部123判定成像图像中的被分别检测到的物体的数量是否发生了变化。控制部123可以通过对由最新的检测处理检测到的物体的数量与由最新的物体检测的处理的前一个检测处理检测到的物体的数量进行比较来判定成像图像中的分别检测的物体的数量是否发生了变化。通过这样的构成，可以判定两个成像图像中是否存在差分。

控制部123在判定为被分别检测到的物体的数量发生了变化的情况下，使用物体的数量发生了变化时的成像图像与该成像图像的成像时刻之前的成像时刻的成像图像来生成差分图像。作为物体的数量发生了变化时的成像图像的成像时刻之前的成像时刻的成像图像，可以使用在与物体的数量发生了变化时的成像图像的成像时刻相比为规定时间前成像的成像图像。规定时间可以考虑到从顾客将一个商品放置于载置台114起到将下一个商品放置于载置台114为止所需的时间而适当地设定。或者，作为物体的数量发生了变化时的成像图像的成像时刻之前的成像时刻的成像图像，可以使用物体的数量变化前的成像图像。该物体的数量变化前的成像图像可以是在物体的数量变化前的成像图像之中最新的。在本实施方式中，作为物体的数量发生了变化时的成像图像的成像时刻之前的成像时刻的成像图像，使用物体的数量变化前的成像图像。

例如，在检测处理中，控制部123检测成像图像130之中的物体的数量为零个。在下一个检测处理中，控制部123检测成像图像131之中的物体的数量为一个。控制部123通过对由最新的检测处理检测到的物体的数量的一个与由最新的检测处理的前一个检测处理检测到的物体的数量的零个进行比较来判定为成像图像131中的分别检测的物体的数量发生了变化。控制部123使用物体的数量变成一个的成像图像131和物体的数量变成一个之前的成像图像130来生成图16所示的差分图像140。差分图像140包括部分图像140a。部分图像140a是非零的像素连续的区域。部分图像140a可以基于成像图像131的部分图像131a和成像图像130的与部分图像131a对应的部分之间的差分值而生成。部分图像140a与两个成像图像即成像图像130和成像图像131中的、成像图像131中包括的部分图像131a对应。

例如，在检测处理中，控制部123检测成像图像132之中的物体为两个。该检测处理的前一个检测处理设为对成像图像131的检测处理。控制部123通过对由最新的检测处理检测到的物体的数量的两个与由最新的检测处理的前一个检测处理检测到的物体的数量的一个进行比较来判定为成像图像132之中的分别检测的物体的数量发生了变化。控制部123使用物体的数量变成两个的成像图像132和物体的数量变成两个之前的成像图像131来生成图17所示的差分图像141。差分图像141包括部分图像141a。部分图像141a是非零的像素连续的区域。部分图像141a可以基于成像图像132的部分图像132b和成像图像131的与部分图像132b对应的部分之间的差分值而生成。部分图像141a与两个成像图像即成像图像131和成像图像132中的、成像图像132中包括的部分图像132b对应。

控制部123通过对差分图像140、141执行物体识别来指定成像图像130～132中的至少任一个中包括的部分图像所对应的物体。对于差分图像的物体识别可以包括通过对差分图像中的部分图像进行解析来指定该部分图像所对应的物体的识别符即名称。对于差分图像的物体识别可以包括从差分图像检测物体。控制部123可以对差分图像执行公知的物体识别方法。作为公知的物体识别方法的一例，可以列举使用深度学习等机器学习、字符识别和/或特征量模式匹配的方法。控制部123通过对差分图像140执行物体识别，由此检测部分图像140a，并指定部分图像140a所对应的物体的商品名称为“黄油”。控制部123通过对差分图像141执行物体识别，由此检测物体所对应的部分图像141a，并指定部分图像141a所对应的物体的商品名称为“饭团”。

控制部123在通过输入部121检测到指示结账的请求的用户输入时，结束差分图像的生成。指示结账的请求的用户输入在顾客将商品全部放置于载置台114后，可以由顾客从输入部121输入。或者，控制部123可以在判定为成像图像中的物体的数量发生了变化之后即使经过规定时间，从成像图像中分别检测的物体的数量也不变化的情况下，结束差分图像的生成。规定时间可以是比考虑到从顾客将一个商品放置于载置台114起到将下一个商品放置于载置台114为止所需的时间长的时间。

当指定物体的处理结束时，控制部123通过通信部120将指定的商品信息经由网络113发送到服务器112。该商品信息可以包括商品名称和商品的数量等。服务器112经由网络113从信息处理装置118取得该商品信息。服务器112基于该商品信息来计算应向顾客请求的帐单金额。服务器112将表示帐单金额的信号经由网络113发送给信息处理装置118。控制部123通过通信部120经由网络113从服务器112取得表示帐单金额的信号。控制部123通过通信部120将表示帐单金额的信号发送给显示装置117。

图18是示出本公开的另一个实施方式涉及的信息处理系统110的物体指定处理的流程图。控制部123可以在开始来自于相机116的图像信号的取得时，开始物体指定处理。控制部123可以将从相机116取得的图像信号存储在存储部122中。另外，控制部123在顾客的结账结束后，可以再次开始物体指定处理。

控制部123检测成像图像中的物体的数量(步骤S610)。控制部123判定成像图像中的被分别检测到的物体的数量是否发生了变化(步骤S611)。

控制部123在判定为被分别检测到的物体的数量发生了变化的情况下(步骤S611：是)，进入步骤S612的处理。另一方面，控制部123在判定为被分别检测到的物体的数量未变化的情况下(步骤S611：否)，回到步骤S610的处理。

在步骤S612的处理中，控制部123使用物体的数量发生了变化时的成像图像和该成像图像的成像时刻之前的成像时刻的成像图像来生成差分图像。在步骤S613的处理中，控制部123通过对差分图像执行物体识别来指定物体。

在步骤S614的处理中，控制部123判定通过输入部121是否检测到指示结账的请求的用户输入。控制部123在判定为通过输入部121检测到指示结账的请求的用户输入的情况下(步骤S614：是)，进入步骤S615的处理。另一方面，控制部123在判定为未通过输入部121检测到指示结账的用户输入的情况下(步骤S614：否)，回到步骤S610的处理。

在步骤S615的处理中，控制部123通过通信部120将指定的商品信息发送给服务器112。

这里，控制部123可以在在步骤S611的处理中判定为被分别检测到的物体的数量发生了变化之后，即使经过规定时间从成像图像中被分别检测到的物体的数量也不变化的情况下，进入步骤S615的处理。

这样在本实施方式涉及的信息处理系统110中，通过信息处理装置118从成像时刻不同的两个成像图像生成差分图像。即使在两个成像图像中的任一个包括多个与物体对应的部分图像的情况下，这些多个部分图像也可以包括在单独的差分图像中。例如，图15所示的成像图像132包括黄油所对应的部分图像132a和饭团所对应的部分图像132b。部分图像132a所对应的部分图像140a包括在差分图像140中。部分图像132b所对应的部分图像141a包括在差分图像141中。信息处理装置118通过对这样的差分图像执行物体识别，与对成像图像执行物体识别的情况相比，能够高精度地指定物体。

进而，在本实施方式涉及的信息处理系统110中，即使不通过相机从多个方向对物体进行成像，也能够通过对差分图像执行物体识别来指定物体。在信息处理系统110中，由于不需要从多个方向物体用相机进行成像，因此不需要将多个相机朝向载置台114地设置。通过这样的构成，在本实施方式涉及的信息处理系统110中，能够以更简单的构成来指定物体。

由此，根据本实施方式，可以提供改进的信息处理系统110、信息处理装置118和信息处理方法。

另外，在本实施方式涉及的信息处理系统110中，使用被分别检测到的物体的数量发生了变化时的成像图像和该成像图像的成像时刻之前的成像时刻的成像图像来生成差分图像。通过这样的构成，可以更可靠地使用存在差分的成像图像来生成差分图像。

接着，说明本公开的又一个实施方式涉及的信息处理系统110。在本公开的又一个实施方式中，控制部123使用包括手指所对应的部分图像在内的成像图像的成像时刻的前后的成像时刻的成像图像作为用于差分图像的生成中的上述的成像时刻不同的两个成像图像。在本公开的又一个实施方式中，存储部22可以存储手指的图像等。

控制部123判定在从相机116取得的成像图像中是否包括手指所对应的部分图像。控制部123通过对成像图像执行物体识别来判定是否包括手指所对应的部分图像。

控制部123在判定为手指所对应的部分图像包括在成像图像中的情况下，取得该成像图像的成像时刻的前后的成像时刻的成像图像。例如，控制部123可以取得与包括手指所对应的部分图像在内的成像图像的成像时刻相比在第一时间前的成像时刻的成像图像和与包括手指所对应的部分图像在内的成像图像的成像时刻相比在第二时间后的成像时刻的成像图像。第一时间和第二时间可以考虑到顾客将每个商品放置于载置台114时所需的时间来适当地设定。第一时间和第二时间可以相同也可以不同。在本实施方式中，控制部123取得与包括手指所对应的部分图像在内的成像图像的成像时刻相比在第一时间前的成像时刻的成像图像和与包括手指所对应的部分图像在内的成像图像的成像时刻相比在第二时间后的成像时刻的成像图像。

例如，控制部123取得图19所示的成像图像133。成像图像133是在成像时刻t01成像的图像。在成像时刻t01，顾客用手抓住黄油，并要放置于载置台114的载置面114a。成像图像133包括部分图像133a和部分图像133b。部分图像133a和部分图像133b是成像图像133的一部分。部分图像133a与手指对应。部分图像133b对应于黄油。控制部123判定为在成像图像133中包括手指所对应的部分图像133a。这里，与成像时刻t01相比在第一时间前的成像时刻设为上述的成像图像130的成像时刻t0。另外，与成像时刻t01相比在第二时间后的成像时刻设为上述的成像图像131的成像时刻t1。控制部123使用上述的成像图像130和上述的成像图像131来生成上述的差分图像140。

例如，控制部123取得图20所示的成像图像134。成像图像134是在成像时刻t12成像的图像。在成像时刻t12，顾客用手抓住饭团，并要放置于载置台114的载置面114a。成像图像134包括部分图像134a、部分图像134b和部分图像134c。部分图像134a、部分图像134b和部分图像134c是成像图像134的一部分。部分图像134a与手指对应。部分图像134b与饭团对应。部分图像134c与黄油对应。控制部123判定为在成像图像134中包括手指所对应的部分图像134a。这里，与成像时刻t12相比在第一时间前的成像时刻设为上述的成像图像131的成像时刻t1。另外，与成像时刻t12相比在第二时间后的成像时刻设为上述的成像图像132的成像时刻t2。控制部123使用上述的成像图像131和上述的成像图像132来生成上述的差分图像141。

图21是示出本公开的又一个实施方式涉及的信息处理系统110的物体指定处理的流程图。控制部123可以在开始从相机116图像信号的取得时，开始物体指定处理。控制部123可以将从相机116取得的图像信号存储在存储部122中。另外，控制部123在顾客的结账结束后，可以再次开始物体指定处理。

控制部123通过对成像图像执行物体识别(步骤S620)来判定是否包括手指所对应的部分图像(步骤S621)。控制部123在判定为手指所对应的部分图像包括在成像图像中的情况下(步骤S621：是)，进入步骤S622的处理。另一方面，在未判定为手指所对应的部分图像包括在成像图像中的情况下(步骤S621：否)，回到步骤S620的处理。

在步骤S622的处理中，控制部123使用包括与手指对应的部分图像在内的成像图像的成像时刻的前后的成像时刻的成像图像来生成差分图像。

与图18所示的步骤S613、S614、S615的处理相同地，控制部123执行步骤S623、S624、S625的处理。

图22是示出本公开的又一个实施方式涉及的信息处理系统210的整体构成的图。信息处理系统210包括相机116、信息处理装置118和重量传感器119。信息处理系统210可以包括载置台114、支撑柱115和显示装置117。

重量传感器119检测施加于载置台114的载置面114a的重量。重量传感器119经由通信线路将检测到的重量发送给信息处理装置118。重量传感器119适当配置在能够检测施加于载置面114a的重量的位置。

在本实施方式涉及的信息处理装置118中，通信部120可以包括能够经由通信线路与重量传感器119通信的通信模块。重量传感器119与通信部120之间的通信线路可以构成为包括有线或者无线。

在本实施方式涉及的信息处理装置118中，控制部123使用施加于载置台114的载置面114a的重量发生了变化的时刻的前后的成像时刻的成像图像作为在差分图像的生成中使用的上述的成像时刻不同的两个成像图像。例如，控制部123可以通过通信部120经由通信线路从重量传感器119取得施加于载置台114的载置面114a的重量。控制部123判定施加于载置台114的载置面114a的重量是否变化。控制部123在判定为施加于载置台114的载置面114a的重量发生了变化的情况下，取得施加于载置台114的载置面114a的重量发生了变化的时刻的前后的成像时刻的成像图像。作为重量发生了变化的时刻之前的成像时刻的图像，控制部123可以取得与施加于载置面114a的重量发生了变化的时刻相比在第三时间前的成像时刻的成像图像。第三时间可以考虑到顾客将每个商品放置于载置台114时所需的时间而适当地设定。控制部123可以取得在与施加于载置面114a的重量发生了变化的时刻相比在后成像的成像图像之中的、与施加于载置面114a的重量发生了变化的时刻最接近的成像时刻的成像图像，作为重量发生了变化的时刻之后的成像时刻的成像图像。

例如，在顾客将黄油放置于未载置有任何物品的载置台114上的情况下，由于黄油的重量，施加于载置台114的载置面114a的重量变大。也就是说，施加于载置台114的载置面114a的重量发生变化。控制部123取得上述的成像图像130和成像图像131，作为施加于载置台114的载置面114a的重量发生了变化的时刻的前后的成像时刻的成像图像。控制部123可以使用成像图像130和成像图像131来生成上述的差分图像140。

例如，在顾客将饭团放置于载置了黄油的载置台114上的情况下，由于饭团的重量，施加于载置台114的载置面114a的重量变大。也就是说，施加于载置台114的载置面114a的重量发生变化。控制部123取得上述的成像图像131和成像图像132，作为施加于载置台114的载置面114a的重量发生了变化的时刻的前后的成像时刻的成像图像。控制部123可以使用成像图像131和成像图像132来生成上述的差分图像141。

在施加于载置台114的载置面114a的重量发生了变化时，控制部123可以通过通信部120将指示成像的信号发送给相机116。这里，顾客在购买多个商品的情况下，可以依次将商品放置于载置台114的载置面114a。由于顾客将商品依次放置于载置台114的载置面114a，施加于载置面114a的重量会随时变化。在施加于载置面114a的重量随时变化的情况下，控制部123在施加于载置面114a的重量发生了变化时向相机116发送指示成像的信号，此情况下控制部123可以随时发送指示成像的信号。相机116可以将来自于控制部123的指示成像的信号设为规定触发来对静止图像进行随时成像。

图23是示出本公开的又一个实施方式涉及的信息处理系统210的物体指定处理的流程图。控制部123可以当从相机116开始图像信号的取得开始物体指定处理。控制部123可以将从相机116取得的图像信号存储在存储部122中。另外，控制部123可以在顾客的结账结束之后，再次开始物体指定处理。

控制部123通过通信部120经由通信线路从重量传感器119取得施加于载置台114的载置面114a的重量(步骤S630)。控制部123判定施加于载置台114的载置面114a的重量是否变化(步骤S631)。

控制部123在判定为施加于载置台114的载置面114a的重量发生了变化的情况下(步骤S631：是)，进入步骤S632的处理。另一方面，控制部123在未判定为施加于载置台114的载置面114a的重量发生了变化的情况下(步骤S631：否)，回到步骤S630的处理。

在步骤S632的处理中，控制部123使用施加于载置台114的载置面114a的重量发生了变化的时刻的前后的成像时刻的成像图像来生成差分图像。

与图18所示的步骤S613、S614、S615的处理相同地，控制部123执行步骤S633、S634、S635的处理。

图24是示出本公开的又一个实施方式涉及的差分图像142的一例的图。差分图像142包括分别与两个物体对应的部分图像。例如，差分图像142包括部分图像142a和部分图像142b。部分图像142a和部分图像142b是差分图像142的一部分。部分图像142a与巧克力对应。部分图像142b与饭团对应。

有时多个商品会由顾客一次性放置于载置台114的载置面114a。在多个商品由顾客一次性放置于载置面114a的情况下，可以生成差分图像142这样的包括与多个物体分别对应的部分图像在内的差分图像。

在本实施方式涉及的信息处理装置118中，控制部123在从差分图像分别检测到多个物体的情况下，对各物体所对应的部分图像中的每一个执行物体识别。例如，控制部123可以检测差分图像中的物体的数量。控制部123可以通过由上述的公知的物体检测方法检测差分图像中的物体来检测物体的数量。控制部123判定从差分图像是否分别检测到多个物体。控制部123在判定为从差分图像分别检测到多个物体的情况下，对各物体所对应的部分图像中的每一个执行物体识别。

例如，控制部123从差分图像142检测单独的两个物体。控制部123判定为从差分图像142单独地检测到多个物体。控制部123对各物体所对应的部分图像142a和部分图像142b中的每一个执行物体识别。控制部123通过对部分图像142a执行物体识别，指定部分图像142a所对应的物体为巧克力。控制部123通过对部分图像142b执行物体识别，指定部分图像142b所对应的物体为饭团。

图25是示出本公开的又一个实施方式涉及的信息处理系统110的对于差分图像的物体识别的流程图。可以代替图18所示的步骤S613的处理、图21所示的步骤S623的处理和图23所示的步骤S633的处理来执行对于差分图像的物体识别。在此情况下，控制部123可以在执行图18所示的步骤S612的处理之后、执行图21所示的步骤S622的处理之后或者执行图23所示的步骤S632的处理之后，开始对于差分图像的物体识别。

控制部123检测差分图像中的物体的数量(步骤S640)。控制部123判定是否从差分图像分别检测到多个物体(步骤S641)。

控制部123在未判定为从差分图像单独地检测到多个物体的情况下(步骤S641：否)，进入步骤S642的处理。例如，控制部123在判定为从差分图像检测到一个物体的情况下，进入步骤S642的处理。在步骤S642的处理中，控制部123对差分图像执行物体识别。在步骤S642的处理的执行后，控制部123进入图18所示的步骤S614的处理、图21所示的步骤S624的处理或者图23所示的步骤S634的处理。

控制部123在判定为从差分图像分别检测到多个物体的情况下(步骤S641：是)，进入步骤S643的处理。在进入步骤S643的处理时，控制部123可以将从差分图像检测到的物体的数量存储在存储部122中。

在步骤S643的处理中，控制部123对差分图像中包括的与一个物体对应的部分图像执行物体识别。在步骤S644的处理中，控制部123判定是否对在差分图像中包括的、物体所对应的部分图像的全部执行步骤S643的处理。

控制部123在判定为对于物体所对应的部分图像的全部执行步骤S643的处理的情况下(步骤S644：是)，进入图18所示的步骤S614的处理、图21所示的步骤S624的处理或图23所示的步骤S634的处理。

控制部123在判定为未对物体所对应的部分图像的全部执行步骤S643的处理的情况下(步骤S644：否)，再次执行步骤S643的处理。在再次执行的步骤S643的处理中，控制部123对在从差分图像检测到的物体所对应的部分图像之中未执行物体识别的部分图像执行物体识别。

这样根据本实施方式，在从差分图像分别检测到多个物体的情况下，对各物体所对应的部分图像中的每一个执行物体识别。通过这样的处理可以更高精度地指定物体。

图26是示出本公开的又一个实施方式涉及的信息处理系统310的整体构成的图。信息处理系统310包括购物篮314、相机116、显示装置117和信息处理装置118。

购物篮314可以由来到商店的顾客使用。顾客可以将想要购买的商品放入购物篮314内。

相机116对购物篮314内进行成像。相机116可以配置为能够对购物篮314内进行成像。相机116可以配置在购物篮314的上部的边缘部。相机116可以以能够对购物篮314内进行成像的方式固定在例如购物篮314的上部的边缘部。

相机116可以包括能够与信息处理装置118进行无线通信的通信模块。相机116可以通过该无线模块将图像信号发送给信息处理装置118。

如上所述，信息处理装置118能够基于成像时刻不同的两个成像图像的差分图像来指定在该两个成像图像中的至少任一个中包括的图像所对应的物体。

如图27所示，结算系统411包括至少一个信息处理系统410和服务器412。服务器412可以是物理服务器，也可以是云服务器。信息处理系统410与服务器412可以经由网络413通信。网络413可以是无线、有线或者无线和有线的组合。

信息处理系统410可以被配置在便利店和超市等任意的商店。信息处理系统410可以构成为商店的收银终端。信息处理系统410通过对顾客放置于后述的载置台414的商品进行成像来生成成像图像。信息处理系统410指定生成的成像图像中的物体是商店的哪个商品。在本公开中“成像图像中的物体”意味成像图像中的、作为图像绘制的物体的像。信息处理系统410经由网络413将指定的商品信息发送给服务器412。该商品信息可以包括商品名称和商品的数量等。服务器412基于商品信息来计算对于顾客的帐单金额。服务器412经由网络413将帐单金额发送给信息处理系统410。信息处理系统410通过向顾客提示帐单金额来向顾客请求支付帐单金额。

如图28所示，信息处理系统410包括相机416(成像部)和信息处理装置418。信息处理系统410可以包括载置台414、支撑柱415和显示装置417。

载置台414包括载置面414a。顾客在结账时，将想购买的商品放置在载置面414a。在本实施方式中，载置面414a大致呈矩形状。但是，载置面414a可以是任意的形状。

支撑柱415从载置台414的侧部向载置面414a的法线方向的一侧延伸。该法线方向的一侧可以是在载置面414a的法线方向中远离载置面414a的方向。相机416位于支撑柱415的顶端。

相机416利用成像生成相当于成像图像的图像信号。相机416可以配置为能够对载置台414的载置面414a的至少一部分进行成像。相机416可以以光轴垂直于载置面414a的方式配置。相机416可以配置在支撑柱415的顶端。相机416可以以能够对载置台414的载置面414a进行成像的方式固定在例如支撑柱115的顶端。

相机416可以从信息处理装置418取得指示成像开始的信号。相机416可以在取得指示成像开始的信号时开始成像。相机416经由通信线路将利用成像生成的图像信号输出到信息处理装置418。相机416可以以任意的帧率执行成像。相机416可以以任意的帧率连续地执行成像，也可以基于规定触发来对静止图像进行随时成像。该规定触发可以是来自于信息处理装置418的指示成像的信号。

显示装置417可以构成为包括液晶显示器等任意的显示器。显示装置417基于从信息处理装置418取得的信号来显示图像。例如，显示装置417可以从信息处理装置418取得表示商品的帐单金额的信号。显示装置417可以基于表示该商品的帐单金额的信号来显示表示帐单金额的图像。

显示装置417可以具有触控屏功能。显示装置417可以被配置在靠近载置台414的周边。显示装置417可以配置为在顾客将商品放置于载置台414时朝向顾客一侧。

信息处理装置418可以被配置在载置台414的周边。如图29所示，信息处理装置418包括控制部423。信息处理装置418可以包括通信部420、输入部421和存储部422。

通信部420包括任意的通信模块。该任意的通信模块可以包括：能够经由通信线路与相机416通信的通信模块、能够经由通信线路与显示装置417通信的模块以及能够经由网络413与服务器412通信的通信模块。相机416与通信部420之间的通信线路以及显示装置417与通信部420之间的通信线路可以构成为包括有线或者无线。

输入部421包括能够检测用户输入的一个以上的接口。例如，输入部421可以构成为包括物理键、电容键和触摸屏中的至少任一种。在本实施方式中，输入部421是触控屏。作为触控屏的输入部421与显示装置417一体地设置。

存储部422包括RAM和ROM等任意的存储设备。存储部422存储使控制部423发挥功能的各种程序和控制部423所使用的各种信息。存储部422可以存储商店的商品数据。

商品数据可以包括字符数据。字符数据可以包括附在商品的包装等的字符串。附在商品的包装等的字符串可以与识别商品的识别符相关联。作为识别符的一例，可以列举商品名称、商品码、条形码和任意的ID(Identification)等。以下，为便于说明，识别商品的识别符设为商品名称。字符数据可以用于后述的第一处理。除字符数据以外，商品数据还可以包括在后述的第一处理中使用的任意的数据。例如，在后述的第一处理中使用后述的码识别的情况下，可以包括条形码等一维码、QR码(注册商标)等二维码和识别标记等标记的图像。这些图像可以与识别符相关联。

商品数据可以包括机器学习模型。如后所述，机器学习模型可以通过机器学习和学习数据而生成。机器学习模型可以用于后述的第二处理。机器学习模型可以已经过训练。

商品数据可以包括商品图像数据。商品图像数据可以包括与识别商品的识别符相关联的商品图像。以下，为便于说明，识别商品的识别符可以设为商品名称。商品图像数据可以用于后述的第二处理和第三处理。相同的商品图像数据可以用于后述的第二处理和第三处理。或者，不同的商品图像数据可以用于后述的第二处理和第三处理。在不同的商品图像数据用于后述的第二处理和第三处理的情况下，存储部422可以存储用于第二处理的商品图像数据和用于第三处理的商品图像数据。另外，在后述的第二处理中使用后述的特征量匹配以外的物体识别的情况下，商品数据可以包括与识别符相关联的、根据该物体识别的数据。

控制部423包括一个以上处理器和存储器。处理器可以包括用于读取指定的程序来执行指定的功能的通用的处理器和专用于指定的处理的专用的处理器。专用的处理器可以包括专用集成电路(ASIC)。处理器可以包括可编程逻辑装置(PLD)。PLD可以包括FPGA。控制部423也可以是一个或多个处理器协作的SoC和SiP中的任一个。

控制部423可以通过通信部420经由网络413从服务器412取得上述的商品数据。控制部423可以将取得的商品数据存储在存储部422中。

控制部423可以通过通信部420将指示成像开始的信号发送给相机相机416。当信息处理装置418起动时，控制部423可以发送指示成像开始的信号。控制部423当通过输入部421检测到指示成像开始的用户输入时，发送指示成像开始的信号。该用户输入可以在商店的开店时等由店员从输入部421输入。

控制部423通过通信部420从相机416取得图像信号。控制部423可以通过取得图像信号来取得相当于图像信号的成像图像。控制部423可以将取得的成像图像存储在存储部422中。例如，控制部423可以取得图30所示的成像图像430。

成像图像430包括部分图像430a、部分图像430b和部分图像430c。部分图像430a、部分图像430b和部分图像430c是成像图像430的一部分。部分图像430a与梅子饭团对应。部分图像430b对应于黄油。部分图像430c对应于巧克力。梅子饭团、黄油和巧克力是商店的商品。在梅子饭团的包装和黄油的包装附加有字符串。巧克力的包装被施以条纹。梅子饭团、黄油和巧克力由顾客放置于载置台414的载置面414a。由于在载置台414上饭团重合在黄油之上，部分图像430b的一部分缺失。这里，在本公开中“部分图像的一部分缺失”意味在对实际的部分图像和从相机416观察时的该物体整个外观进行比较的情况下，其实际的部分图像的一部分缺失。由于在载置台414上黄油重合在巧克力之上，部分图像430c的一部分缺失。

控制部423对成像图像执行多种图像处理中的至少任一种。图像处理可以是物体识别处理。物体识别处理可以是检测成像图像中包括的物体所对应的部分图像，并指定该物体是哪个商品的处理。控制部423可以将可靠度赋予执行后的该图像处理的处理结果。可靠度是表示处理结果的可靠性的指标。以下，指定物体是哪个商品设为指定物体的商品名称。多种图像处理包括第一处理、第二处理和第三处理。但是，多种图像处理不限于第一处理、第二处理和第三处理。

第一处理是使用记号识别的物体识别处理。记号识别不受限定，可以包括字符识别和码识别。码识别不受限定，可以包括识别条形码等一维码的处理、识别QR码(注册商标)等二维码的处理、以及识别用于识别商品的识别标记等标记的处理。第一处理可以是使用字符识别、识别一维码的处理、识别二维码的处理、识别标记的处理、或者这些处理的至少一部分的组合的物体识别处理。

在本实施方式中，第一处理设为使用字符识别作为记号识别的物体识别处理。也就是说，在本实施方式中，第一处理是通过字符识别指定成像图像中的物体的商品名称的处理。作为一例，在第一处理中，控制部423从成像图像提取字符图像。控制部423从提取到的字符图像提取字符串。控制部423通过对提取到的字符串进行解析来指定物体的商品名称。作为该解析，控制部423可以通过将提取到的字符串与存储部422的字符数据中包括的字符串逐个进行匹配，来指定提取了字符串的部分图像所对应的物体的商品名称。例如，控制部423从成像图像430的部分图像430a提取“饭团梅子”的字符串。控制部423通过继续将提取到的“饭团梅子”的字符串与存储部422的字符数据逐个进行匹配，来指定部分图像430a所对应的物体的商品名称为商品名称“梅子饭团”。

在第一处理中，控制部423可以将可靠度赋予第一处理的处理结果。控制部423可以基于对提取到的字符串与存储部422的字符数据中包括的字符串进行匹配时的匹配率来计算可靠度。

第一处理的处理速度能够相对较快。例如在第一处理中使用字符识别的情况下，第一处理的处理速度可以比使用后述的特征量匹配的第三处理的处理速度快。

用于执行第一处理的事前的数据准备与用于执行后述的第二处理和第三处理的事前的数据准备相比较容易。例如在第一处理中使用字符识别的情况下，用于第一处理的字符数据可以比用于后述的第二处理和第三处理的商品图像数据更容易地准备。

在第一处理中，如果能够从成像图像提取字符串，控制部423能够通过该字符串来指定物体。在第一处理中，根据载置台414上的物体的状况，与后述的第二处理和第三处理相比，能够高精度地指定该物体。

例如，在商店中销售的商品之中存在即使是不同的商品，外观也类似的商品。作为一例，商品“梅子饭团”与商品“昆布的饭团”是不同的商品。但是，商品“梅子饭团”的外观与商品“昆布的饭团”的外观在这些商品具有相同的三角形状的情况下可能是类似的。有时难以通过后述的第二处理和第三处理从成像图像将外观类似的商品指定为不同的商品。即使是外观类似的商品，如果对该商品附加字符串，则能够通过第一处理从成像图像指定为不同的商品。例如，在第一处理中，控制部423通过从部分图像430a提取“饭团梅子”的字符串，能够将部分图像430a所对应的物体的商品名称指定为“梅子饭团”。

例如，在商店中销售的商品之中有会变形的商品。作为一例，包装是袋的商品会由于从外部被施加力而使袋变形，从而产生变形。当商品变形时，成像图像内的该商品所对应的图像的形状也会变化。当物体所对应的部分图像的形状变化时，有时无法在后述的第二处理中准备能够与变形了的部分图像对应的后述的机器学习模型。在此情况下，有时难以通过后述的第二处理指定该物体。对此，即使部分图像的形状改变，如果可以从该部分图像提取字符串，则能够通过第一处理指定该物体。

例如，有时多个商品在载置台414上重合。由于多个商品重合，有时在成像图像中商品所对应的部分图像的一部分缺失。当物体所对应的部分图像一部分缺失时，有时在后述的第三处理中无法充分提取后述的预先确定的特征量。在此情况下，有时难以通过后述的第三处理指定该物体。即使物体所对应的部分图像一部分缺失，只要能够从该部分图像提取字符串，就能够通过第一处理指定该物体。例如，部分图像430b的一部分缺失。可以从部分图像430b提取“黄油”的字符串。在第一处理中，控制部423通过从部分图像430b提取“黄油”的字符串，能够指定部分图像430b所对应的物体的商品名称为商品名称“黄油”。

第二处理是使用机器学习的物体识别处理。在本实施方式中，第二处理是基于机器学习来指定成像图像中的物体的商品名称的处理。控制部423基于机器学习模型来确定物体识别中使用的特征量。特征量可以包括商品图像中包括的像素的亮度和颜色、商品图像的形状、构成商品图像的像素的数量中的至少任一者。在本实施方式中，物体识别采用特征量匹配，但不受限定。特征量匹配通过将从成像图像提取的特征量与存储部422的商品图像数据的商品图像的特征量逐个进行匹配，来指定物体的商品名称。也就是说，在第二处理中，控制部423通过机器学习模型确定从部分图像提取的特征量。控制部423从部分图像提取所确定的特征量，并将提取到的特征量与存储部422的商品图像数据的商品图像的特征量逐个进行匹配，由此指定物体的商品名称。

在第二处理中，机器学习模型可以基于机器学习和学习数据而生成。在第二处理中，可以使用经过学习的机器学习模型。用于生成机器学习模型的机器学习可以是支持向量机(SVM：Support Vector Machine)、贝叶斯估计和深度学习中的至少任一个。可以通过适当地组合支持向量机、贝叶斯估计和深度学习等来生成机器学习模型。

在第二处理中，控制部423可以将可靠度赋予第二处理的处理结果。控制部423可以基于特征量匹配中的、部分图像的特征量与存储部422的商品图像的特征量之间的匹配率来计算可靠度。

在第二处理中，在特征量匹配等物体识别中使用的特征量可以通过机器学习模型而被确定。与此相对，如后所述，在第三处理中，用于特征量匹配的特征量是预先确定的。第二处理的处理速度由于特征量由机器学习模型确定，因此可以比后述的第三处理的处理速度快。

在第二处理中，根据载置台414上的物体的状况，能够比第一处理和后述的第三处理更高精度地指定该物体。

例如，在商店中销售的商品之中有在包装等上未附有字符串的商品。有时难以从成像图像通过上述的第一处理指定未附有字符串的物体。即使是在包装等未附有字符串的物体，也能够通过第二处理从成像图像进行指定。例如，如图30所示，由于在作为商品的巧克力的包装未附有字符串，因此从部分图像430c无法提取字符串。通过第三处理，能够将部分图像430c的商品名称指定为巧克力。

例如，在商店中销售的商品中，即使作为相同的商品进行销售，也存在每个个体具有不同的外观的商品。作为该商品的一例，可以列举蔬菜和水果等。在每个个体具有不同的外观的商品中，对于每个与商品对应的部分图像，应当用于特征量匹配等物体识别的特征量有时会改变。在此情况下，有时难以通过后述的第三处理从成像图像指定该商品。原因在于，如后所述，在第三处理中，用于特征量匹配的特征量是预先确定的。与此相对，在第二处理中，对于每个部分图像，用于特征量匹配等物体识别的特征量可以由机器学习模型确定。通过这样的构成，即使是对于每个个体具有不同的外观的商品，也能够通过第二处理从成像图像指定为相同的商品。

例如，如上所述，由于多个商品重合，有时在成像图像中商品所对应的图像的一部分缺失。当物体所对应的部分图像的一部分缺失，有时在后述的第三处理中，无法充分提取用于特征量匹配的特征量。在此情况下，有时通过后述的第三处理难以指定该物体。与此相对，在第二处理中，对于每个部分图像，用于特征量匹配等物体识别的特征量可以由机器学习模型确定。另外，即使在物体上附有字符串的情况下，由于物体所对应的部分图像的一部分缺失，因此在第一处理中，有时无法从该图像提取字符串。在此情况下，通过第一处理难以指定该物体。与第一处理不同，在第二处理中，即使由于物体所对应的图像的一部分缺失从而字符串无法提取，也能够从该图像指定物体。

第三处理是使用特征量匹配的物体识别处理。在本实施方式中，第三处理是利用特征量匹配来指定成像图像中的物体的商品名称的处理。与上述的第二处理不同，在第三处理中，用于特征量匹配的特征量是预先确定的。用于特征量匹配的特征量可以从上述的特征量之中适当确定。也就是说，在第三处理中，控制部423从部分图像提取预先确定的特征量。控制部423通过对提取的特征量与存储部422的商品图像数据的商品图像的特征量进行匹配来指定物体的商品名称。

在第三处理中，控制部423可以将可靠度赋予第三处理的处理结果。另外，控制部423可以基于特征量匹配中的、部分图像的特征量与存储部422的商品图像的特征量之间的匹配率来计算可靠度。

用于执行第三处理的事前的数据准备与用于执行上述的第二处理的事前的数据准备相比较容易。例如，在第三处理中，用于特征量匹配的特征量是预先确定的。在第三处理中，由于特征量被预先确定，如上述的第二处理所示也可以不准备用于确定特征量的机器学习模型。

在第三处理中，根据载置台414上的物体的状况，能够与第一处理和第二处理相比更高精度地指定该物体。

例如，如上所述，在商店中销售的商品之中有在包装等未附有字符串的商品。有时难以从成像图像通过上述的第一处理指定未附有字符串的物体。即使是在包装等上未附有字符串的物体，也能够通过第三处理从成像图像指定。

例如，如上所述，在商店中销售的商品之中有会变形的商品。如上所述，当商品变形时，成像图像内的物体所对应的部分图像的形状也会变化。即使是在物体上附有字符串的情况下，根据该物体所对应的部分图像的变形的程度，有时也难以在第一处理中从该部分图像提取字符串。在此情况下，通过第一处理难以指定该物体。与第一处理不同，在第三处理中，即使由于图像变形难以提取字符串，也能够从该部分图像指定物体。另外，有时在第二处理中无法准备变形了的部分图像所能够对应的机器学习模型。在此情况下，难以通过第二处理从变形了的部分图像指定物体。在第三处理中，能够不使用机器学习模型来从变形了的部分图像指定物体。

在本公开中，控制部423基于部分图像所对应的物体的状况或者赋予处理结果的可靠度中的任一个来指定部分图像所对应的物体。在本实施方式中，控制部423基于赋予处理结果的可靠度来指定部分图像所对应的物体。

具体地，控制部423对成像图像执行第一处理、第二处理和第三处理。控制部423将可靠度赋予执行后的第一处理、第二处理和第三处理的处理结果。但是，控制部423执行多种图像处理中的至少两种即可。例如，作为多种图像处理中的至少两种，控制部423可以执行第一处理中包括的字符识别和码识别，也可以执行第一处理和第二处理。另外，控制部423可以并行执行第一处理、第二处理和第三处理，也可以按规定顺序依次执行。另外，控制部423可以在第一处理等的执行前通过公知的物体检测方法从成像图像检测物体的数量。在此情况下，控制部423在从成像图像检测到多个物体的情况下，可以对物体所对应的部分图像中的每一个执行第一处理、第二处理和第三处理，并将可靠度赋予第一处理、第二处理和第三处理的处理结果。例如，控制部423能够从成像图像430检测三个物体。控制部423可以对各物体所对应的部分图像430a、430b、430c中的每一个执行第一处理、第二处理和第三处理，并将可靠度赋予其处理结果。例如，控制部423取得图31所示的处理结果。

如图31所示，作为对部分图像430a的第一处理的处理结果，控制部423指定物体的商品名称为“梅子饭团”。控制部423将赋予该第一处理的处理结果的可靠度计算为95％。另外，作为对部分图像430a的第二处理的处理结果，控制部423指定物体的商品名称为“梅子饭团”。控制部423将赋予该第二处理的处理结果的可靠度计算为65％。另外，作为对部分图像430a的第三处理的处理结果，控制部423指定物体的商品名称为“昆布的饭团”。控制部423将赋予该第三处理的处理结果的可靠度计算为64％。

如图31所示，作为对部分图像430b的第一处理的处理结果，控制部423指定物体的商品名称为“黄油”。控制部423将赋予该第一处理的处理结果的可靠度计算为94％。另外，作为对于部分图像430b的第二处理的处理结果，控制部423指定物体的商品名称为“黄油”。控制部423将赋予该第二处理的处理结果的可靠度计算为90％。另外，作为对部分图像430b的第三处理的处理结果，控制部423指定物体的商品名称为“奶酪”。控制部423将赋予该第三处理的处理结果的可靠度计算为75％。

如图31所示，控制部423由于无法从部分图像430c提取字符串，第一处理的处理结果为无法指定。另外，作为对部分图像430c的第二处理的处理结果，控制部423指定物体的商品名称为“巧克力”。控制部423将赋予该第二处理的处理结果的可靠度计算为80％。另外，作为对于部分图像430c的第三处理的识别结果，控制部423识别物体的商品名称为“巧克力”。控制部423将赋予该第三处理的识别结果的可靠度计算为70％。

在本实施方式中，控制部423基于赋予的可靠度最高的处理结果来指定部分图像所对应的物体。如上所述，控制部423在对于多个物体所分别对应的部分图像中的每一个执行第一处理、第二处理和第三处理的情况下，可以对每个部分图像指定对应的物体。

例如，对于部分图像430a，控制部423取得可靠度最高为95％的第一处理的处理结果。控制部423基于第一处理的处理结果来指定部分图像430a所对应的物体的商品名称为“梅子饭团”。

例如，对于部分图像430b，控制部423取得可靠度最高为94％的第一处理的处理结果。控制部423基于第一处理的处理结果来指定部分图像430b所对应的物体的商品名称为“黄油”。

例如，部分图像430c，控制部423取得可靠度最高为80％的第二处理的处理结果。控制部423基于第二处理的处理结果来指定部分图像430c所对应的物体的商品名称为“巧克力”。

控制部423通过通信部420经由网络413将指定的商品信息发送给服务器412。该商品信息可以包括商品名称和商品的数量等。服务器412从信息处理装置418经由网络413取得该商品信息。服务器412基于该商品信息来计算应向顾客要求的帐单金额。服务器412经由网络413将表示帐单金额的信号发送给信息处理装置418。控制部423通过通信部420经由网络413从服务器412取得表示帐单金额的信号。控制部423通过通信部420将表示帐单金额的信号发送给显示装置417。

图32是示出本公开的又一个实施方式涉及的信息处理系统410的物体指定处理的流程图。控制部423可以在每次从相机416取得相当于一帧成像图像的图像信号时执行物体指定处理。控制部423可以将取得的成像图像存储在存储部422中。

控制部423从成像图像检测物体的数量(步骤S710)。在步骤S710的处理中，控制部423将检测到的物体的数量存储在存储部422中。

控制部423选择未执行后述的步骤S714的处理的部分图像(步骤S711)。控制部423对在步骤S711的处理中选择的部分图像并行执行第一处理、第二处理和第三处理(步骤S712)。在步骤S712的处理中，控制部423将可靠度赋予第一处理、第二处理和第三处理的处理结果。

控制部423从第一处理、第二处理和第三处理的处理结果之中取得可靠度最高的处理结果(步骤S713)。控制部423基于在步骤S713的处理中取得的处理结果来指定物体(步骤S714)。

控制部423判定是否对成像图像中包括的物体所对应的部分图像的全部执行步骤S714的处理(步骤S715)。控制部423在判定为未对该部分图像的全部执行步骤S714的处理的情况下(步骤S715：否)，回到步骤S711的处理。另一方面，控制部423在判定为对该部分图像的全部执行步骤S714的处理的情况下(步骤S715：是)，进入步骤S716的处理。

在步骤S716的处理中，控制部423通过通信部420经由网络413将商品信息发送给服务器412。

这里，根据商店类型，顾客购买的商品的数量有时是一个或两个。在此情况下，可以不执行步骤S710、S711、S715的处理。在不执行步骤S710、S711、S715的处理的情况下，在步骤S712的处理中，控制部423可以对成像图像执行第一处理、第二处理和第三处理。

另外，在步骤S712的处理中，控制部423可以不并行执行第一处理、第二处理和第三处理。例如，控制部423可以按规定顺序依次执行第一处理、第二处理和第三处理。

这样在本实施方式涉及的信息处理装置418中，控制部423对成像图像执行第一处理、第二处理和第三处理。控制部423基于在第一处理、第二处理和第三处理的处理结果之中赋予的可靠度最高的处理结果来从成像图像指定物体。通过基于可靠度最高的处理结果来指定物体，即使不使用从多个方向对载置于载置台414的物体进行成像的图像，也能够高精度地指定物体。由于也可以不从多个方向对载置于载置台414的物体进行成像，信息处理系统410可以简单地构成。由此，根据本实施方式，可以提供改进的信息处理系统410、信息处理装置418和信息处理方法。

说明本公开的又一个实施方式涉及的信息处理装置418的处理。与上述的实施方式相同地，控制部423对成像图像执行第一处理、第二处理和第三处理。与上述的实施方式相同地，控制部423可以使第一处理、第二处理和第三处理并行执行，也可以按规定顺序依次执行。控制部423将可靠度赋予第一处理、第二处理和第三处理的处理结果。与上述的实施方式相同地，控制部423从赋予第一处理、第二处理和第三处理的处理结果的可靠度之中取得最高的可靠度。

在本公开的又一个实施方式中，控制部423在最高的可靠度超过阈值的情况下，基于被赋予了最高的可靠度的处理结果来指定物体。阈值可以基于过去的处理结果的准确率等而适当设定。另一方面，控制部423在最高的可靠度在阈值以下的情况下，基于被赋予了该可靠度的处理结果来指定物体的候选。

例如，假设控制部423得到参照图31的上述的结果。阈值设为90％。

对于部分图像430a，最高的可靠度为赋予第一处理的处理结果的可靠度的95％。对于部分图像430a，控制部423判定为最高的可靠度95％超过阈值90％。控制部423基于第一处理的处理结果来指定部分图像430a所对应的物体的商品名称为“梅子饭团”。

对于部分图像430b，最高的可靠度为赋予第一处理的处理结果的可靠度的94％。对于部分图像430b，控制部423判定为最高的可靠度94％超过阈值90％。控制部423基于第一处理的处理结果来指定部分图像430b所对应的物体的商品名称为“黄油”。

对于部分图像430c，最高的可靠度为赋予第二处理的识别结果的可靠度的80％。对于部分图像430c，控制部423判定为最高的可靠度80％在阈值90％以下。控制部423基于第二处理的识别结果来指定部分图像430c所对应的物体的候选为“巧克力”。

控制部423可以在指定物体的候选的情况下，通过由通信部420将控制信号适当发送给显示装置417来将物体的候选显示于显示装置417。控制部423可以将物体的候选显示于显示装置417来提示给顾客。控制部423可以将规定消息与物体的候选一起显示于显示装置417来提示给顾客。规定消息可以是向顾客询问物体的候选是否与实际的物体一致的消息。在上述的部分图像430c的例子中，规定消息可以是“商品是巧克力？”

控制部423可以根据由输入部421检测到的用户输入来确定或修正物体的候选。控制部423在由输入部421检测到的用户输入是肯定规定消息的输入的情况下，可以将物体的候选指定为针对部分图像的物体。在上述的部分图像430c的例子中，在用户输入是肯定“商品是巧克力？”这样的消息的情况下，控制部423可以将巧克力这一物体的候选确定为部分图像430c所对应的物体。另外，控制部423在用户输入是否定规定消息的输入的情况下，可以修正物体的候选。在此情况下，控制部423可以通过由通信部420将控制信号适当发送给显示装置417，将用于提醒顾客输入正确的商品名称的消息显示于显示装置417。当控制部423通过输入部421检测到表示商品名称的用户输入时，可以将针对部分图像的物体的商品名称修正为用户输入所表示的商品名称。

这里，类似于上述的实施方式，控制部423在第一处理等的执行前，可以通过公知的物体检测方法从成像图像检测物体的数量。在此情况下，控制部423在从成像图像检测到多个物体的情况下，可以对物体所对应的部分图像中的每一个执行第一处理、第二处理和第三处理，并将可靠度赋予第一处理、第二处理和第三处理的处理结果。进而，控制部423可以对每个部分图像根据可靠度来指定物体或指定物体的候选。

图33是示出本公开的又一个实施方式涉及的信息处理系统410的物体指定处理的流程图。控制部423可以在每次从相机416取得相当于一帧成像图像的图像信号时执行物体指定处理。控制部423可以将取得的成像图像存储在存储部422中。

与图32所示的步骤S710的处理相同地，控制部423执行步骤S720的处理。控制部423选择未执行后述的步骤S725或者步骤S728的处理的部分图像(步骤S721)。

控制部423对在步骤S721的处理中选择的部分图像并行执行第一处理、第二处理和第三处理(步骤S722)。在步骤S722的处理中，控制部423将可靠度赋予第一处理、第二处理和第三处理的处理结果。

控制部423从赋予第一处理、第二处理、第三处理的识别结果的可靠度之中取得最高的可靠度(步骤S723)。控制部423判定最高的可靠度是否超过阈值(步骤S724)。控制部423在判定为最高的可靠度超过阈值的情况下(步骤S724：是)，进入步骤S725的处理。另一方面，控制部423在判定为最高的可靠度在阈值以下的情况下(步骤S724：否)，进入步骤S726的处理。

在步骤S725的处理中，控制部423基于被赋予了最高的可靠度的处理结果来指定部分图像所对应的物体。

在步骤S726的处理中，控制部423基于被赋予了最高的可靠度的处理结果来指定物体的候选。在步骤S727的处理中，控制部423将物体的候选显示于显示装置417来提示给顾客。在步骤S728的处理中，控制部423根据通过输入部421检测到的用户输入来对物体的候选进行确定或修正。

在步骤S729的处理中，控制部423判定是否对成像图像中包括的物体所对应的部分图像的全部执行步骤S725的处理或步骤S728的处理。控制部423在判定为未对该部分图像的全部执行步骤S725的处理或者步骤S728的处理的情况下(步骤S729：否)，回到步骤S721的处理。另一方面，控制部423在判定为对该部分图像的全部执行步骤S725的处理或步骤S728的处理的情况下(步骤S729：是)，进入步骤S730的处理。

在步骤S730的处理中，控制部423通过通信部420将利用步骤S725的处理而指定的商品信息或者利用步骤S728的处理而确定或修正的商品信息经由网络413发送给服务器412。

这里，根据商店类型，顾客购买的商品的数量有时是一个或两个。在此情况下，可以不执行步骤S720、S721、S729的处理。在不执行步骤S720、S721、S729的处理的情况下，在步骤S722的处理中，控制部423可以执行对成像图像执行第一处理、第二处理和第三处理。

另外，在步骤S722的处理中，控制部423可以不并行执行第一处理、第二处理和第三处理。例如，控制部423可以按规定顺序依次执行第一处理、第二处理和第三处理。

说明本公开的又一个实施方式涉及的信息处理装置418的处理。在本实施方式中，控制部423按规定顺序对成像图像执行多种图像处理。以下，规定顺序设为第一处理、第二处理和第三处理的顺序。但是，规定顺序不限于第一处理、第二处理和第三处理的顺序。

控制部423对成像图像执行第一处理，并且将可靠度赋予执行后的第一处理的处理结果。控制部423在赋予的可靠度超过阈值的情况下，基于第一处理的处理结果来指定部分图像所对应的物体。如上所述，阈值可以基于过去的处理结果的准确率等而适当设定。如上所述，第一处理的处理速度能够相对较快。通过首先执行第一处理，在商品附有字符串的情况下，能够更快地指定物体。

控制部423在赋予第一处理的处理结果的可靠度在阈值以下的情况下，对成像图像执行第二处理。控制部423将可靠度赋予第二处理的处理结果。控制部423在赋予第二处理的处理结果的可靠度超过阈值的情况下，基于第二处理的处理结果来指定物体。如上所述，第二处理的处理速度能够比第三处理的处理速度快。通过将第二处理先于第三处理执行，在物体可以由第二处理指定的情况下，能够更快地指定物体。

控制部423在赋予第二处理的处理结果的可靠度在阈值以下的情况下，对成像图像执行第三处理。控制部423将可靠度赋予第三处理的处理结果。控制部423在赋予第三处理的处理结果的可靠度超过阈值的情况下，基于第三处理的处理结果来指定物体。

控制部423在赋予第三处理的处理结果的可靠度在阈值以下的情况下，基于第一处理的处理结果、第二处理的处理结果和第三处理的处理结果中的任一个来指定物体的候选。控制部423可以基于在第一处理、第二处理和第三处理的处理结果中，被赋予了最高的可靠度的处理结果来指定物体的候选。与上述的实施方式相同地，控制部423可以在指定物体的候选的情况下，通过由通信部420将控制信号适当发送给显示装置417来将物体的候选显示于显示装置417。控制部423可以将物体的候选显示于显示装置417来提示给顾客。与上述的实施方式相同地，控制部423可以将规定消息与物体的候选一起显示于显示装置417来提示给顾客。与上述的实施方式相同地，控制部423可以根据通过输入部421检测到的用户输入来对物体的候选进行确定或修正。

这里，类似于上述的实施方式，控制部423可以在第一处理等的执行前，通过公知的物体检测方法来从成像图像检测物体的数量。在此情况下，在控制部423从成像图像检测到多个物体的情况下，可以对物体所对应的部分图像中的每一个依次执行第一处理、第二处理和第三处理，并将可靠度赋予第一处理、第二处理和第三处理的处理结果。进而，控制部423可以对于每个部分图像根据可靠度来指定物体或指定物体的候选。

图34是示出本公开的又一个实施方式涉及的信息处理系统410的物体指定处理的流程图。控制部423可以在每次从相机416取得相当于一帧成像图像的图像信号时执行物体指定处理。控制部423可以将取得的成像图像存储在存储部422中。

与图32所示的步骤S710的处理相同地，控制部423执行步骤S740的处理。控制部423选择未执行后述的步骤S744、S747、S750、S753的处理的任一个的部分图像(步骤S741)。

控制部423对在步骤S741的处理中选择的部分图像执行第一处理(步骤S742)。在步骤S742的处理中，控制部423将可靠度赋予执行后的第一处理的处理结果。

控制部423判定赋予第一处理的处理结果的可靠度是否超过阈值(步骤S743)。控制部423在判定为可靠度超过阈值的情况下(步骤S743：是)，进入步骤S744的处理。另一方面，控制部423在判定为可靠度在阈值以下的情况下(步骤S743：否)，进入步骤S745的处理。

在步骤S744的处理中，控制部423基于第一处理的处理结果来指定部分图像所对应的物体。在执行步骤S744的处理之后，控制部423进入步骤S754的处理。

在步骤S745的处理中，控制部423对在步骤S741的处理中选择的部分图像执行第二处理。在步骤S745的处理中，控制部423将可靠度赋予第二处理的处理结果。

在步骤S746的处理中，控制部423判定赋予第二处理的处理结果的可靠度是否超过阈值。控制部423在判定为可靠度超过阈值的情况下(步骤S746：是)，进入步骤S747的处理。另一方面，控制部423在判定为可靠度在阈值以下的情况下(步骤S746：否)，进入步骤S748的处理。

在步骤S747的处理中，控制部423基于第二处理的处理结果来指定物体。在执行步骤S747的处理之后，控制部423进入步骤S754的处理。

在步骤S748的处理中，控制部423对在步骤S741的处理中选择的部分图像执行第三处理。在步骤S748的处理中，控制部423将可靠度赋予第三处理的处理结果。

在步骤S749的处理中，控制部423判定赋予第三处理的处理结果的可靠度是否超过阈值。控制部423在判定为可靠度超过阈值的情况下(步骤S749：是)，进入步骤S750的处理。另一方面，控制部423在判定为可靠度在阈值以下的情况下(步骤S749：否)，进入步骤S751的处理。

在步骤S750的处理中，控制部423基于第三处理的处理结果来指定物体。在执行步骤S750的处理之后，控制部423进入步骤S754的处理。

在步骤S751的处理中，控制部423基于第一处理的处理结果、第二处理的处理结果和第三处理的处理结果中的任一个来指定物体的候选。在步骤S752的处理中，控制部423将物体的候选显示于显示装置417来提示给顾客。在步骤S753的处理中，控制部423根据通过输入部421检测到的用户输入来对物体的候选进行确定或者修正。在执行步骤S753的处理之后，控制部423进入步骤S754的处理。

在步骤S754的处理中，控制部423判定是否对成像图像中包括的物体所对应的部分图像的全部执行步骤S744、S747、S750、S753的处理中的任一个。控制部423在判定为未对该部分图像的全部执行步骤S744、S747、S750、S753的处理中的任一个的情况下(步骤S754：否)，回到步骤S741的处理。另一方面，控制部423在判定为对该部分图像的全部执行步骤S744、S747、S750、S753的处理中的任一个的情况下(步骤S754：是)，进入步骤S755的处理。

在步骤S755的处理中，控制部423通过通信部420将在步骤S744、S747、S750的处理中指定的商品信息以及在步骤S753的处理中确定或修正的商品信息经由网络413发送给服务器412。

这里，根据商店类型，顾客购买的商品的数量有时是一个或两个。在此情况下，可以不执行步骤S740、S741、S754的处理。在不执行步骤S740、S741、S754的处理的情况下，在步骤S742、S745、S748的处理中，控制部423可以对成像图像执行第一处理、第二处理和第三处理。

说明本公开的又一个实施方式涉及的信息处理装置418的处理。在本实施方式中，控制部423在从成像图像检测载置台414上的规定状况的物体的情况下，对该物体所对应的部分图像执行根据该规定状况的图像处理并指定该物体。

作为规定状况，在从成像图像检测到重叠着的物体的情况下，控制部423可以对该物体所对应的部分图像执行第二处理并检测该物体。控制部423可以使用公知的方法来从成像图像检测重叠的物体。重叠的物体可以是在重合物体中由于位于另一物体之下而使对应的部分图像缺失的物体。在此情况下，在上述的成像图像430(图30)的例子中，重叠的物体可以是部分图像430b所对应的黄油和部分图像430c所对应的巧克力。或者，重叠的物体可以是全部的重合的物体。在此情况下，在上述的成像图像430中，重叠的物体可以是部分图像430a所对应的饭团、部分图像430b所对应的黄油和部分图像430c所对应的巧克力。

作为规定状况，在从成像图像检测到变形了的物体的情况下，控制部423可以对该物体所对应的部分图像执行第三处理并检测该物体。控制部423可以使用公知的方法从成像图像检测变形了的物体。

作为规定状况，在从成像图像检测到的物体未重叠和未变形的情况下，控制部423可以对该物体所对应的部分图像执行第一处理并检测该物体。另外，作为规定状况，在从规定图像检测到字符串的情况下，控制部423可以执行第一处理并指定字符串被检测到的物体。

作为规定状况，在从成像图像检测到产生光晕的物体的情况下，控制部423可以对该物体所对应的部分图像执行第二处理并指定该物体。当来自于物体的一部分的反射光的光量局部较大时，在该物体所对应的部分图像中会出现光晕。作为产生光晕的物体的一例，可以列举包括镜面的物体和包括光泽面的物体等。控制部423可以使用公知的方法来从成像图像检测产生光晕的物体。控制部423可以对部分图像中的除产生光晕的区域以外的区域执行第二处理并指定物体。这里，在部分图像中产生光晕的情况下，有时即使在该物体上附有字符串，控制部423也无法从该部分图像提取字符串。在此情况下，可能难以通过第一处理指定该物体。另外，在部分图像中产生光晕的情况下，控制部423有时无法从该部分图像检测用于第三处理的特征量。在此情况下，可能难以通过第三处理指定该物体。

作为规定状况，在从成像图像测定到破损的物体的情况下，控制部423可以通过由通信部420将控制信号适当发送给显示装置417来将商品破损的信息显示于显示装置417。控制部423可以将商品破损的信息显示于显示装置417来提示给顾客和/或店员。

作为规定状况，在从成像图像检测到脏的物体的情况下，控制部423可以通过由通信部420将控制信号适当发送给显示装置417来将商品脏了的信息显示于显示装置417。控制部423可以将商品脏了的信息显示于显示装置417来提示给顾客和/或店员。

这里，类似于上述的实施方式，控制部423可以通过公知的物体检测方法从成像图像检测物体的数量。在此情况下，控制部423可以在从成像图像检测到多个物体的情况下，对该物体所对应的部分图像中的每一个执行多种图像处理中的、根据该物体的状况的图像处理，并指定该物体。

以下，说明上述的处理的一例。控制部423取得图35所示的成像图像431。成像图像431包括部分图像431a、部分图像431b和部分图像431c。部分图像431a、部分图像431b和部分图像431c是成像图像431的一部分。控制部423可以判定为部分图像431a所对应的物体未重叠且未变形。控制部423可以判定为部分图像431b所对应的物体和部分图像431c所对应的物体重叠。控制部423可以对部分图像431a执行第一处理，并指定部分图像431a所对应的物体的商品名称为“梅子饭团”。控制部423可以对部分图像431b和部分图像431c执行第二处理，并指定部分图像431b所对应的物体的商品名称为“黄油”，部分图像430c所对应的物体的商品名称为“巧克力”。

图36是示出本公开的又一个实施方式涉及的信息处理系统410的物体指定处理的流程图。控制部423可以在每次从相机416取得相当于一帧成像图像的图像信号时执行物体指定处理。控制部423可以将取得的成像图像存储在存储部422中。

与图32所示的步骤S710的处理相同地，控制部423执行步骤S760的处理。控制部423选择未执行后述的步骤S764、S767、S769的处理中的任一个的部分图像(步骤S761)。

控制部423判定在步骤S761的处理中选择的部分图像所对应的物体是否重叠(步骤S762)。控制部423在判定为该物体重叠的情况下(步骤S762：是)，进入步骤S763的处理。另一方面，控制部423在判定为该物体未重叠的情况下(步骤S762：否)，进入步骤S765的处理。

在步骤S763的处理中，控制部423对在步骤S761的处理中选择的部分图像执行第二处理。在步骤S764的处理中，控制部423基于步骤S763的处理中的第二处理的处理结果来指定部分图像所对应的物体。在执行步骤S764的处理之后，控制部423进入步骤S770的处理。

在步骤S765的处理中，控制部423判定在步骤S761的处理中选择的部分图像所对应的物体是否变形。控制部423在判定为该物体变形的情况下(步骤S765：是)，进入步骤S766的处理。另一方面，控制部423在判定为该物体未变形的情况下(步骤S765：否)，进入步骤S768的处理。

在步骤S766的处理中，控制部423对在步骤S761的处理中选择的部分图像执行第三处理。在步骤S767的处理中，控制部423基于步骤S766的处理中的第三处理的处理结果来指定部分图像所对应的物体。在执行步骤S766的处理之后，控制部423进入步骤S770的处理。

在步骤S768的处理中，控制部423对在步骤S761的处理中选择的部分图像执行第一处理。也就是说，控制部423在步骤S761的处理中选择的部分图像所对应的物体未重叠且未变形的情况下，对部分图像执行第一处理。在步骤S769的处理中，控制部423基于步骤S768的处理中的第一处理的处理结果来指定部分图像所对应的物体。在执行步骤S769的处理之后，控制部423进入步骤S770的处理。

在步骤S770的处理中，控制部423判定是否对成像图像中包括的物体所对应的部分图像的全部执行步骤S764、S767、S769的处理中的任一个。控制部423在判定为未对该部分图像的全部的全部执行步骤S764、S767、S769的处理中的任一个的情况下(步骤S770：否)，回到步骤S761的处理。另一方面，控制部423在判定为对该部分图像的全部执行步骤S764、S767、S769的处理中的任一个的情况下(步骤S770：是)，进入步骤S771的处理。

在步骤S771的处理中，控制部423通过通信部420将在步骤S764、S767、S769的处理中指定的商品信息经由网络413发送给服务器412。

这里，根据商店类型，顾客购买的商品的数量有时是一个或两个。在此情况下，可以不执行步骤S760、S761、S770的处理。在不执行步骤S760、S761、S770的处理的情况下，在步骤S763、S766、S768的处理中，控制部423可以对成像图像分别执行第一处理、第二处理和第三处理。

说明本公开的又一个实施方式涉及的信息处理装置418的处理。在本实施方式中，在信息处理装置418中，说明计算商品的价钱的处理。在本实施方式中，存储部422可以存储与商品名称相关联的商品的价格。

在指定物体的商品名称之后，控制部423判定在该物体所对应的部分图像中是否包括折扣标签的图像。控制部423在判定为包括折扣标签的图像的情况下，从折扣标签的图像取得折扣的信息。例如，控制部423取得“XX日元折扣”这样的信息。控制部423基于取得的信息与存储在存储部422中的商品的价格来确定商品的价钱。另一方面，控制部423在判定为未包括折扣标签的图像的情况下，将存储在存储部422中的商品的价格确定为商品的价钱。

控制部423可以通过通信部420将确定的商品的价钱经由网络413发送给服务器412。或者，控制部423可以通过由通信部420将控制信号适当发送给显示装置417来将商品的价钱显示于显示装置417。控制部423可以将商品的价钱显示于显示装置417来提示给顾客。

图37是示出本公开的又一个实施方式涉及的信息处理系统410的商品的价钱的计算处理的流程图。控制部423可以执行商品的价钱的计算处理来代替图35所示的步骤S716的处理、图33所示的步骤S730的处理、图34所示的步骤S755的处理和图36所示的步骤S771的处理。

控制部423判定是否在物体所对应的部分图像中包括折扣标签的图像(步骤S780)。控制部423在判定为包括折扣标签的图像的情况下(步骤S780：是)，进入步骤S781的处理。另一方面，控制部423在判定为未包括折扣标签的图像的情况下(步骤S780：否)，进入步骤S782的处理。

在步骤S782的处理中，控制部423从折扣标签的图像取得折扣的信息。

在步骤S783的处理中，在步骤S782的处理中取得折扣的信息的情况下，控制部423基于取得的信息与存储在存储部422中的商品的价格来确定商品的价钱。控制部423在步骤S781的处理中在判定为未包括折扣标签的图像的情况下，将存储在存储部422的商品的价格确定为商品的价钱。

在步骤S784的处理中，通过通信部420将确定的商品的价钱经由网络413发送给服务器412。控制部423可以将商品的价钱显示于显示装置417来提示给顾客来代替将确定的商品的价钱发送给服务器412。

尽管已经基于附图和实施例说明了本公开，但是应当注意，本领域技术人员可以容易地基于本公开进行各种变形和修正。因此，应当注意，这些变形和修正包括在本公开的范围中。例如，可以以包括在各装置或者各步骤等中的功能等在逻辑上不矛盾的方式重新配置，可以将多个装置或步骤等组合为一个或进行分割。

例如，在上述的实施方式中，如图5、图6所示，信息处理系统10是在第一方式和第二方式中计算容易度，并基于该容易度从第一部分图像im_p1和第二部分图像im_p2中的一个进行物体识别的构成，但也可以不计算容易度而从预定的一个进行物体识别。

另外，在上述的实施方式中，信息处理系统10为包括在收银终端中的构成，但应用对象不限于收银终端。例如，信息处理系统10可以应用于仓库等中的库存确认和缺陷产品的检测等中的物体识别。

例如，在上述的实施方式中，说明相机416对由顾客放置于载置台414的载置面414a的商品进行成像的情况。但是，相机416所成像的商品不限于放置在载置台414的载置面414a上的商品。例如，相机416可以对顾客未放置于载置台414的载置面414a而是保持在相机416的前面的商品进行成像。

在本公开中，“第一”和“第二”等记载是用于区分该构成的标识符。本公开中的由“第一”和“第二”等记载区分的构成能够对该构成中的编号进行交换。例如，第一图像部分能够与第二图像部分交换作为标识的“第一”和“第二”。标识的交换同时进行。在标识的交换后该构成也被区分。可以删除标识。删除了标识的构成由符号进行区分。仅基于本公开中的“第一”和“第二”等标识的记载不应用作对该构成的顺序的解释、不应用作存在较小编号的标识的理由。

附图文字说明

10：信息处理系统

11：结算系统

2：服务器

13：网络

14：相机

15：反射部

16：显示器

17：信息处理装置

18：载置台

19：支撑柱

20：通信部

21：输入部

22：存储部

23：控制部

im：图像

im_p1：第一部分图像

Im_p2：第二部分图像

rs：反射面

us：上表面

110、210、310：信息处理系统

11：结算系统

12：服务器

113：网络

114：载置台

114a：载置面

115：支撑柱

116：相机

117：显示装置

118：信息处理装置

119：重量传感器

120：通信部

121：输入部

314：购物篮

122：存储部

123：控制部

130、31、132、133、134：成像图像

131a、132a、132b、133a、133、134a、134b、134c：部分图像

140、141、142：差分图像

140a、141a、142a、42b：部分图像

40：信息处理系统

411：结算系统

412：服务器

413：网络

414：载置台

44a：载置面

45：支撑柱

416：相机

417：显示装置

418：信息处理装置

420：通信部

21：输入部

422：存储部

423：控制部

430、431：成像图像

430a、430b、430c、431a、431b、431c：部分图像

Claims (42)

1.一种信息处理系统，其中，具备：

成像部，利用成像生成图像信号；以及

信息处理装置，对相当于所述图像信号的成像图像执行多种图像处理中的至少任一种，

所述信息处理装置基于所述成像图像中包括的部分图像所对应的物体的状况或者对执行后的所述图像处理的处理结果赋予的可靠度中的任一方来指定所述成像图像中包括的部分图像所对应的物体。

2.根据权利要求1所述的信息处理系统，其中，

在所述图像处理中，使用记号识别、机器学习和特征量匹配中的至少任一方。

3.根据权利要求1或2所述的信息处理系统，其中，

所述信息处理装置执行多种所述图像处理中的至少两种并对执行后的所述图像处理的处理结果赋予可靠度，并且基于所赋予的可靠度最高的所述处理结果来指定所述物体。

4.根据权利要求3所述的信息处理系统，其中，

所述信息处理装置在从所述成像图像检测到多个物体的情况下，对该物体所对应的部分图像中的每一个执行多种所述图像处理中的至少两种，并对执行后的所述图像处理的处理结果赋予可靠度，并且基于所赋予的可靠度最高的所述处理结果来指定所述物体。

5.根据权利要求1或2所述的信息处理系统，其中，

所述信息处理装置执行多种所述图像处理中的至少两种并对执行后的所述图像处理的处理结果赋予可靠度，并且在最高的可靠度超过阈值的情况下，基于被赋予所述最高的可靠度的所述处理结果来指定所述物体。

6.根据权利要求1或2所述的信息处理系统，其中，

所述信息处理装置执行多种所述图像处理中的至少两种并对执行后的所述图像处理的处理结果赋予可靠度，并且在最高的所述可靠度在阈值以下的情况下，基于被赋予所述最高的可靠度的所述处理结果来指定所述物体的候选。

7.根据权利要求5或6所述的信息处理系统，其中，

所述信息处理装置在从所述成像图像检测到多个物体的情况下，对该物体所对应的部分图像中的每一个执行多种所述图像处理中的至少两种，并指定该物体或指定该物体的候选。

8.根据权利要求1或2所述的信息处理系统，其中，

所述信息处理装置对所述成像图像执行多种所述图像处理中的第一处理并对执行后的所述第一处理的处理结果赋予可靠度，并且在所赋予的所述可靠度超过阈值的情况下，基于所述第一处理的处理结果来指定所述物体。

9.根据权利要求8所述的信息处理系统，其中，

所述信息处理装置在对所述第一处理的处理结果赋予的所述可靠度在所述阈值以下的情况下，对所述成像图像执行多种所述图像处理中的与所述第一处理不同的第二处理并将对执行后的所述第二处理的处理结果赋予可靠度，并且在对所述第二处理的处理结果赋予的可靠度超过所述阈值的情况下，基于所述第二处理的处理结果来指定所述物体。

10.根据权利要求9所述的信息处理系统，其中，

所述第一处理是使用字符识别的物体识别处理，所述第二处理是使用机器学习的物体识别处理，

所述信息处理装置在对所述第二处理的处理结果赋予的所述可靠度在所述阈值以下的情况下，对所述成像图像执行与所述第二处理不同的第三处理并对执行后的所述第三处理的处理结果赋予可靠度，并且在对所述第三处理的处理结果赋予的可靠度超过所述阈值的情况下，基于所述第三处理的处理结果来指定所述物体，其中，所述第三处理为多种所述图像处理中的使用特征量匹配的物体识别处理。

11.根据权利要求10所述的信息处理系统，其中，

所述信息处理装置在从所述成像图像检测到多个物体的情况下，对该物体所对应的部分图像中的每一个依次执行所述第一处理、所述第二处理和所第三处理。

12.根据权利要求1或2所述的信息处理系统，其中，

所述信息处理装置在从所述成像图像检测到规定状况的物体的情况下，对该物体所对应的部分图像执行多种所述图像处理中的、根据该规定状况的图像处理来指定该物体。

13.根据权利要求12所述的信息处理系统，其中，

所述信息处理装置在从所述成像图像检测到重叠的物体的情况下，对该物体所对应的部分图像执行多种所述图像处理中的、使用机器学习的物体识别处理即第二处理来指定该物体。

14.根据权利要求12所述的信息处理系统，其中，

所述信息处理装置在从所述成像图像检测到变形了的物体的情况下，对该物体所对应的部分图像执行多种所述图像处理中的、使用特征量匹配的物体识别处理即第三处理来指定该物体。

15.根据权利要求12所述的信息处理系统，其中，

所述信息处理装置在从所述成像图像检测到的物体未重叠且未变形的情况下，对该物体所对应的部分图像执行多种所述图像处理中的、使用字符识别的物体识别处理即第一处理来指定该物体。

16.根据权利要求12所述的信息处理系统，其中，

所述信息处理装置在从所述成像图像检测到多个物体的情况下，对该物体所对应的部分图像中的每一个执行多种所述图像处理中的、根据该物体的状况的图像处理来指定该物体。

17.根据权利要求1～16中任一项所述的信息处理系统，其中，

还具备：载置台，供作为所述物体的商品载置，

所述成像部配置为能够对所述载置台的载置面进行成像。

18.一种信息处理装置，其中，具备：

通信部，能够与利用成像生成图像信号的成像部进行通信；以及

控制部，由所述通信部取得相当于所述图像信号的成像图像，并对取得的所述成像图像执行多种图像处理中的至少任一种，

所述控制部基于所述成像图像中包括的部分图像所对应的物体的状况或者对执行后的所述图像处理的处理结果赋予的可靠度中任一方来指定在所述成像图像中包括的部分图像所对应的物体。

19.一种信息处理方法，其中，包括：

利用成像生成图像信号；

取得相当于所述图像信号的成像图像，并对取得的所述成像图像执行多种图像处理中的至少任一种；并且

基于所述成像图像中包括的部分图像所对应的物体的状况或者对执行后的所述图像处理的处理结果赋予的可靠度中的任一方来指定所述成像图像中包括的部分图像所对应的物体。

20.一种信息处理系统，其中，具备：

成像部，利用成像生成图像信号；以及

信息处理装置，取得相当于所述图像信号的成像图像，并基于成像时刻不同的两个所述成像图像的差分图像来指定该两个成像图像中的至少任一个中包括的部分图像所对应的物体。

21.根据权利要求20所述的信息处理系统，其中，

所述信息处理装置通过对所述差分图像执行物体识别来指定所述物体。

22.根据权利要求21所述的信息处理系统，其中，

所述信息处理装置在从所述差分图像分别检测到多个物体的情况下，对各物体所对应的部分图像中的每一个执行所述物体识别。

23.根据权利要求20～22中任一项所述的信息处理系统，其中，

所述信息处理装置在判定为在两个所述成像图像存在差分的情况下，生成所述差分图像。

24.根据权利要求23所述的信息处理系统，其中，

所述信息处理装置从所述成像图像检测物体的数量，并使用被分别检测到的物体的数量发生了变化时的所述成像图像和该成像图像的成像时刻之前的成像时刻的所述成像图像来生成所述差分图像。

25.根据权利要求24所述的息处理系统，其中，

所述信息处理装置使用所述物体的数量变化前的成像图像作为所述成像时刻之前的成像时刻的成像图像。

26.根据权利要求20～22中任一项所述的信息处理系统，其中，

所述信息处理装置使用包括手指所对应的部分图像在内的所述成像图像的成像时刻的前后的成像时刻的成像图像作为所述成像时刻不同的两个成像图像。

27.根据权利要求20～26中任一项所述的信息处理系统，其中，

还具备：载置台，供作为所述物体的商品载置，

所述成像部配置为能够对所述载置台的载置面进行成像。

28.根据权利要求20～22中任一项所述的信息处理系统，其中，

还具备：

载置台，供作为所述物体的商品载置；以及

重量传感器，检测施加于所述载置台的载置面的重量，

所述信息处理装置使用施加于所述载置面的重量发生了变化的时刻的前后的成像时刻的成像图像作为所述成像时刻不同的两个成像图像。

29.一种信息处理装置，其中，具备：

通信部，能够与利用成像生成图像信号的成像部进行通信；以及

控制部，由所述通信部取得相当于所述图像信号的成像图，并基于成像时刻不同的两个所述成像图像的差分图像来指定该两个成像图像中的至少任一个中包括的部分图像所对应的物体。

30.一种信息处理方法，其中，包括：

利用成像生成图像信号；并且

取得相当于所述图像信号的成像图像，并基于成像时刻不同的两个所述成像图像的差分图像来指定该两个成像图像中的至少任一个中包括的部分图像所对应的物体。

31.一种信息处理系统，其中，具备：

相机，利用成像生成图像信号；

反射部，配置在所述相机的成像范围内，其反射面相对于所述相机的光轴倾斜；以及

信息处理装置，对相当于从所述相机接收的图像信号的图像的整个区域中的、所述反射部所占据的区域中的第一部分图像和该区域外的区域中的第二部分图像进行物体识别。

32.根据权利要求31所述的信息处理系统，其中，

所述信息处理装置对所述第一部分图像和所述第二部分图像中的一方进行物体识别，计算利用该物体识别得到的物体的暂时识别结果的可靠度，并在该可靠度超过阈值的情况下，确定该物体的暂时识别结果。

33.根据权利要求32所述的信息处理系统，其中，

所述信息处理装置在利用所述物体识别得到的针对至少一部分物体的所述可靠度在阈值以下的情况下，在所述第一部分图像和所述第二部分图像中的另一方中进行物体识别，并确定利用该物体识别得到的全部物体的暂时识别结果。

34.根据权利要求32所述的信息处理系统，其中，

所述信息处理装置在利用所述物体识别得到的针对物体的所述可靠度在阈值以下的情况下，在所述第一部分图像和所述第二部分图像中的另一方中的包括该物体的部分中进行物体识别，并确定利用该物体识别进行暂时识别的该物体的暂时识别结果。

35.根据权利要求32～34中任一项所述的信息处理系统，其中，

信息处理装置，计算所述第一部分图像和所述第二部分图像中的物体识别的容易度，并先对在所述第一部分图像和所述第二部分图像中的所述容易度较高的一方进行物体识别。

36.根据权利要求31所述的信息处理系统，其中，

所述信息处理装置分别对所述第一部分图像和所述第二部分图像进行物体识别，并将在所述第一部分图像中被暂时识别的物体与在所述第二部分图像中被暂时识别的物体相关联，在相关联的物体的各自的暂时识别结果一致的情况下确定该物体的暂时识别结果。

37.根据权利要求36所述的信息处理系统，其中，

所信息处理装置在相关联的物体的各自的暂时识别结果不同的情况下，提示所述各自的暂时识别结果。

38.根据权利要求37所述的信息处理系统，其中，

所述信息处理装置按针对所述各自的暂时识别结果的各自的可靠度从高到低的顺序提示所述各自的暂时识别结果。

39.根据权利要求36～38中任一项所述的信息处理系统，其中，

所述信息处理装置计算利用对所述第一部分图像和所述第二分图像的物体识别得到的每个物体的暂时识别结果的可靠度，

在相关联的物体的各自的暂时识别结果不同且至少一方的暂时识别结果的可靠度超过阈值的情况下，将可靠度高的暂时识别结果确定为该物体的识别结果。

40.根据权利要求31所述的信息处理系统，其中，

所述信息处理装置分别在所述第一部分图像和所述第二部分图像中检测物体，并将在所述第一部分图像中被检测的物体与在所述第二部分图像中被检测的物体相关联，将相关联的物体的分别在所述第一部分图像和所述第二部分图像中检测的部分组合并进行物体识别，确定利用该物体识别得到的物体的暂时识别结果。

41.一种信息处理装置，其中，具备：

通信部，接收通过相机成像生成的图像信号，该相机在成像范围内包括反射面相对于该相机的光轴倾斜的反射部；

控制部，使用相当于所述图像信号的图像的整个区域中的、所述反射部所占据的区域中的第一部分图像与该区域以外的区域中的第二部分图像，来进行物体识别。

42.一种信息处理方法，其中，

利用相机成像生成图像信号，该相机在成像范围内包括反射面相对于该相机的光轴倾斜的反射部，

使用相当于所述图像信号的图像的整个区域中的、所述反射部所占据的区域中的第一部分图像与该区域以外的区域中的第二部分图像来进行物体识别。

Images