CN113396435A - 信息处理设备、信息处理方法和记录介质 - Google Patents

信息处理设备、信息处理方法和记录介质 Download PDF

Info

Publication number
CN113396435A
CN113396435A CN202080010028.7A CN202080010028A CN113396435A CN 113396435 A CN113396435 A CN 113396435A CN 202080010028 A CN202080010028 A CN 202080010028A CN 113396435 A CN113396435 A CN 113396435A
Authority
CN
China
Prior art keywords
image
commodity
information processing
customer
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080010028.7A
Other languages
English (en)
Inventor
内村淳
萱野雄介
松井孝宏
中岛俊一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of CN113396435A publication Critical patent/CN113396435A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Multimedia (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

提供了一种信息处理设备，该信息处理设备使顾客能够确认商店的商品目录，并且还使商店能够理解顾客需求。该信息处理设备设置有：图像获取单元，其获取通过对商店的商品进行照相而获得的商品图像；图像操纵单元，其基于对所述商品图像的操纵指令来操纵商品图像，该指令是从顾客信息终端接收到的；以及识别单元，该识别单元基于经操纵的商品图像来识别对商店的商品的顾客需求。

Description

信息处理设备、信息处理方法和记录介质
技术领域
本公开涉及信息处理设备等。
背景技术
顾客只有来到商店才能知道商店里是否有想要的商品。为此，顾客可能会往返不同的商店，直到找到商品为止。
PTL 1公开了一种技术，其中服务器设备将由相机捕获的陈列的商品的实时图像发送到通信终端，使用通信终端从实时图像中选择商品，生成订单数据，并将订单数据发送到商店服务器，以便提高顾客的便利性。PTL 2公开了一种在操作用于在顾客的用户终端上对商品进行成像的相机的同时显示商品的实况视频，并且从显示的视频中选择和订购商品的技术。
引文列表
[专利文献]
[PTL 1]JP 2003-099629 A
[PTL 2]JP 2005-216005 A
发明内容
[技术问题]
为了提高商店的销售量，重要的是要有满足访问商店的顾客的需求的商品选择和商品库存。在PTL 1和PTL 2的技术的情况下，无法在购买前掌握顾客的需求。
本公开的目标是提供一种信息处理设备等，所述信息处理设备使顾客能够查看商店的商品库存并且使商店能够掌握顾客的需求。
[问题的解决方案]
作为本公开的一个方面的信息处理设备包括：图像获取单元，该图像获取单元获取通过对商店的商品进行成像而获得的商品图像；图像操作单元，该图像操作单元基于从顾客的信息终端接收到的对商品图像的操作指令来操作商品图像；以及指定单元，该指定单元基于已经受操作的商品图像来指定顾客对商店的商品的需求。
作为本公开的一种模式的信息处理方法包括：获取通过对商店的商品进行成像而获得的商品图像；基于从顾客的信息终端接收到的对商品图像的操作指令，来对商品图像进行图像操作；以及基于已经受操作的商品图像来指定顾客对商店的商品的需求。
作为本公开的一种模式，存储在记录介质中的程序致使计算机：获取通过对商店的商品进行成像而获得的商品图像；基于从顾客的信息终端接收到的对商品图像的操作指令，来对商品图像进行图像操作；以及基于已经受操作的商品图像来指定顾客对商店的商品的需求。
[本发明的有利效果]
根据本公开，顾客可以查看店铺的商品库存，并且店铺可以掌握顾客的需求。
附图说明
图1是图示根据第一示例实施例的信息处理系统的概要的图。
图2是图示根据第一示例实施例的信息处理设备的配置的示例的框图。
图3是图示根据第一示例实施例的信息终端的配置的示例的框图。
图4是图示位于商品图像的中心区域的商品的示例的图。
图5是图示根据第一示例实施例的信息处理系统的操作的示例的序列图。
图6是图示根据第二示例实施例的信息处理设备的配置的示例的框图。
图7是图示根据第三示例实施例的信息处理设备的配置的示例的框图。
图8是图示根据第三示例实施例的信息处理系统的操作的部分的序列图。
图9是图示根据第四示例实施例的信息处理系统的配置的示例的框图。
图10是图示根据第四示例实施例的信息处理系统的操作的示例的序列图。
图11是图示计算机的硬件配置的图。
具体实施方式
(第一示例实施例)
将参考附图描述根据第一示例实施例的信息处理设备。图1是图示根据第一示例实施例的信息处理系统的概要的图。图1中图示的信息处理系统包括信息处理设备100、相机150和信息终端200。信息处理设备100、相机150和信息终端200经由网络300能通信地连接。
(相机)
相机150对商店的商品进行成像，并将捕获的相机图像发送到信息处理设备100。商店的要成像的商品可能是商店的商品单元、陈列货架的货架层单元以及陈列货架单元中的任何一个。相机图像包括商店的至少一个商品。相机150对商店的商品的成像以及对相机图像的发送是每隔预定时间段进行的。预定时间段可以例如以10分钟为单位或以1小时为单位。相机图像可以是视频。相机150例如是网络相机。陈列货架也称为陈列固定装置。陈列固定装置是用于陈列商品的商店固定装置。陈列固定装置除陈列货架外，还包括陈列挂钩、展示柜等。在存在多个相机150的情况下，每个相机150将相机标识符与相机图像一起发送到信息处理设备100。相机150可以对每个不同商店的商品进行成像并将相机图像发送到信息处理设备100。相机150只需要具有即使放大相机图像也能够由信息处理设备100检测(识别)出商品的分辨率即可。
安装相机的商店可以是诸如超市、便利店、大型零售商或百货公司的商店，或者也可以是零售商店。商店可以是诸如本地商店、无人商店、卫星商店或小卖部这样的分店，或者是为卫星商店补充商品的总店。
(信息处理设备)
将参考附图描述根据第一示例实施例的信息处理设备。图2是图示根据第一示例实施例的信息处理设备的配置的示例的框图。图2中图示的信息处理设备100包括：图像获取单元101，该图像获取单元获取通过对商店的商品进行成像而获得的商品图像；图像操作单元102，该图像操作单元基于从顾客的信息终端接收到的对商品图像的操作指令，来对商品图像进行操作；以及指定单元103，该指定单元基于已经受操作的商品图像来指定顾客对商店的商品的需求。信息处理设备100例如是计算机。计算机可以是安装在商店或云计算机中的服务器。
例如，图像获取单元101从相机150接收通过对商店的商品进行成像而获得的相机图像，并基于相机图像来获取通过对商店的商品进行成像而获得的商品图像。商品图像包括商店的至少一个商品。商品图像可以是整个相机图像，或者也可以是相机图像的一部分。可以通过编辑相机图像获得商品图像。在存在多个相机150的情况下，图像获取单元101接收与每个相机150相关的相机图像。在相机图像是视频的情况下，图像获取单元101切出构成该视频的视频帧，并获取商品图像。图像获取单元101将获取的商品图像提供给图像操作单元102。
图像获取单元101可以视需要从图像操作单元102接收由稍后将描述的图像操作单元102操作的商品图像，复制所操作的商品图像，并将该商品图像提供给信息终端200。
图像操作单元102基于从顾客的信息终端接收到的对商品图像的操作指令，来对商品图像进行操作。
具体地，图像操作单元102接收来自信息终端200的操作指令，并根据操作指令对获取的商品图像进行操作。图像操作例如是针对商品图像的图像放大、图像旋转和图像移动中的至少一个。图像操作单元102复制已经受操作的商品图像，并将复制的图像提供给指定单元103和信息终端200。图像操作单元102可以视需要经由图像获取单元101将已经受操作的商品图像提供给信息终端200。
指定单元103接收经操作的商品图像，并且基于经操作的商品图像来指定顾客对商店的商品的需求。顾客的需求是顾客希望在顾客光顾的商店购买的商品或商品的类别。
首先，指定单元103检测出已经受操作的商品图像中包括的商品。例如，对于商品图像中包括的商品的检测，使用了一种结合了深度学习技术和特征点匹配技术的已知图像辨识技术。当从已经受操作的商品图像中辨识出一种商品时，指定单元103将辨识出的商品指定为顾客的需求。
在从已经受操作的商品图像中辨识出两个或两个以上的商品的情况下，将位于该商品图像的预定区域中的商品指定为顾客的需求。商品图像的预定区域例如是商品图像的中心区域。中心区域是指在商品图像的中心附近预定范围内的区域。位于中心区域是指商品的至少一部分被包括在中心区域中的状态。在中心区域中包括等于或大于两个商品的一部分的情况下，将中心区域中包括的具有大面积的商品指定为顾客的需求。
图4是图示位于商品图像的中心区域的商品的示例的图。在图4中，中心区域111由虚线圆圈指示。指定单元103对商品图像110进行图像辨识，以将饮料A、饮料B和饮料C辨识为商品，并且还将中心区域111所在的饮料B指定为顾客的需求。在图4中，已经对商品图像的中心区域111为圆形的示例进行了描述，但本公开不限于此。例如，形状可以是多边形。
预定区域不限于中心区域。例如，它可以是商品图像的左侧区域或右侧区域。预定区域的数目不限于一个，并且可以是多个。
指定单元103对商品图像中包括的商品的检测不限于图像辨识技术。例如，指定单元103可以通过使用商品坐标数据从已经受操作的商品图像中检测陈列货架上的商品，并且指定顾客的需求，在该商品坐标数据中使包括陈列货架和商品的商品图像与基于陈列货架的货架分配信息而生成的陈列货架和商品的位置相关联。具体地，准备从包括预先成像的陈列货架上陈列的商品在内的作为基准的商品图像生成的陈列货架内的商品的商品坐标数据和货架分配信息。指定单元103根据来自作为基准的商品图像的中心坐标的操作指令，基于商品图像的放大倍率、旋转角度和移动距离来检测已经受操作的商品图像中包括的商品。
多个操作指令可以从已经受操作的商品图像中引出顾客感兴趣的商品。因此，指定单元103可以基于操作指令的接收情况来指定顾客的需求，而不总是从已经被操作的商品图像中检测商品和指定顾客的需求。
例如，图像操作单元102获取操作指令的接收状态，并且指定单元103基于操作指令的获取的接收状态来从商品图像中指定顾客的需求。接收状态例如是接收间隔(接收时间间隔)或接收频率。
具体地，图像操作单元102测量从信息终端200接收到操作指令的时间间隔。在接收的时间间隔短于预定时间间隔的情况下，指定单元103确定顾客仍然在从已经受操作的商品图像中搜寻商品，并且未从已经受操作的商品图像中指定顾客的需求。另一方面，在接收的时间间隔长于预定时间间隔的情况下，指定单元103确定顾客已经拿到感兴趣的商品，并从已经受操作的商品图像中指定顾客的需求。
替代地，图像操作单元102测量从信息终端200接收操作指令的接收频率。接收频率例如是单位时间内接收到操作指令的次数。在接收频率高于预定接收频率的情况下，指定单元103确定顾客仍然在从已经受操作的商品图像中搜寻商品，并且不从已经受操作的商品图像中指定顾客的需求。另一方面，在接收频率低于预定接收频率的情况下，指定单元103确定顾客已经拿到感兴趣的商品，并从已经受操作的商品图像中指定顾客的需求。
指定单元103可以根据上一次接收到的操作指令检测出已经受操作的商品图像中包括的商品，并将检测出的商品指定为顾客的需求。
(信息终端)
接着，将参考附图描述根据第一示例实施例的信息终端。信息终端200是顾客使用的终端。顾客是使用商店的人或可能使用商店的人。信息终端200例如是计算机或智能电话。
图3是图示根据第一示例实施例的信息终端的示例的框图。信息终端200包括显示控制单元201和图像操作指令单元202。信息终端200向信息处理设备100请求通过对商店的商品进行成像而获得的商品图像。例如，信息终端200经由信息终端200中包括的浏览器软件请求信息处理设备100下载商品图像。
显示控制单元201在显示器(未图示)上显示从信息处理设备100接收到的商品图像。商品图像是基于已经受操作的相机图像或商品图像而获取的商品图像。
图像操作指令单元202指导信息处理设备100对复制源的商品图像进行图像操作。图像操作指令单元202接收顾客经由输入设备(未图示)输入的对提供的商品图像的图像操作。图像操作指令单元202将接收到的图像操作作为操作指令发送到信息处理设备100。操作指令包括对商品图像的放大操作、旋转操作、移动操作等。移动操作是在显示屏的平面中的任何方向上移动的操作。移动操作也称为滑动操作。
输入设备例如是触摸板、触摸面板、操作键等。操作键可以是硬件键或软件键。
接着，将参考附图描述根据第一示例实施例的信息处理系统的操作。信息处理系统的操作的描述包括信息处理设备100的操作的描述和信息终端200的操作的描述。
图5是图示根据第一示例实施例的信息处理系统的操作的示例的序列图。
相机150对商店的商品进行成像(步骤S101)，并将捕获的相机图像发送到信息处理设备100(步骤S102)。相机图像包括商店的至少一个商品。
信息处理设备100的图像获取单元101从相机150获取相机图像作为通过对商店的商品进行成像而获得的商品图像(步骤S103)。商品图像包括商店的至少一个商品。
信息处理设备100从信息终端200接收提供对商店的商品进行成像的商品图像的请求(S104)。图像获取单元101复制获取的商品图像并将该商品图像提供给信息终端200(步骤S105)。
信息终端200的显示控制单元201在显示器上显示从信息处理设备100接收到的商品图像(步骤S106)。
图像操作指令单元202指导信息处理设备100对复制源的商品图像进行图像操作。具体地，图像操作指令单元202接收顾客经由输入设备(未图示)输入的对提供的商品图像的图像操作。图像操作指令单元202将接收到的图像操作作为操作指令发送到信息处理设备100(步骤S107)。
信息处理设备100的图像操作单元102基于从顾客的信息终端接收到的商品图像的操作指令，来对商品图像进行操作。具体地，图像操作单元102从信息终端200接收操作指令(步骤S108)，并根据操作指令对商品图像进行操作(步骤S109)。图像操作例如是针对商品图像的图像放大、图像旋转和图像移动中的至少一个。图像操作单元102复制已经受操作的商品图像，并且将复制的图像提供给信息终端200(步骤S110)。信息终端200接收商品图像，并显示接收到的商品图像(步骤S111)。
指定单元103基于经操作的商品图像来指定顾客对商店的商品的需求(步骤S112)。
(第一示例实施例的效果)
根据第一示例实施例，信息处理设备100向顾客的信息终端200提供商店的商品被成像的商品图像。因此，显示了由信息处理设备100提供的商品图像，以使得顾客可以确认商店的商品的库存或选择。
从顾客的信息终端200向信息处理设备100发送对商品图像的操作指令，以使得信息处理设备100基于该操作指令对商品图像进行操作。信息处理设备100基于操作指令来将已经受操作的商品图像中包括的商品指定作为顾客的需求。因此，顾客可以查看商店的商品库存，并且商店可以掌握顾客的需求。
在如PTL 2中那样顾客操作万维网(WEB)相机来显示商品图像的技术中，存在顾客占用WEB相机的可能性，并且存在即使顾客想要查看商店的商品顾客也无法使用WEB相机的可能性。另一方面，在第一示例实施例中，信息处理设备100可以复制从相机图像获取的商品图像，并且将复制的商品图像提供给多个顾客。因为信息处理设备100基于来自顾客的操作指令来操作商品图像，商品图像的图像操作的响应变得明显快于WEB相机的操作，并且可以增强顾客的便利性。
信息处理设备100基于来自顾客的信息终端200的操作指令来对商品图像进行图像操作，并基于已经进行了图像操作的商品画面来指定顾客的需求。因此，能够在不让顾客意识到其的情况下掌握顾客的需求。
(第二示例实施例)
接着，将参考附图描述根据第二示例实施例的信息处理设备。第二示例实施例与第一示例实施例的不同之处在于信息处理设备100还包括订购单元。在下文中，在第二示例实施例的信息处理设备100的描述中，与第一示例实施例的那些部件相同的部件由相同的附图标记表示，并且将省略其详细描述。
图6是图示根据第二示例实施例的信息处理设备的配置的示例的框图。图6中图示的信息处理设备100包括图像获取单元101、图像操作单元102、指定单元103和订购单元121。订购单元121例如是商店中的订单管理系统。订购单元121存储订购信息，并基于订购信息来对商品订购。订购信息包括商品名称、订单数量等。
基于顾客的指定需求来更新订购信息。例如，指定单元103将指定的顾客需求中包括的商品添加到订购信息中，或者增加和更新该商品的订单数量。订购单元121可以基于订购信息来对商品自动地订购。店员可以经由诸如键盘的输入设备，基于指定的顾客需求中包括的商品来更新订购信息。
指定单元103可以基于分析指定顾客的需求的结果来更新订购信息。例如，指定单元103基于指定的顾客需求来将大量识别出的顾客的顾客需求进行降序排列，并基于排名靠前的顾客的需求来更新订购信息。
根据第二示例实施例，能够对反映由信息处理设备100的指定单元103和订购单元121指定的顾客需求的商品订购。
在信息处理设备100指定从另一商店的商品图像指定的顾客需求情况下，指定单元103可以分别获取基于另一商店的商品图像而指定的顾客需求，并更新订购信息。因此，能够实现反映商店中的顾客需求的商品选择。
可以向分析聚合数据的分析系统发送顾客的指定需求。例如，通过将顾客的指定需求发送到与连锁店的POS终端或商店服务器连接并具有商品趋势分析功能的总部系统，也能够例如进行对商品的趋势分析的反馈。
(第三示例实施例)
接着，将参考附图描述根据第三示例实施例的信息处理设备。第三示例实施例的信息处理设备100与第一示例实施例的信息处理设备100的不同之处在于图像获取单元101包括图像合成单元。在第三示例实施例的描述中，与第一示例实施例的部件相同的部件由相同的附图标记表示，并且将省略其详细描述。
图7是图示根据第三示例实施例的信息处理设备100的配置的示例的框图。信息处理设备100包括图像获取单元101、图像操作单元102和指定单元103，并且图像获取单元101包括图像合成单元131。
图像获取单元101使用图像辨识技术检测从相机150的相机图像获取的商品图像中包括的人物。图像获取单元101的图像合成单元131针对包括人物的商品图像，组合在不同位置捕获到人物的多个商品图像，并且生成不包括人物的商品图像。图像获取单元101将其中不包括人物的商品图像提供给信息终端200。
图8是图示根据第三示例实施例的信息系统的部分操作的序列图。指示图8中图示的信息处理设备100的操作的步骤S301至步骤S305对应于指示第一示例实施例的信息处理设备100的操作的步骤S101至步骤S105。
相机150从相机150获取相机图像作为通过对商店的商品进行成像而获得的商品图像(步骤S301)。相机150发送以预定时间间隔捕获的相机图像(步骤S302A、步骤S302B)。
当图像获取单元101在从相机150的相机图像获取的商品图像中检测到人时，图像合成单元131针对有人物包括在商品图像中的商品图像，组合在不同位置捕获到人物的多个商品图像(步骤S304)，并且获取其中不包括人物的商品图像(S305)。
信息处理设备100从信息终端200接收提供对商店的商品进行成像的商品图像的请求。图像获取单元101复制获取的商品图像并将该商品图像提供给信息终端200(步骤S307)。步骤S307之后的步骤与根据第一示例实施例的信息处理设备100的操作中的步骤S106之后的步骤相似。
根据第三示例实施例，即使当人物出现在通过对商店中的商品进行成像而获得的相机图像中时，也可以将人物已经被移除的商品图像提供给顾客的信息终端200。因此，能够保护使用商店的人物的隐私，在该商店中通过相机150对商品进行成像。
(第四示例实施例)
将参考附图描述根据第四示例实施例的信息处理系统。根据第四示例实施例的信息处理系统是根据第一示例实施例的信息处理系统的变型。
根据第四示例实施例的信息处理系统通过信息终端200对从信息处理设备100提供的商品图像进行图像操作，并将操作信息发送到信息处理设备100。也可以说，通过信息终端200发送的操作信息是第一示例实施例中的操作指令。
图9是图示根据第四示例实施例的信息处理系统的配置的框图。在图9中图示的信息处理系统中，与第一示例实施例的信息处理设备100和信息终端200的部件相同的部件由相同的附图标记表示，并省略其详细描述。第四示例实施例的信息终端200包括图像操作单元402。
图像操作单元402基于来自顾客的图像操作输入，对提供给信息终端200的商品图像进行操作。图像操作例如是针对商品图像的图像放大、图像旋转或图像移动。图像操作单元402将用于图像操作的操作信息发送到信息处理设备100。操作信息可以包括信息终端200上的商品图像的图像操作的操作历史。信息处理设备100通过操作信息基于已经受操作的商品图像来指定顾客对商店的商品的需求。
将参考附图描述根据第四示例实施例的信息处理系统的操作。图10是图示根据第四示例实施例的信息处理系统的操作的示例的序列图。在根据图10中图示的第四示例实施例的信息处理系统的操作中，步骤由与第一示例实施例的信息处理系统中的步骤编号相同的步骤编号表示，并且省略其详细描述。
信息终端200的显示控制单元201显示从信息处理设备100提供的商品图像(步骤S106)，并且图像操作单元402基于来自顾客的图像操作输入来对商品图像进行操作(步骤S407)。图像操作单元402将关于图像操作的操作信息发送到信息处理设备100(步骤S408)。
信息处理设备100的图像操作单元102基于接收到的操作信息来在信息处理设备上对商品图像进行图像操作(步骤S409)，并且指定单元103基于已经受操作的商品图像来指定顾客对商店的商品的需求(步骤S112)。
(第四示例实施例的效果)
根据第四示例实施例，信息终端200对商品图像进行图像操作，并将操作信息发送到信息处理设备100。因此，信息处理设备100不需要针对每个操作指令将已经受操作的商品图像发送到信息终端200，并且可以减轻信息处理设备100的载荷，并且还可以减轻设备之间的传输系统的载荷。
(第五示例实施例)
例如，当用户用手指触摸在已经受操作并且在信息终端200的显示器上显示的商品图像上的商品时，可以在信息终端200的显示器上弹出诸如关于用手指触摸的商品的价格信息、排名和购买推荐的商品相关信息。作为用于显示商品相关信息的商品，位于商品图像的中心区域的商品是优选的。
为了在信息终端200的显示器上显示上述商品的相关信息，信息处理设备100的指定单元103从已经使用图像辨识技术操作的商品图像中检测商品，并且然后在商品相关信息DB(未图示)中搜索检测出的商品，以提取商品相关信息。商品相关信息DB是针对商店的每个商品将价格信息、排名和购买推荐商品关联起来存储的存储设备。
信息终端200例如将手指在带触摸面板的显示器上触摸的坐标发送到信息处理设备100，以使得信息处理设备100的指定单元103可以从已经受操作的商品图像中检测出手指所触摸的商品。
根据第五示例实施例，与第一示例实施例至第五示例实施例中的信息处理系统相比，可以增强顾客的便利性。
(硬件配置)
在上述示例实施例中的每个中，信息处理设备100和信息终端200的每个部件代表功能单元块。每个设备的每个部件的一部分或全部可以通过计算机和程序的任何组合来实现。
图11是图示计算机的硬件配置的示例的框图。参考图11，计算机900包括例如中央处理单元(CPU)901、只读存储器(ROM)902、随机存取存储器(RAM)903、程序904、存储设备905、驱动设备907、通信接口908、输入设备909、输出设备910和总线912。
程序904包括用于实现信息处理设备100和信息终端200的功能的指令。程序904被预先存储在ROM 902、RAM 903和存储设备905中。CPU 901通过执行程序904中包括的指令来实现信息处理设备100和信息终端200的功能。例如，信息处理设备100的CPU 901执行程序904中包括的指令以实现配置的功能。RAM 903可以临时存储要由信息处理设备100和信息终端200的每个功能处理的数据。
驱动设备907进行记录介质906的读取和写入。通信接口908提供与通信网络的接口。输入设备909例如是鼠标、键盘等，并且接收来自顾客等的信息输入。输出设备910例如是显示器，并且向顾客等输出(显示)信息。输入和输出接口911提供与外围设备的接口。在信息处理设备100的情况下，上述相机、条码读取器、标签读取器/写入器和卡读取器/写入器118可以连接至输入和输出接口911。总线912连接硬件的部件。程序904可以经由通信网络被供应给CPU 901，或者可以被预先存储在记录介质906中，由驱动设备907读取，并供应给CPU 901。
图11中图示的硬件配置是示例，并且可以添加其他部件或者可能不包括一些部件。
存在每个设备的实现方法的各种变型。例如，可以通过计算机和对于每个部件不同的程序的任何组合来实现每个设备。每个设备中包括的多个部件可以由一个计算机和程序的任何组合来实现。
每个设备的部件中的一些或全部可以由包括处理器等或其组合的通用或专用电路来实现。该电路可以包括单个芯片，或者可以包括经由总线连接的多个芯片。每个设备的每个部件的一部分或全部可以通过上述电路等和程序的组合来实现。
在每个设备的每个部件的一部分或全部由多个计算机、电路等实现的情况下，可以以集中方式或分布式方式布置多个计算机、电路等。
在每个示例实施例中，描述上述一系列处理的步骤不仅包括根据描述的顺序按时间顺序进行的处理，而且还包括不一定按时间顺序进行而是并行或单独进行的处理。
示例实施例不限于上述示例实施例，并且各种变型是可能的，并且通过适当地组合不同示例实施例中公开的配置、操作和处理而获得的示例实施例也包括在本公开的技术范围内。
虽然已经将上述示例实施例描述为示例性示例，但是本发明不限于上述示例实施例。也就是说，本领域技术人员能够理解的各种方面可以应用于本公开中的示例实施例。
以上示例实施例的全部或部分可以描述为但不限于以下附记。
(附记1)
一种信息处理设备，包括：
图像获取装置，其用于获取通过对商店的商品进行成像而获得的商品图像；
图像操作装置，其用于基于从顾客的信息终端接收到的对商品图像的操作指令，来操作商品图像；以及
指定装置，其用于基于已经受操作的商品图像来指定顾客对商店的商品的需求。
(附记2)
根据附记1所述的信息处理设备，
其中，指定装置指定已经受操作的商品图像中包括的商品作为顾客的需求。
(附记3)
根据附记1或2所述的信息处理设备，
其中，指定装置将已经受操作的商品图像中的预定区域内的商品指定为顾客的需求。
(附记4)
根据附记1至3中的任一项所述的信息处理设备，
其中，图像操作装置获取操作指令的接收状态，并且
指定装置根据接收状态从已经受操作的商品图像中指定顾客的需求。
(附记5)
根据附记1至4中的任一项所述的信息处理设备，
其中，商品图像包括用于陈列商品的陈列固定装置。
(附记6)
根据附记5所述的信息处理设备，
其中，指定装置基于与陈列固定装置的商品布置相关且基于陈列固定装置的货架分配信息而生成的商品坐标数据，并且基于已经受操作的商品图像，来指定顾客的需求。
(附记7)
根据附记1至6中的任一项所述的信息处理设备，
其中，操作指令是对商品图像的图像放大操作、图像旋转操作和图像移动操作中的至少一个。
(附记8)
根据附记1至7中的任一项所述的信息处理设备，
其中，图像获取装置将已经获取的商品图像和已经受操作的商品图像中的至少一个发送到信息终端。
(附记9)
根据附记1至8中的任一项所述的信息处理设备，还包括：
订购装置，其用于基于订购信息来对商品订购，
其中，指定装置基于已指定的顾客的需求来更新订购信息。
(附记10)
根据附记9所述的信息处理设备，
其中，指定装置根据已指定的顾客的需求，基于已指定的若干需求的排名来更新订购信息。
(附记11)
根据附记1所述的信息处理设备，
其中，顾客的需求的对象是商品或商品的类别。
(附记12)
根据附记1至11中的任一项所述的信息处理设备，
其中，图像获取装置包括图像合成单元，图像合成单元针对包括人物的商品图像，组合在不同位置捕获到人物的多个商品图像，并且生成其中不包括人物的商品图像。
(附记13)
一种信息处理方法，包括：
获取通过对商店的商品进行成像而获得的商品图像；
基于从顾客的信息终端接收到的对商品图像的操作指令，来对商品图像进行图像操作；以及
基于已经受操作的商品图像来指定顾客对商店的商品的需求。
(附记14)
一种程序，所述程序致使计算机：
获取通过对商店的商品进行成像而获得的商品图像；
基于从顾客的信息终端接收到的对商品图像的操作指令，来对商品图像进行图像操作；以及
基于已经受操作的商品图像来指定顾客对商店的商品的需求。
(附记15)
一种信息处理系统，包括：
信息处理设备，其获取通过对商店的商品进行成像而获得的商品图像，并且基于已经受来自顾客的信息终端的商品图像的操作信息的操作的商品图像来指定顾客对商店的商品的需求；
信息终端，其发送关于已对从信息处理设备发送的商品图像进行的图像操作的操作信息作为操作指令。
上面已经使用上述示例实施例作为示例性示例描述了本发明。然而，本发明不限于上述示例实施例。也就是说，本领域技术人员可以理解的各种方面可以应用于本发明的在本发明的范围内的示例实施例。
本申请基于2019年3月22日提交的日本专利申请第2019 054692号并要求其优先权利益，其公开内容以全文引用的方式并入本文中。
附图标记列表
100 信息处理设备
101 图像获取单元
102 图像操作单元
103 指定单元
121 订购单元
131 图像合成单元
150 相机
200 信息终端
201 显示控制单元
202 图像操作指令单元
900 计算机
901 CPU
902 ROM
903 RAM
904 程序
905 存储设备
906 记录介质

Claims (15)

1.一种信息处理设备，包括：
图像获取装置，所述图像获取装置用于获取通过对商店的商品进行成像而获得的商品图像；
图像操作装置，所述图像操作装置用于：基于从顾客的信息终端接收到的针对所述商品图像的操作指令，来操作所述商品图像；以及
指定装置，所述指定装置用于：基于已经受操作的所述商品图像，来指定所述顾客对所述商店的所述商品的需求。
2.根据权利要求1所述的信息处理设备，其中，
所述指定装置将已经受所述操作的所述商品图像中包括的所述商品指定作为所述顾客的所述需求。
3.根据权利要求1或2所述的信息处理设备，其中，
所述指定装置将已经受所述操作的所述商品图像中的预定区域内的所述商品指定作为所述顾客的所述需求。
4.根据权利要求1至3中的任一项所述的信息处理设备，其中，
所述图像操作装置获取所述操作指令的接收状态，并且
所述指定装置根据所述接收状态从已经受所述操作的所述商品图像来指定所述顾客的所述需求。
5.根据权利要求1至4中的任一项所述的信息处理设备，其中，
所述商品图像包括用于陈列所述商品的陈列固定装置。
6.根据权利要求5所述的信息处理设备，其中，
所述指定装置基于根据所述陈列固定装置的货架分配信息而生成的与所述陈列固定装置的商品布置相关的商品坐标数据，以及基于已经受所述操作的所述商品图像，来指定所述顾客的所述需求。
7.根据权利要求1至6中的任一项所述的信息处理设备，其中，
所述操作指令是对所述商品图像的图像放大操作、图像旋转操作和图像移动操作中的至少一个。
8.根据权利要求1至7中的任一项所述的信息处理设备，其中，
所述图像获取装置将已被获取的所述商品图像和已经受所述操作的所述商品图像中的至少一个发送到所述信息终端。
9.根据权利要求1至8中的任一项所述的信息处理设备，还包括：
订购装置，所述订购装置用于基于订购信息来对所述商品进行订购，
其中，
所述指定装置基于已被指定的所述顾客的所述需求来更新所述订购信息。
10.根据权利要求9所述的信息处理设备，其中，
所述指定装置基于已被指定的所述顾客的所述需求，基于已被指定的若干需求的排名来更新所述订购信息。
11.根据权利要求1所述的信息处理设备，其中，
所述顾客的所述需求的对象是所述商品或所述商品的类别。
12.根据权利要求1至11中的任一项所述的信息处理设备，其中，
所述图像获取装置包括图像合成单元，所述图像合成单元针对包括人物的所述商品图像，组合在不同位置捕获到所述人物的多个所述商品图像，并且生成其中不包括所述人物的所述商品图像。
13.一种信息处理方法，包括：
获取通过对商店的商品进行成像而获得的商品图像；
基于从顾客的信息终端接收到的针对所述商品图像的操作指令，来对所述商品图像进行图像操作；并且
基于已经受操作的所述商品图像，来指定所述顾客对所述商店的所述商品的需求。
14.一种记录介质，包括存储在其中的程序，所述程序致使计算机：
获取通过对商店的商品进行成像而获得的商品图像；
基于从顾客的信息终端接收到的针对所述商品图像的操作指令，来对所述商品图像进行图像操作；并且
基于已经受操作的所述商品图像，来指定所述顾客对所述商店的所述商品的需求。
15.一种信息处理系统，包括：
信息处理设备，所述信息处理设备获取通过对商店的商品进行成像而获得的商品图像，并且基于已经受按照来自顾客的信息终端的针对所述商品图像的操作信息的操作的所述商品图像来指定所述顾客对所述商店的所述商品的需求；以及
信息终端，所述信息终端发送与已对从所述信息处理设备发送的所述商品图像进行的图像操作有关的操作信息。
CN202080010028.7A 2019-03-22 2020-03-10 信息处理设备、信息处理方法和记录介质 Pending CN113396435A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-054692 2019-03-22
JP2019054692 2019-03-22
PCT/JP2020/010155 WO2020195763A1 (ja) 2019-03-22 2020-03-10 情報処理装置、情報処理方法と記録媒体

Publications (1)

Publication Number Publication Date
CN113396435A true CN113396435A (zh) 2021-09-14

Family

ID=72610557

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080010028.7A Pending CN113396435A (zh) 2019-03-22 2020-03-10 信息处理设备、信息处理方法和记录介质

Country Status (4)

Country Link
US (1) US20220092663A1 (zh)
JP (1) JP7468508B2 (zh)
CN (1) CN113396435A (zh)
WO (1) WO2020195763A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7477439B2 (ja) 2020-12-11 2024-05-01 Kddi株式会社 情報処理装置、情報処理方法及び情報処理システム
JP7477438B2 (ja) 2020-12-11 2024-05-01 Kddi株式会社 情報処理装置、情報処理方法及び情報処理システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6026376A (en) * 1997-04-15 2000-02-15 Kenney; John A. Interactive electronic shopping system and method
JP2005184624A (ja) * 2003-12-22 2005-07-07 Seiko Epson Corp 商品販売・管理方法、商品販売・管理システムおよびサーバ
CN1677410A (zh) * 2004-03-31 2005-10-05 富士通株式会社 商品信息提供方法
JP2014182636A (ja) * 2013-03-19 2014-09-29 Petabit Corp 情報処理システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002245374A (ja) 2001-02-20 2002-08-30 Fujitsu Ltd ネットワークを介した商品の販売方法及びネットワークを介した商品の購入方法
US7680694B2 (en) * 2004-03-11 2010-03-16 American Express Travel Related Services Company, Inc. Method and apparatus for a user to shop online in a three dimensional virtual reality setting
JP2006018752A (ja) 2004-07-05 2006-01-19 Nippon Micro Systems Kk 実画像による商品販売システム
JP4456437B2 (ja) 2004-08-06 2010-04-28 株式会社野村総合研究所 画像処理システム、画像処理プログラム及び画像処理方法
US8370207B2 (en) * 2006-12-30 2013-02-05 Red Dot Square Solutions Limited Virtual reality system including smart objects
JP4942850B1 (ja) 2011-09-22 2012-05-30 株式会社ヤッパ 電子コンテンツ提供システム、電子コンテンツ提供サーバ、電子コンテンツ閲覧端末装置、及びプログラム
US20150262116A1 (en) * 2014-03-16 2015-09-17 International Business Machines Corporation Machine vision technology for shelf inventory management
US10430855B2 (en) * 2014-06-10 2019-10-01 Hussmann Corporation System, and methods for interaction with a retail environment
US10521844B2 (en) * 2014-11-25 2019-12-31 Walmart Apollo, Llc Computer vision product recognition
US20160171581A1 (en) * 2014-12-11 2016-06-16 Toshiba Global Commerce Solutions Holdings Corporation Apparatus and method for locating products in a retail store using a mobile device
JP2016206725A (ja) 2015-04-15 2016-12-08 Ｌｉｎｅ株式会社 サーバ、サーバの制御方法およびプログラム
CA2928391A1 (en) * 2015-05-28 2016-11-28 Wal-Mart Stores, Inc. System for inventory management
JP2017182527A (ja) 2016-03-31 2017-10-05 株式会社Ｅｘｉｄｅａ 情報処理システム
WO2019107157A1 (ja) * 2017-11-29 2019-06-06 株式会社Ｎｔｔドコモ 棚割情報生成装置及び棚割情報生成プログラム
EP3754546A1 (en) * 2018-01-10 2020-12-23 Trax Technology Solutions Pte Ltd. Automatically monitoring retail products based on captured images
US10572757B2 (en) * 2018-03-09 2020-02-25 Ricoh Co., Ltd. User interface for object detection and labeling
US10705596B2 (en) * 2018-05-09 2020-07-07 Neurolofical Rehabilitation Virtual Reality, LLC Systems and methods for responsively adaptable virtual environments
US11436826B2 (en) * 2019-01-11 2022-09-06 Target Brands, Inc. Augmented reality experience for shopping

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6026376A (en) * 1997-04-15 2000-02-15 Kenney; John A. Interactive electronic shopping system and method
JP2005184624A (ja) * 2003-12-22 2005-07-07 Seiko Epson Corp 商品販売・管理方法、商品販売・管理システムおよびサーバ
CN1677410A (zh) * 2004-03-31 2005-10-05 富士通株式会社 商品信息提供方法
JP2014182636A (ja) * 2013-03-19 2014-09-29 Petabit Corp 情報処理システム

Also Published As

Publication number Publication date
WO2020195763A1 (ja) 2020-10-01
US20220092663A1 (en) 2022-03-24
JPWO2020195763A1 (zh) 2020-10-01
JP7468508B2 (ja) 2024-04-16

Similar Documents

Publication Publication Date Title
RU2727084C1 (ru) Устройство и способ определения информации о заказе
JP5967553B2 (ja) 店舗内又は店舗間における顧客の購買行動を推定する方法、並びに、そのコンピュータ・システム及びコンピュータ・プログラム
CN110520888B (zh) 店铺系统、电子货架标签以及店铺系统的处理方法
JP6825628B2 (ja) 動線出力装置、動線出力方法及びプログラム
JP6412577B2 (ja) プレゼンテーション装置（ｉｃｓ接続）
WO2008003192A1 (fr) Système et procédé d'adaptation intelligents
CN113396435A (zh) 信息处理设备、信息处理方法和记录介质
JP2023030008A (ja) 情報処理システム、商品推薦方法、およびプログラム
JP2023051924A (ja) 情報処理装置、及び制御方法
JP6581094B2 (ja) プレゼンテーション装置（ｉｏｔ）
US20130232034A1 (en) Coordinate supporting system, coordinate supporting apparatus and coordinate supporting method
JP2008191951A (ja) 設定情報作成装置、設定情報作成方法、設定情報作成プログラムおよび情報出力システム
CN112154488B (zh) 信息处理装置、控制方法和程序
US20220164832A1 (en) Sales management server, sales management system, and sales management method
JP7336708B2 (ja) 業務支援システム、業務支援装置、端末、業務支援方法、業務方法、及び、コンピュータプログラム
JP2018025882A (ja) 情報処理装置及びその制御方法、表示装置、コンピュータプログラム
JP2022014485A (ja) リモートショッピングシステムおよびリモートショッピング方法
CN108629386B (zh) 一种自动识别商品购买行为的货架
JP2016024601A (ja) 情報処理装置、情報処理システム、情報処理方法、商品推薦方法、およびプログラム
WO2018179665A1 (ja) 販売システム、サーバ、販売システムの処理方法、サーバの処理方法及びプログラム
JP4800797B2 (ja) 商品価格検出装置および商品価格検出システム
JP7484887B2 (ja) 情報処理装置、処理方法とプログラム
JP7476880B2 (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム及び母店端末
US20220230514A1 (en) Product recognition apparatus, system, and method
WO2022168265A1 (ja) システム、情報処理装置、方法、および記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination