CN110223465A - 信息处理装置及方法、计算机可读存储介质、电子设备 - Google Patents

信息处理装置及方法、计算机可读存储介质、电子设备 Download PDF

Info

Publication number
CN110223465A
CN110223465A CN201910074707.XA CN201910074707A CN110223465A CN 110223465 A CN110223465 A CN 110223465A CN 201910074707 A CN201910074707 A CN 201910074707A CN 110223465 A CN110223465 A CN 110223465A
Authority
CN
China
Prior art keywords
commodity
information
image
dining table
customer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910074707.XA
Other languages
English (en)
Other versions
CN110223465B (zh
Inventor
川村元信
福田匡史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba TEC Corp
Original Assignee
Toshiba TEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba TEC Corp filed Critical Toshiba TEC Corp
Publication of CN110223465A publication Critical patent/CN110223465A/zh
Application granted granted Critical
Publication of CN110223465B publication Critical patent/CN110223465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/026—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/12—Cash registers electronically operated
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Abstract

本发明公开了一种信息处理装置及方法、计算机可读存储介质、电子设备，其能够通过在恰当的时机向顾客推荐商品从而谋求促进追加订购，该信息处理装置包括：输入部、检测部及输出部。输入部输入商品的摄像数据。检测部根据所述摄像数据检测所述商品的余量与规定值相比少的状态。输出部当所述商品的余量的状态符合预先设定的条件时，输出用于推荐与商品关联的服务信息。

Description

信息处理装置及方法、计算机可读存储介质、电子设备
本申请主张申请日为2018年03月02日、申请号为JP2018-037865的日本申请为优先权，并引用上述申请的内容，通过引用将公开内容全部结合于此。
技术领域
本发明的实施例涉及一种信息处理装置及信息处理方法、非暂态计算机可读存储介质、电子设备。
背景技术
目前，顾客亲自操作订购终端订购期望的菜单品种(商品)的订购处理系统正在饮食店中使用。在订购处理系统中，为促进顾客的订购，而设置有提供推荐菜单的功能。
为接受更多的订购，不仅需要从店铺侧提供推荐的菜单，而且还要掌握顾客正在饮食的食物及饮料的状况，并在与顾客对应的恰当的时机推荐商品。
发明内容
鉴于上述问题，本发明所要解决的技术问题是，提供一种信息处理装置及信息处理方法、非暂态计算机可读存储介质、电子设备，其能够通过在恰当的时机向顾客推荐商品从而谋求促进追加订购。
为解决上述问题，本发明的一实施例，提供了一种信息处理装置，包括：输入部、检测部及输出部。输入部输入商品的摄像数据。检测部根据所述摄像数据检测所述商品的余量与规定值相比少的状态。输出部当所述商品的余量的状态符合预先设定的条件时，输出用于推荐与商品关联的服务信息。
根据这样的构成，能够通过在恰当的时机向顾客推荐商品从而谋求促进追加订购。
对于信息处理装置，在一种可能的实施方式中，所述检测部每当经过预先设定的规定时间，检测所述商品的余量。
根据这样的构成，能够在更恰当的时机向顾客提供推荐商品的菜单。
对于信息处理装置，在一种可能的实施方式中，所述检测部根据所述摄像数据，对所述范围所包含的多个商品的各个商品检测余量，所述输出部当符合所述条件的商品存在有多个时，输出与符合所述条件的商品的各个商品对应的服务信息。
根据这样的构成，即使在摄像的图像中商品的余量少(或没有)的商品有多个时，也能够推荐与各自对应的不同的商品。
对于信息处理装置，在一种可能的实施方式中，还包括：显示部，显示多个座席信息；影像显示部，接受选择所述多个座席信息中的任一信息的指示，使基于与已选择的所述座席信息对应的所述摄像数据的影像显示；以及指示输入部，输入服务信息的输出指示，其中，所述输出部根据所述输出指示，针对与通过所述影像显示部所显示的影像对应的座席信息输出所述服务信息。
根据这样的构成，根据影像检测商品的状况的变化，能够无需操作员的操作，自动地输出服务信息。
本发明的另一实施例，提供了一种信息处理方法，包括以下步骤：输入步骤，输入商品的摄像数据；检测步骤，根据所述摄像数据，检测所述商品的余量与规定值相比少的状态；以及输出步骤，当所述商品的余量的状态符合预先设定的条件时，输出用于推荐与商品关联的服务信息。
根据这样的方法，能够通过在恰当的时机向顾客推荐商品从而谋求促进追加订购。
对于信息处理方法，在一种可能的实施方式中，所述检测步骤每当经过预先设定的规定时间，检测所述商品的余量。
根据这样的方法，能够在更恰当的时机向顾客提供推荐商品的菜单。
对于信息处理方法，在一种可能的实施方式中，所述检测步骤根据所述摄像数据，对所述范围所包含的多个商品的各个商品检测余量，所述输出步骤当符合所述条件的商品存在有多个时，输出与符合所述条件的商品的各个商品对应的服务信息。
根据这样的方法，即使在摄像的图像中商品的余量少(或没有)的商品有多个时，也能够推荐与各自对应的不同的商品。
对于信息处理方法，在一种可能的实施方式中，还包括以下步骤：影像显示步骤，接受选择显示部所显示的多个座席信息中的任一信息的指示，使基于与已选择的所述座席信息对应的所述摄像数据的影像显示；以及指示输入步骤，输入服务信息的输出指示，其中，所述输出步骤根据所述输出指示，针对与通过所述影像显示步骤所显示的影像对应的座席信息输出所述服务信息。
根据这样的方法，根据影像检测商品的状况的变化，能够无需操作员的操作，自动地输出服务信息。
本发明的第三实施例，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的信息处理方法。
根据这样的构成，能够实现能够通过在恰当的时机向顾客推荐商品从而谋求促进追加订购的功能。
本发明的第四实施例，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使该计算机执行上述的信息处理方法。
根据这样的构成，能够通过在恰当的时机向顾客推荐商品从而谋求促进追加订购的功能。
附图说明
下面，参照附图对实施例所涉及的信息处理装置及信息处理程序进行说明。当结合附图考虑时，通过参照下面的详细描述，能够更完整更好地理解本发明以及容易得知其中许多伴随的优点，但此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定，其中：
图1是表示本实施例的订购处理系统的构成的框图；
图2是表示本实施例中的大厅控制器的要部构成的框图；
图3是表示本实施例中的订购接受终端的要部构成的框图；
图4是表示本实施例中的餐桌机器人的要部构成的框图；
图5是表示本实施例中的订购接受终端和餐桌机器人的外观的图；
图6(A)及图6(B)是用于对第一实施例中的动作进行说明的流程图；
图7是表示通过大厅控制器进行的比较处理的流程图；
图8(A)及图8(B)是概念地示出第一图像和第二图像的图；
图9是概念地示出通过第一实施例中的推荐信息提取处理提取的推荐信息的图；
图10是表示第一实施例中的推荐的菜单画面的一例的图；
图11(A)及图11(B)是用于对第二实施例中的动作进行说明的流程图；
图12是表示第二实施例中的座席状况的画面的一例的图；
图13是表示第二实施例中的详细画面(详细座席状况)的一例的图；以及
图14(A)及图14(B)是用于对第三实施例中的动作进行说明的流程图。
附图标记说明
10 订购站 12 POS终端
14 厨房打印机 16 大厅控制器
18(18-1、......、18-m) 接入点
20(20-1、......、20-n) 手持终端
22(22-1、......、22-x) 订购接受终端
24(24-1、......、24-x) 餐桌机器人
26(26-1、......、26-y) 楼层机器人
具体实施方式
以下，参照附图，对本实施例进行说明。
图1是表示本实施例的订购处理系统的构成的框图。订购处理系统诸如设置在饮食店中进行运转。
订购处理系统通过LAN(Local Area Network：局域网)等网络19将订购站10、POS(Point Of Sales：销售点)终端12、厨房打印机14、大厅控制器16及至少一个接入点(AP)18(18-1、......、18-m)相互连接。此外，订购处理系统通过与接入点18进行无线通信，将平板终端16k、多个手持终端20(20-1、......、20-n)、店铺内的对应餐桌所设置的多台订购接受终端22(22-1、......、22-x)及多台餐桌机器人24(24-1、......、24-x)、至少一台楼层机器人26(26-1、......、26-y)与网络19连接。
订购站10基于从手持终端20或订购接受终端22接收到的订购信息，向厨房打印机14发送烹饪指示。此外，当从手持终端20接收到上菜(饭菜摆放)完成时，将订购信息作为销售信息发送给POS终端12。
POS终端12诸如配置在结账处，对顾客的饮食费用进行结算(对账结算)。POS终端12对销售信息进行登记、处理并对每一交易进行结账处理。销售信息包含每位顾客的商品的销售明细的信息。
厨房打印机14诸如配置在烹饪间(烹饪处)。厨房打印机14基于从订购站10接收到的订购信息，通过打印包含顾客所订购的商品(菜单品种)、餐桌的识别编号的订购单据从而输出烹饪指示。
大厅控制器16是作为信息处理装置进行动作的计算机。大厅控制器16对店铺内的顾客的状况进行管理并根据顾客的状况对构成订购处理系统的各装置进行控制。大厅控制器16诸如对顾客就座的餐桌的状况、顾客信息(人数、性别、年代、职业等)的管理、订购历史的管理、利用时间(从入座后经过时间、到套餐设定的结束时刻的剩余时间等)等进行管理。大厅控制器16显示表示顾客的状况的画面。店铺的工作人员目视确认大厅控制器16的画面。此外，大厅控制器16通过输入将至少包含配置了商品(饮料、食物等)的餐桌的范围作为摄像范围摄像了的摄像数据，并根据摄像数据进行图像处理检测商品的余量。大厅控制器16具有基于根据图像处理的结果辨别的商品的余量在恰当的时机输出向顾客推荐商品用的推荐信息(也可以是输出用于推荐与商品相关联的服务信息)的功能(输出部、输出步骤)。大厅控制器16诸如输入通过餐桌所设置的餐桌机器人24(或者也可以是订购接受终端22)所设置摄像头所摄像的摄像数据。摄像数据可以是静止画面或动态画面(视频、影像)中的任一个。
平板终端16k用作大厅控制器16的输入输出装置。平板终端16k通过接入点18和网络19，与大厅控制器16进行通信。另外，平板终端16k也可以不通过接入点18直接与大厅控制器16进行无线通信。此外，平板终端16k不限定于一台，也可以设置有多台。
此外，在图1中，示出有通过与网络19连接的计算机实现大厅控制器16的例子，但也可以通过平板终端16k执行后述的大厅控制器16的处理。因此，在本实施例中，大厅控制器16可以是通过与网络19连接的计算机实现的形态及通过平板终端16k实现的形态中的任一形态。而且，不仅一台大厅控制器16(或者平板终端16k)单独执行后述的处理，而且还可以与其他装置(多个计算机或者订购站10)进行协作来执行。
接入点18是控制与平板终端16k、手持终端20、订购接受终端22、餐桌机器人24及楼层机器人26的无线通信的无线通信装置。接入点18诸如在店内的天棚等上至少配置有一台。
手持终端20是店员用的终端。手持终端20进行订购的输入、登记来店的顾客的登记手续处理、顾客所订购的商品的摆放完成的输入及与来自大厅控制器16的通知对应的信息输出等。手持终端20将与已输入的订购对应的订购信息、表示摆放完成的商品的商品信息等发送给订购站10。此外，手持终端20根据店员的操作等，能够向大厅控制器16发送各种通知。
订购接受终端22(22-1、......、22-x)诸如配置在店内的各餐桌T(T-1、......、T-x)上。订购接受终端22显示菜单，而且，接受来自顾客的商品(菜单品种)的订购。订购接受终端22将已输入的订购信息发送给订购站10。订购接受终端22显示与从大厅控制器16输出的推荐信息对应的推荐商品的画面等。
餐桌机器人24(24-1、......、24-x)诸如配置在店内的各餐桌T(T-1、......、T-x)上。餐桌机器人24是用于与顾客进行交流(沟通)的机器人。餐桌机器人24具有输入通过摄像头将至少包含配置有商品(饮料、食物等)的餐桌的范围作为摄像范围进行了摄像的摄像数据并发送给大厅控制器16的输出功能。此外，餐桌机器人24具有从听筒(麦克风)输入的声音的识别功能，进行与顾客的简单的会话、来自顾客的声音的商品的订购接受等。餐桌机器人24设置有从扬声器向顾客输出信息的声音输出功能，并执行为与顾客会话而与通过声音的识别功能识别出的声音对应的应答信息的输出、与来自大厅控制器16或订购站10的通知对应的信息的输出等。
另外，在图1中，订购接受终端22和餐桌机器人24是作为个别的装置来实现的，但也可以是通过为一体的装置来实现的。
楼层机器人26是用于在店铺内向各餐桌摆放商品及从各餐桌回收(Bashing、收拾)餐具、玻璃杯、垃圾等的机器人。楼层机器人26设置有能够载置餐具等的至少一个载置台。楼层机器人26设置有进行自律行驶的功能，能够根据与店铺内的餐桌的配置对应而设定的路径，行驶到作为所指定的目的的餐桌的位置。楼层机器人26诸如设置有防碰撞传感器，在回避障碍物的同时进行行驶。
楼层机器人26设置有通过接入点18的无线通信功能，能够接收诸如通过顾客从订购接受终端22输入的指示、来自大厅控制器16的与顾客的状况对应的指示或者通过工作人员的操作输入的指示，并进行与指示对应的动作。此外，楼层机器人26随着行驶，将示出当前位置的位置数据通过接入点18通知给大厅控制器16。大厅控制器16能够根据从楼层机器人26接收的位置数据，在诸如显示店铺的餐桌配置等的楼层分配图中显示表示楼层机器人26进行行驶的路径上的当前位置(动作状况)的信息。
楼层机器人26，为了与顾客和店员进行交流(沟通)而设置有触摸面板等的输入输出装置、根据通过摄像头摄像的图像的人认证功能、从话筒输入的声音的识别功能、以及从扬声器向顾客或店铺输出信息的声音输出功能等。
图2是表示本实施例中的大厅控制器16的要部构成的框图。
大厅控制器16通过计算机来实现。大厅控制器16具有CPU(Central ProcessingUnit：中央处理器)16A、ROM(Read Only Memory：只读存储器)16B、RAM(Random AccessMemory：随机存取存储器)16C、存储装置16D、显示装置16E、输入装置16F、触摸面板16G及通信装置16H等。
CPU16A通过执行ROM16B或存储装置16D所存储的程序，控制大厅控制器16的各构成。通过CPU16A执行的程序，除包含基本程序(OS(Operating System：操作系统))外，还包含用于作为信息处理装置进行动作的信息处理程序。CPU16A通过执行信息处理程序对店铺内的顾客的状况进行管理。CPU16A实现通过通信装置16H输入从餐桌机器人24(或者订购接受终端22)发送的摄像数据的输入功能(输入部、输入步骤)、根据已输入的摄像数据通过图像处理检测商品(饮料、食物)的余量的检测功能(检测部、检测步骤)、根据商品的余量在恰当的时机输出用于向顾客推荐商品的推荐信息的功能(输出部、输出步骤)。此外，CPU16A执行根据诸如已就座的餐桌的状况、顾客信息(人数、性别、年代、职业等)的管理、订购历史的管理、利用时间(从入座后的经过时间、到套餐设定的结束时刻的剩余时间等)等的信息，确定与顾客对应的推荐信息的推荐信息提取处理。
ROM16B存储CPU16A执行的程序等。RAM16C形成各种的工作存储区。存储装置16D诸如是HDD(Hard disk drive：硬盘驱动器)、SSD(Solid State Drive：固态硬盘)等，存储各种程序及/或各种数据。
显示装置16E诸如是LCD(Liquid Crystal Display：液晶显示器)。输入装置16F诸如是键盘、鼠标等定点装置。触摸面板16G进行显示及基于触摸操作的输入。
通信装置16H诸如通过网络19控制与各装置的通信。此外，通信装置16H也可以包含有进行无线通信的功能。
图3是表示本实施例中的订购接受终端22的要部构成的框图。
订购接受终端22诸如通过平板型的计算机来实现。订购接受终端22具有CPU22A、ROM22B、RAM22C、存储装置22D、触摸面板22G及通信装置22H等。
CPU22A通过执行ROM22B或存储装置22D所存储的程序，控制订购接受装置22的各构成。通过CPU22A执行的程序，除包含基本程序(OS(Operating System：操作系统))外，还包含用于作为订购接受装置22进行动作的订购接受程序。CPU22A通过执行订购接受程序，执行菜单画面的显示、顾客的输入操作的接受、与通过顾客的输入操作从菜单画面选择的商品对应的订购信息向订购站的发送、从大厅控制器16(或订购站10)发送的与推荐信息对应的推荐商品的通知(显示或声音输出)等的处理。CPU22A使触摸面板22G显示与各处理对应的画面(GUI(Graphical User Interface：图形用户界面))。
ROM22B存储CPU22A执行的程序等。RAM22C形成各种的工作存储区。存储装置22D诸如是HDD、SSD等，存储各种程序及/或各种数据。触摸面板22G进行显示及基于触摸操作的输入。通信装置22H控制与接入点18的无线通信。
另外，订购接受终端22也可以设置与后述的餐桌机器人24同样的功能，而省略餐桌机器人24的设置。这时，订购接受终端22设置摄像头、话筒、扬声器，并设置针对摄像头、话筒、扬声器的与后述的餐桌机器人24同样的控制功能。
图4是表示本实施例中的餐桌机器人24的要部构成的框图。
餐桌机器人24设置计算机的功能。餐桌机器人24具有CPU24A、ROM24B、RAM24C、存储装置24D、话筒24E、扬声器24F、摄像头24G、通信装置24H及驱动机构24L等。
CPU24A通过执行ROM24B或存储装置24D所存储的程序，控制餐桌机器人24的各构成。通过CPU24A执行的程序，除包含基本程序(OS(Operating System：操作系统))外，还包含用于作为餐桌机器人24进行动作的控制程序。CPU24A通过执行控制程序，实现控制摄像头24G的动作，并将通过摄像头24G所摄像的摄像数据通过通信装置24H输出给大厅控制器16的输出功能。此外，CPU24A通过执行控制程序，对用于与顾客进行交流(沟通)的动作进行控制。与顾客的交流有时诸如基于声音(会话)来进行、基于动作来进行等。CPU24A为通过声音(会话)与顾客进行交流，而执行从话筒24E输入的声音的识别功能、使声音从扬声器24F输出的声音输出功能。CPU24A能够通过声音的识别功能，对来自顾客的会话用的声音或订购商品用的声音进行识别。在声音的识别功能中，能够识别诸如预先确定的声音指令(单词或文章)，执行与声音指令对应的处理。此外，CPU24A能够通过声音输出功能，进行与通过声音的识别功能识别出的会话用的声音对应的应答信息的输出、或者从大厅控制器16或订购站10的通知对应的信息的输出等。
ROM24B存储CPU24A执行的程序等。RAM24C形成各种的工作存储区。存储装置24D诸如是HDD、SSD等，存储各种程序及/或各种数据。
摄像头24G根据CPU24A的控制来执行摄像，并输出摄像数据。摄像头24G能够摄像静止画面或者动态画面(视频、影像)。通信装置24H控制与接入点18的无线通信。
CPU24A使驱动机构24L动作。餐桌机器人24组合多个机箱(例如上部机箱和下部机箱)而构成，并通过驱动机构24L使一部分的机箱活动。CPU24A诸如为与顾客进行交流，而与恒定状态或基于声音的会话、商品的订购、各种信息声音的输出的时机一致地使驱动机构24L驱动。此外，CPU24A为对通过摄像头24G进行摄像的摄像范围进行变更，而能够以对设置有摄像头24G的机箱的方向进行变更的方式使驱动机构24L驱动。
驱动机构24L是使构成餐桌机器人24的一部分机箱活动用的机械构造。
图5是表示本实施例中的订购接受终端22和餐桌机器人24的外观的图。图5示出有订购接受终端22和餐桌机器人24并排配置在餐桌上的例子。
订购接受终端22基本上设置在餐桌上的支架上，能够根据需要从支架上卸下并在顾客保持的状态下进行使用。
餐桌机器人24由于用于与顾客进行交流，因此，期望设置在与就坐于餐桌的顾客接近的位置上。此外，餐桌机器人24将至少包含配置有商品(饮料、食物等)的餐桌的范围作为摄像范围而执行摄像。例如，餐桌机器人24不仅将载置商品的餐桌上面，而且也可以将包含就座于餐桌的顾客的范围作为摄像范围。因此，餐桌机器人24被设置在通过摄像头24G可摄像作为目的(目标)的摄像范围的位置上。
图5所示的餐桌机器人24也可以诸如将摄像头24G设置在上部机箱上，在通过驱动机构24L使上部机箱在规定范围内上下左右动作的同时，执行通过摄像头24G进行的摄像。通过这样，能够将比使摄像头24G的方向固定了的情况宽广的范围作为摄像范围。
接着，对本实施例中的订购处理系统的动作进行说明。
在订购处理系统中，当来店的顾客就座于任一餐桌时，则执行登记顾客的登记手续处理。在登记手续处理中，进行餐桌编号的登记、顾客信息(人数、性别、年代、职业等)、订购套餐(已预先确定有被提供的多个商品、时间等)的输入等。顾客信息诸如既可以所持手持终端20的店员通过对手持终端20的操作来输入，又可以顾客通过对订购接受终端22的操作来输入。
此外，也可以通过将通过餐桌机器人24的摄像头所摄像的影像(摄像数据)发送给大厅控制器16，使大厅控制器16(或平板终端16k)显示影像，通过确认了影像的店员来输入顾客信息。而且，也可以在大厅控制器16中对摄像了顾客的图像执行人认证处理，检测出人数、性别、年代、职业等并作为顾客信息进行输入。
顾客在就座于餐桌后，当订购商品时，除告诉给所持手持终端20的店员外，还能够利用订购接受终端22。订购接受终端22，在触摸面板22G上显示菜单，并将从菜单通过触摸操作已指定的与商品对应的订购信息发送给订购站10。另外，菜单根据顾客的输入操作切换显示对所有的商品进行分类提示的普通菜单、包含店铺侧预先准备的指定的推荐商品的推荐菜单等。
已订购的商品除通过店员运至餐桌外，还利用楼层机器人26进行运送。楼层机器人26在诸如载置台上载置了已订购的商品诸如饮料的杯子、食物的盘子等后，通过指示上菜处的餐桌，能够自行行驶运至所指示的餐桌。
大厅控制器16能够通过餐桌机器人24的摄像头24G所摄像的图像(影像)来确认顾客就座的餐桌的状况。在本实施例中，大厅控制器16根据已摄像的图像(影像)检测出已摆放的商品(饮料、食物)的饮食状况、即顾客消费商品的状况，为在恰当的时机向顾客推荐商品而输出推荐信息。以下，对通过大厅控制器16输出推荐信息用的处理(第一实施例、第二实施例、第三实施例)进行说明。
第一实施例。
图6(A)是表示第一实施例中的餐桌机器人24或订购接受终端22的处理的流程图、图6(B)是表示第一实施例中的大厅控制器16的处理的流程图。在以下的说明中，在图6(A)的流程图中，ActA1～A5作为餐桌机器人24的动作进行说明，ActA6～A11作为订购接受终端22的动作进行说明。当订购接受终端22替代餐桌机器人24的功能时，通过订购接受终端22执行图6(A)所示的流程图的处理。
餐桌机器人24在商品已被摆放到餐桌上后，执行通过摄像头24G摄像至少将配置了商品的餐桌上面作为摄像范围的图像(第一图像)(ActA1)。在这里，已摄像的第一图像表示顾客未消费的商品的初始状态。餐桌机器人24将第一图像的摄像数据诸如附加示出餐桌编号的数据后，通过通信装置24H发送给大厅控制器16(ActA2)。
大厅控制器16的CPU16A当接收从餐桌机器人24发送的第一图像的摄像数据时(ActB1的Yes)，则与餐桌编号对应存储在RAM16C或存储装置16D中。
CPU16A对接收到第一图像的餐桌，监视经过预先设定的规定时间。当辨别经过了规定时间时(ActB2的Yes)，则CPU16A向相符合的餐桌机器人24发送图像发送请求(ActB3)。
另外，规定时间既可以为预先确定的一个固定时间，又可以根据对顾客进行登记手续处理后的经过时间而进行变化。当使规定时间变化时，诸如顾客的饮食速度快，在刚开始之后的时间段(例如0～15分)使规定时间视为短的时间(例如3分钟)，通常商品的订购速度慢越接近结束越延长规定时间。例如也可以在时间段15～30分中为5分钟、在30分钟～60分钟中为10分钟等。通过这样，在更恰当的时机向顾客提供推荐商品的菜单，此外，在商品的订购速度慢的时间段中也可以使需图像处理的频率变少从而减轻处理负荷。
餐桌机器人24的CPU24A当接收来自大厅控制器16的图像发送请求时(ActA3的Yes)，则诸如通过摄像头24G执行视为与诸如第一图像的摄像时相同摄像范围的图像(第二图像)的摄像(ActA4)。餐桌机器人24向第二图像的摄像数据附加表示餐桌编号的数据后发送给大厅控制器16(ActA5)。另外，第二图像是在从第一图像的摄像时经过了规定时间后，重新摄像了对第一图像进行了摄像的相同范围的图像。
大厅控制器16的CPU16A当接收从餐桌机器人24发送的第二图像的摄像数据时(ActB4的Yes)，则与餐桌编号对应存储在RAM16C或存储装置16D中，而且，执行对第一图像和第二图像进行比较后检测状况的变化(商品的余量)用的比较处理。
图7是表示通过大厅控制器16进行的比较处理的流程图。
首先，第一图像先接收完成，CPU16A辨别针对第一图像的后述的对象物检测是否已完成。在这里，当第一图像先接收完成时(ActS1的No)，CPU16A从第一图像检测出相当于提供给顾客的商品的对象物图像(第一对象物)(ActS2)，使RAM16C或存储装置16D存储第一对象物(ActS3)。
图8(A)是概念地示出第一图像。如图8(A)所示，在通过餐桌机器人24的摄像头24G所摄像的第一图像中有包含相当于多个商品的各个商品的图像的情况。CPU16A检测出相当于各商品的图像作为对象物，对应每个对象物给予不同的识别标签并进行存储。另外，作为从图像中检测出对象物的图像处理手法，诸如预先登记表示作为检测对象的对象物的形状、颜色等的特征的特征数据，能够使用根据特征数据检测的方法等。可以使用其他的现有的图像处理方法。
在图8(A)所示的例子中，示出有检测出相当于诸如饮料(啤酒杯、玻璃杯)的对象物OB1、OB2、相当于食物的对象物OB3、OB4、OB5的例子。
此外，CPU16A从第二图像与第一图像同样地检测出相当于向顾客提供了的商品的对象物图像(第二对象物)(ActS4)，使RAM16C或存储装置16D存储第二对象物。
图8(B)是概念地示出第二图像的图。在图8(B)所示的例子中，与第一图像同样地示出检测出对象物OB1～OB5的例子。不过，如图8(B)所示，由于从摄像第一图像后在经过了规定时间后摄像了第二图像，因此，通过顾客进行饮食而商品已被消费。此外，相当于饮料(啤酒杯、玻璃杯)的对象物OB1、OB2因顾客而变更了放置在餐桌上的位置。
CPU16A为对应每个商品检测出状况的变化(余量)，而将第一图像所包含的多个第一对象物和第二图像所包含的多个第二对象物进行对应(ActS5)。也就是说，在第一图像的摄像时和第二图像的摄像时，即使商品在餐桌上的位置不同也能够对应每个商品检测出状况的变化。
CPU16A对每个所对应的第一对象物和第二对象物的组合分别进行比较后提取差分(ActS6)。也就是说，检测出第一图像的摄像时的商品的状况和第二图像的摄像时的商品的状况的变化。
CPU16A对每个第一对象物和第二对象物的组合的差分和预先设定的基准值进行比较(ActS7)，判定差分是否超过了基准值(ActS8)。基准值是用于辨别商品的消费充分多的状态，换言之用于辨别余量少或者无剩余的的状态的值。也就是说，为辨别是推荐接着要进行订购的商品的状况而设定的值。另外，也可以根据第一对象物和第二对象物之间的差分，检测出相当于商品的余量的部分。这时，设定用于辨别余量的基准值，对该基准值和余量进行比较后，辨别商品的余量与预先设定的规定值相比少或者无剩余的状态。此外，基准值既可以对应对象物的每个种类(饮料、食物)而设定，又可以只要是能够在检测对象物时指定(特定)商品的基准值则对应每个商品而设定。
CPU16A根据比较处理的结果，辨别是否达到向顾客提供推荐信息的告知条件。也就是说，通过第一对象物和第二对象物之间的比较，当有差分超过了基准值的对象物(商品)时辨别为达到了告知条件。CPU16A既可以当至少一个对象物的差分超过了基准值时辨别达到了告知条件，又可以当预先规定的数的对象物的差分超过了基准值时辨别为达到了告知条件。
另外，在上述的比较处理中，提取第一图像(第一对象物)和第二图像(第二对象物)之间的差分，根据该差分辨别商品的状况，但也可以使用其他的方法辨别商品的状况。例如，对多个商品的各个商品，将摄像了商品的图像的特征量预先登记作为词库数据，对该词库数据和从第二图像提取的各对象物的图像进行比较。而且，也可以辨别对象物的图像和词库数据之间的相似度是否低于规定的基准值、即辨别商品的消费是否处于充分多的状态。
在这里，当辨别出未达到告知条件时(ActB6的No)，CPU16A在未输出推荐信息而从发送前次的图像发送请求后在经过了规定时间后(ActB2的Yes)，与上述同样地，向餐桌机器人24发送图像发送请求(ActB3)。CPU16A当从餐桌机器人24接收第二图像的摄像数据时，则与上述同样地通过第一图像和第二图像之间的比较，辨别是否达到了向顾客提供推荐信息的告知条件(ActB5及B6)。
另外，在第二次之后的比较处理中，由于第一图像先接收完成(图7、ActS1的Yes)，因此，CPU16A省略从第一图像检测出第一对象物的处理。不过，餐桌机器人24当摆放了追加的商品时，之后执行第一图像的摄像及第一图像的摄像数据的发送(ActA1、A2)。这时，CPU16A从第一图像提取与所追加的商品对应的对象物后，与其他对象物同样地进行存储。此外，对从第二图像中没有的第二对象物，作为商品被消费而回收的对象物，也删除与该第二对象物对应的第一对象物。
当辨别出达到了告知条件时(ActB6的Yes)，CPU16A与辨别出消费充分多的状态(余量少或无剩余的状态)的商品对应，将通过推荐信息提取处理提取的表示商品的推荐信息输出给订购接受终端22，而且，向餐桌机器人24通知已输出了推荐信息的情况(ActB7)。
图9是概念地示出通过第一实施例中的推荐信息提取处理提取的推荐信息的图。
CPU16A通过执行推荐信息提取处理30，作为基于通过比较处理辨别出余量少或者没有剩余的商品和预先存储的与顾客对应的各种信息32辨别的表示向顾客推荐的商品的推荐信息，登记在RAM16C或存储装置16D所存储的推荐菜单表34、追加菜单表35及最后(终止)订购表36。在通过推荐信息推荐的商品中，诸如作为与通过顾客消费的商品对应的追加订购，包含有根据顾客的嗜好(喜好)而推荐的商品、随着商品的消费而追加的常用(招牌)的商品，作为到结束时刻的最后的追加订购，根据顾客的嗜好而进行推荐的商品等。
在预先存储的与顾客对应的各种信息中，包含有诸如顾客信息(包含人数、性别、年代、职业等)、表示本日所订购的商品的历史的本日订购历史信息、表示在过去来店时所订购的商品历史的过去订购历史信息、表示本日的订购套餐的信息、包含关于顾客从进行登记手续处理后的经过时间、到在订购套餐所设定的结束时刻的剩余时间或者到闭店的剩余时间等的时间信息等。过去订购历史信息诸如当是预先会员登记的顾客时，通过在开始饮食前设定指定会员的识别数据(会员ID)等，能够将会员ID和已订购的商品对应并存储。顾客通过在饮食开始前从诸如餐桌机器人24或订购接受终端22输入会员ID，能够通过画面参照利用了过去订购历史信息的推荐商品菜单。
在推荐菜单表34、追加菜单表35及最后订购表36中，诸如根据向顾客推荐商品的时机，登记至少一个商品。也能够对多个商品附加优先位次进行登记。
例如，在推荐菜单表34中，作为已消费的商品的追加订购，登记根据顾客的嗜好而进行推荐的商品。向顾客推荐商品的时机的基准诸如能够根据顾客信息的年代而不同。例如，当为儿童的顾客时由于饮食的时间短，因此，即使剩余时间充分也可以将在饮食的最后提供的甜点等作为推荐商品上而进行提取。此外，当商品和顾客之间的对应关系已被指定时，能够根据不同的顾客的订购历史(本日订购历史信息、过去订购历史信息)指定进行推荐的商品。
另外，商品和顾客的对应，能够根据通过诸如餐桌机器人24(摄像头24G)所摄像的图像，检测在餐桌上商品所放置的位置和顾客所就座的位置后，辨别商品和顾客之间的对应关系并进行存储。
追加菜单表35登记有随着商品的消费而追加的常规的商品。常规的商品有诸如当订购了套餐时，大多的顾客进行追加的商品、与其他商品组合而订购的商品等。
最后订购表36根据顾客的嗜好登记与到在订购套餐所设定的结束时刻的剩余时间或者到闭店的剩余时间对应的最后订购的饮料或甜点等的商品。
订购接受终端22的CPU22A当从大厅控制器16接收推荐信息时(ActA6的Yes)，则使显示推荐菜单的画面弹出显示在触摸面板22G上(ActA7)。此外，餐桌机器人24当从大厅控制器16发送了推荐信息的情况被通知时，则诸如从扬声器24F输出表示有推荐菜单的声音信息。
图10是表示第一实施例中的订购接受终端22的触摸面板22G显示的推荐的菜单画面D3的一例的图。
在图10所示的菜单画面D3中，诸如包含有显示推荐商品的商品显示区D31、功能按钮D32～35及菜单选择区D36。商品显示区D31诸如按照优先顺序配置地显示多个推荐商品A、B、C、D。CPU22A当针对商品显示区D31所显示的显示有各商品的区进行了触摸操作时，辨别为商品已被选择。
功能按钮包含将触摸面板22G所显示的画面切换成首页画面的TOP按钮D32、指示向订购站10发送订购内容的订购按钮D33、向显示订购历史的画面切换的历史按钮D34及用于指示POS终端12执行结账处理的结账按钮D35等。
在菜单选择区D36中包含有诸如″推荐″、″小菜″、″饮料″、″饭菜″及″套餐菜单″等的与各类别对应的按钮。能够通过选择任一按钮，向与按钮对应的类别的菜单切换显示。
CPU22A当接受对触摸面板22G的操作时(ActA8的Yes)，则辨别是否是订购商品的指示。在这里，当辨别为是进行订购的指示时(ActA9的Yes)，CPU22A取消菜单画面，执行与输入操作对应的处理。另一方面，当辨别出不是订购的指示时(ActA9的No)，CPU22A将表示已指定的商品的订购信息发送给订购站10(ActA11)。
另外，在上述的说明中，通过订购接受终端22接受商品的订购，但也可以利用餐桌机器人24的声音的识别功能，接受商品的订购。例如，餐桌机器人24的CPU24A，作为对从话筒24E输入的声音识别出的结果，当是指示商品的订购的声音指令时，对表示继声音指令后输入的商品的声音进行识别。CPU24A将表示识别出的商品的商品信息发送给订购站10。
此外，也可以对来自大厅控制器16的推荐信息的推荐商品，通过更简单的声音输入能够订购商品。例如，也可以对推荐商品只用仅声音输入商品名或者声音输入表示同意的简单声音(例如″订购″等)就能够发送订购信息。通过这样，能够使推荐商品的订购变简单并谋求促进追加订购。
而且，不仅根据从大厅控制器16发送的推荐信息显示推荐，而且也可以通过让餐桌机器人24声音识别的声音指令，提示推荐商品的菜单。例如，餐桌机器人24当声音识别了指示推荐菜单的显示的声音指令″推荐菜单″时，向大厅控制器16请求发送推荐信息。大厅控制器16当接收推荐信息的发送请求时，则诸如将通过上述的推荐信息提取处理提取的推荐信息发送给订购接受终端22(或餐桌机器人24)。通过这样，能够在顾客请求的时机提供推荐商品的菜单。
这样，在第一实施例中的订购处理系统中，能够根据所摄像的图像检测出已摆放的商品(饮料、食物)的饮食状况、即经过了规定时间的时候顾客消费商品的状况(余量少或者无剩余的状态)，基于该商品生成推荐信息并向顾客提供推荐商品。在餐桌中，能够根据通过餐桌机器人24(或者订购接受终端22)所摄像的图像，在恰当的时机推荐根据顾客的嗜好的商品。即使在所摄像的图像中商品的余量少(或没有)的商品有多个时，也能够推荐分别对应的不同的商品。
第二实施例
图11(A)是表示第二实施例中的餐桌机器人24或订购接受终端22的处理的流程图，图11(B)是表示第二实施例中的大厅控制器16的处理的流程图。在以下的说明中，在图11(A)的流程图中，ActC1和ActC2作为餐桌机器人24的动作进行说明，ActC3～ActC8作为订购接受终端22的动作进行说明。ActC3～ActC8因与第一实施例的ActA6～A11同样地执行而省略详细的说明。此外，关于与第一实施例通用的部分省略说明。
在第二实施例中，通过餐桌机器人24(或者订购接受终端22)的摄像头24G，摄像将至少配置了商品的餐桌上面作为摄像范围的影像，并在大厅控制器16中由店铺的工作人员能够确认该影像。
餐桌机器人24在商品被向餐桌摆放了后，通过摄像头24G执行摄像(ActC1)，将该摄像的影像的摄像数据附加表示诸如餐桌编号的数据后，通过通信装置24H发送给大厅控制器16(ActC2)。
另一方面，大厅控制器16的CPU16A基于来自手持终端20、订购接受终端22、餐桌机器人24及楼层机器人26等的输入，对店铺内的状况进行管理。CPU16A能够根据工作人员的输入操作，显示表示管理状况的画面。在这里，通过从表示诸如座席状况的画面选择任一餐桌，能够显示在相符合的餐桌中的影像。
图12是表示大厅控制器16的显示装置(显示部)16E或者平板终端(显示部)16k所显示的座席状况的画面D1的一例的图。
在图12所示的表示座席状况的画面D1中，诸如显示有切换按钮D11、餐桌布局D12、楼层机器人标记D13、餐桌标记D14(A01～A10)、餐桌机器人标记D15、沟通标记D16及餐桌布局D19。
切换按钮D11是用于指示画面的切换的按钮，例如除包含与图12所示的画面对应的″座席状况″按钮外，还包含″烹饪状况″、″轮班管理″、″各种业务″的各个对应的按钮。餐桌布局D12是示出店铺内的作为显示对象的范围内的多个餐桌的配置。在图12中示出有将餐桌编号A01～A10、B10、B12的十二张餐桌作为显示对象的例子。餐桌布局D12与通过输入操作变更的作为显示对象的范围一致地变更。楼层机器人标记D13是用于表示在店铺内行驶的楼层机器人26的位置和动作状况的标记。在图12所示的例子中，示出有在店铺内使用三台楼层机器人26。楼层机器人标记D13与楼层机器人26在店铺内行驶一致地显示在相当于当前位置的位置上。餐桌标记D14(A01～A10、B10、B12)是表示多个餐桌(座席信息)的各个餐桌的标记，在标记内显示顾客信息等。餐桌机器人标记D15示出在餐桌中配置有餐桌机器人24的情况。沟通标记D16表示餐桌机器人24和顾客进行了沟通的数。餐桌机器人24和顾客之间的沟通诸如包含与餐桌机器人24的会话(针对输出的声音信息的应答)、来自餐桌机器人24的商品的订购等。餐桌布局D19示出店铺内的所有的餐桌的配置，明示餐桌布局D12已被显示的范围。
大厅控制器16的CPU16A当检测出选择任一餐桌标记D14的操作时(ActD1)，使显示装置16E或平板终端16K显示关于与已选择的餐桌标记D14对应的餐桌的详细画面(ActD2)(影像显示部、影像显示步骤)。
此外，CPU16A当通过已选择的餐桌的餐桌机器人24所摄像的影像的摄像数据已被接收时(ActD3的Yes)，根据摄像数据在详细画面中显示(ActD4)。
图13是表示详细画面D2(详细座席状况)的一例的图。
在图13所示的详细画面D2中，诸如包含顾客管理信息D21、影像显示区D22及多个功能选择用的按钮D23～D29。顾客管理信息D21示出包含顾客信息的表示顾客的当前状况的信息(订购套餐、套餐所确定的剩余时间)等。影像显示区D22显示与从餐桌机器人24接收的摄像数据对应的影像。CPU16A能够通过针对影像显示区D22的操作来变更影像的显示对象范围。例如，在初始状态中，在通过餐桌机器人24所摄像的影像中显示餐桌上面的范围的影像。接着，诸如当有针对影像显示区D22的触摸操作时，显示包含餐桌整体的影像，当进一步有触摸操作时，显示包含就座于餐桌的顾客的影像。通过这样，工作人员能够使任意范围的影像显示，并从影像中确认包含商品的消费状况的顾客的状况。
在多个功能选择用的按钮D23～D29中，诸如包含有推荐菜单按钮D23、追加菜单按钮D24、最后订购按钮D25、订购历史按钮D26、上菜按钮D27、收拾按钮D28及OK按钮D29。推荐菜单按钮D23、追加菜单按钮D24及最后订购按钮D25是根据工作人员的输入操作使推荐信息输出给订购接受终端22用的按钮。推荐信息通过第一实施例所说明的推荐信息提取处理30分别登记在推荐菜单表34、追加菜单表35及最后订购表36中。另外，也可以根据推荐菜单按钮D23、追加菜单按钮D24及最后订购按钮D25的操作，使辅助画面一览显示与分别对应的推荐信息对应的多个商品，并让工作人员选择作为推荐对象的商品。订购历史按钮D26是诸如用于使本日的订购历史一览显示的按钮。上菜按钮D27是用于指示楼层机器人26摆放商品的按钮。收拾按钮D28是为从餐桌回收(收拾)餐具、玻璃杯、垃圾等而指示楼层机器人26向所指定的餐桌移动用的按钮。OK按钮D29是用于指示结束详细画面D2的显示的按钮。
大厅控制器16的CPU16A当检测出针对详细画面D2所设置的按钮的操作时(ActD5的Yes)，则辨别输入操作是用于指示推荐信息的输出的按钮、即是推荐菜单按钮D23、追加按钮D24或最后订购按钮D25中的任一按钮(指示输入部、指示输入步骤)。在这里，当辨别出是针对其他的按钮的操作时(ActD6的No)，CPU16A执行与已操作的按钮对应的其他处理(ActD8)。
另一方面，当辨别出是推荐菜单按钮D23、追加菜单按钮D24或最后订购按钮D25中的任一按钮时，CPU16A将与已操作的按钮对应的用于推荐商品的推荐信息输出给已被选择作为影像的显示对象的餐桌所设置的订购接受终端22，而且，向餐桌机器人24通知输出了推荐信息(ActD7)。
以下，订购接受终端22及餐桌机器人24因与第一实施例同样地进行动作而省略详细的说明(ActC3～C8)。
这样，在第二实施例的订购处理系统中，能够在大厅控制器16中由工作人员确认通过各餐桌所设置的餐桌机器人24所摄像的影像，并发送推荐信息。在大厅控制器16中，能够在表示座席状况的画面D1中任意选择餐桌，并在详细画面D2的影像显示区D22中显示影像。因此，能够对应每个餐桌，确认商品的消费状况、顾客的状态等，并在恰当的时机推荐恰当的商品。
第三实施例
图14(A)是表示第三实施例中的餐桌机器人24或订购接受终端22的处理的流程图、图14(B)是表示第三实施例中的大厅控制器16的处理的流程图。在以下的说明中，在图14(A)的流程图中，ActE1和ActE2作为餐桌机器人24的动作进行说明，ActE3～ActE8作为订购接受终端22的动作进行说明。ActE3～ActE8因与第一实施例的ActA6～ActA11同样地执行而省略详细的说明。此外，图14(B)的ActF1～ActF4因与第二实施例的图11(B)所示的ActD1～ActD4同样地执行而省略说明。此外，对与第一实施例或第二实施例通用的部分省略说明。
在第三实施例中，与第二实施例同样地能够将通过餐桌机器人24(或订购接受终端22)的摄像头24G所摄像的影像在大厅控制器16中由店铺的工作人员确认，而且，基于从餐桌机器人24接收的影像，能够与第一实施例同样地根据比较处理的处理结果输出推荐信息。
在第三实施例中，从餐桌机器人24接收的影像，诸如在进行了摆放商品后提取第一图像并存储。大厅控制器16的CPU16A当与第一实施例同样地辨别经过了规定时间时(ActF5的Yes)，则CPU16A从影像中提取第二图像，执行对第一图像和第二图像进行比较的比较处理(ActF6)。比较处理因与第一实施例同样地执行而省略详细的说明。
CPU16A根据比较处理的处理结果，当辨别出达到向顾客提供推荐信息的告知条件时(ActF7的Yes)，与第一实施例同样地将推荐信息输出给订购接受终端22，而且，向餐桌机器人24通知输出了推荐信息(ActF8)。
在这样的第三实施例的订购处理系统中，能够将通过各餐桌所设置的餐桌机器人24所摄像的影像在大厅控制器16中由工作人员确认，而且，能够根据影像检测出商品的状况的变化(余量少或无剩余的状态)，从而无需工作人员的操作而自动地输出推荐信息。通过这样，能够不给予工作人员操作负担，而在恰当的时机推荐恰当的商品。
另外，在上述的说明中，虽然对在餐桌机器人24或订购接受终端22中设置摄像头进行摄像的情况进行了说明，但是也可以与餐桌机器人24或订购接受终端22分开在餐桌的周边(包含上部)设置一台或多台摄像头，将在诸如餐桌上面或包含餐桌周边的顾客的周边作为摄像范围进行摄像。
另外，摄像头24G也可以是通过设定成为对象的商品，能够在追随该商品的同时摄像静止图像或动态图像(影像、视频)的摄像头。这时，能够直接摄像对象商品。
此外，推荐信息也可以包含与商品有关的信息以外的信息。例如，可以是在结账使可以使用的折扣券、在下次来店是能使用的折扣券等的与服务有关的信息。
虽然对本发明的几个实施例进行了说明，但是这些实施例是作为例子提出的，并不意图限定发明的范围。这些新颖的实施例可以用其他的各种形式来实施，在不脱离发明要旨的范围内可以进行各种省略、替换、变更。这些实施例及其变形均被包含在发明的范围或要旨中，而且，包含在权利要求的范围所记载的发明和其均等的范围内。
此外，在上述的实施例中记载的处理，能够作为能够使计算机执行的程序，诸如写入到磁盘(软盘、硬盘等)、光盘(CD-ROM、DVD等)、半导体存储器等的存储介质中而向各种装置进行提供。此外，也可以通过通信介质进行传递而向各种装置进行提供。计算机通过读取存储介质所记录的程序或通过通信介质接收程序，通过其程序来控制动作从而执行上述的处理。
在本发明中，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的控制方法。
此外，在本发明中，提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使该计算机执行上述的控制方法。

Claims (10)

1.一种信息处理装置，其特征在于，包括：
输入部，输入商品的摄像数据；
检测部，根据所述摄像数据，检测所述商品的余量与规定值相比少的状态；以及
输出部，当所述商品的余量的状态符合预先设定的条件时，输出用于推荐与该商品关联的服务信息。
2.根据权利要求1所述的信息处理装置，其中，
所述检测部每当经过预先设定的规定时间，检测所述商品的余量。
3.根据权利要求1所述的信息处理装置，其中，
所述检测部根据所述摄像数据，对所述范围所包含的多个商品的各个商品检测余量，
所述输出部当符合所述条件的商品存在有多个时，输出与符合所述条件的商品的各个商品对应的服务信息。
4.根据权利要求1所述的信息处理装置，其中，还包括：
显示部，显示多个座席信息；
影像显示部，接受选择所述多个座席信息中的任一信息的指示，使基于与已选择的所述座席信息对应的所述摄像数据的影像显示；以及
指示输入部，输入服务信息的输出指示，
其中，所述输出部根据所述输出指示，针对与通过所述影像显示部所显示的影像对应的座席信息输出所述服务信息。
5.一种信息处理方法，其特征在于，包括以下步骤：
输入步骤，输入商品的摄像数据；
检测步骤，根据所述摄像数据，检测所述商品的余量与规定值相比少的状态；以及
输出步骤，当所述商品的余量的状态符合预先设定的条件时，输出用于推荐与商品关联的服务信息。
6.根据权利要求5所述的信息处理方法，其中，
所述检测步骤每当经过预先设定的规定时间，检测所述商品的余量。
7.根据权利要求5所述的信息处理方法，其中，
所述检测步骤根据所述摄像数据，对所述范围所包含的多个商品的各个商品检测余量，
所述输出步骤当符合所述条件的商品存在有多个时，输出与符合所述条件的商品的各个商品对应的服务信息。
8.根据权利要求5所述的信息处理方法，其中，还包括以下步骤：
影像显示步骤，接受选择显示部所显示的多个座席信息中的任一信息的指示，使基于与已选择的所述座席信息对应的所述摄像数据的影像显示；以及
指示输入步骤，输入服务信息的输出指示，
其中，所述输出步骤根据所述输出指示，针对与通过所述影像显示步骤所显示的影像对应的座席信息输出所述服务信息。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器，
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求5-8中任一项所述的信息处理方法。
10.一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使该计算机执行如权利要求5-8中任一项所述的信息处理方法。
CN201910074707.XA 2018-03-02 2019-01-25 信息处理装置及方法、计算机可读存储介质、电子设备 Active CN110223465B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-037865 2018-03-02
JP2018037865A JP2019153073A (ja) 2018-03-02 2018-03-02 情報処理装置、及び情報処理プログラム

Publications (2)

Publication Number Publication Date
CN110223465A true CN110223465A (zh) 2019-09-10
CN110223465B CN110223465B (zh) 2022-08-23

Family

ID=67767719

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910074707.XA Active CN110223465B (zh) 2018-03-02 2019-01-25 信息处理装置及方法、计算机可读存储介质、电子设备

Country Status (3)

Country Link
US (2) US11093995B2 (zh)
JP (1) JP2019153073A (zh)
CN (1) CN110223465B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11761701B2 (en) * 2016-01-25 2023-09-19 Sun Kyong Lee Refrigerator inventory device
JP2019153073A (ja) * 2018-03-02 2019-09-12 東芝テック株式会社 情報処理装置、及び情報処理プログラム
US11413764B2 (en) * 2019-06-07 2022-08-16 Lg Electronics Inc. Serving robot and method for receiving customer using the same
US11429113B2 (en) * 2019-08-08 2022-08-30 Lg Electronics Inc. Serving system using robot and operation method thereof
KR20190100093A (ko) * 2019-08-08 2019-08-28 엘지전자 주식회사 로봇을 이용한 서빙 시스템 및 그 작동방법
JP7308133B2 (ja) 2019-11-27 2023-07-13 株式会社第一興商 カラオケシステム
KR20210072588A (ko) * 2019-12-09 2021-06-17 엘지전자 주식회사 서비스 영역 내 로봇들을 제어하여 서비스를 제공하는 방법, 시스템 및 이를 구현하는 로봇
CN111159555A (zh) * 2019-12-30 2020-05-15 北京每日优鲜电子商务有限公司 商品推荐方法、装置、服务器和存储介质
US11568445B2 (en) * 2021-04-28 2023-01-31 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for providing an advertising content using a robot
US11911890B2 (en) * 2021-04-28 2024-02-27 Bear Robotics, Inc. Method, system, and non-transitory computer-readable recording medium for providing a service using a robot

Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040158494A1 (en) * 2003-02-05 2004-08-12 Suthar Yogin P. Restaurant automation system
JP2004252497A (ja) * 2002-01-15 2004-09-09 Masanobu Kujirada 飲食店において料理又は飲料を提供するための方法及びシステム
JP2008234330A (ja) * 2007-03-20 2008-10-02 Fujitsu Ltd 商品情報表示方法、商品情報出力装置及びコンピュータプログラム
CN101859464A (zh) * 2009-04-08 2010-10-13 东芝泰格有限公司 订购接受装置及订购接受方法
JP2015032122A (ja) * 2013-08-02 2015-02-16 アスカティースリー株式会社 注文システム、サーバ装置及びプログラム
CN104463561A (zh) * 2014-12-03 2015-03-25 广东美的厨房电器制造有限公司 食物管理方法、装置和系统
US20150206259A1 (en) * 2014-01-23 2015-07-23 Toshiba Tec Kabushiki Kaisha Dish remaining amount detection apparatus and dish remaining amount detection method
CN105009128A (zh) * 2013-02-28 2015-10-28 索尼公司 信息处理装置及存储介质
CN105389712A (zh) * 2014-08-28 2016-03-09 卡西欧计算机株式会社 信息处理装置以及计算机可读记录介质
CN205091798U (zh) * 2015-10-10 2016-03-16 江苏木盟智能科技有限公司 餐饮信息管理系统
CN105512970A (zh) * 2016-01-05 2016-04-20 江苏木盟智能科技有限公司 餐桌服务系统
CN106033588A (zh) * 2015-03-11 2016-10-19 上海安悦四维信息技术有限公司 适于影像点餐及餐厅场景渲染的控制系统及其工作方法
CN106255991A (zh) * 2015-01-28 2016-12-21 比科利克株式会社 状态判定系统
WO2017130431A1 (ja) * 2016-01-27 2017-08-03 ロクス株式会社 情報処理装置、情報処理システム、受信装置、サーバ装置、情報処理方法、及びプログラム
CN107133850A (zh) * 2017-05-04 2017-09-05 谢志强 基于互联网平台的餐饮服务系统及方法
CN107403248A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 物品管理方法、装置、智能储藏设备和操作系统
AU2017203641A1 (en) * 2016-05-31 2017-12-14 Accenture Global Solutions Limited Interactive virtual reality platforms

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5602730A (en) * 1994-12-07 1997-02-11 Altoc Corporation Restaurant management system
JP2003076757A (ja) * 2001-08-31 2003-03-14 Mitsubishi Electric Information Systems Corp メニューリコメンドシステム、メニューリコメンド方法、メニューリコメンドプログラム及びメニューリコメンドプログラムを記録したコンピュータ読み取り可能な記録媒体
WO2003067487A1 (fr) * 2002-02-07 2003-08-14 Masanobu Kujirada Procede et systeme de fourniture de services d'alimentation/de boissons
JP2014167671A (ja) * 2013-02-28 2014-09-11 Toshiba Tec Corp 注文受付装置および注文受付プログラム
JP6432184B2 (ja) 2014-07-03 2018-12-05 カシオ計算機株式会社 情報出力装置、オーダーシステム、オーダー提示方法、及びプログラム
US10410066B2 (en) * 2015-05-29 2019-09-10 Arb Labs Inc. Systems, methods and devices for monitoring betting activities
US20180276770A1 (en) * 2017-03-23 2018-09-27 Panasonic Intellectual Property Management Co., Ltd. Restaurant table management system
JP2019153073A (ja) * 2018-03-02 2019-09-12 東芝テック株式会社 情報処理装置、及び情報処理プログラム

Patent Citations (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004252497A (ja) * 2002-01-15 2004-09-09 Masanobu Kujirada 飲食店において料理又は飲料を提供するための方法及びシステム
US20040158494A1 (en) * 2003-02-05 2004-08-12 Suthar Yogin P. Restaurant automation system
JP2008234330A (ja) * 2007-03-20 2008-10-02 Fujitsu Ltd 商品情報表示方法、商品情報出力装置及びコンピュータプログラム
CN101859464A (zh) * 2009-04-08 2010-10-13 东芝泰格有限公司 订购接受装置及订购接受方法
CN105009128A (zh) * 2013-02-28 2015-10-28 索尼公司 信息处理装置及存储介质
JP2015032122A (ja) * 2013-08-02 2015-02-16 アスカティースリー株式会社 注文システム、サーバ装置及びプログラム
US20150206259A1 (en) * 2014-01-23 2015-07-23 Toshiba Tec Kabushiki Kaisha Dish remaining amount detection apparatus and dish remaining amount detection method
CN105389712A (zh) * 2014-08-28 2016-03-09 卡西欧计算机株式会社 信息处理装置以及计算机可读记录介质
CN104463561A (zh) * 2014-12-03 2015-03-25 广东美的厨房电器制造有限公司 食物管理方法、装置和系统
CN106255991A (zh) * 2015-01-28 2016-12-21 比科利克株式会社 状态判定系统
CN106033588A (zh) * 2015-03-11 2016-10-19 上海安悦四维信息技术有限公司 适于影像点餐及餐厅场景渲染的控制系统及其工作方法
CN205091798U (zh) * 2015-10-10 2016-03-16 江苏木盟智能科技有限公司 餐饮信息管理系统
CN105512970A (zh) * 2016-01-05 2016-04-20 江苏木盟智能科技有限公司 餐桌服务系统
WO2017130431A1 (ja) * 2016-01-27 2017-08-03 ロクス株式会社 情報処理装置、情報処理システム、受信装置、サーバ装置、情報処理方法、及びプログラム
CN107403248A (zh) * 2016-05-19 2017-11-28 阿里巴巴集团控股有限公司 物品管理方法、装置、智能储藏设备和操作系统
AU2017203641A1 (en) * 2016-05-31 2017-12-14 Accenture Global Solutions Limited Interactive virtual reality platforms
CN107133850A (zh) * 2017-05-04 2017-09-05 谢志强 基于互联网平台的餐饮服务系统及方法

Also Published As

Publication number Publication date
US20190272580A1 (en) 2019-09-05
US20210374833A1 (en) 2021-12-02
US11093995B2 (en) 2021-08-17
CN110223465B (zh) 2022-08-23
JP2019153073A (ja) 2019-09-12

Similar Documents

Publication Publication Date Title
CN110223465A (zh) 信息处理装置及方法、计算机可读存储介质、电子设备
US9310880B2 (en) Self-service computer with dynamic interface
JP2019153070A (ja) 情報処理装置、及び情報処理プログラム
US10169960B2 (en) Interaction method between an attendant computer and a self-service computer
JP6653813B1 (ja) 情報処理システム
US11475657B2 (en) Machine learning algorithm trained to identify algorithmically populated shopping carts as candidates for verification
US20140129362A1 (en) Systems and methods for resolving exceptions during a retail checkout
JP7213295B2 (ja) コンピュータービジョンを利用したセルフ取引処理システム
JP7040596B2 (ja) セルフレジシステム、購入商品管理方法および購入商品管理プログラム
US20220309784A1 (en) System and method for populating a virtual shopping cart based on a verification of algorithmic determinations of items selected during a shopping session in a physical store
JP6836256B2 (ja) 情報処理システム
JP5910411B2 (ja) 情報処理装置、部門別合計表示方法及びプログラム
US11475656B2 (en) System and method for selectively verifying algorithmically populated shopping carts
US11386647B2 (en) System and method for processing a refund request arising from a shopping session in a cashierless store
JP5037563B2 (ja) 商品販売データ処理装置及びその制御プログラム
US20220230135A1 (en) Item return architecture and processing
JP2018025882A (ja) 情報処理装置及びその制御方法、表示装置、コンピュータプログラム
US20150310692A1 (en) Retail automation platform
JP2022012399A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
WO2022180970A1 (ja) 精算決済装置、精算決済システムおよび精算決済方法
JP7242927B2 (ja) 情報処理装置、及びシステム
EP1736947A1 (en) Personalized security method for a self-service checkout system
RU2785327C1 (ru) Система компьютерного зрения в ритейле
US20230162171A1 (en) Commodity storage support device and program
US20220092614A1 (en) Information processing apparatus and information processing method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant