CN113039575A - 信息处理设备、信息处理方法及程序 - Google Patents

信息处理设备、信息处理方法及程序 Download PDF

Info

Publication number
CN113039575A
CN113039575A CN201980065628.0A CN201980065628A CN113039575A CN 113039575 A CN113039575 A CN 113039575A CN 201980065628 A CN201980065628 A CN 201980065628A CN 113039575 A CN113039575 A CN 113039575A
Authority
CN
China
Prior art keywords
user
dish
information processing
processing apparatus
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980065628.0A
Other languages
English (en)
Inventor
山本将平
铃木洋贵
渡部芳奈子
小川浩明
托比亚斯·钦卡雷克
落合和树
户塚典子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of CN113039575A publication Critical patent/CN113039575A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)
  • Cash Registers Or Receiving Machines (AREA)

Abstract

一种信息处理装置，配备有控制单元(100)，该控制单元(100)执行：控制以显示界面，该界面用于从用户接收与菜肴有关的订单细节，控制以在包括在界面中的菜肴图像中，实时地反映基于用户执行的操作的订单细节的改变，并且控制以向外部装置发送最终订单细节。

Description

信息处理设备、信息处理方法及程序
技术领域
本发明涉及一种信息处理设备、信息处理方法、及计算机程序。
背景技术
通常，当在餐馆等中订购菜肴时，顾客看菜单、确定订单、并向员工告知该订单。近年来，已经引入了一种系统，在该系统中，顾客通过自己操作设置在桌子上的专用终端来发出订单。
按照菜肴的顺序，可以进行各种指定，例如份量(例如大份和小份)、烘烤程度(例如生的、中等的和熟的牛排等)、以及调味(例如咸甜、中辣和特辣)、以及菜肴的类型(菜肴名称)和/或数量的指定。以下描述的专利文献1公开了输入装置，该输入装置能够使用图表来如实地输入各种请求，该图表能够以无级的方式输入顾客在餐馆等中订购的菜肴的例如份量、烘烤程度和调味的信息。
现有技术文献
专利文献
专利文献1：日本专利申请公开No.2002-197553
发明内容
本发明要解决的技术问题
然而，对菜肴的详细订单需要时间来进行口头交流和检查，并且其数值的输入在常规专用终端的操作中是困难的，并且给顾客带来了很大的负担。另外，上述专利文献1中公开的输入装置能够使用能够无级输入的图表来更忠实地指定数值，但是不能使顾客认识到菜肴的实际尺寸(份量)等，并且仅用数值难以准确地指定顾客所需的订单。
解决问题的方法
为了解决上述问题，根据本公开的一个方面的信息处理设备具有控制器，该控制器执行：控制以显示界面，该界面从用户接收与菜肴有关的订单内容；控制以在包括在界面中的菜肴图像上，实时地反映基于用户执行的操作的订单内容的改变；并且控制以向外部装置发送所确定的订单内容。
根据本公开的一个方面的信息处理方法，包括使处理器：显示界面，该界面从用户接收与菜肴有关的订单内容；在包括在界面中的菜肴图像上，实时地反映基于用户执行的操作的订单内容的改变；并且向外部装置发送所确定的订单内容。
根据本公开的一个方面的计算机程序，使计算机用作执行以下操作的控制器：控制以显示界面，该界面从用户接收与菜肴有关的订单内容；控制以在包括在界面中的菜肴图像上，实时地反映基于用户执行的操作的订单内容的改变；并且控制以向外部装置发送所确定的订单内容。
附图说明
图1是说明根据本公开的实施例的烹饪系统的概要的图。
图2是示出根据本实施例的烹饪系统的整体配置的示例的框图。
图3是示出根据本实施例的在烹饪系统中下订单时的操作处理的流程的示例的流程图。
图4是示出根据本实施例的菜单选择显示的示例的图。
图5是本实施例的针对菜肴图像的通过直观操作输入改变菜肴尺寸的图。
图6是本实施例的菜肴尺寸改变时的盘子的阶梯式改变的图。
图7是本实施例的根据菜肴中的件数的改变的人数来进行推荐的图。
图8是本实施例的改变菜肴的调味等的操作的图。
图9是本实施例的关于菜肴的详细信息的显示的图。
图10是示出根据本实施例的单独供应指定操作的示例的图。
图11是示出根据本实施例的单独供应指定操作的另一示例的图。
图12是示出根据本实施例的用于执行指定供应定时的操作的用户界面的示例的图。
图13是示出根据本实施例的在桌子上显示烹饪进度信息的情况的示例的图。
具体实施方式
现在将参考附图在下文详细描述本公开的优选实施例。在本说明书和附图中，具有基本上相同的功能和结构的构成元素将由相同的附图标记表示，并且省略对其的重叠说明。
另外，将按以下顺序进行说明。
1.根据本公开的实施例的烹饪系统的概要
2.配置示例
3.操作处理
4.改变订单内容的操作示例
4-1.改变尺寸(份量)的操作
4-2.改变菜肴的供应顺序的操作
4-3.指定放置菜肴的位置的操作
4-4.订购后的改变操作
5.修改
5-1.声音输入
5-2.显示输出的修改
5-3.其他
6.结论
1.根据本公开的实施例的烹饪系统的概要
假定根据本公开的实施例的烹饪系统在例如餐厅和机场休息室以及配备有烹饪机器人(自动烹饪装置40)的家庭中的设施中使用。还假定烹饪系统在例如烹饪机器人(自动烹饪装置40)安装在餐厅和机场休息室的设施中的情况下使用。
背景
如上所述，对菜肴的详细点菜需要时间来进行口头交流和检查，并且其数值的输入在常规专用终端的操作中较困难，并且给顾客带来了很大的负担。另外，上述专利文献1中公开的输入装置能够使用能够无级地输入的图表来更忠实地指定数值，但是不能使顾客认识到菜肴的实际尺寸(份量)等，并且难以使顾客仅用数值准确地指定顾客所需的订单。
出于这个原因，本公开通过在桌子上显示反映用户需求的菜肴图像以及附加信息(例如营养价值、卡路里、份量、供应所需时间和价格)并根据用户的直观操作(例如通过触摸操作进行的捏合和张开操作、滑动条的操作以及声音输入)实时更新菜肴图像和/或附加信息触摸操作，使得用户(顾客)能够直观地下达菜肴的详细订单，并且能够输入忠实于用户需求的订单。
另外，根据本公开的实施例的烹饪系统通过显示以实际供应状态(即实际尺寸)显示在桌子上的菜肴图像，来解决用户在订购时所设想的菜肴图像与实际供应菜肴之间的差距。
图1是说明根据本公开的实施例的烹饪系统1的概要的图。如图1所示，根据本实施例的烹饪系统1在桌子3上显示菜肴图像300(300a至300d)，根据用户对菜肴图像的直观操作实时更新菜肴图像300，并且接收用户输入的订单。例如，烹饪系统1根据捏合或张开操作来改变以实际尺寸显示的菜肴图像的尺寸，并根据改变后的菜肴图像的尺寸获取用户订购的菜肴的尺寸。另外，本实施例能够通过对以实际尺寸显示的菜肴图像的直观操作，来指定菜肴中的件数、菜肴的调味、供应状态(例如单独供应)、和供应顺序等、以及菜肴名称和菜肴尺寸(份量)。
利用输出装置30执行菜肴图像300在桌子3上的显示。输出装置30可以是在桌面上投影图像的投影仪30a(例如移动投影仪)，或者可以是设置在桌子3的顶板上的显示器。输出装置30根据信息处理设备10的控制，在桌子3上显示菜肴图像300。可以设置多个输出装置30。
利用输入装置20检测用户对菜肴图像300的操作。输入装置20是感测各种信息的传感器设备。输入装置20例如包括相机和麦克风等，并且将感测到的信息输出到信息处理设备10。可以设置多个输入装置20。
信息处理设备10基于利用输入装置20检测到的用户操作和利用输出装置30显示的桌子3的显示状态来确定订单，并且将订单输出到烹饪侧。订单的输出目的地可以是自动烹饪装置40(例如烹饪机器人)，或者可以是安装在厨房或打印机中的订单显示装置，该订单显示装置在由人力执行烹饪时打印并输出订单。
如上所述，根据本公开的烹饪系统1能够通过对显示在桌子3上的菜肴图像的直接操作来简单且直观地执行菜肴的订购。
由人力和/或供应机器人等将所订购的菜肴运送至桌子3。
上面已经说明了根据本公开的实施例的学习支持系统的概要。以下是形成根据本实施例的烹饪系统1的每个装置的具体说明。
2.配置示例
图2是示出根据本实施例的烹饪系统1的整体配置的示例的框图。
2-1.输入装置20
输入装置20例如包括相机20a、深度传感器和麦克风等。
相机20a是成像装置(例如RGB相机)包括镜头系统、驱动系统和成像元件，并且成像图像(静止图像或运动图像)。深度传感器是获取深度信息的装置，例如红外测距装置、超声测距装置、激光成像检测和测距(LiDAR)或立体相机。麦克风是收集环境声音并输出声音数据的装置，该声音数据由放大器和模数转换器(ADC)将环境声音转换成数字信号而获得。
输入装置20基于信息处理设备10的控制来感测信息。例如，信息处理设备10能够控制相机20a的变焦率和成像方向。
除了上述构成元素之外，输入装置20可以包括能够执行所需感测的构成元件。例如，输入装置20可以包括由用户向该输入装置20输入信息的装置，例如鼠标、键盘、触摸板、按钮、麦克风、开关和操纵杆。输入装置20还可包括各种传感器，例如加速度传感器、陀螺仪传感器、地磁传感器、光学传感器、照度传感器和力传感器。
2-2.输出装置30
输出装置30包括例如投影仪30a和桌面显示器的显示装置，以及扬声器(声音输出装置)。作为输出装置30，烹饪系统1可以包括它们中的一个或它们的组合、或者多个相同类型的装置。
投影仪30a是在空间中的所需位置上投影图像的投影装置。投影仪30a例如可以是固定类型的广角投影仪，或者包括能够改变投影方向的可移动单元的移动投影仪(例如，摇动/俯仰驱动类型)。投影仪30a基于信息处理设备10的控制将图像投影在桌子3和/或周围墙壁上。
桌面显示器是设置在桌子3的顶板上的用于盛放菜肴的显示器，并且能够输出图像和声音等。桌面显示器可以设置在桌子3的整个区域或桌子3的部分区域中。输出装置30可以包括设置在桌子3周围的墙壁上的墙壁显示器。
扬声器通过数模转换器(DAC)和放大器将声音数据转换为模拟信号，然后输出(回放)声音。输出装置30可以包括能够在单个方向上形成指向性的单向扬声器。
输出装置30基于信息处理设备10的控制输出信息。信息处理设备10除了输出信息的内容之外，还能够控制输出方法。例如，信息处理设备10能够控制投影仪30a的投影方向。
输出装置30可以包括除上述构成元件之外的能够执行所需输出的构成元件。例如，输出装置30可以包括可穿戴装置，例如头戴式显示器(HMD)、增强现实(AR)眼镜和手表型装置。
2-3.信息处理设备10
信息处理设备10包括控制器100、通信单元110和存储单元120。
控制器100
控制器100用作算术处理单元和控制装置，并且根据各种计算机程序来控制信息处理设备10中的总体操作。控制器100利用例如中央处理单元(CPU)和微处理器的电子电路来实现。控制器100可以包括在其中存储待使用的计算机程序和算术参数的只读存储器(ROM)、和/或在其中临时存储适当改变的参数等的随机存取存储器(RAM)。
根据本实施例的控制器100还用作显示控制器101、操作检测器102和订单处理器103。
显示控制器101控制输出装置30在桌子3上显示菜肴图像和/或附加信息等。显示控制器101还根据由操作检测器102检测到的用户的操作来执行控制以实时更新菜肴图像和/或附加信息。
另外，显示控制器101能够基于预先在存储单元120上注册的图像信息以及从自动烹饪装置40的烹饪信息数据库(DB)42获取的与烹饪有关的信息(食谱信息(与要使用的原料、烹饪时间和烹饪方法有关的信息)、原料剩余量信息(原料库存状态)、烹饪情况(厨房中的订单拥挤)和已烹饪菜肴的捕获图像)来生成要显示的菜肴图像和/或附加信息。
操作检测器102具有基于由输入装置20感测到的信息来检测用户操作信息的功能。例如可以利用深度相机、热像仪、RGB相机、超声波传感器和/或输入装置20的麦克风来检测用户操作信息。用户操作信息是用户在桌子3上的触摸操作，该信息例如触摸、敲击、双击和轻扫、或者例如声音的信息。
作为触摸操作，例如，检测针对投影在桌子3上的菜肴图像300的操作输入。当用投影仪30a将菜肴图像300投影在桌子3上时，操作检测器102分析从相机20a获取的图像和/或深度信息、获取用户的手和/或手指位于显示表面上的位置及其深度信息(换句话说，三维信息)、并检测用户的手在高度方向上接触桌子3或接近桌子3以及手与桌子3分开。在本说明书中，用户的操作部位(例如手和手指)接触显示屏的或接近显示屏也被统称为“接触”。
订单处理器103具有基于由操作检测器102检测到的用户操作来确定订单(具体地，例如，菜肴名称、菜肴的尺寸(份量)、数量、调味、供应状态(例如单独供应)和/或菜肴的供应顺序)并将订单发送给自动烹饪装置40的功能。
通信单元110
通信单元110是用于以有线/无线的方式执行向另一装置发送数据和从另一装置接收数据的通信模块。通信单元110通过例如有线局域网(LAN)、无线LAN、无线保真(Wi-Fi，注册商标)、红外通信、蓝牙(注册商标)、短距离/非接触式通信以及便携式通信网络(长期演进(LTE)和3G(第三代移动通信系统))的方法，经由直接或以无线方式网络接入点与外部装置通信。
例如，通信单元110能够向输入装置20、输出装置30和自动烹饪装置40发送和从输入装置20、输出装置30和自动烹饪装置40接收数据。
存储单元120
存储单元120利用其中存储计算机程序和/或算术参数的只读存储器(ROM)和在其中临时存储适当改变的参数的随机存取存储器(RAM)来实现，该计算机程序和/或算数参数用于利用上述控制器100执行。
例如，存储单元120可以将由输入装置20获取的各种传感器信息、由操作检测器102检测到的用户操作信息、以及从烹饪信息DB 42获取的烹饪信息和/或预先注册的烹饪信息等存储在其中。
上面已经具体说明了根据本实施例的信息处理设备10的配置。上面参考图2说明的配置仅是示例，并且根据本实施例的信息处理设备10的功能和配置不限于上述示例。
2-4.自动烹饪装置40
自动烹饪装置40具有控制烹饪机器人等并根据从信息处理设备10发送的订单执行烹饪的功能。在本实施例中，自动烹饪装置40的具体结构不受具体限制。
根据本实施例的自动烹饪装置40包括其中存储原料库存信息等的烹饪信息DB(数据库)42。烹饪信息DB 42将食谱信息(与用于烹饪的原料、一人一份的份量(体积)、尺寸、卡路里、营养价值、烹饪所需的时间以及烹饪方法(包括过程)有关的信息)、价格信息、原料库存信息、烹饪情况(例如厨房中的订单拥挤和等待订单)、供应状态(例如要使用的餐具的图像)和烹饪菜肴的捕获图像存储在其中，以作为与烹饪有关的信息(烹饪信息)，并且不断/定期更新该信息。另外，将存储在烹饪信息DB 42中的烹饪信息适当地提供给信息处理设备10。例如，当在家中使用本系统时，基于冰箱内部的图像、存储食物和/或调味料的架子内部的图像或者由用户等输入的信息，来获取原料库存信息。原料库存信息的提供使信息处理设备10能够确定订单是否是可接受的订单。所烹饪的菜肴的捕获图像是基于订单烹饪的菜肴的捕获图像，并且可以与订单内容相关联地存储。信息处理设备10能够基于菜肴的捕获图像来适当地生成在订购时显示在桌子3上的菜肴图像300。
烹饪信息DB 42还可以将每个用户的订购历史(饮食历史)存储在其中。当用户新下订单时，通过提供用户的饮食历史，信息处理设备10能够基于用户的健康状况、最新的卡路里摄入和/或营养平衡来发出适当的建议和/或警告。
即使当由人力执行烹饪时，也可以引入包括其中存储原料库存信息和/或食谱信息等的烹饪信息DB 42的烹饪侧设备(例如，个人计算机和平板终端)，以将烹饪信息实时地提供给信息处理设备10。
3.操作处理
以下是参照图3对在根据本实施例的烹饪系统1中进行订购时的操作处理的具体说明。图3是示出根据本实施例的在烹饪系统1中下订单时的操作处理的流程的示例的流程图。
如图3所示，首先，信息处理设备10的控制器100在桌子3上显示菜单(菜单选择屏幕)，并且检测用户的选择菜肴名称的操作(步骤S103)。图4示出根据本实施例的菜单选择显示的示例。如图4所示，在本实施例中，例如，投影仪30a将可选择的菜肴图像300a-300c投影到桌子3上。菜肴图像300a-300c可以以实际尺寸显示，或者在菜单显示阶段以缩小尺寸显示。例如从烹饪信息DB 42获取关于菜肴图像300a至300c的实际尺寸信息。用户点击要订购的菜肴图像300c。
此后，信息处理设备10的控制器100检查关于所选择的菜肴的烹饪信息(步骤S106)，并且确定显示内容(步骤S106)。具体地，例如，控制器100基于从烹饪信息DB 42获取的最新烹饪信息来检查用户选择的菜肴的原料库存，并且确定菜肴当前是否处于可供应状态。控制器100还检查食谱信息，以获取(计算)用户选择的菜肴的卡路里和/或营养价值并获取该菜肴的价值信息和/或该菜肴的供应时间(供应所需的时间)。鉴于包括在最新的烹饪信息中的厨房中的当前订单拥挤状态(订单等待状态等)，可以更准确地计算供应时间。基于这些检查，控制器100确定显示内容(即，生成菜肴图像和附加信息)。可以将已注册的烹饪菜肴的捕获图像用作菜肴图像，或者可以通过计算机图形(CG)生成菜肴图像。控制器100执行控制，以基于包括在菜肴信息中的尺寸信息，在桌子3上显示实际尺寸的菜肴图像。控制器100还基于烹饪信息生成关于用户选择的菜肴的附加信息(例如价格、供应定时、卡路里和营养价值)。
此后，显示控制器101控制投影仪30a在桌子3上显示菜肴图像和附加信息(步骤S112)。
此后，直到由用户输入的订单结束为止(步骤S115中为“否”)，从由输入装置20连续获取的感测信息中检测用户操作信息(步骤S118)。由用户例如通过点击桌子3上显示的“订单”按钮、特定手势或声音来明确指示订单输入完成。在用户结束订单输入之前，用户能够对显示在桌子3上的菜肴图像300执行直观的操作输入，并且改变详细的订单内容(例如所订购的菜肴的尺寸和/或调味)。
当执行用于改变订单内容的操作输入时，控制器100再次检查烹饪信息(步骤S106)、确定显示内容(步骤S109)、并将反映改变的菜肴图像和附加信息显示在桌子3上(步骤S112)。稍后将参考附图描述通过针对菜肴图像300的直观操作输入来改变订单内容。
此后，当订单输入结束时(步骤S115中为“是”)，信息处理设备10的订单处理器103将订单发送到自动烹饪装置40(步骤S121)。
上面已经说明了根据本实施例的操作处理的示例。图3所示的操作处理仅是示例，并且本公开不限于图3所示的示例。例如，本公开不限于图3所示的步骤的顺序。这些步骤可以并行地处理，也可以以相反顺序处理。作为另一示例，不必执行图3所示的所有处理步骤。不需要在同一单个装置上执行图3所示的所有处理步骤。
4.改变订单内容的操作示例
以下，参照附图具体说明根据本实施例的针对菜肴图像300的通过直观操作输入而改变订单内容。
4-1.改变尺寸(份量)的操作
捏合/张开操作
在下文中，将参照图5说明通过针对菜肴图像300的直观操作输入而改变菜肴尺寸。如图5的上部所示，例如，在用户希望增加菜肴的尺寸(增加份量)的情况下，当将具有实际尺寸的菜肴图像300c和例如价格和卡路里的附加信息330c投影到桌子3上时，用户在菜肴图像300c上执行张开操作。利用输入装置20的深度传感器、图像传感器或设置在桌子3上的触摸传感器等来感测用户在桌子3上的张开操作。
此后，如图5的下部所示，当信息处理设备10检测到用户执行的张开操作时，信息处理设备10根据用户的张开操作来显示增大了尺寸(份量增大)的菜肴图像302c。信息处理设备10还将根据份量增大而改变的价格和卡路里反映在附加信息332c上。
图5示出在用户希望增大菜肴的尺寸(增大份量)的情况下对菜肴图像300c执行张开操作的示例，但是本实施例不限于此。当用户希望减小菜肴的尺寸(减小份量)时，通过对菜肴图像300c执行捏合操作，用户能够以相同的方式改变尺寸。
利用上述结构，用户能够识别实际要供应的菜肴的尺寸，并且适当且直观地调整要订购的菜肴的尺寸(份量)。
当通过捏合和/或张开操作来改变菜肴的尺寸时，只要可以以无级的方式调整例如面条、汤和肉的尺寸的菜肴的份量，就可以根据用户的操作(两个手指之间的距离)以无级的方式调整(增大或减小)菜肴图像300的尺寸。相比之下，用于盛放的盘子的尺寸应该被限制到一定程度。为了显示更忠实于实际状态的菜肴图像，信息处理设备10可以执行控制，以便也以实际尺寸显示用于实际盛放的盘子的尺寸。盘子尺寸信息可以从烹饪信息DB 42获取。
图6是本实施例的菜肴尺寸改变时的盘子的阶梯式改变的图。图6的上部示出正常供应的菜肴图像300c。包括在菜肴图像300c中的盘子s1是在实际供应菜肴时使用的盘子的实际尺寸显示。此后，当用户对菜肴图像300c执行张开操作时，信息处理设备10能够逐渐地(无级地)将放置在盘子s1上的菜肴的份量增大到图6的中间部分所示的中等尺寸部分的菜肴图像301c的份量。在该操作中，显示放置在盘子s1上的菜肴的份量逐渐增大并且盘子s1的尺寸不变的图像。当份量超过一定值时，如图6的下部所示，盘子s1改变为尺寸比该盘子s1大一个级别的盘子s2，并且菜肴的份量继续逐渐增大。
如上所述，显示忠实于实际状态的菜肴图像，包括供应状态(例如实际使用的盘子)。这种结构解决用户在订购时所设想的菜肴与实际供应菜肴之间的差距。该结构还使用户能够预先掌握所有订购的菜肴是否都可以放置在桌子3上，并且避免由于菜肴数量过多而导致桌子上的空间变窄。
另外，在某些菜肴中，菜肴的份量不是无级地增大/减小，而是菜肴中的件数发生改变。在该情况下，信息处理设备10根据用户对菜肴图像300的捏合/张开操作，执行显示控制以实时增加/减少要显示的菜肴中的件数。另外，当识别出团体中的用户数量时，信息处理设备10能够推荐件数的增加/减少，该件数为团体中的用户数量的倍数。例如，当由三个用户组成的团体中的顾客放大菜肴图像300时，信息处理设备10可以将菜肴中的件数增加到六件、九件、十二件……。在推荐之后，用户可以通过触摸显示在菜肴图像300附近的弹出窗口来修改件数。例如，如图7所示，在团体中的用户数量为三的情况下，当通过张开操作增大作为以常规供应的包括六件的菜肴的菜肴图像300d的份量时，信息处理设备10显示包括作九件的菜肴图像301d，该九件为团体中的用户数量的倍数。如上所述，在菜肴份量的增大/减小中，结构使得能够推荐件数的增加/减少，该件数为团体中的用户数量的倍数。当用户希望改变要订购的件数时，用户点击显示在菜肴图像300d附近的件数显示331d，以将件数改变为所需的件数(例如，八个)。当件数改变时，信息处理设备10在菜肴图像302d上实时反映件数的改变。另外，当菜肴中的默认件数不是团体中用户数量的倍数时，信息处理设备10还能够将份量自动地调整为是团体中用户数量的倍数的件数并显示调整后的件数。例如，当包括三个用户的团体订购包括五个串烤架的菜肴时，信息处理设备10自动将件数改变为六个，并显示反映该改变的菜肴图像300。
上面已经说明了通过捏合/张开操作来改变菜肴的尺寸(份量)作为菜肴图像的直观操作的方法，但是本实施例不限于此。改变操作可以是另一种操作(包括手势)。作为另一示例，该方法可以是通过操作显示在桌子3上的滑动条来改变菜肴的尺寸(份量)的方法。
改变调味等的操作
下面参照图8说明例如对菜肴进行的调味的改变操作。例如，如图8所示，可以通过滑动条和/或单选按钮(调整显示340c)对菜肴的调味(例如浓和淡)、是否使用特定原料以及烹饪程度(例如，烘烤程度、煮沸程度和面条的硬度)进行无级地或逐步地调整。信息处理设备10根据针对调整显示340c的直观用户操作(滑动条和/或单选按钮的操作)实时地改变菜肴图像302c和/或附加信息332c的显示内容。具体地，信息处理设备10根据通过调整显示340c的操作而改变的订单内容，实时地计算(或使用预先计算出的数值)并且改变作为附加信息332c显示的例如卡路里、价格、营养价值和供应时间的信息。另外，由于菜肴图像302c的外观可以根据要使用的原料的存在/不存在和调味而改变，所以信息处理设备10实时地改变菜肴图像302c以忠实于实际状态。可以通过处理预先获取的烹饪菜肴的捕获图像来生成菜肴图像302c的改变。对应的订单信息添加到烹饪菜肴的捕获图像，并且信息处理设备10能够基于在调整显示340c中改变的订单内容来适当地处理捕获图像，并且将处理后的图像显示为菜肴图像302c。
关于菜肴的详细信息的显示
信息处理设备10还能够根据用户对菜肴图像300的直观操作输入以放大/缩小状态显示菜肴图像300。例如，用户能够放大显示中的菜肴图像300，以通过肉眼观察来检查包括在菜肴中的原料。另外，当用户即使通过肉眼观察也无法识别出菜肴中包括什么原料时，用户可以通过点击图像中的原料来使信息处理设备10以弹出的方式显示详细信息。图9是本实施例的关于菜肴的详细信息的显示的图。如图9所示，当点击以放大状态显示的菜肴图像305c中的特定原料时，关于原料的详细信息的显示360c作为弹出窗口显示。关于原料的详细信息例如包括名用称、质量、生产地区和营养价值等。菜肴图像305c的放大操作例如可以是用两根手指进行的张开操作，以将该操作与上述尺寸改变操作区分开，而尺寸改变操作是用一根手指的张开操作。作为另一示例，可以通过点击放大按钮来执行放大显示。指示图像是放大图像的图标(例如图9中的放大镜)可以显示在用作放大显示的菜肴图像305c中。
单独供应方法的指定
当为多个用户订购菜肴时，可以在订单中指定单独的供应方法。可以以各种方式指定单独的供应方法，该方法例如按份量分配菜肴的方法、按件数分配菜肴的方法以及将菜肴切成块的方法。在下文中，将参照图10和图11说明单独供应方法的具体示例。
图10是示出根据本实施例的单独供应指定操作的示例的图。如图10中所示，例如，在订购单独供应指定可用的的菜肴的情况下，信息处理设备10在菜肴图像300的一侧上显示“划分成X”按钮360。在“划分成X等分”按钮360中，可以预先显示系统所掌握的用户数量。可以利用相机20a等掌握用户的数量。作为另一示例，用户例如可以通过下拉方法来改变“划分成X等分”按钮360的等分部分的数量。
当点击“划分成X等分”按钮360时，信息处理设备10显示等分的菜肴图像305。等分的菜肴图像305是处于菜肴在供应时实际被划分成等分并以实际尺寸显示的状态的图像。信息处理设备10可以基于从烹饪信息DB 42获取的实际等分的菜肴的捕获图像，来生成等分的菜肴图像305。
图11是示出根据本实施例的单独供应指定操作的另一示例的图。在订购通过等分切割菜肴(例如比萨饼和整个蛋糕)的情况下，如图11的上部所示，可以指定将菜肴自动等分成与团体中的用户数量相等的部分的方法，或如图11下部所示，由用户用手指指定所需切割的方法。
信息处理设备10可以显示菜肴的每个等分部分的附加信息(例如卡路里和营养价值)。在可以针对菜肴的每个等分部分改变份量、调味和/或浇头等的情况下，信息处理设备10可以显示操作屏幕(例如用于改变的滑动条)或接收用户对等分的菜肴图像的操作。
单独供应不限于“等分”，而是可以自动地或按需改变所划分的份量比例(例如成人与儿童的份量比例)。作为另一示例，当减小等分的菜肴的一部分的份量时，可以自动增大等分的菜肴的另一部分的份量。
在任何情况下，单独供应状态和/或改变细节以实际尺寸实时反映在菜肴图像上，该实际尺寸指示实际供应状态。该结构使用户能够直观地检查订购的菜肴。
如上所述，指定单独供应状态并检查单独供应之后的状态解决了用户在订购时所设想的菜肴图像与实际供应菜肴之间的差距。
4-2.改变菜肴的供应顺序的操作
在本实施例中，可以在订购时指定供应每个菜肴的定时。图12是示出根据本实施例的用于执行指定供应定时的操作的用户界面(UI)的示例的图。可以始终在桌子3上显示用于显示UI的按钮，以执行指定供应定时的操作的按钮。
如图12所示，用于执行指定供应定时的操作的UI例如可以是通过沿着时间线(布置菜肴图像300在这里不一定以实际尺寸显示)来指定供应顺序的UI。当用户希望在同一时间供应菜肴时，用户应在垂直于时间线的方向上布置菜肴图像300。作为默认设置，可以基于固定规则(例如，先供应开胃菜，其次供应主菜，最后供应甜点)来设置供应定时。当用户希望将默认设置中首先要供应的菜肴图像300h的供应定时改变为与接下来要供应的菜肴图像300i和300j相同的供应定时时，如图12所示，用户通过触摸操作将菜肴图像300h移动到菜肴图像300i和300j下方的空间。
信息处理设备10在订单中包括关于所指定的菜肴的供应顺序的信息，并将该订单通知自动烹饪装置40。
4-3.指定放置菜肴的位置的操作
在本实施例中，订购的菜肴图像300可以总是显示在桌子3上，并且在供应时可以在菜肴图像300的显示位置上供应菜肴。通过触摸操作等根据需要滑动菜肴图像300，用户能够移动菜肴图像300的显示位置，以将供应位置指定到所需位置。
当信息处理设备10感测到菜肴已供应时，信息处理设备10可以将对应的菜肴图像300改变为非显示状态。
该结构使得用户能够预先掌握并改变所订购的菜肴的供应位置。另外，当所有的菜肴都可以放在桌子3上或者桌子3上的空间随所放的菜肴变窄时，该结构使得可以通过将菜肴提前单独地供应至各个小盘子以清除大盘子来调整进餐速度。
另外，信息处理设备10可以根据设置的供应定时在桌子3上显示菜肴图像300。具体地，结构不限于同时显示订购的菜肴的所有菜肴图像的结构，而是可以预先显示接下来要供应的菜肴的菜肴图像300的结构。
另外，当在桌子3上没有剩余的供应空间时(具体地，当没有剩余的空间来显示接下来要供应的菜肴的菜肴图像300时)，信息处理设备10还能够通知自动烹饪装置40等待供应定时。
在本系统中，当顾客是多个用户的团体时，信息处理设备10可以将谁订购了哪个菜肴存储在其中，并通知自动烹饪装置40以便将菜肴供应给订购了该菜肴的用户。当由人力来供应菜肴时，餐厅工作人员能够通过肉眼观察桌子3上的菜肴图像300的位置来供应菜肴。当由供应机器人来供应菜肴时，可以控制机器人移动到订购该菜肴的用户的座椅的附近。
4-4.订购后的改变操作
本实施例使得能够在桌子3上显示烹饪进度信息，以通知用户直到菜肴供应所需的时刻。当即使在订购后也可以在烹饪期间改变定单(例如调味的改变)时，即使在订购后用户的要求已经改变的情况下，本实施例也能够向用户通知细节，以尽可能多地满足用户的要求。
图13是示出根据本实施例的在桌子3上显示烹饪进度信息的情况的示例的图。
如图13所示，在订购菜肴之后，在桌子3上显示订购的菜肴图像300和烹饪进度信息370。基于从自动烹饪装置40获取的最新烹饪信息，烹饪进度信息370由信息处理设备10实时更新。
烹饪进度信息370例如利用条形图或圆形图指示烹饪进度。这样的条形图或圆形图表示可以更改订单内容的时限。具体地，例如，如图13所示，进度条显示可以更改订单内容的时限，例如“可以改变尺寸(份量)”、“可以改变调味”、“改变烘烤程度”和“可以取消订单”。时间限制取决于菜肴的烹饪进度。即使在订购后用户的请求已发生了改变，用户也能够参考烹饪进度信息370来改变订单。当信息处理设备10检测到订单改变时，信息处理设备10将改变的内容通知自动烹饪装置40。
如上所述，实时显示每个菜肴的进度状态使用户能够识别直到用户订购的菜肴被供应为止所需的时间，并且当进展程度未达到一定程度时，即使在订购后也可以改变订单内容。
如上所述，在本实施例中，在订购时，处于实际供应状态的实际尺寸的菜肴图像300和附加信息330显示在桌子3上，由用户执行的直观操作输入被实时反映在菜肴图像300和附加信息330上，以使用户能够输入订单内容。即使订单详细，该结构也使用户能够直观且容易地进行操作输入，同时检查用户是否忠实于该用户的要求订购菜肴。另外，预先用图像显示要供应的菜肴的状态可以解决用户的设想与实际供应菜肴之间的差距。
5.修改
5-1.声音输入
以上说明的示例示出主要使用触摸操作作为用于输入订单的操作方法的情况，但是本实施例不限于此。可以通过使用麦克风的声音输入来输入订单。例如，声音识别可用于执行菜单选择(例如“三盘沙拉、一盘比萨饼和两盘意大利面”)、调整份量(例如“多一点份量”)以及均等划分(例如“划分成X等分”)。当信息处理设备10识别通过麦克风收集的用户语音(输入装置20的示例)并获取订单内容时，信息处理设备10以与使用触摸操作的情况相同的方式将订单内容实时反映在显示在桌子3上的菜肴图像和附加信息上。
另外，在本系统中，可以基于用户的状态自动执行切换到声音输入。例如，当信息处理设备10确定用户处于难以执行触摸操作的状态时，例如当用户将自己的孩子抱在怀中并且用户的手被抱住时，信息处理设备10可以通知用户可以进行声音输入并且接收声音输入。
另外，当在家中使用本系统时，当系统在订购后感测到用户已经离开桌子3时，信息处理设备10将输入模式切换为声音输入，以使得即使从遥远的地方也可以通过声音输入来接收用户的指示，例如订购后的改变。
订单输入方法不限于对在桌子3上显示的菜肴图像和/或附加信息的触摸操作，而是可以通过手势和/或头部和/或视线等的移动来输入订单。在任何情况下，当信息处理设备10识别出用户所下的订单内容时，信息处理设备10将订单内容实时反映在显示在桌子3上的菜肴图像和/或附加信息上。
作为另一示例，当将订单输入方法切换为声音输入时，信息处理设备10可以适当地切换UI(在图8等中)以将关于菜肴的附加信息(例如调味和烘烤程度)改变为声音输入UI。
信息处理设备10可以接收触摸操作和声音输入两者。该结构使得用户能够例如通过声音输入来指定调味等，同时通过触摸操作来改变菜肴的尺寸。
5-2.显示输出的修改
上述示例示出在供应菜肴的桌子3上主要显示(投影)菜肴图像300等的情况，但是本实施例不限于此。例如，当桌子3上的显示区域不足或难以从远处的座位看显示区域时，可以使用其他环境显示区域，例如壁挂显示器。
本系统还可以具有将要在桌子3等上显示的菜肴图像等与立体图像一起呈现的功能。
如上所述，本系统的输出装置30可以是可穿戴装置，例如头戴式显示器(HMD)和增强现实(AR)眼镜。在该情况下，信息处理设备10或输出装置30控制显示，使得在HMD或AR眼镜的透射或非透射型显示单元中可以看到菜肴图像300等位于桌子上。
5-3.其他
基于用户信息等的推荐
当信息处理设备10接收到订单时，信息处理设备10可以获取用户信息(例如饮食历史、消耗的卡路里、用户是否处于节食、健康状况、生活习惯、运动习惯和日程安排)，并且鉴于营养平衡、含盐量和消耗的卡路里呈现适当的菜单(菜肴名称)、或者呈现适当的调味和/或份量。作为另一示例，信息处理设备10可以基于用户信息发出警告(例如“您吃得太多了”)。
例如，当在家中使用本系统时，当用户被安排外出时，系统可以检查用户的后续日程安排，并且呈现可以快速烹饪的菜单作为推荐。另外，当在家中使用本系统时，系统可以基于冰箱中食物的剩余份量和/或用户当天所吃的食物内容呈现有关营养平衡(例如份量、调味和所用原料的改变)的合适菜肴作为推荐。
当本系统被用于在顾客的停留时间受到限制的场景(例如机场休息室、公共汽车总站和火车站)中的食物和饮料的供应时，信息处理设备10可以获取顾客的日程安排、出发时间和/或登机时间，并且推荐可在限定时间内供应的菜肴。另外，当饭后仍剩余空闲时间时，系统可以推荐饭后咖啡等。
信息处理设备10还可以从利用相机20a成像的用户的外观估计属性信息，例如年龄、性别和用户数量，并且呈现适当份量和/或调味的菜单作为推荐。
信息处理设备10可以利用相机20a(或基于订单内容)识别放置在桌子3上的菜肴，并且呈现与订购的菜肴匹配的菜肴和/或饮料作为推荐。
上述推荐的细节以假定实际供应状态的实际尺寸的菜肴图像呈现，并且使用户能够视觉上识别推荐的细节。
再现风味和味道的机构
本系统设置有用于再现风味和/或味道、以及以假定实际供应状态的实际尺寸提议菜肴图像的机构。机构通过预先提出要供应给用户的菜肴的风味和/或味道来解决用户的设想与实际供应的菜肴之间的差距。
批量请求输入
本系统使得能够批量反映与由宗教、体质(例如过敏和疾病)以及偏好等引起的与NG原料有关的请求。例如，当点击桌子3上显示的“素食”按钮时，整个菜单更新为素食菜单。
菜肴温度的显示
信息处理设备10可以感测所供应的菜肴的热度，并且在桌子3上显示该警告(例如“当心被热菜肴灼伤！”的警告)。
盘子清理功能
清理盘子的请求例如可以通过点击待清理盘子周围的空间的操作而传达到餐厅工作人员。具体地，当输入装置20检测到例如点击盘子周围的空间的具体操作(姿势)时，信息处理设备10将清除盘子的请求通知至自动烹饪装置40。
6.结论
已经参考附图详细解释了本公开的优选实施例，但是本技术不限于这样的示例。显然，在本公开的技术领域中的普通技术人员可以想到在权利要求书中描述的技术思想的范围内的各种修改或变型，并且这些当然也被认为属于本公开的技术范围。
例如，可以生成计算机程序以使例如CPU、ROM和RAM的硬件包括在信息处理设备10、输入装置20、输出装置30或自动烹饪装置40中，以呈现出信息处理设备10、输入装置20、输出装置30或自动烹饪装置40的功能。此外，还提供将计算机程序存储在其中的计算机可读存储介质。
本说明书中描述的效果是说明性或示例性的，并且不限于此。具体地，根据本公开的技术可以产生本领域技术人员从本说明书的描述显而易见的其他效果以及上述效果，或者代替上述效果。
本技术可以采用以下结构。
(1)信息处理设备，包括：
控制器，执行：
控制以显示界面，该界面从用户接收与菜肴有关的订单内容；
控制以在包括在界面中的菜肴图像上，实时地反映基于用户执行的操作的订单内容的改变；并且
控制以向外部装置方所确定的订单内容。
(2)根据(1)的信息处理设备，其中，控制器执行控制以在显示区域中以实际尺寸显示菜肴图像。
(3)根据(1)或(2)的信息处理设备，其中，控制器执行：
控制以与菜肴图像一起显示附加信息，该附加信息包括与菜肴图像指示的菜肴有关的信息，并且
控制以基于用户实时地执行的操作、还基于附加信息来反映订单内容的改变。
(4)根据(3)的信息处理设备，其中，附加信息的显示包括菜肴的卡路里、价格、营养价值、质量或供应定时的显示。
(5)根据(3)或(4)的信息处理设备，其中，控制器从外部装置获取与烹饪有关的信息，并且生成菜肴图像和附加信息。
(6)根据(1)至(5)中的任一项的信息处理设备，其中，控制器基于感测数据来检测用户对界面执行的触摸操作输入，并获取订单内容。
(7)根据(6)的信息处理设备，其中，控制器执行控制以根据针对菜肴图像的捏合操作或者张开操作，来改变菜肴图像的尺寸，并且接收与菜肴图像指示的菜肴尺寸有关的订单。
(8)根据(6)的信息处理设备，其中，控制器执行：
控制以显示调整显示，以改变与菜肴图像指示的菜肴的调味、份量、烘烤程度、煮沸程度、硬度或者使用过的原料有关的订单内容，以并且
控制以基于用户对调整显示执行的触摸操作的检测结果来接收订单内容的改变。
(9)根据(1)至(5)中的任一项的信息处理设备，其中，控制器基于感测数据检测由用户对界面执行的声音输入操作，并获取订单内容。
(10)根据(1)至(9)中的任一项的信息处理设备，其中，当根据用户对界面执行的操作而增加放置在菜肴图像中的盘子上的菜肴的件数时，控制器生成这样的菜肴图像：即在该菜肴图形中，件数增加到用户的数量的倍数。
(11)根据(1)至(10)中的任一项的信息处理设备，其中，当根据用户在界面上执行的操作来接收放置在菜肴图像中的盘子上的菜肴的单独供应订单时，控制器生成这样的菜肴图像：即在菜肴图像处于菜肴按用户的数量分份而单独供应的状态。
(12)根据(1)至(11)中的任一项的信息处理设备，其中，控制器基于用户通过对菜肴图像的触摸操作而描绘的线来，识别菜肴的切割部分，并且生成处于切割部分被切割的状态的菜肴图像。
(13)根据(1)至(12)中任一项的信息处理设备，其中，控制器执行：
控制以通过按时间次序排列所订购的菜肴的菜肴图像来呈现所订购的菜肴的供应顺序，并且
控制以根据用户对显示执行的操作输入来接收供应顺序的改变，在显示中，菜肴图像按时间次序排列。
(14)根据(1)至(13)中的任一项的信息处理设备，其中，控制器执行控制以在菜肴要供应在的桌子上以实际尺寸显示所订购的菜肴的菜肴图像，并且接收菜肴的供应位置的指定。
(15)根据(1)至(14)中的任一项的信息处理设备，其中，控制器执行控制以显示烹饪进度信息，该烹饪进度信息关于包括在所确定的订单内容中的每个菜肴，并且清楚地指示每个菜肴的可改变的订单内容和时限。
(16)根据(1)至(15)中的任一项的信息处理设备，其中，控制器基于关于用户的信息来输出菜肴推荐信息。
(17)根据(16)的信息处理设备，其中，关于用户的信息包括用户的饮食历史、摄取的卡路里、用户是否处于节食中、健康状况、生活习惯、运动习惯和日程安排、或者从通过对用户成像而获取的捕获图像估计出的关于用户的属性信息。
(18)一种信息处理方法，包括使处理器：
显示界面，该界面从用户接收与菜肴有关的订单内容；
在包括在界面中的菜肴图像上，实时地反映基于用户执行的操作的订单的改变，并且
向外部装置发送所确定的订单内容。
(19)一种机程序，使计算机用作执行以下操作的控制器：
控制以显示界面，该界面从户接收与菜肴有关的订单内容；
控制以在包括在界面中的菜肴图像上，实时地反映基于用户执行的操作的订单内容的改变；并且
控制以向外部装置发送所确定的订单内容。
参考标记列表
1 烹饪系统
3 桌子
10 信息处理设备
100 控制器
101 显示控制器
102 操作检测器
103 订单处理器
110 通信单元
120 存储单元
20 输入装置
20a 相机
30 输出装置
30a 投影仪
40 自动烹饪装置
42 烹饪信息DB
300 菜肴图像。

Claims (19)

1.一种信息处理设备，包括：
控制器，执行：
控制以显示界面，所述界面从用户接收与菜肴有关的订单内容；
控制以在包括在所述界面中的菜肴图像上，实时地反映基于所述用户执行的操作的所述订单内容的改变；并且
控制以向外部装置发送所确定的订单内容。
2.根据权利要求1所述的信息处理设备，其中，所述控制器执行控制以在显示区域中以实际尺寸显示所述菜肴图像。
3.根据权利要求1所述的信息处理设备，其中，所述控制器执行：
控制以与所述菜肴图像一起显示附加信息，所述附加信息包括与所述菜肴图像指示的所述菜肴有关的信息，并且
控制以基于所述用户实时地执行的操作、还基于所述附加信息来反映所述订单内容的改变。
4.根据权利要求3所述的信息处理设备，其中，所述附加信息的显示包括所述菜肴的卡路里、价格、营养价值、质量或供应定时的显示。
5.根据权利要求3所述的信息处理设备，其中，所述控制器从所述外部装置获取与烹饪有关的信息，并且生成所述菜肴图像和所述附加信息。
6.根据权利要求1所述的信息处理设备，其中，所述控制器基于感测数据来检测所述用户对所述界面执行的触摸操作输入，并且获取所述订单内容。
7.根据权利要求6所述的信息处理设备，其中，所述控制器执行控制以根据针对所述菜肴图像的捏合操作或者张开操作，来改变所述菜肴图像的尺寸，并且接收与所述菜肴图像指示的菜肴尺寸有关的订单。
8.根据权利要求6所述的信息处理设备，其中，所述控制器执行：
控制以显示调整显示，以改变与所述菜肴图像指示的所述菜肴的调味、份量、烘烤程度、煮沸程度、硬度或者使用过的原料有关的所述订单内容，并且
控制以基于所述用户对所述调整显示执行的触摸操作的检测结果来接收所述订单内容的改变。
9.根据权利要求1所述的信息处理设备，其中，所述控制器基于感测数据检测由所述用户对所述界面执行的声音输入操作，并且获取所述订单内容。
10.根据权利要求1所述的信息处理设备，其中，当根据所述用户对所述界面执行的操作而增加放置在所述菜肴图像中的盘子上的所述菜肴的件数时，所述控制器生成这样的菜肴图像：即在所述菜肴图像中，所述件数增加到所述用户的数量的倍数。
11.根据权利要求1所述的信息处理设备，其中，当根据所述用户对所述界面执行的操作来接收放置在所述菜肴图像中的盘子上的所述菜肴的单独供应订单时，所述控制器生成这样的菜肴图像：即所述菜肴图像处于所述菜肴按所述用户的数量分份而单独供应的状态。
12.根据权利要求1所述的信息处理设备，其中，所述控制器基于所述用户通过对所述菜肴图像的触摸操作而描绘出的线，来识别所述菜肴的切割部分，并且生成处于在所述切割部分处被切割的状态的所述菜肴图像。
13.根据权利要求1所述的信息处理设备，其中，所述控制器执行
控制以通过按时间次序排列各个所述菜肴图像来呈现所订购的菜肴的供应顺序，并且
控制以根据所述用户对显示执行的操作输入来接收所述供应顺序的改变，在所述显示中，所述菜肴图像按时间次序排列。
14.根据权利要求1所述的信息处理设备，其中，所述控制器执行控制以在所述菜肴要供应在的桌子上以实际尺寸显示所订购的菜肴的所述菜肴图像，并且接收对所述菜肴的供应位置的指定。
15.根据权利要求1所述的信息处理设备，其中，所述控制器执行控制以显示烹饪进度信息，该烹饪进度信息关于包括在所确定的所述订单内容中的每个菜肴，并且清楚地指示所述每个菜肴的能够改变的订单内容和时限。
16.根据权利要求1所述的信息处理设备，其中，所述控制器基于关于所述用户的信息来输出菜肴推荐信息。
17.根据权利要求16所述的信息处理设备，其中，关于所述用户的所述信息包括所述用户的饮食历史、摄取的卡路里、所述用户是否处于节食中、健康状况、生活习惯、运动习惯和日程安排、或者从通过对所述用户进行成像而获取的捕获图像估计出的关于所述用户的属性信息。
18.一种信息处理方法，包括使处理器：
显示界面，所述界面从用户面接收与菜肴有关的订单内容；
在包括在所述界面中的菜肴图像上，实时地反映基于所述用户执行的操作的所述订单内容的改变；并且
向外部装置发送所确定的订单内容。
19.一种计算机程序，使计算机用作执行以下操作的控制器：
控制以显示界面，所述界面从用户接收与菜肴有关的订单内容；
控制以在包括在所述界面中的菜肴图像上，实时地反映基于所述用户执行的操作的所述订单内容的改变；并且
控制以向外部装置发送所确定的订单内容。
CN201980065628.0A 2018-10-12 2019-10-03 信息处理设备、信息处理方法及程序 Pending CN113039575A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018193099 2018-10-12
JP2018-193099 2018-10-12
PCT/JP2019/039136 WO2020075623A1 (ja) 2018-10-12 2019-10-03 情報処理装置、情報処理方法、および、プログラム

Publications (1)

Publication Number Publication Date
CN113039575A true CN113039575A (zh) 2021-06-25

Family

ID=70165227

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980065628.0A Pending CN113039575A (zh) 2018-10-12 2019-10-03 信息处理设备、信息处理方法及程序

Country Status (4)

Country Link
US (1) US20210366033A1 (zh)
JP (1) JP7420077B2 (zh)
CN (1) CN113039575A (zh)
WO (1) WO2020075623A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI840131B (zh) 2022-11-29 2024-04-21 緯創資通股份有限公司 食物資訊呈現方法、裝置及電腦可讀儲存媒體

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455591B2 (en) * 2019-07-18 2022-09-27 International Business Machines Corporation Service management
US11594048B2 (en) 2021-03-12 2023-02-28 Agot Co. Image-based kitchen tracking system with anticipatory preparation management
JP7188811B1 (ja) 2021-08-12 2022-12-13 Ｎｅｃプラットフォームズ株式会社 注文管理装置、注文管理方法、及びプログラム
JP7178517B1 (ja) 2022-01-25 2022-11-25 Kddi株式会社 情報処理装置及び情報処理方法
JP7170153B1 (ja) 2022-01-31 2022-11-11 Kddi株式会社 情報処理装置及び情報処理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050065851A1 (en) * 2003-09-22 2005-03-24 Aronoff Jeffrey M. System, method and computer program product for supplying to and collecting information from individuals
JP2011034326A (ja) * 2009-07-31 2011-02-17 Toshiba Tec Corp 注文受付装置及び注文受付プログラム
JP2012089025A (ja) * 2010-10-21 2012-05-10 Sharp Corp 注文装置
JP2012221010A (ja) * 2011-04-05 2012-11-12 Japan Research Institute Ltd 注文処理装置、注文処理方法、およびプログラム
US20140149937A1 (en) * 2012-11-26 2014-05-29 University Of Birmingham Visual meal creator
KR20140125612A (ko) * 2013-04-19 2014-10-29 임두원 전자 주문 장치 및 그 운용 방법
US20160353235A1 (en) * 2015-06-01 2016-12-01 Accenture Global Services Limited Location-based order recommendations

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3558605B2 (ja) 2001-04-26 2004-08-25 Ｎｅｃインフロンティア株式会社 オーダリングシステム
US7603287B2 (en) * 2002-08-14 2009-10-13 Ipdev Co. Point of purchase display accessory
JP2007219566A (ja) 2006-02-14 2007-08-30 Japan Crescent Co Ltd 飲食台ユニットおよび飲食システム
US10445819B2 (en) * 2013-05-23 2019-10-15 Gavon Augustus Renfroe System and method for integrating business operations
JP2016053907A (ja) 2014-09-04 2016-04-14 株式会社ニコン プログラム及び電子機器
JP6164494B2 (ja) 2014-10-23 2017-07-19 智広 梅田 メニュー提供システム
US10410188B2 (en) * 2015-03-11 2019-09-10 Ntn Buzztime, Inc. Electronic check splitting system, method and apparatus
US20210209523A1 (en) * 2020-01-01 2021-07-08 Rockspoon, Inc. System and method for end-to-end contactless dining experience and management

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050065851A1 (en) * 2003-09-22 2005-03-24 Aronoff Jeffrey M. System, method and computer program product for supplying to and collecting information from individuals
JP2011034326A (ja) * 2009-07-31 2011-02-17 Toshiba Tec Corp 注文受付装置及び注文受付プログラム
JP2012089025A (ja) * 2010-10-21 2012-05-10 Sharp Corp 注文装置
JP2012221010A (ja) * 2011-04-05 2012-11-12 Japan Research Institute Ltd 注文処理装置、注文処理方法、およびプログラム
US20140149937A1 (en) * 2012-11-26 2014-05-29 University Of Birmingham Visual meal creator
KR20140125612A (ko) * 2013-04-19 2014-10-29 임두원 전자 주문 장치 및 그 운용 방법
US20160353235A1 (en) * 2015-06-01 2016-12-01 Accenture Global Services Limited Location-based order recommendations

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI840131B (zh) 2022-11-29 2024-04-21 緯創資通股份有限公司 食物資訊呈現方法、裝置及電腦可讀儲存媒體

Also Published As

Publication number Publication date
US20210366033A1 (en) 2021-11-25
JP7420077B2 (ja) 2024-01-23
WO2020075623A1 (ja) 2020-04-16
JPWO2020075623A1 (ja) 2021-09-16

Similar Documents

Publication Publication Date Title
CN113039575A (zh) 信息处理设备、信息处理方法及程序
US8419434B2 (en) Interactive recipe preparation using interactive cooking device to communicate with kitchen appliances
US20220148703A1 (en) Food providing system, food providing method, and program
JP2012527847A (ja) 台所及び家庭用器具のコントロール
CN105243270B (zh) 饮食监控方法、装置、系统及餐饮家具
KR102013775B1 (ko) 사용자 취향에 따라 맞춤형 반찬 주문이 가능한 음식 주문 시스템 및 그 운용 방법
JP2001134673A (ja) 接客管理装置
KR101550961B1 (ko) 전자 주문 장치 및 그 운용 방법
JP2019153091A (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US20150132725A1 (en) Dish information providing method and system
JP2016031642A (ja) 情報提供システム、サーバ、端末装置、情報提供方法、および制御プログラム
JPWO2017199389A1 (ja) 情報提供システム、情報提供方法および情報提供プログラム
US10480990B1 (en) System and method for dynamic adjustment of recipe ingredients
JP2019040267A (ja) 商品提供システム、商品提供方法、プログラム及び料理注文システム
JP2020091577A (ja) 健康増進支援システム及び健康増進支援方法
WO2019049799A1 (ja) 食事履歴システム
WO2020075418A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6590005B2 (ja) 電子機器及びプログラム
JP2018185791A (ja) 健康管理支援システム
US20210375155A1 (en) Automated cooking assistant
JP2014123214A (ja) 電子機器
JP6277582B2 (ja) 電子機器
CN112996634B (zh) 信息处理设备、信息处理方法和信息处理程序
CN112424731B (zh) 信息处理设备，信息处理方法和记录介质
JP2014123215A (ja) 電子機器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination