CN108668120B - 显示装置、显示方法以及记录介质 - Google Patents

显示装置、显示方法以及记录介质 Download PDF

Info

Publication number
CN108668120B
CN108668120B CN201810232839.6A CN201810232839A CN108668120B CN 108668120 B CN108668120 B CN 108668120B CN 201810232839 A CN201810232839 A CN 201810232839A CN 108668120 B CN108668120 B CN 108668120B
Authority
CN
China
Prior art keywords
image
display
unit
recognized
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810232839.6A
Other languages
English (en)
Other versions
CN108668120A (zh
Inventor
阿曾光洋
久保谷宽行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017150988A external-priority patent/JP6898803B2/ja
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of CN108668120A publication Critical patent/CN108668120A/zh
Application granted granted Critical
Publication of CN108668120B publication Critical patent/CN108668120B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47J—KITCHEN EQUIPMENT; COFFEE MILLS; SPICE MILLS; APPARATUS FOR MAKING BEVERAGES
    • A47J27/00—Cooking-vessels
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0092—Nutrition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Educational Administration (AREA)
  • Health & Medical Sciences (AREA)
  • Nutrition Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Educational Technology (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Food Science & Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及显示装置、显示方法及程序。显示装置(100)具备：显示部(200)，显示第1图像(210)；取得部(120)，取得基于从摄像头(300)获得的拍摄图像的、烹饪对象的食材的识别结果；判定部(130)，判定识别结果所示的识别到的食材(400)是否存在于显示部能够进行显示的区域中的、可重叠区域(202)内，可重叠区域是能够将第1图像重叠于食材的区域；及显示控制部(140)，(i)在判定部判定为食材存在于可重叠区域内的情况下，使显示部将第1图像重叠于食材，(ii)在判定部判定为食材没有存在于可重叠区域内的情况下，使显示部显示第2图像(220)，将第1图像重叠于第2图像。由此在食材存在于可重叠区域外的情况下也能够辅助烹饪者的烹饪行为。

Description

显示装置、显示方法以及记录介质
技术领域
本公开涉及显示装置、显示方法以及程序。
背景技术
以往，公开了如下技术：通过拍摄放置于烹饪台的食材来辨识食材的种类，将表示根据烹饪食谱所决定的烹饪方法(例如切法)的指导(guidance)图像重叠在放置于烹饪台的食材上(例如专利文献1)。由此，烹饪者通过一边看着重叠于食材的指导图像一边进行烹饪，能够容易地进行烹饪。
现有技术文献
专利文献1：日本特开2010-191745号公报
发明内容
发明所要解决的问题
然而，在以往的显示装置中，在食材存在于能够重叠指导图像的区域外侧的情况下，无法将指导图像重叠在该食材上来显示，就不能对烹饪者的烹饪行为(行动)进行辅助。
本公开是为了解决上述问题而做出的，其目的在于提供在食材存在于可重叠区域外的情况下也能够辅助烹饪者的烹饪行为的显示装置、显示方法以及程序。
用于解决问题的技术方案
本公开的一个技术方案涉及的显示装置，具备：显示部，其显示用于辅助烹饪者的烹饪行为的第1图像；取得部，其取得基于从摄像头(camera)获得的拍摄图像的、烹饪对象的食材的识别结果；判定部，其判定所述识别结果所示的识别到的食材是否存在于可显示区域中的可重叠区域内，该可显示区域是所述显示部能够进行显示的区域，该可重叠区域是能够将所述第1图像重叠于所述识别到的食材的区域；以及显示控制部，(i)在所述判定部判定为所述识别到的食材存在于所述可重叠区域内的情况下，使所述显示部将所述第1图像重叠于所述识别到的食材，(ii)在所述判定部判定为所述识别到的食材没有存在于所述可重叠区域内的情况下，使所述显示部显示第2图像，并将所述第1图像重叠于所述第2图像，所述第2图像是基于在从所述摄像头获得的所述拍摄图像中映现的所述识别到的食材所生成的图像。
此外，这些总括性的或者具体的方面可以通过系统、装置、方法、记录介质或者计算机程序来实现，也可以通过系统、装置、方法、记录介质以及计算机程序的任意组合来实现。
发明效果
根据本公开的一个技术方案涉及的显示装置、显示方法以及程序，在食材存在于可重叠区域外的情况下也能够辅助烹饪者的烹饪行为。
附图说明
图1是表示实施方式1中的显示装置的概略的图。
图2是表示实施方式1中的显示装置的构成的一例的图。
图3A是表示可拍摄区域的一例的图。
图3B是表示可显示区域以及可重叠区域的一例的图。
图4是表示实施方式中的显示装置的工作的一例的流程图。
图5A是表示实施方式1中的重叠于食材的第1图像的一例的图。
图5B是表示实施方式1中的重叠于第2图像的第1图像的一例的图。
图6A是表示实施方式1中的重叠于食材的第1图像的另一例的图。
图6B是表示实施方式1中的重叠于第2图像的第1图像的另一例的图。
图7是表示可拍摄区域的外边缘以及可重叠区域的外边缘的一例的图。
图8是表示实施方式2中的缩小处理后的第2图像的一例的图。
图9是表示实施方式3中的表示切法的图像的一例的图。
标号说明
100：显示装置 110：识别部
120：取得部 130：判定部
140：显示控制部 200：显示部
201：可显示区域 202：可重叠区域
202a、301a：外边缘 210、210a：第1图像
220、230、230a：第2图像 240：表示切法的图像
250：说明图像 300：摄像头
301：可拍摄区域 400、410：食材
t：预定距离
具体实施方式
(成为本发明的基础的见解)
在用于重叠地显示用于辅助烹饪者的烹饪行为的图像的投影仪(projector)被固定设置着的情况下，当食材存在于可重叠区域外时，烹饪者为了接受烹饪行为的辅助而需要使食材移动到可重叠区域内。然而，由于烹饪台上的空间的关系，有时无法使食材移动到可重叠区域内。另外，即使在该投影仪是手提式(portable)装置的情况下，由于烹饪台上的空间的关系，有时也无法移动投影仪以使得食材被包括在可重叠区域内。
另外，也有如下这样的烹饪者，其由于觉得重叠于食材的用于辅助烹饪者的烹饪行为的图像碍事，因此想将食材放置于可重叠区域外来烹饪，但又想接受不依赖于向食材重叠相关图像的对烹饪行为的辅助。
为了解决这种问题，本公开的显示装置，具备：显示部，其显示用于辅助烹饪者的烹饪行为的第1图像；取得部，其取得基于从摄像头获得的拍摄图像的、烹饪对象的食材的识别结果；判定部，其判定所述识别结果所示的识别到的食材是否存在于可显示区域中的可重叠区域内，该可显示区域是所述显示部能够进行显示的区域，该可重叠区域是能够将所述第1图像重叠于所述识别到的食材的区域；以及显示控制部，(i)在所述判定部判定为所述识别到的食材存在于所述可重叠区域内的情况下，使所述显示部将所述第1图像重叠于所述识别到的食材，(ii)在所述判定部判定为所述识别到的食材没有存在于所述可重叠区域内的情况下，使所述显示部显示第2图像，并将所述第1图像重叠于所述第2图像，所述第2图像是基于在从所述摄像头获得的所述拍摄图像中映现的所述识别到的食材所生成的图像。
由此，在食材存在于可重叠区域内的情况下，用于辅助烹饪者的烹饪行为的第1图像重叠于食材来显示，在食材没有存在于可重叠区域内的情况下，第1图像重叠于第2图像来显示。因此，即使食材没有存在于可重叠区域内，烹饪者也能够一边看着与基于在从摄像头获得的拍摄图像中映现的食材所生成的第2图像(例如照片或者计算机图形图像等)重叠的第1图像一边进行烹饪。由此，在食材存在于可重叠区域外的情况下也能够辅助烹饪者的烹饪行为。
另外，也可以为，所述显示部包括投影仪。
由此，通过投影仪，能够容易地使第1图像重叠于食材或者第2图像。因此，能够让用户直观地掌握烹饪行为。
另外，也可以为，所述显示部包括投影仪以及显示器(display)，所述显示控制部，在所述判定部判定为所述识别到的食材存在于所述可重叠区域内的情况下，使所述投影仪将所述第1图像重叠于所述识别到的食材，在所述判定部判定为所述识别到的食材没有存在于所述可重叠区域内的情况下，使所述显示器将所述第1图像重叠于所述第2图像。
由此，通过投影仪，能够容易地使第1图像重叠于食材，另外，通过显示器，能够容易地显示使第2图像重叠于第1图像而得到的图像。因此，在无法用投影仪投影第1图像的情况下，也能够由显示器将第1图像提示给用户。
另外，也可以为，在所述显示部将所述第1图像重叠于所述识别到的食材后，所述取得部重新取得基于从所述摄像头重新获得的拍摄图像的、烹饪对象的食材的识别结果，所述判定部重新判定所述重新取得的识别结果所示的识别到的食材是否存在于可显示区域中的可重叠区域内，该可显示区域是所述显示部能够进行显示的区域，该可重叠区域是能够将所述第1图像重叠于所述识别到的食材的区域，所述显示控制部在所述判定部新判定为所述识别到的食材不存在于所述可重叠区域内的情况下，使所述第1图像重叠于所述第2图像。
由此，烹饪者通过使食材从可重叠区域内向区域外移动，能够将重叠第1图像的对象从食材变更为第2图像。
例如，在觉得重叠于食材的第1图像碍事的情况下，烹饪者通过使食材从可重叠区域内向区域外移动，能够接受由将第1图像重叠于第2图像而得到的图像提供的烹饪行为的辅助。
另外，也可以为，在所述显示部将所述第1图像重叠于所述第2图像后，所述取得部重新取得基于从所述摄像头重新获得的拍摄图像的、烹饪对象的食材的识别结果，所述判定部重新判定所述重新取得的识别结果所示的识别到的食材是否存在于可显示区域中的可重叠区域内，该可显示区域是所述显示部能够进行显示的区域，该可重叠区域是能够将所述第1图像重叠于所述识别到的食材的区域，所述显示控制部在所述判定部新判定为所述识别到的食材存在于所述可重叠区域内的情况下，使所述第1图像重叠于所述识别到的食材。
由此，烹饪者通过使食材从可重叠区域外向区域内移动，能够将重叠第1图像的对象从第2图像变更为食材。因此，在想要接受由将第1图像重叠在食材上提供的烹饪行为的辅助的情况下，烹饪者通过使食材从可重叠区域外向区域内移动，能够接受上述的烹饪行为的辅助。
另外，也可以为，所述第2图像是由所述摄像头的拍摄所获得的所述识别到的食材的照片。
由此，作为第2图像，接下来要烹饪的实际的食材的照片上被重叠第1图像，因此，烹饪者易于将第1图像所示的烹饪行为的辅助应用于实际的食材。
另外，也可以为，所述第2图像是表示所述识别到的食材的计算机图形图像。
由此，作为第2图像，表示接下来要烹饪的实际的食材的计算机图形图像上被重叠第1图像，因此，烹饪者易于将第1图像所示的烹饪行为的辅助应用于实际的食材。
另外，也可以为，所述第2图像的显示尺寸与所述识别到的食材的尺寸为同等尺寸。
由此，第1图像重叠于显示尺寸与接下来要烹饪的实际的食材为同等尺寸的第2图像，因此，烹饪者易于将第1图像所示的烹饪行为的辅助应用于实际的食材。
另外，也可以为，所述判定部进一步判定所述识别到的食材是否存在于所述可显示区域内，在所述判定部判定为所述识别到的食材不存在于所述可显示区域内的情况下，所述判定部进一步判定所述识别到的食材的位置与作为所述可显示区域的端部的、靠近所述识别到的食材一侧的第1端部之间的距离是否比预定距离短，在所述判定部判定为所述识别到的食材的位置与所述第1端部的距离比预定距离短的情况下，所述显示控制部使所述显示部在所述第1端部与所述可重叠区域的端部之间显示基于所述第1图像的图像。
由此，在食材没有存在于显示部的可显示区域内的情况下，当食材的位置与可显示区域的食材的位置侧的端部之间的距离比预定距离(例如5cm等)短时，在可显示区域内的该端部的近傍(也就是说食材的近傍)显示基于第1图像的图像。因此，烹饪者能够按照显示在食材的近傍的基于第1图像的图像更准确地进行烹饪。
另外，也可以为，基于所述第1图像的图像包含表示所述识别到的食材的切法的图像。
由此，烹饪者能够按照显示在食材的近傍的作为基于第1图像的图像的、表示食材的切法的图像，更准确地进行切削等烹饪。
另外，也可以为，所述显示部还显示所述摄像头能够拍摄的区域的外边缘以及所述可重叠区域的外边缘。
由此，显示出摄像头能够拍摄的区域的外边缘，因此烹饪者可知晓将食材放置在何处才能够拍摄食材。另外，显示出可重叠区域的外边缘，因此烹饪者可知晓将食材放置在何处才能够受到由重叠于食材的第1图像、或者重叠于第2图像的第1图像提供的烹饪行为的辅助。
另外，也可以为，显示装置还具备所述摄像头以及识别部，所述识别部基于从所述摄像头获得的拍摄图像，识别烹饪对象的食材，所述取得部从所述识别部取得所述识别结果。另外，也可以为，显示装置还具备所述摄像头以及通信部，所述通信部将从所述摄像头获得的拍摄图像发送给服务器，并从所述服务器接收基于所述拍摄图像的识别结果，所述取得部从所述通信部取得所述识别结果。
如此，显示装置既可以取得由自身进行的对烹饪对象的食材识别的结果，也可以从外部的服务器取得由服务器进行的对烹饪对象的食材的识别的结果。
另外，本公开的显示方法，是具备显示部的显示装置的显示方法，所述显示部显示用于辅助烹饪者的烹饪行为的第1图像，所述显示方法包括：取得步骤，取得基于从摄像头获得的拍摄图像的、烹饪对象的食材的识别结果；判定步骤，判定所述识别结果所示的识别到的食材是否存在于可显示区域中的可重叠区域内，该可显示区域是所述显示部能够进行显示的区域，该可重叠区域是能够将所述第1图像重叠于所述识别到的食材的区域；显示控制步骤，(i)当在所述判定步骤中判定为所述识别到的食材存在于所述可重叠区域内的情况下，使所述显示部将所述第1图像重叠于所述识别到的食材，(ii)当在所述判定步骤中判定为所述识别到的食材没有存在于所述可重叠区域内的情况下，使所述显示部显示第2图像，并将所述第1图像重叠于所述第2图像，所述第2图像是基于在从所述摄像头获得的所述拍摄图像中映现的所述识别到的食材所生成的图像。
由此，能够提供在食材存在于可重叠区域外的情况下也能够辅助烹饪者的烹饪行为的显示方法。
另外，本公开的程序，是对具备显示部的显示装置的工作进行控制的程序，所述显示部显示用于辅助烹饪者的烹饪行为的第1图像，所述程序包括：取得步骤，取得基于从摄像头获得的拍摄图像的、烹饪对象的食材的识别结果；判定步骤，判定所述识别结果所示的识别到的食材是否存在于可显示区域中的可重叠区域内，该可显示区域是所述显示部能够进行显示的区域，该可重叠区域是能够将所述第1图像重叠于所述识别到的食材的区域；显示控制步骤，(i)当在所述判定步骤中判定为所述识别到的食材存在于所述可重叠区域内的情况下，使所述显示部将所述第1图像重叠于所述识别到的食材，(ii)当在所述判定步骤中判定为所述识别到的食材没有存在于所述可重叠区域内的情况下，使所述显示部显示第2图像，并将所述第1图像重叠于所述第2图像，所述第2图像是基于在从所述摄像头获得的所述拍摄图像中映现的所述识别到的食材所生成的图像。
由此，能够提供在食材存在于可重叠区域外的情况下也能够辅助烹饪者的烹饪行为的程序。
此外，以下说明的实施方式均表示总括性的或者具体的例子。在以下的实施方式中表示的数值、形状、构成要素、步骤、步骤的顺序等为一例，并非旨在限定本公开。另外，对于以下的实施方式中的构成要素中的、没有记载在表示最上位概念的独立权利要求中的构成要素，作为任意的构成要素进行说明。
(实施方式1)
使用图1至图7，对本公开的实施方式1进行说明。
[1.显示装置的构成]
图1是表示实施方式中的显示装置100的概略的图。
如图1所示，显示装置100设置于整体厨房(system kitchen)等。显示装置100例如是将载置于烹饪台(图1所示的砧板)的食材的切法等烹饪方法传达给烹饪者的装置，即，是用于辅助烹饪者的烹饪行为的装置。例如，显示装置100是手提式装置，设置于从烹饪者的站立位置侧(图1的跟前侧)观察时的比烹饪台靠进深侧的位置。此外，显示装置100也可以不是手提式装置，而例如内置于整体厨房等。
显示装置100具备显示部200和摄像头300。
显示部200在烹饪台周边显示用于辅助烹饪者的烹饪行为的第1图像。显示部200例如包括投影仪，由投影仪投影第1图像。此外，显示部200也可以包括显示器，可以将第1图像以及后述的第2图像显示于显示器。摄像头300拍摄位于烹饪台周边的食材。基于由摄像头300的对烹饪台周边的拍摄而获得的数据所生成的图像被显示部200投影，由此，烹饪者能够接受烹饪行为的辅助(烹饪支援)。
此外，显示装置100也可以不具备摄像头300，摄像头300也可以与显示装置100分体设置。
接着，使用图2，对显示装置100的功能结构进行说明。
图2是表示实施方式1中的显示装置100的构成的一例的图。
如图2所示，显示装置100具备识别部110、取得部120、判定部130以及显示控制部140作为功能构成要素。另外，显示装置100具备存储部(未图示)。虽然图2中没有表示，但显示装置100例如具备通信部(未图示)，能够以有线或者无线的方式与外部服务器和/或便携终端等进行通信。识别部110、取得部120、判定部130以及显示控制部140例如通过执行存储部所存储的程序的处理器等实现，也可以通过微型计算机或者专用电路等实现。
存储部是保持有程序以及数据的ROM(Read Only Memory，只读存储器)、用于在执行程序时存储数据等的RAM(Random Access Memory，随机存取存储器)等存储器。另外，存储部存储烹饪食谱、第1图像以及第2图像等。第1图像是用于辅助烹饪者的烹饪行为的图像，例如是表示切食材时的引导线的图像。第1图像按各烹饪食谱中的食材的烹饪方法来存储。具体而言，在存储部中，按鱼、蔬菜、肉等各种各样(各类)的食材存储有表示对切成片、乱切(将菜切成不规则的形状)、三开鱼片(将鱼切分成左右两片和中间的鱼骨)等各种切法(烹饪方法)进行表现的引导线的第1图像。例如，通过将这些第1图像重叠于食材，烹饪者能够容易地烹饪(切削等)该食材。第2图像是基于在从摄像头300获得的拍摄图像中映现的识别到的食材所生成的图像，例如是表示食材的计算机图形图像或者照片等，按食材的种类来存储。具体而言，在存储部中，存储表现鱼、蔬菜、肉等各种各样的食材的计算机图形图像或者照片等第2图像。
摄像头300例如将后述的区域301作为拍摄范围进行拍摄。由摄像头的拍摄所获得的拍摄图像被输出给识别部110。摄像头300例如也可以在接收到拍摄指示时进行拍摄。例如在显示装置100具备输入部(未图示)的情况下，输入部也可以将被输入的拍摄指示输出给摄像头300。所谓输入部，例如可以是键盘、触摸面板等接口。另外，在存在经由网络(未图示)来操作显示装置100的便携终端(未图示)的情况下，摄像头300也可以从便携终端接收拍摄指示。网络既可以是有线网络，也可以是无线网络。
另外，摄像头300可以每次接收到拍摄指示时都进行区域301的拍摄。另外，摄像头300也可以在接收到拍摄指示时，每隔一定时间进行一次区域301的拍摄。在该情况下，拍摄指示指的是开始拍摄的指示。另外，也可以为，在从上述的输入部或者便携终端接收到结束拍摄的指示时，摄像头300结束拍摄。
识别部110基于从摄像头300获得的拍摄图像，识别烹饪对象的食材。烹饪对象的食材例如由烹饪者等准备，被载置于摄像头300能够拍摄的区域301内。例如，识别部110通过对由摄像头300拍摄该区域301内所获得的拍摄图像进行图像识别，识别存在于区域301内的食材。此时，识别部110基于食材的形状、颜色、模样、大小等来识别食材的种类。另外，识别部110也可以识别位于区域301内的食材的位置。此外，将用后述的图3A说明摄像头300能够拍摄的区域(可拍摄区域)301。
取得部120取得基于从摄像头300获得的拍摄图像的、烹饪对象的食材的识别结果。取得部120例如取得识别部110的识别结果。此外，显示装置100也可以不具备识别部110。在该情况下，显示装置100也可以具备通信部，该通信部将从摄像头300获得的拍摄图像发送给服务器，并从服务器接收识别结果，取得部120也可以取得从服务器接收到的识别结果。
判定部130判定识别结果所示的识别到的食材是否存在于显示部200能够进行显示的区域(可显示区域)中的、能够将第1图像重叠于识别到的食材的区域(可重叠区域)内。将用后述的图4说明判定部130的工作的详情。另外，将用后述的图3B说明可显示区域以及可重叠区域。
显示控制部140根据判定部130的判定结果来控制显示部200。具体而言，显示控制部140在判定部130判定为识别到的食材存在于可重叠区域内的情况下，使显示部200将第1图像重叠于识别到的食材。另外，显示控制部140在判定部130判定为识别到的食材没有存在于可重叠区域内的情况下，使显示部200显示第2图像，并将第1图像重叠于第2图像，所述第2图像是基于在从摄像头300获得的拍摄图像中映现的识别到的食材所生成的图像。将用后述的图4至图5B说明显示控制部140的工作的详情。
[2.可拍摄区域、可显示区域以及可重叠区域]
接着，使用图3A以及图3B，说明摄像头300能够拍摄的区域、显示部200能够进行显示的区域以及能够进行重叠的区域。
图3A是表示可拍摄区域301的一例的图。图3B是表示可显示区域201以及可重叠区域202的一例的图。在图3B中，除了可显示区域201以及可重叠区域202，也示出了可拍摄区域301。此外，也包括后面说明的附图在内，对可拍摄区域301、可显示区域201以及可重叠区域202画有影线，而实际上这些区域内不会出现这样的影线。但是，将会用后述的图7说明，烹饪者能够识别这些区域的边界。
将食材载置于可拍摄区域301，摄像头300对可拍摄区域301进行拍摄，由此，取得部120能够取得基于从摄像头300获得的拍摄图像的、烹饪对象的食材的识别结果。
可显示区域201例如是能够由显示部200所包括的投影仪对图像等进行投影的区域。例如，如图3B所示，可显示区域201比可拍摄区域301狭小，位于可拍摄区域301内。
可重叠区域202是能够将第1图像重叠于食材的区域。例如，即使在可显示区域201内，根据食材与显示部200的位置关系，也存在无法准确地将第1图像重叠于食材的区域。因此，可重叠区域202变得比可显示区域201狭小。此外，也可以为可显示区域201与可重叠区域202一致。
[3.显示装置的工作]
接着，对实施方式1中的显示装置100的工作进行说明。
图4是表示实施方式1中的显示装置100的工作的一例的流程图。
虽然图4中没有表示，但设为从存储于存储部的烹饪食谱中决定烹饪者接下来要进行的烹饪的食谱。例如，也可以通过烹饪者对显示装置100所具备的输入部或者便携终端等输入烹饪食谱，由此决定烹饪食谱。另外，例如显示部200(投影仪)将记载有多个烹饪食谱的图像投影于烹饪台，烹饪者将手遮到投影出的多个烹饪食谱中的接下来要进行的烹饪的食谱上。而且，例如识别部110基于由摄像头300拍摄到的、烹饪者将手遮到烹饪食谱上的图像，判定烹饪者将手遮到投影出的多个烹饪食谱中的哪个烹饪食谱。如此，也可以根据烹饪者的手势，从存储于存储部的烹饪食谱中决定烹饪者接下来要进行的烹饪的食谱。由于烹饪者的手上会粘有食材、被水弄湿，因此在该情况下，能够不弄脏便携终端等地决定烹饪食谱。
取得部120取得基于从摄像头300获得的拍摄图像的、烹饪对象的食材的识别结果(步骤S11)。例如，识别部110判定可拍摄区域301内是否存在食材，在存在的情况下识别该食材，取得部120取得识别部110的识别结果。此外，该识别结果中包含基于食材的形状、颜色、模样、大小等所识别到的食材的种类。由此，与所决定的烹饪食谱中的该种类的食材有关地，决定出用于辅助烹饪者的烹饪行为的第1图像。例如在烹饪食谱是干烧青花鱼(鲭)的情况下，与食材的种类有关的识别结果为青花鱼时，决定出表示青花鱼的切法(例如头的拆卸法)的第1图像。
接着，判定部130判定取得部120取得的识别结果所示的识别到的食材是否存在于可重叠区域202内(步骤S12)。具体而言，在从摄像头300获得的拍摄图像中，预先确定有与可重叠区域202对应的区域，判定部130判定该区域内是否拍到了食材。
在判定部130判定为食材存在于可重叠区域202内的情况下(步骤S12：是)，显示控制部140使显示部200将第1图像重叠于识别到的食材(步骤S13)。使用图5A，对步骤S13中的处理进行说明。
图5A是表示实施方式1中的重叠于食材400的第1图像210的一例的图。
如图5A所示，被识别为青花鱼的食材400存在于可重叠区域202内，显示部200基于来自显示控制部140的指示，将第1图像210(例如表示头的拆卸法的图像)重叠于食材400。由此，烹饪者通过按照重叠于食材400的第1图像210来切食材400，能够容易地烹饪食材400。
另一方面，在判定部130判定为食材没有存在于可重叠区域202内的情况下(步骤S12：否)，显示控制部140使显示部200在可显示区域201内显示基于识别到的食材所生成的第2图像，并将第1图像重叠于第2图像(步骤S14)。第2图像例如是表示识别到的食材的计算机图形图像。如上所述，例如，识别部110通过由摄像头300对食材的拍摄，识别该食材的种类。存储部中存储有表现各种各样的食材的计算机图形图像，与识别部110识别到的种类的食材对应的计算机图形图像成为第2图像。使用图5B，对步骤S14中的处理进行说明。
图5B是表示实施方式1中的重叠于第2图像220重叠于第1图像210的一例的图。
如图5B所示，食材400存在于可重叠区域202外，显示部200基于来自显示控制部140的指示，在可显示区域201内显示第2图像220(例如表现青花鱼的计算机图形图像)，并将第1图像210重叠于第2图像220。由此，烹饪者通过一边看着重叠于第2图像220的第1图像210一边切食材400，能够容易地烹饪食材400。此外，在图5B所示的例子中，显示为第2图像220的一部分位于可重叠区域202内，剩余部分位于可重叠区域202外并且在可显示区域201内，但不限定于此。例如，第2图像220也可以显示在可重叠区域202外并且在可显示区域201内。另外，例如第2图像220也可以显示在可重叠区域202内。
此外，也可以为，在识别到的食材的一部分存在于可重叠区域202内的情况下，判定部130判定为识别到的食材存在于可重叠区域202内。
图6A是表示实施方式1中的重叠于食材400的第1图像210的另一例的图。如图6A所示，也可以为，在识别到的食材400的一部分存在于可重叠区域202内的情况下，第1图像210重叠于食材400上的存在于可重叠区域202内的部分。
与此相对地，也可以为，在识别到的食材的一部分存在于可重叠区域202内的情况下，判定部130判定为识别到的食材没有存在于可重叠区域202内。
图6B是表示实施方式1中的重叠于第2图像220的第1图像210的另一例的图。如图6B所示，也可以为，在识别到的食材400的一部分存在于可重叠区域202内的情况下，第1图像210重叠于第2图像220。
另外，在食材存在于可重叠区域202内的情况下，烹饪者可能会觉得重叠于食材的第1图像碍事，感觉想要将使第1图像重叠的对象从食材更换为第2图像(计算机图形图像)。另外，在食材没有存在于可重叠区域202内的情况下，烹饪者可能会觉得根据重叠于第2图像的第1图像难以知晓烹饪方法，感觉想要将使第1图像的对象从第2图像更换为食材。于是，显示控制部140也可以在显示部200将第1图像重叠于食材时，当判定部130判定为食材没有存在于可重叠区域202内的情况下，指示显示部200将第1图像重叠于第2图像。另外，显示控制部140也可以在显示部200将第1图像重叠于第2图像时，当判定部130判定为食材存在于可重叠区域202内的情况下，指示显示部200将第1图像重叠于食材。由此，在觉得重叠于食材的第1图像碍事的情况下，通过使食材从可重叠区域202内向可重叠区域202外移动，能够接受由重叠于第2图像的第1图像提供的烹饪行为的辅助，另外，通过使食材从可重叠区域202外向可重叠区域202内移动，能够接受由重叠于食材的第1图像提供的烹饪行为的辅助。
在该情况下，例如也可以为，摄像头300每隔一定时间进行拍摄，取得部120每当从摄像头300获得新的拍摄图像时，重新取得基于新的拍摄图像的、烹饪对象的食材的识别结果。而且，也可以为，每当取得部120取得新的识别结果时，判定部130判定新的识别结果所示的识别到的食材是否存在于显示部200能够进行显示的区域201中的、可重叠区域202内。
例如，考虑在使第1图像重叠于可重叠区域202内所存在的食材时，使该食材向可重叠区域202外移动了的情况。在该情况下，通过在使食材从可重叠区域202内向区域外移动后所进行的由摄像头300实现的拍摄，可重新获得食材存在于可重叠区域202外的拍摄图像，因此，取得部120取得对于重新获得的拍摄图像的新的识别结果。而且，判定部130重新判定为新的识别结果所示的识别到的食材没有存在于可重叠区域202内。显示控制部140根据由判定部130得到的新的判定结果来控制显示部200。更具体而言，例如，显示控制部140使显示部200显示第2图像，并且使第1图像重叠于第2图像。由此，重叠第1图像的对象自动地从食材更换为第2图像。
另外，例如考虑在使第1图像重叠于第2图像时，使与第2图像对应的食材向可重叠区域202内移动了的情况。在该情况下，通过在使食材从可重叠区域202外向区域内移动后的由摄像头300进行的拍摄，可重新获得食材存在于可重叠区域202内的拍摄图像，因此，取得部120取得对于重新获得的拍摄图像的新的识别结果。而且，判定部130重新判定为新的识别结果所示的识别到的食材存在于可重叠区域202内。显示控制部140根据由判定部130得到的新的判定结果来控制显示部200。更具体而言，例如，显示控制部140使显示部200将第1图像重叠于食材。由此，重叠第1图像的对象自动地从第2图像更换为食材。
在上述的例子中，设为摄像头300每隔一定时间进行拍摄，但不限定于此。例如也可以为，在使食材从可重叠区域202内向区域外或者从可重叠区域202外向区域内移动后，烹饪者指示摄像头300进行拍摄。例如也可以为，烹饪者使用显示装置100的输入部或者经由网络操作显示装置100的便携终端来对摄像头300进行拍摄指示。
这样，在上述的工作中，不需要在使食材从可重叠区域202外向区域内、或者从可重叠区域202内向区域外移动期间拍摄到的拍摄图像和对于拍摄图像的识别结果、以及基于识别结果的判定等，因此，不会进行不必要的拍摄以及判定。
烹饪者为了使食材从可重叠区域202内和可重叠区域202外中的一方移向另一方，需要识别可重叠区域202的外边缘。另外，烹饪者为了根据由重叠于食材的第1图像、或者重叠于第2图像的第1图像来接受烹饪行为的辅助，需要将食材载置于可拍摄区域301内，需要识别可拍摄区域301的外边缘。于是，也可以为，显示部200还显示可拍摄区域301的外边缘以及可重叠区域202的外边缘。
图7是表示可拍摄区域301的外边缘301a以及可重叠区域202的外边缘202a的一例的图。
例如，显示部200通过投影仪或者激光光源等来显示外边缘301a以及外边缘202a。激光光源等既可以设置于显示装置100，也可以与显示装置100分体设置。在可拍摄区域301比可显示区域201狭小的情况下，显示部200例如通过投影仪来显示外边缘301a以及外边缘202a。在可拍摄区域301比可显示区域201宽阔的情况下，显示部200例如通过激光光源等来显示外边缘301a以及外边缘202a。由此，显示出可拍摄区域301的外边缘301a，因此烹饪者可知晓将食材放置在何处才能够由摄像头300拍摄食材。另外，显示出可重叠区域202的外边缘202a，因此烹饪者可知晓将食材放置在何处才是位于可重叠区域202内或区域外，所以可知晓怎样才能够受到由重叠于食材的第1图像、或者重叠于第2图像的第1图像提供的烹饪行为的辅助。另外，烹饪者能够识别外边缘202a，因此能够使食材从可重叠区域202内和可重叠区域202外中的一方移向另一方，能够将使第1图像重叠的对象从食材和第2图像中的一方向另一方更换。
此外，第2图像不限于计算机图形图像，也可以是由摄像头300的拍摄所获得的识别到的食材的照片。具体而言，也可以提取并显示通过由摄像头300进行的拍摄而获得的图像所包含的食材的部分。由此，第1图像并非重叠于计算机图形图像，而是重叠在表现食材本身的具有临场感的照片上。因此，由于第1图像重叠在接下来要烹饪的实际的食材的照片上，因而烹饪者易于将第1图像所示的烹饪行为的辅助应用于实际的食材。
另外，说明了显示部200包括投影仪的例子，但显示部200也可以还包括显示器。此时，显示控制部140在判定部130判定为识别到的食材存在于可重叠区域202内的情况下，使投影仪将第1图像重叠于识别到的食材。另一方面，显示控制部140在判定部130判定为识别到的食材没有存在于可重叠区域202内的情况下，使显示器将第1图像重叠于第2图像，并且显示该重叠得到的图像。由此，烹饪者能够一边看着显示有第1图像重叠于第2图像而得到的图像的显示器，一边进行烹饪。
如上所述，在食材存在于可重叠区域202内的情况下，第1图像重叠于食材来显示，在食材没有存在于可重叠区域202内的情况下，第1图像重叠于第2图像来显示。因此，即使食材没有存在于可重叠区域202内，烹饪者也能够一边看着重叠于第2图像的第1图像一边进行烹饪。由此，在食材存在于可重叠区域202外的情况下，也能够辅助烹饪者的烹饪行为。
(实施方式2)
接着，使用图8，对实施方式2进行说明。此外，实施方式2中的显示装置的构成与实施方式1相同，因此省略说明。在实施方式2中，与实施方式1的不同之处在于，第2图像(例如计算机图形图像)的显示尺寸与识别到的食材的尺寸为同等尺寸。使用图8对此进行说明。
图8是表示实施方式2中的缩小处理后的第2图像230的一例的图。如图8所示，食材400存在于可重叠区域202外，显示部200基于来自显示控制部140的指示，将第1图像210重叠于第2图像230。在实施方式1中，如图5B所示，第2图像220的尺寸比食材400的尺寸大，而在实施方式2中，通过识别食材400的尺寸，将第2图像220的显示尺寸进行缩小处理，由此，显示部200显示显示尺寸与食材400的尺寸为同等尺寸的第2图像230。由此，第1图像210重叠于尺寸与接下来要烹饪的实际的食材400为同等尺寸的第2图像230，因此，烹饪者易于将第1图像210所示的烹饪行为的辅助应用于实际的食材400。
此外，被进行扩大或者缩小处理以使得显示尺寸变成与食材的尺寸为同等尺寸的图像可以不是计算机图形图像，也可以是由摄像头300的拍摄所获得的食材的照片。
(实施方式3)
接着，使用图9，对实施方式3进行说明。此外，实施方式3中的显示装置的构成与实施方式1相同，因此省略说明。在实施方式3中，判定部130进一步判定识别到的食材是否存在于可显示区域201内。另外，与实施方式1的不同之处在于，显示控制部140在判定部130判定为识别到的食材不存在于可显示区域201内的情况下，在识别到的食材的位置与位于可显示区域201的靠近识别到的食材一侧的端部之间的距离比预定距离短时，使显示部200在可显示区域201的端部的近傍显示基于第1图像的图像。使用图9对此进行说明。
图9是表示实施方式3中的表示切法的图像240的一例的图。如图9所示，食材410(例如胡萝卜)存在于可重叠区域202之外，显示部200基于来自显示控制部140的指示，将第1图像210a(例如表示切成圆片的图像)重叠于第2图像230a。
另外，食材410没有存在于可显示区域201内，因此，判定部130判定为食材410没有存在于可显示区域201内。再者，判定部130判定食材410的位置与可显示区域201的食材410的位置侧的端部之间的距离是否比预定距离t短。可显示区域201的食材410的位置侧的端部对应于第1端部。预定距离t是烹饪者能够同时对彼此分开的多个对象进行视觉识别的距离，例如为5cm等。显示控制部140在食材410的位置与可显示区域201的食材410的位置侧的端部之间的距离比预定距离t短时，通过指示显示部200将表示用于烹饪食材的切法的图像240作为基于第1图像的图像显示在可显示区域201内的该端部的近傍，由此显示出表示切法的图像240。在该情况下，表示切法的图像240显示在第1端部与第2端部之间，第2端部对应于可重叠区域202内的接近于食材410的位置一侧的端部。此外，也可以还显示用于对表示切法的图像240进行说明的说明图像250。如图9所示，所谓说明图像250，例如包括与如“来切成这个宽度吧”这样、参照表示切法的图像240来对怎样切食材进行说明的句子对应的文字图像。
由此，在食材没有存在于显示部200的可显示区域201内的情况下，当食材的位置与可显示区域201的食材的位置侧的端部之间的距离比预定距离(例如5cm等)短时，在可显示区域201内的该端部的近傍(也就是说食材的近傍)显示基于第1图像的图像。因此，烹饪者能够按照显示于食材的近傍的基于第1图像的图像更准确地进行烹饪。例如，烹饪者能够按照显示于食材的近傍的作为基于第1图像的图像的、表示食材的切法的图像，更准确地进行切削等烹饪。
此外，基于第1图像的图像不限于表示食材的切法的图像240，例如也可以是表示刻度的图像等。
(其他实施方式)
以上，基于实施方式说明了本公开的显示装置，但本公开不限定于这些实施方式。只要不脱离本公开的宗旨，将本领域技术人员想到的各种变形应用于本实施方式而得到的方式、以及将不同的实施方式中的构成要素组合而构建的方式也包含在本公开的范围内。
例如，显示装置也可以作为服务器装置实现。而且，也可以为，显示部200以及摄像头300等作为客户端装置实现，由此，由服务器装置和客户端装置构成客户端服务器系统。
另外，例如显示装置也可以不具备摄像头300，也可以是与摄像头300进行信息的授受(交换)的装置。
另外，本公开不仅能够作为显示装置而实现，也能够作为包含构成显示装置的各构成要素所进行的步骤(处理)的显示方法来实现。
例如，这些步骤也可以通过计算机(计算机系统)来执行。而且，本公开能够作为用于使计算机执行这些方法所包含的步骤的程序来实现。再者，本公开能够作为记录有该程序的CD-ROM等的非瞬时性的计算机能够读取的记录介质来实现。
例如，本公开在由程序(软件)实现的情况下，通过利用计算机的CPU、存储器以及输入输出电路等硬件资源来执行程序，执行各步骤。也就是说，CPU将数据从存储器或者输入输出电路等中取得进行运算，并将运算结果输出给存储器或者输入输出电路等，由此执行各步骤。
另外，上述实施方式的显示装置所包含的多个构成要素分别也可以作为专用或者通用的电路来实现。这些构成要素可以作为一个电路实现，也可以作为多个电路实现。
另外，上述实施方式的显示装置所包含的多个构成要素也可以实现为作为集成电路(IC：Integrated Circuit)的LSI(Large Scale Integration：大规模集成电路)。这些构成要素可以分别地单片化，也可以包括一部分或全部地单片化。LSI根据集成度的不同，有时会被称作系统LSI、超大LSI或者特大LSI。
另外，集成电路不限于LSI，也可以通过专用电路或通用处理器实现。也可以利用能够编程的FPGA(Field Programmable Gate Array，现场可编程门阵列)或者能够重构LSI内部的电路单元的连接以及设定的可重构处理器。
此外，对实施方式应用本领域技术人员想到的各种变形而得到的方式、和在不脱离本公开的宗旨的范围内将各实施方式中的构成要素以及功能任意组合而实现的方式也包含于本公开。

Claims (15)

1.一种显示装置，具备：
显示部，其显示用于辅助烹饪者的烹饪行为的第1图像；
取得部，其取得基于从摄像头获得的拍摄图像的、烹饪对象的食材的识别结果；
判定部，其判定所述识别结果所示的识别到的食材是否存在于可显示区域中的可重叠区域内，该可显示区域是所述显示部能够进行显示的区域，该可重叠区域是能够将所述第1图像重叠于所述识别到的食材的区域；以及
显示控制部，（i）在所述判定部判定为所述识别到的食材存在于所述可重叠区域内的情况下，使所述显示部将所述第1图像重叠于所述识别到的食材，（ii）在所述判定部判定为所述识别到的食材没有存在于所述可重叠区域内的情况下，使所述显示部显示第2图像，并将所述第1图像重叠于所述第2图像，所述第2图像是基于在从所述摄像头获得的所述拍摄图像中映现的所述识别到的食材所生成的图像。
2.根据权利要求1所述的显示装置，
所述显示部包括投影仪。
3.根据权利要求1或2所述的显示装置，
所述显示部包括投影仪以及显示器，
所述显示控制部，
在所述判定部判定为所述识别到的食材存在于所述可重叠区域内的情况下，使所述投影仪将所述第1图像重叠于所述识别到的食材，
在所述判定部判定为所述识别到的食材没有存在于所述可重叠区域内的情况下，使所述显示器将所述第1图像重叠于所述第2图像。
4.根据权利要求1或2所述的显示装置，
在所述显示部将所述第1图像重叠于所述识别到的食材后，所述取得部重新取得基于从所述摄像头重新获得的拍摄图像的、烹饪对象的食材的识别结果，
所述判定部重新判定所述重新取得的识别结果所示的识别到的食材是否存在于可显示区域中的可重叠区域内，该可显示区域是所述显示部能够进行显示的区域，该可重叠区域是能够将所述第1图像重叠于所述识别到的食材的区域，
所述显示控制部在所述判定部新判定为所述识别到的食材不存在于所述可重叠区域内的情况下，使所述第1图像重叠于所述第2图像。
5.根据权利要求1或2所述的显示装置，
在所述显示部将所述第1图像重叠于所述第2图像后，所述取得部重新取得基于从所述摄像头重新获得的拍摄图像的、烹饪对象的食材的识别结果，
所述判定部重新判定所述重新取得的识别结果所示的识别到的食材是否存在于可显示区域中的可重叠区域内，该可显示区域是所述显示部能够进行显示的区域，该可重叠区域是能够将所述第1图像重叠于所述识别到的食材的区域，
所述显示控制部在所述判定部新判定为所述识别到的食材存在于所述可重叠区域内的情况下，使所述第1图像重叠于所述识别到的食材。
6.根据权利要求1或2所述的显示装置，
所述第2图像是由所述摄像头的拍摄所获得的所述识别到的食材的照片。
7.根据权利要求1或2所述的显示装置，
所述第2图像是表示所述识别到的食材的计算机图形图像。
8.根据权利要求1或2所述的显示装置，
所述第2图像的显示尺寸与所述识别到的食材的尺寸为同等尺寸。
9.根据权利要求1或2所述的显示装置，
所述判定部进一步判定所述识别到的食材是否存在于所述可显示区域内，
在所述判定部判定为所述识别到的食材不存在于所述可显示区域内的情况下，所述判定部进一步判定所述识别到的食材的位置与作为所述可显示区域的端部的、靠近所述识别到的食材一侧的第1端部之间的距离是否比预定距离短，
在所述判定部判定为所述识别到的食材的位置与所述第1端部的距离比预定距离短的情况下，所述显示控制部使所述显示部在所述第1端部与所述可重叠区域的端部之间显示基于所述第1图像的图像。
10.根据权利要求9所述的显示装置，
基于所述第1图像的图像包含表示所述识别到的食材的切法的图像。
11.根据权利要求1或2所述的显示装置，
所述显示部还显示所述摄像头能够拍摄的区域的外边缘以及所述可重叠区域的外边缘。
12.根据权利要求1或2所述的显示装置，
所述显示装置还具备所述摄像头以及识别部，所述识别部基于从所述摄像头获得的拍摄图像，识别烹饪对象的食材，
所述取得部从所述识别部取得所述识别结果。
13.根据权利要求1或2所述的显示装置，
所述显示装置还具备所述摄像头以及通信部，所述通信部将从所述摄像头获得的拍摄图像发送给服务器，并从所述服务器接收基于所述拍摄图像的识别结果，
所述取得部从所述通信部取得所述识别结果。
14.一种显示方法，是具备显示部的显示装置的显示方法，所述显示部显示用于辅助烹饪者的烹饪行为的第1图像，所述显示方法包括：
取得步骤，取得基于从摄像头获得的拍摄图像的、烹饪对象的食材的识别结果；
判定步骤，判定所述识别结果所示的识别到的食材是否存在于可显示区域中的可重叠区域内，该可显示区域是所述显示部能够进行显示的区域，该可重叠区域是能够将所述第1图像重叠于所述识别到的食材的区域；
显示控制步骤，（i）当在所述判定步骤中判定为所述识别到的食材存在于所述可重叠区域内的情况下，使所述显示部将所述第1图像重叠于所述识别到的食材，
（ii）当在所述判定步骤中判定为所述识别到的食材没有存在于所述可重叠区域内的情况下，使所述显示部显示第2图像，并将所述第1图像重叠于所述第2图像，所述第2图像是基于在从所述摄像头获得的所述拍摄图像中映现的所述识别到的食材所生成的图像。
15.一种计算机可读的记录介质，存储有对具备显示部的显示装置的显示方法进行控制的程序，所述显示部显示用于辅助烹饪者的烹饪行为的第1图像，所述程序被处理器执行以实现包括以下步骤的所述显示方法：
取得步骤，取得基于从摄像头获得的拍摄图像的、烹饪对象的食材的识别结果；
判定步骤，判定所述识别结果所示的识别到的食材是否存在于可显示区域中的可重叠区域内，该可显示区域是所述显示部能够进行显示的区域，该可重叠区域是能够将所述第1图像重叠于所述识别到的食材的区域；
显示控制步骤，（i）当在所述判定步骤中判定为所述识别到的食材存在于所述可重叠区域内的情况下，使所述显示部将所述第1图像重叠于所述识别到的食材，（ii）当在所述判定步骤中判定为所述识别到的食材没有存在于所述可重叠区域内的情况下，使所述显示部显示第2图像，并将所述第1图像重叠于所述第2图像，所述第2图像是基于在从所述摄像头获得的所述拍摄图像中映现的所述识别到的食材所生成的图像。
CN201810232839.6A 2017-03-28 2018-03-21 显示装置、显示方法以及记录介质 Active CN108668120B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017-064019 2017-03-28
JP2017064019 2017-03-28
JP2017150988A JP6898803B2 (ja) 2017-03-28 2017-08-03 表示装置、表示方法及びプログラム
JP2017-150988 2017-08-03

Publications (2)

Publication Number Publication Date
CN108668120A CN108668120A (zh) 2018-10-16
CN108668120B true CN108668120B (zh) 2022-03-08

Family

ID=61616879

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810232839.6A Active CN108668120B (zh) 2017-03-28 2018-03-21 显示装置、显示方法以及记录介质

Country Status (3)

Country Link
US (1) US10482315B2 (zh)
EP (1) EP3382677B1 (zh)
CN (1) CN108668120B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10303947B2 (en) * 2017-01-27 2019-05-28 Panasonic Intellectual Property Management Co., Ltd. Information processing apparatus and information processing method
CN110431353A (zh) * 2017-03-23 2019-11-08 松下知识产权经营株式会社 加热烹调器
US10782026B2 (en) * 2018-05-09 2020-09-22 Takisha Schulterbrandt Appparatus and method for positioning a cooking instrument
CN110488696B (zh) * 2019-08-12 2021-05-25 上海达显智能科技有限公司 一种智能防干烧方法及系统
CN110680179B (zh) * 2019-10-10 2021-10-26 广东美的厨房电器制造有限公司 烹饪控制方法、系统、计算机可读存储介质及烹饪设备
CN113907609B (zh) * 2020-07-09 2023-01-31 佛山市顺德区美的电热电器制造有限公司 一种应用于烹饪设备的交互方法及装置、设备、存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1860502A (zh) * 2004-03-17 2006-11-08 松下电器产业株式会社 食品材料烹调操作识别系统及食品材料烹调操作识别程序
JP2010191745A (ja) * 2009-02-19 2010-09-02 Seiko Epson Corp 調理支援装置、および調理支援方法
CN105009165A (zh) * 2013-02-28 2015-10-28 索尼公司 信息处理装置和存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11266944A (ja) * 1998-03-20 1999-10-05 Minolta Co Ltd プロジェクター付きシステムキッチン及び調理場
WO2012115297A1 (en) * 2011-02-25 2012-08-30 Lg Electronics Inc. Analysis of food items captured in digital images
JP6024515B2 (ja) * 2013-02-28 2016-11-16 ソニー株式会社 情報処理装置および記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1860502A (zh) * 2004-03-17 2006-11-08 松下电器产业株式会社 食品材料烹调操作识别系统及食品材料烹调操作识别程序
JP2010191745A (ja) * 2009-02-19 2010-09-02 Seiko Epson Corp 調理支援装置、および調理支援方法
CN105009165A (zh) * 2013-02-28 2015-10-28 索尼公司 信息处理装置和存储介质

Also Published As

Publication number Publication date
EP3382677A1 (en) 2018-10-03
US20180285626A1 (en) 2018-10-04
CN108668120A (zh) 2018-10-16
US10482315B2 (en) 2019-11-19
EP3382677B1 (en) 2020-05-13

Similar Documents

Publication Publication Date Title
CN108668120B (zh) 显示装置、显示方法以及记录介质
CN107566717B (zh) 一种拍摄方法、移动终端及计算机可读存储介质
US20170270348A1 (en) Interactive display for facial skin monitoring
EP2428914B1 (en) Display control apparatus and display control method
US10930385B2 (en) Report generation support apparatus and report reading apparatus
JP2010108070A (ja) ユーザインタフェース制御装置、ユーザインタフェース制御方法およびプログラム
US9679386B2 (en) Image processing device capable of segmenting an image into plural areas
EP3595533B1 (en) Determining a guidance signal and a system for providing a guidance for an ultrasonic handheld transducer
US9392263B2 (en) 3D scanner, 3D scan method, computer program, and storage medium
JP6898803B2 (ja) 表示装置、表示方法及びプログラム
CN114895864A (zh) 信息处理装置、信息处理方法以及记录介质
JP2009075846A (ja) 輪郭抽出装置及びプログラム
US11449701B2 (en) Non-transitory computer readable medium storing image processing program, image processing apparatus, and non-transitory computer readable medium storing program
JP7392368B2 (ja) 画像処理装置，システム，プログラム
US20150054855A1 (en) Image processing apparatus, image processing system, image processing method, and program
RU2552696C2 (ru) Устройство и способ для получения диагностической информации
JP6932828B2 (ja) 画像処理装置
CN107046610B (zh) 终端装置、诊断系统和诊断方法
CN115097997A (zh) 标记图案的部署方法、装置、电子设备及存储介质
JP2007316832A (ja) パーツカタログ表示システムおよびその制御方法
CN107046608B (zh) 终端装置、诊断系统和诊断方法
JP6464569B2 (ja) 角膜内皮細胞解析プログラム
JP7005269B2 (ja) 情報処理装置、システム、情報処理方法及びプログラム
JP2005208886A (ja) 画像補正装置および画像補正プログラム
JP2007196577A (ja) 印刷装置及び印刷方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant