DE112020003104T5 - Datenverarbeitungssystem und Verfahren zur Datenverarbeitung - Google Patents

Datenverarbeitungssystem und Verfahren zur Datenverarbeitung Download PDF

Info

Publication number
DE112020003104T5
DE112020003104T5 DE112020003104.7T DE112020003104T DE112020003104T5 DE 112020003104 T5 DE112020003104 T5 DE 112020003104T5 DE 112020003104 T DE112020003104 T DE 112020003104T DE 112020003104 T5 DE112020003104 T5 DE 112020003104T5
Authority
DE
Germany
Prior art keywords
ingredient
data processing
information
user
displayed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE112020003104.7T
Other languages
English (en)
Inventor
Takuro Kanemura
Taisuke Higashi
Hiroya Hibino
Atsuya Tokinosu
Hiromichi Godo
Satoru Okamoto
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Semiconductor Energy Laboratory Co Ltd
Original Assignee
Semiconductor Energy Laboratory Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Semiconductor Energy Laboratory Co Ltd filed Critical Semiconductor Energy Laboratory Co Ltd
Publication of DE112020003104T5 publication Critical patent/DE112020003104T5/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • User Interface Of Digital Computer (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

Ein Datenverarbeitungssystem, eine Datenverarbeitungsvorrichtung und ein Verfahren zur Datenverarbeitung werden bereitgestellt.
Das Datenverarbeitungssystem umfasst eine tragbare Vorrichtung, die mit einem Anzeigemittel und einem Abbildungsmittel versehen ist, und eine Datenbank, die über ein Netzwerk mit der tragbaren Vorrichtung verbunden ist. Die Datenbank umfasst Informationen über ein Kochrezept und/oder ein Kochverfahren und/oder eine Zutat. Die tragbare Vorrichtung erfasst durch das Abbildungsmittel eine erste Zutat. Die tragbare Vorrichtung sammelt aus der Datenbank Informationen über die erste Zutat. Wenn sich die erste Zutat in einem bestimmten Bereich in einem Rahmen befindet, der durch das Abbildungsmittel aufgenommen wird, werden die Informationen über die erste Zutat auf dem Anzeigemittel angezeigt. Wenn sich die erste Zutat in dem bestimmten Bereich nicht befindet, werden die Informationen über die erste Zutat auf dem Anzeigemittel nicht angezeigt.

Description

  • Technisches Gebiet
  • Eine Ausführungsform der vorliegenden Erfindung betrifft ein Datenverarbeitungssystem, eine Datenverarbeitungsvorrichtung und ein Verfahren zur Datenverarbeitung. Eine weitere Ausführungsform der vorliegenden Erfindung betrifft ein Küchenhilfssystem, eine Küchenhilfsvorrichtung und ein Küchenhilfsverfahren.
  • Stand der Technik
  • In den letzten Jahren hat ein Dienst zum Vorstellen der Kochrezepte über Informationsendgeräte, wie z. B. Smartphones und Tablet-Computer, Popularität gewonnen (Patentdokument 1).
  • Ein Benutzer kann kochen, während er ein Informationsendgerät, auf dem ein Rezept angezeigt wird, in seiner Nähe legt und das Rezept schaut.
  • In den letzten Jahren ist ferner eine Technik zur Objektserfassung aus einem Bild unter Verwendung eines neuronalen Netzes vorgeschlagen worden.
  • Bei der Objektserfassung handelt es sich um eine Technik, bei der ein Teil, in dem ein Gegenstand voraussichtlich vorhanden ist, aus einem Bild als Rechteck (Begrenzungsrahmen bzw. Bounding-Box) extrahiert wird und ein Objekt in dem Rechteck erkannt wird (Patentdokument 2). Als Verfahren zur Objektserfassung ist R-CNN (Regions with Convolutional Neural Networks), YOLO (You Only Look Once), SSD (Single Shot MultiBox Detector) oder dergleichen vorgeschlagen worden.
  • In den letzten Jahren ist ferner eine Technik „semantische Segmentierung“, bei der unter Verwendung eines neuronalen Netzes ein Bild in mehrere Bereiche unterteilt wird und jedem unterteilten Bereich ein Label zugeteilt wird, vorgeschlagen worden (Patentdokument 3).
  • Als Verfahren von semantischer Segmentierung ist FCN (Fully Convolutional Network), Segnet, U-Net, PSPNet (Pyramid Scene Parsing Network) oder dergleichen vorgeschlagen worden.
  • [Referenzen]
  • [Patentdokumente]
    • [Patentdokument 1] Japanische Patentoffenlegungsschrift Nr. 2018-124672
    • [Patentdokument 2] Japanische Patentoffenlegungsschrift Nr. 2017-55177
    • [Patentdokument 3] Japanische Übersetzung der internationalen PCT-Anmeldung Nr. 2018-535491
  • Zusammenfassung der Erfindung
  • Durch die Erfindung zu lösendes Problem
  • Informationsendgeräte, wie z. B. Smartphones und Tablet-Computer, werden im Allgemeinen durch einen Touchscreen bedient. Wenn ein Benutzer kocht, während er ein solches Informationsendgerät anschaut, muss der Benutzer nach einem Kochschritt das Informationsendgerät bedienen. Jedoch könnte in dem Fall, in dem Wasser, Lebensmittel, Gewürze und dergleichen beim Kochen an Händen des Benutzers haften, der Benutzer das Informationsendgerät nicht genau bedienen, was unpraktisch ist. Außerdem wird dann, wenn das Informationsendgerät durch solche Hände berührt wird, das Informationsendgerät verschmutzt, und wegen der Verschmutzung werden Defekte des Informationsendgeräts verursacht, was nicht bevorzugt wird. Im Hinblick auf eine Lebensmittelhygiene wird es außerdem nicht bevorzugt, mit den Händen, die das Informationsendgerät berührt haben, zu kochen.
  • Außerdem gibt es eine Wasserleitung und einen Brandherd, wie z. B. einen Herd, in einer Küche, und durch Hineinbringen eines Informationsendgeräts in die Küche könnte ein Defekt des Informationsendgeräts wegen des Wassers oder des Feuers verursacht werden. In dem Fall, in dem es ein elektromagnetisches Küchengerät in der Küche gibt, könnte eine Fehlfunktion oder ein Defekt des Informationsendgeräts wegen eines elektromagnetischen Feldes verursacht werden.
  • Eine Aufgabe einer Ausführungsform der vorliegenden Erfindung ist, ein Datenverarbeitungssystem bereitzustellen, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Eine weitere Aufgabe einer Ausführungsform der vorliegenden Erfindung ist, eine Datenverarbeitungsvorrichtung bereitzustellen, bei der ohne Verwendung von Händen Informationen erhalten werden können. Eine weitere Aufgabe einer Ausführungsform der vorliegenden Erfindung ist, ein Verfahren zur Datenverarbeitung bereitzustellen, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Eine weitere Aufgabe einer Ausführungsform der vorliegenden Erfindung ist, ein Küchenhilfssystem bereitzustellen, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Eine weitere Aufgabe einer Ausführungsform der vorliegenden Erfindung ist, eine Küchenhilfsvorrichtung bereitzustellen, bei der ohne Verwendung von Händen Informationen erhalten werden können. Eine weitere Aufgabe einer Ausführungsform der vorliegenden Erfindung ist, ein Küchenhilfsverfahren bereitzustellen, bei dem ohne Verwendung von Händen Informationen erhalten werden können.
  • Mittel zur Lösung des Problems
  • Eine Ausführungsform der vorliegenden Erfindung ist ein Datenverarbeitungssystem, das eine tragbare Vorrichtung, die mit einem Anzeigemittel und einem Abbildungsmittel versehen ist, und eine Datenbank umfasst, die über ein Netzwerk mit der tragbaren Vorrichtung verbunden ist. Die Datenbank umfasst Informationen über ein Kochrezept und/oder ein Kochverfahren und/oder eine Zutat. Die tragbare Vorrichtung erfasst durch das Abbildungsmittel eine erste Zutat. Die tragbare Vorrichtung sammelt aus der Datenbank Informationen über die erste Zutat. Wenn sich die erste Zutat in einem bestimmten Bereich in einem Rahmen befindet, der durch das Abbildungsmittel aufgenommen wird, werden die Informationen über die erste Zutat auf dem Anzeigemittel angezeigt. Wenn sich die erste Zutat in dem bestimmten Bereich nicht befindet, werden die Informationen über die erste Zutat auf dem Anzeigemittel nicht angezeigt.
  • Im Vorstehenden wird vorzugsweise auf Basis des Kochrezeptes auf dem Anzeigemittel ein Kochverfahren angezeigt, bei dem die erste Zutat verwendet wird.
  • Im Vorstehenden umfassen die Informationen über die erste Zutat vorzugsweise eine Schnittposition der ersten Zutat.
  • Im Vorstehenden umfassen die Informationen über die erste Zutat vorzugsweise eine Position einer Gräte, die in der ersten Zutat enthalten ist.
  • Im Vorstehenden ist die tragbare Vorrichtung vorzugsweise eine brillenartige tragbare Vorrichtung.
  • Im Vorstehenden wird die Datenbank vorzugsweise in einem Server gespeichert.
  • Eine Ausführungsform der vorliegenden Erfindung ist ein Datenverarbeitungssystem, das eine tragbare Vorrichtung, die mit einem Anzeigemittel und einem Abbildungsmittel versehen ist, und ein Küchengerät umfasst, das einen Temperatursensor beinhaltet. Die tragbare Vorrichtung und der Temperatursensor sind über ein erstes Netzwerk miteinander verbunden. Die tragbare Vorrichtung erfasst durch das Abbildungsmittel das Küchengerät. Die tragbare Vorrichtung sammelt aus dem Temperatursensor Informationen über eine Temperatur innerhalb des Küchengeräts. Wenn sich das Küchengerät in einem bestimmten Bereich in einem Rahmen befindet, der durch das Abbildungsmittel aufgenommen wird, werden die Informationen über die Temperatur auf dem Anzeigemittel angezeigt. Wenn sich das Küchengerät in dem bestimmten Bereich nicht befindet, werden die Informationen über die Temperatur auf dem Anzeigemittel nicht angezeigt.
  • Im Vorstehenden umfasst das Datenverarbeitungssystem vorzugsweise ferner eine Datenbank. Die Datenbank ist vorzugsweise über ein zweites Netzwerk, das das erste Netzwerk umfasst, mit der tragbaren Vorrichtung und dem Temperatursensor verbunden. Die Datenbank empfängt vorzugsweise über das zweite Netzwerk die Informationen über die Temperatur. Die Datenbank berechnet vorzugsweise aus den Informationen über die Temperatur eine Zeit, die für eine Erwärmung des Küchengeräts benötigt wird, und zeigt die Zeit auf dem Anzeigemittel an.
  • Im Vorstehenden ist die tragbare Vorrichtung vorzugsweise eine brillenartige tragbare Vorrichtung.
  • Im Vorstehenden wird die Datenbank vorzugsweise in einem Server gespeichert.
  • Eine Ausführungsform der vorliegenden Erfindung ist ein Verfahren zur Datenverarbeitung unter Verwendung einer tragbaren Vorrichtung, die mit einem Anzeigemittel und einem Abbildungsmittel versehen ist. Die tragbare Vorrichtung wird von einem Benutzer getragen, damit der Benutzer durch das Anzeigemittel eine Zutat oder ein Küchengerät sehen kann. Das Verfahren zur Datenverarbeitung umfasst einen Schritt zum Erfassen eines Schneidebretts, das sich in einer Blickrichtung des Benutzers befindet, durch das Abbildungsmittel, einen Schritt zum Identifizieren einer ersten Zutat auf dem Schneidebrett, einen Schritt zum Anzeigen eines Kochverfahrens auf dem Anzeigemittel und einen Schritt, eine Schnittposition der ersten Zutat auf dem Anzeigemittel derart anzuzeigen, dass sich die Schnittposition der ersten Zutat mit der ersten Zutat in der Blickrichtung des Benutzers überlappt.
  • Im Vorstehenden umfasst das Verfahren zur Datenverarbeitung vorzugsweise ferner einen Schritt, eine Position einer Fremdsubstanz, die sich an einer Oberfläche oder in einem Inneren der Zutat befindet, auf dem Anzeigemittel derart anzuzeigen, dass sich die Position der Fremdsubstanz mit der Zutat in der Blickrichtung des Benutzers überlappt.
  • Im Vorstehenden ist die Fremdsubstanz vorzugsweise eines, welches aus einer Gräte, einer Schuppe, einem Parasiten und einem Haar ausgewählt wird.
  • Im Vorstehenden ist die tragbare Vorrichtung vorzugsweise eine brillenartige tragbare Vorrichtung.
  • Wirkung der Erfindung
  • Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Datenverarbeitungssystem bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann eine Datenverarbeitungsvorrichtung bereitgestellt werden, bei der ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Verfahren zur Datenverarbeitung bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Küchenhilfssystem bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann eine Küchenhilfsvorrichtung bereitgestellt werden, bei der ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Küchenhilfsverfahren bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können.
  • Figurenliste
    • 1 ist eine schematische Darstellung, die ein Beispiel für ein Verwendungsverfahren einer AR-Brille einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 2 ist ein Blockdiagramm, das eine Ausführungsform der vorliegenden Erfindung darstellt.
    • 3 ist ein Flussdiagramm, das eine Ausführungsform der vorliegenden Erfindung darstellt.
    • 4A und 4B sind schematische Darstellungen, die jeweils eine Ausführungsform der vorliegenden Erfindung darstellen.
    • 5A und 5B sind schematische Darstellungen, die jeweils eine Ausführungsform der vorliegenden Erfindung darstellen.
    • 6A und 6B sind schematische Darstellungen, die jeweils eine Ausführungsform der vorliegenden Erfindung darstellen.
    • 7 ist eine schematische Darstellung, die ein Beispiel für ein Verfahren zum Anzeigen einer Richtlinie einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 8A ist eine schematische Darstellung, die ein Verfahren zum Lernen von Lehrerdaten durch ein neuronales Netz mit maschinellem Lernen einer Ausführungsform der vorliegenden Erfindung darstellt. 8B ist eine schematische Darstellung, die ein Verfahren zum Erzeugen eines Bildes unter Verwendung eines neuronalen Netzes, das gelernt hat, einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 9 ist eine schematische Darstellung, die ein Verfahren zum Erzeugen eines Bildes einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 10A ist eine schematische Darstellung, die ein Verfahren zum Lernen von Lehrerdaten durch ein neuronales Netz mit maschinellem Lernen einer Ausführungsform der vorliegenden Erfindung darstellt. 10B ist eine schematische Darstellung, die ein Verfahren zum Erzeugen eines Bildes unter Verwendung eines neuronalen Netzes, das gelernt hat, einer Ausführungsform der vorliegenden Erfindung darstellt.
    • 11A und 11B sind schematische Darstellungen, die jeweils eine Ausführungsform der vorliegenden Erfindung darstellen.
    • 12A und 12B sind schematische Darstellungen, die jeweils ein Beispiel für ein Verfahren zum Anzeigen einer Richtlinie einer Ausführungsform der vorliegenden Erfindung darstellen.
    • 13A und 13B sind schematische Darstellungen, die jeweils eine Ausführungsform der vorliegenden Erfindung darstellen.
    • 14A und 14B sind schematische Darstellungen, die jeweils ein Verfahren zum Erfassen eines Küchengeräts einer Ausführungsform der vorliegenden Erfindung darstellen.
    • 15A und 15B sind schematische Darstellungen, die jeweils eine Ausführungsform der vorliegenden Erfindung darstellen.
  • Ausführungsformen der Erfindung
  • (Ausführungsform 1)
  • Bei dieser Ausführungsform wird ein Datenverarbeitungssystem einer Ausführungsform der vorliegenden Erfindung beschrieben. Das Datenverarbeitungssystem einer Ausführungsform der vorliegenden Erfindung kann einem Benutzer beim Kochen helfen.
  • Das Datenverarbeitungssystem einer Ausführungsform der vorliegenden Erfindung ermöglicht dem Benutzer zu kochen, während er ein Informationsendgerät benutzt. Das Informationsendgerät kann vorzugsweise von dem Benutzer getragen werden. Bei dieser Ausführungsform wird ein Beispiel beschrieben, in dem als Informationsendgerät, das der Benutzer benutzt, eine tragbare Vorrichtung verwendet wird. Außerdem ist die bei dieser Ausführungsform beschriebene tragbare Vorrichtung vorzugsweise eine brillenartige tragbare Vorrichtung, und eine derartige tragbare Vorrichtung wird in einigen Fällen als AR-Brille bezeichnet.
  • <Anwendungsbeispiel einer AR-Brille>
  • 1 stellt ein Beispiel dar, in dem der Benutzer kocht, während er eine AR-Brille 10 trägt. Es sei angemerkt, dass AR eine Abkürzung für Augmented Reality (erweiterte Realität) ist, und unter Verwendung der AR-Brille 10 können Informationen, wie z. B. ein Bild oder ein Text, auf eine externe Welt, die der Benutzer sieht, projiziert werden.
  • Die AR-Brille 10 kann beispielsweise dem Benutzer Informationen, die der Benutzer beim Kochen braucht, wie z. B. Informationen über ein Kochrezept, ein Kochverfahren oder eine Zutat, anzeigen. Hier umfasst die Zutat eine Zutat, die zum Kochen benötigt ist, so beispielsweise pflanzliche Zutaten, wie z. B. Getreide, Gemüse, Früchte oder Seetange, tierische Zutaten, wie z. B. Meeresfrüchte, Fleisch, Eier, Milchprodukte oder Knochen, Gewürze, Riechstoffe, Öl oder Lebensmittelzusatzstoffe. Außerdem wird die Zutat in einigen Fällen als Lebensmittel gezeichnet. Der Benutzer kann selbst dann, wenn seine beiden Hände voll sind, Informationen, die zum Kochen benötigt sind, durch die AR-Brille 10 erhalten.
  • Die AR-Brille 10 beinhaltet einen Brillenabschnitt 10a, ein Gehäuse 10b und eine Leitung 10c. Die Leitung 10c verbindet den Brillenabschnitt 10a mit dem Gehäuse 10b. In 1 wird das Gehäuse 10b in einer Schürzentasche aufbewahrt. Es sei angemerkt, dass in dem Fall, in dem der Brillenabschnitt 10a und das Gehäuse 10b drahtlos miteinander kommunizieren können, die Leitung 10c weggelassen werden kann. Außerdem können in dem Fall, in dem alle Bestandteile, die für die AR-Brille 10 benötigt sind, in den Brillenabschnitt 10a hineinpassen, das Gehäuse 10b und die Leitung 10c weggelassen werden.
  • <Strukturbeispiel einer AR-Brille>
  • 2 ist ein Blockdiagramm, das ein Strukturbeispiel der AR-Brille 10 darstellt. Die AR-Brille 10 beinhaltet ein erstes Kameramodul 11, ein zweites Kameramodul 12, eine Steuerung 13, einen Anzeigeabschnitt 14, einen Prozessor 15, einen Speicher 16, ein Kommunikationsmodul 17, einen Audioregler 18, ein Mikrofon 19, einen Lautsprecher 20, eine Batterie 21, einen Sensor 25 und einen Bus 22.
  • Das erste Kameramodul 11, das zweite Kameramodul 12, die Steuerung 13, der Prozessor 15, der Speicher 16, das Kommunikationsmodul 17, der Sensor 25 und der Audioregler 18 übertragen Daten über den Bus 22.
  • Das erste Kameramodul 11 weist eine Funktion auf, das Blickfeld des Benutzers als Bild zu erhalten. Das zweite Kameramodul 12 weist außerdem eine Funktion auf, die Bewegung der Augäpfel des Benutzers aufzunehmen und eine Blickrichtung des Benutzers zu erfassen.
  • Wie nachstehend ausführlicher beschrieben, werden verschiedene Informationen gemäß einem Bild, das durch das erste Kameramodul 11 aufgenommen wird, auf dem Anzeigeabschnitt 14 angezeigt; daher ist eine Abbildungsrichtung des ersten Kameramoduls 11 vorzugsweise im Wesentlichen mit der Blickrichtung des Benutzers ausgerichtet. Außerdem umfasst ein Abbildungsbereich des ersten Kameramoduls 11 vorzugsweise ein Blickfeld, das der Benutzer durch die AR-Brille 10 sehen kann. Das heißt, dass ein bestimmter Bereich in dem Abbildungsbereich des ersten Kameramoduls 11 vorzugsweise mit dem Blickfeld ausgerichtet ist, das der Benutzer durch die AR-Brille 10 sieht.
  • Der Audioregler 18 weist eine Funktion zum Analysieren eines Audiosignals, das durch das Mikrofon 19 erhalten wird, und zum Umwandeln des Audiosignals in ein digitales Signal auf. Außerdem weist der Audioregler 18 eine Funktion zum Erzeugen eines Audiosignals auf, das an den Lautsprecher 20 ausgegeben wird.
  • Die Steuerung 13 weist eine Funktion zum Erzeugen eines Bildes auf, das auf dem Anzeigeabschnitt 14 angezeigt wird.
  • Das Kommunikationsmodul 17 weist eine Funktion zum Kommunizieren mit einer Datenbank über ein Netzwerk, wie z. B. das Internet, auf. Somit kann die AR-Brille 10 über das Netzwerk mit der Datenbank kommunizieren. Daten, die aus der Datenbank heruntergeladen werden, werden in dem Speicher 16 gespeichert. Die Datenbank wird vorzugsweise in einem Server 23 gespeichert. In diesem Fall ist die AR-Brille 10 unter Verwendung des Kommunikationsmoduls 17 über das Netzwerk mit dem Server 23 verbunden. Alternativ kann die AR-Brille 10 über eine Vorrichtung, die über das Netzwerk mit der AR-Brille 10 und dem Server 23 verbunden ist, mit dem Server 23 verbunden sein. Für die Vorrichtung kann ein Schreibtischcomputer 26, ein Laptop-Computer 27, ein Tablet-Computer 28 (ein Tablet-Gerät), ein Smartphone 29 oder dergleichen verwendet werden.
  • Außerdem kann die Datenbank in der Vorrichtung gespeichert werden. Der Benutzer kann durch die Vorrichtung Benutzerinformationen in die AR-Brille 10 und die Datenbank eintragen, Nutzungsbedingungen einstellen, ein Küchengerät, das der Benutzer benutzt, eintragen und dergleichen.
  • Beispielsweise führt der Server 23 vorzugsweise maschinelles Lernen unter Verwendung von Lehrerdaten durch. Die AR-Brille 10 kann ein Lernergebnis, das durch dieses Lernen erhalten wird, aus dem Server 23 herunterladen und in dem Speicher 16 speichern.
  • Die Batterie 21 weist eine Funktion zur Stromzufuhr zu den Vorrichtungen auf, die in der AR-Brille 10 enthalten sind.
  • Der Prozessor 15 weist eine Funktion zum kollektiven Steuern der Vorrichtungen auf, die mit dem Bus 22 verbunden sind. Beispielsweise beurteilt der Prozessor 15 umfassend Informationen, die aus dem ersten Kameramodul 11, dem zweiten Kameramodul 12, dem Kommunikationsmodul 17 und dem Audioregler 18 erhalten werden, und erteilt der Steuerung 13 einen Befehl. Die Steuerung 13 erzeugt Bilddaten nach dem Befehl von dem Prozessor 15 und zeigt die Bilddaten auf dem Anzeigeabschnitt 14 an.
  • Als Anzeigeabschnitt 14 wird vorzugsweise ein sogenanntes durchsichtiges Anzeigefeld verwendet, das Außenlicht durchlässt. Als Beispiele für das durchsichtige Anzeigefeld kann eine organische EL- (Elektrolumineszenz-) Anzeige, eine Flüssigkristallanzeige oder dergleichen angegeben werden.
  • Die Feinheit des durchsichtigen Anzeigefeldes ist vorzugsweise möglichst hoch. Die Pixeldichte des durchsichtigen Anzeigefeldes kann höher als oder gleich 1000 ppi und niedriger als oder gleich 50000 ppi, bevorzugt höher als oder gleich 2000 ppi und niedriger als oder gleich 50000 ppi, bevorzugter höher als oder gleich 3000 ppi und niedriger als oder gleich 50000 ppi, noch bevorzugter höher als oder gleich 5000 ppi und niedriger als oder gleich 50000 ppi sein. Typischerweise kann die Pixeldichte höher als oder gleich 4500 ppi und niedriger als oder gleich 5500 ppi, höher als oder gleich 5500 ppi und niedriger als oder gleich 6500 ppi oder höher als oder gleich 6500 ppi und niedriger als oder gleich 7500 ppi sein.
  • Die Auflösung des durchsichtigen Anzeigefeldes ist vorzugsweise möglichst hoch. Die Anzahl von Pixeln des durchsichtigen Anzeigefeldes in einer Richtung einer Abtastleitung oder in einer Richtung einer Signalleitung kann beispielsweise größer als oder gleich 1000 und kleiner als oder gleich 20000, bevorzugt größer als oder gleich 2000 und kleiner als oder gleich 20000, bevorzugter größer als oder gleich 3000 und kleiner als oder gleich 20000 sein. In dem Fall, in dem zwei durchsichtige Anzeigefelder für ein linkes Auge und ein rechtes Auge bereitgestellt werden, kann die Form eines Anzeigebereichs im Wesentlichen quadratisch (das Verhältnis der horizontalen Länge zu der vertikalen Länge ist größer als oder gleich 0,8 und kleiner als oder gleich 1,2) sein. Andererseits ist in dem Fall, in dem ein Anzeigebereich für ein rechtes Auge und ein linkes Auge geteilt verwendet wird, die Form eines Anzeigebereichs vorzugsweise ein horizontales Rechteck im Querformat (beispielsweise ist das Verhältnis der horizontalen Länge zu der vertikalen Länge größer als oder gleich 1,5 und kleiner als oder gleich 5,0). Das durchsichtige Anzeigefeld kann dem Standard eines Fernsehgeräts angepasst werden, das ein Seitenverhältnis von 16:9 aufweist, und in diesem Fall kann das durchsichtige Anzeigefeld die Auflösung des FHD-Standards, des 4K2K-Standards oder des 8K4K-Standards aufweisen.
  • Der Anzeigeabschnitt 14 kann eine Vorrichtung beinhalten, die ein Bild auf eine reflektierende Platte vor den Augen des Benutzers projiziert. In diesem Fall beinhaltet der Anzeigeabschnitt 14 eine optische Komponente, wie z. B. eine Lichtleiterplatte oder einen Halbspiegel, und ein Licht emittierendes Element. Als vorstehendes Licht emittierendes Element können ein organisches EL-Element, ein LED- (Leuchtdiode-) Element und ein anorganisches EL-Element angegeben werden.
  • Außerdem kann der Anzeigeabschnitt 14 eine Anzeigevorrichtung mit einem Netzhaut-Projektor beinhalten. Die Anzeigevorrichtung mit einem Netzhaut-Projektor ist eine Vorrichtung, die ein Bild auf eine Netzhaut des Benutzers projiziert, indem die Netzhaut mit Laserlicht mit einer niedrigen Intensität bestrahlt wird. In diesem Fall beinhaltet der Anzeigeabschnitt 14 einen Laseroszillator, optische Systeme (eine Lichtleiterplatte, eine reflektierende Platte, einen Halbspiegel und dergleichen) und dergleichen. Der Laseroszillator wird vorzugsweise durch ein MEMS (Micro Electro Mechanical System) gesteuert.
  • Der Benutzer, der die AR-Brille 10 trägt, kann durch den Anzeigeabschnitt 14 eine Zutat oder ein Gerät sehen, die/das zum Kochen benötigt ist. In der Blickrichtung des Benutzers werden Informationen über eine Zutat oder ein Küchengerät, die/das der Benutzer sieht, auf dem Anzeigeabschnitt 14 angezeigt. Das heißt, dass, von der Seite des Benutzers aus gesehen, die Informationen über die Zutat oder das Küchengerät auf dem Anzeigeabschnitt 14 derart angezeigt werden, dass sich die Informationen mit der Zutat oder dem Küchengerät überlappen.
  • Die AR-Brille 10 kann ferner den Sensor 25, wie z. B. einen Beschleunigungssensor, einen Gyroskopsensor, einen Temperatursensor oder einen Augenpotentialsensor, beinhalten. Der Augenpotentialsensor ist ein Sensor, der eine Veränderung eines Potentials erkennt, die durch eine Bewegung von Augen erzeugt wird, und wird in dem Brillenabschnitt 10a bereitgestellt. Durch das Vorhandensein eines Augenpotentialsensors kann die AR-Brille 10 die Bewegung von Augen des Benutzers analysieren und die Blickrichtung des Benutzers verfolgen.
  • Bei der AR-Brille 10 können unter den Bestandteilen in 2 der Prozessor 15, der Speicher 16, das Kommunikationsmodul 17 und die Batterie 21 in dem Gehäuse 10b enthalten sein, und andere Bestandteile in dem Brillenabschnitt 10a enthalten sein. Somit kann der Brillenabschnitt 10a leichter sein, so dass sich der Benutzer weniger belastet fühlt.
  • Wenn sich der Benutzer nicht belastet fühlt, kann unter den Bestandteilen in 2 nur die Batterie 21 in dem Gehäuse 10b enthalten sein, und andere Bestandteile können in dem Brillenabschnitt 10a enthalten sein. Indem die mit dem Bus 22 verbundenen Vorrichtungen nahe einander angeordnet werden, können eine höhere Verarbeitungsgeschwindigkeit und ein geringerer Stromverbrauch erzielt werden.
  • In dem Fall, in dem die Batterie 21 ferner verkleinert werden kann, können alle Bestandteile der AR-Brille 10 in dem Brillenabschnitt 10a enthalten sein. In diesem Fall sind das Gehäuse 10b und die Leitung 10c nicht notwendig.
  • <Details eines Systems>
  • Details eines Datenverarbeitungssystems, bei dem die AR-Brille 10 verwendet wird, werden anhand von 3 bis 10 beschrieben. Es sei angemerkt, dass das Datenverarbeitungssystem in der folgenden Beschreibung einfach als „System“ abgekürzt wird.
  • 3 ist ein Flussdiagramm zum Beschreiben eines Ablaufs einer Verarbeitung des Systems. 3 umfasst Schritte S0 bis S10. Nachstehend werden die Details des Systems von dem Schritt S0 aus in einer Reihenfolge beschrieben. Bei dieser Ausführungsform wird der Fall beschrieben, in dem ein Fisch unter Verwendung der AR-Brille 10 vorbehandelt wird.
  • Als Erstes startet im Schritt S0 der Benutzer das System. Ein Blickfeld 50 in 4A entspricht einem Blickfeld, das der Benutzer gleich nach dem Starten des Systems durch die AR-Brille 10 sieht. In 4A gibt es auf dem Blickfeld 50 ein Schneidebrett 60 und eine Zutat 62 sowie ein Küchenmesser 63 und ein Geschirrtuch 64. Bei dieser Ausführungsform wird ein Beispiel beschrieben, in dem ein Fisch als Zutat 62 verwendet wird. Es sei angemerkt, dass der Abbildungsbereich des ersten Kameramoduls 11 vorzugsweise das Blickfeld 50 umfasst. Das heißt, dass ein bestimmter Bereich in dem Abbildungsbereich des ersten Kameramoduls 11 vorzugsweise mit dem Blickfeld 50 ausgerichtet ist.
  • Das Schneidebrett 60 ist vorzugsweise ein einfarbiges Schneiderbrett mit geringem Schmutz und geringen Schrammen. Außerdem sind Markierungen 61a, 61b, 61c und 61 d an den vier Ecken des Schneidebretts 60 angeordnet.
  • Die Markierungen 61a bis 61d können direkt auf dem Schneidebrett 60 gedruckt werden oder von dem Benutzer auf dem Schneidebrett befestigt werden, wie Aufkleber. Es sei angemerkt, dass die Anzahl der Markierungen nicht darauf beschränkt ist, und beispielsweise können die Markierungen nur an den drei Ecken des Schneidebretts 60 angeordnet sein.
  • Als Nächstes erkennt im Schritt S1 das System durch das erste Kameramodul 11 die Markierungen 61a bis 61d, um eine Position des Schneidebretts 60 zu erkennen. Das System fügt einem Analyseobjekt nur einen Bereich, der von den Markierungen 61a bis 61d umgeben ist, hinzu und schließt Bereiche außerhalb dieses Bereichs von dem Analyseobjekt aus. Wie in 4B dargestellt, schließt das System beispielsweise einen diagonal schraffierten Bereich in der Zeichnung von dem Analyseobjekt aus.
  • Das System versucht, durch die Bildanalyse die Zutat 62 zu erkennen; jedoch wird beispielsweise dann, wenn dem Objekt der Bildanalyse auch Gegenstände in einer Umgebung des Schneidebretts 60, wie z. B. das Küchenmesser 63 und das Geschirrtuch 64, hinzugefügt werden, die Erkennungsgenauigkeit der Zutat 62 nachteilig beeinflusst. Das System schließt, wie in 4B dargestellt, die Gegenstände in der Umgebung des Schneidebretts 60 von dem Analyseobjekt aus, wodurch die Erkennungsgenauigkeit der Zutat 62 verbessert werden kann. Außerdem kann die Bildanalyse mit höherer Geschwindigkeit durchgeführt werden, indem die Fläche eines zu analysierenden Bildes verkleinert wird.
  • Es sei angemerkt, dass der Bereich des Schneidebretts 60 durch ein Verfahren zur Objektserfassung, wie z. B. R-CNN, YOLO, SSD oder dergleichen, oder semantische Segmentierung, wie z. B. FCN, SegNet, U-Net, PSPNet oder dergleichen, das/die bei Stand der Technik beschrieben worden ist, erfasst werden kann, ohne dass dabei die Maskierungen verwendet werden.
  • Als Nächstes identifiziert im Schritt S2 das System die Art der Zutat 62. Zum Beispiel wird in 5A ein Rechteck 65 derart gezeigt, dass es die Zutat 62 umgibt, und Optionen der Zutat 62 werden auf einem Menü 70 angezeigt. Zum Identifizieren der Zutat 62 wird vorzugsweise das vorstehende Verfahren zur Objektserfassung verwendet. Auf dem Menü 70 werden die Optionen der Zutat 62 vorzugsweise von einer Option, die mit höherer Wahrscheinlichkeit der Zutat 62 entspricht, aus in der Reihenfolge angezeigt.
  • Der Benutzer kann aus Optionen, die auf dem Menü 70 angezeigt werden, die Art der Zutat 62 auswählen. Der Benutzer kann durch Toneingabe ein Menü auswählen. Beispielsweise analysiert das System dann, wenn der Benutzer einen Ton „Rossmakrele“ ausspricht, den Ton des Benutzers und beurteilt, dass „Rossmakrele“ ausgewählt wird.
  • Des Weiteren kann der Benutzer durch die Blickrichtung das Menü auswählen. Beispielsweise starrt der Benutzer ein Element „Rossmakrele“ an, das auf dem Menü 70 angezeigt wird. Die AR-Brille 10 erfasst die Blickrichtung des Benutzers und beurteilt, dass „Rossmakrele“ ausgewählt wird. Die Erfassung der Blickrichtung des Benutzers kann unter Verwendung des zweiten Kameramoduls 12 durchgeführt werden. Aus einem Bild der Augäpfel des Benutzers, das durch das zweite Kameramodul 12 erhalten wird, wird die Positionsbeziehung zwischen einem inneren Augenwinkel und einer Iris analysiert, wobei ein innerer Augenwinkel des Benutzers ein Bezugspunkt ist, so dass die Blickrichtung des Benutzers erfasst werden kann.
  • Außerdem kann dann, wenn eine Infrarotstrahlquelle, wie z. B. eine Infrarot-LED, und ein Infrarotstrahlsdetektor, wie z. B. eine Infrarotkamera, an der AR-Brille 10 montiert werden, die Blickrichtung des Benutzers erfasst werden. Augen des Benutzers werden mit Infrarotstrahlen bestrahlt, die aus einer Infrarotstrahlquelle emittiert werden, und die Positionsbeziehung zwischen einer Reflexionsposition auf einer Hornhaut (als Hornhautreflex bezeichnet) und einer Pupille wird analysiert, wobei der Hornhautreflex ein Bezugspunkt ist, so dass die Blickrichtung des Benutzers erfasst werden kann.
  • In dem Fall, in dem die AR-Brille 10 einen Augenpotentialsensor beinhaltet, kann die AR-Brille 10 durch Analysieren eines Augenpotentials des Benutzers die Blickrichtung des Benutzers verfolgen.
  • Dabei kann ein Zeiger 51 entsprechend der Blickrichtung des Benutzers auf dem Menü 70 angezeigt werden. Indem der Zeiger 51 angezeigt wird, kann der Benutzer beurteilen, ob ein Element, das der Benutzer erwünscht, ausgewählt wird.
  • Der Zeiger 51 kann nur beim Auswählen eines Elements aus dem Menü 70 angezeigt werden. Alternativ kann durch den Sensor 25 die Bewegung des Benutzers erkannt werden, so dass der Zeiger 51 angezeigt oder nicht angezeigt werden kann. Beispielsweise kann der Zeiger 51 angezeigt oder nicht angezeigt werden, indem der Benutzer, der die AR-Brille 10 trägt, mit dem Kopf nickt oder den Kopf schüttelt. Als konkreteres Beispiel kann der Zeiger 51 angezeigt werden, indem der Benutzer, der die AR-Brille 10 trägt, mit dem Kopf nickt, und der Zeiger 51 kann nicht angezeigt werden, indem der Benutzer den Kopf schüttelt.
  • Auf diese Weise ist es vorzuziehen, dass der Benutzer das Menü auswählen kann, ohne dabei Hände zu verwenden. Somit kann der Benutzer selbst dann, wenn beim Kochen beide Hände voll sind, das System bedienen.
  • Andererseits kann durch das erste Kameramodul 11 die Bewegung der Hand des Benutzers erfasst werden. Der Benutzer kann ein erwünschtes Element auswählen, indem er die Hand, insbesondere den Finger, auf dem Anzeigeabschnitt 14 derart legt, dass sie/er sich mit dem erwünschten Element des Menüs 70 überlappt. In diesem Fall kann ein ausgewähltes Element in Kombination mit einem bekannten Verfahren zur Gestenerkennung, wie z. B. Fingergesten, bestimmt werden.
  • Indem die AR-Brille 10 die Bewegung des Benutzers liest, kann der Benutzer das System bedienen, ohne dabei ein Informationsendgerät zu berühren.
  • Wie vorstehend beschrieben, kann der Benutzer das System bedienen, ohne dabei das Informationsendgerät zu berühren; daher kann ein Defekt oder eine Fehlfunktion des Informationsendgeräts infolge einer Berührung einer nassen Hand oder einer Hand, an der eine Zutat haftet, an dem Informationsendgerät unterdrückt werden. Außerdem muss der Benutzer mit den Händen, die das Informationsendgerät berührt haben, nicht weiter kochen, was im Hinblick auf eine Lebensmittelhygiene bevorzugt wird.
  • Es sei angemerkt, dass das Menü 70 und der Zeiger 51 vorzugsweise in einer Periode, in der sich die Zutat 62 auf dem Blickfeld 50 befindet, angezeigt werden. Wenn sich die Zutat 62 infolge der Bewegung der Blickrichtung des Benutzers oder der Bewegung der Zutat 62 auf dem Blickfeld 50 nicht befindet, können das Menü 70 und der Zeiger 51 nicht angezeigt werden. Alternativ können das Menü 70 und der Zeiger 51 nicht angezeigt werden, nachdem ein Zustand, in dem sich die Zutat 62 auf dem Blickfeld 50 nicht befindet, für einen bestimmten Zeitraum gedauert hat.
  • Als Nächstes zeigt im Schritt S3 das System Optionen eines Rezeptes an, in dem die Zutat 62 verwendet wird. In 5B werden beispielhaft Optionen eines Rezeptes, in dem Rossmakrele verwendet wird, auf dem Menü 70 angezeigt. Der Benutzer kann auf ähnliche Weise wie im Schritt S2 aus dem Menü 70 ein Rezept auswählen. In dem Rezept werden vorzugsweise Informationen über die Gesundheit, wie z. B. Kalorien, einen Salzgehalt, einen Kohlenhydratgehalt oder dergleichen, und Lebensmittel oder Gewürze angezeigt, welche benötigt sind. Des Weiteren kann der Benutzer beim Auswählen des Rezeptes die Anzahl von Menschen, den das Essen serviert wird, einen Geschmack oder dergleichen eintragen.
  • Als Nächstes zeigt im Schritt S4 das System das im Schritt S3 ausgewählte Rezept an. In 6A wird beispielhaft ein Rezept 71 auf der oberen Seite des Blickfeldes 50 angezeigt.
  • In dem Rezept 71 werden Nummern von jeweiligen Schritten und Bilder zur Erläuterung der jeweiligen Schritte angezeigt. Wenn auf ähnliche Weise wie im Schritt S2 ein Schritt in dem Rezept 71 ausgewählt wird, wird ein Bild des ausgewählten Schrittes vergrößert angezeigt (6B). Außerdem werden ein Text 72 zur Erläuterung des Schrittes und ein Text 73 zur Erläuterung eines Tipps auf der unteren Seite des Blickfeldes 50 angezeigt. Somit kann der Benutzer zu beachtende Punkte der jeweiligen Schritte verstehen. Es sei angemerkt, dass das in dem Rezept 71 angezeigte Bild nicht auf ein Standbild beschränkt ist und auch ein bewegtes Bild verwendet werden kann.
  • Es sei angemerkt, dass das Rezept 71, der Text 72, der Text 73 und der Zeiger 51 vorzugsweise in einer Periode, in der sich die Zutat 62 oder das Schneidebrett 60 auf dem Blickfeld 50 befindet, angezeigt werden. Wenn sich die Zutat 62 und das Schneidebrett 60 infolge der Bewegung der Blickrichtung des Benutzers oder der Bewegung der Zutat 62 oder des Schneidebretts 60 auf dem Blickfeld 50 nicht befinden, können das Rezept 71, der Text 72, der Text 73 und der Zeiger 51 nicht angezeigt werden.
  • Alternativ können das Rezept 71, der Text 72, der Text 73 und der Zeiger 51 nicht angezeigt werden, nachdem ein Zustand, in dem sich die Zutat 62 und das Schneidebrett 60 auf dem Blickfeld 50 nicht befinden, für einen bestimmten Zeitraum gedauert hat.
  • Als Nächstes wählt im Schritt S5 der Benutzer aus, ob eine Funktion zum Anzeigen einer Küchenmesser-Richtlinie, die eine Schnittposition der Zutat zeigt, aktiviert wird oder nicht. Wenn die Küchenmesser-Richtlinie aktiviert wird, zeigt das System im Schritt S6 eine Küchenmesser-Richtlinie an, die eine angemessene Schnittposition der Zutat zeigt.
  • 7 zeigt das Blickfeld 50 des Benutzers in dem Fall, in dem die Küchenmesser-Richtlinie angezeigt wird. Der Benutzer filetiert einen Fisch (die Zutat 62) mit einem Küchenmesser. Dabei zeigt das System eine Richtlinie 75 derart an, dass sie sich mit der Zutat 62 überlappt. Der Benutzer kann mit dem Küchenmesser die Richtlinie 75 entlang die Zutat 62 anschneiden; somit kann der Benutzer die Zutat 62 richtig schneiden und zubereiten. Indem die Richtlinie 75 die Form der Zutat 62 entlang dreidimensional angezeigt wird, kann der Benutzer leicht die Zutat 62 schneiden oder verarbeiten.
  • Anhand von 8A und 8B wird ein Verfahren zum Anzeigen einer Küchenmesser-Richtlinie durch das System beschrieben. Die Anzeige der Küchenmesser-Richtlinie wird vorzugsweise unter Verwendung von maschinellem Lernen mit einem neuronalen Netz durchgeführt.
  • 8A stellt ein Verfahren zum Lernen von Lehrerdaten durch ein neuronales Netz dar. Das Lernen wird vorzugsweise in dem in 2 dargestellten Server 23 durchgeführt.
  • 8B stellt ein Verfahren zum Erzeugen eines Zielbildes unter Verwendung des neuronalen Netzes dar, das gelernt hat. Eine Verarbeitung in 8B wird innerhalb der AR-Brille 10 durchgeführt. Die AR-Brille 10 ladet das neuronale Netz, das gelernt hat, aus dem Server 23 herunter und erzeugt das Zielbild.
  • Als Erstes wird das Verfahren zum Lernen in 8A beschrieben. Als Lehrerdaten wird ein Datensatz 80 vorbereitet. Der Datensatz 80 umfasst einen Bildersatz 81 und einen Bildersatz 82. Der Bildersatz 81 beinhaltet eine Vielzahl von Bildern von Zutaten.
  • Der Bildersatz 82 ist ein Bildersatz, in dem jedem Bild des Bildersatzes 81 ein Anfangspunkt 83, der durch einen Kreis dargestellt wird, und ein Endpunkt 84, der ebenfalls durch einen Kreis dargestellt wird, hinzugefügt werden.
  • Als Nächstes lernt ein neuronales Netz 85 den Datensatz 80. Als neuronales Netz 85 wird vorzugsweise ein neuronales Netz, das für eine Bilderzeugung verwendet wird, wie z. B. ein Autoencoder, ein CAE (Convolutional Autoencoder), ein VAE (Variational Autoencoder), U-net, GAN (Generative Adversarial Networks bzw. erzeugende gegnerische Netzwerke) oder dergleichen, verwendet.
  • Als Nächstes wird eine Erzeugung eines Zielbildes in 8B beschrieben. Bei einem Bild 86 handelt es sich um ein Bild der Zutat 62, das durch das System erhalten wird. Wenn das Bild 86 in das neuronale Netz 85, das gelernt hat, eingegeben wird, wird ein Bild 87 erhalten, in dem der Zutat 62 ein Anfangspunkt 88 und ein Endpunkt 89 hinzugefügt werden. Indem die Richtlinie 75, die den Anfangspunkt 88 und den Endpunkt 89 miteinander verbindet, durch eine Bildverarbeitung angezeigt wird, kann ein Zielbild 90, in dem der Zutat die Küchenmesser-Richtlinie hinzugefügt wird, erhalten werden.
  • 3 wird wieder beschrieben. Im Schritt S7 wählt der Benutzer aus, ob eine Funktion zum Erfassen einer Gräte aktiviert wird oder nicht. Wenn die Erfassung einer Gräte aktiviert wird, erfasst das System im Schritt S9 eine Gräte. Es sei angemerkt, dass die Funktion zum Erfassen einer Gräte besonders zum Erfassen einer kleinen Gräte effektiv ist. Durch die Verwendung der Funktion zum Erfassen einer Gräte kann verhindert werden, dass eine Zutat mit einer kleinen Gräte zubereitet oder serviert wird. Des Weiteren ist die Funktion zum Erfassen auch zum Erfassen einer Schuppe, eines Parasiten oder dergleichen neben einer Gräte effektiv. Was nicht zum Essen geeignet ist, wie z. B. eine Gräte, eine Schuppe, ein Parasit oder dergleichen, wird als Fremdsubstanz bezeichnet. Daher kann die Funktion zum Erfassen einer Gräte als Funktion zum Erfassen einer Fremdsubstanz bezeichnet werden.
  • 9 zeigt das Blickfeld 50 des Benutzers in dem Fall, in dem die Funktion zum Erfassen einer Gräte aktiviert wird. Eine Zutat 76 ist ein Filet eines Fisches. Beispielsweise ist die Zutat 76 ein Teil eines Fischfleisches, der aus der Zutat 62 ausgeschnitten wird. Wenn durch die AR-Brille 10 gesehen, werden Gräten 78 hervorgehoben, die in der Zutat 76 enthalten sind. Demzufolge kann der Benutzer Gräten, die in dem Filet des Fisches enthalten sind, unabhängig von ihrer Größe leicht finden und entfernen.
  • Außerdem kann der Text 73 bezüglich der erfassten Gräten 78 angezeigt werden. In dem Text 73 sind vorzugsweise Informationen über die Gräten 78 oder Hinweise, wie z. B. ein Verfahren zum Behandeln oder dergleichen, enthalten. Beispielsweise können dann, wenn die erfassten Gräten 78 zu entfernende kleine Gräten sind, eine Information, dass kleine Gräten erfasst worden sind, und ein Hinweis auf die Entfernung als Text 73 angezeigt werden.
  • Anhand von 10A und 10B wird ein Verfahren zum Erfassen einer Gräte in einem Fisch beschrieben. Zum Erfassen der Gräte wird vorzugsweise ein Verfahren von semantischer Segmentierung verwendet.
  • 10A stellt ein Verfahren zum Lernen von Lehrerdaten durch ein neuronales Netz dar. Das Lernen wird vorzugsweise in dem in 2 dargestellten Server 23 durchgeführt.
  • 10B stellt ein Verfahren zum Erzeugen eines Zielbildes unter Verwendung des neuronalen Netzes dar, das gelernt hat. Eine Verarbeitung in 1B wird innerhalb der AR-Brille 10 durchgeführt. Die AR-Brille 10 ladet das neuronale Netz, das gelernt hat, aus dem Server 23 herunter und erzeugt das Zielbild.
  • Als Erstes wird ein Verfahren zum Lernen in 10A beschrieben. Als Lehrerdaten wird ein Datensatz 100 vorbereitet. Der Datensatz 100 umfasst einen Bildersatz 91 und einen Bildersatz 92. Der Bildersatz 91 beinhaltet eine Vielzahl von Bildern von Zutaten (Filets eines Fisches in diesem Fall). In dem Bildersatz 92 werden ein Bereich von Gräten und andere Bereiche jedes Bildes des Bildersatzes 91 in unterschiedlichen Farben gefärbt.
  • Als Nächstes lernt ein neuronales Netz 95 den Datensatz 100. Als neuronales Netz 95 wird ein neuronales Netz, das für semantische Segmentierung verwendet wird, wie z. B. FCN, SegNet, U-Net, PSPNet oder dergleichen, bevorzugt.
  • Als Nächstes wird eine Erzeugung eines Zielbildes in 10B beschrieben. Bei einem Bild 96 handelt es sich um ein Bild der Zutat 76, das durch das System erhalten wird. Wenn das Bild 96 in das neuronale Netz 95, das gelernt hat, eingegeben wird, wird ein Bild 97 erhalten, in dem ein Bereich von Gräten und andere Bereiche der Zutat 76 in unterschiedlichen Farben gefärbt werden. Indem das Bild 97 und das Bild 96 kombiniert werden, kann ein Bild 98 erhalten werden, in dem Gräten, besonders kleine Gräten, der Zutat 76 hervorgehoben werden.
  • Es sei angemerkt, dass das vorstehende System durch die Verwendung einer Technik, wie z. B. eine Objektserfassung, semantische Segmentierung oder dergleichen, nicht nur eine Gräte, sondern auch eine Schuppe eines Fisches oder einen bei einem Fisch schmarotzenden Parasiten erfassen kann. In dem Fall, in dem die Zutat 76 kein Fisch ist, umfasst die Fremdsubstanz auch ein Haar, eine Feder oder dergleichen. In dem Fall, in dem die Zutat ein Krebstier oder eine Muschel ist, umfasst die Fremdsubstanz auch eine Scherbe einer Schale oder einer Muschelschale, Sand oder dergleichen. Außerdem umfasst die Fremdsubstanz auch ein Haar des Benutzers oder einer Person, die das Kochen betrifft, wie z. B. eines Kochs oder dergleichen, oder einen Teil eines Kleidungsstücks, wie z. B. Fadenabfälle, Fasern oder dergleichen. Durch die Funktion zum Erfassen bei dem System wird vorzugsweise jede dieser Fremdsubstanzen erfasst, die nicht zum Essen geeignet sind. Insbesondere wird es im Hinblick auf eine Hygiene nicht bevorzugt, dass ein Haar an der Zutat haftet oder sich mit der Zutat mischt. Unter Verwendung des Systems wird ein Haar vorzugsweise erfasst und entfernt.
  • Schließlich wird das System beendet (Schritt S10), indem im Schritt S9 der Benutzer „Beenden“ auswählt.
  • Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Datenverarbeitungssystem bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann eine Datenverarbeitungsvorrichtung bereitgestellt werden, bei der ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Verfahren zur Datenverarbeitung bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Küchenhilfssystem bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann eine Küchenhilfsvorrichtung bereitgestellt werden, bei der ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Küchenhilfsverfahren bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können.
  • Die Zusammensetzung, die Struktur, das Verfahren und dergleichen, welche bei dieser Ausführungsform beschrieben worden sind, können je nach Bedarf mit beliebigen der Zusammensetzungen, der Strukturen, der Verfahren und dergleichen, welche bei den anderen Ausführungsformen und Beispielen beschrieben werden, kombiniert werden.
  • (Ausführungsform 2)
  • Bei der vorstehenden Ausführungsform ist das Beispiel eines Fisches als Zutat beschrieben worden; jedoch ist die vorliegende Erfindung nicht darauf beschränkt. Als Zutat können Meeresfrüchte außer Fisch, Fleisch eines Säugetieres, wie z. B. eines Rindes, eines Schweins, eines Schafs oder dergleichen, Fleisch eines Vogels, wie z. B. eines Huhns, einer Ente, eines Truthuhns oder dergleichen, ein Reptil, wie z. B. eine Schlange, eine Eidechse oder dergleichen, eine Amphibie, wie z. B. ein Frosch oder dergleichen, ein Insekt, wie z. B. eine Grille oder dergleichen, Gemüse, eine Frucht, ein Pilz oder dergleichen verwendet werden. Bei dieser Ausführungsform wird ein Beispiel beschrieben, in dem Gemüse als Zutat 77 verwendet wird.
  • Es sei angemerkt, dass für Küchengeräte, Elemente, die auf dem Anzeigeabschnitt 14 angezeigt werden, oder dergleichen, welche denjenigen bei der vorstehenden Ausführungsform gleich sind, gleiche Bezugszeichen verwendet werden, und dass eine ausführliche Beschreibung in einigen Fällen weggelassen wird.
  • 11A stellt das Blickfeld 50 des Benutzers dar, der die Zutat 77, die auf dem Schneidebrett 60 bereitgestellt wird, durch die AR-Brille 10 sieht. Auf dem Anzeigeabschnitt 14 der AR-Brille 10 werden das Rezept 71 und die Richtlinie 75 angezeigt. Der Benutzer kann die Zutat 77 mit einem Küchenmesser entlang der Richtlinie 75 schneiden.
  • 11B stellt einen Zustand dar, in dem die AR-Brille 10 die Blickrichtung des Benutzers erkennt und ein erwünschter Schritt aus dem Rezept 71 ausgewählt wird. Auf dem Rezept 71 wird der Zeiger 51 entsprechend der Blickrichtung des Benutzers angezeigt, und der Benutzer kann einen Schritt auswählen, während er die Position des Zeigers 51 anschaut.
  • Wenn der erwünschte Schritt von dem Benutzer ausgewählt wird, wird ein Bild des ausgewählten Schrittes vergrößert angezeigt. Außerdem werden der Text 72 zur Erläuterung des Schrittes und der Text 73 zur Erläuterung eines Tipps auf der unteren Seite des Blickfeldes 50 angezeigt. Somit kann der Benutzer zu beachtende Punkte der jeweiligen Schritte verstehen. Es sei angemerkt, dass das in dem Rezept 71 angezeigte Bild nicht auf ein Standbild beschränkt ist und auch ein bewegtes Bild verwendet werden kann.
  • Anhand von 12A und 12B wird ein Verfahren zum Anzeigen einer Küchenmesser-Richtlinie durch das System beschrieben. Die Anzeige der Küchenmesser-Richtlinie wird vorzugsweise unter Verwendung von maschinellem Lernen mit einem neuronalen Netz durchgeführt.
  • Wie bei der vorstehenden Ausführungsform, erkennt das System durch das erste Kameramodul 11 die Markierungen 61a bis 61d, um die Position des Schneidebretts 60 zu erkennen (12A).
  • Als Nächstes wird die Zutat 77 auf dem Schneidebrett erkannt, und Optionen der Zutat 77 und Optionen eines Rezeptes werden dem Benutzer angezeigt. Der Benutzer identifiziert auf ähnliche Weise wie bei der vorstehenden Ausführungsform die Zutat 77 und wählt ein Rezept aus.
  • Das System erhält Informationen über die Zutat 77 und Rezepte, d. h. Kochverfahren, oder Verarbeitungsverfahren der Zutat 77 aus einer Datenbank. 12B stellt ein Beispiel dar, in dem die Zutat 77 fein (in dünne Streifen) geschnitten wird. Das System zeigt die Richtlinien 75 derart an, dass sie sich auf dem Anzeigeabschnitt 14 mit einer erwünschten Position der Zutat 77 überlappen. Beispielsweise werden die Richtlinien 75 an einer Position in einem bestimmten Abstand von einem Endabschnitt der Zutat 77 angezeigt.
  • Dabei ist die Anzahl der angezeigten Richtlinien 75 nicht beschränkt. Für einen Schnitt kann eine Richtlinie 75 angezeigt werden, oder eine Vielzahl der Richtlinien 75, die für eine Vielzahl von Schnitten erfordert wird, kann angezeigt werden.
  • Beim Lernen einer Schnittposition in Bezug auf die Zutat 77 kann ein neuronales Netz Lehrerdaten lernen, wie bei der vorstehenden Ausführungsform. Als neuronales Netz wird vorzugsweise ein neuronales Netz, das für eine Bilderzeugung verwendet wird, wie z. B. ein Autoencoder, ein CAE, ein VAE, U-Net, GAN oder dergleichen, verwendet.
  • Wenn ein Bild der Zutat 77, das durch das System erhalten wird, in das neuronale Netz, das gelernt hat, eingegeben wird, kann eine Information über die Schnittposition in Bezug auf die Zutat 77 erhalten werden. Auf Basis der Information wird eine Bildverarbeitung durchgeführt, so dass der Zutat 77 die Richtlinien 75 hinzugefügt werden; somit kann ein Bild 99 erhalten werden.
  • Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Datenverarbeitungssystem bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann eine Datenverarbeitungsvorrichtung bereitgestellt werden, bei der ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Verfahren zur Datenverarbeitung bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Küchenhilfssystem bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann eine Küchenhilfsvorrichtung bereitgestellt werden, bei der ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Küchenhilfsverfahren bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können.
  • Die Zusammensetzung, die Struktur, das Verfahren und dergleichen, welche bei dieser Ausführungsform beschrieben worden sind, können je nach Bedarf mit beliebigen der Zusammensetzungen, der Strukturen, der Verfahren und dergleichen, welche bei den anderen Ausführungsformen und Beispielen beschrieben werden, kombiniert werden.
  • (Ausführungsform 3)
  • Bei dieser Ausführungsform wird ein Verfahren zum Anzeigen einer Behandlungszeit in Bezug auf ein Küchengerät beim Kochen auf der AR-Brille 10 beschrieben.
  • Beim Erwärmen von einer Zutat oder Wasser unter Verwendung eines Küchengeräts, wie z. B. eines Topfs, einer Pfanne, eines Kessels oder dergleichen, hängt die Erwärmungszeit von Details zum Kochen, der Zutat und der Menge der Zutat ab.
  • Während das System das Kochen und die Verarbeitung, welche bei den vorstehenden Ausführungsformen beschrieben worden sind, durchführt, führt das System eine Objektserfassung in Bezug auf das Küchengerät beim Erwärmen durch, und dann werden die Erwärmungszeit und die Zeit bis zum Ende der Erwärmung bei dem Küchengerät auf der AR-Brille 10 angezeigt. Indem die Objektserfassung durch das System durchgeführt wird, können selbst dann, wenn die Erwärmung unter Verwendung einer Vielzahl von Küchengeräten gleichzeitig durchgeführt wird, die Erwärmungszeit und die Zeit bis zum Ende der Erwärmung für jedes Küchengerät auf der AR-Brille 10 angezeigt werden.
  • 13A stellt das Blickfeld 50 des Benutzers dar, der durch die AR-Brille 10 einen Zustand sieht, in dem ein Küchengerät 210, ein Küchengerät 212 und ein Küchengerät 214 auf einem Herd 200, der eine Vielzahl von Erwärmungsmitteln aufweist, angeordnet und durch die Erwärmungsmittel erwärmt werden. Für die Erwärmungsmittel, die der Herd 200 aufweist, kann eine Erwärmung durch ein Gas, eine induktive Erwärmung (induction heating: IH), eine Erwärmung durch einen elektrischen Widerstand oder dergleichen verwendet werden.
  • Bei dem Erwärmungsmittel kann eine Erwärmungsintensität gesteuert werden. Bei dem Erwärmungsmittel, bei dem eine Erwärmung durch ein Gas durchgeführt wird, kann durch eine Menge eines Gases, das eingeleitet wird, eine Erwärmungsintensität, d. h. eine Heizkraft, gesteuert werden. Bei dem Erwärmungsmittel, bei dem eine Erwärmung durch eine induktive Erwärmung oder einen elektrischen Widerstand durchgeführt wird, kann durch einen Strom, der eingeleitet wird, eine Erwärmungsintensität gesteuert werden.
  • 13A stellt ein Beispiel dar, in dem unter Verwendung des Küchengeräts 210 eine Zutat erwärmt wird, die 15 Minuten lang zu erwärmen ist. 13A stellt einen Zustand dar, in dem 10 Minuten seit dem Starten der Erwärmung vergangen sind. Des Weiteren stellt 13A einen Zustand dar, in dem ein Text 220a, der die vergangene Zeit der Erwärmung und die übrige Erwärmungszeit zeigt, auf dem Anzeigeabschnitt 14 der AR-Brille 10 angezeigt wird.
  • Außerdem stellt 13A ein Beispiel dar, in dem unter Verwendung des Küchengeräts 212 eine Zutat erwärmt wird, die 10 Minuten lang zu erwärmen ist. 13A stellt einen Zustand dar, in dem 2 Minuten seit dem Starten der Erwärmung vergangen sind. Des Weiteren stellt 13A einen Zustand dar, in dem ein Text 220b, der die vergangene Zeit der Erwärmung und die übrige Erwärmungszeit zeigt, auf dem Anzeigeabschnitt 14 der AR-Brille 10 angezeigt wird.
  • Außerdem stellt 13A ein Beispiel dar, in dem unter Verwendung des Küchengeräts 214 Wasser auf 100 °C erwärmt wird. 13A stellt einen Zustand dar, in dem Wasser in dem Küchengerät 214 auf 80 °C erwärmt worden ist.
  • Des Weiteren ist das Küchengerät 214 mit einem Temperatursensor 216 versehen, der drahtlos mit der AR-Brille 10 kommunizieren kann. Die Innentemperatur des Küchengeräts 214, die durch den Temperatursensor 216 erkannt wird, kann auf die AR-Brille 10 übertragen und auf dem Anzeigeabschnitt 14 angezeigt werden.
  • Das System schätzt aus der Menge an Wasser, das in das Küchengerät 214 gegeben worden ist, einer Temperatur von Wasser vor der Erwärmung und dem Änderungsbetrag einer Temperatur von Wasser durch die Erwärmung eine Erwärmungszeit ab, die benötigt ist, um eine erwünschte Temperatur zu erreichen. Die Abschätzung der Erwärmungszeit wird vorzugsweise in einer Datenbank durchgeführt. Außerdem kann für die Abschätzung der Erwärmungszeit maschinelles Lernen, ein Datenblatt, in dem die Energie, die zum Erwärmen einer bestimmten Menge an Wasser benötigt ist, geschrieben wird, oder dergleichen verwendet werden.
  • 13A stellt einen Zustand dar, in dem die aktuelle Temperatur von Wasser in dem Küchengerät 214 und ein abgeschätztes Ergebnis, dass in zwei Minuten die Temperatur 100 °C erreicht, in einem Text 220c angezeigt werden.
  • Es sei angemerkt, dass, obwohl in 13A nicht dargestellt, auch das Küchengerät 210 und das Küchengerät 212 wie das Küchengerät 214 mit dem Temperatursensor 216 versehen sein können. Beim Kochen mit Öl, wie z. B. Kochen von Tempura oder frittiertem Essen, unter Verwendung des Küchengeräts 210 und des Küchengeräts 212 kann der Temperatursensor 216 die Temperatur von Öl erhalten und die erhaltene Temperatur von Öl auf die AR-Brille 10 übertragen. Die AR-Brille 10 kann die Innentemperatur jedes Küchengeräts auf dem Anzeigeabschnitt 14 anzeigen.
  • Der Benutzer kann bei einer optimalen Temperatur kochen, während er eine Innentemperatur des Küchengeräts prüft. Außerdem könnte eine übermäßige Erwärmung von Öl in dem Küchengerät eine Entzündung von Öl infolge der Erwärmung verursachen. Die AR-Brille 10 kann dann, wenn die Temperatur von Öl einen bestimmten Wert überschreitet, eine Warnung auf dem Anzeigeabschnitt 14 anzeigen und den Benutzer zur Vorsicht mahnen. Des Weiteren kann die AR-Brille 10 über ein Netzwerk mit dem Herd 200 verbunden sein. In diesem Fall wird vorzugsweise durch ein Signal, das von der AR-Brille 10 ausgegeben wird, eine Erwärmung eines erwünschten Erwärmungsabschnitts unterbrochen.
  • Außerdem können Informationen über die Innentemperatur des Küchengeräts, die durch den Temperatursensor 216 erhalten werden, und ein Kochrezept durch die Datenbank analysiert werden, und die Zeit, die für die Erwärmung benötigt wird, kann berechnet werden und in den Texten 220a, 220b und 220c angezeigt werden.
  • 13B stellt das Blickfeld 50 des Benutzers dar, der durch die AR-Brille 10 auf den Herd 200 zu dem Zeitpunkt sieht, zu dem 5 Minuten seit dem Zustand in 13A vergangen sind.
  • In Bezug auf die Erwärmung unter Verwendung des Küchengeräts 210 stellt 13B einen Zustand dar, in dem die bestimmte Erwärmungszeit abgelaufen ist. In dem Text 220a wird angezeigt, dass die Erwärmungszeit abgelaufen ist. Wenn die bestimmte Erwärmungszeit abgelaufen ist, kann die AR-Brille 10 an den Herd 200 ein Signal senden, und der Herd 200, der das Signal empfängt, kann die Erwärmung des Küchengeräts 210 beenden.
  • Bei der Erwärmung unter Verwendung des Küchengeräts 212 stellt 13B einen Zustand dar, in dem 7 Minuten seit dem Starten der Erwärmung vergangen sind. Zudem stellt 13B einen Zustand dar, in dem die vergangene Zeit der Erwärmung und die übrige Erwärmungszeit in dem Text 220b auf dem Anzeigeabschnitt 14 der AR-Brille 10 aktualisiert werden. Dabei kann die AR-Brille 10 eine Temperatur, die durch den Temperatursensor 216 des Küchengeräts 212 erhalten wird, analysieren und an den Herd 200 ein Signal zum Steuern einer Erwärmungsintensität (einer Heizkraft oder dergleichen) in Bezug auf das Küchengerät 212 senden. Beispielsweise kann in dem Fall, in dem das Innen des Küchengeräts 212 übermäßig erwärmt wird, die AR-Brille 10 an den Herd 200 ein Signal zum Schwächen der Erwärmung senden. Außerdem kann in dem Fall, in dem die Innentemperatur des Küchengeräts 212 niedrig ist, die AR-Brille 10 an den Herd 200 ein Signal zum Verstärken der Erwärmung senden. Der Herd 200, der das Signal empfängt, steuert die Erwärmungsintensität des entsprechenden Erwärmungsabschnitts.
  • In 13B ist die Erwärmung von Wasser unter Verwendung des Küchengeräts 214 bereits beendet worden. 13B stellt einen Zustand dar, in dem der Benutzer das Küchengerät 214 von dem Herd 200 umsetzt. Da sich das Küchengerät 214 in dem Blickfeld 50 nicht befindet, wird der Text 220c auf dem Anzeigeabschnitt 14 nicht angezeigt.
  • Das System kann die Erwärmung zu dem Zeitpunkt beenden, zu dem die Temperatur von Wasser in dem Küchengerät 214 eine erwünschte Temperatur erreicht. Außerdem kann das System durch eine Bildverarbeitung, die nachstehend beschrieben wird, die Umsetzung des Küchengeräts 214 von dem Erwärmungsmittel erkennen und dann die Erwärmung beenden. Die Erwärmung kann auch wie folgt beendet werden: Die AR-Brille 10 sendet an den Herd 200 ein Signal zum Beenden der Erwärmung, und der Herd 200 empfängt das Signal, wodurch die Erwärmung durch ein erwünschtes Erwärmungsmittel beendet wird.
  • Als Nächstes wird ein Verfahren zum Erfassen eines Küchengeräts, wie z. B. des Küchengeräts 210, des Küchengeräts 212, des Küchengeräts 214 oder dergleichen, anhand von 14A und 14B beschrieben. Für die Erfassung des Küchengeräts kann ein Verfahren zur Objektserfassung, wie z. B. R-CNN, YOLO, SSD oder dergleichen, oder semantische Segmentierung, wie z. B. FCN, SegNet, U-Net, PSPNet oder dergleichen, das/die bei Stand der Technik beschrieben worden ist, verwendet werden. Das System kann Merkmale des Küchengeräts, wie z. B. eine Form, eine Größe oder dergleichen, durch die Bildanalyse analysieren, so dass die Art des Küchengeräts identifiziert werden kann. Als Merkmale der Form kann die Form oder die Anzahl von Griffen, die das Küchengerät aufweist, die Form eines Ausgusses, den das Küchengerät aufweist, oder dergleichen angegeben werden. Als Merkmale der Größe kann die Fläche des Bodens, die Höhe, das Volumen oder dergleichen angegeben werden.
  • 14A stellt einen Zustand dar, in dem ein Rechteck 222a, das das Küchengerät 210 umgibt, ein Rechteck 222b, das das Küchengerät 212 umgibt, und ein Rechteck 222c, das das Küchengerät 214 umgibt, auf dem Anzeigeabschnitt 14 angezeigt werden. Durch die Bildanalyse innerhalb des Rechtecks 222a beurteilt das System, dass das Küchengerät 210 ein Topf ist, so dass ein Text 224a angezeigt wird. Durch die Bildanalyse innerhalb des Rechtecks 222b beurteilt das System, dass das Küchengerät 212 eine Pfanne ist, so dass ein Text 224b angezeigt wird. Durch die Bildanalyse innerhalb des Rechtecks 222c beurteilt das System, dass das Küchengerät 214 ein Kessel ist, so dass ein Text 224c angezeigt wird.
  • Die Beurteilung der Art jedes Küchengeräts kann durch maschinelles Lernen unter Verwendung von Lehrerdaten durchgeführt werden, oder der Benutzer kann im Voraus ein Küchengerät, das er verwendet, in die Datenbank oder den Speicher 16 in der AR-Brille 10 eintragen, so dass die Beurteilung der Art jedes Küchengeräts auf Basis von eingetragenen Daten durchgeführt werden kann.
  • Des Weiteren kann, wie in 14B dargestellt, jedes Küchengerät als Bereich unterteilt werden. Aus der Form jedes Bereichs kann die Art des Küchengeräts identifiziert werden und ein Label kann jedem Bereich zugeteilt werden, oder nach dem Identifizieren der Art des Küchengeräts durch die Bildanalyse kann ein Label jedem Bereich zugeteilt werden.
  • Wenn durch das vorstehende Verfahren das Küchengerät in dem Blickfeld 50 erfasst wird, zeigt das System Informationen über das Küchengerät auf dem Anzeigeabschnitt 14 an. Als Informationen, die auf dem Anzeigeabschnitt 14 angezeigt werden, können die Art des Küchengeräts, eine Zutat in dem Küchengerät, die Zeit des Kochens und dergleichen angegeben werden. Wenn sich das Küchengerät infolge der Bewegung der Blickrichtung des Benutzers oder der Bewegung des Küchengeräts auf dem Blickfeld 50 nicht befindet, können Informationen über das Küchengerät nicht angezeigt werden. Alternativ können Informationen über das Küchengerät nicht angezeigt werden, nachdem ein Zustand, in dem sich das Küchengerät auf dem Blickfeld 50 nicht befindet, für einen bestimmten Zeitraum gedauert hat.
  • Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Datenverarbeitungssystem bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann eine Datenverarbeitungsvorrichtung bereitgestellt werden, bei der ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Verfahren zur Datenverarbeitung bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Küchenhilfssystem bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann eine Küchenhilfsvorrichtung bereitgestellt werden, bei der ohne Verwendung von Händen Informationen erhalten werden können. Gemäß einer Ausführungsform der vorliegenden Erfindung kann ein Küchenhilfsverfahren bereitgestellt werden, bei dem ohne Verwendung von Händen Informationen erhalten werden können.
  • Die Zusammensetzung, die Struktur, das Verfahren und dergleichen, welche bei dieser Ausführungsform beschrieben worden sind, können je nach Bedarf mit beliebigen der Zusammensetzungen, der Strukturen, der Verfahren und dergleichen, welche bei den anderen Ausführungsformen und Beispielen beschrieben werden, kombiniert werden.
  • (Ausführungsform 4)
  • Bei dieser Ausführungsform wird ein Strukturbeispiel eines Informationsendgeräts mit einer Anzeigevorrichtung beschrieben, das für die AR-Brille 10 verwendet werden kann.
  • 15A stellt eine perspektivische Ansicht eines brillenartigen Informationsendgeräts 900 dar. Das Informationsendgerät 900 beinhaltet ein Paar von Anzeigefeldern 901, ein Paar von Gehäusen (ein Gehäuse 902a und ein Gehäuse 902b), ein Paar von optischen Komponenten 903, ein Paar von Halteabschnitten 904 und dergleichen.
  • Das Informationsendgerät 900 kann ein Bild, das auf dem Anzeigefeld 901 angezeigt wird, auf einen Anzeigebereich 906 der optischen Komponente 903 projizieren. Da die optischen Komponenten 903 eine Lichtdurchlässigkeitseigenschaft aufweisen, kann der Benutzer Bilder, die auf den Anzeigebereichen 906 angezeigt werden, derart sehen, dass die Bilder Transmissionsbilder überlagern, die durch die optischen Komponenten 903 betrachtet werden. Das Informationsendgerät 900 ist daher ein Informationsendgerät, das zu einer AR-Anzeige geeignet ist. Es sei angemerkt, dass der Anzeigeabschnitt 14, der bei den vorstehenden Ausführungsformen beschrieben worden ist, nicht nur die Anzeigefelder 901, sondern auch die optischen Komponenten 903, die die Anzeigebereiche 906 umfassen, und ein optisches System, das eine Linse 911, eine reflektierende Platte 912 und eine reflektierende Oberfläche 913 beinhaltet, welche nachstehend beschrieben werden, umfassen kann. Als Anzeigefeld 901 kann eine organische EL-Anzeige, eine LED-Anzeige, eine anorganische EL-Anzeige, eine Flüssigkristallanzeige oder dergleichen verwendet werden. Es sei angemerkt, dass dann, wenn eine Flüssigkristallanzeige als Anzeigefeld 901 verwendet wird, vorzugsweise eine Lichtquelle, die als Hintergrundbeleuchtung dient, bereitgestellt wird.
  • Bei dem Informationsendgerät 900 werden ferner ein Paar von Kameras 905, die Bilder in Vorwärtsrichtung aufnehmen können, und ein Paar von Kameras 909 bereitgestellt, die Bilder auf der Seite des Benutzers aufnehmen können. Die Kamera 905 ist ein Teil von Bestandteilen des ersten Kameramoduls 11, und die Kamera 909 ist ein Teil von Bestandteilen des zweiten Kameramoduls 12. Das Informationsendgerät 900 ist vorzugsweise mit einer Vielzahl der Kameras 905 versehen, da eine Zutat oder ein Küchengerät dreidimensional aufgenommen werden kann. Es sei angemerkt, dass die Kameras 905 dieser Ausführungsform nicht darauf beschränkt sind. Die Anzahl der Kameras 905, die bei dem Informationsendgerät 900 bereitgestellt werden, kann eins sein. In diesem Fall kann die Kamera 905 in der Mitte auf der Vorderseite des Informationsendgeräts 900 oder auf der Vorderseite eines von dem Gehäuse 902a und dem Gehäuse 902b bereitgestellt werden. Außerdem kann jede der zwei Kameras 905 auf der Vorderseite des Gehäuses 902a und des Gehäuses 902b bereitgestellt werden.
  • Die Kamera 909 kann die Blickrichtung des Benutzers erkennen. Dementsprechend werden vorzugweise zwei Kameras 909 für ein rechtes Auge und ein linkes Auge bereitgestellt. Es sei angemerkt, dass in dem Fall, in dem die Blickrichtungen der beiden Augen durch eine Kamera erkannt werden können, die Anzahl der Kameras 909 eins sein kann. Des Weiteren kann die Kamera 909 eine Infrarotkamera sein, die Infrarotstrahlen erfassen kann.
  • Außerdem beinhaltet das Gehäuse 902a eine drahtlose Kommunikationsvorrichtung 907, und dem Gehäuse 902 kann ein Videosignal oder dergleichen zugeführt werden. Des Weiteren ist es vorzuziehen, dass die drahtlose Kommunikationsvorrichtung 907 das Kommunikationsmodul 17 beinhaltet und mit einer Datenbank kommuniziert. Es sei angemerkt, dass anstelle der drahtlosen Kommunikationsvorrichtung 907 oder zusätzlich zu der drahtlosen Kommunikationsvorrichtung 907 ein Anschluss bereitgestellt werden kann, der mit einem Kabel 910, durch das ein Videosignal oder ein Stromversorgungspotential zugeführt wird, verbunden sein kann. Das Kabel 910 kann eine Funktion als Leitung 10c aufweisen, die mit dem Gehäuse 10b verbunden ist. Außerdem kann durch Bereitstellen eines Beschleunigungssensors, eines Gyroskopsensors oder dergleichen als Sensor 25 in dem Gehäuse 902 die Orientierung des Kopfes des Benutzers erkannt werden, so dass ein Bild entsprechend der Orientierung auf dem Anzeigebereich 906 angezeigt werden kann. In dem Gehäuse 902 wird vorzugsweise die Batterie 21 bereitgestellt, wobei in diesem Fall die Batterie 21 drahtgebunden oder drahtlos aufgeladen werden kann.
  • In dem Gehäuse 902b wird eine integrierte Schaltung 908 bereitgestellt. Die integrierte Schaltung 908 beinhaltet die Steuerung 13, den Prozessor 15, den Speicher 16, den Audioregler 18 und dergleichen und weist eine Funktion zum Steuern von verschiedenen Komponenten des Informationsendgeräts 900, wie z. B. der Kamera 905, der drahtlosen Kommunikationsvorrichtung 907, dem Paar der Anzeigefelder 901, dem Mikrofon 19, dem Lautsprecher 20 und dergleichen, eine Funktion zum Erzeugen eines Bildes und dergleichen auf. Die integrierte Schaltung 908 kann eine Funktion zum Erzeugen eines kombinierten Bildes für eine AR-Anzeige aufweisen.
  • Durch die drahtlose Kommunikationsvorrichtung 907 kann eine Datenkommunikation mit einem externen Gerät durchgeführt werden. Beispielsweise können Daten, die von außen übertragen werden, an die integrierte Schaltung 908 ausgegeben werden, so dass die integrierte Schaltung 908 auf Basis der Daten Bilddaten für eine AR-Anzeige erzeugen kann. Beispiele für Daten, die von außen übertragen werden, umfassen neben Daten, die Informationen umfassen, die zum Kochen benötigt sind und von der Datenbank übertragen werden, Daten, die Informationen über das Kochen umfassen, die von verschiedenen Sensoren in dem Küchengerät übertragen werden.
  • Anschließend wird ein Verfahren zum Projizieren eines Bildes auf den Anzeigebereich 906 des Informationsendgeräts 900 anhand von 15B beschrieben. Das Anzeigefeld 901, die Linse 911 und die reflektierende Platte 912 werden in dem Gehäuse 902 bereitgestellt. Die reflektierende Oberfläche 913, die als Halbspiegel dient, wird als Abschnitt bereitgestellt, der dem Anzeigebereich 906 der optischen Komponente 903 entspricht.
  • Licht 915, das von dem Anzeigefeld 901 emittiert wird, passiert die Linse 911 und wird von der reflektierende Platte 912 in Richtung der optischen Komponente 903 reflektiert. Bei der optischen Komponente 903 wird das Licht 915 wiederholt von Oberflächen eines Endabschnitts der optischen Komponente 903 vollständig reflektiert und erreicht die reflektierende Oberfläche 913, wodurch ein Bild auf die reflektierende Oberfläche 913 projiziert wird. Folglich kann der Benutzer sowohl das Licht 915, das von der reflektierenden Oberfläche 913 reflektiert wird, als auch durchgelassenes Licht 916 sehen, das die optische Komponente 903 (einschließlich der reflektierenden Oberfläche 913) passiert. Es sei angemerkt, dass dann, wenn eine Flüssigkristallanzeige als Anzeigefeld 901 verwendet wird, vorzugsweise eine Lichtquelle, die als Hintergrundbeleuchtung dient, derart bereitgestellt wird, dass Licht von der Lichtquelle durch das Anzeigefeld 901 in die Linse 911 einfällt. Das heißt, dass ein Flüssigkristallfeld der Flüssigkristallanzeige vorzugsweise zwischen der Lichtquelle und der Linse 911 bereitgestellt wird.
  • 15B stellt ein Beispiel dar, in dem die reflektierende Platte 912 und die reflektierende Oberfläche 913 jeweils eine gekrümmte Oberfläche aufweisen. Folglich kann im Vergleich zu dem Fall, in dem die reflektierende Platte 912 und die reflektierende Oberfläche 913 flach sind, die Flexibilität beim optischen Design erhöht werden und die Dicke der optischen Komponente 903 verringert werden. Es sei angemerkt, dass die reflektierende Platte 912 und die reflektierende Oberfläche 913 flach sein können.
  • Als reflektierende Platte 912 kann eine Komponente mit einer Spiegeloberfläche verwendet werden, und die reflektierende Platte 912 weist vorzugsweise einen hohen Reflexionsgrad auf. Als reflektierende Oberfläche 913 kann ein Halbspiegel, bei dem eine Reflexion eines Metallfilms genutzt wird, verwendet werden; jedoch kann die Verwendung eines Totalreflexionsprismas oder dergleichen die Durchlässigkeit des durchgelassenen Lichts 916 erhöhen.
  • Hier weist das Gehäuse 902 vorzugsweise einen Mechanismus zum Anpassen des Abstandes und des Winkels zwischen der Linse 911 und dem Anzeigefeld 901 auf. Folglich kann der Fokus angepasst werden, und Bilder können vergrößert und verkleinert werden. Beispielsweise sind/ist die Linse 911 und/oder das Anzeigefeld 901 vorzugsweise konfiguriert, in Richtung der optischen Achse beweglich zu sein.
  • Das Gehäuse 902 weist vorzugsweise einen Mechanismus auf, der zum Anpassen des Winkels der reflektierenden Platte 912 geeignet ist. Die Position des Anzeigebereichs 906, in dem Bilder angezeigt werden, kann geändert werden, indem der Winkel der reflektierenden Platte 912 geändert wird. Daher kann der Anzeigebereich 906 entsprechend der Position des Auges des Benutzers an der optimalen Position platziert sein.
  • Die Anzeigevorrichtung einer Ausführungsform der vorliegenden Erfindung kann für das Anzeigefeld 901 verwendet werden. Daher ist das Informationsendgerät 900 zu einer Anzeige mit einer sehr hohen Auflösung geeignet.
  • Bezugszeichenliste
    • 10
    AR-Brille,
    10a
    Brillenabschnitt,
    10b
    Gehäuse,
    10c
    Leitung,
    11
    Kameramodul,
    12
    Kameramodul,
    13
    Steuerung,
    14
    Anzeigeabschnitt,
    15
    Prozessor,
    16
    Speicher,
    17
    Kommunikationsmodul,
    18
    Audioregler,
    19
    Mikrofon,
    20
    Lautsprecher,
    21
    Batterie,
    22
    Bus,
    23
    Server,
    25
    Sensor,
    26
    Computer,
    27
    Computer,
    28
    Computer,
    29
    Smartphone,
    50
    Blickfeld,
    51
    Zeiger,
    61a
    Markierung,
    61b
    Markierung,
    61c
    Markierung,
    61d
    Markierung,
    62
    Zutat,
    63
    Küchenmesser,
    64
    Geschirrtuch,
    65
    Rechteck,
    70
    Menü,
    71
    Rezept,
    72
    Text,
    73
    Text,
    75
    Richtlinie,
    76
    Zutat,
    77
    Zutat,
    60
    Schneidebrett,
    78
    Gräte,
    82
    Bildersatz,
    83
    Anfangspunkt,
    85
    neuronales Netz,
    84
    Endpunkt,
    86
    Bild,
    87
    Bild,
    88
    Anfangspunkt,
    80
    Datensatz,
    81
    Bildersatz,
    89
    Endpunkt,
    90
    Bild,
    91
    Bildersatz,
    92
    Bildersatz,
    95
    neuronales Netz,
    96
    Bild,
    97
    Bild,
    98
    Bild,
    99
    Bild,
    100
    Datensatz,
    200
    Herd,
    210
    Küchengerät,
    212
    Küchengerät,
    214
    Küchengerät,
    216
    Temperatursensor,
    220a
    Text,
    220b
    Text,
    220c
    Text,
    222a
    Rechteck,
    222b
    Rechteck,
    222c
    Rechteck,
    224a
    Text,
    224b
    Text,
    224c
    Text,
    900
    Informationsendgerät,
    901
    Anzeigefeld,
    902
    Gehäuse,
    902a
    Gehäuse,
    902b
    Gehäuse,
    903
    optische Komponente,
    904
    Halteabschnitt,
    905
    Kamera,
    906
    Anzeigebereich,
    907
    drahtlose Kommunikationsvorrichtung,
    908
    integrierte Schaltung,
    909
    Kamera,
    910
    Kabel,
    911
    Linse,
    912
    reflektierende Platte,
    913
    reflektierende Oberfläche,
    915
    Licht,
    916
    durchgelassenes Licht
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2018535491 [0007]

Claims (14)

  1. Datenverarbeitungssystem, das umfasst: eine tragbare Vorrichtung, die mit einem Anzeigemittel und einem Abbildungsmittel versehen ist; und eine Datenbank, die über ein Netzwerk mit der tragbaren Vorrichtung verbunden ist, wobei die Datenbank Informationen über ein Kochrezept und/oder ein Kochverfahren und/oder eine Zutat umfasst, wobei die tragbare Vorrichtung durch das Abbildungsmittel eine erste Zutat erfasst, wobei die tragbare Vorrichtung aus der Datenbank Informationen über die erste Zutat sammelt, wobei dann, wenn sich die erste Zutat in einem bestimmten Bereich in einem Rahmen befindet, der durch das Abbildungsmittel aufgenommen wird, die Informationen über die erste Zutat auf dem Anzeigemittel angezeigt werden, und wobei dann, wenn sich die erste Zutat in dem Bereich nicht befindet, die Informationen über die erste Zutat auf dem Anzeigemittel nicht angezeigt werden.
  2. Datenverarbeitungssystem nach Anspruch 1, wobei auf Basis des Kochrezeptes auf dem Anzeigemittel ein Kochverfahren angezeigt wird, bei dem die erste Zutat verwendet wird.
  3. Datenverarbeitungssystem nach Anspruch 1 oder 2, wobei die Informationen über die erste Zutat eine Schnittposition der ersten Zutat umfassen.
  4. Datenverarbeitungssystem nach einem der Ansprüche 1 bis 3, wobei die Informationen über die erste Zutat eine Position einer Gräte umfassen, die in der ersten Zutat enthalten ist.
  5. Datenverarbeitungssystem nach einem der Ansprüche 1 bis 4, wobei die tragbare Vorrichtung eine brillenartige tragbare Vorrichtung ist.
  6. Datenverarbeitungssystem nach einem der Ansprüche 1 bis 5, wobei die Datenbank in einem Server gespeichert wird.
  7. Datenverarbeitungssystem, das umfasst: eine tragbare Vorrichtung, die mit einem Anzeigemittel und einem Abbildungsmittel versehen ist; und ein Küchengerät, das einen Temperatursensor umfasst, wobei die tragbare Vorrichtung und der Temperatursensor über ein erstes Netzwerk miteinander verbunden sind, wobei die tragbare Vorrichtung durch das Abbildungsmittel das Küchengerät erfasst, wobei die tragbare Vorrichtung aus dem Temperatursensor Informationen über eine Temperatur innerhalb des Küchengeräts sammelt, wobei dann, wenn sich das Küchengerät in einem bestimmten Bereich in einem Rahmen befindet, der durch das Abbildungsmittel aufgenommen wird, die Informationen über die Temperatur auf dem Anzeigemittel angezeigt werden, und wobei dann, wenn sich das Küchengerät in dem Bereich nicht befindet, die Informationen über die Temperatur auf dem Anzeigemittel nicht angezeigt werden.
  8. Datenverarbeitungssystem nach Anspruch 7, das ferner eine Datenbank umfasst, wobei die Datenbank über ein zweites Netzwerk, das das erste Netzwerk umfasst, mit der tragbaren Vorrichtung und dem Temperatursensor verbunden ist, wobei die Datenbank über das zweite Netzwerk die Informationen über die Temperatur empfängt, und wobei die Datenbank aus den Informationen über die Temperatur eine Zeit berechnet, die für eine Erwärmung des Küchengeräts benötigt wird, und die Zeit auf dem Anzeigemittel anzeigt.
  9. Datenverarbeitungssystem nach Anspruch 7 oder 8, wobei die tragbare Vorrichtung eine brillenartige tragbare Vorrichtung ist.
  10. Datenverarbeitungssystem nach Anspruch 8, wobei die Datenbank in einem Server gespeichert wird.
  11. Verfahren zur Datenverarbeitung unter Verwendung einer tragbaren Vorrichtung, die mit einem Anzeigemittel und einem Abbildungsmittel versehen ist, wobei die tragbare Vorrichtung von einem Benutzer getragen wird, damit der Benutzer durch das Anzeigemittel eine Zutat oder ein Küchengerät sehen kann, und wobei das Verfahren zur Datenverarbeitung umfasst: einen Schritt zum Erfassen eines Schneidebretts, das sich in einer Blickrichtung des Benutzers befindet, durch das Abbildungsmittel; einen Schritt zum Identifizieren einer ersten Zutat auf dem Schneidebrett; einen Schritt zum Anzeigen eines Kochverfahrens auf dem Anzeigemittel; und einen Schritt, eine Schnittposition der ersten Zutat auf dem Anzeigemittel derart anzuzeigen, dass sich die Schnittposition der ersten Zutat mit der ersten Zutat in der Blickrichtung des Benutzers überlappt.
  12. Verfahren zur Datenverarbeitung nach Anspruch 11, das ferner einen Schritt umfasst, eine Position einer Fremdsubstanz, die sich an einer Oberfläche oder in einem Inneren der Zutat befindet, auf dem Anzeigemittel derart anzuzeigen, dass sich die Position der Fremdsubstanz mit der Zutat in der Blickrichtung des Benutzers überlappt.
  13. Verfahren zur Datenverarbeitung nach Anspruch 12, wobei die Fremdsubstanz eines ist, welches aus einer Gräte, einer Schuppe, einem Parasiten und einem Haar ausgewählt wird.
  14. Verfahren zur Datenverarbeitung nach einem der Ansprüche 11 bis 13, wobei die tragbare Vorrichtung eine brillenartige tragbare Vorrichtung ist.
DE112020003104.7T 2019-06-25 2020-06-12 Datenverarbeitungssystem und Verfahren zur Datenverarbeitung Pending DE112020003104T5 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019-117639 2019-06-25
JP2019117639 2019-06-25
PCT/IB2020/055509 WO2020261028A1 (ja) 2019-06-25 2020-06-12 情報処理システム、および情報処理方法

Publications (1)

Publication Number Publication Date
DE112020003104T5 true DE112020003104T5 (de) 2022-03-17

Family

ID=74060027

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112020003104.7T Pending DE112020003104T5 (de) 2019-06-25 2020-06-12 Datenverarbeitungssystem und Verfahren zur Datenverarbeitung

Country Status (6)

Country Link
US (1) US11922690B2 (de)
JP (1) JPWO2020261028A1 (de)
KR (1) KR20220025817A (de)
CN (1) CN114026592A (de)
DE (1) DE112020003104T5 (de)
WO (1) WO2020261028A1 (de)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018535491A (ja) 2016-03-25 2018-11-29 三菱電機株式会社 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323590A (ja) 2005-05-18 2006-11-30 Nippon Telegr & Teleph Corp <Ntt> レシートおよびレシート発行装置、カードおよびカード記録装置、端末装置、家計簿データ管理システム、家計簿データ管理方法、コンピュータプログラム、記録媒体
WO2006128456A1 (en) * 2005-05-31 2006-12-07 Slagteriernes Forskningsinstitut A method and facility for automatically determining quality characteristics of a carcass on a slaughterline
JP2011058782A (ja) * 2009-09-14 2011-03-24 Keio Gijuku 調理システム、この調理システムに用いられる調理器具、及び、調理システムセット
WO2015138985A1 (en) * 2014-03-14 2015-09-17 Sorenson Nicole Ann Wirelessly operable cooking appliance
WO2016079960A1 (en) * 2014-11-18 2016-05-26 Seiko Epson Corporation Image processing apparatus, control method for image processing apparatus, and computer program
JP6509686B2 (ja) * 2015-09-04 2019-05-08 株式会社東芝 電子機器及び方法
JP6444835B2 (ja) 2015-09-07 2018-12-26 株式会社東芝 画像処理装置、画像処理プログラムおよび画像処理システム
JP2017120329A (ja) 2015-12-28 2017-07-06 株式会社ブリリアントサービス 調理用ヘッドマウントディスプレイおよび調理用ヘッドマウントディスプレイのプログラム
JP2017120164A (ja) 2015-12-28 2017-07-06 株式会社ブリリアントサービス 調理調整ヘッドマウントディスプレイ、調理調整ヘッドマウントディスプレイのプログラム、および調理調整ヘッドマウントディスプレイシステム
JP6327682B1 (ja) 2017-01-30 2018-05-23 クックパッド株式会社 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP2018128979A (ja) 2017-02-10 2018-08-16 パナソニックＩｐマネジメント株式会社 厨房支援システム
KR102220949B1 (ko) * 2017-05-05 2021-03-02 유니티 아이피알 에이피에스 혼합 현실 환경에서의 콘텍스트관련 애플리케이션들
JP6856220B2 (ja) 2017-08-09 2021-04-07 株式会社ＤＳｉ 計量システム、電子秤及び電子秤用マーカー
KR20190100496A (ko) 2018-02-05 2019-08-29 충북대학교 산학협력단 요리안내 시스템 및 방법
JP7338184B2 (ja) * 2018-03-28 2023-09-05 株式会社リコー 情報処理装置、情報処理システム、移動体、情報処理方法、及びプログラム
JP7076007B2 (ja) * 2018-11-29 2022-05-26 マクセル株式会社 映像表示装置および方法
JP6692960B1 (ja) 2019-03-29 2020-05-13 株式会社エヌ・ティ・ティ・データ 調理支援システム
JPWO2020245694A1 (de) 2019-06-07 2020-12-10

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018535491A (ja) 2016-03-25 2018-11-29 三菱電機株式会社 画像のセマンティックセグメンテーションのためのシステム及びコンピューター実施方法、並びに非一時的コンピューター可読媒体

Also Published As

Publication number Publication date
WO2020261028A1 (ja) 2020-12-30
KR20220025817A (ko) 2022-03-03
JPWO2020261028A1 (de) 2020-12-30
US20220351509A1 (en) 2022-11-03
CN114026592A (zh) 2022-02-08
US11922690B2 (en) 2024-03-05

Similar Documents

Publication Publication Date Title
CN106774863B (zh) 一种基于瞳孔特征实现视线追踪的方法
CN108427503B (zh) 人眼追踪方法及人眼追踪装置
CN110944571B (zh) 用于改进眼科成像的系统和方法
CN103106401B (zh) 一种具有人机交互机制的移动终端虹膜识别装置
DE112018007721T5 (de) Aufnehmen und modifizieren von 3D-Gesichtern unter Verwendung neuronaler Bild-und Zeitverfolgungsnetze
DE68926192T2 (de) Bildaufnahmegerät
EP3103059A1 (de) 3d-bildanalysator zur blickrichtungsbestimmung
CN108875485A (zh) 一种底图录入方法、装置及系统
DE102015212806A1 (de) System und Verfahren zum Scannen von anatomischen Strukturen und zum Darstellen eines Scanergebnisses
CN108737717A (zh) 拍摄方法、装置、智能设备及存储介质
JP2006507054A (ja) 眼及びその凝視方向を検知し、追跡する方法と装置
DE112016006066T5 (de) Analyse von umgebungslicht zur blickverfolgung
Zylinski et al. Visual interpolation for contour completion by the European cuttlefish (Sepia officinalis) and its use in dynamic camouflage
CN110352033A (zh) 用眼睛追踪装置确定眼睛睁开度
DE112016002894T5 (de) Informationsverarbeitungsvorrichtung, Informationsverarbeitungsverfahren und Programm
DE102018105289A1 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm
Hudson et al. Perceptual teleology: expectations of action efficiency bias social perception
DE102020117985B4 (de) Ein alternatives verfahren zur interaktion mit einer benutzerschnittstelle unter verwendung von standard-barcodescannern gepaart mit einem augmented reality heads -up-display
DE102023206172A1 (de) Positionieren von inhalt innerhalb von 3d-umgebungen
DE112020003104T5 (de) Datenverarbeitungssystem und Verfahren zur Datenverarbeitung
DE112019007807T5 (de) Rasterbasierte Registrierung zur Gesichtsauthentifizierung
CN109933200A (zh) 基于近红外眼部图像的计算机视觉控制方法
DE102013213492A1 (de) Bildanpassung für kontaktanaloge Darstellungen auf Datenbrillen
CN113421231B (zh) 一种出血点检测方法、装置及系统
JP2012238088A (ja) 画像選択表示方法および装置