DE112017006606T5 - Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und computerprogramm - Google Patents

Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und computerprogramm Download PDF

Info

Publication number
DE112017006606T5
DE112017006606T5 DE112017006606.9T DE112017006606T DE112017006606T5 DE 112017006606 T5 DE112017006606 T5 DE 112017006606T5 DE 112017006606 T DE112017006606 T DE 112017006606T DE 112017006606 T5 DE112017006606 T5 DE 112017006606T5
Authority
DE
Germany
Prior art keywords
information
information processing
request
recognition
processing system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE112017006606.9T
Other languages
English (en)
Other versions
DE112017006606T8 (de
Inventor
Tetsuo Ikeda
Yoshiaki Kameya
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of DE112017006606T5 publication Critical patent/DE112017006606T5/de
Application granted granted Critical
Publication of DE112017006606T8 publication Critical patent/DE112017006606T8/de
Active legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Abstract

[Problemstellung] Bereitstellen einer Informationsverarbeitungsvorrichtung, die in der Lage ist, Objekte zu identifizieren, den Zustand der Objekte einzeln abzutasten und den Abtastergebnissen entsprechende Informationen bereitzustellen.
[Lösung] Es wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die mit einer Erkennungseinheit zum Abtasten eines in einer abtastbaren Region vorhandenen Objekts und einer Verarbeitungseinheit ausgestattet ist, die nach Empfangen einer Anforderung, die eine dem Objekt zugeordnete und von einer externen Vorrichtung über ein Netzwerk übertragene Kennung vorgibt, die Erkennungseinheit dazu veranlasst, das der Kennung entsprechende Objekt abzutasten, und eine Antwort auf die Anforderung auf der Basis der Abtastergebnisse an die externe Vorrichtung überträgt.

Description

  • Technisches Gebiet
  • Die vorliegende Offenbarung betrifft eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Computerprogramm.
  • Hintergrund der Technik
  • Eine Technologie zum Erkennen eines auf einem Tisch oder dergleichen platzierten Objekts und zum Projizieren einer auf das erkannte Objekt bezogenen Anwendung ist zum Beispiel in Patentliteratur 1 offenbart.
  • Zitationsliste
  • Patentliteratur
  • Patentliteratur 1: JP 2015-90524A
  • Offenbarung der Erfindung
  • Technische Problemstellung
  • Die vorliegende Offenbarung schlägt eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Computerprogramm in neuer und verbesserter Form vor, die in der Lage sind, ein auf einem Tisch oder dergleichen platziertes Objekt zu identifizieren, einen Zustand des Objekts individuell abzutasten und Informationen in Übereinstimmung mit einem Ergebnis der Abtastung bereitzustellen.
  • Lösung des Problems
  • Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungsvorrichtung bereitgestellt, einschließend: eine Erkennungseinheit, die ein in einer abtastbaren Region vorhandenes Objekt abtastet; und eine Verarbeitungseinheit, die die Erkennungseinheit dazu veranlasst, das Objekt entsprechend einer Kennung, die von einer externen Vorrichtung über ein Netzwerk übertragen wird und die dem Objekt zugeordnet wird, als Reaktion auf Empfang einer Anforderung, die die Kennung bezeichnet, abzutasten, und auf der Basis eines Ergebnisses der Abtastung eine Antwort auf die Anforderung an die externe Vorrichtung überträgt.
  • Außerdem wird gemäß der vorliegenden Offenbarung ein Informationsverarbeitungsverfahren bereitgestellt, einschließend, durch Prozessor,: Abtasten eines in einer abtastbaren Region vorhandenen Objekts; und Veranlassen, dass das Objekt entsprechend einer Kennung, die von einer externen Vorrichtung über ein Netzwerk übertragen wird und die dem Objekt zugeordnet wird, als Reaktion auf Empfang einer Anforderung, die die Kennung bezeichnet, abgetastet wird, und Übertragen einer Antwort auf die Anforderung an die externe Vorrichtung auf der Basis eines Ergebnisses der Abtastung.
  • Außerdem wird gemäß der vorliegenden Offenbarung ein Computerprogramm bereitgestellt, das einen Computer veranlasst, Folgendes auszuführen: Abtasten eines in einer abtastbaren Region vorhandenen Objekts; und Veranlassen, dass das Objekt entsprechend einer Kennung, die von einer externen Vorrichtung über ein Netzwerk übertragen wird und die dem Objekt zugeordnet wird, als Reaktion auf Empfang einer Anforderung, die die Kennung bezeichnet, abgetastet wird, und Übertragen einer Antwort auf die Anforderung an die externe Vorrichtung auf der Basis eines Ergebnisses der Abtastung.
  • Vorteilhafte Effekte der Erfindung
  • Gemäß der Offenbarung ist es möglich, eine Informationsverarbeitungsvorrichtung, ein Informationsverarbeitungsverfahren und ein Computerprogramm in neuartiger und verbesserter Form bereitzustellen, die in der Lage sind, ein auf einem Tisch oder dergleichen platziertes Objekt zu identifizieren, einen Zustand des Objekts individuell abzutasten und Informationen in Übereinstimmung mit einem Ergebnis der Abtastung bereitzustellen, wie oben beschrieben.
  • Es wird darauf hingewiesen, dass die oben beschriebenen Effekte nicht notwendigerweise einschränkend sind. Mit oder anstelle der obigen Effekte können ein beliebiger der in dieser Spezifikation beschriebenen Effekte oder andere Effekte, die aus dieser Spezifikation verstanden werden können, erreicht werden.
  • Figurenliste
    • 1 ist ein erklärendes Diagramm, das ein Konfigurationsbeispiel eines Informationsverarbeitungssystems gemäß einer Ausführungsform der Offenbarung veranschaulicht.
    • 2 veranschaulicht ein weiteres Konfigurationsbeispiel des Informationsverarbeitungssystems gemäß der Ausführungsform.
    • 3 veranschaulicht ein weiteres Konfigurationsbeispiel des Informationsverarbeitungssystems gemäß der Ausführungsform.
    • 4 veranschaulicht ein weiteres Konfigurationsbeispiel des Informationsverarbeitungssystems gemäß der Ausführungsform.
    • 5 ist ein erklärendes Diagramm, das ein funktionales Konfigurationsbeispiel eines Informationsverarbeitungssystems 100 gemäß der Ausführungsform veranschaulicht.
    • 6A ist ein erklärendes Diagramm, das eine Technologie zum Erkennen von Fingern und eines Objekts veranschaulicht.
    • 6B ist ein erklärendes Diagramm, das eine Technologie zum Erkennen von Fingern und eines Objekts veranschaulicht.
    • 6C ist ein erklärendes Diagramm, das eine Technologie zum Erkennen von Fingern und eines Objekts veranschaulicht.
    • 7A ist ein erklärendes Diagramm, das ein Beispiel für eine Situation, in der Finger und ein Objekt während Erkennung platziert werden, veranschaulicht.
    • 7B ist ein erklärendes Diagramm, das ein Beispiel für eine Situation, in der Finger und ein Objekt während Erkennung platziert werden, veranschaulicht.
    • 7C ist ein erklärendes Diagramm, das ein Beispiel für eine Situation, in der Finger und ein Objekt während Erkennung platziert werden, veranschaulicht.
    • 8 ist ein Ablaufdiagramm, das ein Betriebsbeispiel einer Fingererkennungseinheit 210 gemäß der Ausführungsform veranschaulicht.
    • 9 ist ein schematisches Diagramm, bei dem ein Abstand von einem Objekt zu jedem Finger berechnet wird.
    • 10 ist ein Ablaufdiagramm, das ein Betriebsbeispiel einer Objektinformationssteuereinheit 200 gemäß der Ausführungsform veranschaulicht.
    • 11 ist ein Ablaufdiagramm, das ein Betriebsbeispiel einer Objektinformationssteuereinheit 200 gemäß der Ausführungsform veranschaulicht.
    • 12 ist ein Ablaufdiagramm, das ein Betriebsbeispiel einer Objektinformationssteuereinheit 200 gemäß der Ausführungsform veranschaulicht.
    • 13 ist ein Ablaufdiagramm, das ein Betriebsbeispiel einer Objektinformationssteuereinheit 200 gemäß der Ausführungsform veranschaulicht.
    • 14 ist ein Ablaufdiagramm, das ein Betriebsbeispiel einer Objektinformationssteuereinheit 200 gemäß der Ausführungsform veranschaulicht.
    • 15 ist ein Ablaufdiagramm, das ein Betriebsbeispiel einer Objektinformationssteuereinheit 200 gemäß der Ausführungsform veranschaulicht.
    • 16 ist ein Ablaufdiagramm, das ein Betriebsbeispiel einer Objektinformationssteuereinheit 200 gemäß der Ausführungsform veranschaulicht.
    • 17 ist ein Ablaufdiagramm, das ein Betriebsbeispiel einer Objektinformationssteuereinheit 200 gemäß der Ausführungsform veranschaulicht.
    • 18 ist ein Ablaufdiagramm, das ein Betriebsbeispiel einer Objektinformationssteuereinheit 200 gemäß der Ausführungsform veranschaulicht.
    • 19A ist ein erklärendes Diagramm zum Erläutern von Operationen, wenn ein unbekanntes Objekt in einer abtastbaren Region erscheint.
    • 19B ist ein erklärendes Diagramm zum Erläutern von Operationen, wenn ein unbekanntes Objekt in einer abtastbaren Region erscheint.
    • 19C ist ein erklärendes Diagramm zum Erläutern von Operationen, wenn ein unbekanntes Objekt in einer abtastbaren Region erscheint.
    • 20A ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 20B ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 20C ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 20D ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 21A ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 21B ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 21C ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 21D ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 22A ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 22B ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 22C ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 22D ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 22E ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 22F ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 23A ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 23B ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 23C ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 23D ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 24A ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 24B ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 24C ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 24D ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 24E ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 24F ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 25A ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 25B ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 25C ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 25D ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 26A ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 26B ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 26C ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 26D ist ein erklärendes Diagramm zum Erläutern von Operationen in einem Fall, in dem ein Objekt veranlasst wird, sich in der abtastbaren Region zu bewegen.
    • 27 ist ein erklärendes Diagramm, das ein Konfigurationsbeispiel eines Kommunikationssystems unter Verwendung des Informationsverarbeitungssystems 100 gemäß der Ausführungsform veranschaulicht.
    • 28 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Objektinformationssteuereinheit 200 gemäß der Ausführungsform veranschaulicht.
    • 29 ist ein Ablaufdiagramm, das ein Betriebsbeispiel des Informationsverarbeitungssystems 100 und eines PC 800 veranschaulicht.
    • 30A ist ein erklärendes Diagramm, das vom Informationsverarbeitungssystem 100 durchgeführtes Abtasten eines Objekts veranschaulicht.
    • 30B ist ein erklärendes Diagramm, das ein Beispiel einer vom Informationsverarbeitungssystem 100 durchgeführten Informationsprojektion Objekts veranschaulicht.
    • 31 ist ein Ablaufdiagramm, das ein Betriebsbeispiel des Informationsverarbeitungssystems 100 und des PC 800 veranschaulicht.
    • 32 ist ein erklärendes Diagramm, das ein Beispiel eines im Betriebsbeispiel in 31 abgetasteten Objekts veranschaulicht.
    • 33 ist ein Ablaufdiagramm, das ein Betriebsbeispiel des Informationsverarbeitungssystems 100 und des PC 800 veranschaulicht.
    • 34 ist ein erklärendes Diagramm, das ein Beispiel eines im Betriebsbeispiel in 33 abgetasteten Objekts veranschaulicht.
    • 35 ist ein Diagramm, das einen Zustand veranschaulicht, in dem ein vorbestimmtes Muster auf ein in der Nähe eines Tellers platziertes Weinglas projiziert wird.
    • 36 ist ein Diagramm, das einen Zustand veranschaulicht, in dem ein vorbestimmtes Muster auf ein in der Nähe eines Tellers platziertes Bierglas projiziert wird.
    • 37 ist ein Ablaufdiagramm, das ein Betriebsbeispiel des Informationsverarbeitungssystems 100 und des PC 800 veranschaulicht.
    • 38 ist ein erklärendes Diagramm, das ein Beispiel eines im Betriebsbeispiel in 37 abgetasteten Objekts veranschaulicht.
    • 39 ist ein erklärendes Diagramm, das einen Zustand veranschaulicht, in dem ein vorbestimmtes Muster in die Umgebung eines vom Informationsverarbeitungssystem 100 abgetasteten Objekts projiziert wird.
    • 40 ist ein Ablaufdiagramm, das ein Betriebsbeispiel des Informationsverarbeitungssystems 100 gemäß der Ausführungsform veranschaulicht.
    • 41 ist ein erklärendes Diagramm, das ein Beispiel eines vom Informationsverarbeitungssystem 100 projizierten Musters veranschaulicht.
    • 42 ist ein erklärendes Diagramm, das ein Beispiel eines vom Informationsverarbeitungssystem 100 projizierten Musters veranschaulicht.
    • 43 ist ein erklärendes Diagramm, das ein Beispiel eines vom Informationsverarbeitungssystem 100 projizierten Musters veranschaulicht.
    • 44 ist ein erklärendes Diagramm, das ein Hardwarekonfigurationsbeispiel veranschaulicht.
  • Modus (Modi) zum Ausführen der Erfindung
  • Im Folgenden wird eine bevorzugte Ausführungsform (werden bevorzugte Ausführungsformen) der vorliegenden Offenbarung im Detail unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Es wird darauf hingewiesen, dass in dieser Spezifikation und in den beigefügten Zeichnungen strukturelle Elemente, die im Wesentlichen die gleiche Funktion und Struktur aufweisen, mit denselben Bezugszahlen gekennzeichnet sind, und auf wiederholte Erläuterung dieser strukturellen Elemente verzichtet wird.
  • Es wird darauf hingewiesen, dass die Beschreibung in der folgenden Reihenfolge dargeboten wird.
    1. 1. Ausführungsform der Offenbarung
      • 1.1. Systemkonfigurationsbeispiel
      • 1.2. Funktionales Konfigurationsbeispiel
      • 1.3. Betriebsbeispiel
    2. 2. Hardwarekonfigurationsbeispiel
    3. 3. Schlussfolgerung
  • <Ausführungsform der Offenbarung>
  • [Systemkonfigurationsbeispiel]
  • Zunächst wird ein Konfigurationsbeispiel eines Informationsverarbeitungssystems gemäß einer Ausführungsform der Offenbarung beschrieben.
  • 1 ist ein erklärendes Diagramm, das ein Konfigurationsbeispiel eines Informationsverarbeitungssystems gemäß einer Ausführungsform der Offenbarung veranschaulicht. Es wird darauf hingewiesen, dass in der Spezifikation das System eine Konfiguration bedeuten kann, die eine vorbestimmte Verarbeitung ausführt, und das gesamte System als eine Vorrichtung betrachtet werden kann, oder es auch möglich ist, sich vorzustellen, dass das System eine Vielzahl von Vorrichtungen einschließt. Es ist nur erforderlich, dass das Informationsverarbeitungssystem gemäß der in 1 veranschaulichten Ausführungsform dazu konfiguriert ist, eine vorbestimmte Verarbeitung als ein Ganzes ausführen zu können, und welcher Bestandteil im Informationsverarbeitungssystem als eine einzelne Vorrichtung zu betrachten ist, kann willkürlich entschieden werden.
  • Unter Bezugnahme auf 1 schließt ein Informationsverarbeitungssystem 100a gemäß einer Ausführungsform der Offenbarung eine Eingabeeinheit 110a und eine Ausgabeeinheit 130a ein.
  • Die Ausgabeeinheit 130a stellt einem Benutzer eine visuelle Benachrichtigung verschiedener Arten von Informationen durch Anzeigen der Informationen auf einem Tisch 140a bereit. Als Ausgabeeinheit 130a wird zum Beispiel ein Projektor verwendet. Wie in der Zeichnung veranschaulicht, ist die Ausgabeeinheit 130a über dem Tisch 140a in einem vorbestimmten Abstand zum Tisch 140a in einem Zustand angeordnet, in dem die Ausgabeeinheit 130a zum Beispiel an einer Decke aufgehängt ist und Informationen auf eine Oberfläche des Tisches 140a projiziert. Ein derartiges Schema zum Anzeigen von Informationen auf der Oberfläche des Tisches 140a von oben wird auch als „Projektionstyp“ bezeichnet.
  • Es wird darauf hingewiesen, dass in der folgenden Beschreibung eine ganze Region, in der die Informationen von der Ausgabeeinheit 130a angezeigt werden, auch als ein Bildschirm bezeichnet wird. Die Ausgabeeinheit 130a zeigt zum Beispiel auf dem Bildschirm Informationen an, die dem Benutzer als Reaktion auf Ausführung einer Anwendung durch das Informationsverarbeitungssystem 100a präsentiert werden sollen. Die anzuzeigenden Informationen sind zum Beispiel ein Bedienbildschirm für jede Anwendung. Im Folgenden wird jede Anzeigeregion auf dem Bildschirm, in dem ein solcher Bedienbildschirm für eine Anwendung angezeigt wird, auch als ein Fenster bezeichnet. Außerdem zeigt die Ausgabeeinheit 130a sogenannte Komponenten (Widgets) einer grafischen Benutzeroberfläche (Graphical User Interface, GUI) an, die verschiedene Benutzeroperationen, wie z. B. Auswahl und Eingabe über eine Schaltfläche, einen Schieberegler, ein Kontrollkästchen, ein Textfeld und eine Tastatur, auf dem Bildschirm, zum Beispiel, empfangen. Obwohl es möglich ist, das Fenster als eine der GUI-Komponenten zu betrachten, wird das Fenster nicht zu den GUI-Komponenten gezählt, und andere Anzeigeelemente als das Fenster werden in dieser Spezifikation zur Vereinfachung als GUI-Komponenten bezeichnet, um das Fenster von den anderen GUI-Komponenten zu unterscheiden.
  • Hier, in einem Fall, in dem es sich beim Informationsverarbeitungssystem 100a um einen Projektionstyp handelt, kann die Ausgabeeinheit 130a eine Beleuchtungsvorrichtung einschließen. In einem Fall, in dem eine Beleuchtungsvorrichtung in der Ausgabeeinheit 130a eingeschlossen ist, kann das Informationsverarbeitungssystem 100a einen Zustand der Beleuchtungsvorrichtung, wie z. B. EIN und AUS, auf der Basis des Inhalts der durch die Eingabeeinheit 110a eingegebenen Informationen und/oder des Inhalts der durch die Ausgabeeinheit 130a angezeigten Informationen steuern.
  • Die Ausgabeeinheit 130a kann auch einen Lautsprecher einschließen und verschiedene Arten von Informationen als Ton ausgeben. In einem Fall, in dem die Ausgabeeinheit 130a als ein Lautsprecher ausgebildet ist, kann die Anzahl der Lautsprecher eins sein, oder es können mehrere Lautsprecher bereitgestellt werden. In einem Fall, in dem die Ausgabeeinheit 130a mehrere Lautsprecher einschließt, kann das Informationsverarbeitungssystem 100a die Lautsprecher begrenzen, die Ton ausgeben, oder kann eine Richtung einstellen, in der der Ton ausgegeben wird.
  • Die Eingabeeinheit 110a ist eine Vorrichtung, die den Inhalt einer vom Benutzer, der das Informationsverarbeitungssystem 100a verwendet, durchgeführten Operation eingibt. Im in 1 dargestellten Beispiel schließt die Eingabeeinheit 110a einen Sensor und dergleichen ein und ist über dem Tisch 140a in einem Zustand bereitgestellt, in dem die Eingabeeinheit 110a zum Beispiel an der Decke aufgehängt ist. Auf diese Weise wird die Eingabeeinheit 110a vom Tisch 140a entfernt bereitgestellt, der ein Ziel ist, auf dem Informationen angezeigt werden. Die Eingabeeinheit 110a kann eine Abbildungsvorrichtung einschließen, die in der Lage ist, die Oberfläche des Tisches 140a, das heißt den Bildschirm, abzubilden. Als die Eingabeeinheit 110a kann zum Beispiel eine Kamera, die den Tisch 140a mit einem Objektiv abbildet, eine Stereokamera, die den Tisch 140a mit zwei Objektiven abbilden und Informationen in perspektivischer Richtung aufzeichnen kann, oder dergleichen verwendet werden. In einem Fall, in dem es sich bei der Eingabeeinheit 110a um eine Stereokamera handelt, kann eine Kamera für sichtbares Licht, eine Infrarotkamera oder dergleichen verwendet werden.
  • In einem Fall, in dem eine Kamera, die den Tisch 140a mit einem Objektiv abbildet, als die Eingabeeinheit 110a verwendet wird, kann das Informationsverarbeitungssystem 100a die Position eines vorhandenen physischen Objekts erkennen, zum Beispiel die Hand eines Benutzers, die sich auf dem Tisch 140a befindet, indem es ein von der Kamera aufgenommenes Bild (erfasstes Bild) analysiert. In einem Fall, in dem eine Stereokamera als die Eingabeeinheit 110a verwendet wird, kann das Informationsverarbeitungssystem 100a zusätzlich zu den Positionsinformationen des Objekts durch Analysieren eines von der Stereokamera aufgenommenen Bilds auch Tiefeninformationen eines auf dem Tisch 140a befindlichen Objekts erfassen. Das Informationsverarbeitungssystem 100a kann auf der Basis der Tiefeninformation den Kontakt oder die Annäherung der Hand des Benutzers relativ zum Tisch 140a in einer Höhenrichtung und Trennung der Hand vom Tisch 140a erkennen. Es wird darauf hingewiesen, dass in der folgenden Beschreibung die Aktion des Benutzers, ein Bedienelement, wie z. B. seine Hand, mit den Informationen auf dem Bildschirm in Kontakt zu bringen oder das Bedienobjekt zu veranlassen, sich den Informationen auf dem Bildschirm zu nähern, auch einfach und gemeinsam als „Kontakt“ bezeichnet wird.
  • In der Ausführungsform wird die Position des Bedienobjekts, zum Beispiel die Hand des Benutzers auf dem Bildschirm (d. h. auf der Oberfläche des Tisches 140a), auf der Basis des von der Eingabeeinheit 110a erfassten Bilds erkannt, und verschiedene Arten von Informationen werden auf der Basis der erkannten Position des Bedienobjekts eingegeben. Das heißt, der Benutzer kann verschiedene Operationen eingeben, indem er das Bedienobjekt auf dem Bildschirm bewegt. Zum Beispiel kann eine Operation in das Fenster oder eine andere GUI-Komponente eingegeben werden, indem Kontakt der Hand des Benutzers mit dem Fenster oder einer anderen GUI-Komponente erkannt wird. Obwohl ein Fall, in dem die Hand des Benutzers als das Bedienobjekt verwendet wird, nachfolgend als ein Beispiel beschrieben wird, wird darauf hingewiesen, dass die Ausführungsform nicht auf ein derartiges Beispiel beschränkt ist, und verschiedene Bedienobjekte, wie z. B. ein Stift oder ein Roboterarm, als das Bedienobjekt verwendet werden können. Es wird darauf hingewiesen, dass angenommen wird, dass es sich beim Bedienobjekt um ein solches handelt, das nicht nur eine Operation in eine GUI-Komponente eingeben, sondern auch bewirken kann, dass ein auf dem Tisch 140a oder dergleichen platziertes Objekt bewegt wird.
  • Ebenso kann die Eingabeeinheit 110a in einem Fall, in dem die Eingabeeinheit 110a eine Abbildungsvorrichtung einschließt, nicht nur die Oberfläche des Tisches 140a, sondern auch einen Benutzer abbilden, der sich in der Umgebung des Tisches 140a befindet. Zum Beispiel kann das Informationsverarbeitungssystem 100a die Position eines Benutzers in der Umgebung des Tisches 140a auf der Basis des erfassten Bilds erkennen. Das Informationsverarbeitungssystem 100a kann auch eine individuelle Erkennung für den Benutzer durchführen, indem Objektmerkmale extrahiert werden, mit denen einzelne Benutzer identifiziert werden können, wie z. B. eine Größe des Gesichts oder Objekts eines Benutzers, das im erfassten Bild eingeschlossen ist.
  • Hier ist die Ausführungsform nicht auf ein solches Beispiel beschränkt, und die Bedieneingabe des Benutzers kann durch ein anderes Verfahren ausgeführt werden. Zum Beispiel kann die Eingabeeinheit 110a als ein Touchpanel an der Oberfläche des Tisches 140a bereitgestellt sein, und die Bedieneingabe des Benutzers kann durch Kontakt des Fingers oder dergleichen eines Benutzers mit dem Touchpanel erkannt werden. Außerdem kann die Bedieneingabe des Benutzers über eine in Bezug auf die Abbildungsvorrichtung, die die Eingabeeinheit 110a bildet, durchgeführte Geste erkannt werden. Alternativ kann die Eingabeeinheit 110a eine Toneingabevorrichtung wie z. B. ein Mikrofon einschließen, das vom Benutzer erzeugte Sprache oder Geräusche aus der Umgebung sammelt. Als Toneingabevorrichtung kann eine Mikrofonanordnung zum Sammeln von Ton in einer bestimmten Richtung zweckmäßig verwendet werden. Zusätzlich kann die Mikrofonanordnung so konfiguriert werden, dass die Schallsammelrichtung auf eine beliebige Richtung eingestellt werden kann. In einem Fall, in dem eine Toneingabevorrichtung als die Eingabeeinheit 110a verwendet wird, kann eine Operation über den gesammelten Ton eingegeben werden. Das Informationsverarbeitungssystem 100a kann auch eine Person auf der Basis des Tons erkennen, indem es den gesammelten Ton analysiert. Alternativ kann die Eingabeeinheit 110a eine Fernbedienungsvorrichtung (eine sogenannte Fernbedienung) einschließen. Die Fernbedienung kann so konfiguriert werden, dass ein vorbestimmter Befehl durch Betätigen einer vorbestimmten, an der Fernbedienung vorgesehenen Taste eingegeben wird, oder sie kann so konfiguriert werden, dass ein vorbestimmter Befehl mittels einer Operation des Bewegens der Fernbedienung durch den Benutzer eingegeben wird, indem Bewegung und eine Haltung der Fernbedienung mit einem Sensor, wie z. B. einem auf der Fernbedienung montierten Beschleunigungssensor oder Gyrosensor, erkannt werden. Ferner kann das Informationsverarbeitungssystem 100a andere Eingabevorrichtungen, wie z. B. eine Maus, eine Tastatur, eine Taste, einen Schalter und einen Hebel, die in der Zeichnung nicht dargestellt sind, als die Eingabeeinheit 110a einschließen, und die Operationen des Benutzers können über solche Eingabevorrichtungen eingegeben werden.
  • Die Konfiguration des Informationsverarbeitungssystems 100a gemäß der Ausführungsform wurde oben unter Bezugnahme auf 1 beschrieben. Es wird darauf hingewiesen, dass, obwohl nicht in 1 dargestellt, andere Vorrichtungen an das Informationsverarbeitungssystem 100a angeschlossen werden können. Zum Beispiel kann eine Beleuchtungsvorrichtung zum Beleuchten des Tisches 140a an das Informationsverarbeitungssystem 100a angeschlossen werden. Das Informationsverarbeitungssystem 100a kann einen EIN-Zustand der Beleuchtungsvorrichtung gemäß einem Zustand des Bildschirms steuern.
  • Hier ist die Konfiguration des Informationsverarbeitungssystems nicht auf die in 1 in der Ausführungsform veranschaulichte Konfiguration beschränkt. Das Informationsverarbeitungssystem gemäß der Ausführungsform muss nur die Ausgabeeinheit, die verschiedene Arten von Informationen auf dem Bildschirm anzeigt, und die Eingabeeinheit, die wenigstens eine auf den angezeigten Informationen durchgeführte Bedieneingabe empfangen kann, einschließen, und eine spezielle Konfiguration davon ist nicht eingeschränkt. Unter Bezugnahme auf 2 bis 4 werden weitere Konfigurationsbeispiele des Informationsverarbeitungssystem gemäß der Ausführungsform beschrieben. 2 bis 4 sind Diagramme, die weitere Konfigurationsbeispiele des Informationsverarbeitungssystem gemäß der Ausführungsform veranschaulichen.
  • In einem in 2 veranschaulichten Informationsverarbeitungssystem 100b ist eine Ausgabeeinheit 130a unter einem Tisch 140b bereitgestellt. Die Ausgabeeinheit 130a kann zum Beispiel ein Projektor sein, der Informationen von der Unterseite zur Oberseite des Tisches 140b projiziert. Die Oberseite des Tisches 140b schließt ein transparentes Material ein, wie z. B. eine Glasplatte oder eine transparente Kunststoffplatte, zum Beispiel, und von der Ausgabeeinheit 130a projizierte Informationen werden an der Oberfläche des Tisches 140b angezeigt. Ein derartiges Schema zum Projizieren von Informationen von der Seite unterhalb des Tisches 140b zur Ausgabeeinheit 130a und zum Anzeigen von Informationen an der Oberfläche des Tisches 140b wird auch als „Rückprojektionstyp“ bezeichnet.
  • Im in 2 veranschaulichten Beispiel ist eine Eingabeeinheit 110b auf der Oberfläche (Vorderfläche) des Tisches 140b bereitgestellt. Die Eingabeeinheit 110b schließt zum Beispiel ein Touchpanel ein, und ein Benutzer gibt eine Operation durch Kontakt eines Bedienobjekts mit dem Bildschirm an der Oberfläche des Tisches 140b, der vom Touchpanel erkannt wird, ein. Es wird darauf hingewiesen, dass die Konfiguration der Eingabeeinheit 110b nicht auf ein derartiges Beispiel beschränkt ist, und die Eingabeeinheit 110b vom Tisch 140b entfernt, unter dem Tisch 140b, ähnlich wie beim in 1 veranschaulichten Informationsverarbeitungssystem 100a, bereitgestellt werden kann. In diesem Fall kann die Eingabeeinheit 110b zum Beispiel eine Abbildungsvorrichtung einschließen und kann die Position des Bedienobjekts auf der Oberfläche des Tisches 140b durch die das transparente Material einschließende Oberseite erkennen. In diesem Fall ist die Eingabeeinheit 110b auch mit einem Sensor konfiguriert, der die Länge eines Schattens und das Gewicht abtasten und das Gewicht und die Größe des auf einer Oberfläche des Tisches 140b platzierten Objekts abtasten kann.
  • Im in 3 veranschaulichten Informationsverarbeitungssystem 100c ist ein Touchpanel-Display auf dem Tisch in einem Zustand montiert, in dem dessen Anzeigefläche nach oben gerichtet ist. Im Informationsverarbeitungssystem 100c können die Eingabeeinheit 110c und die Ausgabeeinheit 130c integral als ein Display vom Touchpanel-Typ ausgebildet sein. Das heißt, der Benutzer gibt eine Operation durch verschiedene Arten von Informationen, die auf dem Bildschirm des Displays angezeigt werden, und Kontakt des Bedienobjekts mit dem Bildschirm des Displays, der durch das Touchpanel erkannt wird, ein. Es wird darauf hingewiesen, dass die Abbildungsvorrichtung auch als die Eingabeeinheit 110c über dem Touchpanel-Display im Informationsverarbeitungssystem 100c ähnlich wie beim in 1 veranschaulichten Informationsverarbeitungssystem 100a bereitgestellt werden kann. Die Position oder dergleichen des Benutzers in der Umgebung des Tisches kann von der Abbildungsvorrichtung erkannt werden. Die Eingabeeinheit 110c ist auch mit einem Sensor (In-Cell-Sensor) konfiguriert, der die Länge eines Schattens und das Gewicht abtasten und das Gewicht und die Größe eines auf einer Ausgabeeinheit 130c platzierten Objekts abtasten kann.
  • Ein in 4 veranschaulichtes Informationsverarbeitungssystem 100d schließt ein Flachdisplay ein. Im Informationsverarbeitungssystem 100d ist die Ausgabeeinheit 130d als ein Flachdisplay ausgebildet, und verschiedene Arten von Informationen werden auf einem Bildschirm des Displays angezeigt. Eine Eingabeeinheit schließt Eingabevorrichtungen, wie z. B. eine Maus, eine Tastatur und ein Touchpad, die in der Zeichnung nicht dargestellt sind, ein, und der Benutzer gibt eine Operation durch Betätigen eines Zeigers auf dem Bildschirm unter Verwendung dieser Eingabevorrichtungen ein. Es wird darauf hingewiesen, dass die Eingabeeinheit im Informationsverarbeitungssystem 100d ein auf dem Flachdisplay bereitgestelltes Touchpanel einschließen kann, und der Benutzer eine Operation über das Touchpanel eingeben kann, ähnlich wie beim in 3 veranschaulichten Informationsverarbeitungssystem 100c. Die Eingabeeinheit kann auch eine Abbildungsvorrichtung einschließen, die eine Region abbilden kann, die der Anzeigeoberfläche des Flachdisplays zugewandt ist. Die Position und dergleichen des Benutzers, der das Flachdisplay betrachtet, kann mithilfe der Abbildungsvorrichtung erkannt werden.
  • Andere Konfigurationen des Informationsverarbeitungssystems gemäß der Ausführungsform wurden oben unter Bezugnahme auf 2 bis 4 beschrieben. Wie oben beschrieben kann das Informationsverarbeitungssystem gemäß der Ausführungsform in einer Vielzahl von Konfigurationen realisiert werden. Im Folgenden wird die Ausführungsform anhand einer beispielhaften Konfiguration des Informationsverarbeitungssystems 100a beschrieben, bei der die Eingabeeinheit 110a und die Ausgabeeinheit 130a über dem Tisch 140a bereitgestellt sind, wie in 1 veranschaulicht. Eine andere Konfiguration, mit der das Informationsverarbeitungssystem gemäß der Ausführungsform realisiert werden kann, wie z. B. die zuvor erwähnten, in 2 bis 4 veranschaulichten Konfigurationen, kann jedoch auch Funktionen realisieren, die den nachfolgend beschriebenen ähnlich sind. In der folgenden Beschreibung werden das Informationsverarbeitungssystem 100a, die Eingabeeinheit 110a und die Ausgabeeinheit 130a zur Vereinfachung nur als ein Informationsverarbeitungssystem 100, eine Eingabeeinheit 110 und eine Ausgabeeinheit 130 bezeichnet.
  • Die Konfigurationsbeispiele des Informationsverarbeitungssystems 100 gemäß der Ausführungsform der Offenbarung wurden oben beschrieben. Anschließend werden funktionale Konfigurationsbeispiele des Informationsverarbeitungssystems 100 gemäß der Ausführungsform der Offenbarung beschrieben.
  • [Funktionales Konfigurationsbeispiel]
  • 5 ist ein erklärendes Diagramm, das ein funktionales Konfigurationsbeispiel des Informationsverarbeitungssystems 100 gemäß der Ausführungsform der Offenbarung veranschaulicht. Im Folgenden wird eine funktionale Konfiguration des Informationsverarbeitungssystems 100 gemäß der Ausführungsform der Offenbarung unter Bezugnahme auf 5 beschrieben.
  • Wie in 5 veranschaulicht, schließt das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung die Eingabeeinheit 110, eine Grafikanzeigeverarbeitungseinheit 120, die Ausgabeeinheit 130 und eine Objektinformationssteuereinheit 200 ein.
  • Die Eingabeeinheit 110 ist eine Eingabeschnittstelle zum Eingeben verschiedener Arten von Informationen in das Informationsverarbeitungssystem 100. Über die Eingabeeinheit 110 kann der Benutzer verschiedene Arten von Informationen in das Informationsverarbeitungssystem 100 eingeben. In der Ausführungsform ist die Eingabeeinheit 110 dazu konfiguriert, wenigstens eine Benutzerbedieneingabe zum von der Ausgabeeinheit 130 generierten Bildschirm empfangen zu können. Die Eingabeeinheit 110 schließt zum Beispiel eine Abbildungsvorrichtung mit einem Bildsensor ein und erfasst ein aufgenommenes Bild einschließlich eines Bedienobjekts, wie z. B. der Hand eines Benutzers, auf dem Bildschirm. Außerdem kann die Eingabeeinheit 110 zum Beispiel mit einer Stereokamera und einem Tiefensensor konfiguriert und in der Lage sein, dreidimensionale Informationen eines Flugzeitschemas, eines strukturierten Lichtschemas oder dergleichen zu übernehmen. Über die Eingabeeinheit 110 eingegebene Informationen (zum Beispiel Informationen oder dergleichen bezüglich des erfassten Bilds) werden der Objektinformationssteuereinheit 200 bereitgestellt, die später beschrieben wird, und die Benutzerbedieneingabe wird von der Objektinformationssteuereinheit 200 erkannt. Es wird darauf hingewiesen, dass die Ausführungsform nicht auf ein derartiges Beispiel beschränkt ist, und die Eingabeeinheit 110 kann andere Eingabevorrichtungen wie z. B. ein Touchpanel, eine Maus, eine Tastatur, ein Mikrofon, eine Taste, einen Schalter und einen Hebel einschließen.
  • Die Grafikanzeigeverarbeitungseinheit 120 führt Verarbeitung von auf der Ausgabeeinheit 130 anzuzeigenden Grafiken auf der Basis der Benutzerbedieneingabe, die die Eingabeeinheit 110 empfängt, durch. Die Grafikanzeigeverarbeitungseinheit 120 führt zum Beispiel eine Zeichensteuerung einer Vielzahl von Inhalten in einem Fenster oder dergleichen durch, das eine Anwendung, Bereitstellung eines Ereignisses, wie z. B. eine Benutzerbedieneingabe zu jedem Inhalt, und dergleichen anzeigt. In der Ausführungsform stellt die Grafikanzeigeverarbeitungseinheit 120 den Inhalt der von der Eingabeeinheit 110 empfangenen Benutzerbedieneingabe der Objektinformationssteuereinheit 200 bereit. Dann empfängt die Grafikanzeigeverarbeitungseinheit 120 den Inhalt der von der Objektinformationssteuereinheit 200 durchgeführten Verarbeitung und führt basierend auf dem Inhalt Grafikverarbeitung aus. Die Grafikanzeigeverarbeitungseinheit 120 kann zum Beispiel eine Bildverarbeitungsschaltung einschließen.
  • Die Ausgabeeinheit 130 ist eine Ausgabeschnittstelle zum Bereitstellen einer Benachrichtigung des Benutzers über verschiedene Arten von vom Informationsverarbeitungssystem 100 verarbeiteten Informationen. Die Ausgabeeinheit 130 schließt eine Anzeigevorrichtung, wie z. B. ein Display oder einen Projektor, ein und zeigt verschiedene Arten von Informationen unter Steuerung von der später beschriebenen Objektinformationssteuereinheit 200 auf dem Bildschirm an. Die Ausgabeeinheit 130 zeigt das Fenster und die GUI-Komponenten wie oben beschrieben auf dem Bildschirm an. Das Fenster, die GUI-Komponenten und dergleichen, die auf der Ausgabeeinheit 130 angezeigt werden, werden auch als „Anzeigeobjekte“ bezeichnet. Es wird darauf hingewiesen, dass die Ausführungsform nicht auf ein derartiges Beispiel beschränkt ist, und die Ausgabeeinheit 130 kann ferner eine Tonausgabevorrichtung, wie z. B. einen Lautsprecher, einschließen und verschiedene Arten von Informationen durch Ton ausgeben.
  • Die Objektinformationssteuereinheit 200 führt verschiedene Arten von Verarbeitung auf der Basis einer von der Eingabeeinheit 110 empfangenen Benutzerbedieneingabe aus. In der Ausführungsform führt die Objektinformationssteuereinheit 200 eine Verarbeitung zum Erkennen von einem Objekt zugeordneten Attributinformationen auf der Basis von Informationen bezüglich Fingern und des Objekts, die durch die Eingabeeinheit 110 übernommen wurden, und Besitzinformationen, die den Fingern zugeordnet sind, und zum Steuern von Informationen bezüglich des Objekts auf der Basis der Informationen, durch. Die Objektinformationssteuereinheit 200 ist so konfiguriert, dass sie eine Steuerschaltung, wie z. B. eine CPU, und einen Speicher einschließt, der ein Programm speichert, das zum Beispiel die Steuerschaltung zum Betrieb bringt.
  • Die Objektinformationssteuereinheit 200 ist so konfiguriert, dass sie eine Fingererkennungseinheit 210, eine Attributverarbeitungseinheit 220 und eine Informationsakkumulationsverarbeitungseinheit 230 einschließt.
  • Die Fingererkennungseinheit 210 führt Verarbeitung zum Erkennen, welches Objekt ein Benutzer betätigt hat, unter Verwendung einer in den durch die Eingabeeinheit 110 übernommenen Informationen eingeschlossenen Positionsbeziehung zwischen dem Objekt und den Fingern durch. Details zur spezifischen, von der Fingererkennungseinheit 210 durchgeführten Verarbeitung werden später beschrieben.
  • Die Attributverarbeitungseinheit 220 führt eine Verarbeitung durch, die sich auf die Zuordnung von Attributen zu dem Objekt und den Fingern bezieht, die in einer Region vorhanden sind, die die Eingabeeinheit 110 abtasten kann (abtastbare Region). Die Attributverarbeitungseinheit 220 führt zum Beispiel eine Verarbeitung zum Schätzen, welche Attribute das Objekt enthält, unter Verwendung von Informationen darüber, ob sich das Objekt und die Finger einander genähert haben oder miteinander in Kontakt stehen oder nicht, durch. Die Attributverarbeitungseinheit 220 führt auch eine Verarbeitung zum Schätzen, welche Attribute überlappende Objekte halten, unter Verwendung von Informationen darüber, ob sich die Objekte überlappen oder nicht, durch. Details zur spezifischen, von der Attributverarbeitungseinheit 220 durchgeführten Verarbeitung werden später beschrieben.
  • Die Informationsakkumulationsverarbeitungseinheit 230 führt eine Verarbeitung zum Akkumulieren von Informationen hinsichtlich des Objekts und der Finger durch. Die von der Informationsakkumulationsverarbeitungseinheit 230 akkumulierten Informationen werden bei der von der Attributverarbeitungseinheit 220 durchgeführten Verarbeitung verwendet. Beispiele für von der Informationsakkumulationsverarbeitungseinheit 230 akkumulierten Informationen werden später beschrieben.
  • Das funktionale Konfigurationsbeispiel des Informationsverarbeitungssystems 100 gemäß der Ausführungsform der Offenbarung wurden oben beschrieben. Obwohl das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung im Folgenden beschrieben wird, wird zunächst eine Technologie zum Erkennen von Fingern und eines Objekts als Vorbedingung für vom Informationsverarbeitungssystem 100 durchgeführte Operationen beschrieben.
  • 6A bis 6C sind erklärende Diagramme, die eine Technologie zum Erkennen von Fingern und eines Objekts veranschaulichen.
  • 6A veranschaulicht ein Beispiel für eine Erkennungstechnologie, die auf Erkennung unter Verwendung von Umrissinformationen basiert. Die Erkennungstechnologie ist ein Verfahren zum Extrahieren von Umrissen aus Bildinformationen und dreidimensionalen Informationen und zum Unterscheiden einer Hand und eines Objekts. Die Erkennung unter Verwendung von Umrissinformationen kann sowohl unter sichtbarem als auch unter unsichtbarem Licht erfolgen, und in einem Fall, in dem unsichtbares Licht verwendet wird, besteht ein Vorteil, dass ein angezeigtes Objekt die Hand und das Objekt nicht stört, selbst wenn eine Projektion von oben durchgeführt wird. Die Erkennung unter Verwendung der Umrissinformationen hat den Nachteil, dass es nicht möglich ist, die Hand vom Objekt zu unterscheiden, wenn das Objekt in der Hand gehalten wird, da Umrisse des Objekts und der Hand integriert sind.
  • 6B veranschaulicht ein Beispiel für eine Erkennungstechnologie, die auf Erkennung unter Verwendung von Segmentinformationen basiert. Die Erkennungstechnologie ist ein Verfahren zum Unterscheiden einer Hand von einem Objekt durch Segmentierung unter Verwendung von Pixelwerten von Bildinformationen. Es ist zum Beispiel möglich, Informationen, die von einer Kamera für sichtbares Licht übernommen wurden, beispielsweise unter Verwendung von Farben zu segmentieren. Die Erkennungstechnologie hat den Vorteil, dass es möglich ist, die Hand vom Objekt zu unterscheiden, selbst wenn das Objekt in der Hand gehalten wird, solange das Objekt nicht mit der Hand abgedeckt ist. Die Erkennungstechnologie geht davon aus, dass ein mehr oder weniger großer Unterschied zwischen einer Farbe der Hand und einer Farbe des Objekts besteht, und die Erkennungstechnologie hat den Nachteil, dass die Hand und das Objekt in einem Fall, in dem der Unterschied gering ist, als integriert erkannt werden. Die Erkennungstechnologie hat auch den Nachteil, dass die Wahrscheinlichkeit einer fehlerhaften Bestimmung in einem Fall, in dem sich die Projektion mit der Hand und dem Objekt überlappt, wenn die Projektion von oben durchgeführt wird, zunimmt. Darüber hinaus hat die Erkennungstechnologie den Nachteil, dass es nicht möglich ist, ein reales Objekt oder ein angezeigtes Objekt zu unterscheiden, wenn Farben, die denen der Hand und des Objekts ähnlich sind, auf einem Bildschirm angezeigt werden, selbst wenn die Gesamtkonfiguration des Informationsverarbeitungssystems eine beliebige derer in 1 bis 4 ist.
  • 6C veranschaulicht ein Beispiel für eine Erkennungstechnologie, die auf Erkennung unter Verwendung eines Markers basiert. Die Erkennungstechnologie ist ein Verfahren zum Anbringen von Markern an Fingern und einem Objekt (Sternmarken in der Zeichnung) und zum Erkennen der Finger und des Objekts. Die Erkennungstechnologie hat den Vorteil, dass das Objekt erkannt werden kann, selbst wenn das Objekt in der Hand gehalten wird, solange die Markierung des Objekts nicht mit der Hand abgedeckt ist. Die Erkennungstechnologie hat den Nachteil, dass nur registrierte (mit Markern versehene) Objekte gehandhabt werden können, da die Notwendigkeit besteht, Marker im Voraus an Fingern und Objekt anzubringen.
  • 7A bis 7C sind erklärende Diagramme, die Beispiele für Situationen, in denen Finger und ein Objekt während Erkennung platziert werden, veranschaulichen. 7A veranschaulicht einen Zustand, in dem das Objekt in der Hand gehalten wird, aber das Objekt noch sichtbar ist. In diesem Zustand können die Finger je nach Erkennungstechnologie und Zustand vom Objekt unterschieden werden. 7B veranschaulicht einen Zustand, in dem ein Objekt so gehalten wird, dass eine Hand das Objekt ganz abdeckt. In diesem Zustand ist es nicht möglich, die Finger vom Objekt zu unterscheiden, selbst wenn eine beliebige der drei zuvor erwähnten Erkennungstechnologien verwendet wird. 7C veranschaulicht einen Zustand, in dem ein Objekt, das in einer Hand gehalten wird und das ein Ziel der Erkennung ist, abgedeckt ist. Das in der Hand gehaltene Objekt kann ein Bedienobjekt der Offenbarung sein. In diesem Zustand ist es ebenfalls nicht möglich, die Finger vom Objekt zu unterscheiden, selbst wenn eine beliebige der drei zuvor erwähnten Erkennungstechnologien verwendet wird, ähnlich wie im in 7B veranschaulichten Fall.
  • In der Ausführungsform ist es möglich, das Objekt zu verfolgen und dem Objekt zugeordnete Attribute zu halten, selbst in einer Situation, in der es nicht möglich ist, das Objekt zu verfolgen und die Attribute zu halten, da bekannt ist, dass es wegen einer Umgebung oder eines Zustands nicht möglich ist, die Finger vom Objekt zu unterscheiden.
  • Zunächst werden in der Ausführungsform verwendete Informationen beschrieben. Tabellen 1 bis 3 unten veranschaulichen in der Informationsakkumulationsverarbeitungseinheit 230 akkumulierte Informationen. Tabelle 1 ist eine Objektverwaltungstabelle, Tabelle 2 ist eine Besitzzustandsverwaltungstabelle und Tabelle 3 ist eine Attributverwaltungstabelle. Die jeweiligen Tabellen können zum Beispiel in Form relationaler Datenbanken realisiert werden.
    [Tabelle 1] (Tabelle 1: Objektverwaltungstabelle)
    Objekt-ID Erkennungs- ID-Anordnung Merkmalsmenge Verarbeitungskennzeichen
    [Tabelle 2] (Tabelle 2: Besitzzustandsverwaltungstabelle)
    Finger-ID Erkennungs- ID-Anordnung
    [Tabelle 3] (Tabelle 3: Attributverwaltungstabelle)
    Erkennungs- ID Attribut
  • Eine Objekt-ID ist eine ID eines Objekts, die von einem Sensor der Eingabeeinheit 110 zurückgegeben wird. Die Objekt-ID ist eine Information, die beibehalten wird, solange der Sensor Finger oder das Objekt unterscheidet. Da die Objekt-ID in Einheiten zugewiesen wird, die der Sensor erkennen kann, wird eine Objekt-ID einem Knoten überlappender Objekte zugewiesen. Die Objekt-ID wird auch für dasselbe Objekt inkrementiert, wenn das Objekt wie oben beschrieben mit der Hand abgedeckt ist.
  • Eine Finger-ID ist eine ID von Fingern, die von einem Sensor der Eingabeeinheit 110 zurückgegeben wird. Eine ID wird einer Hand zugeordnet.
  • Eine Erkennungs-ID ist eine ID, die unter Verwendung einer Erkennungstechnologie entsprechend der Ausführungsform erkannt und verfolgt wird. Es ist es möglich, eine eindeutige Erkennungs-ID beizubehalten, selbst wenn ein Objekt gemäß der Erkennungstechnologie mit einer Hand abgedeckt ist. Die Anzahl der gegenwärtigen eindeutigen Erkennungs-IDs ist die Anzahl der Eigenschaften des Objekts.
  • Die Objektverwaltungstabelle in Tabelle 1 ist eine Tabelle zum Verwalten von Zuständen eines Objekts. Eine Erkennungs-ID-Anordnung hält Informationen darüber, mit welcher Erkennungs-ID eine Objektgruppe mit einer Objekt-ID erkannt wurde, aufeinander gestapelte Objekte werden als eine Anordnung von Erkennungs-IDs ausgedrückt, und die Anordnung gibt an, dass die ehemaligen Elemente Erkennungs-IDs der Objekte in den unteren Stufen aufweisen. Merkmalsmengen sind von Sensoren übernommene Parameter, wie z. B. die Höhe, das Gewicht und dergleichen von Objekten. Verarbeitungskennzeichen sind Kennzeichen, die angeben, ob die Objekt-ID verarbeitet wurde oder nicht, Informationen, die angeben, dass die Objekt-ID verarbeitet wurde, wie z. B. wahr oder „1“, werden gespeichert, wenn die Objekt-ID verarbeitet wurde, und Informationen, die angeben, dass die Objekt-ID noch nicht verarbeitet wurde, z. B. falsch oder „0“, werden gespeichert, wenn die Objekt-ID noch nicht verarbeitet wurde.
  • Die Besitzzustandsverwaltungstabelle in Tabelle 2 ist eine Tabelle, die verwaltet, was mit welchen Fingern gehalten wird. Eine Erkennungs-ID-Anordnung repräsentiert, welche Erkennungs-ID mit einem Finger durch eine Finger-ID gehalten wird. Die Erkennungs-IDs bilden eine Anordnung in einem Fall, in dem eine Vielzahl von Objekten gehalten wird, und frühere Elemente halten Erkennungs-IDs von Objekten, die näher an der Hand liegen (später in einer Reihenfolge der Platzierung).
  • Die Attributverwaltungstabelle in Tabelle 3 ist eine Tabelle, die verwaltet, welche Erkennungs-ID welches Attribut hält. Attribute sind Eigenschaften, über die je nach Anwendung entschieden wird.
  • Zunächst wird ein Betriebsbeispiel der Fingererkennungseinheit 210 beschrieben. 8 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Fingererkennungseinheit 210 gemäß der Ausführungsform veranschaulicht, und zeigt ein Beispiel für eine Verarbeitung, die als „Verarbeitung zur Erkennung des nächstgelegenen Fingers“ in einem späteren Diagramm dargestellt ist.
  • Die Fingererkennungseinheit 210 übernimmt Fingerpositionen und eine Position eines Objekts für alle von der Eingabeeinheit 110 übernommenen Finger (Schritt S101), berechnet Abstände dazwischen und bestimmt, ob der Abstand gleich oder kleiner als ein vorbestimmter Schwellenwert ist (Schritt S102).
  • 9 ist ein schematisches Diagramm, bei dem ein Abstand von einem Objekt zu jedem Finger berechnet wird. Da die Hände c und d unter den in 9 veranschaulichten Händen a, b, c und d weit vom Objekt (Objekt 1) entfernt sind und die Abstände zwischen dem Objekt und den Händen außerhalb eines Schwellenwertes liegen, werden die Hände nicht als solche betrachtet, mit denen das Objekt betätigt wurde. Da die Hände a und b innerhalb des Schwellenwertes liegen, werden die Abstände verglichen, und die Hand a mit dem Minimalwert wird als Hand geschätzt, mit der das Objekt betätigt wurde. Es wird darauf hingewiesen, dass die Fingererkennungseinheit 210 die Position des Zentrums oder des Schwerpunktes des Objekts als Referenz verwenden kann und die Position des Zentrums des Handrückens oder die Position der Fingerspitze als Referenz bei der Berechnung der Abstände verwenden kann. Auch in einem Fall, in dem es erwünscht ist, die Abstände genauer zu messen, kann die Fingererkennungseinheit 210 eine Bestimmung unter Verwendung der Handform, der Handebene oder dergleichen vornehmen. In einem Fall, in dem es keinen signifikanten Unterschied zwischen den Abständen gibt, kann die Fingererkennungseinheit 210 eine Hand, die sich im Vergleich zu der im vorherigen Frame weiter bewegt hat, als eine Hand betrachten, mit der das Objekt betätigt wird.
  • In einem Fall, in dem als ein Ergebnis der Bestimmung in Schritt S102 festgestellt wird, dass der Abstand nicht gleich oder kleiner als der Schwellenwert ist (Schritt S102, Nein), kehrt die Fingererkennungseinheit 210 zur Verarbeitung für einen anderen Finger zurück. In einem Fall, in dem der Abstand gleich oder kleiner als der Schwellenwert ist (Schritt S102, Ja), vergleicht die Fingererkennungseinheit 210 den Abstand mit bis zu diesem Punkt erkannten Abständen und bestimmt, ob der neu berechnete Abstand der minimale Abstand ist oder nicht (Schritt S103).
  • In einem Fall, in dem als ein Ergebnis der Bestimmung in Schritt S103 festgestellt wird, dass der Abstand nicht der minimale Abstand ist (Schritt S103, Nein), kehrt die Fingererkennungseinheit 210 zur Verarbeitung für einen anderen Finger zurück. In einem Fall, in dem der Abstand der minimale Abstand ist (Schritt S103, Ja), bestimmt die Fingererkennungseinheit 210, dass der Finger der Finger ist, der dem Objekt am nächsten ist, und zeichnet dessen Finger-ID auf (aktualisiert sie) (Schritt S104).
  • Die Fingererkennungseinheit 210 übernimmt die Finger-ID des dem Objekt am nächsten liegenden Fingers durch Wiederholen der zuvor erwähnten Verarbeitung (Schritt S105).
  • Anschließend wird ein Betriebsbeispiel der Objektinformationssteuereinheit 200 gemäß der Ausführungsform der Offenbarung beschrieben. 10 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Objektinformationssteuereinheit 200 gemäß der Ausführungsform der Offenbarung veranschaulicht. Im Folgenden wird ein Betriebsbeispiel der Objektinformationssteuereinheit 200 gemäß der Ausführungsform der Offenbarung unter Bezugnahme auf 10 beschrieben.
  • Die Objektinformationssteuereinheit 200 übernimmt zunächst von der Eingabeeinheit 110 durch Abtasten übernommene Fingerinformationen und Objektinformationen (Schritt S111). Die folgende Verarbeitung wird für jeden Frame wiederholt durchgeführt, bis eine Endebedingung, wie z. B. eine vom Benutzer durchgeführte vorbestimmte Operation, erfüllt ist. Der Frame gibt in diesem Fall einen Frame an, in dem eine Grafik gerendert wird, oder einen Frame eines Zyklus, bei dem Sensorinformationen von der Eingabeeinheit 110 übernommen werden.
  • Wenn die Fingerinformationen und die Objektinformationen übernommen werden, dann löscht die Objektinformationssteuereinheit 200 alle Verarbeitungskennzeichen in der Objektverwaltungstabelle (Schritt S112). Alle im vorherigen Frame erkannten Objekte werden in einen unverarbeiteten Zustand gebracht, indem alle Verarbeitungskennzeichen in der Objektverwaltungstabelle gelöscht werden.
  • Anschließend führt die Objektinformationssteuereinheit 200 eine Verarbeitung in einem Fall aus, in dem ein Objekt vorhanden ist (Schritt S113). Einzelheiten zur Verarbeitung in einem Fall, in dem ein Objekt vorhanden ist, werden später ausführlich beschrieben.
  • Dann führt die Objektinformationssteuereinheit 200 eine Verarbeitung in einem Fall aus, in dem kein Objekt vorhanden ist (Schritt S114). Details zur Verarbeitung in einem Fall, in dem kein Objekt vorhanden ist, werden später beschrieben.
  • Anschließend führt die Objektinformationssteuereinheit 200 eine Verarbeitung in einem Fall aus, in dem die Finger nach außerhalb des Bereichs der abtastbaren Region verschwunden sind (Schritt S115). Details zur Verarbeitung in einem Fall, in dem die Finger nach außerhalb des Bereichs der abtastbaren Region verschwunden sind, werden später beschrieben.
  • Dann bestimmt die Objektinformationssteuereinheit 200, ob eine Endebedingung, wie z. B. eine vom Benutzer durchgeführte vorbestimmte Operation, erfüllt ist oder nicht (Schritt S116). Die Objektinformationssteuereinheit 200 kehrt in einem Fall, in dem die Endebedingung nicht erfüllt ist (Schritt S116, Nein), zur Verarbeitung in Schritt S111 zurück, und die Objektinformationssteuereinheit 200 beendet eine Reihe von Prozessen, wenn die Endebedingung erfüllt ist (Schritt S116, Ja).
  • Details zur Verarbeitung in einem Fall, in dem ein Objekt im zuvor erwähnten Schritt S113 vorhanden ist, werden später beschrieben. 11 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Objektinformationssteuereinheit 200 gemäß der Ausführungsform der Offenbarung veranschaulicht, und ist ein erklärendes Diagramm, das ein Betriebsbeispiel in einem Fall, in dem ein Objekt in dem zuvor erwähnten Schritt S113 vorhanden ist, veranschaulicht. Es wird darauf hingewiesen, dass die folgende Reihe von Prozessen zum Beispiel von der Attributverarbeitungseinheit 220 ausgeführt werden kann.
  • Die Objektinformationssteuereinheit 200 wiederholt die folgende Reihe von Prozessen, die den von der Eingabeeinheit 110 übernommenen Objekten entsprechen (Schritt S121). Wenn die Verarbeitung nicht bei allen Objekten durchgeführt wurde (Schritt S121, Nein), bestimmt die Objektinformationssteuereinheit 200, ob eine Objekt-ID eines Objekts als ein Ziel der Verarbeitung in der Objektverwaltungstabelle registriert wurde oder nicht (Schritt S122). In einem Fall, in dem die Objekt-ID des Objekts als das Ziel der Verarbeitung nicht in der Objektverwaltungstabelle registriert wurde (Schritt S122, Nein), ist das Objekt ein solches, das im vorherigen Frame nicht vorhanden ist, und die Objektinformationssteuereinheit 200 führt dann Objektabschätzverarbeitung unter Verwendung von Annäherungsinformationen, die später beschrieben wird, durch (Schritt S123). Die Objektschätzverarbeitung unter Verwendung der Annäherungsinformationen ist eine Verarbeitung zum Bestimmen, ob das Objekt von (platziert auf) Fingern aufgetreten ist oder nicht, oder ob es ohne Finger aufgetreten ist, und zum Schätzen einer Erkennungs-ID.
  • In einem Fall, in dem die Objekt-ID des Objekts als das Ziel der Verarbeitung in der Objektverwaltungstabelle registriert wurde (Schritt S122, Ja), ist das Objekt ein solches, das auch im vorherigen Frame vorhanden ist, und die Objektinformationssteuereinheit 200 bestimmt somit, ob es keine Änderungen der Merkmalsmengen, wie z. B. der Höhe und des Gewichts des Objekts, gibt oder nicht (Schritt S124). Wenn die Bestimmung in Schritt S124 durchgeführt wird, kann als Bestimmungskriterium hinzugefügt werden, ob die Unterschiede der Merkmalsmengen von Fehlern wegen Sensorleistungen oder signifikanten Unterschieden herrühren.
  • In einem Fall, in dem es keine Änderung der Merkmalsmengen, wie z. B. der Höhe und des Gewichts des Objekts, gibt (Schritt S124, Nein), geht die Objektinformationssteuereinheit 200 zur Verarbeitung für das nächste Objekt über. In einem Fall, in dem es eine Änderung der Merkmalsmengen, wie z. B. der Höhe und des Gewichts des Objekts, gibt (Schritt S124, Ja), führt die Objektinformationssteuereinheit 200 eine Objektschätzverarbeitung unter Verwendung von Überlagerungsinformationen, die später beschrieben wird, durch (Schritt S125). Die Objektschätzverarbeitung unter Verwendung der Überlagerungsinformationen ist eine Verarbeitung zum Bestimmen, wie Objekte überlappt wurden und zugenommen haben oder wie überlappende Objekte reduziert wurden, und zum Schätzen einer Erkennungs-ID.
  • Die Objektinformationssteuereinheit 200 führt Objektschätzverarbeitung unter Verwendung der Objektschätzverarbeitung basierend auf Annäherungsinformationen oder den Überlagerungsinformationen aus, dann aktualisiert die Objektinformationssteuereinheit 200 die Objekt-ID, die Erkennungs-ID-Anordnung und die Merkmalsmengen in der Objektverwaltungstabelle unter Verwendung der geschätzten Erkennungs-ID (Schritt S126). Anschließend setzt die Objektinformationssteuereinheit 200 das Verarbeitungskennzeichen für das Objekt, um anzuzeigen, dass die Verarbeitung abgeschlossen ist (Schritt S127).
  • Die Objektinformationssteuereinheit 200 wiederholt die zuvor erwähnte Reihe von Prozessen entsprechend den von der Eingabeeinheit 110 übernommenen Objekten (Schritt S128).
  • Details zur Verarbeitung in einem Fall, in dem kein Objekt im zuvor erwähnten Schritt S114 vorhanden ist, werden später beschrieben. 12 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Objektinformationssteuereinheit 200 gemäß der Ausführungsform der Offenbarung veranschaulicht, und ist ein erklärendes Diagramm, das ein Betriebsbeispiel in einem Fall, in dem kein Objekt in dem zuvor erwähnten Schritt S114 vorhanden ist, veranschaulicht. Es wird darauf hingewiesen, dass die folgende Reihe von Prozessen zum Beispiel von der Fingererkennungseinheit 210 und der Attributverarbeitungseinheit 220 ausgeführt werden kann.
  • Da Objekte, für die in der bis zu diesem Zeitpunkt durchgeführten Verarbeitung keine Verarbeitungskennzeichen gesetzt wurden, im vorherigen Frame vorhanden sind und im aktuellen Frame nicht verarbeitet werden, kann bestimmt werden, dass dies ein Fall ist, in dem die Objekte entfernt wurden oder aus irgendwelchen Gründen verschwunden und nicht vorhanden sind. Die Objektinformationssteuereinheit 200 führt wiederholt die folgende Verarbeitung entsprechend den vorhandenen Objekten, für die keine Verarbeitungskennzeichen gesetzt wurden, durch (Schritt S131).
  • Die Objektinformationssteuereinheit 200 übernimmt eine Finger-ID, mit der ein Objekt als entfernt geschätzt wird (Schritt S132) und bestimmt, ob ein Finger durch die zuvor erwähnte Verarbeitung zur Erkennung des nächstgelegenen Fingers entdeckt werden konnte oder nicht (Schritt S133). In einem Fall, in dem die Finger-ID in der Verarbeitung zur Erkennung des nächstgelegenen Fingers entdeckt werden konnte (Schritt S133, Ja), wird angenommen, dass das Objekt dem Finger gehörte, und die Objektinformationssteuereinheit 200 fügt somit die Erkennungs-ID zum Ende der Erkennungs-ID-Anordnung der entsprechenden Finger-ID in der Besitzzustandsverwaltungstabelle (Schritt S134) hinzu. In einem Fall, in dem keine entsprechende Finger-ID vorhanden ist, fügt die Objektinformationssteuereinheit 200 eine Finger-ID und eine Erkennungs-ID hinzu, die das Objekt hat. Es wird darauf hingewiesen, dass es einen Fall geben kann, in dem sich das Bedienobjekt, wie z. B. eine Hand, in eine Position bewegt, in der das Bedienobjekt durch die Eingabeeinheit 110 durchgeführtes Abtasten des Objekts blockiert, selbst wenn sich das Objekt dem Bedienobjekt, wie z. B. der Hand, nicht in der Tiefenrichtung (der Höhenrichtung, zum Beispiel) des Abtastens nähert. In einem solchen Fall kann die Objektinformationssteuereinheit 200 das Objekt als vom Bedienungsobjekt besessen betrachten, wenn eine Bewegung des Bedienungsobjekts zu einer Position erkannt wird, an der wenigstens ein Teil der Abtastung blockiert ist. Dann kann die Objektinformationssteuereinheit 200 die registrierte Erkennungs-ID des Objekts, für das die Abtastung blockiert wurde, zum Ende der Erkennungs-ID-Anordnung der Finger-ID, die dem Bedienobjekt entspricht, das die Abtastung des Objekts wenigstens teilweise blockiert hat, in der Besitzzustandsverwaltungstabelle hinzufügen.
  • In einem Fall, in dem bei der Verarbeitung zur Erkennung des nächstgelegenen Fingers keine Finger-ID entdeckt werden konnte (Schritt S133, Nein), bedeutet dies, dass das Objekt aus irgendeinem Grund aus der abtastbaren Region verschwunden ist, wie z. B. weil das Objekt von Wind weggeblasen wurde, und die Objektinformationssteuereinheit 200 löscht somit Attributinformationen aus der Attributverwaltungstabelle (Schritt S135).
  • Dann löscht die Objektinformationssteuereinheit 200 die Zeile des entsprechenden Objekts aus der Objektverwaltungstabelle (Schritt S136).
  • Die Objektinformationssteuereinheit 200 führt wiederholt die zuvor erwähnte Reihe von Prozessen entsprechend den vorhandenen Objekten, für die keine Verarbeitungskennzeichen gesetzt wurden, durch (Schritt S137).
  • Anschließend werden Details zur Verarbeitung in einem Fall beschrieben, in dem die Finger nach außerhalb des Bereichs im zuvor erwähnten Schritt S115 verschwunden sind. 13 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Objektinformationssteuereinheit 200 gemäß der Ausführungsform der Offenbarung veranschaulicht, und ist ein erklärendes Diagramm, das ein Betriebsbeispiel in einem Fall, in dem die Finger nach außerhalb des Bereichs im zuvor erwähnten Schritt S115 verschwunden sind, veranschaulicht. Es wird darauf hingewiesen, dass die folgende Reihe von Prozessen zum Beispiel von der Attributverarbeitungseinheit 220 ausgeführt werden kann.
  • Die Objektinformationssteuereinheit 200 führt wiederholt die folgende Verarbeitung entsprechend den in der Besitzstatustabelle registrierten Fingern durch (Schritt S141).
  • Die Objektinformationssteuereinheit 200 bestimmt auf der Basis von Informationen von der Eingabeeinheit 110, ob ein entsprechender Finger im Bereich der abtastbaren Region vorhanden ist oder nicht (Schritt S142). In einem Fall, in dem der Finger im Bereich der abtastbaren Region vorhanden ist (Schritt S142, Ja), bestimmt die Objektinformationssteuereinheit 200, dass der Finger das Objekt kontinuierlich hält, und geht zur Verarbeitung für den nächsten Finger über, ohne etwas zu tun.
  • In einem Fall, in dem der Finger nicht im Bereich der abtastbaren Region vorhanden ist (Schritt S142, Nein), bestimmt die Objektinformationssteuereinheit 200, dass der Finger nach außerhalb des Bereichs verschwunden ist, und führt Verarbeitung in einem Fall, in dem der Finger nach außerhalb des Bereichs verschwunden ist, durch (Schritt S143). Die Verarbeitung in dem Fall, in dem der Finger nach außerhalb des Bereichs verschwunden ist, hängt von einem Zweck einer Funktion ab, die mit einer vom Informationsverarbeitungssystem 100 ausgeführten Anwendung realisiert werden soll.
  • In einem Fall, in dem der Finger in einem Zustand, in dem das Objekt mit dem Finger gehalten wird, nach außerhalb des Bereichs verschwunden ist, zum Beispiel, ist es nicht offensichtlich, dass dasselbe Objekt immer noch gehalten wird, wenn der Finger wieder erscheint, und die Objektinformationssteuereinheit 200 löscht somit entsprechende Elemente aus allen Tabellen, der Objektverwaltungstabelle, der Besitzzustandsverwaltungstabelle und der Attributverwaltungstabelle.
  • Die Objektinformationssteuereinheit 200 pflegt auch alle Elemente, setzt ein Kennzeichen auf die Finger-ID in der Besitzzustandsverwaltungstabelle und speichert das Kennzeichen unter der Annahme, dass der Finger das gleiche Objekt haltend wieder erscheint, selbst wenn der Finger zum Beispiel nach außerhalb des Bereichs verschwindet. Als eine Annahme des Falles ist ein Fall, in dem dieselbe ID dem wieder erschienenen Finger zugewiesen wird, oder ein Fall, in dem der Finger mit unterschiedlichen IDs als derselbe Finger betrachtet wird, solange der Finger aus der gleichen Richtung eingetreten ist, vorstellbar.
  • Die Objektinformationssteuereinheit 200 kann Bewegung des Objekts und der Finger verfolgen und dem Objekt zuzuordnende Attribute pflegen, selbst wenn das Objekt mit den Fingern bedeckt ist, indem sie die Reihe von Prozessen ausführt.
  • Anschließend wird Objektschätzverarbeitung unter Verwendung von Annäherungsinformationen, wie in Schritt S123 in 11 veranschaulicht, beschrieben. 14 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Objektinformationssteuereinheit 200 gemäß der Ausführungsform der Offenbarung veranschaulicht, und ist ein Ablaufdiagramm, das Objektschätzverarbeitung unter Verwendung von Annäherungsinformationen, wie in Schritt S123 in 11 dargestellt, veranschaulicht. Es wird darauf hingewiesen, dass die folgende Reihe von Prozessen von der Fingererkennungseinheit 210 und der Attributverarbeitungseinheit 220 ausgeführt werden kann.
  • In einem Fall, in dem die Objektschätzverarbeitung unter Verwendung der Annäherungsinformationen durchgeführt wird, führt die Objektinformationssteuereinheit 200 zunächst Verarbeitung zur Erkennung des nächstgelegenen Fingers durch (Schritt S151). Dann bestimmt die Objektinformationssteuereinheit 200, ob eine nächstgelegene Finger-ID durch die Verarbeitung zur Erkennung des nächstgelegenen Fingers entdeckt werden konnte oder nicht (Schritt S152).
  • In einem Fall, in dem die nächstgelegene Finger-ID entdeckt werden konnte (Schritt S152, Ja), bestimmt die Objektinformationssteuereinheit 200, ob die Finger-ID in der Besitzzustandsverwaltungstabelle registriert wurde oder nicht (Schritt S153).
  • In einem Fall, in dem die Finger-ID in der Besitzzustandsverwaltungstabelle registriert wurde (Schritt S153, Ja), bestimmt die Objektinformationssteuereinheit 200, ob für die Finger-ID eine Erkennungs-ID-Anordnung vorhanden ist oder nicht (Schritt S154).
  • Wenn die Erkennungs-ID-Anordnung für die Finger-ID vorhanden ist (Schritt S154, Ja), wird das, was mit dem Finger mit der Finger-ID gehalten wird, als das Objekt am letzten Teil der Erkennungs-ID-Anordnung betrachtet, und die Objektinformationssteuereinheit 200 schätzt somit das Objekt als ein Objekt mit einer bestehenden Erkennungs-ID und löscht den für die Schätzung verwendeten letzten Teil der Erkennungs-ID-Anordnung (Schritt S155). In einem Fall, in dem die Erkennungs-ID-Anordnung nach der Löschung des letzten Teils der Erkennungs-ID-Anordnung noch vorhanden ist, behält die Objektinformationssteuereinheit 200 die Erkennungs-ID-Anordnung bei oder löscht die gesamte Finger-ID in einem Fall, in dem keine Erkennungs-ID-Anordnung vorhanden ist.
  • In einem Fall, in dem die nächstgelegene Finger-ID bei der Bestimmung in Schritt S152 nicht erkannt werden konnte (Schritt S152, Nein), bestimmt die Objektinformationssteuereinheit 200, dass es sich bei dem Objekt um ein unbekanntes Objekt handelt, das aus irgendeinem Grund aufgetreten ist, und weist ihm eine neue Erkennungs-ID zu (Schritt S156).
  • In einem Fall, in dem die Finger-ID nicht in der Besitzzustandsverwaltungstabelle bei der Bestimmung in Schritt S153 registriert wurde (Schritt S153, Nein), bestimmt die Objektinformationssteuereinheit 200, dass es sich bei dem Objekt um ein unbekanntes Objekt handelt, das von einem neuen Finger aufgetreten ist, und weist ihm eine neue Erkennungs-ID zu (Schritt S156).
  • In einem Fall, in dem bei der Bestimmung in Schritt S154 keine Erkennungs-ID-Anordnung in der Finger-ID vorhanden ist (Schritt S154, Nein), bestimmt die Objektinformationssteuereinheit 200, dass der Finger bekannt ist, während das platzierte Objekt unbekannt ist, und weist ihm eine neue Erkennungs-ID zu (Schritt S156). Ein Fall, in dem zum Beispiel ein anderes Objekt weiterhin innerhalb des Bereichs in einem Zustand gehalten wird, in dem ein Objekt anfänglich außerhalb des Bereichs gehalten wird, entspricht diesem Fall.
  • Die Objektinformationssteuereinheit 200 kann bestimmen, ob ein Objekt erkannt wird oder nicht, indem sie den nächstgelegenen Finger in Bezug auf das Objekt erkennt, wenn das Objekt in der abtastbaren Region aufgetreten ist, indem sie die Reihe von Prozessen ausführt.
  • Anschließend wird Objektschätzverarbeitung unter Verwendung von Überlagerungsverarbeitung, wie in Schritt S125 in 11 veranschaulicht, beschrieben. 15 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Objektinformationssteuereinheit 200 gemäß der Ausführungsform der Offenbarung veranschaulicht, und ist ein Ablaufdiagramm, das Objektschätzverarbeitung unter Verwendung von Überlagerungsinformationen, wie in Schritt S125 in 11 dargestellt, veranschaulicht. Es wird darauf hingewiesen, dass die folgende Reihe von Prozessen von der Fingererkennungseinheit 210 und der Attributverarbeitungseinheit 220 ausgeführt werden kann.
  • Die folgende Verarbeitung wird unter der Annahme beschrieben, dass ein Objekt als ein Ziel der Abtastung eine Einheitsmerkmalsmenge in einer vorbestimmten Höhenrichtung aufweist. Zum Beispiel wird angenommen, dass das Objekt als ein Ziel der Abtastung ein Objekt mit einer flachen säulenförmigen Form wie eine Münze ist. Obwohl die folgende Beschreibung unter der Annahme gegeben wird, dass die Tiefenrichtung der Abtastung der Höhenrichtung entspricht und die Merkmalsmenge in der Tiefenrichtung der Abtastung der Merkmalsmenge in der Höhenrichtung entspricht (die Höhe der Oberfläche des Objekts in Bezug auf die Oberfläche, auf der das Objekt platziert ist), ist die Offenbarung nicht auf ein solches Beispiel beschränkt. Zum Beispiel in einem Fall, in dem bewirkt wird, dass ein Gegenstand mit Magnetkraft an eine Wandoberfläche adsorbiert wird, werden Abtastung und Projektion an der Wandoberfläche durchgeführt. In einem solchen Fall ist die Tiefenrichtung der Abtastung eine vertikale Richtung relativ zur Wandfläche, und die Merkmalsmenge in der Tiefenrichtung der Abtastung ist die Merkmalsmenge der vertikalen Richtung relativ zur Wandfläche (die Höhe einer Fläche parallel zur Wandfläche unter den Oberflächen des Objekts in Bezug auf die Wandfläche). Es wird darauf hingewiesen, dass andere Informationen als die Höhe von der Referenzoberfläche als die Merkmalsmenge in Tiefenrichtung der Abtastung verwendet werden können. Eine Position dreidimensionaler Informationen des Objekts in der Tiefenrichtung, die durch einen Tiefensensor erhalten wird (Koordinateninformationen der Tiefe), kann zum Beispiel als Merkmalsmenge in der Tiefenrichtung der Abtastung verwendet werden.
  • Die Objektinformationssteuereinheit 200 bestimmt zuerst, ob die Merkmalsmenge des Objekts abgenommen hat oder nicht (Schritt S161). Wenn die Merkmalsmenge abgenommen hat (Schritt S161, Ja), führt die Objektinformationssteuereinheit 200 eine Verarbeitung für den Fall aus, in dem die Merkmalsmenge abgenommen hat (Schritt S162). Die Verarbeitung für den Fall, in dem die Merkmalsmenge abgenommen hat, wird später ausführlich beschrieben. Wenn die Merkmalsmenge nicht abgenommen hat (Schritt S161, Nein), bestimmt die Objektinformationssteuereinheit 200, ob eine Differenz in der Zunahme einer Stufe (entsprechend einer Einheitsmerkmalsmenge) entspricht oder nicht (Schritt S163). Wenn die Zunahme einer Stufe entspricht (Schritt S163, Ja), führt die Objektinformationssteuereinheit 200 eine Verarbeitung für den Fall aus, in dem die Merkmalsmenge um eine Stufe zugenommen hat (Schritt S164). Die Verarbeitung für den Fall, in dem die Merkmalsmenge um eine Stufe zugenommen hat, wird später ausführlich beschrieben. Wenn die Merkmalsmenge um zwei oder mehr Stufen zugenommen hat (Schritt S163, Nein), führt die Objektinformationssteuereinheit 200 eine Verarbeitung für den Fall aus, in dem die Merkmalsmenge um zwei oder mehr Stufen zugenommen hat (Schritt S165). Die Verarbeitung für den Fall, in dem die Merkmalsmenge um zwei oder mehr Stufen zugenommen hat, wird später ausführlich beschrieben.
  • Anschließend wird die Verarbeitung für den Fall beschrieben, in dem die Merkmalsmenge im zuvor erwähnten Schritt S162 abgenommen hat. 16 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Objektinformationssteuereinheit 200 gemäß der Ausführungsform der Offenbarung veranschaulicht, und ist ein Ablaufdiagramm, das die Verarbeitung für den Fall, in dem die Merkmalsmenge in Schritt S162 in 15 abgenommen hat, veranschaulicht. Es wird darauf hingewiesen, dass die Reihe von Prozessen von der Fingererkennungseinheit 210 und der Attributverarbeitungseinheit 220 ausgeführt werden kann.
  • Die Objektinformationssteuereinheit 200 führt zunächst Verarbeitung zur Erkennung des nächstgelegenen Fingers durch (Schritt S171). Dann bestimmt die Objektinformationssteuereinheit 200, ob eine nächstgelegene Finger-ID durch die Verarbeitung zur Erkennung des nächstgelegenen Fingers entdeckt werden konnte oder nicht (Schritt S172).
  • In einem Fall, in dem die nächstgelegene Finger-ID entdeckt werden konnte (Schritt S172, Ja), bestimmt die Objektinformationssteuereinheit 200, dass die Merkmalsmenge abgenommen hat, seit das Objekt vom Finger besessen wurde, und fügt eine Erkennungs-ID des besessenen Objekts zum letzten Teil der Erkennungs-ID-Anordnung der entsprechenden Finger-ID in der Besitzzustandsverwaltungstabelle (Schritt S173) hinzu. In einem Fall, in dem die Merkmalsmenge hier um zwei oder mehr Stufen abgenommen hat, fügt die Objektinformationssteuereinheit 200 eine Vielzahl von Erkennungs-IDs des besessenen Objekts zum letzten Teil der Erkennungs-ID-Anordnung der Finger-ID hinzu. In diesem Fall werden die oberen Stufen der Erkennungs-ID-Anordnung in den Ordnungen näher am Kopf (das heißt näher an der Hand) hinzugefügt.
  • Anschließend bestimmt die Objektinformationssteuereinheit 200, ob die Erkennungs-ID in der obersten Stufe eines verbleibenden Objekts bekannt ist oder nicht (Schritt S174). In einem Fall, in dem die Erkennungs-ID bekannt ist (Schritt S174, Ja), führt die Objektinformationssteuereinheit 200 nichts aus. In einem Fall, in dem die Erkennungs-ID unbekannt ist (Schritt S174, Nein), schätzt die Objektinformationssteuereinheit 200, dass das verbleibende Objekt dieselben Eigenschaften aufweist wie das von den Fingern mitgebrachte Objekt, da das verbleibende Objekt gleichzeitig mit dem besessenen Objekt platziert wurde, und weist die Erkennungs-ID zu, die derjenigen des von den Fingern mitgebrachten Objekts entspricht (Schritt S175).
  • In einem Fall, in dem die nächstgelegene Finger-ID bei der Bestimmung in Schritt S172 (Schritt S172, Ja) nicht entdeckt werden konnte, bestimmt die Objektinformationssteuereinheit 200, dass das Objekt unabhängig von den Fingern abgenommen hat, schätzt, dass das verbleibende Objekt dieselben Eigenschaften aufweist wie das Objekt, das verschwunden ist und früher in der oberen Stufe vorhanden war, obwohl der Grund nicht offensichtlich ist, und weist eine Erkennungs-ID zu, die derjenigen des verschwundenen Objekts entspricht (Schritt S175).
  • Anschließend wird die Verarbeitung für den Fall beschrieben, in dem die Merkmalsmenge im zuvor erwähnten Schritt S164 um eine Stufe zugenommen hat. 17 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Objektinformationssteuereinheit 200 gemäß der Ausführungsform der Offenbarung veranschaulicht, und ist ein Ablaufdiagramm, das die Verarbeitung für den Fall, in dem die Merkmalsmenge in Schritt S164 in 15 um eine Stufe zugenommen hat, veranschaulicht. Es wird darauf hingewiesen, dass die Reihe von Prozessen von der Fingererkennungseinheit 210 und der Attributverarbeitungseinheit 220 ausgeführt werden kann.
  • Die Objektinformationssteuereinheit 200 führt zunächst Verarbeitung zur Erkennung des nächstgelegenen Fingers durch (Schritt S181). Dann bestimmt die Objektinformationssteuereinheit 200, ob eine nächstgelegene Finger-ID durch die Verarbeitung zur Erkennung des nächstgelegenen Fingers entdeckt werden konnte oder nicht (Schritt S182).
  • In einem Fall, in dem die nächstgelegene Finger-ID entdeckt werden konnte (Schritt S182, Ja), bestimmt die Objektinformationssteuereinheit 200, ob die Finger-ID in der Besitzzustandsverwaltungstabelle registriert wurde oder nicht und eine Erkennungs-ID-Anordnung hält (Schritt S183). In einem Fall, in dem die Finger-ID in der Besitzzustandsverwaltungstabelle registriert wurde und eine Erkennungs-ID-Anordnung hält (Schritt S183, Ja), schätzt die Objektinformationssteuereinheit 200 die Erkennungs-ID des Objekts, deren Merkmalsmenge um eine Stufe zugenommen hat, unter Verwendung des letzten Teils der Erkennungs-ID-Anordnung und löscht außerdem den letzten Teil der für die Schätzung verwendeten Erkennungs-ID-Anordnung (Schritt S184). In einem Fall, in dem die Finger-ID nicht in der Besitzzustandsverwaltungstabelle registriert wurde oder die Erkennungs-ID-Anordnung nicht hält (Schritt S183, Nein), schätzt die Objektinformationssteuereinheit 200, dass ein unbekanntes Objekt, das von einem neuen Finger aufgetreten ist, das Objekt mit den gleichen Merkmalen ist, da das Objekt um eine Stufe zugenommen hat und an der gleichen Stelle zum Überlappen gebracht wurde, und weist eine Erkennungs-ID zu, die derjenigen des Objekts in einer Stufe darunter entspricht (Schritt S185).
  • In einem Fall, in dem die nächstgelegene Finger-ID bei der Bestimmung in Schritt S182 (Schritt S182, Ja) nicht entdeckt werden konnte, schätzt die Objektinformationssteuereinheit 200, dass das unbekannte Objekt, das vom neuen Finger aufgetreten ist, das Objekt mit den gleichen Merkmalen ist, da das Objekt um eine Stufe zunimmt und an der gleichen Stelle zum Überlappen gebracht wurde, und weist die Erkennungs-ID zu, die derjenigen des Objekts in der Stufe darunter entspricht (Schritt S185).
  • Anschließend wird die Verarbeitung für den Fall beschrieben, in dem die Merkmalsmenge im zuvor erwähnten Schritt S165 um gleich oder mehr als zwei Stufen zugenommen hat. 18 ist ein Ablaufdiagramm, das ein Betriebsbeispiel der Objektinformationssteuereinheit 200 gemäß der Ausführungsform der Offenbarung veranschaulicht, und ist ein Ablaufdiagramm, das die Verarbeitung für den Fall, in dem die Merkmalsmenge in Schritt S165 in 15 um gleich oder mehr als zwei Stufen zugenommen hat, veranschaulicht. Es wird darauf hingewiesen, dass die Reihe von Prozessen von der Fingererkennungseinheit 210 und der Attributverarbeitungseinheit 220 ausgeführt werden kann.
  • Die Objektinformationssteuereinheit 200 führt zunächst Verarbeitung zur Erkennung des nächstgelegenen Fingers durch (Schritt S191). Dann bestimmt die Objektinformationssteuereinheit 200, ob eine nächstgelegene Finger-ID durch die Verarbeitung zur Erkennung des nächstgelegenen Fingers entdeckt werden konnte oder nicht (Schritt S192).
  • In einem Fall, in dem die nächstgelegene Finger-ID entdeckt werden konnte (Schritt S192, Ja), bestimmt die Objektinformationssteuereinheit 200, ob die Finger-ID in der Besitzzustandsverwaltungstabelle registriert wurde oder nicht und eine Erkennungs-ID-Anordnung hält (Schritt S193). In einem Fall, in dem die Finger-ID in der Besitzzustandsverwaltungstabelle registriert wurde und die Erkennungs-ID-Anordnung hält (Schritt S193, Ja), bestimmt die Objektinformationssteuereinheit 200, ob eine Erkennungs-ID-Anordnung entsprechend der Anzahl von zunehmenden Stufen vorhanden ist oder nicht (Schritt S194). Wenn die Erkennungs-ID-Anordnung entsprechend der Anzahl von zunehmenden Stufen (Schritt S194, Ja) vorhanden ist und alle zunehmenden Objekte bekannte Objekte sind, weist die Objektinformationssteuereinheit 200 den Objekten unter Verwendung der Erkennungs-ID-Anordnung entsprechend der Anzahl von zunehmenden Stufen bestehende Erkennungs-IDs zu und löscht die Erkennungs-ID-Anordnung entsprechend der Anzahl von zunehmenden Stufen aus der Besitzzustandsverwaltungstabelle (Schritt S195).
  • Wenn die der Anzahl von zunehmenden Stufen entsprechende Erkennungs-ID-Anordnung bei der Bestimmung in Schritt S194 nicht vorhanden ist (Schritt S194, Nein), bestimmt die Objektinformationssteuereinheit 200, dass ein unbekanntes Objekt zwischen Objekten entsprechend der Anzahl von zunehmenden Stufen angeordnet ist, und verwendet verfügbare Erkennungs-IDs so weit wie möglich. Die Objektinformationssteuereinheit 200 schätzt, dass ein mangelhaftes Teil ein Objekt mit den gleichen Eigenschaften wie diejenigen der untersten Stufe eines zusammen platzierten Objekts ist und aktualisiert die Attributverwaltungstabelle mit der gleichen Erkennungs-ID (Schritt S196). Die Objektinformationssteuereinheit 200 löscht auch die bereits verwendete Erkennungs-ID-Anordnung.
  • In einem Fall, in dem die Finger-ID bei der Bestimmung in Schritt S192 (Schritt S192, Nein) nicht erkannt werden konnte, bedeutet dies, dass ein unbekanntes, von einem neuen Finger auftretendes Objekt um mehrere Stufen zugenommen hat, und die Objektinformationssteuereinheit 200 schätzt, dass das Objekt die gleichen Eigenschaften aufweist, da das Objekt an der gleichen Stelle zum Überlappen gebracht wurde. Dann weist die Objektinformationssteuereinheit 200 eine Erkennungs-ID zu, die der des Objekts in einer Stufe darunter entspricht (Schritt S197).
  • In einem Fall, in dem die Finger-ID nicht in der Besitzzustandsverwaltungstabelle registriert wurde oder die Erkennungs-ID-Anordnung bei der Bestimmung in Schritt S193 nicht hält (Schritt S193, Nein), schätzt die Objektinformationssteuereinheit 200, dass das Objekt die gleichen Eigenschaften aufweist, da das Objekt an der gleichen Stelle zum Überlappen gebracht wurde. Dann weist die Objektinformationssteuereinheit 200 eine Erkennungs-ID zu, die der des Objekts in einer Stufe darunter entspricht (Schritt S197).
  • Die Objektinformationssteuereinheit 200 kann Bewegung des Objekts verfolgen, wie z. B. Bewegung des Objekts, das zum Überlappen gebracht und gleichzeitig platziert wurde, oder Bewegung des Objekts, das gleichzeitig mit den Fingern platziert wurde, indem sie erkennt, ob sich die Merkmalsmenge des Objekts auf diese Weise geändert hat oder nicht. Die Objektinformationssteuereinheit 200 kann auch schätzen, dass das Objekt mit der gleichen Bewegung die gleichen Eigenschaften aufweist, und kann dem unbekannten Objekt durch eine derartige Reihe von Prozessen eine Erkennungs-ID zuweisen.
  • Spezifische Beispiele der Reihe von durch die oben beschriebene Objektinformationssteuereinheit 200 durchgeführten Prozessen werden beschrieben. Die folgenden Beispiele werden am Beispiel der Höhe eines Objekts, die von einem dreidimensionalen Sensor übernommen wurde, als eine in der Objektverwaltungstabelle zu speichernde Merkmalsmenge beschrieben. Zunächst wird ein Beispiel beschrieben, in dem ein unbekanntes Objekt in einer abtastbaren Region erscheint.
  • 19A bis 19C sind erklärende Diagramme zum Erläutern von Operationen, wenn ein unbekanntes Objekt in einer abtastbaren Region erschienen ist. 19A bis 19C veranschaulichen auch Zustände der jeweiligen Tabellen in einem Fall, in dem ein Tisch der abtastbaren Region entspricht und das unbekannte Objekt auf dem Tisch erschienen ist.
  • 19A ist ein Diagramm, das einen Zustand veranschaulicht, in dem eine ein Objekt haltende Hand a erschienen ist. In diesem Fall wird angenommen, dass keine Informationen in der Objektverwaltungstabelle, der Besitzzustandsverwaltungstabelle und der Attributverwaltungstabelle registriert wurden.
  • 19B ist ein Diagramm, das einen Zustand veranschaulicht, in dem eine ein Objekt haltende Hand das Objekt auf den Tisch platziert hat. Auch zu diesem Zeitpunkt wurden noch keine Informationen in der Objektverwaltungstabelle, der Besitzzustandsverwaltungstabelle und der Attributverwaltungstabelle registriert.
  • 19C ist ein Diagramm, das einen Zustand veranschaulicht, in dem eine Hand ein Objekt auf einem Tisch platziert und dann vom Objekt getrennt wird. Wenn das Objekt auf dem Tisch platziert und die Hand vom Objekt getrennt ist, erkennt die Objektinformationssteuereinheit 200 das auf dem Tisch platzierte Objekt und registriert, wie in 19C veranschaulicht, Informationen für das Objekt. Die Objektinformationssteuereinheit 200 registriert eine Objekt-ID „1“ für das Objekt und registriert „A“ als eine Erkennungs-ID in einer Erkennungs-ID-Anordnung. Die Objektinformationssteuereinheit 200 registriert auch Informationen der Erkennungs-ID „A“ in der Attributverwaltungstabelle. Da zu diesem Zeitpunkt noch nicht ersichtlich ist, welche Attribute das Objekt aufweist, registriert die Objektinformationssteuereinheit 200 das Objekt als ein unbekanntes Objekt in der Attributverwaltungstabelle.
  • Anschließend werden Operationen in einem Fall beschrieben, in dem ein Objekt mit bekannten Attributen in einer abtastbaren Region platziert und das Objekt innerhalb der abtastbaren Region bewegt wird. 20A bis 20D sind beispielhafte Diagramme zum Erläutern von Operationen in einem Fall, in dem ein Objekt in einer abtastbaren Region platziert und das Objekt innerhalb der abtastbaren Region bewegt wird. 20A bis 20C veranschaulichen auch Zustände der jeweiligen Tabellen in einem Fall, in dem ein Tisch der abtastbaren Region entspricht und das Objekt mit bekannten Attributen auf dem Tisch bewegt wird.
  • 20A ist ein Diagramm, das einen Zustand veranschaulicht, in dem das Objekt mit der Objekt-ID „1“ auf dem Tisch platziert wird. In diesem Zustand wird angenommen, dass Informationen, wie in 20A veranschaulicht, in der Objektverwaltungstabelle, der Besitzzustandsverwaltungstabelle und der Attributverwaltungstabelle registriert wurden.
  • 20B ist ein Diagramm, das einen Zustand veranschaulicht, in dem das Objekt mit der Objekt-ID „1“ in einer Hand (Hand a) gehalten wird. Wenn Bedecken des Objekts mit der Objekt-ID „1“ mit der Hand (Hand a) erkannt wird, verschiebt die Objektinformationssteuereinheit 200 Informationen einer Erkennungs-ID-Anordnung, entsprechend dem Objekt, zur Besitzzustandsverwaltungstabelle. Die Objektinformationssteuereinheit 200 bewirkt auch, dass ein Verarbeitungskennzeichen in der Objektverwaltungstabelle zu diesem Zeitpunkt zu falsch wechselt.
  • 20C ist ein Diagramm, das einen Zustand veranschaulicht, in dem sich die das Objekt mit der Erkennungs-ID-Anordnung „A“ haltende Hand über den Tisch bewegt. Zu diesem Zeitpunkt wurden keine Informationen in der Objektverwaltungstabelle registriert, und der Besitz des Objekts mit der Erkennungs-ID-Anordnung „A“ in der Hand mit einer Finger-ID „a“ wurde in der Besitzzustandsverwaltungstabelle registriert.
  • 20D ist ein Diagramm, das einen Zustand veranschaulicht, in dem die Hand mit der Finger-ID „a“ das Objekt mit der Erkennungs-ID-Anordnung „A“ auf dem Tisch platziert und dann vom Objekt getrennt wird. Wenn das Objekt auf dem Tisch platziert und die Hand vom Objekt getrennt ist, erkennt die Objektinformationssteuereinheit 200 das auf dem Tisch platzierte Objekt und registriert, wie in 20D veranschaulicht, Informationen für das Objekt. Die Objektinformationssteuereinheit 200 registriert eine Objekt-ID „2“ für das Objekt und registriert „A“ als eine Erkennungs-ID in einer Erkennungs-ID-Anordnung.
  • Anschließend wird ein Beispiel beschrieben, in dem das Objekt nach außerhalb der abtastbaren Region bewegt wird. Dies ist das Beispiel, in dem, da es nicht offensichtlich ist, dass die Finger dasselbe Objekt halten, wenn die Finger nach außerhalb des Bereichs in einem Zustand verschwinden, in dem die Finger das Objekt halten und wieder erscheinen, die Objektinformationssteuereinheit 200 entsprechende Elemente aus allen Tabellen, der Objektverwaltungstabelle, der Besitzzustandsverwaltungstabelle und der Attributverwaltungstabelle, löscht. Anschließend werden Operationen in einem Fall beschrieben, in dem ein Objekt mit bekannten Attributen in einer abtastbaren Region platziert und das Objekt innerhalb der abtastbaren Region bewegt wird. 21A bis 21D sind beispielhafte Diagramme zum Erläutern von Operationen in einem Fall, in dem ein Objekt in einer abtastbaren Region platziert und das Objekt innerhalb der abtastbaren Region bewegt wird. 21A bis 21D veranschaulichen auch Zustände der jeweiligen Tabellen in einem Fall, in dem ein Tisch der abtastbaren Region entspricht und das Objekt mit bekannten Attributen auf dem Tisch bewegt wird.
  • 21A ist ein Diagramm, das einen Zustand veranschaulicht, in dem das Objekt mit der Objekt-ID „1“ auf dem Tisch platziert wird. In diesem Zustand wird angenommen, dass Informationen, wie in 21A veranschaulicht, in der Objektverwaltungstabelle, der Besitzzustandsverwaltungstabelle und der Attributverwaltungstabelle registriert wurden.
  • 21B ist ein Diagramm, das einen Zustand veranschaulicht, in dem das Objekt mit der Objekt-ID „1“ in einer Hand (Hand a) gehalten wird. Wenn Bedecken des Objekts mit der Objekt-ID „1“ mit der Hand (Hand a) erkannt wird, verschiebt die Objektinformationssteuereinheit 200 Informationen einer Erkennungs-ID-Anordnung, entsprechend dem Objekt, zur Besitzzustandsverwaltungstabelle. Zu diesem Zeitpunkt registriert die Objektinformationssteuereinheit 200 die Finger-ID der erkannten Hand als „a“. Die Objektinformationssteuereinheit 200 bewirkt auch, dass ein Verarbeitungskennzeichen in der Objektverwaltungstabelle zu diesem Zeitpunkt zu falsch wechselt.
  • 21C ist ein Diagramm, das einen Zustand veranschaulicht, in dem sich die das Objekt mit der Erkennungs-ID-Anordnung „A“ haltende Hand der Finger-ID „a“ über den Tisch bewegt. Zu diesem Zeitpunkt wurden keine Informationen in der Objektverwaltungstabelle registriert, und der Besitz des Objekts mit der Erkennungs-ID-Anordnung „A“ in der Hand mit einer Finger-ID „a“ wurde in der Besitzzustandsverwaltungstabelle registriert.
  • 21D ist ein Diagramm, das einen Zustand veranschaulicht, in dem sich die Hand mit der Finger-ID „a“ nach außerhalb des abtastbaren Bereichs bewegt hat. Wenn sich die Hand mit der Finger-ID „a“ nach außerhalb der abtastbaren Region bewegt, und die Eingabeeinheit 110 die Hand nicht erkennen kann, löscht die Objektinformationssteuereinheit 200 Informationen in der Besitzzustandsverwaltungstabelle. Da keine anderen Objekte mit der in der Erkennungs-ID-Anordnung beschriebenen Erkennungs-ID „A“ in der abtastbaren Region vorhanden sind, löscht die Objektinformationssteuereinheit 200 auch Informationen in der Attributverwaltungstabelle.
  • Anschließend wird ein weiteres Beispiel beschrieben, in dem ein Objekt nach außerhalb der abtastbaren Region bewegt wird. Dies ist ein Beispiel, in dem die Objektinformationssteuereinheit 200 alle Elemente pflegt, ein Kennzeichen oder dergleichen auf die Finger-ID in der Besitzzustandsverwaltungstabelle setzt und die Informationen unter der Annahme speichert, dass die Hand das gleiche Objekt haltend wieder erscheint, selbst wenn die Hand nach außerhalb des Bereichs verschwindet. 22A bis 22F sind erklärende Diagramme zum Erläutern von Operationen in einem Fall, in dem ein Objekt in einer abtastbaren Region platziert und das Objekt innerhalb der abtastbaren Region bewegt wird. 22A bis 22F veranschaulichen auch Zustände der jeweiligen Tabellen in einem Fall, in dem ein Tisch der abtastbaren Region entspricht und das Objekt auf dem Tisch bewegt wird.
  • 22A ist ein Diagramm, das einen Zustand veranschaulicht, in dem das Objekt mit der Objekt-ID „1“ auf dem Tisch platziert wird. In diesem Zustand wird angenommen, dass Informationen, wie in 22A veranschaulicht, in der Objektverwaltungstabelle, der Besitzzustandsverwaltungstabelle und der Attributverwaltungstabelle registriert wurden.
  • 22B ist ein Diagramm, das einen Zustand veranschaulicht, in dem das Objekt mit der Objekt-ID „1“ in einer Hand (Hand a) gehalten wird. Wenn Bedecken des Objekts mit der Objekt-ID „1“ mit der Hand (Hand a) erkannt wird, verschiebt die Objektinformationssteuereinheit 200 Informationen einer Erkennungs-ID-Anordnung, entsprechend dem Objekt, zur Besitzzustandsverwaltungstabelle. Zu diesem Zeitpunkt registriert die Objektinformationssteuereinheit 200 die Finger-ID der erkannten Hand als „a“. Die Objektinformationssteuereinheit 200 bewirkt auch, dass ein Verarbeitungskennzeichen in der Objektverwaltungstabelle zu diesem Zeitpunkt zu falsch wechselt.
  • 22C ist ein Diagramm, das einen Zustand veranschaulicht, in dem sich die das Objekt mit der Erkennungs-ID-Anordnung „A“ haltende Hand der Finger-ID „a“ über den Tisch bewegt. Zu diesem Zeitpunkt wurden keine Informationen in der Objektverwaltungstabelle registriert, und der Besitz des Objekts mit der Erkennungs-ID-Anordnung „A“ in der Hand mit einer Finger-ID „a“ wurde in der Besitzzustandsverwaltungstabelle registriert.
  • 22D ist ein Diagramm, das einen Zustand veranschaulicht, in dem sich die Hand mit der Finger-ID „a“ nach außerhalb des abtastbaren Bereichs bewegt hat. Auch wenn sich die Hand mit der Finger-ID „a“ nach außerhalb der abtastbaren Region bewegt, und die Eingabeeinheit 110 die Hand nicht erkennen kann, pflegt die Objektinformationssteuereinheit 200 Informationen in der Besitzzustandsverwaltungstabelle und der Attributverwaltungstabelle. Zu diesem Zeitpunkt wendet die Objektinformationssteuereinheit 200 Informationen an, die angeben, dass sich die Hand mit der Finger-ID „a“ nach außerhalb der abtastbaren Region bewegt hat. Hier gibt die Objektinformationssteuereinheit 200 an, dass sich die Hand nach außerhalb des abtastbaren Region bewegt hat, indem der Finger-ID Klammern hinzugefügt werden.
  • 22E ist ein Diagramm, das einen Zustand veranschaulicht, in dem die Hand mit der Finger-ID „a“ nach innerhalb des abtastbaren Bereichs zurückgekehrt ist. Hierbei wird angenommen, dass die Hand mit der Finger-ID „a“ das Objekt mit der Erkennungs-ID-Anordnung „A“ noch besitzt, und die Objektinformationssteuereinheit 200 entfernt die auf die Finger-ID angewendeten Klammern in der Besitzzustandsverwaltungstabelle.
  • 22F ist ein Diagramm, das einen Zustand veranschaulicht, in dem die Hand mit der Finger-ID „a“ das Objekt mit der Erkennungs-ID-Anordnung „A“ auf dem Tisch platziert und dann vom Objekt getrennt wird. Wenn das Objekt auf dem Tisch platziert und die Hand vom Objekt getrennt ist, erkennt die Objektinformationssteuereinheit 200 das auf dem Tisch platzierte Objekt und registriert, wie in 22F veranschaulicht, Informationen für das Objekt. Die Objektinformationssteuereinheit 200 registriert eine Objekt-ID „2“ für das Objekt und registriert „A“ als eine Erkennungs-ID in einer Erkennungs-ID-Anordnung.
  • Anschließend wird ein beispielhafter Fall beschrieben, in dem eines von zwei auf eine überlappende Weise in der abtastbaren Region platzierten Objekte mit einer Hand gehalten und bewegt wird. 23A bis 23D sind beispielhafte Diagramme zum Erläutern von Operationen in einem Fall, in dem ein Objekt in einer abtastbaren Region platziert und das Objekt innerhalb der abtastbaren Region bewegt wird. 23A bis 23D veranschaulichen auch Zustände der jeweiligen Tabellen in einem Fall, in dem ein Tisch der abtastbaren Region entspricht und das Objekt auf dem Tisch bewegt wird.
  • 23A ist ein Diagramm, das einen Zustand veranschaulicht, in dem ein Objekt mit einer Objekt-ID „1“ auf einem Tisch platziert ist. Das Objekt mit der Objekt-ID „1“ besteht aus zwei überlappenden Objekten mit der Höhe von 1 cm als eine Bezugsmerkmalsmenge in Höhenrichtung. In diesem Zustand wird angenommen, dass Informationen, wie in 23A veranschaulicht, in der Objektverwaltungstabelle, der Besitzzustandsverwaltungstabelle und der Attributverwaltungstabelle registriert wurden. Die Objektinformationssteuereinheit 200 erkennt, dass das obere Objekt eine Erkennungs-ID „A“ hat, kann jedoch nicht erkennen, welches Objekt das untere Objekt der beiden gestapelten Objekte ist. Daher registriert die Objektinformationssteuereinheit 200 „?, A?“. in der Erkennungs-ID-Anordnung in der Objektverwaltungstabelle für das Objekt mit der Obj ekt-ID „1“.
  • 23B ist ein Diagramm, das einen Zustand veranschaulicht, in dem das Objekt mit der Objekt-ID „1“ in einer Hand (Hand a) gehalten wird. Wenn Bedecken des Objekts mit der Objekt-ID „1“ mit der Hand (Hand a) erkannt wird, verschiebt die Objektinformationssteuereinheit 200 Informationen einer Erkennungs-ID-Anordnung, entsprechend dem Objekt, zur Besitzzustandsverwaltungstabelle. Zu diesem Zeitpunkt registriert die Objektinformationssteuereinheit 200 die Finger-ID der erkannten Hand als „a“.
  • 23C ist ein Diagramm, das einen Zustand veranschaulicht, in dem sich die das obere Objekt unter den Objekten mit der Erkennungs-ID-Anordnung „A“ haltende Hand mit der Finger-ID „a“ über den Tisch bewegt. Die Objektinformationssteuereinheit 200 registriert die Objekt-ID des verbleibenden Objekts als „2“ in der Objektverwaltungstabelle. Zu diesem Zeitpunkt weist die Objektinformationssteuereinheit 200 der Erkennungs-ID-Anordnung für das Objekt mit der Objekt-ID „2“ „A“ zu, was nicht offensichtlich war. Dies erfolgt auf der Basis der Schätzung, dass die an der gleichen Stelle gestapelten Objekte die gleichen Attribute aufweisen. Die Objektinformationssteuereinheit 200 registriert auch den Besitz des Objekts mit der Erkennungs-ID-Anordnung „A“ durch die Hand mit der Finger-ID „a“ in der Besitzzustandsverwaltungstabelle.
  • 23D ist ein Diagramm, das einen Zustand veranschaulicht, in dem die Hand mit der Finger-ID „a“ das Objekt auf dem Tisch platziert hat. Die Objektinformationssteuereinheit 200 registriert die Objekt-ID des Objekts, das von der Hand getrennt wurde, als „3“ in der Objektverwaltungstabelle. Da die Hand mit der Finger-ID „a“ unmittelbar zuvor das Objekt mit der Erkennungs-ID-Anordnung „A“ besaß, weist die Objektinformationssteuereinheit 200 zu diesem Zeitpunkt der Erkennungs-ID-Anordnung für das Objekt mit der Objekt-ID „3“ „A“ zu.
  • Anschließend wird ein beispielhafter Fall beschrieben, in dem in einer abtastbaren Region platzierte Objekte gestapelt und dann bewegt werden, und einer von ihnen weiter mit einer Hand gehalten und bewegt wird. 24A bis 24F sind beispielhafte Diagramme zum Erläutern von Operationen in einem Fall, in dem ein Objekt in einer abtastbaren Region platziert und das Objekt innerhalb der abtastbaren Region bewegt wird. 24A bis 24F veranschaulichen auch Zustände der jeweiligen Tabellen in einem Fall, in dem ein Tisch der abtastbaren Region entspricht und das Objekt auf dem Tisch bewegt wird.
  • 24A ist ein Diagramm, das einen Zustand veranschaulicht, in dem Objekte mit Objekt-IDs „1“ und „2“ auf einem Tisch platziert sind. Die Objekte mit Objekt-IDs „1“ und „2“ weisen jeweils eine Höhe von 1 Zentimeter auf. In diesem Zustand wird angenommen, dass Informationen, wie in 24A veranschaulicht, in der Objektverwaltungstabelle, der Besitzzustandsverwaltungstabelle und der Attributverwaltungstabelle registriert wurden. Die Erkennungs-ID-Anordnung des Objekts mit der Objekt-ID „1“ ist „A“, und die Erkennungs-ID-Anordnung des Objekts mit der Objekt-ID „2“ ist „B“.
  • 24B ist ein Diagramm, das einen Zustand veranschaulicht, in dem das Objekt mit der Objekt-ID „1“ in einer Hand (Hand a) gehalten wird. Wenn Bedecken des Objekts mit der Objekt-ID „1“ mit der Hand (Hand a) erkannt wird, verschiebt die Objektinformationssteuereinheit 200 Informationen einer Erkennungs-ID-Anordnung, entsprechend dem Objekt, zur Besitzzustandsverwaltungstabelle. Zu diesem Zeitpunkt registriert die Objektinformationssteuereinheit 200 die Finger-ID der erkannten Hand als „a“.
  • 24C ist ein Diagramm, das einen Zustand veranschaulicht, in dem ein Objekt mit einer Objekt-ID „1“ mit einer Hand auf das Objekt „2“ gestapelt wird. Wenn Bedecken des Objekts mit der Objekt-ID „2“ mit der Hand (Hand a) nach dem Bedecken des Objekts mit der Objekt-ID „1“ erkannt wird, verschiebt die Objektinformationssteuereinheit 200 auch Informationen einer Erkennungs-ID-Anordnung, entsprechend dem Objekt mit der Objekt-ID „2“, zur Besitzzustandsverwaltungstabelle.
  • 24D ist ein Diagramm, das einen Zustand veranschaulicht, in dem überlappende Objekte mit einer Hand angehoben werden. Die Objektinformationssteuereinheit 200 registriert Erkennungs-ID-Anordnung „A, B“ in der Zeile der Finger-ID „a“ in der Besitzzustandsverwaltungstabelle. Die Objektinformationssteuereinheit 200 nimmt wahr, dass die Hand mit der Finger-ID „a“ die Objekte mit der Erkennungs-ID-Anordnung „A, B“ hält.
  • 24E ist ein Diagramm, das einen Zustand veranschaulicht, in dem ein unteres Objekt unter gestapelten Objekten auf einem Tisch platziert ist. Die Objektinformationssteuereinheit 200 registriert die Objekt-ID des Objekts, das von der Hand getrennt wurde, als „3“ in der Objektverwaltungstabelle. Da die Hand mit der Finger-ID „a“ unmittelbar zuvor das Objekt mit der Erkennungs-ID-Anordnung „A“ besaß, weist die Objektinformationssteuereinheit 200 zu diesem Zeitpunkt der Erkennungs-ID-Anordnung für das Objekt mit der Objekt-ID „3“ „B“, eine dem tieferen Objekt zugewiesene Erkennungs-ID, zu.
  • 24F ist ein Diagramm, das einen Zustand veranschaulicht, in dem die Hand mit der Finger-ID „a“ das Objekt auf dem Tisch platziert hat. Die Objektinformationssteuereinheit 200 registriert die Objekt-ID des Objekts, das von der Hand getrennt wurde, als „4“ in der Objektverwaltungstabelle. Da die Hand mit der Finger-ID „a“ unmittelbar zuvor das Objekt mit der Erkennungs-ID-Anordnung „A“ besaß, weist die Objektinformationssteuereinheit 200 zu diesem Zeitpunkt der Erkennungs-ID-Anordnung für das Objekt mit der Objekt-ID „4“ „A“ zu.
  • Anschließend wird ein beispielhafter Fall beschrieben, in dem ein weiteres Objekt in einer Stufe auf ein in einer abtastbaren Region platziertes Objekt gestapelt wird. 25A bis 25D sind erklärende Diagramme zum Erläutern von Operationen in einem Fall, in dem ein weiteres Objekt auf ein in einer abtastbaren Region platziertes Objekt gestapelt wird. 25A bis 25D veranschaulichen auch Zustände der jeweiligen Tabellen in einem Fall, in dem ein Tisch der abtastbaren Region entspricht und das Objekt auf dem Tisch bewegt wird.
  • 25A ist ein Diagramm, das einen Zustand veranschaulicht, in dem Objekt mit Objekt-ID „1“ auf einem Tisch platziert ist. Das Objekt mit der Objekt-ID „1“ weist eine Höhe von 1 Zentimeter auf. In diesem Zustand wird angenommen, dass Informationen, wie in 25A veranschaulicht, in der Objektverwaltungstabelle, der Besitzzustandsverwaltungstabelle und der Attributverwaltungstabelle registriert wurden. Die Erkennungs-ID-Anordnung des Objekts mit der Objekt-ID „1“ ist „A“.
  • 25B ist ein Diagramm, das einen beispielhaften Zustand veranschaulicht, in dem ein weiteres Objekt auf ein Objekt mit einer Objekt-ID „1“ gestapelt wird. Außerdem ist 25C ein Diagramm, das einen Zustand veranschaulicht, in dem eine Hand von einem Objekt getrennt wurde. Da keine Informationen in der Besitzzustandsverwaltungstabelle registriert wurden, ist es nicht offensichtlich, wer das in 25C erschienene Objekt (das erkennbar geworden ist) gehalten hat. Daher ist es auch nicht offensichtlich, um welche Art von Objekt es sich handelt. Somit veranlasst die Objektinformationssteuereinheit 200, dass sich die Objekt-ID „1“ zu „2“ ändert und registriert eine Erkennungs-ID-Anordnung „?, A“ in der Objektverwaltungstabelle.
  • 25D ist ein Diagramm, das ein Beispiel veranschaulicht, in dem eine Erkennungs-ID eines gestapelten Objekts geschätzt wird. Die Objektinformationssteuereinheit 200 schätzt, dass das gestapelte Objekt die gleiche Erkennungs-ID aufweist wie das darunter platzierte Objekt, und registriert eine Erkennungs-ID-Anordnung eines Objekts mit einer Objekt-ID „2“ als „?, A“ in der Obj ektverwaltungstabelle.
  • Anschließend wird ein beispielhafter Fall beschrieben, in dem ein weiteres Objekt in zwei Stufen auf ein in einer abtastbaren Region platziertes Objekt gestapelt wird. 26A bis 26D sind erklärende Diagramme zum Erläutern von Operationen in einem Fall, in dem zwei weitere Objekte auf ein in einer abtastbaren Region platziertes Objekt gestapelt werden. 26A bis 26D veranschaulichen auch Zustände der jeweiligen Tabellen in einem Fall, in dem ein Tisch der abtastbaren Region entspricht und das Objekt auf dem Tisch bewegt wird.
  • 25A ist ein Diagramm, das einen Zustand veranschaulicht, in dem Objekt mit Objekt-ID „1“ auf einem Tisch platziert ist. Das Objekt mit der Objekt-ID „1“ weist eine Höhe von 1 Zentimeter auf. In diesem Zustand wird angenommen, dass Informationen, wie in 25A veranschaulicht, in der Objektverwaltungstabelle, der Besitzzustandsverwaltungstabelle und der Attributverwaltungstabelle registriert wurden. Die Erkennungs-ID-Anordnung des Objekts mit der Objekt-ID „1“ ist „A“. Es wurde auch eine Erkennungs-ID-Anordnung „B“ für eine Hand mit einer Finger-ID „a“ registriert. Das heißt, die Objektinformationssteuereinheit 200 nimmt wahr, dass zu diesem Zeitpunkt nur ein Objekt mit einer Erkennungs-ID „B“ von der Hand mit der Finger-ID „a“ gehalten wird.
  • 26B ist ein Diagramm, das einen beispielhaften Zustand veranschaulicht, in dem ein weiteres Objekt auf ein Objekt mit einer Objekt-ID „1“ gestapelt wird. 26C ist auch ein Diagramm, das einen beispielhaften Zustand veranschaulicht, in dem eine Hand von einem Objekt getrennt wurde. Da sich die Höhe als ein Ergebnis der der von der Eingabeeinheit 110 durchgeführten Erkennung vergrößert hat, veranlasst die Objektinformationssteuereinheit 200, dass sich die Objekt-ID „1“ zu „2“ ändert. Dann verschiebt die Objektinformationssteuereinheit 200 die Informationen der in der Besitzzustandsverwaltungstabelle registrierten Erkennungs-ID-Anordnung in die Objektverwaltungstabelle, und eine Vergrößerung der Höhe von 1 cm auf 3 cm zu diesem Zeitpunkt gibt an, dass zwei weitere Objekte auf das Objekt mit der Objekt-ID „1“ gestapelt wurden. Die Objektinformationssteuereinheit 200 nimmt jedoch wahr, dass nur ein Objekt mit der Erkennungs-ID „B“ mit der Hand mit der Finger-ID „a“ gehalten wird. Das heißt, obwohl die Erkennungs-ID des untersten Objekts „A“ und die Erkennungs-ID des obersten Objekts „B“ ist, ist die Erkennungs-ID des Zwischenobjekts nicht bekannt. Daher registriert die Objektinformationssteuereinheit 200 eine Erkennungs-ID-Anordnung der Objekt-ID „2“ als „A, ?, B“.
  • 26D ist ein Diagramm, das ein Beispiel veranschaulicht, in dem eine Erkennungs-ID eines gestapelten Objekts geschätzt wird. Die Objektinformationssteuereinheit 200 schätzt, dass das Objekt mit einer unbekannten Erkennungs-ID die gleiche Erkennungs-ID aufweist wie das Objekt, mit dem es zusammen gehalten wird, und registriert die Erkennungs-ID-Anordnung des Objekts mit der Objekt-ID „2“ als „A, B, B“ in der Objektverwaltungstabelle.
  • Selbst in einem Fall, in dem der Benutzer ein auf einem Tisch platziertes Objekt mit der Hand abdeckt und das Objekt erneut auf dem Tisch platziert, kann kontinuierlich eine Erkennungs-ID auf das Objekt angewendet werden, indem die Erkennungs-ID auf diese Weise auf das Objekt angewendet und die in der Nähe des Objekts in der Umgebung platzierte Hand erkannt wird. Durch Anwendung der Technologie ist es zum Beispiel möglich, ein Objekt, das keine Funktion zum Kommunizieren mit einem Netzwerk besitzt, zu veranlassen, sich so zu verhalten, als ob es eine Netzwerk-Kommunikationsfunktion besäße.
  • 27 ist ein erklärendes Diagramm, das ein Konfigurationsbeispiel eines Kommunikationssystems unter Verwendung des Informationsverarbeitungssystems 100 gemäß der Ausführungsform der Offenbarung veranschaulicht. In 27 sind das Informationsverarbeitungssystem 100 sowie ein Router 700 und ein PC 800, die mit dem Informationsverarbeitungssystem 100 über ein Netzwerk verbunden sind, veranschaulicht. Das Netzwerk kann ein Weitverkehrsnetz (Wide Area Network, WAN), wie z. B. das Internet, oder ein lokales Netzwerk (Local Area Network, LAN) sein. Die Netzwerkverbindung zwischen dem Informationsverarbeitungssystem 100, dem Router 700 und dem PC 800 kann eine drahtgebundene oder eine drahtlose Verbindung sein. Außerdem kann als Kommunikationsprotokoll des Netzwerks TCP/IP oder ein anderes Protokoll, zum Beispiel ein speziell definiertes Protokoll, verwendet werden.
  • Außerdem sind in einer vom Informationsverarbeitungssystem 100 abtastbaren Region auf einem Tisch platzierte Objekte 601 und 602 in 27 veranschaulicht. Die beiden Objekte 601 und 602 sind Objekte ohne Kommunikationsfunktion, wie z. B. Lebensmittelbehälter. Somit werden auf diese Objekte 601 und 602 in der Ausführungsform Kennungen, mit denen die Objekte eindeutig identifiziert werden können, wie z. B. IP-Adressen, angewendet. Die Kennungen dienen zum virtuellen Zugreifen auf die Objekte 601 und 602, und in 27 werden für das Informationsverarbeitungssystem 100, den Router 700 und den PC 800 IP-Adressen, die in der eigentlichen Kommunikation verwendet werden, und für die Objekte 601 und 602 virtuelle IP-Adressen, die vom Informationsverarbeitungssystem 100 eindeutig identifiziert werden können, veranschaulicht. Das heißt, die den Objekten 601 und 602 zugewiesenen virtuellen IP-Adressen werden vom Informationsverarbeitungssystem 100 nicht zum Durchführen von Kommunikation unter Verwendung dieser IP-Adressen, sondern vom Informationsverarbeitungssystem 100 zum Identifizieren der Objekte verwendet. Es wird darauf hingewiesen, dass, obwohl die IP-Adressen als Kennungen verwendet werden, mit denen Objekte in der Ausführungsform eindeutig identifiziert werden können, die Offenbarung nicht auf ein solches Beispiel beschränkt ist, und das Informationsverarbeitungssystem 100 Objekt-IDs zum Abtasten der Objekte oder Objekt-IDs mit vorbestimmten Indizes (objectIndex) verwenden kann, die in einem anderen Fall dazu hinzugefügt werden.
  • Die folgenden Informationen werden den in 27 veranschaulichten Objekten 601 und 602 durch die Attributverarbeitungseinheit 220 zugewiesen. Hier ist das Objekt mit der Objekt-ID 1 das Objekt 601 und das Objekt mit der Objekt-ID 2 das Objekt 602.
    [Tabelle 4] (Tabelle 4: Objektverwaltungstabelle)
    Objekt-ID Erkennungs- ID-Anordnung Merkmalsmenge Verarbeitungskennzeichen
    1 A 1 cm wahr
    2 B 1 cm wahr
    [Tabelle 5] (Tabelle 5: Attributverwaltungstabelle)
    Erkennungs- ID Attribut
    A IP-Adresse ist 192.168.1.2
    B IP-Adresse ist 192.168.1.3
  • Das Informationsverarbeitungssystem 100 ist praktisch ein Gateway und konfiguriert ein virtuelles lokales Netzwerk, das sich so verhält, als wäre das lokale Netzwerk ein Dynamic Host Configuration Protocol-Server (DHCP-Server). Durch Anwenden von Attributen, wie in Tabelle 5 oben auf die Objekte 601 und 602 veranschaulicht, ist es möglich, eine Anweisung zum Abtasten von Zuständen der Objekte 601 und 602 vom PC 800 zum Beispiel an das Informationsverarbeitungssystem 100 bereitzustellen. Das heißt, durch Übertragen einer Anforderung mit Bezeichnung der den Objekten 601 und 602 zugeordneten IP-Adressen vom PC 800 an das Informationsverarbeitungssystem 100 kann das Informationsverarbeitungssystem 100 Verarbeitung (Abtastverarbeitung oder Informationsprojektionsverarbeitung) an den bezeichneten Objekten durchführen.
  • Da das Informationsverarbeitungssystem 100 verschiedene Sensoren wie oben beschrieben einschließen kann, ist das Informationsverarbeitungssystem 100 in der Lage, Informationen abzutasten, wie z. B. die Gewichte, die Größen, die Anzahl, die Farben, die Temperaturen und dergleichen der in einer abtastbaren Region platzierten Objekte, zum Beispiel. Das Informationsverarbeitungssystem 100 kann auf der Basis der Anforderung vom PC 800 wahrnehmen, welche Art von Information von welchem Objekt abgetastet werden soll. Es wird darauf hingewiesen, dass das Informationsverarbeitungssystem 100 auf der Basis einer Anforderung von einer externen Vorrichtung zwei oder mehr Zustände gleichzeitig abtasten kann. In einem Fall, in dem zum Beispiel eine Anforderung zum Abtasten der Anzahl und der Gewichte von bezeichneten Objekten vom PC 800 übertragen wird, tastet das Informationsverarbeitungssystem 100 auf der Basis der Anforderung die Anzahl und die Gewichte der bezeichneten Objekte ab.
  • 28 ist ein Ablaufdiagramm, das ein Betriebsbeispiel des Informationsverarbeitungssystems 100 gemäß der Ausführungsform der Offenbarung veranschaulicht. Was in 28 veranschaulicht wird, ist ein Betriebsbeispiel des Informationsverarbeitungssystems 100 in einem Fall, in dem Zustände von in einer vom Informationsverarbeitungssystem 100 abtastbaren Region platzierten Objekten auf der Basis einer Anweisung von außen abgetastet werden, oder in einem Fall, in dem Projektion von Informationen auf der Basis einer Anweisung von außen durchgeführt wird.
  • Das Informationsverarbeitungssystem 100 bestimmt, ob eine vorbestimmte Endebedingung, wie z. B. eine von einem Benutzer durchgeführte vorbestimmte Operation, erfüllt ist oder nicht (Schritt S201) und beendet eine Reihe von Prozessen, wenn die Endebedingung erfüllt ist (Schritt S201, Ja), oder bestimmt, ob eine Anforderung dann von einer externen Vorrichtung empfangen wurde oder nicht (Schritt S202), wenn die Endebedingung nicht erfüllt ist (Schritt S201, Nein). In der Ausführungsform wird entweder eine Informationsübernahmeanforderung zum Übernehmen eines Zustands eines Objekts oder dergleichen oder eine Informationsausgabeanforderung zum Ausgeben von Informationen von der externen Vorrichtung an das Informationsverarbeitungssystem 100 über ein Netzwerk als eine Anforderung übertragen.
  • Wenn keine Anforderung von der externen Vorrichtung, zum Beispiel vom PC 800 empfangen wurde (Schritt S202, Nein), kehrt das Informationsverarbeitungssystem 100 zur Verarbeitung zum Bestimmen zurück, ob die vorbestimmte Endebedingung in Schritt S201 erfüllt ist oder nicht.
  • Wenn inzwischen eine Anforderung von der externen Vorrichtung, zum Beispiel vom PC 800, empfangen wurde (Schritt S202, Ja), analysiert das Informationsverarbeitungssystem 100 die Anforderung (Schritt S203) und bestimmt, ob es sich bei der empfangenen Anforderung um eine Informationsübernahmeanforderung zum Übernehmen eines Zustands eines Objekts handelt oder nicht (Schritt S204). Die Bestimmung kann zum Beispiel von der Attributverarbeitungseinheit 220 ausgeführt werden. Wenn die empfangene Anforderung die Informationsübernahmeanforderung zum Übernehmen eines Zustands eines Objekts ist (Schritt S204, Ja), führt das Informationsverarbeitungssystem 100 Informationsübernahmeanforderungsverarbeitung zum Übernehmen des Zustands des Objekts durch (Schritt S205). Die Informationsübernahmeanforderungsverarbeitung zum Übernehmen des Zustands des Objekts ist Verarbeitung zum Abtasten des in der abtastbaren Region platzierten Objekts unter Verwendung der Eingabeeinheit 110, und in diesem Fall handelt es sich bei der Informationsübernahmeanforderung um eine Abtastanforderung. Das Objekt als ein Ziel der Abtastung kann von einer externen Vorrichtung, zum Beispiel vom PC 800, bezeichnet werden. Es wird darauf hingewiesen, dass in einem Fall, in dem Details der Informationsübernahmeanforderung auf eine Informationsübernahme hinweisen, die keine Abtastung erfordert, das Informationsverarbeitungssystem 100 bezeichnete Informationen von einem Speichermedium, wie z. B. einem Speicher, liest und die gelesenen Informationen als eine Antwort überträgt, ohne die Verarbeitung zum Abtasten des Objekts durchzuführen. Die Informationsübernahme, die keine Abtastung erfordert, bedeutet zum Beispiel Erfassen eines Zustands des Informationsverarbeitungssystems 100, und insbesondere bezieht sich eine solche Informationsübernahme auf einen Fall, in dem zum Beispiel Informationen wie eine Betriebszeit ab dem Einschalten einer Leistung des Informationsverarbeitungssystems 100, eine Gesamtbetriebszeit, eine Betriebszeitzone und eine Firmware-Version übernommen werden. Wenn außerdem ein Zustand eines Sensors, eines Projektors oder dergleichen (normal oder anormal) als Zustand des Informationsverarbeitungssystems 100 übernommen werden kann, kann der Zustand einer derartigen Vorrichtung auch in den Zustand des Informationsverarbeitungssystems 100 eingeschlossen werden. Wenn die empfangene Anforderung die Informationsausgabeanforderung zum Ausgeben von Informationen ist (Schritt S204, Ja), führt das Informationsverarbeitungssystem 100 Informationsausgabeanforderungsverarbeitung zum Projizieren der Informationen durch (Schritt S206). Derartige Verarbeitung kann zum Beispiel von der Attributverarbeitungseinheit 220 ausgeführt werden. Ein Ziel der Projektion der Informationen kann von der externen Vorrichtung, zum Beispiel vom PC 800, bezeichnet werden. In einem Fall, in dem die Informationsausgabeanforderungsverarbeitung eine Projektion von Informationen ist, tastet das Informationsverarbeitungssystem 100 die Position, die Höhe und dergleichen des Objekts, das durch eine in der Anforderung eingeschlossene Kennung bezeichnet ist, einen Zustand des Projektionsziels und dergleichen ab und projiziert die Informationen an einer geeigneten Stelle gemäß dem Objekt. In einem Fall, in dem die Sichtbarkeit schlecht ist, weil die Farbe des Objekts schwarz, die Form der Oberfläche des Objekts ziemlich rau oder der Bereich der Oberfläche des Objekts schmal ist, projiziert das Informationsverarbeitungssystem 100 die Informationen zum Beispiel in die Umgebung des Objekts. Wenn zum Beispiel die Farbe des Objekts weiß, die Oberfläche des Objekts eben und die Oberfläche des Objekts groß genug ist, um die Informationen zu projizieren, projiziert das Informationsverarbeitungssystem 100 die Informationen auf die Oberfläche des Objekts. Außerdem kann das Informationsverarbeitungssystem 100 in einem Fall, in dem die Position des Benutzers mit einem in der Eingabeeinheit 110 bereitgestellten Sensor oder einem anderen Sensor abgetastet werden kann, Informationen, wie z. B. eine Zeichenfolge oder ein Bild, in Richtung des Benutzers projizieren. Das heißt, dass in einem Fall, in dem eine externe Vorrichtung, zum Beispiel der PC 800, eine Informationsausgabeanforderung überträgt, Informationen an eine Stelle projiziert werden können, die in Bezug auf das Objekt angemessen ist, indem lediglich eine Kennung angegeben wird, selbst wenn der PC 800 das Objekt, auf das die Informationen projiziert werden sollen, oder einen aktuellen Zustand der Umgebung des Objekts nicht wahrgenommen hat, oder ohne die Projektionsposition mittels Koordinaten oder dergleichen genau zu bestimmen. Außerdem kann die Anforderung zum Projizieren von Informationen einen Befehl einschließen, der eine Projektionsposition (zum Beispiel die Oberfläche des Objekts, die rechte Richtung, die linke Richtung, die obere Richtung oder die untere Richtung) in Bezug auf das Objekt bezeichnet. In einem Fall, in dem das Informationsverarbeitungssystem 100 die Kennung des Objekts und den Befehl, der die relative Projektionsposition bezeichnet, vom PC 800 empfängt, tastet die Objektinformationssteuereinheit 200 die aktuelle Position des Objekts entsprechend der Kennung des durch die empfangene Anforderung bezeichneten Objekts ab und projiziert die bezeichneten Informationen an die durch den Befehl bezeichnete relative Position in Bezug auf die aktuelle Position. Es wird darauf hingewiesen, dass die Informationsausgabeanforderungsverarbeitung nicht auf die Projektion von Informationen beschränkt ist. Die Informationsausgabeanforderung kann zum Beispiel einen Befehl für eine Anweisung zum Ausgeben von Ton einschließen. In einem Fall, in dem der Befehl für eine Anweisung zum Ausgeben von Ton in der Informationsausgabeanforderung eingeschlossen ist, kann das Informationsverarbeitungssystem 100 Tonausgabe unter Verwendung eines Richtlautsprechers oder dergleichen als Informationsausgabeanforderungsverarbeitung durchführen.
  • Wenn die Übernahmeanforderungsverarbeitung oder die Projektionsanforderungsverarbeitung abgeschlossen ist, führt das Informationsverarbeitungssystem 100 Verarbeitung zum Senden einer Antwort an die Vorrichtung durch, die die Anforderung gesendet hat (Schritt S207). Als Reaktion auf die Anforderung von der externen Vorrichtung kann das Informationsverarbeitungssystem 100 durch Ausführen der Reihe von Operationen ein Objekt abtasten oder Informationen projizieren.
  • Anschließend werden spezifische Details der Kommunikation zwischen dem Informationsverarbeitungssystem 100 und dem PC 800 beschrieben. 29 ist ein Ablaufdiagramm, das ein Betriebsbeispiel des Informationsverarbeitungssystems 100 und des PC 800 veranschaulicht. In dem in 29 veranschaulichten Beispiel wird eine Objekt-ID mit einem dazu hinzugefügten vorbestimmten Index (objectIndex) als Information zum Identifizieren des Objekts verwendet.
  • Der PC 800 überträgt zunächst eine Anforderung zum Anfragen, ob ein Objekt in der abtastbaren Region des Informationsverarbeitungssystems 100 für das Informationsverarbeitungssystem 100 vorhanden ist oder nicht (Schritt S211). Zu diesem Zeitpunkt wird eine Adresse des Informationsverarbeitungssystems 100 und ein Argument als eine Erkennungs-ID (hier wird die Erkennungs-ID als „B“ angenommen; dasselbe gilt für die folgende Beschreibung) des Zielobjekts durch den PC 800 bezeichnet. Das Informationsverarbeitungssystem 100 führt Abtasten durch und gibt eine Antwort darauf zurück, ob das bezeichnete Objekt für den PC 800 vorhanden ist oder nicht (Schritt S212). Das Informationsverarbeitungssystem 100 gibt eine Codezahl 200 an den PC 800 zurück, wenn das Objekt vorhanden ist, oder gibt eine Codezahl 404 an den PC 800 zurück, wenn das Objekt nicht vorhanden ist. Durch ein Hypertext-Übertragungsprotokoll (Hypertext Transfer Protocol, HTTP) definierte Statuscodes können als diese Codes verwendet werden, und die Codes können zum Beispiel als Anwendungsprogrammierschnittstellen (WEB Application Programming Interfaces (APIs)) verwendet werden. Die zwischen dem Informationsverarbeitungssystem 100 und dem PC 800 verwendeten Codes sind jedoch nicht auf die durch HTTP definierten Statuscodes beschränkt.
  • Anschließend überträgt der PC 800 eine Anforderung zum Übernehmen der Temperatur des Objekts an das Informationsverarbeitungssystem 100 (Schritt S213). Das Informationsverarbeitungssystem 100 tastet die Temperatur des bezeichneten Objekts ab und gibt das Ergebnis der Abtastung als Antwort auf die Anforderung an den PC 800 zurück (Schritt S214). Hier wird ein Beispiel, in dem zwei Objekte mit der Erkennungs-ID „B“ vorhanden sind, das Informationsverarbeitungssystem 100 die Temperaturen der beiden Objekte abtastet und die Ergebnisse an den PC 800 zurückgibt, veranschaulicht. Es wird darauf hingewiesen, dass in 29 die Antwort, die angibt, dass die Temperatur des Objekts mit „objectIndex“ „1“ 20 Grad Celsius und die Temperatur des Objekts mit „objectIndex“ „2“ 10 Grad Celsius beträgt, vom Informationsverarbeitungssystem 100 an den PC 800 zurückgegeben wird.
  • Dann überträgt der PC 800 eine Anforderung zum Projizieren von Informationen an das Informationsverarbeitungssystem 100 (Schritt S215). Hier wird ein Beispiel, in dem eine Anforderung zum Projizieren einer Nachricht „Möchten Sie noch eins?“ für das Objekt mit der Temperatur von 20 Grad Celsius vom PC 800 an das Informationsverarbeitungssystem 100 übertragen wird, veranschaulicht.
  • Das Informationsverarbeitungssystem 100 projiziert Informationen auf der Basis der Anforderung zum Projizieren von Informationen und gibt dann das Ergebnis der Projektionsverarbeitung an den PC 800 zurück (Schritt S216).
  • 30A und 30B sind erklärende Diagramme, die Beispiele des Abtastens eines Objekts und Projizierens von Informationen durch das Informationsverarbeitungssystem 100 veranschaulichen. 30A und 30B veranschaulichen mit Bier gefüllte Gläser als Objekte 601 und 602. Die Erkennungs-IDs (recognitionID) der beiden Objekte 601 und 602 wurden als „B“ registriert. Außerdem wurden „objectIndex“ des Objekts 601 als „1“ und „objectIndex“ des Objekts 602 als „2“ registriert.
  • Das Informationsverarbeitungssystem 100 misst die Temperatur des Objekts 601 als 20 Grad und die Temperatur des Objekts 602 als 10 Grad als ein Ergebnis der Abtastung der Temperaturen der Objekte 601 und 602 als Reaktion auf die Anforderung zum Übernehmen der Temperaturen der Objekte, die vom PC 800 gesendet wird.
  • Da die Temperatur des Objekts 601 20 Grad beträgt, überträgt ein Bediener des PC 800 eine Anforderung zum Projizieren einer Nachricht „Möchten Sie noch eins?“ für das Objekt 601 an das Informationsverarbeitungssystem 100. Das Informationsverarbeitungssystem 100 kann die Nachricht „Möchten Sie noch eins?“ als Reaktion auf die Anforderung vom PC 800 in die Umgebung des Objekts 601 projizieren, wie in 30B veranschaulicht.
  • Ein weiteres Beispiel der Anforderung vom PC 800 an das Informationsverarbeitungssystem 100 wird beschrieben. In einem Fall, in dem die Anzahl der Objekte mit einer Erkennungs-ID „A“ zurückgegeben werden soll, überträgt der PC 800 eine Anforderung einschließlich einer URL, auf die ein Argument angewendet wurde, wie nachfolgend beschrieben, an das Informationsverarbeitungssystem 100. Das Informationsverarbeitungssystem 100 zählt die Anzahl der Objekte mit der Erkennungs-ID „A“ und teilt die Anzahl der Objekte mit der Erkennungs-ID „A“ dem PC 800 auf der Basis der Anforderung mit. http ://11.22.33.2/index.html?recognitionID=A&query=number
  • In einem Fall, in dem die Farbe des ersten Objekts mit einer Erkennungs-ID „A“ zurückgegeben werden soll, überträgt der PC 800 eine Anforderung einschließlich einer URL, auf die ein Argument angewendet wurde, wie nachfolgend beschrieben, an das Informationsverarbeitungssystem 100. Das Informationsverarbeitungssystem 100 tastet die Farbe des ersten Objekts mit der Erkennungs-ID „A“ ab und teilt die Farbe des ersten Objekts mit der Erkennungs-ID „A“ dem PC 800 auf der Basis der Anforderung mit.
    http: //11.22.33.2/index.html?recognitionID=A&objectIndex=1&query=color
  • In einem Fall, in dem die Größe des zweiten Objekts mit einer Erkennungs-ID „B“ in Millimetereinheiten zurückgegeben werden soll, überträgt der PC 800 eine Anforderung einschließlich einer URL, auf die ein Argument angewendet wurde, wie nachfolgend beschrieben, an das Informationsverarbeitungssystem 100. Das Informationsverarbeitungssystem 100 tastet die Größe des zweiten Objekts mit der Erkennungs-ID „B“ in Millimetereinheiten ab und teilt die Größe des zweiten Objekts mit der Erkennungs-ID „B dem PC 800 auf der Basis der Anforderung mit.
    http://11.22.33.2/index.html?recognitionID=B&objectIndex=2&query=size&unit=m m
  • Obwohl die Objekt-ID mit einem vorbestimmten, dazu hinzugefügten Index (objectIndex) als Information zum Identifizieren eines Objekts im Beispiel in 29 verwendet wird, kann die Objekt-ID selbst oder auch die Objekt-ID mit einer dazu hinzugefügten IP-Adresse als die Information zum Identifizieren des Objekts verwendet werden, wie oben beschrieben. Der oben erwähnte Argumentteil in der URL (der Parameter nach „?“) ändert sich je nachdem, welche Art von Information als die Information zum Identifizieren des Objekts verwendet wird.
  • Ein der Erkennungs-ID zugeordnetes Attribut kann ein anderes Attribut als die IP-Adresse sein. Zum Beispiel kann Information hinsichtlich des Objekttyps als das Attribut, das der Erkennungs-ID zugeordnet ist, zugeordnet werden. Im Fall eines Lebensmittelbehälters, zum Beispiel, kann der Objekttyp ein Teller, eine Kaffeetasse, ein Weinglas oder dergleichen sein. Die Information hinsichtlich des Objekttyps ist eine Typenkennung für virtuelles Zugreifen auf das Objekt, das zu dem durch die Erkennungs-ID angegebenen Typ gehört. Wenn die Information hinsichtlich des Objekttyps als ein der Erkennungs-ID zugeordnetes Attribut zugeordnet wird, kann das Informationsverarbeitungssystem 100 Informationsübernahmeverarbeitung oder Informationsausgabeverarbeitung an einer Vielzahl von Objekten desselben Typs unter einer Abtastumgebung durchführen, indem es die Erkennungs-ID als Reaktion auf eine einmal gesendete Anforderung bezeichnet.
  • In einem Fall, in dem die Information hinsichtlich des Objekttyps der Erkennungs-ID zugeordnet ist, kann das Informationsverarbeitungssystem 100 auch eine Aktions-ID entsprechend jeder Erkennungs-ID setzen und die Erkennungs-ID sowie die Aktions-ID in die Informationsausgabeanforderung einschließen. Die Aktions-ID gibt die Informationsausgabeverarbeitung entsprechend dem Objekttyp an. Das Informationsverarbeitungssystem 100 kann eine gemäß dem Objekttyp geeignete Aktion ausführen, indem es die Erkennungs-ID und die Aktions-ID in die Informationsausgabeanforderung einschließt. Zum Beispiel können eine Datenbank, in der Aktions-IDs und Details der Informationsausgabeverarbeitung erstellt werden können, und das Informationsverarbeitungssystem 100 die Details der Informationsausgabeverarbeitung unter Bezugnahme auf die Datenbank bestimmen. Zum Beispiel, in einem Fall, in dem die Anforderung vom PC 800 eine von der Typenkennung und der Aktionskennung begleitete Informationsausgabeanforderung ist, veranlasst das Informationsverarbeitungssystem 100 die Ausgabeeinheit 130 dazu, der Aktions-ID entsprechende Informationen zum Objekt auszugeben, das dem durch die Information über den Objekttyp angegebenen Typ angehört. In der folgenden Beschreibung wird ein Betriebsbeispiel des Informationsverarbeitungssystems 100, das eine Anforderung vom PC 800 empfangen hat, beschrieben.
  • 31 ist ein Ablaufdiagramm, das ein Betriebsbeispiel des Informationsverarbeitungssystems 100 und des PC 800 veranschaulicht. Im in 31 veranschaulichten Beispiel wird eine Objekt-ID mit einem dazu hinzugefügten vorbestimmten Index (objectIndex) als Information zum Identifizieren eines Objekts verwendet. 32 ist ein erklärendes Diagramm, das ein Beispiel des im Betriebsbeispiel in 31 abgetasteten Objekts veranschaulicht. In 32 werden eine auf dem Tisch platzierte Kaffeetasse und Kaffee in der Kaffeetasse als abzutastende Objekte veranschaulicht.
  • Der PC 800 überträgt zunächst eine Anforderung zum Anfragen, ob ein Objekt in der abtastbaren Region des Informationsverarbeitungssystems 100 für das Informationsverarbeitungssystem 100 vorhanden ist oder nicht (Schritt S221). Zu diesem Zeitpunkt wird eine Adresse des Informationsverarbeitungssystems 100 und ein Argument als eine Erkennungs-ID (hier wird die Erkennungs-ID als „C“ angenommen; dasselbe gilt für die folgende Beschreibung) des Zielobjekts durch den PC 800 bezeichnet. Das Informationsverarbeitungssystem 100 führt Abtasten durch und gibt eine Antwort darauf zurück, ob das bezeichnete Objekt für den PC 800 vorhanden ist oder nicht (Schritt S222). Das Informationsverarbeitungssystem 100 gibt eine Codezahl 200 an den PC 800 zurück, wenn das Objekt vorhanden ist, oder gibt eine Codezahl 404 an den PC 800 zurück, wenn das Objekt nicht vorhanden ist. Durch ein HTTP definierte Statuscodes können als diese Codes verwendet werden, und die Codes können zum Beispiel als WEB API verwendet werden. Die zwischen dem Informationsverarbeitungssystem 100 und dem PC 800 verwendeten Codes können jedoch Codes sein, die vom Informationsverarbeitungssystem 100 und vom PC 800 verarbeitet werden können, und sind nicht auf die durch HTTP definierten Statuscodes beschränkt.
  • Anschließend überträgt der PC 800 eine Anforderung zum Übernehmen der internen Höhe des Objekts an das Informationsverarbeitungssystem 100 (Schritt S223). Das Informationsverarbeitungssystem 100 tastet die interne Höhe des bezeichneten Objekts ab und gibt das Abtastergebnis als Antwort auf die Anforderung an den PC 800 zurück (Schritt S224). Hier wird ein Beispiel, in dem ein Objekt mit einer Erkennungs-ID „C“ vorhanden ist, das Informationsverarbeitungssystem 100 die interne Höhe des Objekts abtastet und die interne Höhe an den PC 800 zurückgibt, veranschaulicht. Es wird darauf hingewiesen, dass in 31 die Antwort, die angibt, dass die interne Höhe des Objekts mit „objectIndex“ „1“ 10 Zentimeter beträgt, vom Informationsverarbeitungssystem 100 an den PC 800 zurückgegeben wird.
  • Dann überträgt der PC 800 eine Anforderung zum Projizieren von Buchstaben auf das Objekt an das Informationsverarbeitungssystem 100 (Schritt S225). Hier wird ein Beispiel, in dem die Buchstaben „Guten Morgen“ auf das abgetastete Objekt projiziert werden, veranschaulicht. Das Informationsverarbeitungssystem 100 gibt eine Antwort bezüglich eines Ergebnisses der Projektion der bezeichneten Buchstaben an den PC 800 zurück (Schritt S226). Das Informationsverarbeitungssystem 100, das die Anforderung vom PC 800 empfangen hat, kann die Buchstaben „Guten Morgen“ auf die Oberfläche des Kaffees in der Kaffeetasse projizieren, wie in 32 veranschaulicht.
  • Nach einer vorbestimmten Zeitspanne überträgt der PC 800 eine Anforderung zum Übernehmen der internen Höhe des abgetasteten Objekts an das Informationsverarbeitungssystem 100 (Schritt S227). Das Informationsverarbeitungssystem 100 tastet die interne Höhe des bezeichneten Objekts ab und gibt das Abtastergebnis als Antwort auf die Anforderung an den PC 800 zurück (Schritt S228). Hier wird ein Beispiel, in dem ein Objekt mit einer Erkennungs-ID „C“ vorhanden ist, das Informationsverarbeitungssystem 100 die interne Höhe des Objekts abtastet und die interne Höhe an den PC 800 zurückgibt, veranschaulicht. Es wird darauf hingewiesen, dass in 31 die Antwort, die angibt, dass die interne Höhe des Objekts mit „objectIndex“ „1“ 0 Zentimeter beträgt, vom Informationsverarbeitungssystem 100 an den PC 800 zurückgegeben wird.
  • Dann überträgt der PC 800 eine Anforderung zum Projizieren von Buchstaben auf das Objekt an das Informationsverarbeitungssystem 100 (Schritt S229). Hier wird ein Beispiel, in dem die Buchstaben „Es ist Zeit zu gehen“ in die Umgebung des abgetasteten Objekts projiziert werden, veranschaulicht. Das Informationsverarbeitungssystem 100 gibt eine Antwort bezüglich eines Ergebnisses der Projektion der bezeichneten Buchstaben an den PC 800 zurück (Schritt S230).
  • Es wird darauf hingewiesen, dass eine Aktions-ID = 2, die sich von der in Schritt S225 unterscheidet, in Schritt S230 bezeichnet wird. Es wird angenommen, dass die Aktions-ID = 2 einer Aktion zum Anzeigen einer Nachricht zusammen mit der Uhrzeit in der Umgebung des abgetasteten Objekts entspricht. Das Informationsverarbeitungssystem 100, das die Anforderung vom PC 800 empfangen hat, kann die Uhrzeit in der Umgebung der Kaffeetasse anzeigen und die Buchstaben „Es ist Zeit zu gehen“ projizieren, wie in 32 veranschaulicht.
  • 33 ist ein Ablaufdiagramm, das ein Betriebsbeispiel des Informationsverarbeitungssystems 100 und des PC 800 veranschaulicht. Im in 33 veranschaulichten Beispiel wird eine Objekt-ID mit einem dazu hinzugefügten vorbestimmten Index (objectIndex) als Information zum Identifizieren eines Objekts verwendet. 34 ist ein erklärendes Diagramm, das ein Beispiel des im Betriebsbeispiel in 33 abgetasteten Objekts veranschaulicht. In 34 werden ein Teller und ein Weinglas, die auf dem Tisch platziert sind, als abzutastende Objekte veranschaulicht.
  • Der PC 800 überträgt zunächst eine Anforderung zum Anfragen, ob ein Objekt in der abtastbaren Region des Informationsverarbeitungssystems 100 für das Informationsverarbeitungssystem 100 vorhanden ist oder nicht (Schritt S231). Zu diesem Zeitpunkt wird eine Adresse des Informationsverarbeitungssystems 100, eine Erkennungs-ID (hier wird angenommen, dass die Erkennungs-ID „D“ ist) des Zielobjekts mit einem Argument und ein Argument zum Zurückgeben der Position des Objekts mittels Koordinaten durch den PC 800 bezeichnet. Das Informationsverarbeitungssystem 100 führt Abtasten durch und gibt eine Antwort darauf zurück, ob das bezeichnete Objekt für den PC 800 vorhanden ist oder nicht (Schritt S232). Das Informationsverarbeitungssystem 100 gibt eine Codezahl 200 an den PC 800 zurück, wenn das Objekt vorhanden ist, oder gibt eine Codezahl 404 an den PC 800 zurück, wenn das Objekt nicht vorhanden ist. Durch ein HTTP definierte Statuscodes können als diese Codes verwendet werden, und die Codes können zum Beispiel als WEB API verwendet werden. Die zwischen dem Informationsverarbeitungssystem 100 und dem PC 800 verwendeten Codes sind jedoch nicht auf die durch HTTP definierten Statuscodes beschränkt. Das Informationsverarbeitungssystem 100 gibt auch Koordinaten der Mittenposition des Objekts zurück, wenn das Informationsverarbeitungssystem 100 die Antwort an den PC 800 zurückgibt.
  • Anschließend überträgt der PC 800 eine Anforderung zum Anfragen, ob ein Objekt in der abtastbaren Region des Informationsverarbeitungssystems 100 für das Informationsverarbeitungssystem 100 vorhanden ist oder nicht (Schritt S233). Zu diesem Zeitpunkt wird eine Adresse des Informationsverarbeitungssystems 100, eine Erkennungs-ID (hier wird angenommen, dass die Erkennungs-ID „E“ ist) des Zielobjekts mit einem Argument und ein Argument zum Zurückgeben der Position des Objekts mittels Koordinaten durch den PC 800 bezeichnet. Das Informationsverarbeitungssystem 100 führt Abtasten durch und gibt eine Antwort darauf zurück, ob das bezeichnete Objekt für den PC 800 vorhanden ist oder nicht (Schritt S234). Das Informationsverarbeitungssystem 100 gibt eine Codezahl 200 an den PC 800 zurück, wenn das Objekt vorhanden ist. Das Informationsverarbeitungssystem 100 gibt auch Koordinaten der Mittenposition des Objekts zurück, wenn das Informationsverarbeitungssystem 100 die Antwort an den PC 800 zurückgibt.
  • Dann, wenn der Abstand zwischen Mittenkoordinaten der beiden Objekte gemäß Übernahme vom Informationsverarbeitungssystem 100 gleich oder kleiner ist als ein vorbestimmter Abstand, überträgt der PC 800 eine Anforderung zum Projizieren eines vorbestimmten Musters auf ein Objekt mit „objectIndex“ „1“ an das Informationsverarbeitungssystem 100 (Schritt S235). Das Informationsverarbeitungssystem 100 gibt eine Antwort bezüglich eines Ergebnisses des Projizierens des vorbestimmten Musters an den PC 800 zurück (Schritt S236).
  • Durch Anwenden der Verarbeitung kann der PC 800 eine Anweisung zum Projizieren eines Musters oder dergleichen auf verschiedene Objekte an das Informationsverarbeitungssystem 100 senden. 35 ist ein Diagramm, das einen Zustand veranschaulicht, in dem ein vorbestimmtes Muster auf ein in der Nähe eines Tellers platziertes Weinglas projiziert wird. 36 ist ein Diagramm, das einen Zustand veranschaulicht, in dem ein vorbestimmtes Muster auf ein in der Nähe eines Tellers platziertes Bierglas projiziert wird. Das Informationsverarbeitungssystem 100 kann ein Muster gemäß einem in der Nähe des Tellers platzierten Objekt projizieren.
  • 37 ist ein Ablaufdiagramm, das ein Betriebsbeispiel des Informationsverarbeitungssystems 100 und des PC 800 veranschaulicht. Im in 37 veranschaulichten Beispiel wird eine Objekt-ID mit einem dazu hinzugefügten vorbestimmten Index (objectIndex) als Information zum Identifizieren eines Objekts verwendet. 38 ist ein erklärendes Diagramm, das ein Beispiel des im Betriebsbeispiel in 37 abgetasteten Objekts veranschaulicht. In 38 werden ein Teller und ein Weinglas, die auf dem Tisch platziert sind, als abzutastende Objekte veranschaulicht.
  • Der PC 800 überträgt zunächst eine Anforderung zum Anfragen, ob ein Objekt in der abtastbaren Region des Informationsverarbeitungssystems 100 für das Informationsverarbeitungssystem 100 vorhanden ist oder nicht (Schritt S241). Zu diesem Zeitpunkt wird eine Adresse des Informationsverarbeitungssystems 100, eine Erkennungs-ID (hier wird angenommen, dass die Erkennungs-ID „D“ ist) des Zielobjekts mit einem Argument und ein Argument zum Zurückgeben der Position des Objekts mittels Koordinaten durch den PC 800 bezeichnet. Das Informationsverarbeitungssystem 100 führt Abtasten durch und gibt eine Antwort darauf zurück, ob das bezeichnete Objekt für den PC 800 vorhanden ist oder nicht (Schritt S242). Das Informationsverarbeitungssystem 100 gibt eine Codezahl 200 an den PC 800 zurück, wenn das Objekt vorhanden ist, oder gibt eine Codezahl 404 an den PC 800 zurück, wenn das Objekt nicht vorhanden ist. Durch ein HTTP definierte Statuscodes können als diese Codes verwendet werden, und die Codes können zum Beispiel als WEB API verwendet werden. Die zwischen dem Informationsverarbeitungssystem 100 und dem PC 800 verwendeten Codes sind jedoch nicht auf die durch HTTP definierten Statuscodes beschränkt. Das Informationsverarbeitungssystem 100 gibt auch Koordinaten der Mittenposition des erkannten Objekts zurück, wenn das Informationsverarbeitungssystem 100 die Antwort an den PC 800 in Schritt 242 zurückgibt.
  • Anschließend überträgt der PC 800 eine Anforderung zum Anfragen, ob ein Objekt in der abtastbaren Region des Informationsverarbeitungssystems 100 vorhanden ist oder nicht (Schritt S243). Zu diesem Zeitpunkt wird eine Adresse des Informationsverarbeitungssystems 100, eine Erkennungs-ID (hier wird angenommen, dass die Erkennungs-ID „G“ ist) des Zielobjekts mit einem Argument und ein Argument zum Zurückgeben der Position des Objekts mittels Koordinaten durch den PC 800 bezeichnet. Das Informationsverarbeitungssystem 100 führt Abtasten durch und gibt eine Antwort darauf zurück, ob das bezeichnete Objekt für den PC 800 vorhanden ist oder nicht (Schritt S244). Das Informationsverarbeitungssystem 100 gibt auch Koordinaten der Mittenposition des erkannten Objekts zurück, wenn das Informationsverarbeitungssystem 100 die Antwort an den PC 800 in Schritt 244 zurückgibt.
  • Anschließend überträgt der PC 800 eine Anforderung zum Anfragen, ob ein Objekt in der abtastbaren Region des Informationsverarbeitungssystems 100 vorhanden ist oder nicht (Schritt S245). Zu diesem Zeitpunkt wird eine Adresse des Informationsverarbeitungssystems 100, eine Erkennungs-ID (hier wird angenommen, dass die Erkennungs-ID „H“ ist) des Zielobjekts mit einem Argument und ein Argument zum Zurückgeben der Position des Objekts mittels Koordinaten durch den PC 800 bezeichnet. Das Informationsverarbeitungssystem 100 führt Abtasten durch und gibt eine Antwort darauf zurück, ob das bezeichnete Objekt für den PC 800 vorhanden ist oder nicht (Schritt S246).
  • Im in 37 veranschaulichten Beispiel wird durch vom Informationsverarbeitungssystem 100 durchgeführtes Abtasten bestimmt, dass Objekte mit Erkennungs-IDs „D“ und „G“ vorhanden sind, während ein Objekt mit der Erkennungs-ID „H“ nicht vorhanden ist. Dann überträgt der PC 800 eine Anforderung zum Projizieren eines vorbestimmten Musters auf das Objekt mit „objectIndex“ „1“ und mit der Objekterkennungs-ID „D“ an das Informationsverarbeitungssystem 100 (Schritt S247). Das Informationsverarbeitungssystem 100 gibt eine Antwort bezüglich eines Ergebnisses der Projektion des vorbestimmten Musters an den PC 800 zurück (Schritt S248). 39 ist ein erklärendes Diagramm, das einen Zustand veranschaulicht, in dem ein vorbestimmtes Muster in die Umgebung eines vom Informationsverarbeitungssystem 100 abgetasteten Objekts (Tellers) projiziert wird.
  • 40 ist ein Ablaufdiagramm, das ein Betriebsbeispiel des Informationsverarbeitungssystems 100 gemäß der Ausführungsform veranschaulicht. Die Abbildung in 40 entspricht dem in 37 veranschaulichten Betriebsbeispiel, und 40 ist ein Ablaufdiagramm, das durch Fokussieren auf Operationen des Informationsverarbeitungssystems 100 veranschaulicht wird. Das Informationsverarbeitungssystem 100 bestimmt zunächst, ob das Objekt mit der Erkennungs-ID „D“ (Teller) durch eine Anweisung zum Durchführen von Abtasten vom PC 800 gefunden wurde oder nicht (Schritt S251). In einem Fall, in dem das Objekt mit der Erkennungs-ID „D“ (Teller) nicht gefunden wurde (Schritt S251, Nein), beendet das Informationsverarbeitungssystem 100 die Verarbeitung, ohne danach etwas auszuführen (Schritt S252).
  • In einem Fall, in dem ein Objekt mit einer Erkennungs-ID „D“ (Teller) gefunden wurde (Schritt S251, Ja), bestimmt das Informationsverarbeitungssystem 100 dann, ob ein Objekt mit einer Erkennungs-ID „G“ (Suppenteller) als Reaktion auf eine Anweisung zum Durchführen von Abtasten vom PC 800 gefunden wurde oder nicht (Schritt S253). In einem Fall, in dem das Objekt mit der Erkennungs-ID „G“ (Suppenteller) nicht gefunden wurde (Schritt S253, Nein), führt das Informationsverarbeitungssystem 100 Verarbeitung zum Anzeigen des Musters in einem Fall aus, in dem das Objekt mit der Erkennungs-ID „D“ (Teller) gefunden wurde (Schritt S254). 41 ist ein erklärendes Diagramm, das ein Beispiel eines Musters veranschaulicht, das vom Informationsverarbeitungssystem 100 in einem Fall projiziert wird, in dem das Objekt mit der Erkennungs-ID „D“ (Teller) gefunden wurde. 41 veranschaulicht einen Zustand, in dem ein vorbestimmtes Muster in die Umgebung des Tellers und auf die Oberfläche des Tellers, der auf dem Tisch platziert ist, projiziert wird.
  • In einem Fall, in dem ein Objekt mit einer Erkennungs-ID „G“ (Suppenteller) gefunden wurde (Schritt S253, Ja), bestimmt das Informationsverarbeitungssystem 100 dann, ob ein Objekt mit einer Erkennungs-ID „H“ (Servuette) als Reaktion auf eine Anweisung zum Durchführen von Abtasten vom PC 800 gefunden wurde oder nicht (Schritt S255). In einem Fall, in dem das Objekt mit der Erkennungs-ID „H“ (Serviette) nicht gefunden wurde (Schritt S255, Nein), führt das Informationsverarbeitungssystem 100 Verarbeitung zum Anzeigen des Musters in einem Fall aus, in dem das Objekt mit der Erkennungs-ID „G“ (Suppenteller) gefunden wurde (Schritt S256). 42 ist ein erklärendes Diagramm, das ein Beispiel eines Musters veranschaulicht, das vom Informationsverarbeitungssystem 100 in einem Fall projiziert wird, in dem das Objekt mit der Erkennungs-ID „G“ (Suppenteller) gefunden wurde. 42 veranschaulicht einen Zustand, in dem ein vorbestimmtes Muster in die Umgebung des Suppentellers projiziert wird.
  • In einem Fall, in dem ein Objekt mit einer Erkennungs-ID „H“ (Serviette) gefunden wurde (Schritt S255, Ja), führt das Informationsverarbeitungssystem 100 dann Verarbeitung zum Anzeigen eines Musters in einem Fall aus, in dem das Objekt mit der Erkennungs-ID „H“ (Serviette) gefunden wurde (Schritt S257). 43 ist ein erklärendes Diagramm, das ein Beispiel eines Musters veranschaulicht, das vom Informationsverarbeitungssystem 100 in einem Fall projiziert wird, in dem das Objekt mit der Erkennungs-ID „H“ (Serviette) gefunden wurde. 43 veranschaulicht einen Zustand, in dem ein vorbestimmtes Muster in die Umgebung des Tellers und auf die Oberfläche der Serviette projiziert wird.
  • Auf diese Weise kann das Informationsverarbeitungssystem 100 auf eine Anweisung vom PC 800 hin die Steuerung zum Projizieren von Mustern, die sich gemäß den erkannten Objekten unterscheiden, ausführen.
  • <Hardwarekonfigurationsbeispiel>
  • Anschließend wird eine Hardwarekonfiguration des Informationsverarbeitungssystems 100 gemäß einer Ausführungsform der vorliegenden Offenbarung unter Bezugnahme auf 44 beschrieben. 44 ist ein Blockdiagramm, das ein Hardwarekonfigurationsbeispiel des Informationsverarbeitungssystems 100 gemäß einer Ausführungsform der Offenbarung veranschaulicht.
  • Wie in 44 veranschaulicht, schließt das Informationsverarbeitungssystem 100 eine Zentraleinheit (Central Processing Unit, CPU) 901, einen Nur-Lese-Speicher (Read Only Memory, ROM) 903 und einen Direktzugriffsspeicher (Random Access Memory, RAM) 905 ein. Zusätzlich kann das Informationsverarbeitungssystem 100 einen Hostbus 907, eine Brücke 909, einen externen Bus 911, eine Schnittstelle 913, eine Eingabevorrichtung 915, eine Ausgabevorrichtung 917, eine Speichervorrichtung 919, ein Laufwerk 921, einen Verbindungsanschluss 923 und eine Kommunikationsvorrichtung 925 einschließen. Ferner kann das Informationsverarbeitungssystem 100 nach Bedarf eine Abbildungsvorrichtung 933 und einen Sensor 935 einschließen. Das Informationsverarbeitungssystem 100 kann eine Verarbeitungsschaltung, wie z. B. einen digitalen Signalprozessor (DSP) oder eine anwendungsspezifische integrierte Schaltung (Application Specific Integrated Circuit, ASIC), anstelle oder zusätzlich zur CPU 901 einschließen.
  • Die CPU 901 dient als eine Operationsverarbeitungsvorrichtung und eine Steuervorrichtung und steuert alle oder einen Teil der Operationen im Informationsverarbeitungssystem 100 gemäß verschiedenen im ROM 903, im RAM 905, in der Speichervorrichtung 919 oder auf einem Wechselaufzeichnungsmedium 927 aufgezeichneten Programmen. Das ROM 903 speichert Programme und Betriebsparameter, die von der CPU 901 verwendet werden. Das RAM 905 speichert vorübergehend ein Programm, das bei der Ausführung der CPU 901 verwendet wird, und Parameter, die sich bei der Ausführung entsprechend ändern. CPU 901, ROM 903 und RAM 905 sind über den Host-Bus 907, der einen internen Bus, wie z. B. einen CPU-Bus, einschließt, miteinander verbunden. Außerdem ist der Host-Bus 907 über die Brücke 909 mit dem externen Bus 911 verbunden, wie z. B. einem Peripheriekomponenten-Verbindungs-/Schnittstellenbus (Peripheral Component Interconnect/Interface Bus, PCI-Bus).
  • Die Eingabevorrichtung 915 ist zum Beispiel eine Vorrichtung, die von einem Benutzer mit einer Maus, einer Tastatur, einem Touchpanel, Tasten, Schaltern, einem Hebel und dergleichen gehandhabt wird. Die Eingabevorrichtung 915 kann ein Mikrofon einschließen, das einen Ton eines Benutzers erkennt. Die Eingabevorrichtung 915 kann zum Beispiel eine Fernbedienungseinheit, die Infrarotlicht oder andere Funkwellen verwendet, oder eine externe Verbindungsvorrichtung 929, wie z. B. ein tragbares Telefon, sein, die als Reaktion auf die Handhabung des Informationsverarbeitungssystems 100 betrieben werden kann. Die Eingabevorrichtung 915 schließt eine Eingangssteuerschaltung ein, die auf der Basis der von einem Benutzer eingegebenen Informationen ein Eingangssignal erzeugt und das Eingangssignal an die CPU 901 ausgibt. Durch Handhaben der Eingabevorrichtung 915 kann ein Benutzer verschiedene Arten von Daten in das Informationsverarbeitungssystem 100 eingeben oder Anweisungen erteilen, um das Informationsverarbeitungssystem 100 zu veranlassen, einen Verarbeitungsvorgang durchzuführen. Außerdem kann die im Folgenden zu beschreibende Abbildungsvorrichtung 933 als eine Eingabevorrichtung fungieren, indem sie eine Bewegung oder dergleichen einer Hand des Benutzers abbildet.
  • Die Ausgabevorrichtung 917 schließt eine Vorrichtung ein, die einen Benutzer visuell oder akustisch über die übernommenen Informationen informieren kann. Die Ausgabevorrichtung 917 kann zum Beispiel eine Anzeigevorrichtung, wie z. B. eine Flüssigkristallanzeige (Liquid Crystal Display, LCD), ein Plasmabildschirm (Plasma Display Panel, PDP), ein organisches Elektrolumineszenz-Display (EL-Display), ein Projektor oder eine Hologrammanzeigevorrichtung, und eine Audioausgabevorrichtung, wie z. B. ein Lautsprecher oder ein Kopfhörer, und ein Drucker sein. Die Ausgabevorrichtung 917 gibt die aus dem Prozess des Informationsverarbeitungssystems 100 erhaltenen Ergebnisse in Form von Video, wie z. B. Text oder Bild, und in Form von Sprache, wie z. B. Stimme oder Sound, aus. Außerdem kann die Ausgabevorrichtung 917 eine Leuchte oder dergleichen einschließen, um die Umgebung aufzuhellen.
  • Die Speichervorrichtung 919 ist eine Vorrichtung zur Datenspeicherung, die als ein Beispiel einer Speichereinheit des Informationsverarbeitungssystems 100 konfiguriert ist. Die Speichervorrichtung 919 schließt zum Beispiel eine magnetische Speichervorrichtung, wie z. B. eine Festplatte (Hard Disk Drive, HDD), eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung oder eine magnetooptische Speichervorrichtung ein. Die Speichervorrichtung 919 speichert von der CPU 901 auszuführende Programme, verschiedene Daten und von außen erhaltene Daten.
  • Das Laufwerk 921 ist ein Lese-/Schreibgerät für das Wechselaufzeichnungsmedium 927, wie z. B. eine Magnetplatte, eine optische Platte, eine magnetooptische Platte oder ein Halbleiterspeicher, und ist in das Informationsverarbeitungssystem 100 eingebettet oder extern daran angeschlossen. Das Laufwerk 921 liest Informationen, die auf dem angeschlossenen Wechselaufzeichnungsmedium 927 aufgezeichnet sind, und gibt die Informationen an das RAM 905 aus. Ferner schreibt das Laufwerk 921 Aufzeichnungen in das angeschlossene Wechselaufzeichnungsmedium 927.
  • Über den Verbindungsanschluss 923 können Geräte direkt mit dem Informationsverarbeitungssystem 100 verbunden werden. Der Verbindungsanschluss 923 kann zum Beispiel ein USB-Anschluss (Universal Serial Bus-Anschluss), ein IEEE-1394-Anschluss, ein SCSI-Anschluss (Small Computer System Interface-Anschluss) oder dergleichen sein. Außerdem kann der Verbindungsanschluss 923 ein RS-232C-Anschluss, ein optischer Audioanschluss, ein High-Definition Multimedia Interface (HDMI)-Anschluss (eingetragene Marke) oder dergleichen sein. Durch Verbinden der externen Verbindungsvorrichtung 929 mit dem Verbindungsanschluss 923 können verschiedene Daten zwischen dem Informationsverarbeitungssystem 100 und der externen Anschlussvorrichtung 929 ausgetauscht werden.
  • Die Kommunikationsvorrichtung 925 ist zum Beispiel eine Kommunikationsschnittstelle, die eine Kommunikationsvorrichtung oder dergleichen zur Verbindung mit einem Kommunikationsnetz 931 einschließt. Die Kommunikationsvorrichtung 925 kann zum Beispiel eine Kommunikationskarte für ein drahtgebundenes oder drahtloses lokales Netzwerk (Local Area Network, LAN), Bluetooth (eingetragene Marke), einen drahtlosen USB (Wireless USB, WUSB) oder dergleichen sein. Außerdem kann die Kommunikationsvorrichtung 925 ein Router für optische Kommunikation, ein Router für einen asymmetrischen digitalen Teilnehmer-Anschluss (Asymmetrie Digital Subscriber Line, ADSL), ein Modem für verschiedene Arten von Kommunikationen oder dergleichen sein. Die Kommunikationsvorrichtung 925 sendet und empfängt Signale zu und von, zum Beispiel, dem Internet oder anderen Kommunikationsvorrichtungen unter Verwendung eines vorbestimmten Protokolls, wie z. B. TCP/IP. Außerdem ist das mit der Kommunikationsvorrichtung 925 zu verbindende Kommunikationsnetzwerk 931 ein auf drahtgebundene oder drahtlose Weise verbundenes Netzwerk und ist, zum Beispiel, das Internet, ein Heim-LAN, Infrarotkommunikation, Funkwellenkommunikation, Satellitenkommunikation oder dergleichen.
  • Die Abbildungsvorrichtung 933 erzeugt ein Bild, indem sie einen realen Raum zum Beispiel unter Verwendung eines Bildsensors, wie z. B. einer ladungsgekoppelten Vorrichtung (Charge-Coupled Device, CCD) oder eines komplementären Metalloxidhalbleiters (Complementary Metal Oxide Semiconductor, CMOS), sowie verschiedener Elemente, wie z. B. einer oder mehrerer Objektive, zum Steuern der Bildung eines Objektbildes auf dem Bildsensor, abbildet. Die Abbildungsvorrichtung 933 kann eine Vorrichtung sein, die Standbilder erfasst, und kann auch eine Vorrichtung sein, die bewegte Bilder erfasst.
  • Der Sensor 935 kann ein beliebiger von verschiedenen Sensoren sein, wie z. B. ein Beschleunigungssensor, ein Gyrosensor, ein geomagnetischer Sensor, ein optischer Sensor oder ein Schallsensor. Der Sensor 935 erfasst zum Beispiel Informationen bezüglich des Zustands des Informationsverarbeitungssystems 100, wie z. B. die Lage des Gehäuses des Informationsverarbeitungssystems 100, sowie Informationen bezüglich der Umgebung, die das Informationsverarbeitungssystem 100 umgibt, wie beispielsweise Helligkeit oder Geräusche in der Umgebung des Informationsverarbeitungssystems 100. Der Sensor 935 kann auch einen Global Positioning System (GPS)-Sensor einschließen, der GPS-Signale empfängt und die Breite, Länge und Höhe der Vorrichtung misst.
  • Das Vorstehende veranschaulicht somit eine beispielhafte Hardwarekonfiguration des Informationsverarbeitungssystems 100. Jede der obigen Komponenten kann mit universellen Elementen oder mit Hardware realisiert werden, die in der Funktion jeder Komponente spezialisiert ist. Eine derartige Konfiguration kann auch wie jeweils anwendbar dem technologischen Stand zum Zeitpunkt der Implementierung entsprechend modifiziert werden.
  • <Schlussfolgerung>
  • Gemäß der Ausführungsform der Offenbarung wird das Informationsverarbeitungssystem 100, das in der Lage ist, ein Objekt ohne Kommunikationsfunktion individuell zu identifizieren und einen Zustand des Objekts abzutasten, wie oben beschrieben bereitgestellt. Das Informationsverarbeitungssystem 100 gemäß der Ausführungsform der Offenbarung kann das Objekt als Reaktion auf eine Anforderung von einer externen Vorrichtung identifizieren und abtasten und kann als Reaktion auf eine Anforderung von der externen Vorrichtung das Objekt identifizieren und Informationen projizieren.
  • Von jeder Vorrichtung der vorliegenden Spezifikation ausgeführte Prozessschritte müssen nicht immer chronologisch in der Reihenfolge verarbeitet werden, die als ein Sequenzdiagramm oder ein Ablaufdiagramm beschrieben wird. Zum Beispiel können von jeder Vorrichtung ausgeführte Prozessschritte in einer anderen Reihenfolge als der als Ablaufdiagramm beschriebenen Reihenfolge oder gleichzeitig abgearbeitet werden.
  • Außerdem kann auch ein Computerprogramm erstellt werden, das bewirkt, dass Hardware, wie z. B. eine CPU, ein ROM und ein RAM, die in jeder Vorrichtung enthalten sind, eine der oben beschriebenen Konfiguration jeder Vorrichtung entsprechende Funktion ausführt. Zusätzlich kann auch ein Speichermedium zum Speichern des Computerprogramms bereitgestellt werden. Durch Bilden jedes in einem Funktionsblockdiagramm veranschaulichten Funktionsblocks durch Hardware oder eine Hardwareschaltung kann außerdem eine Reihe von Prozessen auch durch Hardware oder eine Hardwareschaltung implementiert werden.
  • Die bevorzugte(n) Ausführungsform(en) der vorliegenden Offenbarung ist (sind) oben unter Bezugnahme auf die begleitenden Zeichnungen beschrieben worden, die vorliegende Offenbarung ist aber nicht auf die obigen Beispiele eingeschränkt. Ein Fachmann kann verschiedene Änderungen und Modifikationen innerhalb des Umfangs der beigefügten Ansprüche finden, und es sollte verstanden werden, dass diese natürlicherweise unter den technischen Umfang der vorliegenden Offenbarung fallen.
  • Ferner handelt es sich bei den in dieser Spezifikation beschriebenen Effekten um rein veranschaulichende oder beispielhafte Effekte, die nicht in einem einschränkenden Sinne aufzufassen sind. Das heißt, mit oder anstelle der obigen Effekte, kann die Technologie gemäß der vorliegenden Offenbarung andere Effekte erzielen, die dem Fachmann aus der Beschreibung dieser Spezifikation ersichtlich sind.
  • Zusätzlich kann die vorliegende Technologie auch wie unten konfiguriert werden.
  • (1) Eine Informationsverarbeitungsvorrichtung, einschließend:
    • eine Erkennungseinheit, die ein in einer abtastbaren Region vorhandenes Objekt abtastet; und
    • eine Verarbeitungseinheit, die die Erkennungseinheit dazu veranlasst, das Objekt entsprechend einer Kennung, die von einer externen Vorrichtung über ein Netzwerk übertragen wird und die dem Objekt zugeordnet wird, als Reaktion auf Empfang einer Anforderung, die die Kennung bezeichnet, abzutasten, und auf der Basis eines Ergebnisses der Abtastung eine Antwort auf die Anforderung an die externe Vorrichtung überträgt.
  • (2) Informationsverarbeitungsvorrichtung nach Punkt (1),
    • wobei die Anforderung eine Abtastanforderung zum Anfordern von Abtasten wenigstens des Objekts oder eine Informationsausgabeanforderung zum Anfordern einer Informationsausgabe an das Objekt ist, und
    • die Verarbeitungseinheit die Erkennungseinheit dazu veranlasst, das Objekt in einem Fall, in dem die Anforderung die Abtastanforderung ist, abzutasten, und eine Ausgabeeinheit dazu veranlasst, Informationen bezüglich des Objekts in einem Fall, in dem die Anforderung die Informationsausgabeanforderung ist, auszugeben.
  • (3) Informationsverarbeitungsvorrichtung nach Punkt (2),
    • wobei das Objekt ein physisches Objekt ohne Netzwerkverbindungsfunktion ist, und
    • die Verarbeitungseinheit Verarbeiten von Zuordnen der Kennung zum in der abtastbaren Region abgetasteten Objekt durchführt.
  • (4) Informationsverarbeitungsvorrichtung nach Punkt (3), wobei die Kennung eine Kennung für virtuelles Zugreifen auf das Objekt ist.
  • (5) Informationsverarbeitungsvorrichtung nach Punkt (4), wobei die Kennung eine Adresse für virtuelles Zugreifen auf das Objekt einschließt.
  • (6) Informationsverarbeitungsvorrichtung nach Punkt (4) oder (5), wobei die Kennung eine Information ist, die einen Typ des Objekts und eine Typenkennung zum virtuellen Zugreifen auf das Objekt angibt, das dem durch die Kennung angegebenen Typ angehört.
  • (7) Informationsverarbeitungsvorrichtung nach Punkt (6),
    • wobei eine Aktionskennung, die dem Typ des Objekts entsprechende Informationsausgabeverarbeitung angibt, der Typenkennung zugeordnet wird, und
    • in einem Fall, in dem die Anforderung eine Informationsausgabeanforderung ist, die von der Typenkennung und der Aktionskennung begleitet ist, die Verarbeitungseinheit die Ausgabeeinheit dazu veranlasst, Informationen entsprechend der Aktionskennung an das Objekt auszugeben, das dem durch die Typenkennung angegebenen Typ angehört.
  • (8) Informationsverarbeitungsvorrichtung nach einem beliebigen der Punkte (2) bis (7), wobei die Verarbeitungseinheit in einem Fall, in dem die Informationsausgabeanforderung empfangen wird, nach Empfang der Informationsausgabeanforderung eine Position des Objekts entsprechend einer durch die Informationsausgabeanforderung bezeichneten Kennung abtastet und die Ausgabeeinheit dazu veranlasst, Informationen an eine der abgetasteten Position entsprechende Stelle auszugeben.
  • (9) Informationsverarbeitungsvorrichtung nach einem beliebigen der Punkte (2) bis (8), wobei die Ausgabeeinheit in einem Fall, in dem die Anforderung die Informationsausgabeanforderung ist, eine Projektionsausgabe von Text oder eines Bilds oder eine Tonausgabe bezüglich des Objekts bereitstellt.
  • (10) Informationsverarbeitungsvorrichtung nach Punkten (1) bis (9), wobei die Erkennungseinheit eine Temperatur des Objekts abtastet und eine Antwort auf die Anforderung auf der Basis der abgetasteten Temperatur überträgt.
  • (11) Informationsverarbeitungsvorrichtung nach Punkten (1) bis (10), wobei die Erkennungseinheit eine Farbe des Objekts abtastet und eine Antwort auf die Anforderung auf der Basis der abgetasteten Farbe überträgt.
  • (12) Informationsverarbeitungsvorrichtung nach Punkten (1) bis (11), wobei die Erkennungseinheit ein Gewicht des Objekts abtastet und eine Antwort auf die Anforderung auf der Basis der abgetasteten Gewichts überträgt.
  • (13) Informationsverarbeitungsvorrichtung nach Punkten (1) bis (12), wobei die Erkennungseinheit die Anzahl der Objekte abtastet und eine Antwort auf die Anforderung auf der Basis der abgetasteten Anzahl überträgt.
  • (14) Informationsverarbeitungsvorrichtung nach Punkten (1) bis (13), wobei die Erkennungseinheit eine Größe des Objekts als einen Zustand des Objekts abtastet und eine Antwort auf die Anforderung auf der Basis der abgetasteten Größe überträgt.
  • (15) Informationsverarbeitungsvorrichtung nach Punkten (1) bis (14), einschließend:
    • eine Ausgabeeinheit, die Informationen auf der Basis eines Ergebnisses der Verarbeitung von der Verarbeitungseinheit ausgibt.
  • (16) Ein Informationsverarbeitungsverfahren einschließend, durch Prozessor,:
    • Abtasten eines in einer abtastbaren Region vorhandenen Objekts; und
    • Veranlassen, dass das Objekt entsprechend einer Kennung, die von einer externen Vorrichtung über ein Netzwerk übertragen wird und die dem Objekt zugeordnet wird, als Reaktion auf Empfang einer Anforderung, die die Kennung bezeichnet, abgetastet wird, und Übertragen einer Antwort auf die Anforderung an die externe Vorrichtung auf der Basis eines Ergebnisses der Abtastung.
  • (17) Ein Computerprogramm, das einen Computer dazu veranlasst, Folgendes auszuführen:
    • Abtasten eines in einer abtastbaren Region vorhandenen Objekts; und
    • Veranlassen, dass das Objekt entsprechend einer Kennung, die von einer externen Vorrichtung über ein Netzwerk übertragen wird und die dem Objekt zugeordnet wird, als Reaktion auf Empfang einer Anforderung, die die Kennung bezeichnet, abgetastet wird, und Übertragen einer Antwort auf die Anforderung an die externe Vorrichtung auf der Basis eines Ergebnisses der Abtastung.
  • Bezugszeichenliste
    • 100 Informationsverarbeitungssystem
    • 200 Obj ektinformationssteuereinheit
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • JP 2015090524 A [0003]

Claims (17)

  1. Eine Informationsverarbeitungsvorrichtung, umfassend: eine Erkennungseinheit, die ein in einer abtastbaren Region vorhandenes Objekt abtastet; und eine Verarbeitungseinheit, die die Erkennungseinheit dazu veranlasst, das Objekt entsprechend einer Kennung, die von einer externen Vorrichtung über ein Netzwerk übertragen wird und die dem Objekt zugeordnet wird, als Reaktion auf Empfang einer Anforderung, die die Kennung bezeichnet, abzutasten, und auf einer Basis eines Ergebnisses der Abtastung eine Antwort auf die Anforderung an die externe Vorrichtung überträgt.
  2. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Anforderung eine Abtastanforderung zum Anfordern von Abtasten wenigstens des Objekts oder eine Informationsausgabeanforderung zum Anfordern einer Informationsausgabe an das Objekt ist, und die Verarbeitungseinheit die Erkennungseinheit dazu veranlasst, das Objekt in einem Fall, in dem die Anforderung die Abtastanforderung ist, abzutasten, und eine Ausgabeeinheit dazu veranlasst, Informationen bezüglich des Objekts in einem Fall, in dem die Anforderung die Informationsausgabeanforderung ist, auszugeben.
  3. Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei das Objekt ein physisches Objekt ohne Netzwerkverbindungsfunktion ist, und die Verarbeitungseinheit Verarbeiten von Zuordnen der Kennung zum in der abtastbaren Region abgetasteten Objekt durchführt.
  4. Informationsverarbeitungsvorrichtung nach Anspruch 3, wobei die Kennung eine Kennung für virtuelles Zugreifen auf das Objekt ist.
  5. Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Kennung eine Adresse für virtuelles Zugreifen auf das Objekt einschließt.
  6. Informationsverarbeitungsvorrichtung nach Anspruch 4, wobei die Kennung eine Information ist, die einen Typ des Objekts und eine Typenkennung zum virtuellen Zugreifen auf das Objekt angibt, das dem durch die Kennung angegebenen Typ angehört.
  7. Informationsverarbeitungsvorrichtung nach Anspruch 6, wobei eine Aktionskennung, die dem Typ des Objekts entsprechende Informationsausgabeverarbeitung angibt, der Typenkennung zugeordnet wird, und in einem Fall, in dem die Anforderung eine Informationsausgabeanforderung ist, die von der Typenkennung und der Aktionskennung begleitet ist, die Verarbeitungseinheit die Ausgabeeinheit dazu veranlasst, Informationen entsprechend der Aktionskennung an das Objekt auszugeben, das dem durch die Typenkennung angegebenen Typ angehört.
  8. Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Verarbeitungseinheit in einem Fall, in dem die Informationsausgabeanforderung empfangen wird, nach Empfang der Informationsausgabeanforderung eine Position des Objekts entsprechend einer durch die Informationsausgabeanforderung bezeichneten Kennung abtastet und die Ausgabeeinheit dazu veranlasst, Informationen an eine der abgetasteten Position entsprechende Stelle auszugeben.
  9. Informationsverarbeitungsvorrichtung nach Anspruch 2, wobei die Ausgabeeinheit in einem Fall, in dem die Anforderung die Informationsausgabeanforderung ist, eine Projektionsausgabe von Text oder eines Bilds oder eine Tonausgabe bezüglich des Objekts bereitstellt.
  10. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erkennungseinheit eine Temperatur des Objekts abtastet und eine Antwort auf die Anforderung auf einer Basis der abgetasteten Temperatur überträgt.
  11. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erkennungseinheit eine Farbe des Objekts abtastet und eine Antwort auf die Anforderung auf einer Basis der abgetasteten Farbe überträgt.
  12. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erkennungseinheit ein Gewicht des Objekts abtastet und eine Antwort auf die Anforderung auf einer Basis des abgetasteten Gewichts überträgt.
  13. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erkennungseinheit eine Anzahl der Objekte abtastet und eine Antwort auf die Anforderung auf einer Basis der abgetasteten Anzahl überträgt.
  14. Informationsverarbeitungsvorrichtung nach Anspruch 1, wobei die Erkennungseinheit eine Größe des Objekts als einen Zustand des Objekts abtastet und eine Antwort auf die Anforderung auf einer Basis der abgetasteten Größe überträgt.
  15. Informationsverarbeitungsvorrichtung nach Anspruch 1, umfassend: eine Ausgabeeinheit, die Informationen auf einer Basis eines Ergebnisses der Verarbeitung von der Verarbeitungseinheit ausgibt.
  16. Ein Informationsverarbeitungsverfahren, umfassend, durch Prozessor: Abtasten eines in einer abtastbaren Region vorhandenen Objekts; und Veranlassen, dass das Objekt entsprechend einer Kennung, die von einer externen Vorrichtung über ein Netzwerk übertragen wird und die dem Objekt zugeordnet wird, als Reaktion auf Empfang einer Anforderung, die die Kennung bezeichnet, abgetastet wird, und Übertragen einer Antwort auf die Anforderung an die externe Vorrichtung auf einer Basis eines Ergebnisses der Abtastung.
  17. Ein Computerprogramm, das einen Computer dazu veranlasst, Folgendes auszuführen: Abtasten eines in einer abtastbaren Region vorhandenen Objekts; und Veranlassen, dass das Objekt entsprechend einer Kennung, die von einer externen Vorrichtung über ein Netzwerk übertragen wird und die dem Objekt zugeordnet wird, als Reaktion auf Empfang einer Anforderung, die die Kennung bezeichnet, abgetastet wird, und Übertragen einer Antwort auf die Anforderung an die externe Vorrichtung auf einer Basis eines Ergebnisses der Abtastung.
DE112017006606.9T 2016-12-27 2017-12-07 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und computerprogramm Active DE112017006606T8 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016253842 2016-12-27
JP2016-253842 2016-12-27
PCT/JP2017/043930 WO2018123497A1 (ja) 2016-12-27 2017-12-07 情報処理装置、情報処理方法及びコンピュータプログラム

Publications (2)

Publication Number Publication Date
DE112017006606T5 true DE112017006606T5 (de) 2019-09-12
DE112017006606T8 DE112017006606T8 (de) 2019-10-17

Family

ID=62708086

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112017006606.9T Active DE112017006606T8 (de) 2016-12-27 2017-12-07 Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und computerprogramm

Country Status (5)

Country Link
US (1) US11086393B2 (de)
JP (1) JP7006619B2 (de)
KR (1) KR20190099207A (de)
DE (1) DE112017006606T8 (de)
WO (1) WO2018123497A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102539579B1 (ko) * 2018-12-18 2023-06-05 삼성전자주식회사 정보의 표시 영역을 적응적으로 변경하기 위한 전자 장치 및 그의 동작 방법
WO2023240166A1 (en) * 2022-06-08 2023-12-14 Voyetra Turtle Beach, Inc. Input device, indicator device, and parameter adjustment method thereof
WO2023240167A1 (en) * 2022-06-08 2023-12-14 Voyetra Turtle Beach, Inc. Input device and indicator device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090524A (ja) 2013-11-05 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002023064A (ja) * 2000-07-11 2002-01-23 Goto Optical Mfg Co 天体観測施設の制御システム
JP4423302B2 (ja) 2002-11-25 2010-03-03 日本電信電話株式会社 実世界オブジェクト認識方法および実世界オブジェクト認識システム
US9619104B2 (en) * 2010-10-01 2017-04-11 Smart Technologies Ulc Interactive input system having a 3D input space
US8965049B2 (en) 2011-02-01 2015-02-24 Panasonic Intellectual Property Corporation Of America Function extension device, function extension method, computer-readable recording medium, and integrated circuit
AU2013239179B2 (en) * 2012-03-26 2015-08-20 Apple Inc. Enhanced virtual touchpad and touchscreen
US20140108979A1 (en) * 2012-10-17 2014-04-17 Perceptive Pixel, Inc. Controlling Virtual Objects
WO2015098189A1 (ja) 2013-12-27 2015-07-02 ソニー株式会社 表示制御装置、表示制御方法及びプログラム
CN105992988B (zh) * 2014-02-17 2019-12-17 苹果公司 用于检测第一对象与第二对象之间的触摸的方法和设备
WO2015139002A1 (en) * 2014-03-14 2015-09-17 Sony Computer Entertainment Inc. Gaming device with volumetric sensing
JP2015177383A (ja) 2014-03-17 2015-10-05 カシオ計算機株式会社 投影装置及びプログラム
US10429923B1 (en) * 2015-02-13 2019-10-01 Ultrahaptics IP Two Limited Interaction engine for creating a realistic experience in virtual reality/augmented reality environments
JP6586758B2 (ja) * 2015-03-31 2019-10-09 ソニー株式会社 情報処理システム、情報処理方法及びプログラム
CA3072774A1 (en) * 2017-08-21 2019-02-28 Precisionos Technology Inc. Medical virtual reality, mixed reality or augmented reality surgical system
US10540941B2 (en) * 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US10523921B2 (en) * 2018-04-06 2019-12-31 Zspace, Inc. Replacing 2D images with 3D images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015090524A (ja) 2013-11-05 2015-05-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム

Also Published As

Publication number Publication date
KR20190099207A (ko) 2019-08-26
US11086393B2 (en) 2021-08-10
JPWO2018123497A1 (ja) 2019-10-31
US20200089312A1 (en) 2020-03-19
WO2018123497A1 (ja) 2018-07-05
JP7006619B2 (ja) 2022-01-24
DE112017006606T8 (de) 2019-10-17

Similar Documents

Publication Publication Date Title
CN105869173B (zh) 一种立体视觉显著性检测方法
JP2013196682A (ja) 人の集団検出方法、及び人の集団検出装置
DE102018113672A1 (de) Mobiler Roboter und Steuerverfahren dafür
JP2019512827A (ja) 機械学習によってオブジェクト分類器を訓練するためのシステム及び方法
WO2019001505A1 (zh) 一种目标特征提取方法、装置及应用系统
DE112017006606T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und computerprogramm
DE112010005893T5 (de) Auswerten einer Eingabe relativ zu einer Anzeige
US10957055B2 (en) Methods and systems of searching for an object in a video stream
DE102020007191A1 (de) Maschinelles Lernen zur Digitalbildauswahl unter Objektvarianten
CN108537286B (zh) 一种基于关键区域检测的复杂目标精准识别方法
DE102018132428A1 (de) Photomosaische Bodenkartierung
DE202008007940U1 (de) Benutzerschnittstelle für eine modusabhängige Verarbeitung von Berührungsdaten
WO2018210047A1 (zh) 数据处理方法、数据处理装置、电子设备及存储介质
DE202007018940U1 (de) Bewegungserkennung für einen Digitalisierer
CN106663196A (zh) 视频中的计算机显著人物识别
DE112012006448T5 (de) Umsetzung einer Berührungseingabe in eine lokale Eingabe auf der Grundlage eines Umsetzungsprofils für eine Anwendung
CN106503170B (zh) 一种基于遮挡维度的图像库构建方法
WO2020224221A1 (zh) 跟踪方法、装置、电子设备及存储介质
DE102020105168A1 (de) Ermöglichen automatischer messungen
DE112017003030T5 (de) Visionsbasiertes Robotersteuerungssystem
DE112016002022T5 (de) Managen von merkmalsdaten zur umgebungsabbildung auf einer elektronischen vorrichtung
Pahwa et al. Locating 3D object proposals: A depth-based online approach
DE112017005980T5 (de) Anzeigesteuervorrichtung, anzeigesteuerverfahren und computerprogramm
CN114155497A (zh) 一种对象识别方法、装置及存储介质
CN111950345A (zh) 摄像头的识别方法、装置、电子设备和存储介质