DE112018005299T5 - INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM - Google Patents

INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM Download PDF

Info

Publication number
DE112018005299T5
DE112018005299T5 DE112018005299.0T DE112018005299T DE112018005299T5 DE 112018005299 T5 DE112018005299 T5 DE 112018005299T5 DE 112018005299 T DE112018005299 T DE 112018005299T DE 112018005299 T5 DE112018005299 T5 DE 112018005299T5
Authority
DE
Germany
Prior art keywords
information processing
display
users
user
processing device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE112018005299.0T
Other languages
German (de)
Inventor
Takanobu Omata
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of DE112018005299T5 publication Critical patent/DE112018005299T5/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/214—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads
    • A63F13/2145—Input arrangements for video game devices characterised by their sensors, purposes or types for locating contacts on a surface, e.g. floor mats or touch pads the surface being also a display device, e.g. touch screens
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/44—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment involving timing of operations, e.g. performing an action within a time slot
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/847—Cooperative playing, e.g. requiring coordinated actions from several players to achieve a common goal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

[Problem] Bereitstellen einer Informationsverarbeitungsvorrichtung, eines Informationsverarbeitungsverfahrens und eines Programms, die es ermöglichen, einem Anzeigebild als Reaktion auf vorgeschriebene Bedienungen, bei denen ein abgestimmtes Timing durch mehrere Benutzer durchgeführt wurde, eine spezifische Rückmeldung zu erteilen. [Lösung] Es wird eine Informationsverarbeitungsvorrichtung bereitgestellt, die eine Steuereinheit für Folgendes umfasst: Erkennen mehrerer Benutzer; Detektieren einer Bedienung, die durch jeden der mehreren Benutzer auf einem Anzeigebildschirm, auf dem ein Bild angezeigt wird, durchgeführt wird; und Ausgeben einer Rückmeldung in Bezug auf das auf dem Anzeigeschirm angezeigte Bild in Abhängigkeit von dem Timing der detektierten Bedienungen durch die mehreren Benutzer.

Figure DE112018005299T5_0000
[Problem] To provide an information processing apparatus, an information processing method, and a program that enable specific feedback to be given to a display image in response to prescribed operations in which coordinated timing has been performed by plural users. Solution There is provided an information processing apparatus comprising a control unit for: recognizing a plurality of users; Detecting an operation performed by each of the plurality of users on a display screen on which an image is displayed; and providing feedback on the image displayed on the display screen depending on the timing of the detected operations by the plurality of users.
Figure DE112018005299T5_0000

Description

Technisches GebietTechnical area

Die vorliegende Offenbarung betrifft eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungsverfahren und ein Programm.The present disclosure relates to an information processing device, an information processing method, and a program.

Hintergrundbackground

In den letzten Jahren haben sich Informationsverarbeitungseinrichtungen wie etwa Smartphones, Tablet-Endgeräte und digitale Beschilderung verbreitet und Entwicklungen im Zusammenhang mit Anzeigeobjekten (das heißt Benutzeroberfläche: UI) in Informationsverarbeitungseinrichtungen, die zu einer derart komplizierten Verarbeitung und Ausdruck in der Lage sind, wurden unter verschiedenen Gesichtspunkten entwickelt. Beispielsweise wurden UIs, die durch Benutzer intuitiver bedient werden können, UIs, die auf einfache Weise komplizierte Vorgänge umsetzen können, UIs, die den Benutzerkomfort verbessern, und dergleichen entwickelt. Als ein Beispiel offenbart die nachstehende Patentliteratur 1 eine Technik zum Anzeigen einer UI auf einem Tisch und zum Umsetzen einer Interaktion zwischen der UI und dem Benutzer.In recent years, information processing devices such as smartphones, tablet terminals and digital signage have spread, and developments related to display objects (i.e., user interface: UI) in information processing devices capable of such complicated processing and printing have been made among various Points of view developed. For example, UIs that can be operated more intuitively by users, UIs that can easily implement complicated operations, UIs that improve user convenience, and the like have been developed. As an example, Patent Literature 1 below discloses a technique of displaying a UI on a table and realizing an interaction between the UI and the user.

ZitatlisteList of quotes

PatentliteraturPatent literature

Patentliteratur 1: JP 2015-90524 A Patent Literature 1: JP 2015-90524 A

Kurzfassungshort version

Technisches ProblemTechnical problem

In einer solchen Vorrichtung wird jedoch im Allgemeinen ein Dienst für einen einzelnen Benutzer basierend auf der Interaktion mit dem einzelnen Benutzer bereitgestellt. In Bezug auf den Ausdruck gegenüber mehreren Benutzern beschreibt die oben erwähnte Patentliteratur 1, dass die Vorrichtung als ein Verwendungsbeispiel durch mehrere Benutzer gemeinsam genutzt werden kann; insbesondere wird jedoch jede Bedienung durch mehrere Benutzer individuell als Interaktion erkannt, und eine gleichzeitige Bedienung durch mehrere Benutzer wird nicht erkannt.In such an apparatus, however, a service is generally provided to an individual user based on the interaction with the individual user. Regarding the expression against multiple users, the above-mentioned Patent Literature 1 describes that the device can be shared by multiple users as an example of use; in particular, however, each operation by several users is individually recognized as an interaction, and simultaneous operation by several users is not recognized.

In Anbetracht des obigen Problems schlägt die vorliegende Offenbarung eine Informationsverarbeitungseinrichtung, ein Informationsverarbeitungsverfahren und ein Programm vor, die eine spezifische Rückmeldung in einem Anzeigebild als Reaktion auf eine vorbestimmte Bedienung durch mehrere Benutzer zu einem abgestimmten Timing bereitstellen können.In view of the above problem, the present disclosure proposes an information processing device, an information processing method, and a program that can provide specific feedback in a display image in response to a predetermined operation by a plurality of users at an agreed timing.

Lösung der ProblemeSolving the problems

Gemäß der vorliegenden Offenbarung wird eine Informationsverarbeitungseinrichtung bereitgestellt, die eine Steuereinheit umfasst, die für Folgendes ausgelegt ist: Erkennen mehrerer Benutzer; Detektieren einer Bedienung durch jeden Benutzer auf einer Anzeigefläche, auf der ein Bild angezeigt wird; und Steuern, eine Rückmeldung über das auf der Anzeigefläche angezeigte Bild gemäß dem Timing der detektierten Bedienungen durch die mehreren Benutzer auszugeben.According to the present disclosure, there is provided an information processing device comprising a control unit configured to: recognize a plurality of users; Detecting an operation by each user on a display surface on which an image is displayed; and controlling to output feedback on the image displayed on the display area according to the timing of the detected operations by the plurality of users.

Gemäß der vorliegenden Offenbarung wird ein Informationsverarbeitungsverfahren bereitgestellt, bei dem ein Prozessor Prozesse ausführt, die Folgendes umfassen: Erkennen mehrerer Benutzer; Detektieren einer Bedienung durch jeden Benutzer auf einer Anzeigefläche, auf der ein Bild angezeigt wird; und Ausgeben einer Rückmeldung über das auf der Anzeigefläche angezeigte Bild gemäß dem Timing der detektierten Bedienungen durch die mehreren Benutzer.According to the present disclosure, there is provided an information processing method in which a processor performs processes comprising: recognizing a plurality of users; Detecting an operation by each user on a display surface on which an image is displayed; and outputting feedback on the image displayed on the display area according to the timing of the detected operations by the plurality of users.

Gemäß der vorliegenden Offenbarung wird ein Programm bereitgestellt, das bewirkt, dass ein Computer als eine Steuereinheit fungiert zum: Erkennen mehrerer Benutzer; Detektieren einer Bedienung durch jeden Benutzer auf einer Anzeigefläche, auf der ein Bild angezeigt wird; und Ausgeben einer Rückmeldung über das auf der Anzeigefläche angezeigte Bild gemäß dem Timing der detektierten Bedienungen durch die mehreren Benutzer.According to the present disclosure, there is provided a program that causes a computer to function as a control unit for: recognizing a plurality of users; Detecting an operation by each user on a display surface on which an image is displayed; and outputting feedback on the image displayed on the display area according to the timing of the detected operations by the plurality of users.

Vorteilhafte Effekte der ErfindungAdvantageous Effects of the Invention

Wie oben beschrieben, kann gemäß der vorliegenden Offenbarung eine spezifische Rückmeldung in einem Anzeigebild als Reaktion auf eine vorbestimmte Bedienung durch mehrere Benutzer zu einem abgestimmten Timing bereitgestellt werden.As described above, according to the present disclosure, specific feedback can be provided in a display image in response to a predetermined operation by a plurality of users at an agreed timing.

Es ist zu beachten, dass der obige Effekt nicht notwendigerweise beschränkt ist und dass irgendwelche der in der vorliegenden Beschreibung beschriebenen Effekte oder andere Effekte, die aus der vorliegenden Beschreibung verstanden werden können, zusammen mit oder anstelle der obigen Effekte bereitgestellt werden können.Note that the above effect is not necessarily limited, and any of the effects described in the present specification or other effects that can be understood from the present description can be provided along with or in place of the above effects.

FigurenlisteFigure list

  • 1 ist ein Diagramm, das ein Konfigurationsbeispiel eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung veranschaulicht. 1 FIG. 13 is a diagram illustrating a configuration example of an information processing system according to an embodiment of the present disclosure.
  • 2 ist ein Diagramm, das ein anderes Konfigurationsbeispiel des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform veranschaulicht. 2 Fig. 13 is a diagram illustrating another configuration example of the information processing system according to the present embodiment.
  • 3 ist ein Diagramm, das ein anderes Konfigurationsbeispiel des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform veranschaulicht. 3 Fig. 13 is a diagram illustrating another configuration example of the information processing system according to the present embodiment.
  • 4 ist ein Blockdiagramm, das ein Beispiel einer funktionalen Konfiguration des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform veranschaulicht. 4th Fig. 13 is a block diagram illustrating an example of a functional configuration of the information processing system according to the present embodiment.
  • 5 ist ein Flussdiagramm, das ein Beispiel eines Informationsverarbeitungsflusses veranschaulicht, der durch das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform ausgeführt wird. 5 Fig. 12 is a flowchart illustrating an example of an information processing flow executed by the information processing system according to the present embodiment.
  • 6 ist ein Flussdiagramm, das ein Beispiel einer Bedienungsverarbeitung gemäß einem ersten spezifischen Beispiel veranschaulicht, das durch das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform ausgeführt wird. 6th Fig. 13 is a flowchart illustrating an example of operation processing according to a first specific example executed by the information processing system according to the present embodiment.
  • 7 ist ein Diagramm, das ein Beispiel einer gleichzeitigen Bedienung veranschaulicht, die durch alle Benutzer in dem ersten spezifischen Beispiel durchgeführt wird. 7th Fig. 13 is a diagram illustrating an example of simultaneous operation performed by all users in the first specific example.
  • 8 ist ein Diagramm, das ein Beispiel einer Interaktion als Reaktion auf die gleichzeitige Bedienung veranschaulicht, die durch alle Benutzer in dem ersten spezifischen Beispiel durchgeführt wird. 8th Fig. 13 is a diagram illustrating an example of interaction in response to concurrent operation performed by all users in the first specific example.
  • 9 ist ein Diagramm, das ein Anwendungsbeispiel der Interaktion als Reaktion auf die gleichzeitige Bedienung in dem ersten spezifischen Beispiel veranschaulicht. 9 Fig. 13 is a diagram illustrating an application example of the interaction in response to the simultaneous operation in the first specific example.
  • 10 ist ein Diagramm, das ein Beispiel einer Anzeigesteuerung veranschaulicht, wenn die gleichzeitige Bedienung in dem ersten spezifischen Beispiel fehlschlägt. 10 Fig. 13 is a diagram illustrating an example of display control when the simultaneous operation fails in the first specific example.
  • 11 ist ein Diagramm, das ein Beispiel einer Interaktion als Reaktion auf eine andere gleichzeitige Bedienung in dem ersten spezifischen Beispiel veranschaulicht. 11 Fig. 13 is a diagram illustrating an example of interaction in response to another concurrent operation in the first specific example.
  • 12 ist ein Flussdiagramm, das ein Beispiel einer Bedienungsverarbeitung gemäß einem zweiten spezifischen Beispiel veranschaulicht, das durch das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform ausgeführt wird. 12 Fig. 13 is a flowchart illustrating an example of operation processing according to a second specific example executed by the information processing system according to the present embodiment.
  • 13 ist ein Diagramm, das ein Beispiel eines Rippelwellen-Ausdrucks veranschaulicht, der auf alle Anzeigeobjekte gemäß dem zweiten spezifischen Beispiel einwirkt. 13 Figure 13 is a diagram illustrating an example of ripple wave expression applied to all display objects according to the second specific example.
  • 14 ist ein Diagramm, das ein Beispiel eines Wasserfluss-Ausdrucks veranschaulicht, der auf alle Anzeigeobjekte und reale Objekte gemäß dem zweiten spezifischen Beispiel einwirkt. 14th Fig. 13 is a diagram illustrating an example of a water flow expression applied to all display objects and real objects according to the second specific example.
  • 15 ist ein Flussdiagramm, das ein Beispiel einer Bedienungsverarbeitung gemäß einem dritten spezifischen Beispiel veranschaulicht, das durch das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform ausgeführt wird. 15th Fig. 13 is a flowchart illustrating an example of operation processing according to a third specific example executed by the information processing system according to the present embodiment.
  • 16 ist ein Diagramm, das ein Beispiel eines Bildschirms veranschaulicht, der auf einem Tisch während eines Musikerlebnisses gemäß dem dritten spezifischen Beispiel angezeigt wird. 16 Fig. 13 is a diagram illustrating an example of a screen displayed on a table during a musical experience according to the third specific example.
  • 17 ist ein Diagramm, das ein Beispiel einer Interaktion als Reaktion auf eine gleichzeitige Bedienung veranschaulicht, die durch alle Benutzer gemäß dem dritten spezifischen Beispiel durchgeführt wird. 17th Fig. 13 is a diagram illustrating an example of interaction in response to simultaneous operation performed by all users according to the third specific example.
  • 18 ist ein Diagramm, das Beispiele von Interaktionen in einer Bedienungseinheit veranschaulicht, die in dem in 16 veranschaulichten Anzeigebildschirm enthalten ist. 18th FIG. 13 is a diagram illustrating examples of interactions in an operating unit included in the FIG 16 illustrated display screen is included.
  • 19 ist ein Diagramm, das ein Beispiel einer Rückmeldung veranschaulicht, wenn eine gleichzeitige Bedienung, die durch alle Benutzer gemäß dem dritten spezifischen Beispiel durchgeführt wird, fehlschlägt. 19th Fig. 12 is a diagram illustrating an example of feedback when concurrent operation performed by all users according to the third specific example fails.
  • 20 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration der Informationsverarbeitungseinrichtung gemäß der vorliegenden Ausführungsform veranschaulicht. 20th Fig. 13 is a block diagram illustrating an example of a hardware configuration of the information processing device according to the present embodiment.

Beschreibung der AusführungsformenDescription of the embodiments

Nachfolgend werden bevorzugte Ausführungsformen der vorliegenden Offenbarung unter Bezugnahme auf die begleitenden Zeichnungen ausführlich beschrieben. Es ist zu beachten, dass in dieser Beschreibung und den Zeichnungen Komponenten mit im Wesentlichen derselben funktionalen Konfiguration und derselben Bezugsnummer verwendet werden und eine wiederholte Erläuterung weggelassen wird.In the following, preferred embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. It should be noted that in this specification and the drawings, components having substantially the same functional configuration and the same reference numerals are used and repeated explanation is omitted.

Die Beschreibung erfolgt in der folgenden Reihenfolge.

  1. 1. Übersicht über das Informationsverarbeitungssystem gemäß der Ausführungsform der vorliegenden Offenbarung
  2. 2. Funktionale Konfiguration
  3. 3. Bedienungsverarbeitung
  4. 4. Spezifische Beispiele
    • 4-1. Erstes spezifisches Beispiel
    • 4-2. Zweites spezifisches Beispiel
    • 4-3. Drittes spezifisches Beispiel
  5. 5. Hardwarekonfigurationsbeispiel
  6. 6. Zusammenfassung
The description is given in the following order.
  1. 1. Outline of the information processing system according to the embodiment of the present disclosure
  2. 2. Functional configuration
  3. 3. Service processing
  4. 4. Specific examples
    • 4-1. First specific example
    • 4-2. Second specific example
    • 4-3. Third specific example
  5. 5. Hardware configuration example
  6. 6. Summary

«1. Übersicht über das Informationsverarbeitungssystem gemäß der Ausführungsform der vorliegenden Offenbarung»"1. Overview of the Information Processing System According to the Embodiment of the Present Disclosure »

Eine Konfiguration eines Informationsverarbeitungssystems gemäß einer Ausführungsform der vorliegenden Offenbarung wird unter Bezugnahme auf 1 beschrieben. 1 ist ein Diagramm, das ein Konfigurationsbeispiel des Informationsverarbeitungssystems gemäß der Ausführungsform der vorliegenden Offenbarung veranschaulicht. Es ist zu beachten, dass in dieser Beschreibung das System eine Konfiguration zum Ausführen eines vorbestimmten Prozesses repräsentieren kann und das System als Ganzes als eine einzelne Vorrichtung angesehen werden kann oder das System durch mehrere Vorrichtungen konfiguriert werden kann. Das in 1 veranschaulichte Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform kann auch dazu ausgelegt sein, in der Lage zu sein, eine vorbestimmte Verarbeitung (beispielsweise eine Verarbeitung, die durch eine in 4 veranschaulichte funktionale Konfiguration umgesetzt wird) als das gesamte Informationsverarbeitungssystem auszuführen, und es kann beliebig sein, welche der Komponenten in dem Informationsverarbeitungssystem als eine einzelne Vorrichtung angesehen wird.A configuration of an information processing system according to an embodiment of the present disclosure will be described with reference to FIG 1 described. 1 FIG. 13 is a diagram illustrating a configuration example of the information processing system according to the embodiment of the present disclosure. Note that, in this specification, the system may represent a configuration for executing a predetermined process, and the system as a whole may be viewed as a single device, or the system may be configured by multiple devices. This in 1 The illustrated information processing system according to the present embodiment may also be configured to be able to perform predetermined processing (for example, processing performed by an in 4th illustrated functional configuration is implemented) as the entire information processing system, and it may be any of the components in the information processing system regarded as a single device.

Mit Bezug auf 1 beinhaltet ein Informationsverarbeitungssystem 100a gemäß einer Ausführungsform der vorliegenden Offenbarung eine Eingabeeinheit 110a und eine Ausgabeeinheit 130a.Regarding 1 includes an information processing system 100a according to an embodiment of the present disclosure, an input unit 110a and an output unit 130a .

Die Ausgabeeinheit 130a benachrichtigt einen Benutzer visuell über Informationen, indem verschiedene Arten von Informationen auf einem Tisch 140a angezeigt werden. Als die Ausgabeeinheit 130a wird beispielsweise ein Projektor verwendet. Wie veranschaulicht, ist die Ausgabeeinheit 130a über dem Tisch 140a angeordnet, beispielsweise um einen vorbestimmten Abstand von der Decke von dem Tisch 140a beabstandet, und projiziert Informationen auf eine obere Oberfläche des Tisches 140a. Ein Verfahren zum Anzeigen von Informationen auf der oberen Oberfläche des Tisches 140a von oben auf diese Art und Weise wird auch als ein „Projektionstyp“ bezeichnet.The output unit 130a Visually notifies a user of information by placing various types of information on a table 140a are displayed. As the output unit 130a a projector is used, for example. As illustrated, is the output unit 130a above the table 140a arranged, for example, at a predetermined distance from the ceiling of the table 140a spaced, and projects information onto a top surface of the table 140a . A method of displaying information on the top surface of the table 140a from above in this way is also referred to as a "projection type".

Es ist zu beachten, dass in der folgenden Beschreibung der gesamte Bereich, in dem Informationen durch die Ausgabeeinheit 130a angezeigt werden, auch als ein Anzeigebildschirm (oder eine Anzeigefläche) bezeichnet wird. Beispielsweise zeigt die Ausgabeeinheit 130a auf dem Anzeigebildschirm Informationen an, die einem Benutzer präsentiert werden sollen, während eine Anwendung durch das Informationsverarbeitungssystem 100a ausgeführt wird.It should be noted that in the following description the entire area in which information is provided by the output unit 130a also referred to as a display screen (or display area). For example, the output unit shows 130a on the display screen to display information to be presented to a user while an application is being performed by the information processing system 100a is performed.

Hierbei kann in einem Fall, in dem das Informationsverarbeitungssystem 100a ein Projektionstyp ist, die Ausgabeeinheit 130a eine Beleuchtungsvorrichtung enthalten. In einem Fall, in dem die Ausgabeeinheit 130a eine Beleuchtungsvorrichtung enthält, kann das Informationsverarbeitungssystem 100a einen Zustand der Beleuchtungsvorrichtung durch Einschalten, Ausschalten oder dergleichen basierend auf dem Inhalt der durch die Eingabeeinheit 110a eingegebenen Informationen und/oder dem Inhalt von durch die Ausgabeeinheit 130a angezeigten Informationen steuern.Here, in a case where the information processing system 100a one type of projection is the output unit 130a contain a lighting device. In a case where the output unit 130a contains a lighting device, the information processing system 100a a state of the lighting device by turning on, turning off, or the like based on the content of the input unit 110a information entered and / or the content of by the output unit 130a control the information displayed.

Ferner kann die Ausgabeeinheit 130a einen Lautsprecher enthalten und kann verschiedene Arten von Informationen als Ton ausgeben. Wenn die Ausgabeeinheit 130a durch einen Lautsprecher konfiguriert ist, kann die Anzahl der Lautsprecher eins oder mehr betragen. In einem Fall, in dem die Ausgabeeinheit 130a mehrere Lautsprecher enthält, kann das Informationsverarbeitungssystem 100a einige der Lautsprecher auf die Ausgabe von Ton beschränken oder eine Richtung anpassen, in der Ton ausgegeben wird.Furthermore, the output unit 130a contain a speaker and can output various types of information as sound. When the output unit 130a configured by one speaker, the number of speakers may be one or more. In a case where the output unit 130a contains multiple speakers, the information processing system 100a Restrict some of the speakers to output sound or adjust a direction in which sound is output.

Die Eingabeeinheit 110a ist eine Vorrichtung, die Bedienungseinzelheiten durch den Benutzer eingibt, der das Informationsverarbeitungssystem 100a verwendet. In dem in 1 veranschaulichten Beispiel ist die Eingabeeinheit 110a über dem Tisch 140a bereitgestellt, beispielsweise von der Decke hängend. Wie oben beschrieben, ist die Eingabeeinheit 110a getrennt von dem Tisch 140a bereitgestellt, auf dem Informationen angezeigt werden. Die Eingabeeinheit 110a kann durch eine Bildgebungsvorrichtung konfiguriert sein, die die obere Oberfläche des Tisches 140a, der der Anzeigebildschirm ist, aufnehmen kann. Als die Eingabeeinheit 110a kann beispielsweise eine Kamera, die ein Bild des Tisches 140a mit einem Objektiv aufnimmt, eine Stereokamera, die Informationen in einer Tiefenrichtung durch Aufnehmen von Bildern des Tisches 140a mit zwei Objektiven aufzeichnen kann, oder dergleichen verwendet werden. In einem Fall, in dem die Eingabeeinheit 110a eine Stereokamera ist, kann beispielsweise eine Kamera für sichtbares Licht oder eine Infrarotkamera verwendet werden.The input unit 110a is a device that inputs operation details by the user running the information processing system 100a used. In the in 1 The example illustrated is the input unit 110a above the table 140a provided, for example hanging from the ceiling. As described above, is the input unit 110a separated from the table 140a on which information is displayed. The input unit 110a may be configured by an imaging device covering the top surface of the table 140a which is the display screen. As the input unit 110a For example, a camera can take a picture of the table 140a with a lens, a stereo camera that records information in a depth direction by taking pictures of the table 140a can record with two lenses, or the like can be used. In a case where the input unit 110a is a stereo camera, for example, a visible light camera or an infrared camera can be used.

In einem Fall, in dem eine Kamera, die den Tisch 140a mit einem einzelnen Objektiv aufnimmt, als die Eingabeeinheit 110a verwendet wird, analysiert das Informationsverarbeitungssystem 100a das durch die Kamera aufgenommene Bild (aufgenommenes Bild), sodass eine Position eines auf dem Tisch 140a platzierten physischen Objekts (im Folgenden auch als ein reales Objekt bezeichnet), bei dem es sich beispielsweise um die Hand des Benutzers handelt, detektiert werden kann. Ferner analysiert in einem Fall, in dem eine Stereokamera als die Eingabeeinheit 110a verwendet wird, das Informationsverarbeitungssystem 100a das durch die Stereokamera aufgenommene Bild, sodass Tiefeninformationen (mit anderen Worten dreidimensionale Informationen) eines auf dem Tisch 140a platzierten Objekts zusätzlich zu Positionsinformationen des Objekts erfasst werden können. Basierend auf den Tiefeninformationen kann das Informationsverarbeitungssystem 100a detektieren, dass die Hand des Benutzers in Kontakt mit dem Tisch 140a ist oder sich in dessen Nähe befindet und dass die Hand des Benutzers den Tisch 140a in der Höhenrichtung verlässt. Es ist zu beachten, dass in der folgenden Beschreibung das Berühren oder Inkontaktbringen des Bedienungskörpers des Benutzers, wie etwa einer Hand, mit den Informationen auf dem Anzeigebildschirm auch einfach als „Kontakt“ bezeichnet wird.In a case where a camera covering the table 140a records with a single lens than the input unit 110a is used, the information processing system analyzes 100a the image captured by the camera ( captured image) so that a position of one on the table 140a placed physical object (hereinafter also referred to as a real object), which is, for example, the hand of the user, can be detected. Further analyzed in a case where a stereo camera as the input unit 110a is used, the information processing system 100a the image captured by the stereo camera, so that depth information (in other words, three-dimensional information) one on the table 140a placed object can be recorded in addition to position information of the object. Based on the depth information, the information processing system 100a detect that the user's hand is in contact with the table 140a is or is close to it and that the user's hand touches the table 140a leaves in the height direction. It should be noted that in the following description, touching or bringing the operating body of the user, such as a hand, into contact with the information on the display screen is also referred to simply as “contact”.

Gemäß der vorliegenden Ausführungsform wird basierend auf dem durch die Eingabeeinheit 110a aufgenommenen Bild die Position des Bedienungskörpers, der beispielsweise die Hand des Benutzers ist, auf dem Anzeigebildschirm (das heißt der oberen Oberfläche des Tisches 140a) detektiert und werden basierend auf der detektierten Position des Bedienungskörpers verschiedene Informationen eingegeben. Mit anderen Worten kann der Benutzer verschiedene Bedienungseingaben durchführen, indem er den Bedienungskörper auf dem Anzeigebildschirm bewegt. Wenn beispielsweise detektiert wird, dass die Hand des Benutzers ein Anzeigeobjekt kontaktiert, wird die Bedienung für das Anzeigeobjekt eingegeben. Es ist zu beachten, dass in der folgenden Beschreibung ein Fall, in dem die Hand eines Benutzers als Bedienungskörper verwendet wird, als ein Beispiel beschrieben wird; die vorliegende Ausführungsform ist jedoch nicht auf dieses Beispiel beschränkt, und verschiedene Bedienungselemente, wie etwa ein Stylus, können als der Bedienungskörper verwendet werden.According to the present embodiment, based on that by the input unit 110a the position of the operating body, which is, for example, the user's hand, on the display screen (i.e. the upper surface of the table) 140a ) is detected and various information is entered based on the detected position of the operating body. In other words, the user can perform various operation inputs by moving the operation body on the display screen. For example, when it is detected that the user's hand is contacting a display object, the operation for the display object is entered. Note that, in the following description, a case where a user's hand is used as an operating body is described as an example; however, the present embodiment is not limited to this example, and various operating members such as a stylus can be used as the operating body.

In einem Fall, in dem die Eingabeeinheit 110a durch eine Bildgebungsvorrichtung konfiguriert ist, kann die Eingabeeinheit 110a nicht nur ein Bild der oberen Oberfläche des Tisches 140a aufnehmen, sondern auch ein Bild eines Benutzers, der sich um den Tisch 140a herum befindet. Beispielsweise kann das Informationsverarbeitungssystem 100a die Position des Benutzers um den Tisch 140a herum basierend auf dem aufgenommenen Bild detektieren. Ferner kann das Informationsverarbeitungssystem 100a zum Beispiel eine persönliche Erkennung des Benutzers durchführen, indem physische Merkmale extrahiert werden, die einen individuellen Benutzer identifizieren können, wie etwa das Gesicht des Benutzers und eine Größe des Körpers des Benutzers, die in dem aufgenommenen Bild enthalten sind.In a case where the input unit 110a is configured by an imaging device, the input unit 110a not just a picture of the top surface of the table 140a record, but also a picture of a user around the table 140a located around. For example, the information processing system 100a the position of the user around the table 140a around based on the captured image. Furthermore, the information processing system 100a for example, perform personal recognition of the user by extracting physical features that can identify an individual user, such as the user's face and a size of the user's body, included in the captured image.

Hier ist die vorliegende Ausführungsform nicht auf die obigen Beispiele beschränkt, und die Bedienungen des Benutzers können durch ein anderes Verfahren eingegeben werden. Beispielsweise kann die Eingabeeinheit 110a als ein Touchpanel auf der oberen Oberfläche des Tisches 140a bereitgestellt sein, und die Bedienungseingabe des Benutzers kann durch einen Kontakt des Fingers des Benutzers oder dergleichen auf dem Touchpanel detektiert werden. Ferner kann die Bedienungseingabe des Benutzers durch eine Geste für die die Eingabeeinheit 110a bildende Bildgebungsvorrichtung detektiert werden. Alternativ dazu kann die Eingabeeinheit 110a eine Toneingabevorrichtung wie etwa ein Mikrofon enthalten, das durch einen Benutzer erzeugten Ton und Umgebungsgeräusche der Umgebung sammelt. Als die Toneingabevorrichtung kann geeigneterweise ein Mikrofonarray zum Sammeln von Ton in einer spezifischen Richtung verwendet werden. Ferner kann das Mikrofonarray so konfiguriert sein, dass die Tonsammelrichtung auf eine beliebige Richtung angepasst werden kann. In einem Fall, in dem eine Toneingabevorrichtung als die Eingabeeinheit 110a verwendet wird, kann eine Bedienungseingabe unter Verwendung des gesammelten Tons durchgeführt werden. Ferner kann das Informationsverarbeitungssystem 100a eine individuelle Erkennung basierend auf dem gesammelten Ton durchführen, indem der gesammelte Ton analysiert wird. Alternativ dazu kann die Eingabeeinheit 110a durch eine Fernsteuervorrichtung (sogenannte Fernbedienung) konfiguriert sein. Die Fernbedienung kann eine sein, bei der eine vorbestimmte Anweisung durch Betätigen einer vorbestimmten Taste eingegeben wird, die an der Fernbedienung angeordnet ist, oder eine vorbestimmte Anweisung kann durch eine Bedienung des Benutzers, der die Fernbedienung bewegt, eingegeben werden, indem die Bewegung der Fernbedienung durch einen Sensor wie etwa einen Beschleunigungssensor oder einen Gyrosensor, der an der Fernbedienung angebracht ist, detektiert wird. Darüber hinaus kann das Informationsverarbeitungssystem 100a andere Eingabevorrichtungen wie etwa eine Maus, eine Tastatur, eine Taste, einen Schalter und einen Hebel (nicht veranschaulicht) als die Eingabeeinheit 110a enthalten, und Benutzerbedienungen können über diese Eingabevorrichtungen eingegeben werden.Here, the present embodiment is not limited to the above examples, and the user's operations can be input by another method. For example, the input unit 110a as a touch panel on the top surface of the table 140a can be provided, and the operation input of the user can be detected by a contact of the user's finger or the like on the touch panel. Furthermore, the operator input can be made by a gesture for the input unit 110a forming imaging device can be detected. Alternatively, the input unit 110a include a sound input device, such as a microphone, that collects sound and ambient noise from the environment generated by a user. As the sound input device, a microphone array for collecting sound in a specific direction can be suitably used. Furthermore, the microphone array can be configured so that the sound collection direction can be adapted to any direction. In a case where a sound input device is used as the input unit 110a is used, an operation input can be performed using the collected sound. Furthermore, the information processing system 100a perform individual recognition based on the collected sound by analyzing the collected sound. Alternatively, the input unit 110a be configured by a remote control device (so-called remote control). The remote controller may be one in which a predetermined instruction is inputted by operating a predetermined button provided on the remote controller, or a predetermined instruction can be inputted by an operation of the user moving the remote controller by moving the remote controller is detected by a sensor such as an acceleration sensor or a gyro sensor attached to the remote controller. In addition, the information processing system 100a input devices such as a mouse, a keyboard, a key, a switch, and a lever (not illustrated) other than the input unit 110a and user operations can be input through these input devices.

Die Konfiguration des Informationsverarbeitungssystems 100a gemäß der vorliegenden Ausführungsform wurde oben unter Bezugnahme auf 1 beschrieben. Obwohl nicht in 1 veranschaulicht, kann eine andere Vorrichtung mit dem Informationsverarbeitungssystem 100a verbunden sein. Beispielsweise kann eine Beleuchtungsvorrichtung zum Beleuchten des Tisches 140a mit dem Informationsverarbeitungssystem 100a verbunden sein. Das Informationsverarbeitungssystem 100a kann den Beleuchtungszustand der Beleuchtungsvorrichtung gemäß dem Zustand des Anzeigebildschirms steuern.The configuration of the information processing system 100a according to the present embodiment has been described above with reference to FIG 1 described. Although not in 1 illustrated, another device can be connected to the information processing system 100a be connected. For example, a lighting device for Illuminate the table 140a with the information processing system 100a be connected. The information processing system 100a can control the lighting state of the lighting device according to the state of the display screen.

Hier ist in der vorliegenden Ausführungsform die Konfiguration des Informationsverarbeitungssystems nicht auf das beschränkt, was in 1 veranschaulicht ist. Das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform muss nur eine Ausgabeeinheit, die verschiedene Arten von Informationen auf dem Anzeigebildschirm anzeigt, und eine Eingabeeinheit, die zumindest eine Bedienungseingabe für die angezeigten Informationen akzeptieren kann, beinhalten, und deren detaillierte Konfigurationen sind nicht beschränkt. Mit Bezug auf die 2 und 3 sind andere Konfigurationsbeispiele des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform beschrieben. Die 2 und 3 sind Diagramme, die andere Konfigurationsbeispiele des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform veranschaulichen.Here, in the present embodiment, the configuration of the information processing system is not limited to what is shown in FIG 1 is illustrated. The information processing system according to the present embodiment only needs to include an output unit that displays various kinds of information on the display screen and an input unit that can accept at least one operation input for the displayed information, and their detailed configurations are not limited. With reference to the 2 and 3 other configuration examples of the information processing system according to the present embodiment are described. The 2 and 3 are diagrams illustrating other configuration examples of the information processing system according to the present embodiment.

In dem in 2 veranschaulichten Informationsverarbeitungssystem 100b ist eine Ausgabeeinheit 130a unterhalb des Tisches 140b bereitgestellt. Die Ausgabeeinheit 130a ist beispielsweise ein Projektor und projiziert Informationen von unten in Richtung der oberen Platte des Tisches 140b. Die obere Platte des Tisches 140b ist aus einem transparenten Material gebildet, wie etwa einer Glasplatte oder einer transparenten Kunststoffplatte, und die durch die Ausgabeeinheit 130a projizierten Informationen werden auf der oberen Oberfläche des Tisches 140b angezeigt. Ein Verfahren zum Projizieren von Informationen von der Unterseite des Tisches 140b auf die Ausgabeeinheit 130a und zum Anzeigen der Informationen auf der oberen Oberfläche des Tisches 140b wird auch als „Rückprojektionstyp“ bezeichnet.In the in 2 illustrated information processing system 100b is an output unit 130a below the table 140b provided. The output unit 130a is for example a projector and projects information from below towards the top of the table 140b . The top of the table 140b is formed of a transparent material such as a glass plate or a transparent plastic plate, and that of the output unit 130a Projected information is on the top surface of the table 140b displayed. A method of projecting information from the underside of the table 140b on the output unit 130a and for displaying the information on the top surface of the table 140b is also referred to as the "rear projection type".

In dem in 2 veranschaulichten Beispiel ist die Eingabeeinheit 110b auf der oberen Oberfläche (Vorderfläche) des Tisches 140b bereitgestellt. Die Eingabeeinheit 110b ist beispielsweise durch ein Touchpanel konfiguriert, und die Bedienungseingabe durch den Benutzer wird durchgeführt, wenn ein Kontakt des Bedienungskörpers mit dem Anzeigebildschirm (der Anzeigefläche) der oberen Oberfläche des Tisches 140b durch das Touchpanel detektiert wird. Es ist zu beachten, dass die Konfiguration der Eingabeeinheit 110b nicht auf dieses Beispiel beschränkt ist und die Eingabeeinheit 110b unterhalb des Tisches 140b bereitgestellt und vom Tisch 140b getrennt sein kann, wie in dem in 1 veranschaulichten Informationsverarbeitungssystem 100a. In diesem Fall ist die Eingabeeinheit 110b beispielsweise durch eine Bildgebungsvorrichtung konfiguriert und kann die Position des Bedienungskörpers auf der oberen Oberfläche des Tisches 140b durch die aus einem transparenten Material gebildete obere Platte detektieren.In the in 2 The example illustrated is the input unit 110b on the top surface (front surface) of the table 140b provided. The input unit 110b is configured by a touch panel, for example, and the operation input by the user is performed when the operation body makes contact with the display screen (display area) of the upper surface of the table 140b is detected by the touch panel. It should be noted that the configuration of the input unit 110b is not limited to this example and the input unit 110b below the table 140b provided and off the table 140b can be separated, as in the one in 1 illustrated information processing system 100a . In this case the input unit is 110b configured, for example, by an imaging device, and can adjust the position of the operating body on the top surface of the table 140b detect through the top plate formed from a transparent material.

In einem Informationsverarbeitungssystem 100c, das in 3 veranschaulicht ist, ist eine Touchpanel-Anzeige auf dem Tisch installiert, wobei deren Anzeigebildschirm (Anzeigefläche) nach oben zeigt. In dem Informationsverarbeitungssystem 100c können die Eingabeeinheit 110c und die Ausgabeeinheit 130c integral als die Touchpanel-Anzeige konfiguriert sein. Mit anderen Worten werden verschiedene Arten von Informationen auf dem Anzeigebildschirm der Anzeige angezeigt, und die Bedienungseingabe durch den Benutzer wird durch Detektieren eines Kontakts des Bedienungskörpers mit dem Anzeigebildschirm der Anzeige durch das Touchpanel durchgeführt. Es ist zu beachten, dass sowohl im Informationsverarbeitungssystem 100c als auch im in 1 veranschaulichten Informationsverarbeitungssystem 100a eine Bildgebungsvorrichtung über der Touchpanel-Anzeige als die Eingabeeinheit 110c bereitgestellt sein kann. Die Position des Benutzers um den Tisch herum kann durch die Bildgebungsvorrichtung detektiert werden.In an information processing system 100c , this in 3 As illustrated, a touch panel display is installed on the table with its display screen (display surface) facing up. In the information processing system 100c can use the input unit 110c and the output unit 130c be configured integrally as the touch panel display. In other words, various kinds of information are displayed on the display screen of the display, and the operation input by the user is performed by detecting contact of the operation body with the display screen of the display through the touch panel. It should be noted that both in the information processing system 100c as well as in 1 illustrated information processing system 100a an imaging device over the touch panel display as the input unit 110c can be provided. The position of the user around the table can be detected by the imaging device.

Die anderen Konfigurationsbeispiele des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform wurden oben unter Bezugnahme auf die 2 und 3 beschrieben. Wie oben beschrieben, kann das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform durch verschiedene Konfigurationen umgesetzt werden. Im Folgenden wird hier die vorliegende Ausführungsform anhand der Konfiguration des Informationsverarbeitungssystems 100a beschrieben, in dem die Eingabeeinheit 110a und die Ausgabeeinheit 130a über dem in 1 veranschaulichten Tisch 140a bereitgestellt sind. Es ist zu beachten, dass Funktionen, die den nachstehend beschriebenen Funktionen ähnlich sind, auch mit anderen Konfigurationen umgesetzt werden können, die das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform umsetzen können, wie etwa den in 2 oder 3 veranschaulichten und oben beschrieben Konfigurationen. In der folgenden Beschreibung werden das Informationsverarbeitungssystem 100a, die Eingabeeinheit 110a und die Ausgabeeinheit 130a der Einfachheit halber auch einfach als das Informationsverarbeitungssystem 100, die Eingabeeinheit 110 und die Ausgabeeinheit 130 bezeichnet.The other configuration examples of the information processing system according to the present embodiment have been described above with reference to FIG 2 and 3 described. As described above, the information processing system according to the present embodiment can be implemented by various configurations. The following describes the present embodiment based on the configuration of the information processing system 100a described in which the input unit 110a and the output unit 130a above the in 1 illustrated table 140a are provided. It should be noted that functions similar to the functions described below can also be implemented with other configurations that the information processing system according to the present embodiment can implement, such as those in FIG 2 or 3 configurations illustrated and described above. In the following description, the information processing system 100a , the input unit 110a and the output unit 130a also simply as the information processing system for the sake of simplicity 100 , the input unit 110 and the output unit 130 designated.

«2. Konfiguration»«2. Configuration"

Im Folgenden wird eine funktionale Konfiguration, die in der Lage ist, das Informationsverarbeitungssystem 100 gemäß der oben beschriebenen vorliegenden Ausführungsform umzusetzen, unter Bezugnahme auf 4 beschrieben. 4 ist ein Blockdiagramm, das ein Beispiel einer funktionalen Konfiguration des Informationsverarbeitungssystems 100 gemäß der vorliegenden Ausführungsform veranschaulicht.The following is a functional configuration that is capable of the information processing system 100 according to the present embodiment described above, referring to FIG 4th described. 4th is a A block diagram showing an example of a functional configuration of the information processing system 100 illustrated according to the present embodiment.

Bezugnehmend auf 4 beinhaltet das Informationsverarbeitungssystem 100 gemäß der vorliegenden Ausführungsform eine Eingabeeinheit 110, eine Steuereinheit 120, eine Ausgabeeinheit 130 und eine Speichereinheit 150 als ihre Funktionen.Referring to 4th includes the information processing system 100 according to the present embodiment, an input unit 110 , a control unit 120 , an output unit 130 and a storage unit 150 as their functions.

Eingabeeinheit 110Input unit 110

Die Eingabeeinheit 110 ist eine Eingabeschnittstelle zum Eingeben verschiedener Informationen in das Informationsverarbeitungssystem 100. Der Benutzer kann über die Eingabeeinheit 110 verschiedene Arten von Informationen in das Informationsverarbeitungssystem 100 eingeben. Die Eingabeeinheit 110 entspricht den in den 1 bis 3 veranschaulichten Eingabeeinheiten 110a bis 110c. Gemäß der vorliegenden Ausführungsform ist die Eingabeeinheit 110 dazu ausgelegt, zumindest eine Benutzerbedienungseingabe auf dem Anzeigeobjekt, das durch die Ausgabeeinheit 130 angezeigt wird, zu empfangen.The input unit 110 is an input interface for entering various information into the information processing system 100 . The user can use the input unit 110 different types of information in the information processing system 100 enter. The input unit 110 corresponds to the 1 to 3 illustrated input units 110a to 110c . According to the present embodiment is the input unit 110 designed to provide at least one user input on the display object that is generated by the output unit 130 is displayed to be received.

Zum Beispiel wird die Eingabeeinheit 110 durch eine Bildgebungsvorrichtung konfiguriert und nimmt ein Bild auf, das die Hand eines Benutzers auf dem Anzeigebildschirm, ein auf dem Anzeigebildschirm angeordnetes Objekt und dergleichen enthält. Informationen (zum Beispiel Informationen über das aufgenommene Bild), die über die Eingabeeinheit 110 eingegeben werden, werden der später beschriebene Steuereinheit 120 bereitgestellt, sodass eine Benutzerbedienungseingabe detektiert wird oder ein Objekt detektiert wird. Die Bildgebungsvorrichtung kann beispielsweise eine Kamera für sichtbares Licht oder eine Infrarotkamera sein. Ferner kann, wie oben beschrieben, die Eingabeeinheit 110 als eine Bildgebungsvorrichtung wie etwa eine Stereokamera konfiguriert sein, die eine Funktion als ein Tiefensensor beinhaltet, der zum Erfassen von Tiefeninformationen fähig ist. Andererseits kann der Tiefensensor getrennt von der Bildgebungsvorrichtung als ein Sensor unter Verwendung eines beliebigen Verfahrens wie etwa eines Laufzeitverfahrens oder eines strukturierten Lichtverfahrens konfiguriert sein. Ferner kann die Eingabeeinheit 110 einen Berührungssensor enthalten. In diesem Fall detektiert der Berührungssensor eine Berührung auf dem Anzeigebildschirm. Und die Funktion zum Detektieren der Hand des Benutzers, die den Anzeigebildschirm nicht berührt, und des Objekts auf dem Anzeigebildschirm kann durch den Tiefensensor und/oder die Bildgebungsvorrichtung, die ein Bild des Anzeigebildschirms von oben aufnimmt, gewährleistet werden.For example, the input unit 110 configured by an imaging device and captures an image including a user's hand on the display screen, an object placed on the display screen, and the like. Information (for example information about the recorded image) that is transmitted via the input unit 110 are entered into the control unit described later 120 provided so that a user operation input is detected or an object is detected. The imaging device can be, for example, a visible light camera or an infrared camera. Furthermore, as described above, the input unit 110 be configured as an imaging device such as a stereo camera that includes a function as a depth sensor capable of acquiring depth information. On the other hand, the depth sensor may be configured separately from the imaging device as a sensor using any method such as a time of flight method or a structured light method. Furthermore, the input unit 110 contain a touch sensor. In this case, the touch sensor detects a touch on the display screen. And the function of detecting the user's hand not touching the display screen and the object on the display screen can be provided by the depth sensor and / or the imaging device that captures an image of the display screen from above.

Beispielsweise kann die Eingabeeinheit 110 Bedienungen wie etwa Berühren, Antippen, Doppelantippen, Ziehen, Schnippen, Wischen und dergleichen auf einem Anzeigeobjekt oder einem auf dem Anzeigebildschirm (der Anzeigefläche) angezeigten realen Objekt detektieren. Es ist zu beachten, dass in der vorliegenden Beschreibung, wie sie unter Bezugnahme auf die 1 bis 3 beschrieben ist, der Anzeigeschirm (die Anzeigefläche) beispielsweise ein flacher Bereich ist, der einem Bildschirm entspricht, wie etwa die obere Oberfläche des Tisches 140a oder des Tisches 140b, oder ein ganzer Bereich ist, in dem Informationen durch die Ausgabeeinheit 130 angezeigt werden, wie etwa eine Touchpanel-Anzeige. Ferner kann die Eingabeeinheit 110 auch einen Vorgang des Platzierens einer Hand über dem auf dem Anzeigebildschirm angezeigten Anzeigeobjekt oder dem realen Objekt detektieren. Ein solcher Vorgang wird auch als ein Darüberschweben bezeichnet. Die Schwebedetektion ist wirksam, um die Absicht des Benutzers zu detektieren, das Anzeigeobjekt oder das reale Objekt zu bedienen, bevor der Benutzer es tatsächlich bedient (zum Beispiel vor dem Antippen). Ferner kann die Eingabeeinheit 110 auch Bedienungen wie etwa Berühren, Antippen, Doppelantippen, Ziehen, Schnippen, Wischen und dergleichen in einem Gebiet ohne Anzeigeobjekt auf der Anzeigeoberfläche, das heißt einem Gebiet, in dem ein Anzeigeobjekt nicht auf der Anzeigeoberfläche angezeigt wird, detektieren.For example, the input unit 110 Detect operations such as touching, tapping, double tapping, dragging, flicking, swiping and the like on a display object or a real object displayed on the display screen (the display area). It should be noted that in the present description, as made with reference to the 1 to 3 is described, the display screen (display area) is, for example, a flat area corresponding to a screen such as the upper surface of the table 140a or the table 140b , or an entire area in which information is passed through the output unit 130 such as a touch panel display. Furthermore, the input unit 110 also detect an operation of placing a hand over the display object displayed on the display screen or the real object. Such a process is also known as floating over it. The hovering detection is effective to detect the user's intention to operate the display object or the real object before the user actually operates it (for example, before tapping). Furthermore, the input unit 110 also detect operations such as touch, tap, double-tap, drag, flick, swipe and the like in an area with no display object on the display surface, that is, an area in which a display object is not displayed on the display surface.

Steuereinheit 120Control unit 120

Die Steuereinheit 120 enthält verschiedene Prozessoren wie etwa eine CPU oder einen DSP und steuert den Betrieb des Informationsverarbeitungssystems 100 durch Ausführen verschiedener arithmetischer Prozesse. Beispielsweise arbeitet die Steuereinheit 120 gemäß einem Programm, das in der Speichereinheit 150 oder einer anderen Speichervorrichtung gespeichert ist. Die Steuereinheit 120 kann als eine Informationsverarbeitungseinrichtung angesehen werden, die verschiedene Arten von Informationen verarbeitet. Wie veranschaulicht, enthält die Steuereinheit 120 eine Benutzererkennungseinheit 121, eine Mehrbenutzerbedienung-Detektionseinheit 123 und eine Anzeigesteuereinheit 125 als ihre Funktionen. Es ist zu beachten, dass die Steuereinheit 120 andere Funktionen als diese Funktionen aufweisen kann. Ferner wird jede Funktion der Steuereinheit 120 durch einen Prozessor umgesetzt, der die Steuereinheit 120 bildet, die gemäß einem vorbestimmten Programm arbeitet.The control unit 120 contains various processors such as a CPU or a DSP and controls the operation of the information processing system 100 by performing various arithmetic processes. For example, the control unit works 120 according to a program stored in the storage unit 150 or another storage device. The control unit 120 can be viewed as an information processing device that processes various kinds of information. As illustrated, the control unit includes 120 a user identification unit 121 , a multi-user operation detection unit 123 and a display control unit 125 as their functions. It should be noted that the control unit 120 may have functions other than these functions. Furthermore, every function of the control unit 120 implemented by a processor that is the control unit 120 forms which operates according to a predetermined program.

Benutzererkennungseinheit 121User identification unit 121

Die Benutzererkennungseinheit 121 erkennt einen Benutzer, der das System verwendet, das heißt, einen oder mehrere Benutzer, die sich um die Anzeigefläche herum befinden, auf der Anzeigeobjekte angezeigt werden (insbesondere den in 1 veranschaulichten Tisch 140a, den in 2 veranschaulichten Tisch 140b, die durch die Eingabeeinheit 110c und die Ausgabeeinheit 130c konfigurierte Touchpanel-Anzeige, die in 3 veranschaulicht ist). Beispielsweise analysiert die Benutzererkennungseinheit 121 ein durch die Eingabeeinheit 110 aufgenommenes Bild und erkennt die Position und Anzahl von Benutzern.The user identification unit 121 recognizes a user who is using the system, that is, one or more users who are around the display area on the Display objects (especially the ones in 1 illustrated table 140a , the in 2 illustrated table 140b passing through the input unit 110c and the output unit 130c configured touch panel display that is displayed in 3 illustrated). For example, the user identification unit analyzes 121 one through the input unit 110 captured image and recognizes the position and number of users.

Ferner kann die Benutzererkennungseinheit 121 auch eine Gesichtsanalyse durchführen, indem mit einem registrierten Gesichtsbild abgeglichen wird, um zu erkennen, ob der Benutzer ein registrierter Benutzer ist oder nicht. Ferner kann die Benutzererkennungseinheit 121 auch den Zustand des Benutzers erkennen, beispielsweise ob der Benutzer steht oder sitzt.Furthermore, the user identification unit 121 also perform face analysis by matching with a registered face image to see whether the user is a registered user or not. Furthermore, the user identification unit 121 also recognize the state of the user, for example whether the user is standing or sitting.

Mehrbenutzerbedienung-Detektionseinheit 123Multi-user operation detection unit 123

Die Mehrbenutzerbedienung-Detektionseinheit 123 detektiert eine vorbestimmte Bedienung (das heißt eine kollaborative Bedienung, die durch mehrere Benutzer zusammen durchgeführt wird), die durch die mehreren Benutzer zum gleichen Bedienungstiming durchgeführt wird. Als die vorbestimmte Bedienung werden zum Beispiel Bedienungen wie etwa Berühren, Antippen, Doppelantippen, Schnippen und dergleichen eines Gebiets ohne Anzeigeobjekt (Anzeigeflächengebiet, in dem kein Anzeigeobjekt angezeigt wird) auf der Anzeigefläche angenommen. Bedienungen wie etwa Berühren, Antippen und Doppelantippen auf das auf der Anzeigefläche angezeigte Anzeigeobjekt oder das reale Objekt werden als individuelle Bedienungen jedes Benutzers erkannt, und es treten individuelle Interaktionen auf.The multi-user operation detection unit 123 detects a predetermined operation (i.e., collaborative operation performed by plural users together) performed by the plural users at the same operation timing. As the predetermined operation, for example, operations such as touch, tap, double tap, flick and the like of an area with no display object (display area area in which no display object is displayed) on the display area are assumed. Operations such as touching, tapping and double tapping on the display object displayed on the display surface or the real object are recognized as individual operations of each user, and individual interactions occur.

Ferner bedeutet „zum gleichen Bedienungstiming“, dass die Bedienungen im Wesentlichen zur gleichen Zeit durchgeführt werden. Beispielsweise kann eine vorbestimmte Bedienung durch einen anderen Benutzer innerhalb eines gewissen Zeitraums, nachdem eine vorbestimmte Bedienung durch einen Benutzer durchgeführt wird (eine andere vorbestimmte Bedienung, die mit einer Verzögerung innerhalb eines gewissen Zeitraums nach dem Start der ersten vorbestimmten Bedienung eingegeben wurde) als eine gleichzeitig durchgeführte Bedienung erkannt werden. Alternativ dazu kann durch Verwenden einer vorbestimmten Stimme durch den Benutzer als einen Auslöser eine Bedienung, die innerhalb einer vorbestimmten Zeit durchgeführt wird, nachdem die Stimme durch die in der Eingabeeinheit 110 enthaltene Toneingabevorrichtung detektiert wurde, als eine gleichzeitig durchgeführte Bedienung erkannt werden.Further, “at the same operation timing” means that the operations are performed at substantially the same time. For example, a predetermined operation by another user within a certain period of time after a predetermined operation is performed by a user (another predetermined operation entered with a delay within a certain period of time after the start of the first predetermined operation) can be considered as one at a time performed operation can be recognized. Alternatively, by using a predetermined voice by the user as a trigger, an operation performed within a predetermined time after the voice is spoken by the input unit 110 contained sound input device was detected as a simultaneous operation can be recognized.

In einem Fall, in dem die Bedienungen auf diese Art und Weise durch mehrere Benutzer gleichzeitig durchgeführt werden und die Bedienungen alle gleich sind, detektiert die Mehrbenutzerbedienung-Detektionseinheit 123 die Bedienungen als gleichzeitige Bedienungen durch die mehreren Benutzer. In einem Fall, in dem das Bedienungstiming nicht gleichzeitig ist, oder in einem Fall, in dem die Bedienungen aller Benutzer nicht gleich sind, selbst wenn die Bedienungen zur gleichen Zeit durchgeführt werden, betrachtet die Mehrbenutzerbedienung-Detektionseinheit 123 die Bedienungen als Fehlschlag. Hier nehmen „alle Benutzer“ grundsätzlich alle Benutzer an, die durch die Benutzererkennungseinheit 121 erkannt werden und um die Anzeigefläche herum vorhanden sind, und sind später ausführlich beschrieben.In a case where the operations are performed in this manner by a plurality of users at the same time and the operations are all the same, the multi-user operation detection unit detects 123 the operations as simultaneous operations by the multiple users. In a case where the operation timing is not simultaneous or in a case where the operations of all users are not the same even if the operations are performed at the same time, the multi-user operation detection unit considers 123 the operations as a failure. Here, "all users" basically accept all users who are identified by the user identification unit 121 are recognized and exist around the display area, and will be described in detail later.

Die Mehrbenutzerbedienung-Detektionseinheit 123 gibt das Detektionsergebnis zu der Anzeigesteuereinheit 125 aus.The multi-user operation detection unit 123 gives the detection result to the display control unit 125 out.

Anzeigesteuereinheit 125Display control unit 125

Die Anzeigesteuereinheit 125 weist eine Funktion zum Steuern der Anzeige auf dem Anzeigebildschirm auf.The display control unit 125 has a function of controlling the display on the display screen.

Beispielsweise erzeugt die Anzeigesteuereinheit 125 Anzeigeinformationen zum Anzeigen von Informationen auf dem Anzeigebildschirm und gibt die erzeugten Anzeigeinformationen zu der Ausgabeeinheit 130 aus, wodurch die Ausgabeeinheit 130 veranlasst wird, die Informationen auszugeben. Auf diese Art und Weise wird das Anzeigen von Informationen basierend auf der Steuerung durch die Anzeigesteuereinheit 125 in dem Informationsverarbeitungssystem 100 einfach als Anzeigen von Informationen durch das Informationsverarbeitungssystem 100 oder Anzeigen von Informationen durch die Anzeigesteuereinheit 125 bezeichnet. Verschiedene Steuerungen durch die Anzeigesteuereinheit 125 können in Betracht gezogen werden.For example, the display control unit generates 125 Display information for displaying information on the display screen and outputs the generated display information to the output unit 130 off, whereby the output unit 130 is caused to output the information. In this way, the display of information becomes based on the control of the display control unit 125 in the information processing system 100 simply as displaying information by the information processing system 100 or displaying information by the display control unit 125 designated. Various controls by the display control unit 125 can be considered.

Beispielsweise kann die Anzeigesteuereinheit 125 die Anzeige eines Anzeigeobjekts steuern, das eine Interaktion von einer Anwendung als Reaktion auf eine Benutzereingabe anzeigt. In diesem Fall kann die Anzeigesteuereinheit 125 als eine allgemeine OS-Steuerebene fungieren, die eine Zeichnungssteuerung von Mehrfachinhalten zum Anzeigen einer Anwendung und eine Ereignisverteilung wie etwa Berühren für jeden Inhalt durchführt.For example, the display control unit 125 control the display of a display object that displays interaction from an application in response to user input. In this case, the display control unit 125 function as a general OS control plane that performs drawing control of multiple contents for displaying an application and event distribution such as touching for each content.

Zusätzlich dazu kann die Anzeigesteuereinheit 125 gemäß der vorliegenden Ausführungsform auch eine Interaktion ausführen, um eine Rückmeldung für alle angezeigten Bilder als Reaktion auf die gleiche vorbestimmte Bedienung auszugeben, die durch alle Benutzer zur gleichen Zeit durchgeführt wird. Obwohl Einzelheiten später beschrieben werden, wird die Anzeigesteuerung beispielsweise so durchgeführt, dass auf der Anzeigefläche angezeigte Bilder (alle Anzeigeobjekte und Hintergrundbilder) um eine Mitte der Anzeigefläche gedreht werden, alle Anzeigeobjekte angehoben werden oder alle Anzeigeobjekte versteckt (gelöscht) werden. Gemäß der gegenwärtigen Ausführungsform wird eine solche Rückmeldung in allen auf der Anzeigefläche angezeigten Anzeigebildern gemäß gleichzeitigen Bedienungen, die durch alle Benutzer durchgeführt werden, die zugestimmt haben, und nicht durch die individuellen Benutzerbedienungen ausgeführt. Die Rückmeldung, die auf alle Anzeigeobjekte angewendet wird, wirkt sich auf alle Benutzer aus; da jedoch gemäß der vorliegenden Ausführungsform eine Rückmeldung als Reaktion auf gleichzeitige Bedienungen durch alle Benutzer durchgeführt wird, wird verhindert, dass die Bedienung durch eine willkürliche Bedienung durch einen Benutzer unterbrochen oder gestört wird. Da alle Anzeigeobjekte durch alle Mitglieder mit einfachen Bedienungen bedient werden können, können außerdem die Arbeitsgeschwindigkeit und die Bedienungseffizienz verbessert werden.In addition, the display control unit 125 in accordance with the present embodiment, also interact to give feedback for all displayed images in response to the same predetermined operation performed by all users at the same time. Although details will be described later, display control is exemplified carried out in such a way that images displayed on the display surface (all display objects and background images) are rotated around a center of the display surface, all display objects are raised or all display objects are hidden (deleted). According to the present embodiment, such feedback is carried out in all of the display images displayed on the display area in accordance with simultaneous operations performed by all users who have consented, and not by the individual user operations. The feedback that is applied to all display objects affects all users; however, according to the present embodiment, since feedback is made in response to simultaneous operations by all users, the operation is prevented from being interrupted or disturbed by an arbitrary operation by a user. In addition, since all of the display objects can be operated by all members with simple operations, the working speed and the operation efficiency can be improved.

Hier nimmt „alle Benutzer“ grundsätzlich alle Benutzer an, die durch die Benutzererkennungseinheit 121 erkannt werden und um die Anzeigefläche herum vorhanden sind. Insbesondere kann „alle Benutzer“ beispielsweise alle Benutzer, die durch die Benutzererkennungseinheit 121 erkannt wurden (alle Personen, die basierend auf aufgenommenen Bildern, Audioinformationen oder dergleichen erkannt wurden, die um die Anzeigefläche herum aufgenommen wurden), oder alle Benutzer um den Anzeigebildschirm (insbesondere den in 1 veranschaulichten Tisch 140a, den in 2 veranschaulichten Tisch 140b und die durch die in 3 veranschaulichte Eingabeeinheit 110c und Ausgabeeinheit 130c konfigurierte Touchpanel-Anzeige) repräsentieren. Alternativ dazu können „alle Benutzer“ alle Benutzer repräsentieren, die Bedienungen ausführen, wie etwa Berühren der Anzeigefläche (genauer gesagt alle Benutzer, die Bedienungen für einen vorbestimmten Zeitraum vor der Zeit durchgeführt haben, zu der die gleichzeitige Bedienung detektiert wird).Here, “all users” basically accepts all users who are identified by the user identification unit 121 are detected and are present around the display area. In particular, “all users” can be, for example, all users who are identified by the user identification unit 121 (all people who were recognized based on captured images, audio information or the like captured around the display area), or all users around the display screen (especially the one in 1 illustrated table 140a , the in 2 illustrated table 140b and the in 3 illustrated input unit 110c and output unit 130c configured touch panel display). Alternatively, “all users” may represent all users who perform operations such as touching the display surface (more specifically, all users who have performed operations for a predetermined period before the time when the simultaneous operation is detected).

Zusätzlich dazu wird als eine Verwendungsweise des Informationsverarbeitungssystems 100 angenommen, dass es einen Benutzer geben kann, der nur die Benutzer beobachtet, die die Bedienung durchführen. In diesem Fall kann die Mehrbenutzerbedienung-Detektionseinheit 123 zwischen einem bedienenden Benutzer (Bediener) und einem beobachtenden Benutzer (Zuschauer) unterscheiden und die gleichzeitige Bedienung aller bedienenden Benutzer detektieren.In addition, as a way of using the information processing system 100 assumed that there may be a user who only observes the users performing the operation. In this case, the multi-user operation detection unit 123 distinguish between an operating user (operator) and an observing user (viewer) and detect the simultaneous operation of all operating users.

Die Unterscheidung zwischen dem bedienenden Benutzer und dem beobachtenden Benutzer kann beispielsweise basierend darauf bestimmt werden, ob das Gesichtsbild ein registrierter vorbestimmter Benutzer ist oder ob sich der Benutzer in der Nähe der Anzeigefläche befindet (innerhalb eines vorbestimmten Bereichs, von dem aus der Benutzer die Anzeigefläche erreichen kann), oder ob die Person sitzt oder nicht.The distinction between the operating user and the observing user can be determined, for example, based on whether the facial image is a registered predetermined user or whether the user is in the vicinity of the display area (within a predetermined range from which the user can reach the display area can), or whether the person is sitting or not.

Ausgabeeinheit 130Output unit 130

Die Ausgabeeinheit 130 ist eine Ausgabeschnittstelle zum Benachrichtigen des Benutzers über verschiedene Arten von Informationen, die durch das Informationsverarbeitungssystem 100 verarbeitet werden. Die Ausgabeeinheit 130 ist durch eine Anzeigevorrichtung wie etwa eine Anzeige, ein Touchpanel, einen Projektor oder dergleichen konfiguriert und zeigt verschiedene Arten von Informationen auf dem Anzeigebildschirm unter der Steuerung der Anzeigesteuereinheit 125 an. Die Ausgabeeinheit 130 entspricht den Ausgabeeinheiten 130a bis 130c, die in den 1 bis 3 veranschaulicht sind, und zeigt ein Anzeigeobjekt auf dem Anzeigebildschirm wie oben beschrieben an. Es ist zu beachten, dass die vorliegende Ausführungsform nicht auf ein solches Beispiel beschränkt ist und die Ausgabeeinheit 130 ferner eine Audioausgabevorrichtung wie etwa einen Lautsprecher enthalten kann und verschiedene Arten von Informationen als Audio ausgeben kann.The output unit 130 is an output interface for notifying the user of various types of information provided by the information handling system 100 are processed. The output unit 130 is configured by a display device such as a display, a touch panel, a projector, or the like, and shows various kinds of information on the display screen under the control of the display control unit 125 on. The output unit 130 corresponds to the output units 130a to 130c that are in the 1 to 3 and displays a display object on the display screen as described above. It should be noted that the present embodiment is not limited to such an example and the output unit 130 may further include an audio output device such as a speaker and output various kinds of information as audio.

Speichereinheit 150Storage unit 150

Die Speichereinheit 150 ist durch verschiedene Speichervorrichtungen konfiguriert, wie etwa eine magnetische Speichervorrichtung einschließlich eines Festplattenlaufwerks (HDD), eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung oder eine magnetooptische Speichervorrichtung, und speichert verschiedene Informationen, die durch das Informationsverarbeitungssystem 100 verarbeitet werden.The storage unit 150 is configured by various storage devices such as a magnetic storage device including a hard disk drive (HDD), a semiconductor storage device, an optical storage device or a magneto-optical storage device, and stores various information processed by the information processing system 100 are processed.

Die Konfiguration des Informationsverarbeitungssystems 100 gemäß der vorliegenden Ausführungsform wurde oben spezifisch beschrieben. Hier kann, wie oben in dieser Beschreibung beschrieben, das System eine Konfiguration zum Ausführen eines vorbestimmten Prozesses repräsentieren, und das System als Ganzes kann als eine Vorrichtung angesehen werden, oder das System kann durch mehrere Vorrichtungen konfiguriert werden. Mit anderen Worten kann die Konfiguration des in 4 veranschaulichten Informationsverarbeitungssystems 100 durch eine Vorrichtung oder mehrere Vorrichtungen durchgeführt werden.The configuration of the information processing system 100 according to the present embodiment has been specifically described above. Here, as described above in this specification, the system can represent a configuration for executing a predetermined process, and the system as a whole can be regarded as one device, or the system can be configured by multiple devices. In other words, the configuration of the in 4th illustrated information processing system 100 be performed by one or more devices.

In einem Fall, in dem die Konfiguration des Informationsverarbeitungssystems 100 durch mehrere Vorrichtungen umgesetzt wird, ist ferner jede Vorrichtung, die das Informationsverarbeitungssystem 100 bildet, drahtgebunden oder drahtlos verbunden, und die Dateneingabe/-ausgabe kann in geeigneter Weise durchgeführt werden. Weiterhin kann die Dateneingabe/-ausgabe über das Internet durchgeführt werden. Ferner können die Steuereinheit 120 und die Speichereinheit 150 beispielsweise in einem oder mehreren Servern in einem Netzwerk bereitgestellt sein. Alternativ dazu können die Steuereinheit 120 und die Speichereinheit 150 in einem Server im Netzwerk und einem Zwischenserver oder einem Edge-Server mit einer Kommunikationsentfernung relativ näher an der Eingabeeinheit 110 und der Ausgabeeinheit 130 als am Server bereitgestellt sein. Durch geeignete Verteilung jeder Konfiguration ist es möglich, die Verarbeitungslast zu verringern, die Echtzeiteigenschaft zu verbessern und die Sicherheit weiter zu gewährleisten.In a case where the configuration of the information processing system 100 is implemented by multiple devices, further is each device that the information processing system 100 forms, wired or wirelessly connected, and data input / output can be performed appropriately. Furthermore, the data input / output can be carried out via the Internet. Furthermore, the control unit 120 and the storage unit 150 for example, be provided in one or more servers in a network. Alternatively, the control unit 120 and the storage unit 150 in a server in the network and an intermediate server or an edge server with a communication distance relatively closer to the input unit 110 and the output unit 130 than be provided on the server. By appropriately distributing each configuration, it is possible to reduce the processing load, improve the real-time property, and further ensure the security.

«3. Bedienungsverarbeitung»«3. Service processing »

Nachfolgend wird die Bedienungsverarbeitung des Informationsverarbeitungssystems gemäß der vorliegenden Ausführungsform unter Bezugnahme auf 5 ausführlich beschrieben. 5 ist ein Flussdiagramm, das ein Beispiel eines Informationsverarbeitungsflusses veranschaulicht, der durch das Informationsverarbeitungssystem 100 gemäß der vorliegenden Ausführungsform ausgeführt wird.Operation processing of the information processing system according to the present embodiment will now be described with reference to FIG 5 described in detail. 5 Fig. 12 is a flow chart illustrating an example of an information processing flow performed by the information processing system 100 is carried out according to the present embodiment.

Wie in 5 veranschaulicht, spezifiziert das Informationsverarbeitungssystem 100 zunächst eine Form der Anzeigefläche (Schritt S103). Das Informationsverarbeitungssystem 100 kann eine Form der Anzeigefläche basierend auf dem von der Eingabeeinheit 110 erfassten aufgenommenen Bild, Einstellungsinformationen oder dergleichen spezifizieren.As in 5 illustrates, specifies the information processing system 100 first a form of the display area (step S103 ). The information processing system 100 can be a shape of the display area based on that of the input unit 110 specify captured captured image, setting information, or the like.

Als Nächstes erkennt das Informationsverarbeitungssystem 100 den Benutzer um die Anzeigefläche herum durch die Benutzererkennungseinheit 121 (Schritt S106). Insbesondere erkennt die Benutzererkennungseinheit 121 die Anzahl und Anordnung von Benutzern.Next, the information processing system recognizes 100 the user around the display area by the user identification unit 121 (Step S106 ). In particular, the user identification unit recognizes 121 the number and arrangement of users.

Als Nächstes spezifiziert das Informationsverarbeitungssystem 100 einen neuen Benutzer (Schritt S109). Zum Beispiel identifiziert das Informationsverarbeitungssystem 100 den neuen Benutzer, der sich um die Anzeigefläche herum befindet, basierend auf dem aufgenommenen Bild, den Audioinformationen oder den Bedienungsinformationen, die durch die Eingabeeinheit 110 eingegeben werden. Das Informationsverarbeitungssystem 100 erkennt immer den Benutzer um die Anzeigefläche herum und erkennt die Anzahl von Benutzern und Änderungen ihrer Positionen.Next specifies the information processing system 100 a new user (step S109 ). For example, the information processing system identifies 100 the new user who is around the display area based on the captured image, the audio information, or the operation information given by the input unit 110 can be entered. The information processing system 100 always recognizes the user around the display area and recognizes the number of users and changes in their positions.

Wenn ein neuer Benutzer spezifiziert wird (Schritt S109/Ja), teilt das Informationsverarbeitungssystem 100 als Nächstes mit, dass der Benutzer spezifiziert wurde (Schritt S112). Das Benachrichtigungsverfahren ist nicht besonders eingeschränkt, aber die Ausgabeeinheit 130 kann durch Bildanzeige oder Audioausgabe mitteilen, dass der neue Benutzer spezifiziert wurde. Dadurch kann der Benutzer erkennen, dass der Benutzer durch die Systemseite erkannt wurde.When a new user is specified (step S109 / Yes), shares the information processing system 100 next with that the user has been specified (step S112 ). The notification method is not particularly limited, but the output unit is 130 can notify through image display or audio output that the new user has been specified. This enables the user to know that the user has been recognized by the system page.

Als Nächstes bestimmt das Informationsverarbeitungssystem 100, ob die Gesamtanzahl der Benutzer (Benutzer, die Bedienungen durchführen), die das System verwenden, ein Benutzer oder mehrere Benutzer ist (Schritt S115). Das Informationsverarbeitungssystem 100 bestimmt, dass die Gesamtanzahl von Benutzern eins ist, wenn nur ein Benutzer um die Anzeigefläche herum vorhanden ist, und bestimmt, dass die Anzahl eine Vielzahl ist, wenn mehrere Benutzer vorhanden sind. Ferner kann die hier bestimmte Gesamtanzahl von Benutzern nur die bedienenden Benutzer sein, solange die bedienenden Benutzer und die beobachtenden Benutzer wie oben beschrieben unterschieden werden können.Next, the information handling system determines 100 whether the total number of users (users who perform operations) using the system is one user or multiple users (step S115 ). The information processing system 100 determines that the total number of users is one when there is only one user around the display area, and determines that the number is plural when there are multiple users. Furthermore, the total number of users determined here can only be the operating users as long as the operating users and the observing users can be distinguished as described above.

Wenn die Gesamtanzahl von Benutzern eins ist, geht das Informationsverarbeitungssystem 100 als Nächstes in einen Betriebsmodus über, in dem eine Interaktion für einen Benutzer verursacht wird (Schritt S118).When the total number of users is one, the information handling system goes 100 next to an operating mode in which an interaction is caused for a user (step S118 ).

Wenn andererseits mehrere Benutzer vorhanden sind, geht das Informationsverarbeitungssystem 100 in einen Betriebsmodus über, in dem eine Interaktion für mehrere Personen verursacht wird (Schritt S121). In dem Betriebsmodus für mehrere Personen wird eine vorbestimmte Bedienung, die gleichzeitig durch alle Benutzer durchgeführt wird, detektiert und eine vorbestimmte Anzeigesteuerung für alle Anzeigeobjekte durchgeführt. Selbst im Betriebsmodus für mehrere Personen kann die individuelle Interaktion jedes Benutzers mit dem Anzeigeobjekt oder dem realen Objekt individuell erkannt und eine entsprechende Anzeigesteuerung durchgeführt werden.On the other hand, if there are multiple users, the information handling system goes 100 into an operating mode in which an interaction is caused for several people (step S121 ). In the multi-person operating mode, predetermined operation that is performed simultaneously by all users is detected and predetermined display control is performed for all display objects. Even in the operating mode for several people, the individual interaction of each user with the display object or the real object can be individually recognized and a corresponding display control can be carried out.

Das Beispiel des Bedienungsprozesses gemäß der vorliegenden Ausführungsform wurde oben beschrieben. Es ist zu beachten, dass die in 5 veranschaulichte Bedienungsverarbeitung ein Beispiel ist und die vorliegende Offenbarung nicht auf das in 5 veranschaulichte Beispiel beschränkt ist. Zum Beispiel ist die vorliegende Offenbarung nicht auf die in 5 veranschaulichte Reihenfolge von Schritten beschränkt. Zumindest einige der Schritte können parallel oder in umgekehrter Reihenfolge verarbeitet werden. Beispielsweise können der Prozess in Schritt S103 und die Prozesse in den Schritten S106 bis S121 parallel oder in umgekehrter Reihenfolge durchgeführt werden.The example of the operation process according to the present embodiment has been described above. It should be noted that the in 5 The operation processing illustrated is an example and the present disclosure does not apply to that of FIG 5 illustrated example is limited. For example, the present disclosure is not limited to the in 5 illustrated sequence of steps is limited. At least some of the steps can be processed in parallel or in reverse order. For example, the process in step S103 and the processes in the steps S106 to S121 can be carried out in parallel or in reverse order.

Ferner müssen alle der in 5 beschriebenen Prozesse möglicherweise nicht immer ausgeführt werden. Beispielsweise kann der in Schritt S112 beschriebene Benachrichtigungsprozess übersprungen werden.Furthermore, all of the in 5 processes described may not always be are executed. For example, in step S112 described notification process can be skipped.

Jeder in 5 beschriebene Prozess muss nicht notwendigerweise zeitlich sequentiell durchgeführt werden. Zum Beispiel kann der in Schritt S103 beschriebene Prozess durchgeführt werden, wenn das System gestartet wird, die Schritte S106 bis S115 können zu jeder vorbestimmten Zeit durchgeführt werden, der Schritt S118 kann durchgeführt werden, wenn sich die Gesamtanzahl von Benutzern von einer Vielzahl auf eins ändert, und der Schritt S121 kann durchgeführt werden, wenn sich die Gesamtanzahl von Benutzern von eins zu einer Vielzahl ändert.Everyone in 5 The process described does not necessarily have to be carried out sequentially in time. For example, in step S103 process described to be performed when the system starts, the steps S106 to S115 can be performed at any predetermined time, the step S118 can be performed when the total number of users changes from a plurality to one, and the step S121 can be performed when the total number of users changes from one to a plurality.

Zusätzlich dazu kann das Informationsverarbeitungssystem 100 immer eine Anzeigesteuerung durchführen, indem es individuelle Interaktionen eines oder mehrerer Benutzer erkennt, ohne eine Steuerung wie etwa den Übergang des in den Schritten S115 bis S121 beschriebenen Betriebsmodus durchzuführen, und wenn eine durch alle Benutzer gleichzeitig durchgeführte Bedienung detektiert wird, kann eine vorbestimmte Anzeigesteuerung für alle Anzeigeobjekte durchgeführt werden.In addition to this, the information processing system 100 always perform display control by recognizing individual interactions of one or more users without control such as the transition of the steps S115 to S121 perform described operation mode, and when an operation performed by all users at the same time is detected, a predetermined display control can be performed for all display objects.

«4. Spezifische Beispiele»«4. Specific examples »

Nachfolgend werden Anwendungsbeispiele des Informationsverarbeitungssystems 100 gemäß der vorliegenden Ausführungsform spezifisch beschrieben.The following are application examples of the information processing system 100 specifically described according to the present embodiment.

<Erstes spezifisches Beispiel><First specific example>

Dieses spezifische Beispiel ist ein Beispiel, in dem alle Benutzer zur gleichen Zeit dieselbe Bedienung durchführen. Nachfolgend wird eine Beschreibung unter Bezugnahme auf die 6 bis 11 gegeben.This specific example is an example in which all users perform the same operation at the same time. The following is a description with reference to FIG 6th to 11 given.

6 ist ein Flussdiagramm, das ein Beispiel einer Bedienungsverarbeitung gemäß dem ersten spezifischen Beispiel veranschaulicht, das durch das Informationsverarbeitungssystem gemäß der vorliegenden Ausführungsform ausgeführt wird. 6th Fig. 13 is a flowchart illustrating an example of operation processing according to the first specific example, which is executed by the information processing system according to the present embodiment.

Wie in 6 veranschaulicht, detektiert das Informationsverarbeitungssystem 100 zunächst die Bedienung durch jeden Benutzer (Schritt S213).As in 6th illustrates, the information processing system detects 100 First, the operation by each user (step S213 ).

Als Nächstes bestimmt das Informationsverarbeitungssystem 100, ob alle Benutzer zur gleichen Zeit eine gleiche Bedienung durchgeführt haben (Schritt S216).Next, the information handling system determines 100 whether all users performed the same operation at the same time (step S216 ).

Wenn bestimmt wird, dass alle Benutzer dieselbe Bedienung zur gleichen Zeit durchgeführt haben (Schritt S216/Ja), veranlasst das Informationsverarbeitungssystem 100 als Nächstes eine Interaktion, die einer vorbestimmten gleichzeitigen Bedienung entspricht (Schritt S219).When it is determined that all users performed the same operation at the same time (step S216 / Yes), the information processing system initiates 100 next, an interaction corresponding to a predetermined simultaneous operation (step S219 ).

Wenn andererseits nicht alle Benutzer zur gleichen Zeit die gleiche Bedienung durchführen (Schritt S216/Nein), bewirkt das Informationsverarbeitungssystem 100 eine Interaktion, die der jeweiligen Bedienung jedes Benutzers entspricht (Schritt S221).On the other hand, if all users do not perform the same operation at the same time (step S216 / No), causes the information processing system 100 an interaction that corresponds to the respective operation of each user (step S221 ).

(Beispiel für eine Interaktion als Reaktion auf gleichzeitige Bedienung)(Example of an interaction in response to simultaneous operation)

Hier wird ein Beispiel für die Interaktion als Reaktion auf die durch alle Benutzer gleichzeitig durchgeführte Bedienung beschrieben.An example of the interaction in response to the operation performed by all users at the same time is described here.

7 ist ein Diagramm, das ein Beispiel der gleichzeitigen Bedienung veranschaulicht, die durch alle Benutzer in dem ersten spezifischen Beispiel durchgeführt wird. Hier, wie in 7 veranschaulicht, wird angenommen, dass Benutzer A, Benutzer B, Benutzer C und Benutzer D den Tisch 140 umgeben und die vier Benutzer durch die Systemseite erkannt werden. 7th Fig. 13 is a diagram illustrating an example of the simultaneous operation performed by all users in the first specific example. Here, as in 7th As illustrated, it is assumed that User A, User B, User C, and User D are the table 140 and the four users will be recognized by the system page.

Auf dem Tisch 140 werden eine große Anzahl von Anzeigeobjekten 20 (20a bis 20k) und ein Hintergrundbild 30 als Anzeigebilder angezeigt. Jeder Benutzer kann an jedem Anzeigeobjekt 20 individuell Bedienungen durchführen, wie etwa Berühren, Antippen, Doppelantippen, Ziehen, Schnippen und Wischen oder dergleichen.On the table 140 become a large number of display objects 20th ( 20a to 20k ) and a background image 30th displayed as display images. Every user can access every display object 20th carry out individual operations such as touching, tapping, double tapping, dragging, flicking and wiping or the like.

Als ein Beispiel für die gleichzeitige Bedienung, zum Beispiel, wenn alle Benutzer gleichzeitig eine Schnippbedienung in der gleichen Richtung durchführen, wie von jedem Benutzer am Tisch 140 aus gesehen, wie in 7 veranschaulicht, können alle Anzeigebilder (die Anzeigeobjekte 20 und das Hintergrundbild 30) auf der Anzeigefläche (dem Tisch 140) um 90 Grad in der Richtung der Schnippbedienung um die Mitte der Anzeigefläche herum gedreht werden, wie in 8 veranschaulicht. Mit dieser Konfiguration wird in einem Tischspiel oder dergleichen die Arbeitsgeschwindigkeit und die Arbeitseffizienz verbessert, da alle Anzeigeobjekte in einem Stapelbetrieb bewegt werden können, ohne jedes Anzeigeobjekt bedienen zu müssen, wenn alle zur Verfügung stehenden Anzeigeobjekte einem benachbarten Benutzer oder dergleichen übergeben werden müssen. Da die Anzeigesteuerung, die alle Benutzer betrifft, wie etwa die Bewegung aller Anzeigeobjekte, als Reaktion auf die gleichzeitige Bedienung aller Benutzer durchgeführt wird, ist es außerdem möglich, einen Fall zu verhindern, in dem ein Benutzer eine Bedienung ohne Erlaubnis aller anderen Benutzer durchführt. Es ist zu beachten, dass hier das Informationsverarbeitungssystem 100 die Schnippbedienungen in der gleichen Richtung, wie von jedem Benutzer aus gesehen, als eine Bedienung detektiert, die eine Drehung auslöst; anstelle der Schnippbedienung kann jedoch auch eine Ziehbedienung oder eine Wischbedienung detektiert werden. Zusätzlich zu der Schnippbedienung kann das Informationsverarbeitungssystem 100 eine Berührungsbedienung detektieren, die einen Bogen in der gleichen Richtung zeichnet, wie von jedem Benutzer aus gesehen (zum Beispiel eine Berührungsbedienung, bei der jeder Benutzer einen Bogen im Uhrzeigersinn zeichnet).As an example of simultaneous operation, for example, when all users simultaneously perform a flick operation in the same direction as each user at the table 140 from seen as in 7th illustrated, all display images (the display objects 20th and the background image 30th ) on the display surface (the table 140 ) can be rotated 90 degrees in the direction of the flick operation around the center of the display area, as in 8th illustrated. With this configuration, in a table game or the like, work speed and work efficiency are improved because all display objects can be moved in a batch operation without having to operate each display object when all available display objects must be given to a neighboring user or the like. In addition, since the display control concerning all users, such as movement of all display objects, is performed in response to the simultaneous operation of all users, it is possible to prevent a case where one user performs an operation without permission from all other users. It should be noted that here the information processing system 100 the Detecting flick controls in the same direction as viewed by each user as an operation triggering rotation; Instead of the snap operation, however, a drag operation or a swipe operation can also be detected. In addition to the flick control, the information processing system 100 detect a touch operation that draws an arc in the same direction as viewed from each user (for example, a touch operation in which each user draws an arc clockwise).

Es ist anzumerken, dass die in 7 veranschaulichte Schnippbedienung so verarbeitet werden kann, dass sie im Fall einer Bedienung auf dem Tisch 140, insbesondere in dem Gebiet 35 ohne Anzeigeobjekt, effektiv ist. Hier wird als ein Beispiel das Hintergrundbild 30 zusammen mit dem Anzeigeobjekt 20 angezeigt und gedreht, aber das Hintergrundbild 30 wird abhängig von der Einstellung möglicherweise nicht gedreht.It should be noted that the in 7th illustrated snap operation can be processed in such a way that in the event of an operation on the table 140 , especially in the area 35 without a display object, is effective. Here is the background image as an example 30th together with the display object 20th displayed and rotated, but the background image 30th may not be rotated depending on the setting.

Ferner kann die Drehinteraktion, die der gleichzeitigen Bedienung entspricht, nur erzeugt werden, wenn die Form des Tisches 140 (der Anzeigefläche) einer Form entspricht, die einem regelmäßigen Kreis oder einem regelmäßigen geradzahligen Polygon, wie etwa einem Quadrat, entspricht.Furthermore, the rotation interaction, which corresponds to the simultaneous operation, can only be generated if the shape of the table 140 (the display area) corresponds to a shape corresponding to a regular circle or a regular even polygon such as a square.

Ferner kann das Informationsverarbeitungssystem 100 das Seitenverhältnis der Anzeigefläche nach der Drehung gemäß der Form des Tisches 140 geeignet steuern (vergrößern und verkleinern), sodass das Anzeigebild innerhalb des Bereichs des Tisches 140 angezeigt wird. Ferner kann das Informationsverarbeitungssystem 100 die Anordnung der Anzeigeobjekte geringfügig ändern (die Anzeigeobjekte in der Mitte ansammeln oder dergleichen), sodass alle Anzeigeobjekte innerhalb des Bereichs des Tisches 140 angezeigt werden.Furthermore, the information processing system 100 the aspect ratio of the display area after being rotated according to the shape of the table 140 appropriately control (zoom in and out) so that the display image is within the range of the table 140 is shown. Furthermore, the information processing system 100 slightly change the arrangement of the display objects (accumulate the display objects in the center, or the like) so that all display objects are within the area of the table 140 are displayed.

Ferner ist der Drehwinkel nicht auf 90 Grad beschränkt und kann gemäß der Form des Tisches 140 (der Anzeigefläche), der Anordnung des Benutzers und dergleichen geeignet eingestellt werden.Further, the rotation angle is not limited to 90 degrees and can be made according to the shape of the table 140 (the display area), the arrangement of the user and the like can be appropriately set.

Beispielsweise, wie auf der linken Seite von 9 veranschaulicht, wenn sich zwei Benutzer am quadratischen Tisch 140 gegenüberstehen und beide Benutzer gleichzeitig die Schnippbedienung ausführen, führt das Informationsverarbeitungssystem 100 eine Anzeigesteuerung durch, um das Anzeigebild (die Anzeigeobjekte 20 und das Hintergrundbild 30) um 180 Grad in der Richtung zu drehen, in die die Schnippbedienung durchgeführt wird, wie auf der rechten Seite von 9 veranschaulicht. Mit dieser Konfiguration können die bei jedem Benutzer platzierten Anzeigeobjekte an den anderen Benutzer übergeben werden.For example, like on the left side of 9 illustrated when two users are at the square table 140 face each other and both users execute the flick operation at the same time, the information processing system leads 100 a display controller to display the display image (the display objects 20th and the background image 30th ) 180 degrees in the direction in which the flick operation is performed, as on the right side of 9 illustrated. With this configuration, the display objects placed with each user can be transferred to the other user.

Zusätzlich dazu berücksichtigt das Informationsverarbeitungssystem 100, dass die gleichzeitige Bedienung fehlgeschlagen ist, wenn die Bedienungen aller Mitglieder nicht abgeschlossen sind oder die Bedienungen nicht durch alle Mitglieder durchgeführt werden, sodass die Drehsteuerung der Anzeigebilder, wie oben beschrieben, nicht durchgeführt wird. In diesem Fall kann das Informationsverarbeitungssystem 100 eine Anzeigesteuerung durchführen, um das Drehen des Anzeigebildes und das Zurücksetzen der Anzeigebilder zu starten, wie in 10 veranschaulicht.In addition, the information processing system takes into account 100 that the simultaneous operation has failed if the operations of all members are not completed or the operations are not performed by all members, so that the rotation control of the display images as described above is not performed. In this case, the information processing system 100 perform display control to start rotating the display image and resetting the display images as shown in FIG 10 illustrated.

10 ist ein Diagramm, das ein Beispiel einer Anzeigesteuerung veranschaulicht, wenn die gleichzeitige Bedienung in dem ersten spezifischen Beispiel fehlschlägt. Wie auf der linken Seite von 10 veranschaulicht, wenn vier Benutzer den Tisch 140 umgeben und der Benutzer A, der Benutzer B und der Benutzer C gleichzeitig die Schnippbedienung durchführen, der Benutzer D jedoch die Bedienung nicht durchführt, kann eine Animationsanzeige durchgeführt werden, in der das Anzeigebild (das Anzeigeobjekt 20 und das Hintergrundbild 30) leicht in der Richtung der Schnippbedienung gedreht und dann zurückgesetzt wird, wie oben rechts in 10 und rechts unten in 10 veranschaulicht. Mit dieser Konfiguration können die Benutzer intuitiv benachrichtigt werden, dass die Drehung aufgrund unzureichender Zusammenarbeit fehlgeschlagen ist. 10 Fig. 13 is a diagram illustrating an example of display control when the simultaneous operation fails in the first specific example. As on the left of 10 illustrated when four users use the table 140 and the user A, user B, and user C simultaneously perform the flick operation but the user D does not perform the operation, animation display can be performed in which the display image (the display object 20th and the background image 30th ) is rotated slightly in the direction of the flick operation and then reset as shown in the upper right corner 10 and bottom right in 10 illustrated. With this configuration, users can be intuitively notified that the rotation has failed due to poor collaboration.

Oben wurde die Schnippbedienung als ein Beispiel für dieselbe gleichzeitige Bedienung beschrieben, die durch alle Benutzer durchgeführt wurde, und die Drehung des Anzeigebildes wurde als die entsprechende Interaktion beschrieben. Es ist zu beachten, dass die gleichzeitige Bedienung und die entsprechende Interaktion nicht auf das oben beschriebene Beispiel beschränkt sind und die Drehsteuerung des Anzeigebildes durch eine andere Bedienung durchgeführt werden kann oder eine andere Interaktion durchgeführt werden kann. Zum Beispiel können Bedienungen wie etwa das Schlagen des Tisches mit der Handfläche beider Hände oder das zweimalige Schlagen des Tisches mit der Handfläche einer Hand verwendet werden. Nachfolgend wird ein anderes Beispiel speziell unter Bezugnahme auf 11 beschrieben.Above, the flick operation has been described as an example of the same simultaneous operation performed by all users, and the rotation of the display image has been described as the corresponding interaction. Note that the simultaneous operation and the corresponding interaction are not limited to the example described above, and the rotation control of the display image can be performed by another operation or another interaction can be performed. For example, operations such as hitting the table with the palm of both hands or hitting the table twice with the palm of one hand can be used. Another example will now be described specifically with reference to FIG 11 described.

11 ist ein Diagramm, das ein Beispiel einer Interaktion gemäß einer anderen gleichzeitigen Bedienung in dem ersten spezifischen Beispiel veranschaulicht. Zum Beispiel werden, wie links in 11 veranschaulicht, die Anzeigeobjekte 20 (20a bis 20h) auf dem Tisch 140 in einem Zustand angezeigt, in dem vier Benutzer den Tisch 140 umgeben. In diesem Fall kann das Informationsverarbeitungssystem 100, falls alle Benutzer gleichzeitig mit beiden Händen auf den Tisch 140 schlagen, alle Anzeigeobjekte 20 löschen, wie rechts in 11 veranschaulicht, nachdem eine Interaktion erzeugt wird, die auf alle Anzeigeobjekte 20 einwirkt (beispielsweise einmal schweben, rütteln oder dergleichen). 11 Fig. 13 is a diagram illustrating an example of interaction according to another concurrent operation in the first specific example. For example, as left in 11 illustrates the display objects 20th ( 20a to 20h ) on the table 140 displayed in a state in which four users control the table 140 surround. In this case, the information processing system 100 if all users have both hands on the table at the same time 140 hit all display objects 20th delete as on the right in 11 illustrates after an interaction is generated on all display objects 20th acts (for example, levitating, shaking or the like).

Wenn mehrere Personen an dem Tisch 140 arbeiten, können viele Anzeigeobjekte angezeigt werden. Wenn in einem solchen Fall alles gelöscht werden soll, dauert es eine Weile, bis der Löschvorgang nacheinander durchgeführt wird. Wie in 11 veranschaulicht, kann durch das Ermöglichen, dass das Anzeigeobjekt als eine durch die gleichzeitige Bedienung verursachte Interaktion beseitigt wird, die Arbeitsgeschwindigkeit und Effizienz des Benutzers verbessert werden. Außerdem besteht beim gleichzeitigen Löschen der Anzeigeobjekte ein hohes Risiko einer fehlerhaften Bedienung; gemäß der vorliegenden Ausführungsform ist sie jedoch von der gleichen Bedienung aller Benutzer zur gleichen Zeit abhängig, und das Löschen kann nur umgesetzt werden, wenn alle Benutzer zugestimmt haben, sodass gesagt werden kann, dass es ein einfaches und effizientes Verfahren ist, das eine Fehlbedienung durch einen Benutzer verhindert.When there are several people at the table 140 many display objects can be displayed. In such a case, if you want to delete everything, it will take a while for the deletion to be performed one by one. As in 11 As illustrated, by allowing the display object to be eliminated as an interaction caused by the concurrent operation, the working speed and efficiency of the user can be improved. In addition, if the display objects are deleted at the same time, there is a high risk of incorrect operation; however, according to the present embodiment, it depends on the same operation of all users at the same time, and the deletion can only be implemented if all users have given their consent, so that it can be said that it is a simple and efficient method that an incorrect operation is caused by prevented a user.

<Zweites spezifisches Beispiel><Second specific example>

Wie oben beschrieben, wurde die gleichzeitige Bedienung durch mehrere Benutzer beschrieben; das Informationsverarbeitungssystem 100 gemäß der vorliegenden Ausführungsform führt jedoch eine Anzeigesteuerung durch, die auf alle Anzeigeobjekte einwirkt, sodass das Anzeigeobjekt selbst dann erkannt wird, wenn ein Benutzer arbeitet.As described above, the simultaneous operation by several users was described; the information processing system 100 however, according to the present embodiment, performs display control acting on all display objects so that the display object is recognized even when a user is working.

Wenn die Qualität des Anzeigebildes verbessert wird, kann es einen Fall geben, in dem während der Verwendung des Systems ein realer Körper (reales Objekt) auf den Tisch und ein Anzeigeobjekt platziert wird. Daher kann der Benutzer bei der vorliegenden Ausführungsform durch Ausführen einer Anzeigesteuerung, die auf alle Anzeigeobjekte durch eine einfache Bedienung einwirkt, intuitiv erkennen, ob das Objekt ein Anzeigeobjekt oder ein reales Objekt ist, ohne das Zielobjekt tatsächlich zu berühren. Die Anzeigegeschwindigkeit gemäß der vorliegenden Ausführungsform verbessert die Arbeitsgeschwindigkeit und -effizienz, insbesondere in einem Fall, in dem eine große Anzahl von Objekten auf dem Tisch verstreut ist, da es eine Weile dauert, jedes der Objekte zu bestätigen.When the quality of the display image is improved, there may be a case where a real body (real object) is placed on the table and a display object while using the system. Therefore, in the present embodiment, by performing display control acting on all display objects through simple operation, the user can intuitively recognize whether the object is a display object or a real object without actually touching the target object. The display speed according to the present embodiment improves the working speed and efficiency, particularly in a case where a large number of objects are scattered on the table, since it takes a while to confirm each of the objects.

Nachfolgend wird eine spezifische Beschreibung unter Bezugnahme auf die 12 bis 14 gegeben.The following is a specific description with reference to FIG 12 to 14th given.

12 ist ein Flussdiagramm, das ein Beispiel einer Bedienungsverarbeitung gemäß dem zweiten spezifischen Beispiel veranschaulicht. Wie in 12 veranschaulicht, detektiert das Informationsverarbeitungssystem 100 zunächst die Bedienung jedes Benutzers (Schritt S233). 12 Fig. 13 is a flowchart illustrating an example of operation processing according to the second specific example. As in 12 illustrates, the information processing system detects 100 first the operation of each user (step S233 ).

Als Nächstes erkennt das Informationsverarbeitungssystem 100, wenn die Bedienung des Schlagens des Tisches (der Anzeigefläche) mit beiden Händen erkannt wird (Schritt S216/Ja), auch die Lautstärke des Schlagens (Schritt S239) und erzeugt eine Interaktion, die auf alle Anzeigeobjekte einwirkt (Schritt S242). Als die Interaktion kann es beispielsweise Folgendes geben: einen Ausdruck, bei dem alle Anzeigeobjekte einmal angehoben werden, einen Ausdruck, bei dem alle Anzeigeobjekte gerüttelt werden, oder einen Ausdruck, der Rippelwellen von der Hand des Benutzers erzeugt und das Anzeigeobjekt nach oben und unten bewegt (rüttelt).Next, the information processing system recognizes 100 when the operation of hitting the table (display surface) with both hands is recognized (step S216 / Yes), also the volume of the hitting (step S239 ) and creates an interaction that affects all display objects (step S242 ). As the interaction, there may be, for example, an expression in which all display objects are raised once, an expression in which all display objects are jiggled, or an expression which generates ripples from the user's hand and moves the display object up and down (shakes).

Zusätzlich dazu kann das Informationsverarbeitungssystem 100 die Stärke der Interaktion, die auf die Anzeigeobjekte einwirkt, gemäß der Lautstärke des Tons steuern. Zum Beispiel kann das Ausmaß des Rüttelns des Anzeigeobjekts gemäß der Lautstärke des Tons gesteuert werden. Hier wird ein Beispiel zum Erfassen der Lautstärke eines Tons als ein Beispiel beschrieben; die vorliegende Ausführungsform ist jedoch nicht auf dieses Beispiel beschränkt, und beispielsweise kann die Eingabeeinheit 110 eine Funktion als ein Tiefensensor enthalten, der Tiefeninformationen erfassen kann. Mit einer solchen Konfiguration können auch die Bewegung und Geschwindigkeit der Hand des Benutzers auf dem Tisch erfasst werden, und das Informationsverarbeitungssystem 100 kann die Stärke der Interaktion, die auf das Anzeigeobjekt einwirkt, gemäß der Bewegung und Geschwindigkeit der Hand des Benutzers steuern, die den Tisch schlägt.In addition to this, the information processing system 100 control the strength of the interaction on the display objects according to the volume of the sound. For example, the amount of shaking of the display object can be controlled according to the volume of the sound. Here, an example of detecting the volume of a sound is described as an example; however, the present embodiment is not limited to this example, and for example, the input unit 110 include a function as a depth sensor that can detect depth information. With such a configuration, the movement and speed of the user's hand on the table can also be detected, and the information processing system 100 can control the strength of the interaction applied to the display object according to the movement and speed of the user's hand striking the table.

Wenn die Bedienung andererseits keine Bedienung ist, bei der mit beiden Händen auf den Tisch geschlagen wird (Schritt S216/Nein), erzeugt das Informationsverarbeitungssystem 100 eine Interaktion als Reaktion auf jede Bedienung individuell (in jedem Anzeigeobjekt) (Schritt S245). Insbesondere kann die Interaktion eine normale Interaktion zum Bewegen, Vergrößern/Verkleinern und Löschen einzelner Anzeigeobjekte sein.On the other hand, when the operation is not an operation in which the table is hit with both hands (step S216 / No), the information processing system generates 100 an interaction as a reaction to each operation individually (in each display object) (step S245 ). In particular, the interaction can be a normal interaction for moving, enlarging / reducing and deleting individual display objects.

(Beispiele für die Interaktion)(Examples of the interaction)

Hier veranschaulicht 13 eine Interaktion zum Erzeugen einer Rippelwelle. 13 ist ein Diagramm, das ein Beispiel eines Rippelwellen-Ausdrucks veranschaulicht, der auf alle Anzeigeobjekte gemäß dem zweiten spezifischen Beispiel einwirkt.Illustrated here 13 an interaction to create a ripple wave. 13 Figure 13 is a diagram illustrating an example of ripple wave expression applied to all display objects according to the second specific example.

Wie auf der linken Seite von 13 veranschaulicht, gibt es beispielsweise einen Benutzer A, der Bedienungen in der Nähe des Tisches 140 durchführt, das Anzeigeobjekt 20 und das Hintergrundbild 30 werden auf dem Tisch 140 angezeigt und die realen Objekte 40 (40a, 40b, 40c) sind auf dem Tisch 140 platziert.As on the left of 13 For example, as illustrated, there is a user A doing operations near the table 140 performs the display object 20th and the background image 30th will be on the table 140 displayed and the real objects 40 ( 40a , 40b , 40c ) are on the table 140 placed.

In diesem Fall wird, wie auf der rechten Seite von 13 veranschaulicht, wenn der Benutzer A mit beiden Händen auf den Tisch 140 schlägt, eine Rippelwellenanzeige 50 (Animation) von der Hand des Benutzers A ausgehend erzeugt und eine Interaktion, dass die Rippelwellenanzeige 50 alle Anzeigeobjekte 20 und das Hintergrundbild 30 rüttelt, wird erzeugt. Zu dieser Zeit kann der Benutzer A, da sich die realen Objekte 40a bis 40c nicht bewegen, intuitiv zwischen den Anzeigeobjekten 20 und den realen Objekten 40 unterscheiden.In this case, as on the right of 13 illustrated when the user A with both hands on the table 140 beats, a ripple wave indicator 50 (Animation) generated from the hand of user A and an interaction that the ripple wave display 50 all display objects 20th and the background image 30th shakes, is generated. At this time, user A can see the real objects 40a to 40c not moving, intuitively, between display objects 20th and the real objects 40 distinguish.

Darüber hinaus ist es möglich, eine Interaktion zu erzeugen, die auch auf die realen Objekte einwirkt, da die Systemseite auch das Vorhandensein realer Objekte erkennt. 14 ist ein Diagramm, das ein Beispiel eines Ausdrucks von Wasser, das auf allen Anzeigeobjekten und realen Objekten fließt, gemäß dem zweiten spezifischen Beispiel veranschaulicht.In addition, it is possible to generate an interaction that also has an effect on the real objects, since the system side also recognizes the presence of real objects. 14th Fig. 13 is a diagram illustrating an example of printout of water flowing on all display objects and real objects according to the second specific example.

Wie auf der linken Seite von 14 veranschaulicht, gibt es beispielsweise einen Benutzer A, der Bedienungen um den Tisch 140 herum durchführt, und die Anzeigeobjekte 20 und das Hintergrundbild 30 werden auf dem Tisch 140 angezeigt und die realen Objekte 40 (40a, 40b, 40c) sind auf dem Tisch 140 platziert.As on the left of 14th For example, there is a user A doing operations around the table 140 around, and the display objects 20th and the background image 30th will be on the table 140 displayed and the real objects 40 ( 40a , 40b , 40c ) are on the table 140 placed.

In diesem Fall wird, wie auf der rechten Seite von 14 veranschaulicht, wenn der Benutzer A mit beiden Händen auf den Tisch 140 schlägt, die Wasserflussanzeige 52 (Animation) von der Hand des Benutzers A ausgehend erzeugt, und alle Anzeigeobjekte 20 und das Hintergrundbild 30 werden gerüttelt. Außerdem bewegen sich die realen Objekte 40a bis 40c nicht und die Wasserflussanimation in der Wasserflussanzeige 52 vermeidet die realen Objekte 40a bis 40c, sodass der Benutzer A die Anzeigeobjekte 20 und die realen Objekte 40 intuitiv und deutlicher unterscheiden kann.In this case, as on the right of 14th illustrated when the user A with both hands on the table 140 hits, the water flow indicator 52 (Animation) generated from the hand of user A, and all display objects 20th and the background image 30th are shaken. In addition, the real objects move 40a to 40c not and the water flow animation in the water flow display 52 avoids the real objects 40a to 40c so that user A can view the display objects 20th and the real objects 40 can distinguish intuitively and more clearly.

Das zweite spezifische Beispiel wurde oben beschrieben. Es ist anzumerken, dass die Interaktion gemäß diesem Beispiel erzeugt werden kann, wenn mehrere Benutzer eine vorbestimmte gleichzeitige Bedienung durchführen, wie etwa Antippen des Tisches 140 mit beiden Händen zur gleichen Zeit.The second specific example was described above. It should be noted that the interaction according to this example can be generated when a plurality of users perform a predetermined simultaneous operation, such as tapping the table 140 with both hands at the same time.

<Drittes spezifisches Beispiel><Third specific example>

Als Nächstes wird ein drittes spezifisches Beispiel unter Bezugnahme auf die 15 bis 19 beschrieben. Das Informationsverarbeitungssystem 100 gemäß der vorliegenden Ausführungsform erzeugt eine spezielle Interaktion, wenn das Timing gleichzeitiger Bedienungen durch mehrere Benutzer mit dem Rhythmus der Musik in einem Musikspiel oder dergleichen übereinstimmt. Diese Konfiguration kann Vergnügen an einem Musikerlebnis liefern.Next, a third specific example will be described with reference to FIG 15th to 19th described. The information processing system 100 according to the present embodiment, creates a special interaction when the timing of simultaneous operations by multiple users matches the rhythm of music in a musical game or the like. This configuration can provide enjoyment of a musical experience.

15 ist ein Flussdiagramm, das ein Beispiel einer Bedienungsverarbeitung gemäß dem dritten spezifischen Beispiel veranschaulicht. Wie in 15 veranschaulicht, detektiert das Informationsverarbeitungssystem 100 zunächst die Bedienung jedes Benutzers (Schritt S303). 15th Fig. 13 is a flowchart illustrating an example of operation processing according to the third specific example. As in 15th illustrates, the information processing system detects 100 first the operation of each user (step S303 ).

Als Nächstes, wenn ein Ton zum Abstimmen des Timings wiedergegeben wird (Schritt S306/Ja), bestimmt das Informationsverarbeitungssystem 100, ob alle Spieler gleichzeitig den Tisch gemäß dem Ton geschlagen haben (Schritt S309). In einem Musikspiel oder dergleichen spielt beispielsweise das Informationsverarbeitungssystem 100 Musik von der Ausgabeeinheit 130 ab und detektiert eine Bedienung jedes Benutzers basierend auf einem von der Eingabeeinheit 110 eingegebenen aufgenommenen Bild, und die Steuereinheit 120 bestimmt, ob alle Benutzer eine vorbestimmte Bedienung, wie etwa das gleichzeitige Schlagen des Tisches mit dem Timing des Tons, durchgeführt haben oder nicht.Next, when a tone to adjust the timing is played (step S306 / Yes), determines the information processing system 100 whether all players have hit the table according to the tone at the same time (step S309 ). For example, in a music game or the like, the information processing system is playing 100 Music from the output unit 130 and detects an operation of each user based on one of the input unit 110 input captured image, and the control unit 120 determines whether or not all users have performed a predetermined operation such as striking the table simultaneously with the timing of the sound.

Als Nächstes erzeugt das Informationsverarbeitungssystem 100 eine vorbestimmte Interaktion, die mit dem Rhythmus des abgespielten Tons synchronisiert ist, wenn bestimmt wird, dass jeder den Tisch zur gleichen Zeit mit dem Ton geschlagen hat (Schritt S312). Ein Beispiel der Interaktion wird später unter Bezugnahme auf 17 beschrieben.Next, the information handling system generates 100 a predetermined interaction synchronized with the rhythm of the sound being played when it is determined that everyone hit the table with the sound at the same time (step S312 ). An example of the interaction will be referred to later on 17th described.

Wenn andererseits bestimmt wird, dass nicht alle Spieler zur gleichen Zeit gemäß dem Ton den Tisch schlagen (was ein Fehlschlag ist) (Schritt S309/Nein), erzeugt das Informationsverarbeitungssystem 100 eine Interaktion, die den Fehlschlag allen Benutzern zurückmeldet (Schritt S315). Beispiele der Rückmeldung werden später unter Bezugnahme auf 19 beschrieben. Es ist zu beachten, dass als ein Beispiel eine Erläuterung zum Erzeugen einer Interaktion gegeben wurde, die den Fehlschlag allen Benutzern zurückmeldet, die vorliegende Ausführungsform ist jedoch nicht auf dieses Beispiel beschränkt und in einem Fall eines Fehlschlags wird möglicherweise keine Interaktion erzeugt.On the other hand, if it is determined that all the players do not hit the table at the same time according to the tone (which is a failure) (step S309 / No), the information processing system generates 100 an interaction that reports the failure back to all users (step S315 ). Examples of the feedback are given later with reference to FIG 19th described. Note that, as an example, an explanation has been given of generating an interaction that reports the failure back to all users, however, the present embodiment is not limited to this example, and in a case of failure, no interaction may be generated.

Wenn die detektierte Benutzerbedienung keine Bedienung ist, bei der mit beiden Händen auf den Tisch geschlagen wird (Schritt S306/Nein), erzeugt das Informationsverarbeitungssystem 100 zusätzlich eine Interaktion, die jeder Bedienung individuell entspricht (in jedem Anzeigeobjekt) (Schritt S318). Insbesondere kann die Interaktion eine normale Interaktion zum Bewegen, Vergrößern/Verkleinern und Löschen einzelner Anzeigeobjekte sein.If the detected user operation is not an operation in which the table is hit with both hands (step S306 / No), the information processing system generates 100 an additional interaction that corresponds to each operation individually (in each display object) (step S318 ). In particular, the interaction can be a normal interaction for moving, enlarging / reducing and deleting individual display objects.

(Beispiele für die Interaktion) (Examples of the interaction)

Hier wird ein Beispiel der Interaktion während der Musikwiedergabe unter Bezugnahme auf die 16 bis 19 beschrieben. 16 ist ein Diagramm, das ein Beispiel eines Bildschirms veranschaulicht, der auf dem Tisch 140 während des Musikerlebnisses angezeigt wird.Here is an example of the interaction during music playback with reference to FIG 16 to 19th described. 16 Fig. 13 is a diagram illustrating an example of a screen displayed on the table 140 is displayed during the music experience.

Wie in 16 veranschaulicht, sind beispielsweise ein Rückmeldungsanzeigebereich 60, eine Bedienungseinheit 61 und ein Timinghinweis 62 auf dem Tisch 140 angezeigt. In dem Rückmeldungsanzeigebereich 60 werden verschiedene Rückmeldungen gemäß Benutzerbedienungen angezeigt. Die Bedienungseinheit 61 ist eine Anzeige, die einen Ort anzeigt, an dem der Benutzer auf den Tisch 140 schlägt. Der Timinghinweis 62 ist eine Anzeige, die dem Benutzer das Timing der Rhythmusvorgabe deutlich anzeigt, und zum Beispiel kann ein Zeichen entsprechend der Musik von links nach rechts fließen und kann geschlagen werden, wenn die Markierung eine vorbestimmte Stelle erreicht. Das Anzeigebeispiel und das Layout, die in 16 veranschaulicht sind, sind Beispiele und die vorliegende Ausführungsform ist nicht auf die Beispiele beschränkt. Beispielsweise ist die Bedienungseinheit 61 möglicherweise nicht bereitgestellt, und der Rückmeldungsanzeigebereich 60 kann die gesamte Anzeigefläche sein.As in 16 Illustrated are, for example, a feedback display area 60 , a control unit 61 and a timing hint 62 on the table 140 displayed. In the feedback display area 60 various responses are displayed according to user operations. The control unit 61 is a display that shows a place where the user is on the table 140 beats. The timing hint 62 is a display that clearly shows the user the timing of the rhythm, and for example, a character corresponding to the music can flow from left to right and can be struck when the mark reaches a predetermined position. The display example and layout included in 16 illustrated are examples, and the present embodiment is not limited to the examples. For example, is the control unit 61 may not be provided, and the feedback display area 60 can be the entire display area.

17 ist ein Diagramm, das ein Beispiel einer Interaktion gemäß einer gleichzeitigen Bedienung veranschaulicht, die durch alle Benutzer gemäß dem dritten spezifischen Beispiel durchgeführt wird. Wie auf der linken Seite von 17 veranschaulicht, wenn Benutzer A, Benutzer B, Benutzer C und Benutzer D den Tisch 140 umgeben, wie auf der rechten Seite in 17 veranschaulicht, und alle Benutzer gleichzeitig mit beiden Händen auf die Bedienungseinheit 61 schlagen, wird eine Anzeigesteuerung durchgeführt, bei der sich eine große Anzahl von im Rückmeldungsanzeigebereich 60 angezeigten Bällen zu bewegen beginnt oder die Bewegungsgeschwindigkeit erhöht wird. Diese Konfiguration kann die Richtigkeit der Genauigkeit des von jedem zu treffenden Rhythmus und das Gefühl der Einheit der anwesenden Benutzer verbessern. 17th Fig. 13 is a diagram illustrating an example of interaction according to simultaneous operation performed by all users according to the third specific example. As on the left of 17th Illustrates when User A, User B, User C, and User D are at the table 140 surrounded as on the right in 17th illustrated, and all users simultaneously with both hands on the control unit 61 hit, display control is performed with a large number of in the feedback display area 60 displayed balls starts to move or the movement speed increases. This configuration can improve the veracity of the accuracy of the rhythm to be met by each and the sense of oneness of the users present.

Es ist zu beachten, dass die Interaktion, die der in 17 veranschaulichten Benutzerbedienung entspricht, ein Beispiel ist und die vorliegende Ausführungsform nicht auf dieses Beispiel beschränkt ist. Ferner kann die Interaktion, die der Benutzerbedienung entspricht, auf der Bedienungseinheit 61 widergespiegelt werden. Nachfolgend wird eine Beschreibung unter Bezugnahme auf 18 gegeben.It should be noted that the interaction that the in 17th illustrated user operation is an example, and the present embodiment is not limited to this example. Furthermore, the interaction that corresponds to the user operation can be carried out on the operating unit 61 be reflected. The following is a description with reference to FIG 18th given.

18 ist ein Diagramm, das ein Beispiel der Interaktion in der Bedienungseinheit 61 veranschaulicht, die auf dem Tisch 140 angezeigt wird. Beispielsweise werden im „Normalzustand“ Doppelkreise angezeigt, wie in der Anzeige 611 in 18 veranschaulicht. In diesem Zustand tritt keine Interaktion durch Schlagen oder dergleichen auf. Ferner werden in dem „Standby-Zustand“, in dem eine Reaktion als Reaktion auf das Schlagen stattfindet, farbige Doppelkreise angezeigt, wie in einer Anzeige 612 in 18 veranschaulicht. 18th Fig. 13 is a diagram showing an example of interaction in the operation unit 61 illustrates that on the table 140 is shown. For example, in the "normal state", double circles are displayed, as in the display 611 in 18th illustrated. In this state, no interaction by hitting or the like occurs. Furthermore, in the “standby state”, in which a reaction takes place in response to the hitting, colored double circles are displayed, as in a display 612 in 18th illustrated.

Auch in einem Fall, in dem die Antippbedienung erfolgreich ist (einem Fall, in dem das Antippen im Rhythmus korrekt durchgeführt wird), kann eine Interaktion angezeigt werden, die Rippelwellen ausbreitet, wie in der Anzeige 613 in 18 veranschaulicht, um den Benutzer mitzuteilen, dass das System die Bedienung als erfolgreich angesehen hat. Andererseits kann in einem Fall, in dem die Antippbedienung fehlschlägt (einem Fall, in dem das Antippen nicht rechtzeitig mit dem Rhythmus korrekt ausgeführt wird), eine Interaktion angezeigt werden, die Doppelkreise nach links und rechts rüttelt, wie in der Anzeige 614 in 18 veranschaulicht, um den Benutzer mitzuteilen, dass das System die Bedienung als fehlgeschlagen angesehen hat.Even in a case where the tap operation is successful (a case where the tapping is correctly performed in time), an interaction that propagates ripple waves can be displayed as in the display 613 in 18th illustrated to notify the user that the system has judged the operation to be successful. On the other hand, in a case where the tap operation fails (a case where the tap is not performed correctly in time with the rhythm), an interaction can be displayed shaking double circles left and right as in the display 614 in 18th illustrated to notify the user that the system considered the operation to be unsuccessful.

Ferner kann, wie in der Anzeige 615 in 18 veranschaulicht, ein decodierter Zustand angezeigt werden, der Erfolg auf einer Seite und Fehlschlag auf der anderen Seite beinhaltet. Mit dieser Konfiguration kann der Benutzer erkennen, welche Hand das Timing nicht eingehalten hat.Furthermore, as in the ad 615 in 18th illustrates a decoded state that includes success on one side and failure on the other. With this configuration, the user can tell which hand has missed the timing.

19 ist ein Diagramm, das ein Beispiel einer Rückmeldung veranschaulicht, wenn eine gleichzeitige Bedienung, die durch alle Benutzer gemäß diesem spezifischen Beispiel durchgeführt wird, fehlschlägt. Wie auf der linken Seite von 19 veranschaulicht, beispielsweise in einem Fall, in dem Benutzer A, Benutzer B, Benutzer C und Benutzer D den Tisch 140 umgeben und alle Benutzer eine Bedienung des Antippens des Tisches 140 mit beiden Händen entsprechend der Musik durchführen, und nur das Timing der Bedienung durch Benutzer D nicht viel macht, betrachtet das Informationsverarbeitungssystem 100 die Bedienung als „Fehlschlag“. Zu dieser Zeit können, wie auf der rechten Seite von 19 veranschaulicht, Anzeigen wie etwa ein Kreis oder ein Kreuz an den Benutzer zurückgemeldet werden, um mitzuteilen, wessen Timing nicht abgestimmt ist. In dem auf der rechten Seite von 19 veranschaulichten Beispiel werden Kreisanzeigen 63a, 63b und 63d in der Nähe von Benutzer A, Benutzer B und Benutzer D angezeigt, deren Timings abgestimmt sind, und eine Kreuzanzeige 63c wird in der Nähe von Benutzer C angezeigt, dessen Timing nicht abgestimmt ist. 19th Figure 13 is a diagram illustrating an example of feedback when concurrent operation performed by all users in accordance with this specific example fails. As on the left of 19th illustrates, for example, a case where User A, User B, User C and User D set the table 140 Surrounded and all users one operation of tapping the table 140 perform with both hands according to the music, and only the timing of the operation by user D does not matter much, consider the information processing system 100 the operation as a "failure". At this time, as on the right of 19th Illustrates indications such as a circle or cross being fed back to the user to let them know whose timing is off. In the one on the right of 19th The example illustrated are circular displays 63a , 63b and 63d displayed near User A, User B, and User D whose timings are matched, and a cross display 63c appears near user C who is timing out of sync.

Alternativ dazu kann das Alternatively, this can

Informationsverarbeitungssystem 100 eine spezifische Farbe (zum Beispiel Rot) nur an der Hand des Benutzers anzeigen, dessen Timing nicht abgestimmt ist.Information processing system 100 display a specific color (e.g. red) only on the hand of the user whose timing is not coordinated.

Vorstehend wurde ein Beispiel für die Interaktion beschrieben, bei der jeder die gleiche Bedienung zu einem vorbestimmten Timing gemäß der Musik durchführt. Es ist zu beachten, dass das Anzeigebildschirmbeispiel gemäß diesem spezifischen Beispiel nicht auf das in 16 veranschaulichte Beispiel beschränkt ist, und zum Beispiel in einem Fall, in dem Musik abgespielt wird, wenn eine große Anzahl von Benutzern mit einer großen Anzahl von Anzeigeobjekten arbeitet, die auf dem Tisch 140 angezeigt werden, und alle Benutzer die gleiche vorbestimmte Bedienung zum gleichen Timing gemäß dem Rhythmus der Musik durchführen, kann das Informationsverarbeitungssystem 100 irgendeine Art von Interaktion erzeugen, die auf alle Anzeigeobjekte einwirkt.In the above, an example of the interaction in which everyone performs the same operation at a predetermined timing according to the music has been described. It should be noted that the display screen example according to this specific example does not apply to the one shown in 16 illustrated example is limited, and for example, in a case where music is played when a large number of users are working with a large number of display objects placed on the table 140 and all users perform the same predetermined operation at the same timing according to the rhythm of the music, the information processing system can 100 create some kind of interaction that affects all display objects.

Ferner kann die Interaktion gemäß diesem Beispiel auftreten, selbst wenn nur ein Benutzer vorhanden ist.Furthermore, according to this example, the interaction can occur even if there is only one user.

Zusätzlich dazu sind Ausführungsformen, in denen das erste bis dritte oben beschriebene spezifische Beispiel geeignet kombiniert werden, selbstverständlich im Schutzumfang der vorliegenden Offenbarung enthalten. Zum Beispiel kann in dem ersten spezifischen Beispiel, wenn die Bedienungstimings aller Benutzer nicht übereinstimmen und die Seite des Informationsverarbeitungssystems die Bedienung als einen Fehlschlag ansieht, eine Interaktion, die dem Benutzer zurückmeldet, dass die Bedienung fehlgeschlagen ist, erzeugt werden, wie im zweiten spezifischen Beispiel unter Bezugnahme auf 19 beschrieben.In addition to this, embodiments in which the first to third specific examples described above are appropriately combined are of course included in the scope of the present disclosure. For example, in the first specific example, if the operation timings of all users do not match and the information processing system side regards the operation as a failure, an interaction that notifies the user that the operation has failed can be generated, as in the second specific example with reference to 19th described.

«5. Hardwarekonfigurationsbeispiel»«5. Hardware configuration example »

Schließlich wird eine Hardwarekonfiguration einer Informationsverarbeitungseinrichtung gemäß der vorliegenden Ausführungsform unter Bezugnahme auf 20 beschrieben. 20 ist ein Blockdiagramm, das ein Beispiel einer Hardwarekonfiguration der Informationsverarbeitungseinrichtung gemäß der vorliegenden Ausführungsform veranschaulicht. Es ist zu beachten, dass eine in 20 veranschaulichte Informationsverarbeitungseinrichtung 900 das Informationsverarbeitungssystem 100 umsetzen kann, das zum Beispiel in den 1 bis 4 veranschaulicht ist. Die Informationsverarbeitung durch das Informationsverarbeitungssystem 100 gemäß der vorliegenden Ausführungsform wird durch die Zusammenarbeit zwischen Software und Hardware umgesetzt, die nachstehend beschrieben werden.Finally, a hardware configuration of an information processing device according to the present embodiment will be described with reference to FIG 20th described. 20th Fig. 13 is a block diagram illustrating an example of a hardware configuration of the information processing device according to the present embodiment. It should be noted that an in 20th illustrated information processing device 900 the information processing system 100 can implement, for example in the 1 to 4th is illustrated. The information processing by the information processing system 100 according to the present embodiment is implemented through the cooperation between software and hardware which will be described below.

Wie in 20 veranschaulicht, beinhaltet die Informationsverarbeitungseinrichtung 900 eine Zentralverarbeitungseinheit (CPU) 901, einen Nurlesespeicher (ROM) 902, einen Direktzugriffsspeicher (RAM) 903 und einen Host-Bus 904a. Zusätzlich dazu beinhaltet die Informationsverarbeitungseinrichtung 900 eine Brücke 904, einen externen Bus 904b, eine Schnittstelle 905, eine Eingabevorrichtung 906, eine Ausgabevorrichtung 907, eine Speichervorrichtung 908, ein Laufwerk 909, einen Verbindungsanschluss 911 und eine Kommunikationsvorrichtung 913. Die Informationsverarbeitungseinrichtung 900 kann eine Verarbeitungsschaltung wie etwa eine elektrische Schaltung, einen DSP oder eine ASIC anstelle oder zusätzlich zu der CPU 901 enthalten.As in 20th illustrated includes the information processing device 900 a central processing unit (CPU) 901 , a read-only memory (ROM) 902 , a random access memory (RAM) 903 and a host bus 904a . In addition, the information processing device includes 900 a bridge 904 , an external bus 904b , an interface 905 , an input device 906 , an output device 907 , a storage device 908 , a drive 909 , a connection terminal 911 and a communication device 913 . The information processing device 900 may be a processing circuit such as an electrical circuit, a DSP, or an ASIC instead of or in addition to the CPU 901 contain.

Die CPU 901 fungiert als eine arithmetische Verarbeitungsvorrichtung und eine Steuervorrichtung und steuert den Gesamtbetrieb in der Informationsverarbeitungseinrichtung 900 gemäß verschiedenen Programmen. Des Weiteren kann die CPU 901 ein Mikroprozessor sein. Der ROM 902 speichert Programme, Berechnungsparameter und dergleichen, die durch die CPU 901 verwendet werden. Der RAM 903 speichert temporär Programme, die bei der Ausführung der CPU 901 verwendet werden, Parameter, die zweckmäßig während der Ausführung geändert werden, und dergleichen. Beispielsweise kann die CPU 901 die in 4 veranschaulichte Steuereinheit 120 bilden. Wenn zum Beispiel die CPU 901 basierend auf Informationen, die von der Eingabevorrichtung 906 eingegeben werden, von allen Benutzern zum gleichen Timing dieselbe vorbestimmte Bedienung detektiert, veranlasst die CPU 901 die Ausgabevorrichtung 907, eine Interaktion zu erzeugen, die auf alle Anzeigeobjekte einwirkt.The CPU 901 functions as an arithmetic processing device and a control device, and controls overall operations in the information processing device 900 according to different programs. Furthermore, the CPU 901 be a microprocessor. The ROM 902 stores programs, calculation parameters, and the like made by the CPU 901 be used. The RAM 903 temporarily stores programs that occur when the CPU is running 901 parameters that are appropriately changed during execution, and the like. For example, the CPU 901 in the 4th illustrated control unit 120 form. For example, if the CPU 901 based on information received from the input device 906 are entered, the same predetermined operation is detected by all users at the same timing, causes the CPU 901 the output device 907 to create an interaction that affects all display objects.

Die CPU 901, der ROM 902 und der RAM 903 sind durch den Host-Bus 904a einschließlich eines CPU-Busses und dergleichen miteinander verbunden. Der Host-Bus 904a ist über die Brücke 904 mit dem externen Bus 904b, wie etwa einem PCI(Peripheral Component Interconnect/Interface)-Bus, verbunden. Es ist zu beachten, dass der Host-Bus 904a, die Brücke 904 und der externe Bus 904b nicht notwendigerweise separat konfiguriert sind und diese Funktionen auf einem Bus montiert sein können.The CPU 901 , the ROM 902 and the RAM 903 are through the host bus 904a including a CPU bus and the like. The host bus 904a is over the bridge 904 with the external bus 904b such as a PCI (Peripheral Component Interconnect / Interface) bus. It should be noted that the host bus 904a , the bridge 904 and the external bus 904b are not necessarily configured separately and these functions can be mounted on a bus.

Die Eingabevorrichtung 906 wird durch eine Vorrichtung umgesetzt, in die der Benutzer Informationen eingibt, wie etwa eine Maus, eine Tastatur, ein Touchpanel, eine Taste, ein Mikrofon, einen Schalter, einen Hebel und dergleichen. Ferner kann die Eingabevorrichtung 906 beispielsweise eine Fernsteuervorrichtung sein, die Infrarotstrahlen oder andere Funkwellen verwendet, oder sie kann eine externe Verbindungsvorrichtung wie etwa ein Mobiltelefon oder ein PDA sein, die den Betrieb der Informationsverarbeitungseinrichtung 900 unterstützt. Weiterhin kann die Eingabevorrichtung 906 beispielsweise eine Eingabesteuerschaltung enthalten, die ein Eingangssignal basierend auf Informationen erzeugt, die durch den Benutzer unter Verwendung der obigen Eingabemittel eingegeben werden, und das Eingangssignal zu der CPU 901 ausgibt. Ein Benutzer der Informationsverarbeitungseinrichtung 900 kann verschiedene Daten eingeben und eine Verarbeitungsbedienung für die Informationsverarbeitungseinrichtung 900 anweisen, indem er die Eingabevorrichtung 906 bedient. Alternativ dazu kann die Eingabevorrichtung 906 durch eine Vorrichtung gebildet werden, die Informationen über den Benutzer detektiert. Beispielsweise beinhaltet die Eingabevorrichtung 906 verschiedene Sensoren, wie etwa einen Bildsensor (beispielsweise eine Kamera), einen Tiefensensor (beispielsweise eine Stereokamera), einen Beschleunigungssensor, einen Gyrosensor, einen geomagnetischen Sensor, einen optischen Sensor, einen Schallsensor, einen Abstandssensor, einen Kraftsensor und dergleichen. Ferner kann die Eingabevorrichtung 906 Informationen in Bezug auf einen Zustand der Informationsverarbeitungseinrichtung 900 selbst erfassen, wie etwa eine Haltung, eine Bewegungsgeschwindigkeit oder dergleichen der Informationsverarbeitungseinrichtung 900 oder Informationen in Bezug auf die Umgebung der Informationsverarbeitungseinrichtung 900 wie etwa Helligkeit, Geräusche oder dergleichen um die Informationsverarbeitungseinrichtung 900 herum. Ferner kann die Eingabevorrichtung 906 ein GNSS-Modul enthalten, das ein GNSS-Signal von einem Satelliten eines globalen Navigationssatellitensystems (GNSS) empfängt (zum Beispiel ein GPS-Signal von einem Satelliten des globalen Positionierungssystems (GPS)) und Positionsinformationen einschließlich des Breitengrads, des Längengrads und der Höhe der Vorrichtung misst. Ferner kann in Bezug auf die Positionsinformationen die Eingabevorrichtung 906 die Position durch Übertragen/Empfangen mit WiFi (eingetragenes Markenzeichen), einem Mobiltelefon, einem PHS, einem Smartphone oder dergleichen oder durch Nahbereichskommunikation detektieren. Die Eingabevorrichtung 906 kann beispielsweise die in den 1 bis 4 veranschaulichte Eingabeeinheit 110 bilden. Bei der vorliegenden Ausführungsform empfängt die Eingabevorrichtung 906 Informationen in Bezug auf die Anordnung von Benutzern, die Anzahl von Benutzern, Bedienungen durch die Benutzer und reale Objekte auf dem Anzeigebildschirm.The input device 906 is implemented by a device into which the user inputs information such as a mouse, a keyboard, a touch panel, a button, a microphone, a switch, a lever and the like. Furthermore, the input device 906 e.g. 900 supported. Furthermore, the input device 906 for example, include an input control circuit that generates an input signal based on information input by the user using the above input means and the input signal to the CPU 901 issues. A user of the information processing device 900 can input various data and a processing operation for the information processing device 900 instruct by having the input device 906 served. Alternatively, the input device 906 be formed by a device that detects information about the user. For example, the input device includes 906 various sensors such as an image sensor (e.g. a camera), a depth sensor (e.g. a stereo camera), an acceleration sensor, a gyro sensor, a geomagnetic sensor, an optical sensor, a sound sensor, a distance sensor, a force sensor and the like. Furthermore, the input device 906 Information related to a state of the information processing device 900 themselves such as a posture, a moving speed or the like of the information processing device 900 or information relating to the environment of the information processing device 900 such as brightness, noise or the like around the information processing device 900 around. Furthermore, the input device 906 contain a GNSS module that receives a GNSS signal from a global navigation satellite system (GNSS) satellite (for example, a GPS signal from a global positioning system (GPS) satellite) and position information including latitude, longitude and altitude of the Device measures. Furthermore, with regard to the position information, the input device 906 detect the position by transmitting / receiving with WiFi (registered trademark), a mobile phone, a PHS, a smartphone or the like, or by short-range communication. The input device 906 for example, the 1 to 4th illustrated input unit 110 form. In the present embodiment, the input device receives 906 Information related to the arrangement of users, the number of users, operations by the users, and real objects on the display screen.

Die Ausgabevorrichtung 907 ist aus einer Vorrichtung gebildet, die in der Lage ist, dem Benutzer erfasste Informationen visuell oder akustisch mitzuteilen. Als eine solche Vorrichtung kann eine Anzeigevorrichtung vorhanden sein, die eine CRT-Anzeigevorrichtung, eine Flüssigkristallanzeigevorrichtung, eine Plasmaanzeigevorrichtung, eine EL-Anzeigevorrichtung, einen Laserprojektor, LED-Projektoren und Lampen oder dergleichen, eine Audioausgabevorrichtung einschließlich eines Lautsprechers und Kopfhörer oder dergleichen, einen Drucker und dergleichen enthält. Die Ausgabevorrichtung 907 gibt Ergebnisse aus, die durch verschiedene Prozesse erhalten werden, die durch zum Beispiel die Informationsverarbeitungseinrichtung 900 durchgeführt werden. Genauer gesagt zeigt die Anzeigevorrichtung visuell die Ergebnisse, die durch verschiedene Prozesse erhalten werden, die durch die Informationsverarbeitungseinrichtung 900 durchgeführt werden, in verschiedenen Formaten, wie etwa Text, Bilder, Tabellen, graphischen Darstellungen und dergleichen, an. Andererseits wandelt die Audioausgabevorrichtung ein Audiosignal, das aus wiedergegebenen Audiodaten, akustischen Daten und dergleichen besteht, in ein analoges Signal um und gibt das Signal akustisch aus. Die Ausgabevorrichtung 907 kann beispielsweise die in den 1 bis 4 veranschaulichte Ausgabeeinheit 130 bilden. Gemäß der vorliegenden Ausführungsform führt die Ausgabevorrichtung 907 eine Anzeige zum Drehen oder Anheben aller Anzeigeobjekte und dergleichen basierend auf einer Steuerung durch die CPU 901 durch.The dispenser 907 is formed from a device that is capable of communicating recorded information visually or acoustically to the user. As such a device, there may be a display device including a CRT display device, a liquid crystal display device, a plasma display device, an EL display device, a laser projector, LED projectors and lamps or the like, an audio output device including a speaker and headphones or the like, a printer and the like. The dispenser 907 outputs results obtained through various processes performed by, for example, the information processing device 900 be performed. More specifically, the display device visually shows the results obtained through various processes performed by the information processing device 900 can be performed in various formats, such as text, images, tables, graphs, and the like. On the other hand, the audio output device converts an audio signal consisting of reproduced audio data, acoustic data and the like into an analog signal and outputs the signal acoustically. The dispenser 907 for example, the 1 to 4th illustrated output unit 130 form. According to the present embodiment, the output device leads 907 a display for rotating or lifting up all display objects and the like based on control by the CPU 901 by.

Die Speichervorrichtung 908 ist eine Datenspeichervorrichtung, die als ein Beispiel einer Speichereinheit der Informationsverarbeitungseinrichtung 900 ausgebildet ist. Die Speichervorrichtung 908 wird zum Beispiel durch eine magnetische Speichervorrichtung wie etwa eine HDD, eine Halbleiterspeichervorrichtung, eine optische Speichervorrichtung, eine magnetooptische Speichervorrichtung oder dergleichen umgesetzt. Die Speichervorrichtung 908 kann ein Speichermedium, eine Aufzeichnungsvorrichtung, die Daten auf dem Speichermedium aufzeichnet, eine Lesevorrichtung, die Daten aus dem Speichermedium liest, eine Löschvorrichtung, die auf dem Speichermedium gespeicherte Daten löscht, und dergleichen beinhalten. Die Speichervorrichtung 908 speichert Programme, die durch die CPU 901 ausgeführt werden, verschiedene Daten, verschiedene von außen erfasste Daten und dergleichen. Die Speichervorrichtung 908 kann zum Beispiel die in 4 veranschaulichte Speichereinheit 150 bilden.The storage device 908 is a data storage device used as an example of a storage unit of the information processing device 900 is trained. The storage device 908 is implemented by, for example, a magnetic storage device such as an HDD, a semiconductor storage device, an optical storage device, a magneto-optical storage device, or the like. The storage device 908 may include a storage medium, a recording device that records data on the storage medium, a reading device that reads data from the storage medium, an erasing device that erases data stored on the storage medium, and the like. The storage device 908 stores programs created by the CPU 901 various data, various externally acquired data, and the like. The storage device 908 for example, the in 4th illustrated storage unit 150 form.

Das Laufwerk 909 ist ein Speichermedium-Lese-/Schreibgerät und ist in die Informationsverarbeitungseinrichtung 900 eingebaut oder extern daran angeschlossen. Das Laufwerk 909 liest Informationen, die auf einem entfernbaren Speichermedium wie etwa einer geladenen magnetischen Platte, einer optischen Platte, einer magnetooptischen Platte oder einem Halbleiterspeicher aufgezeichnet sind, und gibt die Informationen an den RAM 903 aus. Ferner kann das Laufwerk 909 auch Informationen auf ein entfernbares Speichermedium schreiben.The drive 909 is a storage medium reader / writer and is in the information processing device 900 built-in or connected to it externally. The drive 909 reads information recorded on a removable storage medium such as a loaded magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory, and outputs the information to the RAM 903 out. Furthermore, the drive 909 also write information to a removable storage medium.

Der Verbindungsanschluss 911 ist eine Schnittstelle, die mit einer externen Vorrichtung verbunden ist, und ist eine Verbindungsöffnung mit einer externen Vorrichtung, die Daten beispielsweise über den Universal Serial Bus (USB) übertragen kann.The connection port 911 is an interface connected to an external device, and is a connection port with a external device that can transmit data, for example via the Universal Serial Bus (USB).

Die Kommunikationsvorrichtung 913 ist eine Kommunikationsschnittstelle, die beispielsweise durch eine Kommunikationsvorrichtung oder dergleichen zum Verbinden mit einem Netzwerk 920 gebildet wird. Die Kommunikationsvorrichtung 913 ist zum Beispiel eine Kommunikationskarte für ein drahtgebundenes oder drahtloses lokales Netzwerk (LAN), Long Term Evolution (LTE), Bluetooth (eingetragenes Markenzeichen) oder Wireless USB (WUSB). Ferner kann die Kommunikationsvorrichtung 913 ein optischer Kommunikationsrouter, ein ADSL-Router (Asymmetrie Digital Subscriber Line), verschiedene Kommunikationsmodems oder dergleichen sein. Die Kommunikationsvorrichtung 913 kann Signale und dergleichen gemäß einem vorbestimmten Protokoll, wie etwa TCP/IP, zum Beispiel mit dem Internet und anderen Kommunikationsvorrichtungen übertragen und empfangen.The communication device 913 is a communication interface used, for example, by a communication device or the like for connecting to a network 920 is formed. The communication device 913 is for example a communication card for a wired or wireless local area network (LAN), Long Term Evolution (LTE), Bluetooth (registered trademark) or Wireless USB (WUSB). Furthermore, the communication device 913 an optical communication router, an ADSL router (Asymmetry Digital Subscriber Line), various communication modems or the like. The communication device 913 can transmit and receive signals and the like according to a predetermined protocol such as TCP / IP with, for example, the Internet and other communication devices.

Es ist zu beachten, dass das Netzwerk 920 ein drahtgebundener oder drahtloser Übertragungspfad für Informationen ist, die von einer mit dem Netzwerk 920 verbundenen Vorrichtung übertragen werden. Das Netzwerk 920 kann zum Beispiel ein öffentliches Leitungsnetzwerk, wie etwa das Internet, ein Telefonleitungsnetzwerk und ein Satellitenkommunikationsnetzwerk, verschiedene lokale Netzwerke (LANs) einschließlich Ethernet (eingetragenes Markenzeichen), ein großflächiges Netzwerk (WAN) und dergleichen beinhalten. Ferner kann das Netzwerk 920 ein dediziertes Leitungsnetzwerk enthalten, wie etwa ein virtuelles privates Internetprotokollnetzwerk (IP-VPN) und dergleichen.It should be noted that the network 920 is a wired or wireless transmission path for information coming from one to the network 920 connected device are transmitted. The network 920 For example, it may include a public line network such as the Internet, a telephone line network, and a satellite communications network, various local area networks (LANs) including Ethernet (registered trademark), a wide area network (WAN), and the like. Furthermore, the network 920 include a dedicated circuit network such as a virtual private internet protocol network (IP-VPN) and the like.

Vorstehend wurde ein Beispiel für die Hardwarekonfiguration beschrieben, die in der Lage ist, die Funktionen der Informationsverarbeitungseinrichtung 900 gemäß der vorliegenden Ausführungsform umzusetzen. Jede der obigen Komponenten kann unter Verwendung eines Universalbauteils umgesetzt werden oder kann durch Hardware umgesetzt werden, die für die Funktion jeder Komponente spezialisiert ist. Daher kann die zu verwendende Hardwarekonfiguration entsprechend dem technischen Stand zum Zeitpunkt der Ausführung der vorliegenden Ausführungsform entsprechend geändert werden.In the foregoing, an example of the hardware configuration capable of performing the functions of the information processing device has been described 900 implement according to the present embodiment. Each of the above components can be implemented using a general-purpose part, or can be implemented by hardware specialized for the function of each component. Therefore, the hardware configuration to be used can be changed according to the state of the art at the time of carrying out the present embodiment.

Es ist zu beachten, dass es möglich ist, ein Computerprogramm zum Umsetzen jeder Funktion der Informationsverarbeitungseinrichtung 900 gemäß der vorliegenden Ausführungsform wie oben beschrieben zu erstellen und das Computerprogramm auf einem PC oder dergleichen zu laden. Zusätzlich dazu kann ein computerlesbares Aufzeichnungsmedium bereitgestellt sein, das ein solches Computerprogramm speichert. Das Aufzeichnungsmedium ist zum Beispiel eine magnetische Platte, eine optische Platte, eine magnetooptische Platte, ein Flash-Speicher oder dergleichen. Ferner kann das obige Computerprogramm beispielsweise über ein Netzwerk verteilt werden, ohne ein Aufzeichnungsmedium zu verwenden.It should be noted that it is possible to use a computer program to implement each function of the information processing device 900 according to the present embodiment as described above and to load the computer program on a PC or the like. In addition, there may be provided a computer readable recording medium that stores such a computer program. The recording medium is, for example, a magnetic disk, an optical disk, a magneto-optical disk, a flash memory or the like. Further, the above computer program can be distributed over a network, for example, without using a recording medium.

«6. Zusammenfassung»«6. Summary"

Wie oben beschrieben, kann in dem Informationsverarbeitungssystem gemäß der Ausführungsform der vorliegenden Offenbarung eine spezifische Rückmeldung auf das Anzeigebild in Bezug auf eine vorbestimmte Bedienung bereitgestellt werden, bei der die Timings mehrerer Benutzer abgestimmt sind.As described above, in the information processing system according to the embodiment of the present disclosure, specific feedback can be provided on the display image with respect to a predetermined operation in which the timings of a plurality of users are matched.

Die bevorzugten Ausführungsformen der vorliegenden Offenbarung wurden oben unter Bezugnahme auf die beigefügten Zeichnungen ausführlich beschrieben, aber die vorliegende Technologie ist nicht auf solche Beispiele beschränkt. Es ist offensichtlich, dass ein Durchschnittsfachmann des technischen Gebiets der vorliegenden Offenbarung verschiedene Änderungen oder Modifikationen im Rahmen der in den Ansprüchen beschriebenen technischen Idee vornehmen kann, und es ist sicher zu verstehen, dass sie zum technischen Umfang der vorliegenden Offenbarung gehört.The preferred embodiments of the present disclosure have been described in detail above with reference to the accompanying drawings, but the present technology is not limited to such examples. It is obvious that one of ordinary skill in the technical field of the present disclosure can make various changes or modifications within the scope of the technical idea described in the claims, and it is surely to be understood that they belong to the technical scope of the present disclosure.

Zum Beispiel ist es möglich, ein Computerprogramm zu erstellen, um Hardware wie etwa CPU, ROM und RAM, die in jeder Konfiguration des oben beschriebenen Informationsverarbeitungssystems 100 enthalten ist, dazu zu veranlassen, die Funktionen jeder Konfiguration des Informationsverarbeitungssystems 100 durchzuführen. Ein computerlesbares Speichermedium ist auch bereitgestellt, das das Computerprogramm speichert.For example, it is possible to create a computer program to work with hardware such as CPU, ROM and RAM used in each configuration of the information processing system described above 100 is included to cause the functions of each configuration of the information processing system 100 perform. A computer readable storage medium is also provided that stores the computer program.

Ferner sind die in der vorliegenden Beschreibung beschriebenen Effekte lediglich veranschaulichend oder beispielhaft und nicht beschränkt. Das heißt, die Technologie gemäß der vorliegenden Offenbarung kann andere Effekte aufweisen, die für den Fachmann aus der Beschreibung der vorliegenden Beschreibung zusätzlich zu oder anstelle der obigen Effekte ersichtlich sind.Furthermore, the effects described in the present specification are only illustrative or exemplary and not limited. That is, the technology according to the present disclosure may have other effects that are apparent to those skilled in the art from the description of the present description in addition to or instead of the above effects.

Es ist zu beachten, dass die vorliegende Technologie auch die folgenden Konfigurationen aufweisen kann.

  • (1) Eine Informationsverarbeitungseinrichtung, die Folgendes umfasst:
    • eine Steuereinheit, die ausgelegt ist zum:
      • Erkennen mehrerer Benutzer;
      • Detektieren einer Bedienung durch jeden Benutzer auf einer Anzeigefläche, auf der ein Bild angezeigt wird; und
      • Steuern, eine Rückmeldung zu dem auf der Anzeigefläche angezeigten Bild gemäß dem Timing der detektierten Bedienungen durch die mehreren Benutzer auszugeben.
  • (2) Die Informationsverarbeitungseinrichtung nach (1), wobei die Steuereinheit eine vorbestimmte Rückmeldung ausgibt, die auf alle auf der Anzeigeoberfläche angezeigten Bilder einwirkt, falls die detektierten Bedienungen durch die mehreren Benutzer alle die gleichen sind und gleichzeitig durchgeführt werden.
  • (3) Die Informationsverarbeitungseinrichtung nach (2), wobei alle auf der Anzeigefläche angezeigten Bilder ein Anzeigeobjekt und ein Hintergrundbild enthalten.
  • (4) Die Informationsverarbeitungseinrichtung nach (3), wobei die Bedienung eine Bedienung auf ein Gebiet ohne Anzeigeobjekt ist.
  • (5) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (4), wobei die mehreren Benutzer alle Benutzer sind, die um die Anzeigefläche herum vorhanden sind.
  • (6) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (5), wobei die mehreren Benutzer alle Benutzer sind, die auf der Anzeigeoberfläche arbeiten.
  • (7) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (6), wobei die mehreren Benutzer alle bedienenden Benutzer sind, die um die Anzeigefläche herum vorhanden sind und eine vorbestimmte Bedingung erfüllen.
  • (8) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (7), wobei die Steuereinheit als die vorbestimmte Rückmeldung, die auf alle auf der Anzeigefläche angezeigten Bilder einwirkt, eine Anzeigesteuerung durchführt, die alle Bilder um eine Mitte der Anzeigefläche dreht.
  • (9) Die Informationsverarbeitungseinrichtung nach (8), wobei der Drehwinkel gemäß einer Anzahl der mehreren Benutzer und einer Anordnung der mehreren Benutzer geändert wird.
  • (10) Die Informationsverarbeitungseinrichtung nach (8) oder (9), wobei der Drehwinkel gemäß einer Form der Anzeigefläche geändert wird.
  • (11) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (7), wobei die Steuereinheit als die vorbestimmte Rückmeldung, die auf alle auf der Anzeigefläche angezeigten Bilder einwirkt, eine Anzeigesteuerung durchführt, die alle Bilder löscht.
  • (12) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (7), wobei die Steuereinheit als die vorbestimmte Rückmeldung, die auf alle auf der Anzeigefläche angezeigten Bilder einwirkt, eine Anzeigesteuerung durchführt, die alle Bilder temporär bewegt.
  • (13) Die Informationsverarbeitungseinrichtung nach (12), wobei die Steuereinheit die Anzeigesteuerung durchführt, um eine Rippelwelle anzuzeigen, die sich auf einer Wasseroberfläche ausbreitet, oder einen Wasserfluss auf der Anzeigeoberfläche anzuzeigen, und alle Bilder entsprechend der Rippelwelle auf der Wasseroberfläche oder dem Wasserfluss gerüttelt werden.
  • (14) Die Informationsverarbeitungseinrichtung nach (13), wobei die Steuereinheit eine Anzeigesteuerung durchführt, bei der die Rippelwelle auf der Wasseroberfläche oder der Wasserfluss, die sich auf der Anzeigefläche ausbreiten, ein reales Objekt vermeidet, das auf der Anzeigeoberfläche angeordnet ist.
  • (15) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (14), wobei in einem Fall, in dem die Timings der detektierten Bedienungen durch die mehreren Benutzer nicht viel sind, die Steuereinheit beginnt, alle Bilder einmal um die Mitte der Anzeigefläche zu drehen und die Bilder zurückzusetzen.
  • (16) Die Informationsverarbeitungseinrichtung nach einem von (2) bis (15), wobei in einem Fall, in dem die durch die mehreren Benutzer durchgeführten vorbestimmten gleichen gleichzeitigen Bedienungen zu einem vorbestimmten Timing durchgeführt werden, das abgespielter Musik entspricht, die Steuereinheit die vorbestimmte Rückmeldung ausgibt, die auf alle auf der Anzeigefläche angezeigten Bilder einwirkt.
  • (17) Die Informationsverarbeitungseinrichtung nach (16), wobei in einem Fall, in dem das Timing der Bedienung durch mindestens einen der mehreren Benutzer nicht das der Musik entsprechende vorbestimmte Timing ist, die Steuereinheit bestimmt, dass die Bedienung fehlgeschlagen ist, und eine Anzeige auf der Anzeigefläche ausgibt, um den mehreren Benutzer den Bedienungsfehlschlag mitzuteilen.
  • (18) Ein Informationsverarbeitungsverfahren, wobei ein Prozessor Prozesse ausführt, die Folgendes umfassen:
    • Erkennen mehrerer Benutzer;
    • Detektieren einer Bedienung durch jeden Benutzer auf einer Anzeigefläche, auf der ein Bild angezeigt wird; und
    • Ausgeben einer Rückmeldung zu dem auf der Anzeigefläche angezeigten Bild gemäß dem Timing der detektierten Bedienungen durch die mehreren Benutzer.
  • (19) Ein Programm, das einen Computer veranlasst, als eine Steuereinheit für Folgendes zu fungieren:
    • Erkennen mehrerer Benutzer;
    • Detektieren einer Bedienung durch jeden Benutzer auf einer Anzeigefläche, auf der ein Bild angezeigt wird; und
    • Ausgeben einer Rückmeldung zu dem auf der Anzeigefläche angezeigten Bild gemäß dem Timing der detektierten Bedienungen durch die mehreren Benutzer.
It should be noted that the present technology can also have the following configurations.
  • (1) An information processing facility comprising:
    • a control unit designed to:
      • Recognize multiple users;
      • Detecting an operation by each user on a display surface on which an image is displayed; and
      • Control to output feedback on the image displayed on the display area according to the timing of the detected operations by the plurality of users.
  • (2) The information processing device according to (1), wherein the control unit outputs a predetermined feedback which acts on all the images displayed on the display surface if the detected operations by the plural users are all the same and are performed simultaneously.
  • (3) The information processing device according to (2), wherein each of the images displayed on the display surface includes a display object and a background image.
  • (4) The information processing device according to (3), wherein the operation is an operation on an area with no display object.
  • (5) The information processing device according to any one of (2) to (4), wherein the plural users are all users existing around the display area.
  • (6) The information processing device according to any one of (2) to (5), wherein the plurality of users are all users who work on the display surface.
  • (7) The information processing device according to any one of (2) to (6), wherein the plurality of users are all operating users who are around the display area and satisfy a predetermined condition.
  • (8) The information processing device according to any one of (2) to (7), wherein the control unit performs, as the predetermined feedback acting on all the images displayed on the display area, display control that rotates all the images around a center of the display area.
  • (9) The information processing device according to (8), wherein the rotation angle is changed according to a number of the plural users and an arrangement of the plural users.
  • (10) The information processing device according to (8) or (9), wherein the rotation angle is changed according to a shape of the display area.
  • (11) The information processing device according to any one of (2) to (7), wherein the control unit performs display control that deletes all the images as the predetermined feedback acting on all the images displayed on the display surface.
  • (12) The information processing device according to any one of (2) to (7), wherein the control unit performs display control temporarily moving all the images as the predetermined feedback acting on all the images displayed on the display surface.
  • (13) The information processing device according to (12), wherein the control unit performs display control to display a ripple wave propagating on a water surface or a water flow on the display surface, and vibrate all the images corresponding to the ripple wave on the water surface or the water flow become.
  • (14) The information processing device according to (13), wherein the control unit performs display control in which the ripple wave on the water surface or the water flow spreading on the display surface avoids a real object placed on the display surface.
  • (15) The information processing device according to any one of (2) to (14), wherein in a case where the timings of the detected operations by the plural users are not much, the control unit starts rotating all the images once around the center of the display area and reset the images.
  • (16) The information processing device according to any one of (2) to (15), wherein in a case where the predetermined same simultaneous operations performed by the plural users are performed at a predetermined timing corresponding to the music being played, the control unit provides the predetermined feedback that acts on all images displayed on the display surface.
  • (17) The information processing device according to (16), wherein in a case where the timing of the operation by at least one of the plurality of users is not the predetermined timing corresponding to the music, the control unit determines that the operation has failed and displays the display area outputs in order to notify the multiple users of the operating error.
  • (18) A method of processing information, wherein a processor executes processes comprising:
    • Recognize multiple users;
    • Detecting an operation by each user on a display surface on which an image is displayed; and
    • Outputting feedback on the image displayed on the display area in accordance with the timing of the detected operations by the plurality of users.
  • (19) A program that causes a computer to act as a control unit for:
    • Recognize multiple users;
    • Detecting an operation by each user on a display surface on which an image is displayed; and
    • Outputting feedback on the image displayed on the display area in accordance with the timing of the detected operations by the plurality of users.

BezugszeichenlisteList of reference symbols

100100
InformationsverarbeitungssystemInformation processing system
100a100a
InformationsverarbeitungssystemInformation processing system
100b100b
InformationsverarbeitungssystemInformation processing system
100c100c
InformationsverarbeitungssystemInformation processing system
110110
EingabeeinheitInput unit
110a110a
EingabeeinheitInput unit
110b110b
EingabeeinheitInput unit
110c110c
EingabeeinheitInput unit
120120
SteuereinheitControl unit
121121
BenutzererkennungseinheitUser identification unit
123123
Mehrbenutzerbedienung-DetektionseinheitMulti-user detection unit
125125
AnzeigesteuereinheitDisplay control unit
130130
AusgabeeinheitOutput unit
130a130a
AusgabeeinheitOutput unit
130b130b
AusgabeeinheitOutput unit
130c130c
AusgabeeinheitOutput unit
140140
Tischtable
140a140a
Tischtable
140b140b
Tischtable
150150
SpeichereinheitStorage unit

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • JP 2015090524 A [0003]JP 2015090524 A [0003]

Claims (19)

Informationsverarbeitungseinrichtung, die Folgendes umfasst: eine Steuereinheit, die ausgelegt ist zum: Erkennen mehrerer Benutzer; Detektieren einer Bedienung durch jeden Benutzer auf einer Anzeigefläche, auf der ein Bild angezeigt wird; und Steuern, um eine Rückmeldung zu dem auf der Anzeigefläche angezeigten Bild gemäß dem Timing der detektierten Bedienungen durch die mehreren Benutzer auszugeben.Information processing facility, comprising: a control unit designed to: Recognize multiple users; Detecting an operation by each user on a display surface on which an image is displayed; and Control to output feedback on the image displayed on the display area according to the timing of the detected operations by the plurality of users. Informationsverarbeitungseinrichtung nach Anspruch 1, wobei die Steuereinheit eine vorbestimmte Rückmeldung ausgibt, die auf alle auf der Anzeigeoberfläche angezeigten Bilder einwirkt, falls die detektierten Bedienungen durch die mehreren Benutzer alle die gleichen sind und gleichzeitig durchgeführt werden.Information processing device according to Claim 1 wherein the control unit outputs a predetermined feedback which acts on all images displayed on the display surface if the detected operations by the plurality of users are all the same and are performed simultaneously. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei alle auf der Anzeigefläche angezeigten Bilder ein Anzeigeobjekt und ein Hintergrundbild enthalten.Information processing device according to Claim 2 wherein all of the images displayed on the display area contain a display object and a background image. Informationsverarbeitungseinrichtung nach Anspruch 3, wobei die Bedienung eine Bedienung auf ein Gebiet ohne Anzeigeobjekt ist.Information processing device according to Claim 3 wherein the operation is an operation on an area with no display object. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei die mehreren Benutzer alle Benutzer sind, die um die Anzeigefläche herum vorhanden sind.Information processing device according to Claim 2 wherein the plurality of users are all users present around the display area. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei die mehreren Benutzer alle Benutzer sind, die auf der Anzeigeoberfläche arbeiten.Information processing device according to Claim 2 , where the multiple users are all users who work on the display surface. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei die mehreren Benutzer alle bedienenden Benutzer sind, die um die Anzeigefläche herum vorhanden sind und eine vorbestimmte Bedingung erfüllen.Information processing device according to Claim 2 wherein the plurality of users are all operating users who are present around the display area and meet a predetermined condition. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei die Steuereinheit als die vorbestimmte Rückmeldung, die auf alle auf der Anzeigefläche angezeigten Bilder einwirkt, eine Anzeigesteuerung durchführt, die alle Bilder um eine Mitte der Anzeigefläche dreht.Information processing device according to Claim 2 wherein the control unit performs, as the predetermined feedback acting on all images displayed on the display area, display control that rotates all images about a center of the display area. Informationsverarbeitungseinrichtung nach Anspruch 8, wobei der Drehwinkel gemäß einer Anzahl der mehreren Benutzer und einer Anordnung der mehreren Benutzer geändert wird.Information processing device according to Claim 8 wherein the rotation angle is changed according to a number of the plurality of users and an arrangement of the plurality of users. Informationsverarbeitungseinrichtung nach Anspruch 8, wobei der Drehwinkel gemäß einer Form der Anzeigefläche geändert wird.Information processing device according to Claim 8 wherein the rotation angle is changed according to a shape of the display area. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei die Steuereinheit als die vorbestimmte Rückmeldung, die auf alle auf der Anzeigefläche angezeigten Bilder einwirkt, eine Anzeigesteuerung durchführt, die alle Bilder löscht.Information processing device according to Claim 2 wherein the control unit performs, as the predetermined feedback acting on all of the images displayed on the display surface, display control that deletes all of the images. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei die Steuereinheit als die vorbestimmte Rückmeldung, die auf alle auf der Anzeigefläche angezeigten Bilder einwirkt, eine Anzeigesteuerung durchführt, die alle Bilder temporär bewegt.Information processing device according to Claim 2 wherein the control unit performs, as the predetermined feedback acting on all of the images displayed on the display surface, display control that temporarily moves all of the images. Informationsverarbeitungseinrichtung nach Anspruch 12, wobei die Steuereinheit die Anzeigesteuerung durchführt, um eine Rippelwelle anzuzeigen, die sich auf einer Wasseroberfläche ausbreitet, oder einen Wasserfluss auf der Anzeigeoberfläche anzuzeigen, und alle Bilder entsprechend der Rippelwelle auf der Wasseroberfläche oder dem Wasserfluss gerüttelt werden.Information processing device according to Claim 12 wherein the control unit performs display control to display a ripple wave propagating on a water surface or a water flow on the display surface, and all images are shaken according to the ripple wave on the water surface or the water flow. Informationsverarbeitungseinrichtung nach Anspruch 13, wobei die Steuereinheit eine Anzeigesteuerung durchführt, bei der die Rippelwelle auf der Wasseroberfläche oder dem Wasserfluss, die sich auf der Anzeigefläche ausbreitet, ein reales Objekt vermeidet, das auf der Anzeigeoberfläche angeordnet ist.Information processing device according to Claim 13 wherein the control unit performs display control in which the ripple wave on the water surface or the flow of water spreading on the display surface avoids a real object placed on the display surface. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei in einem Fall, in dem die Timings der detektierten Bedienungen durch die mehreren Benutzer nicht viel sind, die Steuereinheit beginnt, alle Bilder einmal um die Mitte der Anzeigefläche zu drehen und die Bilder zurückzusetzen.Information processing device according to Claim 2 , wherein in a case where the timings of the detected operations by the plural users are not much, the control unit starts to rotate all the images once around the center of the display area and reset the images. Informationsverarbeitungseinrichtung nach Anspruch 2, wobei in einem Fall, in dem die durch die mehreren Benutzer durchgeführten vorbestimmten gleichen gleichzeitigen Bedienungen zu einem vorbestimmten Timing durchgeführt werden, das abgespielter Musik entspricht, die Steuereinheit die vorbestimmte Rückmeldung ausgibt, die auf alle auf der Anzeigefläche angezeigten Bilder einwirkt.Information processing device according to Claim 2 wherein, in a case where the predetermined same simultaneous operations performed by the plural users are performed at a predetermined timing corresponding to music being played, the control unit outputs the predetermined feedback acting on all the images displayed on the display surface. Informationsverarbeitungseinrichtung nach Anspruch 16, wobei in einem Fall, in dem das Timing der Bedienung durch mindestens einen der mehreren Benutzer nicht das der Musik entsprechende vorbestimmte Timing ist, die Steuereinheit bestimmt, dass die Bedienung fehlgeschlagen ist, und eine Anzeige auf der Anzeigefläche ausgibt, um den mehreren Benutzer den Bedienungsfehlschlag mitzuteilen.Information processing device according to Claim 16 , wherein in a case where the timing of the operation by at least one of the plurality of users is not the predetermined timing corresponding to the music, the control unit determines that the operation has failed, and outputs a display on the display area to the plurality of users To communicate operating failure. Informationsverarbeitungsverfahren, wobei ein Prozessor Prozesse ausführt, die Folgendes umfassen: Erkennen mehrerer Benutzer; Detektieren einer Bedienung durch jeden Benutzer auf einer Anzeigefläche, auf der ein Bild angezeigt wird; und Ausgeben einer Rückmeldung zu dem auf der Anzeigefläche angezeigten Bild gemäß dem Timing der detektierten Bedienungen durch die mehreren Benutzer. An information processing method, wherein a processor executes processes comprising: recognizing a plurality of users; Detecting an operation by each user on a display surface on which an image is displayed; and outputting feedback on the image displayed on the display area according to the timing of the detected operations by the plurality of users. Programm, das einen Computer veranlasst, als eine Steuereinheit für Folgendes zu fungieren: Erkennen mehrerer Benutzer; Detektieren einer Bedienung durch jeden Benutzer auf einer Anzeigefläche, auf der ein Bild angezeigt wird; und Ausgeben einer Rückmeldung zu dem auf der Anzeigefläche angezeigten Bild gemäß dem Timing der detektierten Bedienungen durch die mehreren Benutzer.Program that causes a computer to act as a control unit for: Recognize multiple users; Detecting an operation by each user on a display surface on which an image is displayed; and Outputting feedback on the image displayed on the display area in accordance with the timing of the detected operations by the plurality of users.
DE112018005299.0T 2017-09-19 2018-08-06 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM Withdrawn DE112018005299T5 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017179080 2017-09-19
JP2017-179080 2017-09-19
PCT/JP2018/029389 WO2019058788A1 (en) 2017-09-19 2018-08-06 Information processing device, information processing method, and program

Publications (1)

Publication Number Publication Date
DE112018005299T5 true DE112018005299T5 (en) 2020-09-17

Family

ID=65811349

Family Applications (1)

Application Number Title Priority Date Filing Date
DE112018005299.0T Withdrawn DE112018005299T5 (en) 2017-09-19 2018-08-06 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM

Country Status (5)

Country Link
US (1) US11188206B2 (en)
JP (1) JPWO2019058788A1 (en)
CN (1) CN111095186A (en)
DE (1) DE112018005299T5 (en)
WO (1) WO2019058788A1 (en)

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7937285B2 (en) * 2001-04-12 2011-05-03 Massachusetts Institute Of Technology Remote collaborative control and direction
CN101878466B (en) * 2008-09-29 2012-11-21 松下电器产业株式会社 Exclusive operation control device and method
US20110078571A1 (en) * 2009-09-29 2011-03-31 Monstrous Company Providing visual responses to musically synchronized touch input
JP5862888B2 (en) 2012-07-09 2016-02-16 コニカミノルタ株式会社 Operation display device and program
JP5705885B2 (en) 2013-01-09 2015-04-22 シャープ株式会社 Input display device
JP6070512B2 (en) 2013-11-05 2017-02-01 ソニー株式会社 Information processing apparatus, information processing method, and program
JP6357811B2 (en) * 2014-03-10 2018-07-18 富士ゼロックス株式会社 Display control apparatus and program
US10133460B2 (en) * 2014-03-26 2018-11-20 Unanimous A.I., Inc. Systems and methods for collaborative synchronous image selection
KR20160071922A (en) * 2014-12-12 2016-06-22 삼성전자주식회사 Electronic apparatus and display method thereof
JP2016122345A (en) * 2014-12-25 2016-07-07 株式会社リコー Image projection device and interactive input/output system
JP6697846B2 (en) 2015-03-31 2020-05-27 株式会社バンダイナムコエンターテインメント Game system, server system and program

Also Published As

Publication number Publication date
US11188206B2 (en) 2021-11-30
JPWO2019058788A1 (en) 2020-11-05
CN111095186A (en) 2020-05-01
US20200278785A1 (en) 2020-09-03
WO2019058788A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
Webb et al. Beginning kinect programming with the microsoft kinect SDK
DE112011105171B4 (en) Block user content based on location
DE202017105262U1 (en) Create virtual notation surfaces with gestures in an augmented and / or virtual reality environment
CN107666987A (en) Robotic process automates
DE112013002409T5 (en) Apparatus, method and graphical user interface for displaying additional information in response to a user contact
DE102009023875A1 (en) Gesture recognition interface system with vertical display area
DE102018103468A1 (en) INFORMATION PROCESSING SYSTEM, INFORMATION PROCESSING AND PROGRAM
DE102018210633A1 (en) Methods and apparatus for detecting user facing screens in multi-screen devices
DE202008000261U1 (en) Multiple Berührungsdatenfussionssystem
DE202017105614U1 (en) Systems and computer program products for a touchscreen user interface of a collaborative editing tool
US20130155026A1 (en) New kind of multi-touch input device
DE112013004801T5 (en) Multimodal touch screen emulator
US10401947B2 (en) Method for simulating and controlling virtual sphere in a mobile device
DE102014113229B4 (en) Information processing method and electronic device
DE102017112039A1 (en) INTERRUPTIVE DISPLAY ON AN INDICATION
CN104980722B (en) A kind of data processing method, device and electronic equipment
DE112017003556T5 (en) INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
DE112017005980T5 (en) DISPLAY CONTROL DEVICE, DISPLAY CONTROL METHOD AND COMPUTER PROGRAM
CN105183538B (en) A kind of information processing method and electronic equipment
CN107257506A (en) Many picture special efficacy loading methods and device
CN114840092A (en) Method, device, equipment and storage medium for interacting with vehicle-mounted display equipment
DE102018123925A1 (en) Finger Identification for new touch gestures using capacitance hover patterns
US10824293B2 (en) Finger direction based holographic object interaction from a distance
DE102014118225A1 (en) Desktop gestures to mimic a mouse control
DE112020000573T5 (en) VIEWING REPRESENTATIONS OF ENVIRONMENTS

Legal Events

Date Code Title Description
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee