DE112017007791B4

DE112017007791B4 - CONTROL DEVICE FOR AN OPTICAL DEVICE, CONTROL METHOD FOR AN OPTICAL DEVICE, AND CONTROL PROGRAM FOR AN OPTICAL DEVICE

Info

Publication number: DE112017007791B4
Application number: DE112017007791.5T
Authority: DE
Inventors: Kento YAMAZAKI; Kohei OKAHARA; Shiori Arii; Mariko Ueno; Mikio Sasaki; Ichiro Furuki; Yoshiyuki Kato; Shingo Mine; Hironobu Abe
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2017-08-31
Filing date: 2017-08-31
Publication date: 2021-10-07
Anticipated expiration: 2037-09-01
Also published as: CN111052218B; JPWO2019043854A1; DE112017007791T5; CN111052218A; JP6456551B1; WO2019043854A1

Abstract

Steuereinrichtung für eine optische Vorrichtung (1, 1a), umfassend:eine Projektionsbilderzeugungseinheit (14), die eine optische Vorrichtung (202a) veranlasst, ein Projektionsbild basierend auf Projektionsbilddaten auf ein Ziel zu projizieren;eine Objekterkennungseinheit (11, 11a), die ein erstes Objekt erkennt, das zwischen der optischen Vorrichtung (202a) und dem Ziel vorhanden ist, basierend auf Realrauminformationen, die von einer Realrauminformation-Beschaffungseinrichtung (201) beschafft werden;eine Überlappungsbeurteilungseinheit (12), die beurteilt, ob sich ein in dem Projektionsbild enthaltenes Grafikbild in einem Überlappungszustand mit einem Schatten befindet oder nicht, als eine Region, in der das Projektionsbild aufgrund des ersten Objekts das Ziel nicht erreicht, basierend auf den Projektionsbilddaten und einem Ergebnis der Erkennung durch die Objekterkennungseinheit (11, 11a);eine Änderungseinheit (15), die die Projektionsbilddaten so ändert, dass das Grafikbild auf eine andere Region als die des Schattens projiziert wird, wenn das Grafikbild von der Überlappungsbeurteilungseinheit (12) beurteilt wird, im Überlappungszustand mit dem Schatten zu sein;eine Verwaltungseinheit (13), die der Projektionsbilderzeugungseinheit (14) die durch die Änderungseinheit (15) geänderten Projektionsbilddaten als die Projektionsbilddaten liefert, wenn das Grafikbild von der Überlappungsbeurteilungseinheit (12) beurteilt wird, im Überlappungszustand mit dem Schatten zu sein; undeine Speichereinheit (16), die Attribute eines ersten Bildes und eines zweiten Bildes speichert, wobeidas Grafikbild das erste Bild und das zweite Bild umfasst,wenn das erste Bild von der Überlappungsbeurteilungseinheit (12) beurteilt wird, im Überlappungszustand mit dem Schatten zu sein, berechnet die Änderungseinheit (15) basierend auf einem Zeichnungsalgorithmus und in einem dynamischen Modell, in dem Anziehungskraft und Abstoßungskraft unter einer Vielzahl von Punkten wirkt, die die Punkte sich einander nähern oder voneinander trennen lassen, stabile Positionen der Vielzahl von Punkten, so dass sie sich nicht überlappen, und ändert die Projektionsbilddaten, so dass das erste Bild basierend auf einem Ergebnis der Berechnung auf eine andere Region als eine Projektionsregion des zweiten Bildes und als der des Schattens projiziert wird,die Abstoßungskraft eine Kraft einschließt, die das erste Bild basierend auf einer Position des Schattens empfängt, und eine Kraft, die das erste Bild basierend auf einer Projektionsposition des zweiten Bildes empfängt, unddie Anziehungskraft eine Kraft ist, die das erste Bild basierend auf einer Position, auf die das erste Bild projiziert wird, empfängt, und die das erste Bild basierend auf einer Projektionsposition des zweiten Bildes empfängt, wenn das erste Bild und das zweite Bild ein gemeinsames Attribut aufweisen.A control device for an optical device (1, 1a) comprising: a projection image generation unit (14) that causes an optical device (202a) to project a projection image based on projection image data onto a target; an object recognition unit (11, 11a) that has a first Recognizes an object existing between the optical device (202a) and the target based on real space information acquired by a real space information acquirer (201); an overlap judging unit (12) that judges whether there is a graphic image included in the projection image is in an overlapping state with a shadow or not, as a region in which the projection image does not reach the target due to the first object based on the projection image data and a result of recognition by the object recognition unit (11, 11a); a changing unit (15) that changes the projection image data so that the graphic image is based on a region other than that of the shadow is projected when the graphic image is judged by the overlap judging unit (12) to be in the state of overlap with the shadow; a management unit (13) which provides the projection image generation unit (14) with the projection image data changed by the changing unit (15) as provides the projection image data when the graphic image is judged by the overlap judging unit (12) to be in the state of overlap with the shadow; and a storage unit (16) storing attributes of a first image and a second image, the graphic image including the first image and the second image when the first image is judged by the overlap judging unit (12) to be in the state of overlap with the shadow the changing unit (15) based on a drawing algorithm and in a dynamic model in which attraction and repulsion act under a plurality of points that make the points approach or separate from each other, stable positions of the plurality of points so that they do not differ overlap, and changes the projection image data so that the first image is projected on a region other than a projection region of the second image and that of the shadow based on a result of the calculation, the repulsive force includes a force that the first image based on a position of the shadow, and a power that the first bil d based on a projection position of the second image, and the attractive force is a force that receives the first image based on a position on which the first image is projected and that receives the first image based on a projection position of the second image when the first image and the second image have a common attribute.

Description

TECHNISCHES GEBIETTECHNICAL AREA

Die vorliegende Erfindung bezieht sich auf eine Steuereinrichtung für eine optische Vorrichtung, ein Steuerverfahren für eine optische Vorrichtung und ein Steuerprogramm für eine optische Vorrichtung zum Steuern einer optischen Vorrichtung, die ein Bild projiziert oder erfasst.The present invention relates to an optical device control device, an optical device control method, and an optical device control program for controlling an optical device that projects or captures an image.

STAND DER TECHNIKSTATE OF THE ART

In der Technik gibt es die Augmented-Reality-Technologie des Zeichnens elektronischer Informationen (CG: Computergrafik, engl.: Computer Graphics) als zusätzliche Informationen in Überlagerung mit dem realen Raum, basierend auf der Position und Haltung eines Benutzers, die von einer Kamera oder einem Sensor beschafft werden. Die Augmented-Reality-Technologie ist eine Technologie, die in der Lage ist, eine computererzeugte CG in einem dreidimensionalen Koordinatensystem in Überlagerung mit dem realen Raum zu zeichnen, indem die Position und Lage einer Bilderfassungsvorrichtung, wie einer Kamera, in einem beliebigen dreidimensionalen Koordinatensystem, basierend auf einem beispielsweise von der Kamera beschafften zweidimensionalen Bild bestimmt werden.In engineering, there is augmented reality technology of drawing electronic information (CG: computer graphics) as additional information superimposed on real space, based on the position and posture of a user, as viewed by a camera or a sensor. Augmented Reality technology is a technology that is able to draw a computer-generated CG in a three-dimensional coordinate system in superposition with real space by mapping the position and location of an image capture device, such as a camera, in any three-dimensional coordinate system, can be determined based on a two-dimensional image obtained, for example, by the camera.

Ein Projektor ist eine Einrichtung, die ein Bild anzeigt, indem aus einer Projektionslinse austretendes Licht auf ein Objekt aufgebracht wird, und bekanntlich durch Verwendung eines Modells berechenbar ist, das grundsätzlich einer Kamera ähnlich ist, mit der Ausnahme, dass die Strahlrichtung des Lichts entgegengesetzt zu der in der Kamera ist. Somit kann eine computererzeugte CG in einem dreidimensionalen Koordinatensystem auf eine beliebige Position im realen Raum projiziert werden, indem die und Lage eines Projektors in einem beliebigen dreidimensionalen Koordinatensystem bestimmt werden.A projector is a device that displays an image by applying light emerging from a projection lens to an object, and is known to be calculable using a model that is basically similar to a camera, with the exception that the direction of the light is opposite to who is in the camera. Thus, a computer-generated CG can be projected in a three-dimensional coordinate system onto any position in real space by determining the position and position of a projector in any three-dimensional coordinate system.

Die Augmented-Reality-Technologie konzentriert sich im Allgemeinen auf ein Problem der „geometrischen Konsistenz“, z.B. wo eine CG in Überlagerung gezeichnet werden soll. Andererseits wird die Technologie, die sich darauf konzentriert, wie die zu überlagernde CG verwaltet werden soll, um Informationen an den Benutzer zu übermitteln, als Ansichtsverwaltung bezeichnet (siehe z.B. Nicht-Patent-Referenz 1). Darüber hinaus wurde vorgeschlagen, dass drei Elemente: „die Überlappungsmenge zwischen Annotations- bzw. Anmerkungsinformationen und Annotationsinformationen oder zwischen einer Annotation und einem Objekt als Ziel der Erklärung“, „Abstand zwischen Annotationsinformationen und annotierten bzw. kommentierten Informationen“ und „Bewegungsabstand von Annotationsinformationen in einem Zeitsystem“ berücksichtigt werden sollten, wenn Annotationsinformationen mittels einer CG unter Verwendung der Augmented-Reality-Technologie gezeigt werden (siehe z.B. Nicht-Patentreferenz 2).Augmented Reality technology generally focuses on a problem of "geometric consistency", e.g. where a CG should be drawn in overlay. On the other hand, the technology that focuses on how to manage the CG to be overlaid in order to convey information to the user is called view management (see e.g. Non-Patent Reference 1). In addition, it was suggested that three elements: "the amount of overlap between annotation information and annotation information or between an annotation and an object as the target of the explanation", "distance between annotation information and annotation information" and "movement distance of annotation information in a time system ”should be taken into account when showing annotation information by means of a CG using augmented reality technology (see e.g. non-patent reference 2).

Patentreferenz 1 schlägt eine Anzeigeeinrichtung vor, umfassend eine Anzeigeabschirmungsobjekt-Erkennungseinheit, die ein Objekt (lichtabschirmendes bzw. Licht verdeckendes Objekt) erkennt, wenn ein Objekt zwischen einem Betrachter (Benutzer) und einer Anzeigeeinrichtung wie z. B. einer Anzeige bzw. einem Display vorhanden ist, und eine Anzeige-Layout-Einheit, die das Layout von Informationen basierend auf dem Ergebnis der Erkennung durch die Anzeigeabschirmungsobjekt-Erkennungseinheit bestimmt.Patent reference 1 proposes a display device comprising a display shielding object recognition unit which recognizes an object (light shielding object) when an object is between a viewer (user) and a display device such as a monitor. B. a display is provided, and a display layout unit that determines the layout of information based on the result of recognition by the display shielding object recognition unit.

Patentreferenz 2 schlägt ein Fernindikationssystem vor, das ein Fotografiermittel beinhaltet, das ein Projektionsziel fotografiert, und ein Annotationseinstellmittel, das einen Anzeigemodus von Annotationsinformationen in Abhängigkeit von einem Fotografierbereich des Fotografiermittels einstellt.Patent Reference 2 proposes a remote indication system including photographing means that photographs a projection target and annotation setting means that sets a display mode of annotation information depending on a photographing range of the photographing means.

Patentreferenz 3 schlägt eine Bildprojektionseinrichtung vor, die ein Projektionsmittel beinhaltet, das ein von einer externen Einrichtung eingegebenes Annotationsbild auf einen Gegenstand projiziert, und ein Steuermittel, das eine Bewegungssteuerung des auf den Gegenstand projizierten Annotationsbildes durchführt, basierend auf Informationen, die durch Fotografieren, durch ein Fotomittel, des Gegenstands, auf den das Annotationsbild durch das Projektionsmittel projiziert wird, erhalten wurden.Patent reference 3 proposes an image projection device including a projection means that projects an annotation image input from an external device onto an object, and a control means that performs motion control of the annotation image projected on the object based on information obtained by photographing by a Photo means of the object on which the annotation image is projected by the projection means.

Patentreferenz 4 schlägt ein System vor mit einem Projektorkamerasystem, das einen Computer umfasst, der ein Bild an einen Projektor überträgt, wobei der Projektor das Bild auf eine Leinwand projiziert, einer Stereokameraeinheit, die ungefähr in der Ebene der Leinwand oder am Projektor angebracht und auf den Vortragenden gerichtet ist und mit dem Computer kommuniziert, und einer Software, die die Stereokameradaten interpretiert, um Vorder- und Hintergrundmerkmale zu unterscheiden und zu manipulieren.Patent reference 4 proposes a system with a projector camera system comprising a computer that transmits an image to a projector, the projector projecting the image onto a screen, a stereo camera unit mounted approximately in the plane of the screen or on the projector and on the Presenter is directed and communicates with the computer, and software that interprets the stereo camera data to distinguish and manipulate foreground and background features.

Patentreferenz 5 schlägt ein projizierte Ein- und Ausgabegeräte vor, die sich an eine Desktop-Umgebung anpassen, indem sie Objekte in der Desktop-Umgebung erfassen und das projizierte Licht als Reaktion auf die erfassten Objekte verändern.Patent reference 5 suggests projected input and output devices that adapt to a desktop environment by sensing objects in the desktop environment and changing the projected light in response to the objects being sensed.

Patentreferenz 6 schlägt einen Projektor vor, der einen Projektionsabschnitt enthält, der so beschaffen ist, dass er ein Projektionsbild auf eine Projektionsfläche mit einem Zielteil projiziert, einen Erfassungsabschnitt, der so beschaffen ist, dass er einen Abstand von einer vorbestimmten Position zu dem Zielteil erfasst, und einen Steuerabschnitt, der so beschaffen ist, dass er einen auf die Projektionsfläche zu projizierenden Bereich, der nicht der Zielteil ist, auf der Grundlage des so erfassten Abstands als Teilbereich aus dem Projektionsbild herausstellt und einen Anzeigezustand des Projektionsbildes so ändert, dass der eingestellte Teilbereich maskiert.Patent Reference 6 proposes a projector including a projection section adapted to project a projection image on a projection surface with a target part, a detection section which is adapted to detect a distance from a predetermined position to the target part, and a control section adapted to detect an area to be projected on the screen other than the target part based on the distance thus detected as Subarea emerges from the projection image and changes a display state of the projection image in such a way that the set subarea is masked.

Patentreferenz 7 schlägt ein Artikelinformationsanzeigesystem vor, bei dem die elektronische Artikelinformation eines Artikels dem Artikel zugeordnet und einem Beobachter angezeigt wird.Patent reference 7 proposes an article information display system in which the electronic article information of an article is associated with the article and displayed to an observer.

Patentreferenz 8 schlägt einen Projektor vor, der von einer Lichtquelle emittiertes Licht moduliert und das modulierte Bildlicht auf eine Projektionsfläche projiziert.Patent reference 8 proposes a projector which modulates light emitted by a light source and projects the modulated image light onto a projection surface.

Patentreferenz 9 schlägt vor: Eine Bildanzeigeeinheit, die ein Bild auf der Grundlage von Bilddaten anzeigt; eine Erfassungseinheit, die eine Position erfasst, die der Spitze eines Anzeigeelements entspricht, das einen Teil des Bildes anzeigt, das von der Bildanzeigeeinheit angezeigt wurde; eine Extraktionseinheit, die Bilddaten für einen vorbestimmten Bereich einschließlich der der Spitze entsprechenden Position aus den Bilddaten extrahiert; und eine Steuereinheit, die so steuert, dass ein Fenster, das ein Bild anzeigt, das auf den von der Extraktionseinheit extrahierten Bilddaten basiert, auf der Bildanzeigeeinheit angezeigt wird.Patent Reference 9 proposes: an image display unit that displays an image based on image data; a detection unit that detects a position corresponding to the tip of a display element displaying part of the image displayed by the image display unit; an extraction unit that extracts image data for a predetermined area including the position corresponding to the tip from the image data; and a control unit that controls so that a window displaying an image based on the image data extracted by the extraction unit is displayed on the image display unit.

Patentreferenz 10 schlägt einen Bildprozessor vor, der Folgendes umfasst: einen Erfasser; einen Prädiktor; einen Korrektor. Der Erfasser erfasst Informationen über die Form einer Projektionsfläche, auf die ein erstes Bild projiziert wird, Informationen über die Position eines Standpunktes zur Beobachtung des ersten auf die Projektionsfläche projizierten Bildes und Informationen über die Position eines Projektionspunktes zur Projektion des ersten Bildes. Der Prädiktor sagt einen sichtbaren Bereich voraus. Der Korrektor korrigiert ein zweites Bild, um das erste Bild zu erzeugen, wobei das zweite Bild innerhalb des sichtbaren Bereichs gesetzt wird.Patent reference 10 suggests an image processor comprising: an acquirer; a predictor; a proofreader. The detector captures information on the shape of a projection surface onto which a first image is projected, information on the position of a point of view for observing the first image projected onto the projection surface and information on the position of a projection point for projection of the first image. The predictor predicts a visible area. The corrector corrects a second image to produce the first image, with the second image being placed within the viewable area.

REFERENZEN ZUM STAND DER TECHNIKPRIOR ART REFERENCES

PATENTLITERATURPATENT LITERATURE

Patent Reference 1: Japanese Patent Application Number: JP 3 874 737 B2 (e.g. paragraphs 0020 to 0029)
Patent Reference 2: Japanese Patent Application Number: JP 5 092 459 B2 (e.g. paragraphs 0037 to 0048 and 0053 to 0061)
Patent Reference 3: Japanese Patent Application Publication Number: JP 2008 -158 419 A (e.g. paragraphs 0031 to 0041)
Patent Reference 4: US Patent Application Publication Number: US 2009/0 168 027 A1
Patent Reference 5: US Patent Publication Number: US 9 304 599 B2
Patent Reference 6: US Patent Application Publication Number: US 2015/0 268 537 A1
Patent Reference 7: Japanese Patent Application Publication Number: JP 2005 - 156 591 A
Patent Reference 8: US Patent Application Publication Number: US 2013/0 194 554 A1
Patent Reference 9: US Patent Application Publication Number: US 2012/0 098 852 A1
Patent Reference 10: US Patent Application Publication Number: US 2015/0 195 479 A1 NON-PATENT REFERENCE
Non-patent reference 1: Takeshi Kurata, Nobuchika Sakata, Koji Makita, "Augmented Reality (AR): 11. Perspective 3: AR Interface", IPSJ Magazine, Vol. 51, No. 4, Apr. 2010, pp. 425-430
Non-patent reference 2: Ronald Azuma, Chris Furmanski, "Evaluating Label Placement for Augmented Reality View Management", IEEE and ACM International Symposium on Mixed and Augmented Reality (ISMAR 2003), (Tokyo 7-10 October 2003), pp. 66-75

ABRISS DER ERFINDUNGSUMMARY OF THE INVENTION

DURCH DIE ERFINDUNG ZU LÖSENDES PROBLEMPROBLEM TO BE SOLVED BY THE INVENTION

Wenn jedoch ein Objekt (lichtabschirmendes Objekt) zwischen der optischen Vorrichtung (z.B. Projektor) und dem Projektionsziel vorhanden ist, bildet sich ein Schatten des Objekts (lichtabschirmendes oder lichtabdeckendes Objekt) auf dem Projektionsziel, und es besteht daher das Problem, dass dem Betrachter keine beabsichtigten Informationen zur Verfügung gestellt werden können, wie beispielsweise in Fällen, in denen eine CG nicht auf eine beabsichtigte Position projiziert werden kann.However, when an object (light-shielding object) exists between the optical device (e.g., projector) and the projection target, a shadow of the object (light-shielding or light-covering object) is formed on the projection target, and therefore there is a problem that the viewer does not intend Information can be made available, such as in cases where a CG cannot be projected onto an intended location.

So betrachtet beispielsweise die in der Patentreferenz 1 beschriebene Einrichtung nur ein Objekt zwischen dem Betrachter und einer Einrichtung wie einem Monitor, und nicht ein Objekt, das zwischen einer Anzeigeeinrichtung vom Projektionstyp wie einem Projektor und dem Projektionsziel vorhanden ist. Weiterhin weist die Patentreferenz 1 keine Beschreibung auf, wie die Beziehung zwischen Computergrafiken (CGs) gesteuert werden soll, wenn es eine Vielzahl von CGs gibt.For example, the device described in Patent Reference 1 regards only an object between the viewer and a device such as a monitor, and not an object existing between a projection type display device such as a projector and the projection target. Furthermore, Patent Reference 1 has no description of how to control the relationship between computer graphics (CGs) when there are a plurality of CGs.

Während die in der Patentreferenz 2 beschriebene Einrichtung die Projektionsbedingung von CGs anpasst, konzentriert sich die Patentreferenz 2 ausschließlich auf eine hinzuzufügende CG und weist keine Beschreibung über einen Fall auf, in dem es ursprünglich eine Vielzahl von CGs gibt. Während die in der Patentreferenz 3 beschriebene Einrichtung eine Vielzahl von CGs bewegt, besteht eine Möglichkeit, dass verwandte CGs je nach Art der Bewegung der CGs weit auseinander platziert werden.While the device described in patent reference 2 adjusts the projection condition of CGs, patent reference 2 focuses refers only to a CG to be added and has no description about a case where there are a plurality of CGs originally. While the device described in Patent Reference 3 moves a plurality of CGs, there is a possibility that related CGs are placed far apart depending on how the CGs are moved.

Ziel der vorliegenden Erfindung, die zur Lösung der oben beschriebenen Probleme gemacht wurde, ist es, eine Steuereinrichtung für eine optische Vorrichtung, ein Steuerverfahren für eine optische Vorrichtung und ein Steuerprogramm für eine optische Vorrichtung bereitzustellen, mit denen ein Grafikbild in einer geeigneten Region angezeigt werden kann, auch wenn ein Objekt (lichtabschirmendes Objekt) zwischen der optischen Vorrichtung und dem Ziel vorhanden ist.An object of the present invention, made to solve the above-described problems, is to provide an optical device control device, an optical device control method, and an optical device control program with which a graphic image is displayed in an appropriate region can even if an object (light shielding object) exists between the optical device and the target.

MITTEL ZUM LÖSEN DES PROBLEMSMEANS TO SOLVE THE PROBLEM

Eine Steuereinrichtung für eine optische Vorrichtung gemäß der vorliegenden Erfindung umfasst: eine Projektionsbilderzeugungseinheit, die eine optische Vorrichtung veranlasst, ein Projektionsbild basierend auf Projektionsbilddaten auf ein Ziel zu projizieren; eine Objekterkennungseinheit, die ein zwischen der optischen Vorrichtung und dem Ziel vorhandenes erstes Objekt basierend auf durch eine Realrauminformation-Beschaffungseinrichtung beschafften Realrauminformationen erkennt; eine Überlappungsbeurteilungseinheit, die beurteilt, ob sich ein im Projektionsbild enthaltenes Grafikbild in einem Überlappungszustand mit einem Schatten als eine Region befindet oder nicht, in der das Projektionsbild aufgrund des ersten Objekts das Ziel nicht erreicht, basierend auf den Projektionsbilddaten und einem Ergebnis der Erkennung durch die Objekterkennungseinheit; eine Änderungseinheit, die die Projektionsbilddaten so ändert, dass das Grafikbild auf eine andere Region als den Schatten projiziert wird, wenn das Grafikbild von der Überlappungsbeurteilungseinheit beurteilt wird, im Überlappungszustand mit dem Schatten zu sein; und eine Verwaltungseinheit, die die Projektionsbilderzeugungseinheit mit den Projektionsbilddaten bereitstellt, die durch die Änderungseinheit als die Projektionsbilddaten geändert werden, wenn das Grafikbild von der Überlappungsbeurteilungseinheit beurteilt wird, in einem Überlappungszustand mit dem Schatten zu sein.An optical device control device according to the present invention includes: a projection image generation unit that causes an optical device to project a projection image based on projection image data on a target; an object recognition unit that recognizes a first object existing between the optical device and the target based on real space information acquired by real space information acquiring means; an overlap judging unit that judges whether or not a graphic image included in the projection image is in an overlapping state with a shadow as a region where the projection image due to the first object does not reach the destination, based on the projection image data and a result of recognition by the Object recognition unit; a changing unit that changes the projection image data so that the graphic image is projected onto a region other than the shadow when the graphic image is judged to be in the state of overlap with the shadow by the overlap judging unit; and a management unit that provides the projection image generation unit with the projection image data changed by the change unit as the projection image data when the graphic image is judged to be in an overlapping state with the shadow by the overlap judging unit.

Ein Steuerverfahren für eine optische Vorrichtung gemäß der vorliegenden Erfindung umfasst: einen Projektionsbilderzeugungsschritt des Veranlassens der optischen Vorrichtung, ein Projektionsbild basierend auf Projektionsbilddaten auf ein Ziel zu projizieren; einen Objekterkennungsschritt des Erkennens eines ersten Objekts, das zwischen der optischen Vorrichtung und dem Ziel vorhanden ist, basierend auf Realrauminformationen, die von einer Realrauminformation-Beschaffungseinrichtung beschafft werden; einen Überlappungsbeurteilungsschritt des Beurteilens, ob sich ein in dem Projektionsbild enthaltenes Grafikbild in einem Überlappungszustand mit einem Schatten als eine Region befindet oder nicht, in der das Projektionsbild aufgrund des ersten Objekts das Ziel nicht erreicht, basierend auf den Projektionsbilddaten und einem Ergebnis der Erkennung durch den Objekterkennungsschritt; einen Änderungsschritt des Änderns der Projektionsbilddaten, so dass das Grafikbild auf eine andere Region als die des Schattens projiziert wird, wenn das Grafikbild durch den Überlappungsbeurteilungsschritt beurteilt wird, im Überlappungszustand mit dem Schatten zu sein; und einen Verwaltungsschritt des Bereitstellens des Projektionsbilderzeugungsschritts mit den durch die Änderungseinheit geänderten Projektionsbilddaten als die Projektionsbilddaten, wenn das Grafikbild von dem Überlappungsbeurteilungsschritt beurteilt wird, im Überlappungszustand mit dem Schatten zu sein.An optical device control method according to the present invention includes: a projection image forming step of causing the optical device to project a projection image based on projection image data on a target; an object recognizing step of recognizing a first object existing between the optical device and the target based on real space information acquired from real space information acquiring means; an overlap judging step of judging whether or not a graphic image included in the projection image is in an overlapping state with a shadow as a region where the projection image due to the first object does not reach the destination based on the projection image data and a result of recognition by the Object detection step; a changing step of changing the projection image data so that the graphic image is projected on a region other than that of the shadow when the graphic image is judged to be in the state of overlap with the shadow by the overlap judging step; and a management step of providing the projection image generation step with the projection image data changed by the changing unit as the projection image data when the graphic image is judged to be in the state of overlap with the shadow by the overlap judging step.

WIRKUNG DER ERFINDUNGEFFECT OF THE INVENTION

Gemäß der vorliegenden Erfindung ist es möglich, selbst wenn ein Objekt (lichtabschirmendes Objekt) zwischen der optischen Vorrichtung und dem Ziel vorhanden ist, ein Grafikbild in einer zugewiesenen Region anzuzeigen und somit ist es möglich, dem Betrachter die beabsichtigten Informationen bereitzustellen.According to the present invention, even when there is an object (light shielding object) between the optical device and the target, it is possible to display a graphic image in an assigned region, and thus it is possible to provide the viewer with the intended information.

FigurenlisteFigure list

1 Fig. 13 is a functional block diagram schematically showing a configuration of an optical device controller according to the first embodiment of the present invention.
2 Fig. 13 is a diagram showing an example of a hardware configuration of the optical device controller according to the first embodiment.
3 Fig. 13 is a diagram for explaining an operation of the optical device controller according to the first embodiment.
4 (a) and 4 (b) are diagrams for explaining an operation of the optical device controller according to the first embodiment.
5 (a) and 5 (b) are diagrams for explaining an operation of the optical device controller according to the first embodiment.
6 (a) until 6 (c) are diagrams for explaining an operation of the optical device controller according to the first embodiment.
7 (a) until 7 (d) are diagrams for explaining an operation of the optical device controller according to the first embodiment.
8th Fig. 13 is a flowchart showing an operation of the optical device controller according to the first embodiment.
9 Fig. 13 is a flowchart showing an example of an object recognition process in the first embodiment.
10 Fig. 13 is a flowchart showing an example of an overlap judgment process in the first embodiment.
11 Fig. 13 is a flowchart showing an example of a CG moving process in the first embodiment.
12th Fig. 13 is a functional block diagram schematically showing a configuration of an optical device controller according to a second embodiment of the present invention.
13th Fig. 13 is a diagram for explaining an operation of the optical device controller according to the second embodiment.
14th Fig. 13 is a flowchart showing an example of an object recognition process in the second embodiment.

ART UND WEISE ZUM AUSFÜHREN DER ERFINDUNGMODE FOR CARRYING OUT THE INVENTION

Eine Steuereinrichtung für eine optische Vorrichtung, ein Steuerverfahren für eine optische Vorrichtung und ein Steuerprogramm für eine optische Vorrichtung gemäß jeder Ausführungsform der vorliegenden Erfindung werden im Folgenden unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Die folgenden Ausführungsformen sind nur Beispiele und eine Vielzahl von Modifikationen sind innerhalb des Schutzbereichs der vorliegenden Erfindung möglich.An optical device control device, an optical device control method, and an optical device control program according to each embodiment of the present invention will be described below with reference to the accompanying drawings. The following embodiments are only examples, and a variety of modifications are possible within the scope of the present invention.

Erste AusführungsformFirst embodiment

Konfigurationconfiguration

1 ist ein funktionales Blockschaltbild, das schematisch eine Konfiguration einer Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform der vorliegenden Erfindung zeigt. Die Steuereinrichtung für eine optische Vorrichtung 1 ist eine Einrichtung, die in der Lage ist, ein Steuerverfahren für eine optische Vorrichtung gemäß der ersten Ausführungsform auszuführen. Ferner ist die Steuereinrichtung für eine optische Vorrichtung 1 eine Einrichtung, die in der Lage ist, ein Steuerprogramm für eine optische Vorrichtung gemäß der ersten Ausführungsform auszuführen. 1 Fig. 13 is a functional block diagram schematically showing a configuration of a controller for an optical device 1 according to the first embodiment of the present invention. The control device for an optical device 1 is a device capable of executing an optical device control method according to the first embodiment. Furthermore, the control device is for an optical device 1 means capable of executing an optical device control program according to the first embodiment.

Wie in 1 dargestellt, ist die Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform mit einer Realrauminformation-Beschaffungseinrichtung 201 als eine Einrichtung, die Informationen über den Realraum beschafft, wie beispielsweise eine Kamera 201a oder ein Sensor 201b, und einer Bildprojektionseinrichtung 202 als eine Einrichtung, die ein Bild projiziert, wie beispielsweise ein Projektor 202a, verbunden. Die Realrauminformation-Beschaffungseinrichtung 201 und die Bildprojektionseinrichtung 202 können entweder separate Einrichtungen oder eine integrierte Einrichtung sein.As in 1 shown is the control device for an optical device 1 according to the first embodiment with a real space information acquisition device 201 as a device that acquires information about real space, such as a camera 201a or a sensor 201b , and an image projection device 202 as a device that projects an image such as a projector 202a , tied together. The real space information acquisition facility 201 and the image projection device 202 can be either separate facilities or an integrated facility.

Wie in 1 dargestellt, umfasst die Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform eine Objekterkennungseinheit 11, eine Überlappungsbeurteilungseinheit 12, eine Attributverwaltungseinheit 13 als Verwaltungseinheit, eine Projektionsbilderzeugungseinheit 14, eine Layout-Berechnungseinheit 15 als Änderungseinheit und eine Speichereinheit 16.As in 1 shown comprises the control device for an optical device 1 according to the first embodiment, an object recognition unit 11 , an overlap judging unit 12th , an attribute management unit 13th as a management unit, a projection image generation unit 14th , a layout calculation unit 15th as a change unit and a storage unit 16 .

Die Realrauminformation-Beschaffungseinrichtung 201 beschafft Realrauminformationen G1 unter Verwendung der Kamera 201a, des Sensors 201b oder ähnlichem. Die Objekterkennungseinheit 11 empfängt die Realrauminformation G1 von der Realrauminformation-Beschaffungseinrichtung 201 und erkennt ein Objekt (z.B. eine Hand als Objekt 100 in 3), das zwischen einer optischen Vorrichtung (z.B. dem Projektor 202a) und einem Projektionsziel (Ziel) vorhanden ist, basierend auf der Realrauminformation G1. Die Objekterkennungseinheit 11 sendet die erkannte Objektinformation G2 bezüglich des erkannten Objekts 100 an die Überlappungsbeurteilungseinheit 12.The real space information acquisition facility 201 procures real space information G1 using the camera 201a , of the sensor 201b or similar. The object recognition unit 11 receives the real space information G1 from the real space information acquirer 201 and recognizes an object (e.g. a hand as an object 100 in 3 ) between an optical device (e.g. the projector 202a ) and a projection target (target) is present based on the real space information G1 . The object recognition unit 11 sends the recognized object information G2 with respect to the detected object 100 to the overlap judging unit 12th .

Die Überlappungsbeurteilungseinheit 12 beurteilt, ob sich eine in einem Projektionsbild enthaltene CG 104 in einem Überlappungszustand befindet oder nicht, in dem sich die CG 104 mit einem Schatten als einer Region überlappt, in der das vom Projektor 202a emittierte Licht aufgrund des Objekts 100 (d.h. der Schattenregion) nicht das Projektionsziel erreicht, (d.h. eine Überlappungsbeurteilung vornimmt), basierend auf der von der Objekterkennungseinheit 11 empfangenen erkannten Objektinformation G2 und der von der Attributverwaltungseinheit 13 geladenen Information G3 über die CG (die CG 104 als ein später zu erklärendes Grafikbild).The overlap judging unit 12th judges whether there is a CG contained in a projection image 104 is in an overlapping state or not in which the CG 104 overlaps with a shadow as a region where that from the projector 202a emitted light due to the object 100 (ie, the shadow region) does not reach the projection target (ie, makes an overlap judgment) based on that from the object recognition unit 11 received recognized object information G2 and that from the attribute management unit 13th loaded information G3 about the CG (the CG 104 as a graphic image to be explained later).

Die Überlappungsbeurteilungseinheit 12 beurteilt in der Überlappungsbeurteilung, ob das Objekt 100 jede CG 104 abschirmt oder nicht. Ein Ergebnis G4, das ein Ergebnis der durch die Überlappungsbeurteilungseinheit 12 vorgenommenen Überlappungsbeurteilung ist, wird an die Attributverwaltungseinheit 13 gesendet. Übrigens, während die Überlappungsbeurteilungseinheit 12 beurteilen kann, dass sich eine CG 104 im Überlappungszustand befindet, wenn es einen Teil gibt, bei dem die im Projektionsbild enthaltene CG 104 mit einem Schatten überlappt, kann die Überlappungsbeurteilungseinheit 12 auch beurteilen, dass sich die CG 104 im Überlappungszustand befindet, wenn die Fläche des Teils, bei dem die im Projektionsbild enthaltene CG 104 mit einem Schatten überlappt, größer als oder gleich einem bestimmten Verhältnis in Bezug auf die Fläche der CG 104 ist.The overlap judging unit 12th judges in the overlap judgment whether the object 100 any CG 104 shields or not. A result G4 that is a result of the overlap judging unit 12th made Overlap assessment is sent to the attribute management unit 13th sent. Incidentally, during the overlap judging unit 12th can judge that a CG 104 is in the overlapping state when there is a part where the CG included in the projection image 104 overlapped with a shadow, the overlap judging unit may 12th also judge that the CG 104 is in the overlapping state when the area of the part where the CG contained in the projection image 104 overlapped with a shadow, greater than or equal to a certain ratio with respect to the area of the CG 104 is.

Die Attributverwaltungseinheit 13 ist eine Verwaltungseinheit, die die Informationen (Datensatzinhalt), die in der Speichereinheit 16 gespeichert sind, einliest, Informationen in die Speichereinheit 16 schreibt oder den Datensatzinhalt neu schreibt. Die Layout-Berechnungseinheit 15 ist eine Änderungseinheit, die die Anordnungsposition der CG 104 so ändert, dass die CG 104 auf eine andere Region als den Schatten des Objekts 100 projiziert wird. Die Layout-Berechnungseinheit 15 empfängt die Information G3 über die CG 104 und das Ergebnis G4 der Überlappungsbeurteilung von der Attributverwaltungseinheit 13 und berechnet Neuanordnungskoordinaten 16a der CG 104, basierend auf der empfangenen Information G3 über die CG 104 und dem empfangenen Ergebnis G4 der Überlappungsbeurteilung.The attribute management unit 13th is a management unit that stores the information (record content) in the storage unit 16 is stored, reads information in the storage unit 16 writes or rewrites the data record content. The layout calculation unit 15th is a changing unit that changes the arrangement position of the CG 104 so changes that the CG 104 to a region other than the object's shadow 100 is projected. The layout calculation unit 15th receives the information G3 about the CG 104 and the result G4 of the overlap judgment from the attribute management unit 13th and computes rearrangement coordinates 16a the CG 104 based on the information received G3 about the CG 104 and the received overlap judgment result G4.

Die Information G5 einschließlich der von der Layout-Berechnungseinheit 15 berechneten Neuanordnungskoordinaten 16a der CG 104 wird an die Attributverwaltungseinheit 13 gesendet. Die Attributverwaltungseinheit 13 sieht die Projektionsbilderzeugungseinheit 14 mit der Information G3 über die CG 104 und der Information G5 einschließlich der von der Layout-Berechnungseinheit 15 berechneten Neuanordnungskoordinaten 16a der CG 104 vor.The information G5 including that from the layout calculation unit 15th calculated rearrangement coordinates 16a the CG 104 is sent to the attribute management unit 13th sent. The attribute management unit 13th sees the projection image generation unit 14th with the information G3 about the CG 104 and the information G5 including that from the layout calculation unit 15th calculated rearrangement coordinates 16a the CG 104 before.

Die Projektionsbilderzeugungseinheit 14 erzeugt die Projektionsbilddaten G6 basierend auf der Information G3 über die CG 104 und der Information G5 einschließlich der von der Attributverwaltungseinheit 13 empfangenen Neuanordnungskoordinaten 16a der CG 104 und sendet die Projektionsbilddaten G6 an die Bildprojektionseinrichtung 202. Die Bildprojektionseinrichtung 202 empfängt die Projektionsbilddaten G6 von der Projektionsbilderzeugungseinheit 14 und projiziert ein Projektionsbild einschließlich der CG 104 (Projektionsbild 102, das später erläutert wird).The projection image generation unit 14th generates the projection image data G6 based on the information G3 about the CG 104 and the information G5 including that from the attribute management unit 13th received rearrangement coordinates 16a the CG 104 and sends the projection image data G6 to the image projection device 202 . The image projection device 202 receives the projection image data G6 from the projection image generation unit 14th and projects a projection image including the CG 104 (Projection image 102 which will be explained later).

Die Speichereinheit 16 ist ein Aufnahmemedium oder eine Speichereinrichtung, die Informationen über die CG 104 speichert. Wie in 1 dargestellt, speichert die Speichereinheit 16 zum Beispiel die Neuanordnungskoordinaten 16a, eine Hierarchie 16b, den Bereich 16c, die Anordnungskoordinaten 16d und ein Bewegungsflag 16e der CG 104.The storage unit 16 is a recording medium or storage device that stores information about the CG 104 saves. As in 1 shown, the storage unit stores 16 for example the rearrangement coordinates 16a , a hierarchy 16b , the area 16c , the arrangement coordinates 16d and a movement flag 16e the CG 104 .

2 ist ein Diagramm, das ein Beispiel einer Hardware-Konfiguration der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform zeigt. Die Steuereinrichtung für eine optische Vorrichtung 1 kann ein Computer sein. Die Steuereinrichtung für eine optische Vorrichtung 1 umfasst eine CPU (zentrale Verarbeitungseinheit) 21 als Prozessor, eine GPU (Grafik-Verarbeitungseinheit) 22, einen Hauptarbeitsspeicher 23, eine Speichereinheit 24 und einen Bus 25. 2 Fig. 13 is a diagram showing an example of a hardware configuration of the optical device controller 1 according to the first embodiment shows. The control device for an optical device 1 can be a computer. The control device for an optical device 1 includes a CPU (central processing unit) 21 as a processor, a GPU (graphics processing unit) 22nd , a main memory 23 , a storage unit 24 and a bus 25th .

Wie ferner in 2 dargestellt, sind die Kamera 201a als Realrauminformation-Beschaffungseinrichtung 201, der Sensor 201b als Realrauminformation-Beschaffungseinrichtung 201 und der Projektor 202a als Bildprojektionseinrichtung 202 mit der Steuereinrichtung für eine optische Vorrichtung 1 verbunden. Die Realrauminformation-Beschaffungseinrichtung 201 kann auch durch nur eine der Kamera 201a und des Sensors 201b implementiert sein. Weiterhin kann die Realrauminformation-Beschaffungseinrichtung 201 auch durch eine Vielzahl von Kameras 201a implementiert werden, die Bilder des Ziels von verschiedenen Positionen aus aufnehmen, oder durch eine Vielzahl von Sensoren 201b, die das Ziel von verschiedenen Positionen aus erkennen.As also in 2 Shown are the camera 201a as a real space information acquisition facility 201 , the sensor 201b as a real space information acquisition facility 201 and the projector 202a as an image projection device 202 with the control device for an optical device 1 tied together. The real space information acquisition facility 201 can also through just one of the camera 201a and the sensor 201b be implemented. Furthermore, the real space information acquisition device 201 also through a variety of cameras 201a that take pictures of the target from different positions, or by a variety of sensors 201b that recognize the target from different positions.

Die CPU 21 ist eine arithmetische Einrichtung zur Ausführung des gesamten Betriebs der Steuereinrichtung für eine optische Vorrichtung 1. Die GPU 22 ist eine arithmetische Einrichtung, hauptsächlich zur Ausführung von Bilddatenverarbeitung. Der Hauptarbeitsspeicher 23 ist eine Speichereinrichtung, auf der das Löschen und Umschreiben von Daten durch die Hardware der Steuereinrichtung für eine optische Vorrichtung 1 durchgeführt werden kann. Obwohl es sich um einen flüchtigen Speicher handelt, arbeitet der Hauptarbeitsspeicher 23 mit höherer Geschwindigkeit als der Speicher 24, und somit wird der Hauptarbeitsspeicher 23 zum Speichern von verwendeten Daten oder Daten, die unmittelbar danach verwendet werden müssen, verwendet.The CPU 21 is an arithmetic device for performing the entire operation of the control device for an optical device 1 . The GPU 22nd is an arithmetic device mainly for performing image data processing. The main memory 23 is a storage device on which the erasure and rewriting of data by the hardware of the optical device control device 1 can be carried out. Although it is volatile memory, the main memory works 23 at a higher speed than the memory 24 , and thus becomes the main memory 23 used to store used data or data that must be used immediately afterwards.

Das Steuerprogramm für eine optische Vorrichtung wird durch die CPU 21 ausgeführt. Die in 1 dargestellte Objekterkennungseinheit 11, die Überlappungsbeurteilungseinheit 12, die Attributverwaltungseinheit 13, die Projektionsbilderzeugungseinheit 14 und die Layout-Berechnungseinheit 15 können ganz oder zum Teil durch die Ausführung des Steuerprogramms für eine optische Vorrichtung durch die CPU 21 implementiert werden.The control program for an optical device is executed by the CPU 21 executed. In the 1 object recognition unit shown 11 , the overlap judging unit 12th , the attribute management unit 13th , the projection image generation unit 14th and the layout calculation unit 15th can be obtained in whole or in part by the execution of the optical device control program by the CPU 21 implemented.

Der Speicher 24 ist eine Speichereinrichtung, auf der das Löschen und Umschreiben von Daten durch die Hardware der Steuereinrichtung für eine optische Vorrichtung 1 durchgeführt werden kann und die der Speichereinheit 16 in 1 entspricht. Notwendige Informationen im Steuerprogramm für eine optische Vorrichtung, die in diesem Speicher gespeichert sind, werden in den Hauptarbeitsspeicher 23 expandiert und durch die CPU 21 ausgeführt. Der Bus 25 ist ein Datenübertragungspfad zum Datenaustausch.The memory 24 is a storage device on which the erasure and rewriting of data by the hardware of the optical device control device 1 can be performed and that of the storage unit 16 in 1 is equivalent to. Necessary information in the control program for an optical device that is in this memory are stored in main memory 23 expanded and through the CPU 21 executed. The bus 25th is a data transmission path for data exchange.

Die Kamera 201a ist die Realrauminformation-Beschaffungseinrichtung 201, die Bilder erfasst, die zum Beschaffen der Realrauminformation G1 nötig sind.The camera 201a is the real space information acquirer 201 that captures images that are used to obtain the real space information G1 are necessary.

Der Sensor 201b ist die Realrauminformation-Beschaffungseinrichtung 201, die Werte beschafft, die zum Beschaffen der Realrauminformation G1 nötig sind. Der Sensor 201b ist beispielsweise ein GPS (Globales Positionsbestimmungssystem), das die Position misst, ein Beschleunigungssensor, der die Beschleunigung erkennt, ein Geomagnetismus-Sensor, der die Richtung misst, oder ein Tiefensensor, der den Abstand zu einem Objekt misst.The sensor 201b is the real space information acquirer 201 that obtains values that are used to obtain the real space information G1 are necessary. The sensor 201b For example, a GPS (Global Positioning System) that measures position, an acceleration sensor that detects acceleration, a geomagnetism sensor that measures direction, or a depth sensor that measures the distance to an object.

Der Projektor 202a ist die Bildprojektionseinrichtung 202, die nötig ist, um das Projektionsbild 102 auf den Realraum zu projizieren.The projector 202a is the image projection device 202 that is necessary to the projection image 102 to project onto real space.

Betrieboperation

3 ist ein Diagramm zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform. Wie in 3 dargestellt, wird in der ersten Ausführungsform beispielsweise die Kamera 201a als Realrauminformation-Beschaffungseinrichtung 201 verwendet und der Projektor 202a wird als Bildprojektionseinrichtung 202 verwendet. Wie in 3 gezeigt, weist die Kamera 201a ein Kamerakoordinatensystem (Vorrichtungskoordinatensystem) 2011a auf, während der Projektor 202a ein Projektorkoordinatensystem 2021a aufweist. 3 Fig. 13 is a diagram for explaining an operation of the optical device controller 1 according to the first embodiment. As in 3 is shown in the first embodiment, for example, the camera 201a as a real space information acquisition facility 201 used and the projector 202a is used as an image projection device 202 used. As in 3 shown points the camera 201a a camera coordinate system (device coordinate system) 2011a while the projector 202a has a projector coordinate system 2021a.

In 3 ist eine Frustum-Ansicht 2020a des Projektors 202a zu sehen. Die Frustum-Ansicht 2020a des Projektors 202a zeigt einen Raumbereich an, durch die das Bild von dem Projektor 202a projiziert wird. Wie in 3 gezeigt, ist das Objekt (z. B. eine menschliche Hand) 100 als ein erstes Objekt in der Frustum-Ansicht 2020a des Projektors 202a enthalten (d.h. es ist ein Objekt vorhanden). Somit ist ein Teil des vom Projektor 202a projizierten Bildes durch das Objekt 100 abgeschirmt.In 3 Fig. 3 is a frustum view 2020a of the projector 202a to see. The projector's frustum view 2020a 202a indicates an area of space through which the image from the projector 202a is projected. As in 3 shown is the object (e.g. a human hand) 100 as a first object in the projector's frustum view 2020a 202a included (ie there is an object). So it is part of the projector 202a projected image through the object 100 shielded.

4(a) und 4(b) sind Diagramme zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform. 4(a) zeigt einen Zustand, in dem kein Objekt vorhanden ist, das ein Projektionsbild 102 vom Projektor 202a abschirmt. 4(b) zeigt einen Zustand, in dem ein Objekt 100 vorhanden ist, das das Projektionsbild 102 vom Projektor 202a abschirmt. 4 (a) and 4 (b) are diagrams for explaining an operation of the optical device controller 1 according to the first embodiment. 4 (a) shows a state in which there is no object that is a projection image 102 from the projector 202a shields. 4 (b) shows a state in which an object 100 is present that the projected image 102 from the projector 202a shields.

Wie in 4(a) dargestellt, wird das Projektionsbild 102 vom Projektor 202a auf eine Projektionsfläche 101 als Projektionsziel (Ziel) projiziert. Das Projektionsbild 102 umfasst jede CG 104. Eine Komponente (Komponente A) 103 als das Ziel des Durchführens einer Annotation unter Verwendung des Projektors 202a existiert in einem zentralen Teil des Projektionsbildes 102.As in 4 (a) is displayed, the projected image is displayed 102 from the projector 202a onto a projection surface 101 projected as a projection target (target). The projection image 102 includes every CG 104 . One component (component A) 103 as the goal of performing annotation using the projector 202a exists in a central part of the projection image 102 .

In einem oberen rechten Teil des Projektionsbildes 102 wird vom Projektor 202a eine CG 104 bezüglich der Komponente 103 (Information, die anzeigt, dass die Komponente 103 die „Komponente A“ ist) angezeigt. Die CG 104 ist zusätzliche Information, die vom Projektor 202a zur Annotation projiziert wird. In 4(a) ist die CG (zusätzliche Information) 104 für einen Betrachter sichtbar, da kein Objekt vorhanden ist, das ein Projektionsbild 102 vom Projektor 202a abschirmt.In an upper right part of the projection image 102 is from the projector 202a a CG 104 regarding the component 103 (Information indicating that the component 103 “Component A” is displayed. The CG 104 is additional information obtained from the projector 202a is projected for annotation. In 4 (a) the CG (additional information) 104 is visible to a viewer since there is no object that is a projection image 102 from the projector 202a shields.

Im Gegensatz dazu wird, wie in 4(b) gezeigt, in dem Zustand, in dem das Objekt 100 vorhanden ist, das das Projektionsbild 102 vom Projektor 202a abschirmt, ein Teil des Projektionsbildes 102 vom Projektor 202a vom Objekt 100 abgeschirmt, und somit ist ein Nicht-Projektionsbereich (Schattenbereich bzw. -region) 105 als Schatten des Objekts 100 in einem Teil des Projektionsbildes 102 vorhanden. Da sich ferner der Nicht-Projektionsbereich 105 und die Anordnungsposition (Projektionsbereich) der CG 104, wie in 4(b) gezeigt, überlappen, ist die CG 104 für den Betrachter unsichtbar (z.B. ein Arbeiter, der mit der Hand 100 an dem Bauteil 103 arbeitet).In contrast, as in 4 (b) shown in the state in which the object 100 is present that the projected image 102 from the projector 202a shields part of the projection image 102 from the projector 202a from the object 100 shielded, and thus a non-projection area (shadow area) 105 is a shadow of the object 100 in part of the projection image 102 available. Further, since the non-projection area 105 and the arrangement position (projection area) of the CG 104 , as in 4 (b) shown overlap is the CG 104 invisible to the viewer (e.g. a worker with his hand 100 on the component 103 is working).

5(a) und 5(b) sind Diagramme zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform. 5(a) und 5 (b) zeigen Zustände, in denen das Objekt 100 vorhanden ist, das das Projektionsbild 102 vom Projektor 202a abschirmt. In den 5(a) und 5(b) wird eine Bewegung (Neuanordnung) der Anordnungsposition der CG 104 aus dem Zustand der 4(a) und 4(b) vorgenommen, da die CG 104 mit dem Nicht-Projektionsbereich 105 überlappte und für den Betrachter unsichtbar war. 5 (a) and 5 (b) are diagrams for explaining an operation of the optical device controller 1 according to the first embodiment. 5 (a) and 5 (b) show states in which the object 100 is present that the projected image 102 from the projector 202a shields. In the 5 (a) and 5 (b) becomes a movement (rearrangement) of the arrangement position of the CG 104 from the state of 4 (a) and 4 (b) made because the CG 104 with the non-projection area 105 overlapped and was invisible to the viewer.

So wird beispielsweise die CG 104 in 5(a) zu einem unteren linken Teil des Projektionsbildes 102 bewegt und dort angezeigt, während die CG 104 in 5(b) zu einem oberen linken Teil des Projektionsbildes 102 bewegt und dort angezeigt wird. Wie vorstehend, ist die Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform dadurch gekennzeichnet, dass sie die Anordnungsposition der CG 104 so bewegt, dass die Anordnungsposition der CG 104 nicht mit dem Nicht-Projektionsbereich 105 überlappt. Dementsprechend kann die CG 104 für den Betrachter sichtbar gemacht werden, auch wenn es das Objekt 100 gibt, das einen Teil oder das gesamte Projektionsbild 102 vom Projektor 202a abschirmt.For example, the CG 104 in 5 (a) to a lower left part of the projection image 102 moved and displayed there while the CG 104 in 5 (b) to an upper left part of the projection image 102 is moved and is displayed there. As above, the controller is for an optical device 1 according to the first embodiment, characterized in that it shows the arrangement position of the CG 104 moved so that the arrangement position of the CG 104 not with the non-projection area 105 overlaps. Accordingly, the CG 104 made visible to the viewer be even if it is the object 100 gives some or all of the projected image 102 from the projector 202a shields.

6(a) bis 6(c) sind Diagramme zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform. Die 6(a) bis 6(c) zeigen Draufsichten von Projektionsbildern 102, die vom Projektor 202a auf die Projektionsfläche 101 projiziert werden. Die 6(a) bis 6(c) zeigen Zustände, in denen zwei CGs 104 (CG 104a und CG 104b) im Projektionsbild 102 enthalten sind. 6 (a) until 6 (c) are diagrams for explaining an operation of the optical device controller 1 according to the first embodiment. the 6 (a) until 6 (c) show plan views of projection images 102 taken from the projector 202a onto the projection surface 101 projected. the 6 (a) until 6 (c) show states in which two CGs 104 (CG 104a and CG 104b) in the projection image 102 are included.

6(a) zeigt einen Zustand, in dem kein Objekt vorhanden ist, das das Projektionsbild 102 vom Projektor 202a abschirmt und die 6(b) und 6(c) zeigen Zustände, in denen ein Objekt 100 vorhanden ist, das das Projektionsbild 102 vom Projektor 202a abschirmt. 6(b) zeigt einen Zustand vor einer Bewegung der CG 104b, während 6(c) einen Zustand nach der Bewegung der CG 104b zeigt. 6 (a) shows a state in which there is no object that is the projection image 102 from the projector 202a shields and the 6 (b) and 6 (c) show states in which an object 100 is present that the projected image 102 from the projector 202a shields. 6 (b) Fig. 14 shows a state before the CG 104b moves while 6 (c) shows a state after the movement of the CG 104b.

Wie in 6(a) gezeigt, umfasst das Projektionsbild 102 die CG 104a (erstes Bild) zur Kommentierung der „Komponente A“ (d.h. in Bezug auf die „Komponente A“) und die CG 104b (zweites Bild) zur Kommentierung der „Komponente B“ als die CGs 104. Die CG 104a und die CG 104b werden mit einem Abstand 106ab zueinander angezeigt.As in 6 (a) shown includes the projection image 102 the CG 104a (first picture) for commenting on "component A" (ie in relation to "component A") and the CG 104b (second picture) for commenting on "component B" as the CGs 104 . The CG 104a and the CG 104b are displayed at a distance 106ab from one another.

Wie in 6(b) gezeigt, überlappen sich aufgrund des Vorhandenseins des Objekts 100 die CG 104b zur Kommentierung der „Komponente B“ und der Schatten des Objekts 100 (d.h. der in 5 gezeigte Nicht-Projektionsbereich 105) und die CG 104b ist für den Betrachter unsichtbar geworden, so dass die Steuereinrichtung für eine optische Vorrichtung 1 die Bewegung (Neuanordnung) der Anordnungsposition der CG 104b vornimmt.As in 6 (b) shown overlap due to the presence of the object 100 the CG 104b for commenting on the "component B" and the shadow of the object 100 (i.e. the in 5 shown non-projection area 105 ) and the CG 104b has become invisible to the viewer, so that the control device for an optical device 1 performs the movement (rearrangement) of the placement position of the CG 104b.

Wie in 6(c) gezeigt, wurde die CG 104b zur Kommentierung der „Komponente B“ vom Zustand in 6(b) zu einem oberen rechten Teil der Zeichnung bewegt. Dies beseitigt die Überlappung des Schattens des Objekts 100 und der CG 104b und macht die CG 104b für den Betrachter sichtbar. Die Position der CG 104b nach der Bewegung kann frei eingestellt werden, solange die CG 104b an der Position nicht mit dem Schatten des Objekts 100 überlappt und den Abstand 106ab' zur CG 104a sichern kann. Der Abstand 106ab' kann beispielsweise eingestellt werden auf einen vorbestimmten Abstand, einen Abstand, der verhindert, dass die CG 104b aus dem Projektionsbild 102 innerhalb der Fläche, die sich nicht mit der CG 104a oder dem Schatten des Objekts 100 überlappt, herausragt, einen vom Benutzer festgelegten Abstand oder dergleichen.As in 6 (c) shown, the CG 104b was used to comment on "Component B" from the state in 6 (b) moved to an upper right part of the drawing. This eliminates the overlap of the shadow of the object 100 and the CG 104b and makes the CG 104b visible to the viewer. The position of the CG 104b after moving can be freely adjusted as long as the CG 104b is not at the position with the shadow of the object 100 overlaps and can secure the distance 106ab 'to the CG 104a. The distance 106ab 'can, for example, be set to a predetermined distance, a distance which prevents the CG 104b from being removed from the projection image 102 within the area that does not coincide with the CG 104a or the shadow of the object 100 overlaps, protrudes, a user-specified distance or the like.

7(a) bis 7(d) sind Diagramme zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform. Die 7(a) bis 7(d) zeigen Draufsichten von Projektionsbildern 102, die vom Projektor 202a auf die Projektionsfläche 101 projiziert werden. Die 7(a) bis 7(d) zeigen Zustände, in denen drei CGs 104 (CG 104b, CG 104b und CG 104c) im Projektionsbild 102 enthalten sind. 7 (a) until 7 (d) are diagrams for explaining an operation of the optical device controller 1 according to the first embodiment. the 7 (a) until 7 (d) show plan views of projection images 102 taken from the projector 202a onto the projection surface 101 projected. the 7 (a) until 7 (d) show states in which three CGs 104 (CG 104b, CG 104b and CG 104c) in the projection image 102 are included.

7(a) zeigt einen Zustand vor Bewegungen der CGs 104a, 104b und 104c und 7(b) zeigt einen Zustand nach den Bewegungen der in 7(a) gezeigten CGs 104a, 104b und 104c. 7(c) zeigt einen Zustand vor Bewegungen der CGs 104a, 104b und 104c und 7(d) zeigt einen Zustand nach den Bewegungen der in 7(c) gezeigten CGs 104a, 104b und 104c. Die 7(a) und 7(b) zeigen ein Beispiel für die Bewegungen in einem Fall, in dem die CGs 104a, 104b und 104c kein Eltern-Kind-Hierarchie-Attribut (gemeinsames Attribut) miteinander aufweisen. Die 7(c) und 7(d) zeigen ein Beispiel für die Bewegungen in einem Fall, in dem die CGs 104a, 104b und 104c ein Eltern-Kind-Hierarchie-Attribut (gemeinsames Attribut) miteinander aufweisen. 7 (a) Fig. 14 shows a state before movements of the CGs 104a, 104b and 104c and 7 (b) shows a state after the movements of in 7 (a) CGs 104a, 104b and 104c shown. 7 (c) Fig. 14 shows a state before movements of the CGs 104a, 104b and 104c and 7 (d) shows a state after the movements of in 7 (c) CGs 104a, 104b and 104c shown. the 7 (a) and 7 (b) show an example of the movements in a case where the CGs 104a, 104b and 104c do not have a parent-child hierarchy attribute (common attribute) with each other. the 7 (c) and 7 (d) show an example of the movements in a case where the CGs 104a, 104b and 104c have a parent-child hierarchy attribute (common attribute) with each other.

Wie in 7(a) gezeigt, umfasst das Projektionsbild 102 die CG 104a zur Kommentierung der „Komponente A“, die CG 104b zur Kommentierung der „Komponente B“ und die CG 104c zur Kommentierung der „Komponente C“ als die CGs 104. Zwischen der CG104a und der CG104b ist eine durch den Abstand 106ab angezeigte Lücke vorhanden. Zwischen der CG104a und der CG104c ist eine durch den Abstand 106ac angezeigte Lücke vorhanden.As in 7 (a) shown includes the projection image 102 the CG 104a for commenting on “component A”, the CG 104b for commenting on “component B” and the CG 104c for commenting on “component C” as the CGs 104 . There is a gap between the CG104a and the CG104b, indicated by the distance 106ab. There is a gap between the CG104a and the CG104c, indicated by the distance 106ac.

Wie in 7(a) gezeigt, ist aufgrund des Vorhandenseins des Objekts 100 ein Überlappungszustand eingetreten, in dem sich die CG 104b zur Kommentierung der „Komponente B“ und die CG 104c zur Kommentierung der „Komponente C“ mit dem Schatten des Objekts 100 überlappen und die CG 104b und die CG 104c für den Betrachter unsichtbar geworden sind, und somit die Bewegung (Neuanordnung) der Anordnungspositionen der CG 104b und der CG 104c wie in 7(b) dargestellt erfolgt.As in 7 (a) shown is due to the presence of the object 100 an overlapping state has occurred in which the CG 104b for commenting on “component B” and the CG 104c for commenting on “component C” with the shadow of the object 100 overlap and the CG 104b and the CG 104c have become invisible to the viewer, and thus the movement (rearrangement) of the arrangement positions of the CG 104b and the CG 104c as in FIG 7 (b) shown takes place.

Wie in 7(b) gezeigt, wurde die CG 104b zur Kommentierung der „Komponente B“ zu einem oberen rechten Teil der Zeichnung bewegt. Dies beseitigt die Überlappung des Schattens des Objekts 100 und der CG 104b und macht die CG 104b für den Betrachter sichtbar. Die Position der CG 104b nach der Bewegung kann frei eingestellt werden, solange die CG 104b an der Position nicht mit dem Schatten des Objekts 100 oder der CG 104c überlappt und den Abstand 106ab' von der CG 104a sichern kann. Der Abstand 106ab' kann beispielsweise eingestellt werden auf einen vorbestimmten Abstand, einen Abstand, der verhindert, dass die CG 104b aus dem Projektionsbild 102 innerhalb der Fläche, die sich nicht mit der CG 104a, der CG 104c oder dem Schatten des Objekts 100 überlappt, herausragt, einen vom Benutzer festgelegten Abstand oder dergleichen.As in 7 (b) shown, the CG 104b has been moved to an upper right part of the drawing to comment on “Component B”. This eliminates the overlap of the shadow of the object 100 and the CG 104b and makes the CG 104b visible to the viewer. The position of the CG 104b after moving can be freely adjusted as long as the CG 104b is not at the position with the shadow of the object 100 or the CG 104c overlaps and can secure the distance 106ab 'from the CG 104a. The distance 106ab 'can be set, for example, to a predetermined distance, a distance that prevents the CG 104b from leaving the Projection image 102 within the area that does not coincide with the CG 104a, the CG 104c or the shadow of the object 100 overlaps, protrudes, a user-specified distance or the like.

Wie in 7(b) gezeigt, wurde die CG 104c zur Kommentierung der „Komponente C“ zu einem unteren linken Teil der Zeichnung bewegt. Dies beseitigt die Überlappung des Schattens des Objekts 100 und der CG 104c und macht die CG 104c für den Betrachter sichtbar. Die Position der CG 104c nach der Bewegung kann frei eingestellt werden, solange die CG 104c an der Position nicht mit dem Schatten des Objekts 100 oder der CG 104b überlappt und den Abstand 106ac' von der CG 104a sichern kann. Der Abstand 106ac' kann beispielsweise eingestellt werden auf einen vorbestimmten Abstand, einen Abstand, der verhindert, dass die CG 104c aus dem Projektionsbild 102 innerhalb der Fläche, die sich nicht mit der CG 104a, der CG 104b oder dem Schatten des Objekts 100 überlappt, herausragt, einen vom Benutzer festgelegten Abstand oder dergleichen.As in 7 (b) shown, the CG 104c was moved to a lower left part of the drawing to comment on “Component C”. This eliminates the overlap of the shadow of the object 100 and the CG 104c and makes the CG 104c visible to the viewer. The position of the CG 104c after moving can be freely adjusted as long as the CG 104c is not at the position with the shadow of the object 100 or the CG 104b overlaps and can secure the distance 106ac 'from the CG 104a. The distance 106ac 'can be set, for example, to a predetermined distance, a distance which prevents the CG 104c from being removed from the projection image 102 within the area that does not coincide with the CG 104a, the CG 104b or the shadow of the object 100 overlaps, protrudes, a user-specified distance or the like.

Die 7(c) und 7(d) zeigen einen Fall, in dem das Eltern-Kind-Hierarchie-Attribut zwischen der CG 104b und der CG 104c vorhanden ist (z.B. ist die CG 104b der Elternteil und die CG 104c ist das Kind). Wie in 7(c) gezeigt, umfasst das Projektionsbild 102 die CG 104a zur Kommentierung der „Komponente A“, die CG 104b zur Kommentierung der „Komponente B“ und die CG 104c zur Kommentierung der „Komponente C“. Zwischen der CG104a und der CG104b ist eine durch den Abstand 106ab angezeigte Lücke vorhanden.the 7 (c) and 7 (d) show a case where the parent-child hierarchy attribute exists between the CG 104b and the CG 104c (e.g., the CG 104b is the parent and the CG 104c is the child). As in 7 (c) shown includes the projection image 102 CG 104a for commenting on “Component A”, CG 104b for commenting on “Component B” and CG 104c for commenting on “Component C”. There is a gap between the CG104a and the CG104b, indicated by the distance 106ab.

Ferner ist zwischen der CG104b und der CG104c eine durch den Abstand 106bc angezeigte Lücke vorhanden. In solchen Fällen wird die Bewegung der Anordnungspositionen der CG104b und der CG104c so vorgenommen, dass der Abstand 106bc' zwischen der CG104b und der CG104c vorhanden ist. Ferner wird ähnlich zum Fall der 7(a) und 7(b) die Bewegung der Anordnungsposition der CG104b so vorgenommen, dass der Abstand 106ab' zwischen der CG104a und der CG104b vorhanden ist.Furthermore, there is a gap indicated by the distance 106bc between the CG104b and the CG104c. In such cases, the movement of the arrangement positions of the CG104b and the CG104c is made so that the clearance 106bc 'exists between the CG104b and the CG104c. Furthermore, similar to the case of 7 (a) and 7 (b) the movement of the arrangement position of the CG104b is made so that the distance 106ab 'exists between the CG104a and the CG104b.

Wie in 7(d) gezeigt, wurden die CG 104b zur Kommentierung der „Komponente B“ und die CG 104c zur Kommentierung der „Komponente C“ zu einem unteren linken Teil der Zeichnung bewegt. Dies beseitigt die Überlappung des Schattens des Objekts 100 mit der CG 104b oder der CG 104c und macht die CG 104b und die CG 104c sichtbar. Die Position der CG 104c nach der Bewegung kann frei eingestellt werden, solange die CG 104c an der Position nicht mit dem Schatten des Objekts 100 oder der CG 104b überlappt und den Abstand 106ac' von der CG 104a sichern kann. Der Abstand 106ac' kann beispielsweise eingestellt werden auf einen vorbestimmten Abstand, einen Abstand, der verhindert, dass die CG 104c aus dem Projektionsbild 102 innerhalb der Fläche, die sich nicht mit der CG 104a, der CG 104b oder dem Schatten des Objekts 100 überlappt, herausragt, einen vom Benutzer festgelegten Abstand oder dergleichen.As in 7 (d) shown, the CG 104b for commenting on "Component B" and the CG 104c for commenting on "Component C" have been moved to a lower left part of the drawing. This eliminates the overlap of the shadow of the object 100 with the CG 104b or the CG 104c and makes the CG 104b and the CG 104c visible. The position of the CG 104c after moving can be freely adjusted as long as the CG 104c is not at the position with the shadow of the object 100 or the CG 104b overlaps and can secure the distance 106ac 'from the CG 104a. The distance 106ac 'can be set, for example, to a predetermined distance, a distance which prevents the CG 104c from being removed from the projection image 102 within the area that does not coincide with the CG 104a, the CG 104b or the shadow of the object 100 overlaps, protrudes, a user-specified distance or the like.

Ferner kann die Position der CG 104c nach der Bewegung frei eingestellt werden, solange die CG 104c an der Position nicht mit dem Schatten des Objekts 100 oder der CG 104a überlappt und den Abstand 106bc' von der CG 104b sichern kann. In Fällen, in denen ein gemeinsames Attribut wie das Eltern-Kind-Hierarchie-Attribut zwischen der CG 104b und der CG 104c vorhanden ist, soll der Abstand 106bc' so kurz wie möglich innerhalb der Fläche sein, die sich nicht mit dem Schatten des Objekts 100 oder der CG 104a überschneidet. Besonders wenn die CG 104b und die CG 104c ein gemeinsames Attribut aufweisen, werden die Projektionsbilddaten so verändert, dass der Abstand 106bc' zwischen der Projektionsposition der CG 104b und der Projektionsposition der CG 104c nach der Änderung der Projektionsbilddaten kürzer ist als der Abstand 106bc zwischen der Projektionsposition der CG 104b und der Projektionsposition der CG 104c vor der Änderung der Projektionsbilddaten oder kürzer ist als ein vorbestimmter Abstand.Further, the position of the CG 104c after the movement can be freely adjusted as long as the CG 104c is not at the position with the shadow of the object 100 or the CG 104a overlaps and can secure the distance 106bc 'from the CG 104b. In cases where there is a common attribute such as the parent-child hierarchy attribute between the CG 104b and the CG 104c, the distance 106bc 'should be as short as possible within the area that does not coincide with the object's shadow 100 or the CG 104a overlaps. In particular, if the CG 104b and the CG 104c have a common attribute, the projection image data are changed in such a way that the distance 106bc 'between the projection position of the CG 104b and the projection position of the CG 104c after the projection image data has been changed is shorter than the distance 106bc between the The projection position of the CG 104b and the projection position of the CG 104c before the projection image data is changed is or shorter than a predetermined distance.

Der Zielpunkt der Bewegung jeder CG 104 (104a, 104b, 104c) ist wünschenswerterweise auf eine Position nahe der Originalposition eingestellt. Ferner ist der Zielpunkt der Bewegung jeder CG 104 wünschenswerterweise auf eine Position nahe der Komponente (Objekt) 103 eingestellt, für die die Annotation durchgeführt wird. Weiterhin ist der Bewegungsabstand jeder CG 104 vorzugsweise kurz. Die Steuereinrichtung für eine optische Vorrichtung 1 führt die Bewegung jeder CG 104 gemäß solchen Bedingungen durch.The target point of movement of each CG 104 (104a, 104b, 104c) is desirably set to a position close to the original position. Furthermore, the target point of movement is each CG 104 desirably at a position close to the component (object) 103 for which the annotation is carried out. Furthermore, the moving distance of each CG is 104 preferably short. The control device for an optical device 1 leads the movement of each CG 104 under such conditions.

8 ist ein Flussdiagramm, das einen Betrieb der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform zeigt. Der in 8 gezeigte Betrieb zeigt einen CG-Steuerungsprozess an: Wenn ein lichtabschirmendes Objekt (Objekt 100) zwischen dem Projektor 202a und der Projektionsfläche 101 vorhanden ist, wird beurteilt, ob die zu projizierende CG oder die zu projizierenden CGs 104 auf eine beabsichtigte Position oder beabsichtigte Positionen projiziert werden können oder nicht, wenn eine der CG oder CGs 104 als nicht projizierbar beurteilt wird, wird die CG 104 unter Berücksichtigung des Attributs bewegt, das vom Projektor 202a zu projizierende Projektionsbild 102 erzeugt und das erzeugte Projektionsbild 102 tatsächlich projiziert. 8th Fig. 13 is a flowchart showing an operation of the optical device controller 1 according to the first embodiment shows. The in 8th The operation shown indicates a CG control process: When a light-shielding object (object 100 ) between the projector 202a and the projection surface 101 is present, it is judged whether the CG to be projected or the CGs to be projected 104 may or may not be projected onto an intended position or positions if any of the CG or CGs 104 is judged not to be projectable, the CG 104 taking into account the attribute moved by the projector 202a projection image to be projected 102 generated and the generated projection image 102 actually projected.

Der CG-Steuerungsprozess der Steuereinrichtung für eine optische Vorrichtung 1 in der ersten Ausführungsform wird im Folgenden unter Bezugnahme auf 8 beschrieben. Der durch die Steuereinrichtung für eine optische Vorrichtung 1 durchgeführte CG-Steuerungsprozess kann sich jedoch von dem in 8 gezeigten Prozess unterscheiden. Der in 8 gezeigte CG-Steuerungsprozess wird jedes Mal ausgeführt, wenn die Kamera 201a oder der für die Realrauminformation-Beschaffungseinrichtung 201b verwendete Sensor 201b die Realrauminformation G1 beschafft (z.B. in regelmäßigen Intervallen).The CG control process of the optical device controller 1 in the first embodiment is described below with reference to FIG 8th described. That by the optical device controller 1 However, the CG control process carried out may differ from the one in 8th the process shown. The in 8th CG control process shown is executed every time the camera 201a or that for the real space information acquisition facility 201b used sensor 201b the real space information G1 procured (e.g. at regular intervals).

Wie in 8 gezeigt, veranlasst die Steuereinrichtung für eine optische Vorrichtung 1 in Schritt S11 die Realrauminformation-Beschaffungseinrichtung 201 die Realrauminformation G1 zu beschaffen, basierend auf dem Realraum einschließlich des Ziels. In Fällen, in denen die Realrauminformation-Beschaffungseinrichtung 201 die Kamera 201a ist, beschafft die Kamera 201a Bilddaten als die Realrauminformation G1. In Fällen, in denen die Realrauminformation-Beschaffungseinrichtung 201 der Sensor 201b ist, beschafft der Sensor 201b einen Erkennungswert (z. B. Abstandsinformationen im Falle eines Tiefensensors) als die Realrauminformation G1.As in 8th shown causes the optical device controller 1 in step S11, the real space information obtaining means 201 the real space information G1 to obtain based on the real space including the destination. In cases where the real space information obtaining facility 201 the camera 201a is procured the camera 201a Image data as the real space information G1 . In cases where the real space information obtaining facility 201 the sensor 201b is procured by the sensor 201b a recognition value (e.g., distance information in the case of a depth sensor) as the real space information G1 .

Im nächsten Schritt S12 veranlasst die Steuereinrichtung für eine optische Vorrichtung 1 die Objekterkennungseinheit 11 zu erkennen, ob ein Objekt 100 zwischen dem Projektor 202a und der Projektionsfläche 101 vorhanden ist oder nicht, basierend auf der durch die Realrauminformation-Beschaffungseinrichtung 201 beschafften Realrauminformation G1. Wenn ein Objekt 100 erkannt wird (JA in Schritt S12), geht die Verarbeitung weiter zum nächsten Schritt S13.In the next step S12, the control device initiates an optical device 1 the object recognition unit 11 to recognize whether an object 100 between the projector 202a and the projection surface 101 exists or not based on that by the real space information obtaining means 201 obtained real space information G1 . When an object 100 is recognized (YES in step S12), the processing proceeds to the next step S13.

Im nächsten Schritt S13 veranlasst die Steuereinrichtung für eine optische Vorrichtung 1 die Überlappungsbeurteilungseinheit 12 zu beurteilen, ob das im Schritt S12 erkannte Objekt 100 die Projektion der CG 104 abschirmt oder nicht (ob sich der Schatten des Objekts 100 und der CG 104 im Überlappungszustand befindet oder nicht). Wenn das Objekt 100 beurteilt wird, die CG 104 abzuschirmen (JA in Schritt S13), geht die Verarbeitung weiter zum nächsten Schritt S14. Im nächsten Schritt S14 veranlasst die Steuereinrichtung für eine optische Vorrichtung 1 die Attributverwaltungseinheit 13 das in der Speichereinheit 16e gespeicherte Bewegungsflag 16e in Bezug auf die im Schritt S13 als abgeschirmt geltende CG 104 zu laden und das Bewegungsflag 16e einzuschalten.In the next step S13, the optical device control device initiates 1 the overlap judging unit 12th to judge whether the object recognized in step S12 100 the projection of the CG 104 shields or not (whether the shadow of the object 100 and the CG 104 is in the overlapping state or not). If the object 100 is judged the CG 104 shield (YES in step S13), the processing proceeds to the next step S14. In the next step S14, the control device for an optical device initiates 1 the attribute management unit 13th that in the storage unit 16e saved movement flag 16e with respect to the CG deemed to be shielded in step S13 104 to load and the motion flag 16e to turn on.

Im nächsten Schritt S15 veranlasst die Steuereinrichtung für eine optische Vorrichtung 1 bezüglich der CG 104, für die das Bewegungsflag 16e eingestellt ist, die Layout-Berechnungseinheit 15 das Projektionsbild 102 zu erzeugen, indem sie die CG 104 basierend auf der Position und dem Attribut der CG 104 selbst und den Positionen und den Attributen anderer CGs 104 zu einer Zielposition bewegt. In diesem Fall wird das Projektionsbild 102 erzeugt, während die CG 104, für die das Bewegungsflag 16e eingestellt wurde, nach der Bewegung an Koordinaten platziert wird; das Projektionsbild 102 wird erzeugt, während eine andere CG 104, für die kein Bewegungsflag 16e eingestellt wurde, an ihren ursprünglichen Koordinaten platziert wird.In the next step S15, the control device initiates an optical device 1 regarding the CG 104 for which the motion flag 16e is set, the layout calculation unit 15th the projection image 102 to generate by using the CG 104 based on the position and attribute of the CG 104 themselves and the positions and attributes of other CGs 104 moved to a target position. In this case, the projected image becomes 102 generated while the CG 104 for which the motion flag 16e has been set after moving is placed at coordinates; the projection image 102 is generated while another CG 104 for which no movement flag 16e is placed at its original coordinates.

Im nächsten Schritt S16 veranlasst die Steuereinrichtung für eine optische Vorrichtung 1 die Bildprojektionseinrichtung 202, das durch die Projektionsbilderzeugungseinheit 14 erzeugte Projektionsbild 102 zu projizieren.In the next step S16, the control device initiates an optical device 1 the image projection device 202 generated by the projection image generation unit 14th generated projection image 102 to project.

9 ist ein Flussdiagramm, das ein Beispiel eines Objekterkennungsprozesses in der ersten Ausführungsform zeigt. 9 zeigt ein Beispiel des Objekterkennungsprozesses in Schritt S12 in 8. Im Schritt S21 schätzt die Steuereinrichtung für eine optische Vorrichtung 1 die Position und die Form des Objekts 100 im Koordinatensystem 2011a der Einrichtung (z. B. die Kamera 201a), verwendet in der Realrauminformation-Beschaffungseinrichtung 201, basierend auf der durch die Realrauminformation-Beschaffungseinrichtung 201 beschafften Realrauminformation G1. 9 Fig. 13 is a flowchart showing an example of an object recognition process in the first embodiment. 9 FIG. 13 shows an example of the object recognition process in step S12 in FIG 8th . In step S21, the optical device controller estimates 1 the position and shape of the object 100 in the institution's coordinate system 2011a (e.g. the camera 201a ) used in the real space information acquisition device 201 based on that provided by the real space information obtaining means 201 obtained real space information G1 .

Im nächsten Schritt S22 formt die Steuereinrichtung für eine optische Vorrichtung 1 das Ergebnis der Schätzung in Schritt S21 Informationen über die Position und die Form des Objekts 100) in Informationen über die Position und die Form im Projektorkoordinatensystem 2021a um. Im nächsten Schritt S23 beurteilt die Steuereinrichtung für eine optische Vorrichtung 1, ob das Objekt 100 in der Frustum-Ansicht 2020a des Projektors vorhanden ist oder nicht. Wenn das Objekt 100 beurteilt wird, in der Frustum-Ansicht 2020a vorhanden zu sein, ist das Ergebnis der Beurteilung in Schritt S12 in 8 JA. Wenn kein Objekt 100 beurteilt wird, in der Frustum-Ansicht 2020a vorhanden zu sein, ist das Ergebnis der Beurteilung in Schritt S12 in 8 NEIN.In the next step S22, the optical device controller forms 1 the result of the estimation in step S21 provides information on the position and shape of the object 100 ) into information about the position and the shape in the projector coordinate system 2021a. In the next step S23, the optical device controller judges 1 whether the object 100 is present or not in the frustum view 2020a of the projector. If the object 100 is judged to be in the frustum view 2020a, the result of the judgment in step S12 is in FIG 8th YES. If not an object 100 is judged to be in the frustum view 2020a, the result of the judgment in step S12 is in FIG 8th NO.

10 ist ein Flussdiagramm, das ein Beispiel eines Überlappungsbeurteilungsprozesses in der ersten Ausführungsform zeigt. 10 zeigt ein Beispiel des Überlappungsbeurteilungsprozesses für die CG 104 in Schritt S13 in 8. In Schritt S31 projiziert die Steuereinrichtung für eine optische Vorrichtung 1 das durch die Objekterkennungseinheit 11 erkannte Objekt 100 in ein Projektorbildkoordinatensystem. 10 Fig. 13 is a flowchart showing an example of an overlap judgment process in the first embodiment. 10 shows an example of the overlap judging process for the CG 104 in step S13 in 8th . In step S31, the optical device controller projects 1 that by the object recognition unit 11 recognized object 100 into a projector image coordinate system.

Im nächsten Schritt S32 erzeugt die Steuereinrichtung für eine optische Vorrichtung 1 aus der äußeren Form des Schattens des projizierten Objekts 100 eine konvexe Umschließung (konvexe Hülle) in Bezug auf den Schatten des Objekts 100. Die konvexe Umschließung bedeutet Im Übrigen den minimalen konvexen Satz, der einen gegebenen Satz beinhaltet. Der konvexe Satz bezeichnet einen Satz, der jedes Liniensegment beinhaltet, das ein beliebiges Paar von Punkten in dem gegebenen Satz verbindet.In the next step S32, the optical device controller generates 1 from the external shape of the shadow of the projected object 100 a convex enclosure (convex hull) in Relation to the shadow of the object 100 . Incidentally, the convex enclosure means the minimal convex sentence that contains a given sentence. The convex set refers to a set that includes each line segment connecting any pair of points in the given set.

Im nächsten Schritt S33 projiziert die Steuereinrichtung für eine optische Vorrichtung 1 alle CGs 104 in das Projektorbildkoordinatensystem. Im nächsten Schritt S34 erzeugt die Steuereinrichtung für eine optische Vorrichtung 1 aus der äußeren Form der projizierten CG 104 die konvexe Umschließung in Bezug auf jede CG 104. Im nächsten Schritt S35 extrahiert die Steuereinrichtung für eine optische Vorrichtung 1 konvexe Umschließungen der Schatten des erkannten Objekts 100 und konvexe Umschließungen der CGs 104 nacheinander in einem Round-Robin-Format (nämlich in Bezug auf alle Kombinationen).In the next step S33, the optical device controller projects 1 all CGs 104 into the projector image coordinate system. In the next step S34, the optical device controller generates 1 from the external shape of the projected CG 104 the convex enclosure with respect to each CG 104 . In the next step S35, the optical device controller extracts 1 convex enclosures of the shadows of the detected object 100 and convex enclosures of the CGs 104 sequentially in a round robin format (namely with respect to all combinations).

Im nächsten Schritt S36 berechnet die Steuereinrichtung für eine optische Vorrichtung 1 den Bereich eines Schnittpunktes basierend auf den extrahierten zwei konvexen Umschließungen und beurteilt, dass die CG 104 und der Schatten des Objekts 100 einander überlappen (d.h. im Überlappungszustand sind), wenn der Bereich größer oder gleich einem vorbestimmten Schwellenwert (Bereichsschwellenwert) ist. Wenn es eine Vielzahl von erkannten Objekten 100 gibt, wird dieser Prozess für jedes Objekt 100 wiederholt.In the next step S36, the optical device controller calculates 1 the area of an intersection based on the extracted two convex enclosures and judges that the CG 104 and the shadow of the object 100 overlap each other (ie, are in the overlapping state) when the area is greater than or equal to a predetermined threshold (area threshold). When there is a multitude of detected objects 100 there is this process for each object 100 repeated.

Im Übrigen ist das Verfahren der Überlappungsbeurteilung in Schritt S36 nicht auf das vorstehend beschriebene Verfahren beschränkt. So ist es beispielsweise auch möglich zu beurteilen, dass sich die CG 104 und der Schatten des Objekts 100 überlappen (d.h. im Überlappungszustand sind), wenn das Verhältnis des Bereichs des Schnittpunktes der extrahierten zwei konvexen Umschließungen zum Bereich der konvexen Umschließung der CG 104 größer oder gleich einem vorbestimmten Verhältnis (Verhältnisschwellenwert) ist.Incidentally, the method of the overlap judgment in step S36 is not limited to the method described above. For example, it is also possible to assess that the CG 104 and the shadow of the object 100 overlap (ie, are in the state of overlap) if the ratio of the area of the intersection of the extracted two convex enclosures to the area of the convex enclosure of the CG 104 is greater than or equal to a predetermined ratio (ratio threshold).

11 ist ein Flussdiagramm, das ein Beispiel eines Bewegungsprozesses für die CGs 104 in der ersten Ausführungsform zeigt. 11 zeigt ein Beispiel des Bewegungsprozesses für die CGs 104 in Schritt S15 in 8. In Schritt S41 stellt die Steuereinrichtung für eine optische Vorrichtung 1 eine Prozessanzahl n auf 1. 11 Fig. 13 is a flowchart showing an example of a moving process for the CGs 104 in the first embodiment shows. 11 shows an example of the moving process for the CGs 104 in step S15 in 8th . In step S41, the optical device controller sets 1 a number of processes n to 1.

Im nächsten Schritt S42 vergleicht die Steuereinrichtung für eine optische Vorrichtung 1 die Prozessanzahl n mit der Anzahl (Gesamtzahl) der projizierten CGs 104, die im Projektionsbild 102 enthalten sind, und setzt den Prozess für die CGs 104 fort, wenn die Prozessanzahl n kleiner oder gleich der Anzahl der projizierten CGs 104 ist. Wenn die Prozessanzahl n die Anzahl von CGs 104, die im Projektionsbild 102 enthalten sind, übersteigt (d.h. n > „die Anzahl von CGs 104“) (JA in Schritt S42), wird der Bewegungsprozess für die CGs 104 beendet.In the next step S42, the optical device controller compares 1 the number of processes n with the number (total number) of projected CGs 104 that appear in the projected image 102 are included and continues the process for the CGs 104 if the number of processes n is less than or equal to the number of projected CGs 104 is. If the number of processes n is the number of CGs 104 that appear in the projected image 102 (ie, n> “the number of CGs 104”) (YES in step S42), the moving process for the CGs becomes 104 completed.

Wenn die Prozessanzahl n kleiner oder gleich der Anzahl der CGs 104 ist, die in dem Projektionsbild 102 enthalten sind (NEIN in Schritt S42), geht der Prozess weiter zu Schritt S43 und die Steuereinrichtung für eine optische Vorrichtung 1 prüft, ob das Bewegungsflag 16e für die CG 104 eingeschaltet wurde oder nicht. Wenn das Bewegungsflag 16e eingeschaltet wurde (JA im Schritt S43), wird in den nachfolgenden Schritten S44 bis S47 die Berechnung gemäß einem Zeichnungsalgorithmus mit einem mechanischen Modell durchgeführt.If the number of processes n is less than or equal to the number of CGs 104 is that in the projection image 102 are included (NO in step S42), the process proceeds to step S43 and the optical device controller 1 checks whether the movement flag 16e for the CG 104 turned on or not. If the movement flag 16e has been turned on (YES in step S43), in the subsequent steps S44 to S47, the calculation is carried out according to a drawing algorithm with a mechanical model.

In diesem Zeichnungsalgorithmus werden Positionen einer Vielzahl von Punkten (der Schatten und die CGs in der vorliegenden Anwendung) so bestimmt, dass sie sich nicht überlappen, so dass jeder Punkt stabil in einem dynamischen Modell, in dem Anziehungskraft und Abstoßungskraft unter der Vielzahl von Punkten wirkt und die Punkte sich einander nähern oder voneinander trennen lässt, angeordnet ist.In this drawing algorithm, positions of a plurality of points (the shadow and the CGs in the present application) are determined not to overlap, so that each point is stable in a dynamic model in which attraction and repulsion act among the plurality of points and making the points approach or separate from one another, is arranged.

Die Steuereinrichtung für eine optische Vorrichtung 1 berechnet Anziehungskraft oder Abstoßungskraft, die die CG 104 empfängt. Beispielsweise empfängt die CG 104 Abstoßungskraft von der Position des Schattens des Objekts 100 (Schritt S44), empfängt Abstoßungskraft von anderen CGs 104 (Schritt S45), empfängt Anziehungskraft von den CGs 104 mit einem gemeinsamen Attribut (z.B. dem Eltern-Kind-Hierarchie-Attribut) (Schritt S46) und empfängt Anziehungskraft von ihrer Originalposition (Schritt S47).The control device for an optical device 1 computes attraction or repulsion that the CG 104 receives. For example, the CG receives 104 Repulsive force from the position of the shadow of the object 100 (Step S44), receives repulsive force from other CGs 104 (Step S45), receives attraction force from the CGs 104 with a common attribute (e.g., the parent-child hierarchy attribute) (step S46) and receives attraction from their original position (step S47).

Im nächsten Schritt S48 lässt die Steuereinrichtung für eine optische Vorrichtung 1 die Layout-Berechnungseinheit 15 die Anordnungsposition des Zielpunkts der Bewegung der CG 104 berechnen, durch Zusammenrechnen der Anziehungskraft und der Abstoßungskraft, die die CG 104 empfangen hat. Im nächsten Schritt S49 aktualisiert die Steuereinrichtung für eine optische Vorrichtung 1 die Neuanordnungskoordinaten 16a der CG 104. Im nächsten Schritt S50 erhöht die Steuereinrichtung für eine optische Vorrichtung 1 die Prozessanzahl n um 1, der Prozess kehrt zum Schritt S42 zurück und der Prozess wird fortgesetzt, bis die Prozessanzahl n die Anzahl der CGs 104 überschreitet.In the next step S48, the optical device controller leaves 1 the layout calculation unit 15th the placement position of the target point of movement of the CG 104 calculate, by adding together the force of attraction and the force of repulsion that the CG 104 received. In the next step S49, the optical device controller updates 1 the rearrange coordinates 16a the CG 104 . In the next step S50, the optical device controller increments 1 the process number n by 1, the process returns to step S42 and the process continues until the process number n becomes the number of CGs 104 exceeds.

Wirkungeffect

Wie vorstehend beschrieben, werden mit der Steuereinrichtung für eine optische Vorrichtung 1, dem Steuerverfahren für eine optische Vorrichtung und dem Steuerprogramm für eine optische Vorrichtung gemäß der ersten Ausführungsform die Objekterkennungseinheit 11, die Überlappungsbeurteilungseinheit 12 und die Layout-Berechnungseinheit 15 bereitgestellt, und wenn die Überlappungsbeurteilungseinheit 12 beurteilt, dass der Schatten des Objekts 100 und eine CG 104 miteinander überlappen (im Überlappungszustand), ordnet die Layout-Berechnungseinheit 15 die CG 104 durch Bewegen der CG 104 an einen Ort, an dem die CG 104 nicht mit dem Schatten des Objekts 100 überlappt, neu an. Dementsprechend ist es auch dann möglich, die CG 104 an einer geeigneten Stelle darzustellen und dem Betrachter die beabsichtigten Informationen zur Verfügung zu stellen, wenn ein lichtabschirmendes Objekt (z.B. das Objekt 100) zwischen der optischen Vorrichtung (z.B. dem Projektor 202a) und dem Projektionsziel (z.B. der Projektionsfläche 101) vorhanden ist.As described above, the optical device controller 1 , the control method for an optical device and the control program for an optical Device according to the first embodiment, the object recognition unit 11 , the overlap judging unit 12th and the layout calculation unit 15th provided, and when the overlap judging unit 12th judged that the shadow of the object 100 and a CG 104 overlap each other (in the overlapping state), the layout calculation unit arranges 15th the CG 104 by moving the CG 104 to a place where the CG 104 not with the shadow of the object 100 overlapped, new on. Accordingly, it is then also possible to use the CG 104 in a suitable place and to make the intended information available to the viewer when a light-shielding object (e.g. the object 100 ) between the optical device (e.g. the projector 202a ) and the projection target (e.g. the projection surface 101 ) is available.

Mit der Steuereinrichtung für eine optische Vorrichtung 1, dem Steuerverfahren für eine optische Vorrichtung und dem Steuerprogramm für eine optische Vorrichtung gemäß der ersten Ausführungsform werden, wenn eine Vielzahl von CGs 104 (z.B. 104b und 104c in den 7(c) und 7(d)) ein gemeinsames Attribut aufweisen, die Anordnungspositionen der CGs 104 basierend auf diesen Informationen bestimmt. Dementsprechend ist es möglich kontinuierlich die Tatsache anzuzeigen, dass die CGs 104 ein gemeinsames Attribut aufweisen und dem Betrachter die beabsichtigten Informationen bereitzustellen.With the control device for an optical device 1 , the optical device control method and the optical device control program according to the first embodiment when a plurality of CGs 104 (e.g. 104b and 104c in the 7 (c) and 7 (d) ) have a common attribute, the arrangement positions of the CGs 104 determined based on this information. Accordingly, it is possible to continuously display the fact that the CGs 104 have a common attribute and provide the intended information to the viewer.

Zweite AusführungsformSecond embodiment

Konfigurationconfiguration

12 ist ein funktionales Blockschaltbild, das eine schematische Konfiguration einer Steuereinrichtung für eine optische Vorrichtung 1a gemäß einer zweiten Ausführungsform der vorliegenden Erfindung zeigt. Während die in 12 gezeigte Steuereinrichtung für eine optische Vorrichtung 1a im Wesentlichen die gleiche ist wie die in 1 gezeigte Steuereinrichtung für eine optische Vorrichtung 1, unterscheidet sich die Steuereinrichtung für eine optische Vorrichtung 1a von der Steuereinrichtung für eine optische Vorrichtung 1 dadurch, dass sie eine Benutzersichtlinie-Schätzungseinheit 17 umfasst. In 12 ist jeder Komponente, die identisch zu einer in 1 gezeigten Komponente ist oder dieser entspricht, das gleiche Bezugszeichen wie in 1 zugewiesen. Eine Beschreibung von Komponenten, die identisch oder entsprechend den in 1 gezeigten Komponente sind, entfällt. 12th Fig. 13 is a functional block diagram showing a schematic configuration of a controller for an optical device 1a according to a second embodiment of the present invention. While the in 12th Control device shown for an optical device 1a is essentially the same as the one in 1 Control device shown for an optical device 1 , the control device for an optical device is different 1a from the optical device controller 1 by being a user guideline estimator 17th includes. In 12th is any component that is identical to one in 1 component shown is or corresponds to the same reference number as in 1 assigned. A description of components that are identical or equivalent to those in 1 components shown are not applicable.

In der oben beschriebenen ersten Ausführungsform wird die Beschreibung eines Falls gegeben, in dem, wenn die vom Projektor 202a projizierte CG 104 durch ein Objekt 100 abgeschirmt wird, die CG 104 bewegt wird und dann dem Betrachter Informationen bereitgestellt werden. Der Standpunkt und die Sichtlinie (eine Linie, die den Standpunkt als Mittelpunkt der Augen und das betrachtete Ziel verbindet) des Betrachters werden jedoch bei der ersten Ausführungsform nicht berücksichtigt. Daher wird in der zweiten Ausführungsform die Beschreibung eines Modus gegeben, in dem die Sichtlinie des Betrachters berücksichtigt wird, und es ist möglich, dem Betrachter beabsichtigte Informationen zur Verfügung zu stellen, auch wenn ein Objekt (Objekt 100a, das später beschrieben wird) zwischen dem Betrachter und dem Projektionsziel vorhanden ist. Im Übrigen wird in der zweiten Ausführungsform das zwischen der optischen Vorrichtung (Projektor 202a) und dem Projektionsziel vorhandene Objekt 100 ebenfalls ähnlich der ersten Ausführungsform betrachtet.In the first embodiment described above, description will be given of a case where, when the projector 202a projected CG 104 through an object 100 is shielded, the CG 104 is moved and then information is provided to the viewer. However, the viewpoint and the line of sight (a line connecting the viewpoint as the center of the eyes and the observed target) of the observer are not considered in the first embodiment. Therefore, in the second embodiment, the description will be given of a mode in which the viewer's line of sight is taken into account, and it is possible to provide intended information to the viewer even if an object (object 100a, which will be described later) is between Viewer and the projection target is present. Incidentally, in the second embodiment, that between the optical device (projector 202a ) and the object of the projection target 100 also considered similar to the first embodiment.

Wie in 12 gezeigt, umfasst die Steuereinrichtung für eine optische Vorrichtung 1a die Benutzersichtlinie-Schätzeinheit 17. Die Benutzersichtlinie-Schätzeinheit 17 schätzt die Sichtlinie des Betrachters (Benutzer 203 in 13) basierend auf der durch die Realrauminformation-Beschaffungseinrichtung 201 beschafften Realrauminformation G1. Die Information G7 bezüglich der durch die Benutzersichtlinie-Schätzeinheit 17 geschätzten Sichtlinie des Benutzers 203 wird an die Überlappungsbeurteilungseinheit 12 gesendet. Weiterhin erfasst eine Objekterkennungseinheit 11a in der zweiten Ausführungsform das Objekt (zweites Objekt) 100a, das zwischen dem Standpunkt des Benutzers 203 und dem Projektionsziel (Projektionsfläche 101) vorhanden ist.As in 12th as shown, comprises the control means for an optical device 1a the user policy estimator 17th . The user policy estimation unit 17th estimates the line of sight of the viewer (user 203 in 13th ) based on that by the real space information acquiring means 201 obtained real space information G1 . The information G7 related to the user's sight line estimating unit 17th estimated line of sight of the user 203 is sent to the overlap judging unit 12th sent. Furthermore, an object recognition unit records 11a in the second embodiment, the object (second object) 100a between the user's point of view 203 and the projection target (projection surface 101 ) is available.

Die Überlappungsbeurteilungseinheit 12 führt die Überlappungsbeurteilung an der CG 104 durch, basierend auf den von der Objekterkennungseinheit 11a empfangenen erkannten Objektinformation G2, der Information G7 bezüglich der Sichtlinie des Benutzers 203 und der von der Attributverwaltungseinheit 13 geladenen Information G3 zur CG 104. In der Überlappungsbeurteilung wird beurteilt, ob sich die CG 104 auf der Projektionsfläche 101 im Überlappungszustand mit einer unsichtbaren Region befindet oder nicht, die für den Benutzer 203 durch das von der Objekterkennungseinheit 11a erkannte Objekt 100a unsichtbar geworden ist (d.h. eine Region, unsichtbar durch Behinderung der Sichtlinie durch das Objekt 100a). Die Layout-Berechnungseinheit 15 ändert die Projektionsbilddaten G6, so dass die CG 104 auf eine andere Region als die unsichtbare Region, die durch das Objekt 100a unsichtbar geworden ist, projiziert wird.The overlap judging unit 12th conducts the overlap assessment at the CG 104 based on the from the object recognition unit 11a received recognized object information G2 , the information G7 relating to the user's line of sight 203 and that from the attribute management unit 13th loaded information G3 to the CG 104 . In the overlap judgment, it is judged whether the CG 104 on the projection surface 101 is in the state of overlap with an invisible region or not that is accessible to the user 203 by the from the object recognition unit 11a recognized object 100a has become invisible (ie a region invisible by obstruction of the line of sight by the object 100a). The layout calculation unit 15th changes the projection image data G6 so that the CG 104 is projected onto a region other than the invisible region that has become invisible by the object 100a.

13 ist ein Diagramm zum Erläutern eines Betriebs der Steuereinrichtung für eine optische Vorrichtung 1a gemäß der zweiten Ausführungsform. Wie in 13 gezeigt, verwendet die Steuereinrichtung für eine optische Vorrichtung 1a gemäß der zweiten Ausführungsform nicht den Projektor 202a, sondern den Standpunkt bzw. Blickpunkt 203a des Benutzers 203 als Startpunkt, im Unterschied zu der Steuereinrichtung für eine optische Vorrichtung 1 gemäß der ersten Ausführungsform. Wie in 13 gezeigt, werden in der zweiten Ausführungsform das Projektorkoordinatensystem 2021a und die Frustum-Ansicht 2020a des Projektors in der ersten Ausführungsform (siehe 3) durch ein Benutzerkoordinatensystem 2031 und eine Frustum-Ansicht 2030 des Benutzers ersetzt. 13th Fig. 13 is a diagram for explaining an operation of the optical device controller 1a according to the second embodiment. As in 13th shown uses the control device for an optical device 1a according to the second embodiment not the projector 202a , but the viewpoint 203a of the user 203 as a starting point, in contrast to the control device for an optical device 1 according to the first embodiment. As in 13th shown, in the second embodiment, the projector coordinate system 2021a and the frustum view 2020a of the projector in the first embodiment (see FIG 3 ) is replaced by a user coordinate system 2031 and a frustum view 2030 of the user.

Die Frustum-Ansicht 2030 des Benutzers 203 zeigt eine Raumfläche an, die vom Benutzer 203 gesehen wird. Wie in 13 gezeigt, ist ein Objekt (zweites Objekt) 100a in der Frustum-Ansicht 2030 des Benutzers enthalten. Somit ist ein Teil des vom Benutzer 203 gesehenen Bildes durch das Objekt 100a abgeschirmt.The user's frustum view 2030 203 indicates a room area defined by the user 203 is seen. As in 13th As shown, an object (second object) 100a is contained in the frustum view 2030 of the user. Thus, it is part of the user 203 seen image is shielded by the object 100a.

14 ist ein Flussdiagramm, das ein Beispiel eines Objekterkennungsprozesses in der zweiten Ausführungsform zeigt. 14 zeigt ein Beispiel des Objekterkennungsprozesses in Schritt S12 in 8. In 14 ist die Verarbeitung von Schritt S21 bis Schritt S23 die gleiche wie die Verarbeitung von Schritt S21 bis Schritt S23 in 9. Im nächsten Schritt S51 wandelt die Optische-Vorrichtung-Speichereinrichtung 1a die Position der durch die Benutzersichtlinie-Schätzeinheit 17 geschätzten Sichtlinie des Benutzers 203 in diejenige im Benutzerkoordinatensystem 2031 um. Im nächsten Schritt S52 beurteilt die Steuereinrichtung für eine optische Vorrichtung 1a, ob das Objekt 100a in der Frustum-Ansicht 2030 des Benutzers vorhanden ist oder nicht. 14th Fig. 13 is a flowchart showing an example of an object recognition process in the second embodiment. 14th FIG. 13 shows an example of the object recognition process in step S12 in FIG 8th . In 14th the processing from step S21 to step S23 is the same as the processing from step S21 to step S23 in FIG 9 . In the next step S51, the optical device storage means converts 1a the location of the user guideline estimator 17th estimated line of sight of the user 203 to that in the user coordinate system 2031. In the next step S52, the optical device controller judges 1a whether or not the object 100a is present in the user's frustum view 2030.

Wirkungeffect

Wie vorstehend beschrieben, ist mit der Steuereinrichtung für eine optische Vorrichtung 1a, dem Steuerverfahren für eine optische Vorrichtung und dem Steuerprogramm für eine optische Vorrichtung gemäß der zweiten Ausführungsform die Benutzersichtlinie-Schätzeinheit 17 als zusätzliche Komponente enthalten. Somit kann die CG 104 an einer für den Betrachter sichtbaren Position angezeigt werden und es ist möglich, dem Betrachter die beabsichtigte Information auch dann zur Verfügung zu stellen, wenn zwischen dem Standpunkt bzw. Blickpunkt des Betrachters (Benutzer 203) und dem Projektionsziel (Projektionsfläche 101) ein lichtabschirmendes Objekt (Objekt 100a) vorhanden ist.As described above, with the control device for an optical device 1a , the optical device control method and the optical device control program according to the second embodiment, the user sight line estimation unit 17th included as an additional component. Thus, the CG 104 are displayed at a position visible to the viewer and it is possible to make the intended information available to the viewer even if between the viewpoint or viewpoint of the viewer (user 203 ) and the projection target (projection surface 101 ) a light-shielding object (object 100a) is present.

Ferner können mit der Steuereinrichtung für eine optische Vorrichtung 1a, dem Steuerverfahren für eine optische Vorrichtung und dem Steuerprogramm für eine optische Vorrichtung gemäß der zweiten Ausführungsform Vorteile ähnlich denen der Steuereinrichtung für eine optische Vorrichtung 1, dem Steuerverfahren für eine optische Vorrichtung und dem Steuerprogramm für eine optische Vorrichtung gemäß der ersten Ausführungsform erzielt werden.Furthermore, with the control device for an optical device 1a , the optical device control method and the optical device control program according to the second embodiment have advantages similar to those of the optical device control device 1 , the optical device control method and the optical device control program according to the first embodiment can be achieved.

Modifikationmodification

Während in den oben beschriebenen ersten und zweiten Ausführungsformen die CG 104 durch Bewegen der CG 104 sichtbar gemacht wird, ist es auch möglich, die CG 104 durch Anzeigen der CG 104 in reduzierter Anzeige, Ändern der Zeichenanordnung in der CG 104 (z.B. Ändern der horizontalen Schrift in vertikale Schrift) oder durch Kombinieren von etwas von der Bewegung, der Reduktion und der Änderung der Zeichenanordnung sichtbar zu machen.While in the first and second embodiments described above, the CG 104 by moving the CG 104 is made visible, it is also possible to use the CG 104 by displaying the CG 104 in reduced display, changing the arrangement of characters in the CG 104 (e.g. changing the horizontal font to vertical font) or by combining some of the movement, the reduction and the change in the arrangement of the characters.

Während ein Fall, in dem die CG 104b und die CG 104c das Eltern-Kind-Hierarchie-Attribut aufweisen, in den 7(c) und 7(d) beschrieben wird, ist es auch möglich, in Fällen, in denen eine der CGs nicht in die Projektionsfläche 101 passt, wenn eine CG-Anordnung mit dem Eltern-Kind-Hierarchie-Attribut verwendet wird, ohne Berücksichtigung des Eltern-Kind-Hierarchie-Attributs in eine andere Anordnung, wie z. B. eine CG-Anordnung, wie in den und gezeigt, zu wechseln.While a case where the CG 104b and the CG 104c have the parent-child hierarchy attribute in the 7 (c) and 7 (d) it is also possible in cases where one of the CGs is not in the screen 101 fits, if a CG arrangement with the parent-child hierarchy attribute is used, without considering the parent-child hierarchy attribute in another arrangement, e.g. B. a CG arrangement, as in the and shown to switch.

BezugszeichenlisteList of reference symbols

1, 1a1, 1a: Steuereinrichtung für eine optische Vorrichtung,Control device for an optical device,
11, 11a11, 11a: Objekterkennungseinheit,Object recognition unit,
1212th: Überlappungsbeurteilungseinheit,Overlap assessment unit,
1313th: Attributverwaltungseinheit,Attribute management unit,
1414th: Projektionsbilderzeugungseinheit,Projection image generation unit,
1515th: Layout-Berechnungseinheit,Layout calculation unit,
1616: Speichereinheit,Storage unit,
16a16a: Neuanordnungskoordinaten,Rearrange coordinates,
16b16b: Hierarchie,Hierarchy,
16c16c: Bereich,Area,
16d16d: Anordnungskoordinaten,Arrangement coordinates,
16e16e: Bewegungsflag,Movement flag,
1717th: Benutzersichtlinie-Schätzeinheit,User guideline estimation unit,
2121: CPU,CPU,
2222nd: GPU,GPU,
2323: Hauptarbeitsspeicher,Main memory,
2424: Speicher,Storage,
2525th: Bus,Bus,
100100: Objekt,Object,
101101: Projektionsfläche,Projection surface,
102102: Projektionsbild,Projection image,
103103: Komponente,Component,
104104: CG,CG,
105105: Nicht-Projektionsbereich,Non-projection area,
106106: Abstand,Distance,
201201: Realrauminformation-Beschaffungseinrichtung,Real space information acquisition facility,
201a201a: Kamera,Camera,
201b201b: Sensor,Sensor,
202202: Bildprojektionseinrichtung,Image projection device,
202a202a: Projektor,Projector,
203203: Benutzer,User,
G1 -G7G1 -G7: Information.Information.

Claims

Control device for an optical device (1, 1a), comprising: a projection image generation unit (14) that causes an optical device (202a) to project a projection image based on projection image data onto a target; an object recognition unit (11, 11a) that recognizes a first object existing between the optical device (202a) and the target based on real space information acquired from real space information acquisition means (201); an overlap judging unit that judges whether or not a graphic image included in the projection image is in an overlapping state with a shadow, as a region where the projection image due to the first object does not reach the destination, based on the projection image data and a Result of the recognition by the object recognition unit (11, 11a); a changing unit (15) that changes the projection image data so that the graphic image is projected onto a region other than that of the shadow when the graphic image is judged to be in the state of overlap with the shadow by the overlap judging unit (12); a management unit (13) that supplies the projection image generation unit (14) with the projection image data changed by the changing unit (15) as the projection image data when the graphic image is judged by the overlap judging unit (12) to be in the state of overlap with the shadow; and a storage unit (16) storing attributes of a first image and a second image, wherein the graphic image comprises the first image and the second image, when the first image is judged by the overlap judging unit (12) to be in the state of overlap with the shadow, the changing unit (15) calculates based on a drawing algorithm and in a dynamic model in which attraction and repulsion acts among a plurality of points, which making the points approach or separate from each other, stable positions of the plurality of points so as not to overlap, and changes the projection image data so that the first image is a region other than a projection region of the second image based on a result of the calculation and as that of the shadow is projected, the repulsive force includes a force that receives the first image based on a position of the shadow and a force that receives the first image based on a projection position of the second image, and the attraction force is a force that receives the first image based on a position on which the first image is projected and that receives the first image based on a projection position of the second image when the first image and the second image have a common attribute exhibit.

Control device for an optical device (1, 1a) according to Claim 1 wherein, when the first image and the second image have a common attribute, the changing unit (15) changes the projection image data so that a distance between a projection position of the first image and a projection position of the second image after the projection image data is changed is shorter than that Distance between the projection position of the first image and the projection position of the second image before the projection image data is changed is or shorter than a predetermined distance.

Control device for an optical device (1, 1a) according to Claim 2 wherein the positional relationship between the projection position of the first image and the projection position of the second image is based on at least one of the distances between the projection position of the first image and the projection position of the second image and an arrangement direction of the projection position of the first image with respect to the projection position of the second image .

Control device for an optical device (1, 1a) according to one of the Claims 1 until 3 wherein the overlap judging unit (12) judges that the graphic image is in the state of overlap with the shadow when an area of a part in which the graphic image is in the state of overlap with the shadow is greater than or equal to a predetermined range threshold, or when a ratio of the area to the graphic image is greater than or equal to a predetermined ratio threshold.

Control device for an optical device (1a) according to one of the Claims 1 until 4th , further comprising a line of sight estimation unit (17) that estimates a line of sight of a viewer observing the projection image based on the real space information acquired by the real space information acquiring means (201), the object recognition unit (11a) recognizing a second object lying between a viewpoint of the viewer and the target is present, the overlap judging unit (12) judges whether or not the graphic image at the target is in the state of overlap with an invisible region that has become invisible to the viewer due to the second object detected by the object recognition unit (11a) based on the projection image data, a result of the estimation by the line-of-sight estimation unit and a result of the recognition by the object recognition unit (11a), and the changing unit (15) changes the projection image data so that the graphic image is projected on a region other than the invisible region, when the graphic image is judged by the overlap judging unit (12) to be in the state of overlap with the invisible region.

A control method for an optical device comprising: a projection image forming step of causing the optical device (202a) to project a projection image based on projection image data on a target; an object recognizing step of recognizing a first object existing between the optical device (202a) and the target based on real space information acquired from real space information acquiring means (201); an overlap judging step of judging whether or not a graphic image included in the projection image is in an overlapping state with a shadow as a region where the projection image due to the first object does not reach the destination based on the projection image data and a result of recognition by the Object detection step; a changing step of changing the projection image data so that the graphic image is projected on a region other than that of the shadow when the graphic image is judged to be in the state of overlap with the shadow by the overlap judging step; and a management step of providing the projection image generation step with the projection image data changed by the changing unit as the projection image data when the graphic image is judged to be in the state of overlap with the shadow by the overlap judging step, wherein the graphic image comprises a first image and a second image, when the first image is judged to be in the state of overlap with the shadow by the overlap judging step, in the changing step based on a drawing algorithm and in a dynamic model in which attraction and repulsion act among a plurality of points which the points approach or separate from each other allow stable positions of the plurality of points to be calculated so as not to overlap, and the projection image data are changed based on the result of the calculation so that the first image is on a region other than a projection region of the second image and a region other than that of the shadow is projected, the repulsive force includes a force that receives the first image based on a position of the shadow and a force that receives the first image based on a projection position of the second image, and the attraction force is a force that receives the first image based on a position on which the first image is projected and that receives the first image based on a projection position of the second image when the first image and the second image have a common attribute exhibit.

An optical device control program that causes a computer to execute: a projection image generation process of causing an optical device (202a) to project a projection image based on projection image data on a target; an object recognition process of recognizing a first object existing between the optical device (202a) and the target based on real space information acquired from real space information acquirer (201); an overlap judgment process of judging whether or not a graphic image included in the projection image is in an overlapping state with a shadow as a region where the projection image due to the first object does not reach the destination, based on the projection image data and a result of recognition by the Object recognition process; a changing process of changing the projection image data so that the graphic image is projected onto a region other than that of the shadow when the graphic image is judged to be in the state of overlap with the shadow by the overlap judging process; and a management process of providing the projection image creation process with the projection image data changed by the changing unit as the projection image data when the graphic image is judged by the overlap judgment process to be in the state of overlap with the shadow, the graphic image including a first image and a second image, when the first image is judged to be in the state of overlap with the shadow by the overlap judgment process, in the changing process based on a drawing algorithm and in a dynamic model in which attraction and repulsion act at a plurality of points that make the points approach or separate from each other, stable positions of the plurality of points are calculated so as not to overlap, and the projection image data based on the The result of the calculation can be changed so that the first image is projected on a region other than a projection region of the second image and a region other than that of the shadow, the repulsive force includes a force that the first image receives based on a position of the shadow, and a force that receives the first image based on a projection position of the second image, and the attraction force is a force that receives the first image based on a position that the first image is projected on and that the first image is based on a projection position of the second image when the first image and the second image have a common attribute.