DE102019214283A1

DE102019214283A1 - Method and device for processing an image recorded by a camera

Info

Publication number: DE102019214283A1
Application number: DE102019214283.4A
Authority: DE
Inventors: Johannes Von Hoyningen-Huene; Andreas Mueller; Nikolaj Marchenko
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-09-19
Filing date: 2019-09-19
Publication date: 2021-03-25
Also published as: WO2021052660A1

Abstract

Verfahren (10) zum Verarbeiten eines durch eine Kamera aufgenommenen Bildes,gekennzeichnet durch folgende Merkmale:- in einem Transformationsmodus wird das Bild einer vorgegebenen Transformation (13) unterzogen und einem Nutzer auf einer Darstellungseinheit (21) angezeigt und- der Transformationsmodus wird bei einem vorgegebenen Ereignis verlassen (14).Method (10) for processing an image recorded by a camera, characterized by the following features: - in a transformation mode, the image is subjected to a predetermined transformation (13) and displayed to a user on a display unit (21) and Exit event (14).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Verarbeiten eines durch eine Kamera aufgenommenen Bildes. Die vorliegende Erfindung betrifft darüber hinaus eine entsprechende Vorrichtung, ein entsprechendes Computerprogramm sowie ein entsprechendes Speichermedium.The present invention relates to a method for processing an image captured by a camera. The present invention also relates to a corresponding device, a corresponding computer program and a corresponding storage medium.

Stand der TechnikState of the art

Unter erweiterter Realität (augmented reality, AR) wird gemeinhin die computergestützte Erweiterung der Realitätswahrnehmung in Echtzeit verstanden.Augmented reality (AR) is generally understood to mean the computer-aided expansion of the perception of reality in real time.

US9269011B1 verwendet Bilder aus einer Vielzahl von Quellen, um verschiedene Winkel, Zoomstufen und Ansichten von Objekten und Sehenswürdigkeiten bei unterschiedlichen Lichtverhältnissen zu erfassen. Die Bilder werden mit Tags versehen oder mit einer bestimmten Position oder mit einem bestimmten Sonderziel verknüpft und in einer Datenbank gespeichert, um mittels AR Objekte zu erkennen, die in der Liveansicht einer Szene erscheinen, die von mindestens einer Kamera einer Datenverarbeitungsvorrichtung aufgenommen wurde. US9269011B1 uses images from a variety of sources to capture different angles, zoom levels, and views of objects and landmarks in different lighting conditions. The images are tagged or linked to a specific position or a specific point of interest and stored in a database in order to use AR to identify objects that appear in the live view of a scene that was recorded by at least one camera of a data processing device.

In US20140043365A1 wird ein Ansatz bereitgestellt, um ein interaktives perspektivisches Layout für interessante Orte in einer AR-Ansicht bereitzustellen. Die Layout-Plattform bestimmt mindestens eine Zoomstufe für die Wiedergabe einer oder mehrerer Abbildungen eines oder mehrerer Elemente in einer perspektivischen Darstellung, die zumindest teilweise auf mindestens einer Push-Interaktion oder mindestens einer Pull-Interaktion in der perspektivischen Darstellung basiert. Die Layoutplattform bewirkt zumindest teilweise eine Wiedergabe der Darstellungen, die zumindest teilweise auf der Zoomstufe basieren.In US20140043365A1 provides an approach to provide an interactive perspective layout for points of interest in an AR view. The layout platform determines at least one zoom level for the reproduction of one or more images of one or more elements in a perspective representation, which is based at least partially on at least one push interaction or at least one pull interaction in the perspective representation. The layout platform at least partially reproduces the representations that are based at least partially on the zoom level.

GB2513865A beschreibt eine AR-Szene mit einem oder mehreren Objekten, wobei jedes Objekt erweiterte Daten aufweist und unter Verwendung eines oder mehrerer Sensoren eine Anforderung eines Benutzers zum Durchsuchen mindestens eines der angereicherten Datensätze erkennt, die möglicherweise einer oder mehreren Kategorien wie Bild, Video oder Multimedia angehören. Eine Sequenz zu durchsuchender erweiterter Daten wird bereitgestellt und basierend auf einem Befehlssignal durchsucht, das an einem oder mehreren Sensoren erfasst wird. Das gesuchte Objekt kann dann basierend auf einem Befehlssignal angezeigt werden, das von den Sensoren empfangen wird, die Berührungssensoren sein können. Die Suche in der Sequenz von erweiterten Daten kann auf Dreh-Berührungsbefehlen basieren. Das eine oder die mehreren Objekte können basierend auf einer Nähe zum Benutzer gefiltert werden, wobei die Filterung auf einem Kneif-, Spreizzoom- oder anderen Mehrfingerbefehl basieren kann. GB2513865A describes an AR scene with one or more objects, each object having augmented data and using one or more sensors to detect a request from a user to search at least one of the enriched data sets that may belong to one or more categories such as image, video, or multimedia . A sequence of extended data to be searched is provided and searched based on a command signal sensed at one or more sensors. The searched object can then be displayed based on a command signal received from the sensors, which can be touch sensors. Searching the sequence of extended data can be based on rotary touch commands. The one or more objects can be filtered based on a proximity to the user, wherein the filtering can be based on a pinch, spread zoom, or other multi-finger command.

Offenbarung der ErfindungDisclosure of the invention

Die Erfindung stellt ein Verfahren zum Verarbeiten eines durch eine Kamera aufgenommenen Bildes, eine entsprechende Vorrichtung, ein entsprechendes Computerprogramm sowie ein entsprechendes Speichermedium gemäß den unabhängigen Ansprüchen bereit.The invention provides a method for processing an image recorded by a camera, a corresponding device, a corresponding computer program and a corresponding storage medium according to the independent claims.

Dem erfindungsgemäßen Verfahren liegt die Erkenntnis zugrunde, dass sich bei üblichen AR-Anwendungen die auf dem AR-Endgerät dargestellten (augmentierten) Inhalte auf virtuelle 3D-Modelle oder zweidimensionale Flächen auf realen Oberflächen oder im Raum zur Darstellung von Text, Bildern, Videos oder Programmen beziehen. Bei vielen Anwendungen kann es von Vorteil sein, wenn statt solchen virtuellen (zusätzlichen) Objekten das Erscheinungsbild von realen Objekten für den Nutzer des AR-Endgeräts in verarbeiteter Form dargestellt wird.The method according to the invention is based on the knowledge that in conventional AR applications the (augmented) content displayed on the AR terminal is based on virtual 3D models or two-dimensional surfaces on real surfaces or in space for displaying text, images, videos or programs Respectively. In many applications it can be advantageous if, instead of such virtual (additional) objects, the appearance of real objects is displayed in processed form for the user of the AR terminal.

Mit dem vorgeschlagenen Verfahren wird es möglich, dass in bestimmten Situationen Teile der Umgebung für den Nutzer anders dargestellt werden, um ihn bei einer Aufgabe zu unterstützen. Dabei wird das aufgenommene Kamerabild in einer gewünschten Weise transformiert und im Sichtfeld des Nutzers dargestellt. Eine detaillierte Interpretation des Kamerabildes ist dabei nicht unbedingt erforderlich, was den Rechenaufwand im Rahmen hält. Im Gegensatz zu herkömmlichen AR-Anwendungen erfolgt also keine Erweiterung der Realität durch zusätzlich eingeblendete virtuelle Objekte, sondern eine auf spezifische Weise transformierte Darstellung der tatsächlichen Realität. Der Wechsel vom Standard-Modus des AR-Endgeräts in den erfindungsgemäßen Modus und umgekehrt gestaltet sich dabei für den Nutzer unkompliziert. Er kann unterschiedliche Teile seiner Aufgabe so mit demselben Gerät effizient durchführen.With the proposed method, it is possible that, in certain situations, parts of the environment are presented differently to the user in order to support him with a task. The recorded camera image is transformed in a desired manner and displayed in the user's field of vision. A detailed interpretation of the camera image is not absolutely necessary, which keeps the computational effort within limits. In contrast to conventional AR applications, there is no expansion of reality through additionally superimposed virtual objects, but a representation of actual reality that is transformed in a specific way. The change from the standard mode of the AR terminal to the mode according to the invention and vice versa is uncomplicated for the user. In this way, he can efficiently carry out different parts of his task with the same device.

Ein Vorzug dieser Lösung liegt in der Schaffung einer hilfreichen Erweiterung von AR-Videobrillen, die das dargestellte Bild für den Betrachter aufbereitet und ihn dabei unterstützt, bestimmte Arbeiten einfacher durchzuführen. Durch unterschiedliche Bildtransformationen sind dabei vielfältige Hilfestellungen für den Nutzer denkbar. Durch eine geeignete Vorauswahl der interessanten Bildbereiche sowie einen einfachen und schnellen Wechsel zwischen AR-Funktionalität und veränderter Darstellung der realen Umgebung können viele Aufgaben vereinfacht werden, bei denen derzeit unterschiedliche Hilfsmittel genutzt werden.One advantage of this solution is the creation of a helpful extension of AR video glasses, which prepares the displayed image for the viewer and supports him in doing certain work more easily. Various types of assistance for the user are conceivable through different image transformations. A suitable pre-selection of the interesting image areas as well as a simple and quick change between AR functionality and a changed representation of the real environment can simplify many tasks in which different aids are currently used.

Der vorgeschlagene Transformationsmodus setzt dabei keine wesentlichen Änderungen der Hardware der AR-Endgeräte voraus. Kamera, Verarbeitungseinheit und Bildschirm sind auch bei konventionellen AR-Endgeräten vorhanden. Der zusätzliche Modus stellt unter Umständen sogar geringere Anforderungen an die Hardware der AR-Brille als deren herkömmlicher AR-Modus. Eine Transformation des gesamten Bildes oder eines festen Bildausschnitts verursacht mitunter einen geringeren Rechenaufwand als die Darstellung von virtuellen Objekten an realen Bezugspunkten mittels optischer Bilderkennung.The proposed transformation mode does not make any significant changes to the Hardware of the AR end devices ahead. The camera, processing unit and screen are also present in conventional AR devices. The additional mode may even make lower demands on the hardware of the AR glasses than their conventional AR mode. A transformation of the entire image or a fixed image section sometimes causes less computational effort than the representation of virtual objects at real reference points by means of optical image recognition.

Ausführungsformen der Erfindung könnten im Rahmen unterschiedlichster Anwendungen eingesetzt werden, bei denen der Nutzer sowohl durch zusätzliche Informationen als auch durch eine veränderte Darstellung der Umgebung unterstützt werden kann, ohne das optische Hilfsmittel, in diesem Fall die AR-Brille, wechseln zu müssen. Derartige Anwendungen umfassen Aufbau und Reparatur oder Wartung von filigranen Komponenten (Vergrößerung), Überwachung von Anlagen (Hervorhebung von Bildausschnitten) und Arbeiten bei schlechten, veränderlichen Sichtverhältnissen (Helligkeits- und Kontrastveränderung) .Embodiments of the invention could be used in the context of a wide variety of applications in which the user can be supported both by additional information and by a changed representation of the environment without having to change the optical aid, in this case the AR glasses. Such applications include the construction and repair or maintenance of filigree components (enlargement), monitoring of systems (highlighting of image sections) and working in poor, changing visibility conditions (changes in brightness and contrast).

Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen des im unabhängigen Anspruch angegebenen Grundgedankens möglich. So kann der Wechsel der Modi durch Sprachkommandos und Kopfbewegungen vorgesehen sein. Dies birgt den Vorteil, dass dem Benutzer weiterhin beide Hände zur Erfüllung seiner Aufgabe zur Verfügung stehen, da er diese nicht zum Wechsel des Modus benötigt. Dies ist insbesondere bei solchen Aufgaben von Nutzen, die beidhändig ausgeführt werden müssen, sodass keine Hand zur Bedienung des Endgeräts frei ist.The measures listed in the dependent claims enable advantageous developments and improvements of the basic idea specified in the independent claim. Modes can be changed by voice commands and head movements. This has the advantage that the user continues to have both hands available to carry out his task, since he does not need them to change the mode. This is particularly useful for tasks that have to be carried out with both hands so that no hand is free to operate the terminal.

FigurenlisteFigure list

Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert. Es zeigt:

1 das Flussdiagramm eines Verfahrens gemäß einer ersten Ausführungsform.
2 schematisch eine AR-Brille gemäß einer zweiten Ausführungsform im Standardmodus.
3 einen erweiterten Modus mit Lupenfunktion, bei dem das Kamerabild vergrößert dargestellt wird.

Exemplary embodiments of the invention are shown in the drawings and explained in more detail in the description below. It shows:

1 the flow chart of a method according to a first embodiment.
2 schematically, AR glasses according to a second embodiment in standard mode.
3rd an extended mode with a magnifying glass function, in which the camera image is shown enlarged.

Ausführungsformen der ErfindungEmbodiments of the invention

1 illustriert den Ablauf eines erfindungsgemäßen Verfahrens (10). Ausgangspunkt ist dabei ein herkömmlicher AR-Modus, bei dem der Nutzer die gegebenenfalls um AR-Inhalte erweiterte, ansonsten jedoch unverfälschte Umgebung sieht. 1 illustrates the sequence of a method according to the invention ( 10 ). The starting point is a conventional AR mode in which the user sees the environment, which may have been expanded to include AR content, but is otherwise unadulterated.

In einem optionalen ersten Schritt (11) trifft das AR-Endgerät für die Bildtransformation eine Vorauswahl der Bildausschnitte und erkannten Objekte im Sichtfeld des Nutzers und markiert diese auf der Darstellungseinheit als Bereiche, die durch den Nutzer ausgewählt werden können.In an optional first step ( 11 ) the AR terminal makes a preselection of the image sections and recognized objects in the user's field of vision for the image transformation and marks them on the display unit as areas that can be selected by the user.

In einem ebenfalls optionalen zweiten Schritt (12) wird der Bereich bzw. das erkannte Objekt für eine Bildtransformation durch den Nutzer ausgewählt. Der Modus der Bildtransformation wird für diesen Bildbereich aktiviert.In an equally optional second step ( 12th ) the area or the recognized object is selected for image transformation by the user. The image transformation mode is activated for this image area.

In einem dritten Schritt (13) wird das gesamte Umgebungsbild oder ein Teil desselben mit gewünschten Bildtransformation unterzogen und auf der Darstellungseinheit im Sichtfeld des Nutzers dargestellt. Die veränderte Darstellung soll dem Nutzer beispielsweise dabei helfen, seine Aufgabe einfacher, effizienter oder ergonomischer zu erledigen.In a third step ( 13th ) the entire image of the surroundings or a part of it is subjected to the desired image transformation and displayed on the display unit in the user's field of vision. The changed display is intended to help the user, for example, to do his job in a simpler, more efficient or more ergonomic way.

In einem vierten Schritt (14) wird der Modus der Bildtransformation wieder verlassen. Dies kann unter anderem direkt durch den Nutzer oder aber selbsttätig durch das AR-Endgerät veranlasst werden, wenn zum Beispiel eine bestimmte Zeitspanne abläuft oder erkannt wird, dass ein Arbeitsschritt beendet ist.In a fourth step ( 14th ) the image transformation mode is exited. This can be initiated, among other things, directly by the user or automatically by the AR terminal if, for example, a certain period of time expires or it is recognized that a work step has ended.

Diese Schritte (11 bis 14) seien nunmehr im Einzelnen erläutert.These steps ( 11 to 14th ) are now explained in detail.

Die Detektion von interessanten Bildbereichen im ersten Schritt (11) erfolgt z. B. anhand einer geeigneten Bilderkennung. Dies könnte z. B. im Wege einer Objekterkennung durch Vergleich des Kamerabildes mit Objekten und Bildern aus einer Datenbank, einer Kantenerkennung im Kamerabild, der Erkennung von bestimmten Farben bzw. Farbmustern sowie der Erkennung von Markern, Beschriftungen o. ä. erfolgen. Die Marker können dabei direkt auf den betrachteten Objekten oder mit einem bekannten Versatz zu diesen angebracht sein.The detection of interesting image areas in the first step ( 11 ) takes place e.g. B. using a suitable image recognition. This could e.g. B. by way of an object recognition by comparing the camera image with objects and images from a database, an edge recognition in the camera image, the recognition of certain colors or color patterns and the recognition of markers, labels or the like. The markers can be attached directly to the viewed objects or with a known offset to them.

Neben den anhand des Kamerabildes gewonnenen Erkenntnissen kann weiteres Wissen über die Objekte vorhanden sein und zur Vorauswahl interessanter Bildbereiche genutzt werden. So können etwa Position und Status von Roboterarmen, Waren auf Transportsystemen oder anderen Objekten von externen Informationsquellen bezogen werden.In addition to the knowledge gained from the camera image, further knowledge about the objects can be available and used to preselect interesting image areas. For example, the position and status of robot arms, goods on transport systems or other objects can be obtained from external information sources.

Die für eine Bildtransformation in Betracht kommenden Bereiche werden dem Nutzer durch entsprechende Markierungen auf der Darstellungseinheit zur Auswahl angeboten.The areas that come into consideration for image transformation are offered to the user for selection by corresponding markings on the display unit.

Aus dieser Auswahl wählt der Nutzer im zweiten Schritt (12) den Bereich für die Bildtransformation aus. In Betracht kommt die manuelle Auswahl durch ein handbedientes Eingabegerät, z. B. Tastatur, Touchpad oder Joystick. Das Eingabegerät kann sich dabei direkt am AR-Endgerät befinden. Alternativ kann die Eingabe an einem weiteren Gerät vollzogen und dem AR-Endgerät übermittelt werden.From this selection, the user selects in the second step ( 12th ) select the area for the image transformation. Manual selection by means of a manually operated input device, e.g. B. keyboard, touchpad or joystick. The input device can be located directly on the AR terminal. Alternatively, the entry can be made on another device and transmitted to the AR terminal.

Zu denken ist ferner an Hand- und Fingergesten, die im Sichtbereich der Kamera ausgeführt und durch Bildverarbeitung erfasst werden. Alternativ könnten solche Gesten durch einen Sensorhandschuh erkannt und dem AR-Endgerät mitgeteilt werden.Another consideration is hand and finger gestures that are carried out in the field of vision of the camera and captured by image processing. Alternatively, such gestures could be recognized by a sensor glove and communicated to the AR terminal.

Möglich sind schließlich Sprachkommandos, die über ein Mikrofon aufgenommen und ihrem Sinngehalt entsprechend verarbeitet werden, spezielle Kopfbewegungen wie Nicken, Drehen oder Schrägstellen des Kopfs, die durch Lage-, Beschleunigungs- und Drehratensensoren, aber auch durch eine Bildverarbeitung des Kamerabildes detektiert werden können, oder die Fixierung des Blicks auf einen Bereich. Für die Bestimmung der Blickrichtung können gesonderte Kameras verwendet werden, die die Augen des Nutzers erfassen. Alternativ kann auch die Bildmitte des Kamerabildes als Anhaltspunkt für die Blickrichtung verwendet werden. Die letztliche Auswahl des in Blickrichtung liegenden Bereiches kann entweder nach einer bestimmten Dauer der Fixierung selbsttätig oder einer Bestätigung durch manuelle Eingabe, Geste oder Sprachkommando erfolgen.Finally, voice commands that are recorded via a microphone and processed according to their meaning are possible, special head movements such as nodding, turning or tilting the head, which can be detected by position, acceleration and rotation rate sensors, but also by image processing of the camera image, or the fixation of the gaze on an area. Separate cameras that capture the user's eyes can be used to determine the viewing direction. Alternatively, the center of the camera image can also be used as a reference point for the viewing direction. The final selection of the area lying in the viewing direction can be made either automatically after a certain period of fixation or a confirmation by manual input, gesture or voice command.

Darüber hinaus ist auch denkbar, dass die Auswahl des Bereiches für die Bildtransformation durch einen Dritten erfolgt. Die automatische Erkennung infrage kommender Bereiche und deren Auswahl durch den Nutzer oder gemäß einer vorgegebenen Regel im Rahmen des Verfahrens (10) ist optional. Es ist ebenso möglich, dass pauschal der gesamte Bildbereich der Kamera für eine Bildtransformation ausgewählt wird oder der Nutzer manuell einen Teil des Bildes auswählt, ohne dass eine Objekterkennung in diesem Bereich erfolgt. Hierzu könnte der Benutzer beispielsweise durch eine geeignete Geste den zu transformierenden Bereich in seinem Sichtfeld umreißen oder anderweitig markieren.In addition, it is also conceivable that the selection of the area for the image transformation is made by a third party. The automatic detection of eligible areas and their selection by the user or according to a predefined rule within the framework of the procedure ( 10 ) is optional. It is also possible for the entire image area of the camera to be selected for an image transformation or for the user to manually select part of the image without object recognition taking place in this area. For this purpose, the user could, for example, use a suitable gesture to outline the area to be transformed in his field of vision or to mark it in some other way.

Im dritten Schritt (13) wird nach dem Wechsel in den Modus der Bildtransformation das gesamte Bild, der ausgewählte Bereich oder das erkannte und ausgewählte Objekt in veränderter Form auf dem Bildschirm dargestellt. Dabei sind unter anderem folgende Bildtransformationen denkbar: Vergrößerung - etwa nach dem Wirkprinzip einer Lupe - oder Verkleinerung, Spiegelung oder Drehung, Farbanpassung oder Farbaustausch, Helligkeitsveränderung oder Kontrastverstärkung, Anwendung eines Bildfilters, Kantenerkennung und Kantenhervorhebung oder Ersetzung des Bildes durch eine Aufnahme in einem anderen Wellenlängenbereich, z. B. mit Hilfe von Infrarot- oder Ultraviolett-Kameras.In the third step ( 13th ) After switching to the image transformation mode, the entire image, the selected area or the recognized and selected object is displayed in a modified form on the screen. Among other things, the following image transformations are conceivable: Enlargement - for example, according to the operating principle of a magnifying glass - or reduction, mirroring or rotation, color matching or color replacement, brightness change or contrast enhancement, application of an image filter, edge detection and edge highlighting or replacement of the image by a recording in a different wavelength range , e.g. B. with the help of infrared or ultraviolet cameras.

Alternativ kann eine Bildtransformation auf alle anderen Bereiche des Kamerabildes außerhalb des gewählten Bereichs bzw. abseits des ausgewählten Objekts erfolgen, um z. B. eine Ablenkung des Nutzers zu verhindern. Einschlägige Maßnahmen umfassen die Schwärzung oder anderweitige Überdeckung mit einer oder mehreren Farben oder Farbverläufen sowie unscharfe Darstellung dieser Bereiche.Alternatively, an image transformation can take place on all other areas of the camera image outside the selected area or away from the selected object in order to e.g. B. to prevent distraction of the user. Relevant measures include blackening or other covering with one or more colors or color gradients as well as blurring these areas.

Gerade für den Fall, dass die Bildtransformation nicht vom Nutzer selbst, sondern durch das AR-Endgerät oder einen Dritten ausgewählt wird, bietet es sich an, die Transformation (13) fließend einzuleiten - zum Beispiel durch eine simulierte Brennweitenänderung („Zoomfahrt“) bzw. langsames Steigern der Filterfunktion -, damit der Nutzer beim Wechsel des Darstellungsmodus nicht die Orientierung verliert.Especially in the event that the image transformation is not selected by the user himself, but by the AR device or a third party, it makes sense to carry out the transformation ( 13th ) to be introduced fluently - for example by a simulated change in focal length ("zooming") or a slow increase in the filter function - so that the user does not lose his or her orientation when changing the display mode.

Im Modus der Bildtransformation ist es sowohl denkbar, dass weiterhin AR-Inhalte eingeblendet werden, als auch dass diese Einblendung ausgesetzt wird.In the image transformation mode, it is both conceivable that AR content will continue to be displayed and that this display will be suspended.

Im vierten Schritt (14) wird der Modus der Bildtransformation verlassen und zurück in den Standardmodus gewechselt, in dem der Nutzer die nichttransformierte Umgebung zusammen mit AR-Inhalten sieht. Das Beenden des Verfahrens (10) kann - ähnlich wie bei der Auswahl des zu transformierenden Bereiches - durch eine Aktion des Nutzers mittels manueller Eingabegeräte oder in Gestalt von Hand- und Fingergesten, Kopfbewegungen und Sprachkommandos beendet werden. Die Rückkehr in den Normalbetrieb kann auch nach Ablauf einer definierten Zeitspanne, dadurch, dass die ausgewählten Objekte den Sichtbereich der Kamera verlassen, oder durch externe Ereignisse veranlasst werden, die dem AR-Endgerät übermittelt werden. Denkbar sind insbesondere eine Beendigung durch Dritte oder das Erkennen einer Situation, in der der Nutzer seine Umgebung unverändert - also ohne Bildtransformation - sehen muss, um zum Beispiel eine Gefahr für sich oder andere erkennen und abwenden zu können.In the fourth step ( 14th ) the image transformation mode is exited and the standard mode is changed back to, in which the user sees the non-transformed environment together with AR content. The termination of the procedure ( 10 ) can - similar to the selection of the area to be transformed - be terminated by an action by the user using manual input devices or in the form of hand and finger gestures, head movements and voice commands. The return to normal operation can also be initiated after a defined period of time, in that the selected objects leave the field of vision of the camera, or by external events that are transmitted to the AR terminal. In particular, a termination by a third party or the recognition of a situation in which the user must see his environment unchanged - i.e. without image transformation - in order to be able to recognize and avert a danger to himself or others, for example, are conceivable.

Ein Anwendungsbeispiel für den praktischen Nutzen einer AR-Brille mit Standard- und Zusatzfunktion könnte die computerunterstützte Bestückung einer Platine mit sehr kleinen Bauteilen sein. Ein entsprechendes Szenario ist in 2 dargestellt. Der Benutzer der AR-Brille (20) sieht im Standardmodus die reale Umgebung, wie er sie auch ohne Brille (20) sehen würde. Zusätzlich werden auf dem Bildschirm der Brille (20) virtuelle Objekte (27) dargestellt, die ihn bei seiner Aufgabe unterstützen. Im konkreten Beispiel könnte ein solches Objekt (27) in Gestalt einer Sprechblase den mit Lot (23) und Lötkolben (24) ausgerüsteten Nutzer dabei anleiten, an einer bestimmten Stelle (25) auf der Platine (22) ein bestimmtes Bauteil (26) anzubringen, um ihn bei diesem komplexen Arbeitsablauf zu unterstützen. Auf diese Weise würde er in seinem direkten Sichtfeld auf den anstehenden Arbeitsschritt hingewiesen, ohne den Blick von der Platine (22) abwenden und auf einen Bestückungsplan richten zu müssen.An application example for the practical use of AR glasses with standard and additional functions could be the computer-aided assembly of a circuit board with very small components. A corresponding scenario is in 2 shown. The user of the AR glasses ( 20th ) sees the real environment in standard mode as he would without glasses ( 20th ) would see. In addition, on the screen of the glasses ( 20th ) virtual objects ( 27 ) that support him in his task. In the specific example, such an object ( 27 ) in the form of a Speech bubble with plumb bob ( 23 ) and soldering iron ( 24 ) guide the equipped user at a certain point ( 25th ) on the circuit board ( 22nd ) a specific component ( 26th ) to support him in this complex workflow. In this way he would be informed of the upcoming work step in his direct field of vision without looking from the circuit board ( 22nd ) and have to focus on a placement plan.

Für die Durchführung des Arbeitsschritts selbst, vorliegend also das filigrane Löten eines sehr kleinen Bauteils, ist der zweite Modus der AR-Brille (20) von Vorteil. Daher wird dem Nutzer eine Vergrößerung des Bildbereiches um die Lötstelle oder des gesamten Bildes vorgeschlagen.To carry out the work step itself, in this case the filigree soldering of a very small component, the second mode of the AR glasses is ( 20th ) advantageous. Therefore, the user is suggested to enlarge the image area around the solder joint or the entire image.

Nach dem durch den Nutzer bestätigten Wechsel in den Transformationsmodus wird der besagte Bildbereich oder das gesamte Bild digital vergrößert und - wie in 3 gezeigt - auf dem Bildschirm der AR-Brille (20) dargestellt. Dabei ist es zielführend, dass die Wahrnehmung der tatsächlichen Umgebung vollständig unterdrückt wird, damit der Benutzer nicht gleichzeitig die tatsächliche Umgebung in unveränderter Form und eine teiltransparente Darstellung der digital vergrößerten Umgebung sieht.After the change to the transformation mode, confirmed by the user, the said image area or the entire image is digitally enlarged and - as in 3rd shown - on the screen of the AR glasses ( 20th ) shown. It is expedient that the perception of the actual environment is completely suppressed so that the user does not see the actual environment in unchanged form and a partially transparent representation of the digitally enlarged environment at the same time.

Nachdem der Arbeitsschritt mittels der Vergrößerung erfolgreich abgeschlossen wurde, versetzt der Nutzer die AR-Brille (20) wieder in den Standardmodus. Durch diese alternativen Betriebsmodi muss er nicht fortlaufend zwischen unterschiedlichen Hilfsmitteln wechseln, sondern kann die AR-Brille (20) gleichermaßen zur Wahrnehmung seiner Umgebung und inhaltlichen Unterstützung der ihm übertragenen Arbeitsaufgabe einsetzen. Sein Arbeitsablauf wird dadurch beschleunigt und vereinfacht.After the work step has been successfully completed using the magnification, the user relocates the AR glasses ( 20th ) back to standard mode. With these alternative operating modes, he does not have to constantly switch between different aids, but can use the AR glasses ( 20th ) equally to perceive his surroundings and to support the content of the work assigned to him. This accelerates and simplifies his workflow.

Dieses Verfahren (10) kann beispielsweise in Software oder Hardware oder in einer Mischform aus Software und Hardware beispielsweise in der AR-Brille (20) implementiert sein.This method ( 10 ) can be in software or hardware, for example, or in a mixed form of software and hardware, for example in AR glasses ( 20th ) must be implemented.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 9269011 B1 [0003]
US 20140043365 A1 [0004]
GB 2513865 A [0005]

Claims

Method (10) for processing an image recorded by a camera, characterized by the following features: - in a transformation mode, the image is subjected to a predetermined transformation (13) and displayed to a user on a display unit (21) and Exit event (14).

Method (10) according to Claim 1 , characterized by the following features: - at least one area (25) of the image is marked (11) on the display unit (21) and - the area (25) is selected (12) for transformation (13) and the transformation mode is activated.

Method (10) according to Claim 2 , characterized in that the area (25) is recognized with at least one of the following techniques: object recognition by comparing the image with objects and other images from a database, recognition of edges in the camera image, recognition of certain colors or Color samples or - recognition of markings or labels.

Method (10) according to Claim 2 or 3rd , characterized in that the selection (12) takes place in one of the following ways: - a manual selection by a hand-operated input device, - hand and finger gestures that are executed in a field of view of the camera and recognized by image processing, - voice commands that are recorded and processed via a microphone, - special head movements, which are recognized by position, acceleration and rotation rate sensors or image processing or - a direction of view of the user determined by the field of vision or other cameras.

Method (10) according to Claim 3 or 4th , characterized in that the transformation (13) comprises at least one of the following measures: - an enlargement or reduction, - a mirroring or rotation, - a color adjustment or a color exchange, - a brightness change or contrast enhancement, - an application of an image filter, - a Edge detection and highlighting, - a replacement of the image by a recording in a different wavelength range or - a blurring or blurring of the image outside the selected (12) area (25).

Method (10) according to one of the Claims 3 to 5 , characterized in that the exit (14) of the transformation mode is triggered by at least one of the following events: - a predetermined action by the user, - the expiry of a defined period of time, - a movement of the camera in such a way that the selected (12) area ( 25) is outside the field of vision or - a notification requesting leaving (14) the transformation mode.

Method (10) according to Claim 1 , characterized by the following feature: the image is completely subjected to the transformation (13).

Computer program which is set up, the method (10) according to one of the Claims 1 to 7th to execute.

Machine-readable storage medium on which the computer program is based Claim 8 is stored.

Device (20) which is set up, the method (10) according to one of the Claims 1 to 7th to execute.