DE102022118300A1 - Verfahren und System zur Übersetzung von Text - Google Patents

Verfahren und System zur Übersetzung von Text Download PDF

Info

Publication number
DE102022118300A1
DE102022118300A1 DE102022118300.9A DE102022118300A DE102022118300A1 DE 102022118300 A1 DE102022118300 A1 DE 102022118300A1 DE 102022118300 A DE102022118300 A DE 102022118300A DE 102022118300 A1 DE102022118300 A1 DE 102022118300A1
Authority
DE
Germany
Prior art keywords
text
vehicle
translated
data glasses
area surrounding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022118300.9A
Other languages
English (en)
Inventor
Tobias Bauernfeind
Manfred Pauli
Wolfgang Haberl
Alan Keim
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE102022118300.9A priority Critical patent/DE102022118300A1/de
Publication of DE102022118300A1 publication Critical patent/DE102022118300A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

Offenbart wird ein Verfahren zur Übersetzung von Text, wobei das Verfahren von einem System aus Fahrzeug und Datenbrille ausgeführt wird, wobei das Fahrzeug eine Kamera umfasst und Mittel zur Bild- und Textverarbeitung; wobei die Datenbrille dazu eingerichtet ist, räumliche Darstellungen anzuzeigen, wobei das Verfahren umfasst: Erkennen von Objekten und deren Position im Umfeld des Fahrzeugs durch das Fahrzeug; Erkennen von Text auf den erkannten Objekten und der Position des Textes im Umfeld des Fahrzeugs durch das Fahrzeug; Klassifizieren des Textes durch das Fahrzeug in zu übersetzenden Text oder nicht zu übersetzenden Text; Im Falle einer Klassifizierung als zu übersetzenden Text: Übersetzen des Textes; Senden des übersetzten Textes und die Position des Textes im Umfeld des Fahrzeugs an die Datenbrille durch das Fahrzeug; Darstellen des übersetzten Textes durch die Datenbrille in Bezug zu der Position des Textes im Umfeld des Fahrzeugs.

Description

  • Die Erfindung betrifft ein Verfahren und System zur Übersetzung von Text.
  • Heutzutage sind Fahrzeuge bekannt, die mit einer Vielzahl von Sensoren ausgestattet, unter anderem Kameras, die die Umgebung aufnehmen. Ebenso sind diese Fahrzeuge mit Verarbeitungsmitteln ausgestattet, die typische Computerfunktionen wie Bildverarbeitung ausführen können.
  • Ferner sind Datenbrillen bekannt (manchmal auch Head-mounted Displays, HMD, genannt), die die Umgebung durch die Anzeige von Darstellungen an einer wählbaren Position im Umfeld der Datenbrille augmentieren (erweitern) können. Dazu können die Daten für die Anzeige können sowohl auf der Datenbrille vorliegen als auch von einem externen Gerät stammen.
  • Fahrzeuge werden häufig in Ländern mit Sprachen eingesetzt, die von den Fahrern und/oder anderen Insassen nicht verstanden werden. Hierdurch kann insbesondere das Problem entstehen, dass Straßenschilder oder Text, der für die Fahrt relevant ist, nicht verstanden wird. Dies betrifft insbesondere Mautstellen, Navigationsvorschläge, und allgemeine Verkehrsinformation. Besonders ausgeprägt ist das Problem, wenn schon die Schriftzeichen nicht verständlich sind.
  • Dem Fachmann stellt sich nun die Aufgabe die oben genannten Schwierigkeiten zu lösen.
  • Die Aufgabe wird durch die unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen sind in den abhängigen Ansprüchen definiert.
  • Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Übersetzung von Text, wobei das Verfahren von einem System aus Fahrzeug und Datenbrille ausgeführt wird, wobei das Fahrzeug eine Kamera umfasst und Mittel zur Bild- und Textverarbeitung; wobei die Datenbrille dazu eingerichtet ist, räumliche Darstellungen anzuzeigen, wobei das Verfahren umfasst: Erkennen von Objekten und deren Position im Umfeld des Fahrzeugs durch das Fahrzeug; Erkennen von Text auf den erkannten Objekten und der Position des Textes im Umfeld des Fahrzeugs durch das Fahrzeug; Klassifizieren des Textes durch das Fahrzeug in zu übersetzenden Text oder nicht zu übersetzenden Text; Im Falle einer Klassifizierung als zu übersetzenden Text: Übersetzen des Textes; Senden des übersetzten Textes und die Position des Textes im Umfeld des Fahrzeugs an die Datenbrille durch das Fahrzeug; Darstellen des übersetzten Textes durch die Datenbrille in Bezug zu der Position des Textes im Umfeld des Fahrzeugs. Die Textübersetzung kann durch das Fahrzeug und/oder einen entfernten Server ausgeführt werden, wozu das Fahrzeug über Mittel zur Datenübertragung per Mobilfunk verfügt.
  • Hierin wird also vorgeschlagen, relevanten Text im Umfeld des Fahrzeugs durch die fahrzeugeigene Kamera (oder ein Kamerasystem aus mehreren Kameras) zu erkennen und auch die Position des relevanten Textes zu erfassen. Die Übersetzung des Textes wird dann an räumlich ortskorrekter Stelle (augmentiert) durch die Datenbrille angezeigt, also beispielsweise über oder neben dem Originaltext.
  • Das Klassifizieren kann unter Berücksichtigung des texttragenden Objektes und/oder unter Berücksichtigung des Straßentyps ausgeführt werden, auf dem sich das Fahrzeug befindet.
  • In einer Weiterbildung kann beim Erkennen des Textes berücksichtigt werden, ob sich der Text in einem Interessensbereich befindet, wobei der Interessensbereich anhand eines Richtungsbereichs zum Fahrzeug definiert wird.
  • Im Detail ergibt sich damit folgendes System:
    • - Das Fahrzeug verfügt über Sensorik (insbesondere Kameras), mit welcher die Umgebung beobachtet wird. Die Sensorik ist typischerweise so ausgelegt, dass diese sowohl bei Tageslicht als auch bei Dunkelheit funktionieren.
    • - Ein Bildverarbeitungsalgorithmus analysiert die Kamerastreams auf Text und/oder Schilder. Wird ein Text erkannt, wird dieser Bereich als „region of interest“ (ROI) definiert. Zusätzlich wird die 3D-Position des ROI relativ zum Fahrzeug gespeichert.
    • - Alle Bereiche mit Text (ROI) werden in einen Texterkennungsalgorithmus gegeben. Dieser extrahiert den Text und erkennt die Sprache.
    • - Kontextbasiert wird entschieden, ob der Text für den Fahrer bzw. Insassen relevant ist (z.B. werden Kennzeichen typischerweise als nicht-relevant eingestuft; Verkehrsschilder jedoch nicht).
    • - Alle relevanten Bereiche/Textstellen werden in die Sprache des Nutzers übersetzt.
    • - Diese Daten (übersetzter Text inkl. Position in der Welt) werden an die Datenbrille geschickt.
    • - Der übersetzte Text wird in der Datenbrille an der korrekten Position angezeigt. Durch ein Trackingsystem im Fahrzeug kann der übersetzte Text direkt über den originalen Text in der Welt eingeblendet werden (Augmentierung).
    • - Dieser Prozess erfolgt kontinuierlich und fortlaufend, sodass der Nutzer stets den übersetzten Text von relevanten Informationen angezeigt bekommt.
  • KURZE BESCHREIBUNG DER ZEICHNUNG
    • 1 zeigt ein Ablaufdiagramm gemäß einem Ausführungsbeispiel der Erfindung.
  • DETAILLIERTE BESCHREIBUNG DES AUSFÜHRUNGSBEISPIELS
  • 1 zeigt ein Ablaufdiagramm gemäß einem Ausführungsbeispiel der Erfindung. Der Nutzer fährt beispielsweise im Ausland mit einer für ihn fremden Sprache. Das Fahrzeug erkennt mittels Kameras und entsprechende Algorithmen kontinuierlich fremdsprachige Textstellen und analysiert diese auf Relevanz, vgl. Schritt S1 und S2. Im Schritt S3 wird der Text klassifiziert im Hinblick darauf, ob der Text übersetzt werden soll. Wird beispielsweise auf einer Autobahnfahrt in einer Verkehrsinformationsanzeige ein Warnhinweis über einen Stau eingeblendet, wird diese Information als relevant klassifiziert (z.B. über einen lernenden Algorithmus) und übersetzt. Der übersetzte Text und die Position des Textes wird an die Datenbrille des Nutzers weitergeleitet, Schritt S4. Dort wird der übersetzte Text an der korrekten 3D-Position der Welt angezeigt und der Nutzer ist somit über die Anzeige des Verkehrsinformationssystems informiert, Schritt S5.

Claims (6)

  1. Verfahren zur Übersetzung von Text, wobei das Verfahren von einem System aus Fahrzeug und Datenbrille ausgeführt wird, wobei das Fahrzeug eine Kamera umfasst und Mittel zur Bild- und Textverarbeitung; wobei die Datenbrille dazu eingerichtet ist, räumliche Darstellungen anzuzeigen, wobei das Verfahren umfasst: Erkennen von Objekten und deren Position im Umfeld des Fahrzeugs durch das Fahrzeug; Erkennen von Text auf den erkannten Objekten und der Position des Textes im Umfeld des Fahrzeugs durch das Fahrzeug; Klassifizieren des Textes durch das Fahrzeug in zu übersetzenden Text oder nicht zu übersetzenden Text; Im Falle einer Klassifizierung als zu übersetzenden Text: Übersetzen des Textes; Senden des übersetzten Textes und die Position des Textes im Umfeld des Fahrzeugs an die Datenbrille durch das Fahrzeug; Darstellen des übersetzten Textes durch die Datenbrille in Bezug zu der Position des Textes im Umfeld des Fahrzeugs.
  2. Verfahren nach Anspruch 1, wobei das Klassifizieren unter Berücksichtigung des texttragenden Objektes ausgeführt wird.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Klassifizieren unter Berücksichtigung des Straßentyps ausgeführt wird, auf dem sich das Fahrzeug befindet.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei beim Erkennen des Textes berücksichtigt wird, ob sich der Text in einem Interessensbereich befindet, wobei der Interessensbereich anhand eines Richtungsbereichs zum Fahrzeug definiert wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Textübersetzung durch das Fahrzeug und/oder durch einen entfernten Server vorgenommen wird.
  6. System aus Fahrzeug und Datenbrille, wobei das System dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche auszuführen.
DE102022118300.9A 2022-07-21 2022-07-21 Verfahren und System zur Übersetzung von Text Pending DE102022118300A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102022118300.9A DE102022118300A1 (de) 2022-07-21 2022-07-21 Verfahren und System zur Übersetzung von Text

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022118300.9A DE102022118300A1 (de) 2022-07-21 2022-07-21 Verfahren und System zur Übersetzung von Text

Publications (1)

Publication Number Publication Date
DE102022118300A1 true DE102022118300A1 (de) 2024-02-01

Family

ID=89508386

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022118300.9A Pending DE102022118300A1 (de) 2022-07-21 2022-07-21 Verfahren und System zur Übersetzung von Text

Country Status (1)

Country Link
DE (1) DE102022118300A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013016241A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
CN107562399A (zh) 2016-06-30 2018-01-09 上海擎感智能科技有限公司 一种车载翻译显示多屏系统及一种车辆
DE102018204325A1 (de) 2018-03-21 2019-09-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel
DE102019119532A1 (de) 2019-07-18 2021-01-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013016241A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
CN107562399A (zh) 2016-06-30 2018-01-09 上海擎感智能科技有限公司 一种车载翻译显示多屏系统及一种车辆
DE102018204325A1 (de) 2018-03-21 2019-09-26 Bayerische Motoren Werke Aktiengesellschaft Verfahren, Vorrichtung und Fortbewegungsmittel für eine kinetosevermeidende, virtuelle Darstellung von Multimediainhalten in einem Fortbewegungsmittel
DE102019119532A1 (de) 2019-07-18 2021-01-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug

Similar Documents

Publication Publication Date Title
DE19982422C1 (de) Vorrichtung und Verfahren zur Verkehrszeichenerkennung
DE102014206623A1 (de) Lokalisierung eines Head-mounted Displays (HMD) im Fahrzeug
DE102013222322A1 (de) Verfahren und Gerät für das Bereitstellen von Augmented Reality bzw. erweiterter Realität
DE102016014712B4 (de) Fahrzeug und Verfahren zur Ausgabe von Informationen an eine Fahrzeugumgebung
DE102017223284A1 (de) Verfahren zum assistierten Betreiben eines Fahrzeugs und Fahrzeugassistentsystem
DE102013210729A1 (de) Verfahren und Vorrichtung zum Signalisieren eines visuell zumindest teilweise verdeckten Verkehrsobjekts für einen Fahrer eines Fahrzeugs
DE102014207398B4 (de) Objektassoziation zur kontaktanalogen Anzeige auf einem HMD
DE102008043167A1 (de) Vorrichtung und Verfahren zur Erzeugung von Navigationsdaten
WO2020126375A1 (de) Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs sowie system zur analyse der wahrnehmung von objekten
DE102019220335A1 (de) Semantische segmentierung unter verwendung von fahreraufmerksamkeitsinformationen
DE102016120066A1 (de) Computer-implementiertes Verfahren zum Kontrollieren bzw. Testen eines Objekterkennungssystems
DE102020004790A1 (de) Vorrichtung zur Erkennung von Verkehrszeichen von einem Fahrzeug
DE102022118300A1 (de) Verfahren und System zur Übersetzung von Text
DE102007021579A1 (de) Verfahren und Vorrichtung zur Klassifikation mindestens eines Verkehrszeichens
DE102022001204A1 (de) Verfahren zur Objekterkennung in einer Fahrzeugumgebung
DE102017209802A1 (de) Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille
DE102019004075A1 (de) Verfahren zum Bestimmen einer Relevanz eines Objekts in einer Umgebung eines Kraftfahrzeugs mittels eines Fahrerassistenzsystems sowie Fahrerassistenzsystem
DE102019217752B4 (de) Verfahren, Computerprogramm mit Instruktionen und Vorrichtung zum Erfassen von Informationen zu einer Person
DE102018123367A1 (de) Verfahren zum Verbessern der Fahrsicherheit basierend auf der Erkennung spezieller Schilder
DE102021207258B3 (de) Verfahren zur automatischen Steuerung wenigstens einer Fahrzeugfunktion eines Fahrzeugs und Benachrichtigungssystem für ein Fahrzeug
DE102022201730A1 (de) Verfahren und Assistenzsystem zum Unterstützen einer Fahrzeugführung basierend auf Verarbeitung natürlicher Sprache und Kraftfahrzeug
DE102017217941A1 (de) Vorrichtung, Fahrzeug und Verfahren
DE102024001872A1 (de) Verfahren zur Erzeugung von Bildern einer Umgebung eines Fahrzeugs
DE102007021577A1 (de) Verfahren und Vorrichtung zur Verkehrszeichenerkennung
DE102022124273A1 (de) Verfahren und Vorrichtung zur Ermittlung einer Brillenpose einer Datenbrille mithilfe eines Outside-In Tracking

Legal Events

Date Code Title Description
R163 Identified publications notified