DE202019102869U1 - Control system of a means of transport with a spectacle-visualization means - Google Patents
Control system of a means of transport with a spectacle-visualization means Download PDFInfo
- Publication number
- DE202019102869U1 DE202019102869U1 DE202019102869.6U DE202019102869U DE202019102869U1 DE 202019102869 U1 DE202019102869 U1 DE 202019102869U1 DE 202019102869 U DE202019102869 U DE 202019102869U DE 202019102869 U1 DE202019102869 U1 DE 202019102869U1
- Authority
- DE
- Germany
- Prior art keywords
- image
- display
- transport
- vehicle
- spectacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012800 visualization Methods 0.000 title claims abstract description 104
- 238000012545 processing Methods 0.000 claims abstract description 31
- 230000005540 biological transmission Effects 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 210000003128 head Anatomy 0.000 claims description 53
- 239000011521 glass Substances 0.000 claims description 33
- 230000033001 locomotion Effects 0.000 claims description 21
- 238000001514 detection method Methods 0.000 claims description 13
- 230000004438 eyesight Effects 0.000 claims description 12
- 239000004984 smart glass Substances 0.000 claims description 10
- 230000003287 optical effect Effects 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 230000008878 coupling Effects 0.000 claims description 3
- 238000010168 coupling process Methods 0.000 claims description 3
- 238000005859 coupling reaction Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 16
- 230000008901 benefit Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 5
- 230000004313 glare Effects 0.000 description 4
- 230000004297 night vision Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 241000282414 Homo sapiens Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000001454 recorded image Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 241001295925 Gegenes Species 0.000 description 1
- 206010045178 Tunnel vision Diseases 0.000 description 1
- 238000004378 air conditioning Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 244000145845 chattering Species 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000010409 ironing Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000422 nocturnal effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000002023 somite Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
Steuerungssystem zum Steuern eines Transportmittels (1) mit einem Brillen-Visualisierungs-Mittel (7, 71, 8), zum Tragen am Kopf einer Person, aufweisend eine flache oder gebogene grafische Bildoberfläche (301) und eine prozessorgesteuerte Bildverarbeitung (B1) und mindestens ein Display (301, 71, 82, 82') zur grafischen Darstellung erstellter Bilddaten, mit oder ohne einer integrierten Kamera, und Mittel vorgesehen sind, die Blickrichtung der Person zu ermitteln, dadurch gekennzeichnet, dass
- die Bilddaten mindestens einer außerhalb des Brillen-Visualisierungs-Mittels (7, 71, 8) fest an einem Transportmittel (1) angeordneten Frontkamera (21, 22), einer linksseitigen Querkamera (28), einer rechtsseitigen Querkamera (28'), einer linksseitigen rückwärtsgerichteten Kamera (27) und einer rechtsseitigen rückwärtsgerichteten Kamera (27") in der Bildverarbeitung (B1) oder einer fahrzeugfesten Bildvorverarbeitung (B2) einer Ausschnittwahl (301) in der Größe des Displays (301, 82, 82') unterzogen sein können,
- und über ein geeignetes Datenübertragungskanal vor oder nach einer fahrzeugfesten Bildverarbeitung in die Bildverarbeitung übertragen werden und auf dem Display (71, 301, 82, 82') darstellbar bereitgestellt sein können,
- - und ein Mittel vorgesehen ist, die ermittelte Blickrichtung auf die Ausrichtung des Transportmittels in Bezug zu bringen, derart, dass bei Geradeausblick des Fahrers eine Geradeausrichtung des Transportmittels zueinander zugeordnet sind, und eine aktuelle beliebige relative Blickrichtung den Bildausschnitt (301) aus allen Bilddaten (3000, 3001, 3002) festlegen kann.
A control system for controlling a means of transport (1) having eyeglass visualization means (7, 71, 8) for wearing on a person's head, comprising a flat or curved graphic image surface (301) and processor-controlled image processing (B1) and at least one Display (301, 71, 82, 82 ') for graphically generated image data, with or without an integrated camera, and means are provided to determine the viewing direction of the person, characterized in that
the image data of at least one front camera (21, 22) fixedly arranged on a transport means (1) outside the spectacle-visualization means (7, 71, 8), a left-side transverse camera (28), a right-side transverse camera (28 ') left-sided rear-facing camera (27) and a right-side rear-facing camera (27 ") in image processing (B1) or vehicle-fixed image preprocessing (B2) can be subjected to a cropping selection (301) in the size of the display (301, 82, 82 '),
and can be transmitted to the image processing via a suitable data transmission channel before or after a vehicle-fixed image processing and can be displayed on the display (71, 301, 82, 82 '),
and means are provided for bringing the determined viewing direction into relation to the orientation of the means of transport such that, when the driver is facing straight ahead, the direction of travel of the means of transport is assigned to one another, and a current arbitrary relative line of sight covers the image detail (301) from all image data (3000, 3001, 3002).
Description
Die Erfindung betrifft ein Steuerungssystem zum Steuern eines Transportmittels mit einem Brillen-Visualisierungs-Mittel mit den im Oberbegriff des Anspruchs 1 genannten Merkmalen, Brillen-Visualisierungs-Mittel mit den im Oberbegriff des Anspruchs 15 genannten Merkmalen und eine Fernsteuerungs-Fahrerkabine zum Steuern eines Transportfahrzeugs aus der Ferne mit den im Oberbegriff des Anspruchs 16 genannten Merkmalen.The invention relates to a control system for controlling a means of transport with a spectacle-visualizing means with the features mentioned in the preamble of
Es ist bekannt, am Kopf getragene Visualisierungsmittel wie eine Smart-Glas-Brille oder ein Smartphone in einem Kopfhalter dazu zu verwenden, darin virtuelle Bildinhalte wie Computerspiele oder Videofilme zu Unterhaltung zu betrachten. Mit denselben Geräten kann ein Anwender per einer Kamera auch eine reale Umgebung betrachten. Virtual Reality ist der benutzte Begriff. In grafischen 3D-Anwendungen werden Bildinhalte in Abhängigkeit der Blickrichtung ausgewählt und aktualisiert berechnet, sodass der Anwender einen realitätsnahen Eindruck erhalten kann, dass er die Handlung bestimmt. Er kann sich in Bewegung setzen und in dem virtuellen Bild in gewählter Richtung bewegen. Dazu wird ein Signal einer Vorrichtung zur Bestimmung der Blickrichtung bereitgestellt. Beispielsweise kann es ein Gyroskopsensor sein, deren absolute konstante Ausrichtung im Raum als ein Winkelwert mit der Ausrichtung der Kamera, also des Gerätes, erfasst wird. Der gleiche Gyroskopsensor kann auch in vertikaler Richtung einen abweichenden Winkelwert liefern und wird als eine Wasserwaage-Anwendung verwendet. Eine Wasserwaageanwendung kann allerdings auch anders als ein gravitativ wirkender Lotsensor eingesetzt sein, weil er geografisch unabhängig eine Lotrechte erfasst, wogegen ein Gyroskop immer eine konstante Ausrichtung beibehält und eine Breitenkorrektur benötigt. Ein magnetischer Kompasssensor kann zusätzlich vorhanden sein, um magnetische Polrichtung zu nutzen.It is known to use head-worn visualization means, such as smart glass goggles or a smartphone in a headgear, for viewing virtual image content such as computer games or video for entertainment. With the same devices, a user can also view a real environment via a camera. Virtual reality is the term used. In graphical 3D applications, image contents are selected and updated based on the viewing direction, so that the user can get a realistic impression that he or she determines the plot. He can set in motion and move in the virtual image in the selected direction. For this purpose, a signal of a device for determining the viewing direction is provided. For example, it may be a gyroscope sensor whose absolute constant orientation in space is detected as an angle value with the orientation of the camera, ie the device. The same gyroscope sensor can also provide a different angle value in the vertical direction and is used as a spirit level application. However, a spirit level application can also be used differently than a gravitationally acting Lotsensor because it detects geographically independent perpendicular, whereas a gyroscope always maintains a constant orientation and requires a width correction. A magnetic compass sensor may additionally be provided to utilize magnetic pole direction.
Die konstante Ausrichtung des Gyroskops kann bevorzugt mit der Erdachse zusammenfallen, muss aber nicht unbedingt - sie muss nur eine bekannte absolute Raumausrichtung sein. In manchen Geräten spart man an einem Gyroskopsensor und verwendet ein Ortungssignal eines GPS-Sensors, um aus seiner Positionsänderung die Bewegungsrichtung zu gewinnen.The constant orientation of the gyroscope may preferably coincide with the axis of the earth, but need not necessarily - it must be just a known absolute spatial orientation. In some devices you save on a gyroscope sensor and uses a locating signal of a GPS sensor to gain the direction of movement from its position change.
Eine der letzten Entwicklungen versprach, eine gemischte Darstellung anzubieten, die reale Bilder mit Virtuellen zusammenzufügen ersucht. Dazu werden Sensoren den Raum abtasten und seine Abmessungen vermessen, um eine angepasste Umgebung innen darzustellen. Der Anwender kann dann wissen, das eine wand vor ihm ist, und würde sich dementsprechend verhalten. Das Bild ist jedoch eigentlich nur virtuell. Hand gehaltene Geräte werden dazu verwendet, durch deren Positionsermittlung ein virtuelles Handhabungsgerät in der VR-Welt abzubilden. Sie können als Pointer, als Laser oder virtuelle Waffen verwendet sein und mit den ihnen zugeordneten virtuellen Gegenständen verknüpft sein.One of the latest developments promised to offer a mixed presentation requesting real images to be put together with virtual ones. To do this, sensors will scan the room and measure its dimensions to present a customized environment inside. The user can then know that there is a wall in front of him and would behave accordingly. The picture is actually only virtual. Hand held devices are used to map their position detection a virtual handling device in the VR world. They can be used as pointers, as lasers or virtual weapons and linked to their associated virtual objects.
In der VR-Reality gezeigte Bilder können eine Rundumsicht haben und durch Kopfdrehung des Anwenders wird ihm eine Drehung in der VR-Welt präsentiert. Dazu wird die Position des Gerätes mit Kopf anhand eines Gyrosensors oder einer Simulation ermittelt.Images displayed in VR reality can have all-round visibility, and the user's head rotation presents him with a twist in the VR world. For this purpose, the position of the device with head is determined by means of a gyro sensor or a simulation.
Die Smart-Glas-Brillen dagegen bieten eine reale Durchsicht, damit der Anwender normal sehen und gehen kann, und in einem Teilabschnitt meistens in nur einem der zwei Brillengläser oder in einem Aufsatz davor oberhalb aus dem Blickfeld ein Bildchip zur Bilddarstellung vorgesehen ist. Die Kommandos zum Bedienen eines Computers werden durch Fingerbewegungen in der Nähe der elektronischen Einheit elektromagnetisch ermittelt oder durch Kopfbewegungen oder Knopfschalter gegeben.On the other hand, the smart glass eyeglasses offer a real view, so that the user can see and walk normally, and in a subsection mostly in only one of the two spectacle lenses or in an attachment in front above, a picture chip for image display is provided. The commands for operating a computer are determined electromagnetically by finger movements in the vicinity of the electronic unit or given by head movements or button switches.
Es werden Quadrokopter als Drohnen damit betrieben, wobei nur eine Kamera eine Frontansicht liefert und zum links recht schauen die ganze Drohne gedreht sein muss. Auch ferngelenkte Fahrzeuge gibt es, aber man kann sie nicht mit nur einer Frontalkamera betreiben. Mehrere Kameras kann aber ein Augengerät nicht verarbeiten und eine drehbare Kamera würde am Fahrzeug verdeckte Fahrzeugteile nicht hindurch sehen können.It is operated as a drone quadrocopter, with only one camera provides a front view and left to right look the whole drone must be rotated. There are also remote-controlled vehicles, but you can not operate them with just a front camera. However, multiple cameras can not handle an ophthalmic device and a rotatable camera would not be able to see hidden vehicle parts on the vehicle.
Transportfahrzeuge aller Art bereiten eine Reihe von Problemen betreffend Sicherheit durch einen Frontal-Zusammnenstoß, der über die Leistungsgrenzen von Airbags hinausgeht, aber auch schlechte Sichtverhältnisse durch Nebel, Schnee und Regen oder durch Blendung durch nächtliche Gegenlichter oder durch blendendes Sonnenlicht.Transport vehicles of all kinds pose a number of problems with regard to safety through frontal collision, which goes beyond the performance limits of airbags, but also poor visibility conditions through fog, snow and rain, or by glare from nighttime backlights or dazzling sunlight.
Als ein Transportmittel können Straßenfahrzeuge, Landfahrzeuge, Militärfahrzeuge, Flugzeuge, Wasserfahrzeuge, Unterwasserfahrzeuge, Schienenfahrzeuge mit einem beliebigen Antrieb Verwendung finden. Räder, Kettenantriebe oder Luftkissen können als Fahrwerk landgebundener Fahrzeuge eingesetzt sein. Es können auch offene Cabriofahrzeuge sein. Als ein Fluggerät kann eine Drohne oder ein Quadrupol Verwendung finden mit entsprechenden Joystick Bedienmitteln.As a means of transport, road vehicles, land vehicles, military vehicles, aircraft, watercraft, underwater vehicles, rail vehicles can be used with any drive. Wheels, chain drives or air cushions can be used as a chassis of land-based vehicles. It can also be open convertible vehicles. As an aircraft, a drone or quadrupole can be used with appropriate joystick controls.
Der Erfindung liegt die Aufgabe zugrunde, ein am Kopf getragenes Visualisierungsmittel derart zu gestalten, dass es für eine Vielzahl professioneller Anwendungen geeignet sein kann. Besonders zur Steuerung eines Fahrzeugs unter schlechten Sichtverhältnissen oder in rückwärtiger Sitzordnung zur erhöhten Sicherheit oder von einem fernlenkenden Platz aus. Nach einem ersten Aspekt geht die Erfindung von einem Steuerungssystem zum Steuern eines Transportmittels mit einem Brillen-Visualisierungs-Mittel, zum Tragen am Kopf einer Person, aufweisend eine flache oder gebogene grafische Bildoberfläche und eine prozessorgesteuerte Bildverarbeitung und mindestens ein Display zur grafischen Darstellung erstellter Bilddaten, mit oder ohne mindestens einer integrierten Kamera, und Mittel vorgesehen sind, die Blickrichtung der Person zu ermitteln.The invention has for its object to make a worn on the head visualization means such that it can be suitable for a variety of professional applications. Especially for the control of a vehicle in poor visibility or in rear seating order increased security or from a remote-controlled place. According to a first aspect, the invention relates to a control system for controlling a means of transport with a spectacle-visualizing means, for wearing on the head of a person, having a flat or curved graphic image surface and a processor-controlled image processing and at least one display for graphically generated image data, with or without at least one integrated camera, and means are provided to determine the viewing direction of the person.
Die erfindungsgemäßen Aufgaben werden dadurch gelöst, dass
- - die Bilddaten mindestens einer außerhalb des Brillen-Visualisierungs-Mittels fest an einem Transportmittel angeordneten Frontkamera, einer linksseitigen Querkamera, einer rechtsseitigen Querkamera, einer linksseitigen rückwärtsgerichteten Kamera und einer rechtsseitigen rückwärtsgerichteten Kamera in der Bildverarbeitung oder einer fahrzeugfesten Bildvorverarbeitung eine Ausschnittwahl in der Größe des Displays unterzogen sein können,
- - und über ein geeignetes Datenübertragungskanal vor oder nach einer fahrzeugfesten Bildverarbeitung in die Bildverarbeitung übertragen werden und auf dem Display darstellbar bereitgestellt sein können,
- - - und ein Mittel vorgesehen ist, die ermittelte Blickrichtung auf die Ausrichtung des Transportmittels in Bezug zu bringen, derart, dass bei Geradeausblick des Fahrers eine Geradeausrichtung des Transportmittels zueinander zugeordnet sind, und eine aktuelle beliebige relative Blickrichtung den Bildausschnitt aus allen Bilddaten festlegen kann.
- - The image data of at least one outside the eyeglass visualization means fixedly arranged on a transport front camera, a left-side cross camera, a right-side cross camera, a left-side rear-facing camera and a right-side rear-facing camera in the image processing or a vehicle-fixed image preprocessing a selection of the size of the display can be subjected
- and can be transmitted to the image processing via a suitable data transmission channel before or after a vehicle-fixed image processing and can be provided on the display in a displayable manner,
- - - And a means is provided to bring the determined viewing direction on the orientation of the means of transport in such a way that when the driver is straight ahead straight alignment of the transport means are assigned to each other, and a current arbitrary relative viewing direction can determine the image detail of all image data.
Dabei kann eine Kamera durch eine Weitwinkeloptik ersetzend für mehrere Kameras verwendet sein und ihr verzerrtes Bild kann durch eine Bildverarbeitung korrigiert sein. Es kann ferner in bevorzugtesten erfindungsgemäßen Ausgestaltungen zusätzlich mindestens eine nach oben und/oder eine nach unten gerichtete Kamera vorgesehen sein, wenn es ein Wasserfahrzeug, ein Unterwasserfahrzeug oder ein Flugzeug ist, um zur Steuerung oder zur Unterhaltung der Passagiere zu dienen. Die Person mit dem erfindungsgemäßen Gerät und Systemmitteln vor den Augen kann ungehindert durch die Wandungen des Transportmittels hindurch sehen. Die untere Ansicht können Flug- und Wasserfashrzeugpassagiere und Fahrer nutzen. Nach oben können Anwender aller Transportmittel zur Steuerung oder Unterhaltung schauen, um den Himmel zu sehn und ein Gefühl von Cabriofreiheit zu erleben.In this case, a camera can be used for a plurality of cameras by means of a wide-angle optical system and its distorted image can be corrected by image processing. In addition, in preferred embodiments according to the invention, at least one upwardly and / or one downwardly directed camera may additionally be provided if it is a watercraft, an underwater vehicle or an aircraft in order to serve for the control or maintenance of the passengers. The person with the device according to the invention and system means in front of the eyes can see through the walls of the means of transport unhindered. The lower view can be used by air and watercraft passengers and drivers. Upwards, users of all means of transport can look to the controls or entertainment to see the sky and experience a sense of zero cabin size.
Die Kameras an dem Fahrzeug können neben gewöhnlicher elektronischer Kameras auch als Nachsichtkameras nach beliebiger Technologie mit einer elektronischen Bilderfassung ausgeführt sein, um im Nebel, bei Regen, Schneesturm oder bei Nacht und Sonne ohne Blendung sicherer zu steuern. Sie können dazu monochromatisch oder durch eine Bildverarbeitung farblich oder teils farblich gestaltet sein.In addition to ordinary electronic cameras, the cameras on the vehicle can also be designed as indulgence cameras using any technology with electronic image capture in order to control them safely in the fog, rain, snowstorm or at night and without glare. They can be designed to be monochromatic or by image processing in color or in some colors.
Im Transportmittel kann optional seine Raumrichtung als ein Wert erfasst und im Datenkanal gesendet sein und daraus eine aktuelle relative Blickrichtung in Bezug auf das Transportmittel ermittelbar ausgebildet ist,In the means of transport optionally its spatial direction can be detected as a value and transmitted in the data channel and from this a current relative viewing direction with respect to the means of transport can be determined.
Die ermittelte relative Blickrichtung legt den Bildausschnitt für die Bildverarbeitung fest, ganz wie in den Computerspielen bisher, allerdings aus den durch Bilderfassungsmittel, mehrere Kameras, in Echtzeit aufgenommene Bilddaten, wodurch der Anwender eine aktuelle reale Umgebung des von ihm zu steuernden Fahrzeugs oder als Passagier ganz ergonomisch und intuitiv durch seine Blickrichtung erfassen kann, unabhängig davon, wie sein Sitz angeordnet ist und wo es sich befindet.The determined relative direction determines the image detail for the image processing, much as in the computer games so far, but from the image acquisition means, multiple cameras, recorded in real time image data, whereby the user a current real environment of the vehicle to be controlled by him or as a passenger completely ergonomically and intuitively, regardless of how its seat is located and where it is located.
Der Datenübertragungskanal kann per Funk- oder Drahtverbindung oder beides wählbar ausgeführt sein und eine USB-Steckverbindung, Bluetooth, Infrarot oder WiFi sind derzeit geeignete Mittel. Es kann bevorzugt das Internetnetz verwendet sein.The communication channel may be radio or wired, or both, and a USB connector, Bluetooth, infrared or WiFi are currently suitable means. The Internet network may preferably be used.
Erfindungsgemäße Vorteile werden noch effektiver, wenn die Mittel zur Ermittlung der relativen Blickrichtung und dadurch zur Auswahl des aktuellen Bildausschnitts aus Bilddaten aller Kameras durch eines der nicht vollständig aufgezählten Systemmittel ausgebildet sein können:
- A)
- - ein Kalibrierungsmittel vorgesehen sein kann, das eine Datenkopplung des Brillen-Visualisierungs-Mittels mit den empfangenen Bilddaten aller externer Bilderfassungsmittel ausführen kann, wenn die Person auf einem unveränderlich im Raum feststehenden Sitz fern vom Transportmittel sitzt und bevorzugt zwecks Reset geradeaus blickt; wobei ein Winkelwert zwischen der Sitzausrichtung, gleich der Geradeaus-Blickrichtung, und aktueller Gyroskopausrichtung des Brillen-Visualisierungs-Mittels ermittelbar und speicherbar vorgesehen ist, und wobei die so ermittelte Reset-Blickrichtung zumindest in einer horizontalen Ebene, bevorzugter auch in einer vertikalen Ebene erfasst sein kann;
- - dann dieser gespeicherte Kalibrierungswert für eine Zuordnung der empfangenen Bilddaten aus frontalem in Bewegungsrichtung Bilderfassungsmittel und entsprechend links und rechts und nach hinten von dieser frontaler Richtung aufgenommene Bilddaten erfolgen kann;
- - oder wenn der Sitz im Transportmittel steht und mit ihm seine Richtung ändert, die Ausrichtung des Sitzes mit den Bilderfassungsmitteln im Raum ständig und permanent aktualisierbar ausgebildet ist, und als eine Reset-Blickrichtung verwendet sein kann, sodass nur eine bereinigte Kopfdrehung durch Person zur Auswahl des Bildausschnitts herangezogen wird, und eine Bewegung der Person zusammen mit dem Sitz und Transportmittel kompensierend aus den Richtungsdaten herausgerechnet sein kann; oder
- B) eine absolute Raum-Ausrichtung des Transportmittels erfasst per einer Sensorvorrichtung, wie beispielsweise einem Gyroskop, und der Brillen-Visualisierungsvorrichtung per einer Sensorvorrichtung, wie beispielsweise einem eigenen Gyroskop, im Raum jeweils unabhängig erfasst und/oder ermittelt werden kann, und daraus ein relativer Bezug beider erfasster Ausrichtungen aufeinander vorgenommen sein kann, sodass eine relative Blickrichtung in Bezug auf die fahrzeugfest verbauten Bilderfassungsmittel oder den Sitz, , ermittelbar ist, oder
- C) es kann statt dessen eine zweiteilige Raumpositions-Vorrichtung im Transportmittel und dem Brillen-Visualisierungs-Mittel vorgesehen sein, die eine aktuelle relative Blickrichtung direkt ermitteln kann, und ein Bildausschnitt entsprechend der ermittelten Fahrzeug bezogenen relativen Blickrichtung aus allen Bilddaten aller Kameras in der Bildverarbeitung ausgewählt sein kann, der einen Blick nach links, rechts, gerade, nach hinten oder beliebig genau gerichtet abbilden kann, oder
- D) ein Bildausschnitt in einer fahrzeugfesten Bildvorverarbeitung aus Bilddaten aller Kameras anhand einer aktuellen ermittelten Blickrichtung vorgenommen sein kann, und nur die ausgewählten Bilddaten zur Brillen-Visualisierungsvorrichtung übertragbar bereit gestellt sein können, um dadurch den Datentransfer zu reduzieren,
- E) und optional ein zusätzliches Neigungs-Niveau-Sensor vorgesehen sein kann, oder die gleichen gyroskopisch ermittelten Werte verwendet sein können, um die Kopfneigung auch zu erfassen und zur Auswahl des Bildausschnitts zusätzlich vertikal in Blickhöhe zu nutzen.
- A)
- a calibration means can be provided which can perform a data coupling of the spectacle visualization means with the received image data of all external image capturing means when the person is seated on a fixed seat in space fixed away from the means of transport and preferably looks straight ahead for the purpose of reset; wherein an angle value between the seat orientation, equal to the straight-ahead viewing direction, and current gyroscope orientation of the spectacle-visualizing means is determined and storable, and wherein the thus determined reset direction of view at least in a horizontal plane, more preferably in a vertical plane to be detected can;
- - Then this stored calibration value for an assignment of the received image data from frontal in the direction of motion image acquisition means and corresponding left and right and image data taken rearwardly from this frontal direction can be made;
- - Or if the seat is in the means of transport and changes its direction with him, the orientation of the seat with the image acquisition means in the room is constantly and permanently updateable formed, and can be used as a reset-viewing direction, so that only one adjusted head rotation by person to choose from the image section is used, and a movement of the person together with the seat and means of transport can be compensated compensating from the direction data; or
- B) an absolute spatial orientation of the transport means detected by a sensor device, such as a gyroscope, and the eyeglass visualization device by a sensor device, such as a separate gyroscope, each independently detected and / or determined in space, and from a relative Reference both scanned alignments can be made to each other, so that a relative line of sight with respect to the vehicle-mounted image capture means or the seat,, can be determined, or
- C) instead, a two-part spatial position device in the means of transport and the spectacle-visualizing means can be provided, which can directly determine a current relative viewing direction, and an image section corresponding to the determined vehicle relative viewing direction from all image data of all cameras in the image processing can be selected, which can map a view to the left, right, straight, to the rear or any direction, or
- D) an image detail in a vehicle-fixed image preprocessing can be made from image data from all cameras using a current determined viewing direction, and only the selected image data can be transferred to the spectacle visualization device in a transferable manner, thereby reducing the data transfer,
- E) and optionally an additional tilt level sensor can be provided, or the same gyroscopically determined values can be used to detect the head inclination and additionally to use the image detail vertically at eye level.
Es liegen dann zwei gyroskopisch absolut ermittelte Raumrichtungen vor, die in einer prozessorgesteuerten Bildverarbeitung dazu verwendet werden können, eine zueinander relative Richtung zu berechnen und zur Festlegung des Bildausschnitts in Blickrichtung zu verwenden. Diese prozessorgesteuerte Bildverarbeitung kann bevorzugt in dem Brillen-Visualisierungs-Mittel integriert sein oder sie kann im Fahrzeug lokalisiert sein und an das Brillen-Visualisierungs-Mittel bereits fertigen Bildausschnitt mit allen zusätzlichen Informationen senden. Die erste Lösung hat Vorteile, weil es diese Leistungsmerkmale bereits in Smartphones und Smart-Glass-Brillen gibt. Andererseits können auch Fahrzeuge einen geeigneten lokalen Computer erhalten. Datentransfervolumen kann dann gesenkt sein.There are then two gyroscopically absolutely determined spatial directions that can be used in a processor-controlled image processing to calculate a mutually relative direction and to use to determine the image detail in the viewing direction. This processor-controlled image processing may preferably be integrated in the spectacle-visualization means or it may be located in the vehicle and send to the spectacle-visualization means already finished image detail with all additional information. The first solution has advantages because these features already exist in smartphones and smart glasses. On the other hand, vehicles can also receive a suitable local computer. Data transfer volume can then be lowered.
Es kann in einer anderen Ausgestaltung anstatt der zwei gyroskopisch ermittelbaren absoluten Raumrichtungen und daraus einer Relativen, eine Vorrichtung verwendet sein, die direkt eine relative Richtung zwischen Fahrzeug und dem Brillen-Visualisierungs-Mittel ermittelt. Es kann am Besten elektromagnetisch erfolgen.It may be used in another embodiment instead of the two gyroscopically ascertainable absolute spatial directions and therefrom a relative, a device which directly determines a relative direction between the vehicle and the spectacle-visualization means. It is best done electromagnetically.
Ein Neigungs-Niveau-Sensor ist in vielen Smartphones als eine Wasserwaagefunktion vorhanden. So einer kann auch in eine Smart-Glassbrille integriert sein.A tilt level sensor is present in many smartphones as a bubble level function. Such a can also be integrated into a smart glass goggles.
Der relative Winkel zwischen Fahrzeugrichtung, also den fest verbauten Kameras, und der Gyroskopdrehachse des Fahrzeugs wird erfasst oder ermittelt und zur weiteren Verarbeitung verwendet und benötigt.The relative angle between the vehicle direction, ie the permanently installed cameras, and the gyroscope axis of rotation of the vehicle is detected or determined and used and further processed.
Ein Brillen-Visualisierungs-Mittel nach einer vorhergehenden Ausgestaltung gewinnt weitere Handhabungsvorteile, wenn ein Schaltsignal des Rückwärtsgangs des Fahrzeugs über den Datenübertragungskanal empfangbar ist und dazu verwendet sein kann, den Bildausschnitt auf eine rückwärtige Kamera umzuschalten oder dafür einen zentralen Rückspiegelabschnitt für solange nur zu vergrößern, wobei auch die hinteren seitlichen Kameras bei Kopfdrehung auswählbar ausgeführt sein können.A goggle visualization means according to a preceding embodiment gains further handling advantages when a switching signal of the reverse gear of the vehicle is receivable via the data transmission channel and can be used to switch the image section to a rear camera or for a central rearview mirror section for so long only enlarge wherein the rear side cameras can be made selectable at head rotation.
Ein erfindungsgemäßes Brillen-Visualisierungs-Mittel kann mit mindestens einem Display vor den Augen als eine Smart-Glasses-Brille oder als ein Smartphone in einem Kopfhalter oder integriert in einem Helm ausgebildet sein kann.A spectacle-visualization device according to the invention can be designed with at least one display in front of the eyes as a smart-glasses-glasses or as a smartphone in a head-holder or integrated in a helmet.
Ein Brillen-Visualisierungs-Mittel gewinnt weitere Vorteile, wenn die grafische Bildoberfläche als eine Display-Einheit aufklappbar oder verschiebbar auf einem Halter ausgebildet ist, sodass die Person nach dem Aufklappen oder aus dem Blickfeld Schieben direkt ungehindert blicken kann, oder das Bild transparent schaltbar ausgebildet ist, sodass die Person dann direkt ungehindert blicken kann.A goggle visualization means gains further advantages when the graphical image surface is designed as a display unit hinged or displaceable on a holder, so that the person can look directly unhindered after unfolding or from the field of view sliding, or the image formed transparently switchable is, so that the person can then look directly unhindered.
Es ergibt sich ein Folgeproblem das wir mit einem Brillen-Visualisierungs-Mittel dadurch lösen können, dass ein unterer Bildbereich des Displays das elektronisch erfasste Bild einer auf einer Brillen-Visualisierungsvorrichtung angeordneter und in Blickrichtung ausgerichteter und mitbewegter, fest verbauten oder an der Brille angeordneter Innenkamera abbildet, sodass der Fahrzeug-Führer die Bedienelemente ebenso wie das Außenbild mit seinen Augen in Echtzeit zugleich übereinander erfassen kann, um sie zu bedienen, oder unterhalb des Displays ein Cockpit-Abschnitt als ein verglastes oder unverglastes Fenster ausgebildet sein kann, sodass der Fahrzeug-Führer die Bedienelemente direkt ohne einer Kamera sehen und bedienen kann. The result is a consequential problem that we can solve with a spectacle-visualizing means in that a lower image area of the display, the electronically captured image of an arranged on a spectacle-visualization device and aligned in the viewing direction and moving, permanently installed or arranged on the glasses inner camera so that the driver of the vehicle, as well as the external image, can simultaneously capture the operating elements on top of each other in order to operate them, or a cockpit section can be formed below the display as a glazed or unglazed window, so that the vehicle Guide can see and operate the controls directly without a camera.
Auf mindestens einem Display können seitliche Rückspiegel-Abschnitte als Bild in Bild angebildet sein, deren Bilddaten von rückwärts zur Fahrtrichtung ausgerichteten oder ausrichtbaren linker und rechter Rückspiegel-Kameras geliefert sein können, wobei sie wählbar oder fest vorgegeben permanent und unabhängig von der Auswahl eines Bildausschnitts angezeigt sein können, oder nur dann, wenn die Blickrichtung eines oder sie beide erfasst.On at least one display, side rearview mirror sections may be formed as an image in image whose image data may be provided by rear-facing or directional left and right rear-view mirror cameras, while being selectively or permanently displayed permanently and independently of the selection of an image section or only when the line of sight captures one or both of them.
Eine noch effektivere Bildauswahl durch eine ermittelte Blickrichtung erreichen Brillen-Visualisierungs-Mittel, wenn ein Kopfnäherungs-Sensor im Fahrzeug oder in dem Brillen-Visualisierungs-Mittel oder zweiteilig in beiden vorgesehen ist, mit dem die Kopfposition in Bezug auf ein Kontrollpunkt im Fahrzeug oder am Körper des Fahrers ermittelbar ist, um ein Steuersignal daraus zu gewinnen, der dazu verwendbar ist, eine Zoomfunktion auszulösen, um einen durch eine ermittelte Blickrichtung ausgewählten Bildabschnitt, insbesondere seitliche Rückspiegel-Abschnitte, digital oder optisch zu vergrößern, wenn der Fahrer seinen Kopf näher an den für ihn virtuell dargestellten Bildabschnitt ranrückt.An even more effective image selection by a determined viewing direction is achieved by spectacle visualization means when a head proximity sensor is provided in the vehicle or in the spectacle visualization means or in two parts in both, with which the head position with respect to a control point in the vehicle or on Body of the driver is determined to obtain therefrom a control signal, which is used to trigger a zoom function to digitally or optically increase a selected by a determined viewing direction image portion, in particular side rearview mirror sections, when the driver's head closer manages the virtually represented image section for him.
Dieser Kopfnäherungs-Sensor kann elektromagnetisch oder kapazitiv ausgeführt sein, mit nur einem Raumsensor oder mit zwei.This head proximity sensor may be electromagnetic or capacitive with only one room sensor or two.
Die Rückspiegel-Abschnitte können verstellbar in Größe und Position gestaltet sein, die ein Anwender in Optionen vorher auswählen kann. Ebenso können sie automatisch durch Blickrichtung genau auf eine der Rückspiegel-Abschnitte einwenig um einen vorgegebenen oder vorgebbaren Vergrößerungsfaktor gezoomt sein, um eine Funktionalität nachzubilden, die ein Fahrer eines „nativen Fahrzeugs“ hat, wenn er näher an den Seitenspiegel rückt. Das Näherrücken mit dem Kopf in eine Richtung kann ebenso durch eine Ermittlung der Kopfposition und Blickrichtung des Fahrers im Fahrzeug als Steuersignal für das Heranzoomen eines anvisierten Rückspiegel-Abschnitts genutzt sein. Dazu muss es eine Kopf-Positionserfassung geben, die außer Kopfneigung und Azimutermittlung in der horizontalen Ebene auch die Bewegung des Kopfes aus einer normalen Position in eine Vorgerückte detektieren kann. Ein elektromagnetischer oder kapazitiver Sensor oder zwei davon kann im Salon oder Kabine und sein Gegenpart an oder in dem Brillen-Visualisierungs-Mittel vorgesehen sein. In anderen Ausgestaltungen kann der Kopfnäherungs-Sensor oder Raumsensor statt dessen am Körper befestigt sein, beispielsweise im Nacken oder an der Brust als ein Ansteckelement. Es kann auch ersatzweise eine Bewegungskombination genutzt werden, aus Blickrichtung auf Rückspiegel und Kopfneigung nach vorne, um dadurch auf die Raumsensoren zu verzichten, aber der Komfort und Ergonomie wird etwas darunter leiden.The rearview mirror sections may be adjustable in size and position that a user may pre-select in options. Likewise, they may automatically be zoomed in to one of the rearview mirror sections by a predetermined or predeterminable magnification factor automatically by line of sight to emulate a functionality that a driver of a "native vehicle" has as he moves closer to the side view mirror. The approaching with the head in one direction can also be used by a determination of the head position and viewing direction of the driver in the vehicle as a control signal for zooming in a targeted rearview mirror section. For this purpose, there must be a head position detection, which can detect the movement of the head from a normal position to an advanced position in addition to head inclination and azimuth determination in the horizontal plane. An electromagnetic or capacitive sensor or two of them may be provided in the saloon or cabin and its counterpart on or in the goggle visualization means. In other embodiments, the head proximity sensor or room sensor may instead be attached to the body, for example, in the neck or on the chest as a tether. It can also be used as a substitute combination of motion, from the direction of the rear view mirror and head tilt forward, thereby dispensing with the room sensors, but the comfort and ergonomics will suffer somewhat.
Ein Brillen-Visualisierungs-Mittel kann eine bekannte Sicherheits-Funktion ebenso abbilden, wenn auf einem der dem Fahrzeugfahrer präsentierten Displays, seitlich links und rechts je ein optisches Anzeige-Signal aktivierbar oder einblendbar vorgesehen ist, der von einem Totenwinkelerfassungs-System geliefert sein kann, um eine Gefahr im toten Winkel anzuzeigen. Diese Totenwinkelanzeige kann als ein Lichtpunkt oder ein Symbol oder Figur grafisch abgebildet sein.A goggle visualization means can map a known safety function as well if on each of the displays presented to the vehicle driver an optical display signal is provided, activatable or insertable, which can be supplied by a dead angle detection system, laterally to the left and right, respectively to indicate a danger in the blind spot. This dead angle display may be graphically depicted as a light spot or a symbol or figure.
Auf dem Display können mit prozessorgrafischen Mitteln als eine überlagerte oder halbtransparent überlagerte Anzeige als Abbildung einer Instrumententafel mit einer Geschwindigkeitsanzeige und/oder Cruise-Vorgabenanzeige und/oder Ganganzeige und/oder und/oder km-Zähler, Distanzkontrolle, Motordrehzahl und/oder Navigationshinweise und/oder erkannte Gefahren und/oder Multimediameldungen (wie Telefon, SMS, Radio-Audio) als eine aufgelagerte Projektion oder als ein halbtransparentes Bild in Bild mit dafür vorgesehenen Mitteln abgebildet sein können, wobei diese Anzeige abhängig oder bevorzugt wählbar unabhängig von Blickrichtung vorgesehen sein kann, wibei angezeigte Symbole bevorzugt mit transparentem Hintergrund versehen sein können, damit sie weniger Sicht nehmen.
In bevorzugten Ausgestaltungen kann auf der zu den Augen gewandten Seite des Brillen-Visualisierungs-Mittels eine Kamera, bevorzugt eine vorhandene Kamera, anbeordnet oder integriert vorgehen sein, deren Bilddaten zu einer „Eye Tracker“-Funktionalität eines Sekundenschlaf-Alarmsystems nutzbar sind, und ein Alarm durch Tonsignaloder Ansprache, und/oder durch Helligkeitsimpulse den Fahrer warnen oder wecken kann.The display may use processor-based means as a superimposed or semitransparent superimposed display as an illustration of an instrument panel with a speedometer and / or cruise preset indicator and / or gear indicator and / or km counter, distance control, engine speed and / or navigation advice and / or recognized hazards and / or multimedia messages (such as telephone, SMS, radio audio) can be imaged as a superimposed projection or as a semitransparent image in image with means provided for it, which display can be dependent or preferentially selectable regardless of the viewing direction, where displayed symbols may preferably be provided with a transparent background so that they take less visibility.
In preferred embodiments, a camera, preferably an existing camera, can be arranged or integrated on the side of the eyeglass visualization device facing the eyes, the image data of which can be used for an "eye tracker" functionality of a microsleep alarm system, and Alarm by sound or speech, and / or by brightness pulses can warn or wake the driver.
Ein Sekundenschlaff-Alarm durch Augenerfassung hat an dieser Stelle in großer Nähe zu den Augen die besten Bedingungen, fehlerfrei zu funktionieren. Es können auch je eine Kamera pro Auge vorgesehen sein und sie können in einem Rahmenrand des Brillen-Visualisierungs-Mittels Platz haben. Das bringt eine weitere Sicherheitsfunktionalität, sodass das Sicherheitskonzept ganzheitlich zu wirken beginnt. Die Systeme selbst sind bekannt und vermessen die Häufigkeit, Geschwindigkeit und Dauer der Augenliedschließungen und - öffnungen und den Öffnungsgrad der Augenlieder. Dazu können die possessorischen Kapazitäten des Brillen-Visualisierungs-Mittels verwendet sein, wo eine App dazu installierbar ist.An eye-catching second-rate sleep alert at this point in close proximity to the eyes has the best conditions to function flawlessly. It can also be provided per camera per eye and they can have space in a frame edge of the glasses visualization agent. That brings another security functionality, so that the security concept begins to act holistically. The systems themselves are well known and measure the frequency, speed and duration of eyelid closures and openings and the degree of opening of the eyelids. For this purpose, the possessorischen capacities of the glasses visualization means can be used, where an app is installable to it.
Die Bilddaten mindestens einer frontal vorwärts ausgerichteten Kamera können erfindungsgemäß direkt ohne einer Seiteninvertierung, unabhängig von einer rückwärtigen oder vorwärtswertigen Sitzausrichtung, wenn durch eine Blickrichtung ausgewählt, abgebildet sein können, und/oder, wenn durch Blickrichtung eine seitliche Ansicht ausgewählt ist, dann das angezeigte Bild einer zu dieser Blickrichtung zugeordneten Kamera/s in Bezug auf die Vorwärts -Bewegungsrichtung ausgewählt sein kann.According to the invention, the image data of at least one frontally-oriented camera can be imaged directly without a page inversion, independently of a rear or forward seat orientation, if selected by a viewing direction, and / or if a lateral view is selected by the viewing direction, then the displayed image a camera / s associated with this viewing direction may be selected with respect to the forward movement direction.
Im Fahrzeug kann ferner bevorzugt mindestens ein Joystick für eine manuelle Bedienung per Hand vorgesehen ist, mit dem eine Gangschaltungswahl und/oder Multimediabedienung und/oder Navigationsbedienung gesteuert sein können, und die Schaltzustände per einem Signal über einen Datenkanal, bevorzugt denselben, in die prozessorgesteuerte Bildverarbeitung des Brillen-Visualisierungs-Mittels übertragbar sind, um dort auf dem Display als eine Information für den Fahrer angezeigt zu sein, bevorzugt mitsamt einer virtuellen Hand oder einem Fingersymbol,
oder
- - für diese Anzeige ein zusätzliches Display im Fahrzeug in einer Instrumententafel unterhalb einer normalen Frontscheibe oder im Mittelteil eines Lenkrades vorgesehen sein kann, und/oder
- - eine im Fahrzeug fest angeordnete Schalttafel in Handweite mit einer Touchsensorfläche vorgesehen sein kann, die eine Fingerberührung und Bewegung erfassen kann, wobei im Display die Position eines beweglichen Kursors als ein Symbol dargestellt sein kann und zur Befelsausführung eine Wischbewegung und/oder auch ein Finger-Anschlag erfasst sein kann, sodass der Anwender im Display die Kursobewegung sehen und eine dort angebotene Funktion auswählen und ausführen kann, und/oder ein Gestik-Erfassungsmittel vorgesehen ist/sind, um die Finger und/oder Handbewegungen des Anwenders zur Menübedienung im Display verwenden zu können. Die Displays können als eine 3D-Anwendung eingesetzt sein.
or
- - For this display, an additional display in the vehicle in an instrument panel below a normal windscreen or in the middle part of a steering wheel can be provided, and / or
- a switch panel fixedly arranged in the vehicle can be provided within reach with a touch sensor surface, which can detect a finger touch and movement, wherein the position of a movable cursor can be represented as a symbol in the display and a wiping movement and / or a finger movement Stop can be detected so that the user can see the course movement and select a function offered there and run on the display, and / or a Gestik-detection means is / are used to use the fingers and / or hand movements of the user for menu operation on the display can. The displays can be used as a 3D application.
Um das seitliche Sehen der Person zu bedienen, können in bevorzugten Ausgestaltungen Mittel vorgesehen sein, aktuell als seitlich auswählbare Bilddaten in einem links und rechts außen vorgesehenen Bildfeld einzublenden, wobei die beiden seitlichen Bildfelder durch eine der unvollständig aufgezählten Mittel ausgebildet sein können: auf dem Display sind dazu seitliche Randbildabschnitte als Bildfelder vorgesehen, oder es sind dazu zusätzliche seitlich angeordnete kleine Displays als Bildfelder vorgesehen.In order to serve the lateral vision of the person, means may be provided in preferred embodiments to display currently as laterally selectable image data in an image field provided on the left and right, wherein the two lateral image fields may be formed by one of the incompletely enumerated means: on the display For this purpose, lateral edge image sections are provided as image fields, or additional laterally arranged small displays are provided as image fields.
Nach einem zweiten Aspekt werden die Aufgaben der Erfindung durch ein Brillen-Visualisierungs-Mittel für das Steuerungssystem nach einem der vorhergehenden Ansprüche, aufweisend mindestens ein Display und eine prozessorgesteuerte Bildverarbeitung, und ein Datenkanal zum Datenaustausch mit einem externen fahrzeugsfesten Netzwerk, dadurch gelöst, dass Programmmittel vorgesehen sind, Bilddaten einer Vielzahl von externen fahrzeugfesten Kameras zu empfangen, eine relative Blickrichtung in Bezug auf einen Sitz des Fahrers zu ermitteln und durch diese relative Blickrichtung einen Bildausschnitt aus allen Bilddaten in Blickrichtung auszuwählen und auf dem mindestens einen Display für jedes Auge anzuzeigen.According to a second aspect, the objects of the invention are achieved by a spectacle visualization means for the control system according to one of the preceding claims, comprising at least one display and processor-controlled image processing, and a data channel for exchanging data with an external vehicle-fixed network are provided to receive image data of a plurality of external vehicle-mounted cameras, to determine a relative viewing direction with respect to a driver's seat and to select by this relative viewing direction a picture of all image data in the viewing direction and display on the at least one display for each eye.
Nach einem dritten Aspekt werden die Aufgaben der Erfindung durch eine Fernsteuerungs-Fahrerkabine zum Steuern eines Transportfahrzeugs aus der Ferne über ein Datennetz, aufweisend einen Datenübertragungskanal zu einem Transportfahrzeug mit elektromechanischen Fernsteuerelementen, aufweisend alle Fahrer-Bedienelemente zum Steuern, wie Lenkrad, Pedale, Blinker, Scheinwerferschalter, Gangschaltung, Alarm, Motoranzeigen für Temperatur, Öldruck, Diagnoseanzeigen, dadurch gelöst, dass die Bilddaten mindestens eines oder mehrerer Bilderfassungsmittel vom Transportfahrzeug zur Fernsteuerungs-Fahrerkabine, und in ein Brillen-Visualisierungs-Mittel nach einem vorhergehenden Anspruch übertragbar sind,
- - Steuer- und Zustandssignale der Bedienelemente hin und her übertragbar sind,
- - optional auch eine Erfassung der Neigung des Transportfahrzeugs und/oder der Unebenheiten des Straßenbelags vorgesehen ist; und dazu eine elektromechanisch steuerbare Neigungsvorrichtung für die Fernsteuerungs-Fahrerkabine vorgesehen sein kann, um dem Fahrer die realen Straßenunebenheiten in Echtzeit zu übermitteln, sodass er sicherer und angepasster steuern kann;
- - als ein Visualisierungsmittel ein Brillen-Visualisierungs-Mittel nach einem der vorhergehenden Ansprüche, oder
- - Um den Fahrer fest angeordnete Flachbildschirme vorgesehen sind, die den entsprechenden Bilddatenquellen zugeordnet sind. Optional kann auch ein Kopfnäherungs-Sensor wie vorher beschrieben für das Zoomen der Bildinhalte vorgesehen sein.
- Control and status signals of the control elements are transferable back and forth,
- - Optionally, a detection of the inclination of the transport vehicle and / or the unevenness of the road surface is provided; and for this purpose an electromechanically controllable tilting device for the remote control cab can be provided in order to convey to the driver the real uneven road surfaces in real time, so that he can steer safer and more adapted;
- as a visualization means a spectacle visualization means according to one of the preceding claims, or
- - To the driver fixedly arranged flat screens are provided, which the associated with corresponding image data sources. Optionally, a head proximity sensor as previously described may be provided for zooming the image contents.
Nach einem weiteren Aspekt werden die Aufgaben der Erfindung durch ein Verfahren zur Steuerung durch einen Fahrer, von einem Fahrersitz aus, mithilfe eines individuellen, am Kopf getragenen elektronischen Brillen-Visualisierungs-Mittels eines Transportfahrzeugs nach einem der vorhergehenden Ansprüche, an einem fernen Steuerungsplatz mit Steuerungsmitteln (oder im Transportfahrzeug mitfahrend), dadurch gelöst, dass
- - die Bilddaten mehrerer gerichteterer Kameras mit einer vorgegebenen Bildfolgefrequenz von dem Transportmittel über einen Datenkanal in Echtzeit empfangen und virtuellen Bildfeldern in einem Zwischenspeicher (eines Computers) zugeordnet werden;
- - eine aktuelle relative Blickrichtung in Bezug auf den Fahrersitz ermittelt wird;
- - diese relative Blickrichtung(-Abweichung) in Bezug auf den Fahrersitz zur Auswahl eines anzuzeigenden Bildausschnitts aus den Bilddaten verwendet wird;
- - und der ausgewählte Bildausschnitt mit einer vorgegebenen Bildfolgefrequenz im Display angezeigt wird.
- the image data of a plurality of more directional cameras are received at a predetermined frame rate by the means of transport via a data channel in real time and assigned to virtual image fields in a buffer (of a computer);
- - a current relative direction of view is determined with respect to the driver's seat;
- - This relative viewing direction (deviation) is used with respect to the driver's seat for selecting an image section to be displayed from the image data;
- - And the selected image section is displayed at a predetermined frame rate in the display.
Aus der ermittelten relativen Blickrichtung ausgehend permanent mit einer vorgegebenen Bildfolgefrequenz eine Auswahl eines Bildausschnitts aus den empfangenen Bilddaten vorgenommen wird, um diesen auf dem Display darzustellen, sodass durch eine Kopfdrehung immer ein aktueller neuer Bildausschnitt in Blickrichtung berechnet und in Echtzeit im Display angezeigt wird. Die Leistungsfähigkeit beteiligter Computer-, Netzwerk- und Grafiksysteme muss eine nahezu verzögerungsfreie Bildwiedergabe in Echtzeit gewährleisten, die für den automotiven Einsatz nicht unter 30 Bildern pro Sekunde, bevorzugt mehr als 50 Bilder pro Sekunde und eine Auflösung von gleich oder höher als circa die Auflösung moderner Smartphones von 1950 betragen sollte.Starting from the determined relative viewing direction, a selection of an image section from the received image data is made permanently with a predetermined image sequence frequency in order to display it on the display so that a current new image section in the viewing direction is always calculated by a head rotation and displayed in real time on the display. The power of participating computer, network and graphics systems must ensure near-instantaneous, real-time image reproduction that is less than 30 frames per second, preferably greater than 50 frames per second, and resolution equal to or greater than approximately modern resolution Smartphones should be from 1950.
In bevorzugteren Ausgestaltungen kann Verfahren dadurch weitere Vorteile erlangen, wenn mindestens eines der folgenden Schritte in beliebiger Kombination angewandt sein können:
- - die Bilddaten benachbarter Kameras in einem fahrzeugfesten Computer vor Datenübertragung oder nach der Übertragung in einem Computer des Brillen-Visualisierungs-Mittels durch grafische Bildbearbeitung am Rand bereinigt werden, sodass überlappende Bildabschnitte zur Deckung gebracht und bereinigt werden, wobei ein summiertes Panoramabild erstellt wird, deren Umfang bevorzugt größer als ein anzuzeigender Bildausschnitt sein kann, und/oder
- - zur Auswahl eines aktuellen anzuzeigenden Bildausschnitts aus den Bilddaten anhand einer aktuellen ermittelten Blickrichtung ein fester Bildreferenzpunkt, bevorzugt die Bildmitte, eine der Ecken oder beliebiger anderer definierter Punkt nach Koordinaten
XY im summierten Panoramabild zugeordnet wird und um diesen Bildreferenzpunkt die Bilddaten in der Größe des Bildausschnitts inXY -Anordnung ausgelesen werden, um im Display angezeigt zu werden, und/oder - - zur Ermittlung der relativen Blickrichtung in Bezug auf den Fahrersitz an einem feststehenden Fernlenker-Fahrerplatz nur die aktuelle absolute Blickrichtung im Raum, bevorzugt durch ein Gyroskop in dem Brillen-Visualisierungs-Mittel ermittelbar, gegen eine vorher als ein Resetwert gespeicherte absolute fixe Geradeaus-Blickrichtung verrechnet und somit eine relative Abweichung mit der fixen Geradeaus-Blickrichtung verrechnet und eine aktuelle relative Blickrichtung ermittelt wird, oder
- - bei einem mitfahrenden Fahrer die aktuelle absolute Fahrzeugausrichtung, gleich der Sitz-Ausrichtung, als eine aktualisierte variable Geradeaus-Blickrichtung, bevorzugt durch ein fahrzeugfestes Gyroskop über, bevorzugt denselben, Datenkanal geliefert und zur Ermittlung der relativen aktuellen Blickrichtung berücksichtigt und ausgewertet wird, wobei vorher in einem Resetvorgang die Fahrzeugausrichtung und Geradeaus-Blickrichtung des Fahrers als ein Startwert gespeichert worden sein kann, /oder oder
- - die relative Blickrichtung mit einer speziellen Raumrichtungs-Vorrichtung direkt ermittelt wird, die direkt bevorzugt mittels einer elektromagnetisch gekoppelten Zweielementenvorrichtung die Winkelabweichungen horizontal und vertikal erfassen kann.
- the image data of adjacent cameras in a vehicle-mounted computer are corrected before data transmission or after transmission in a computer of the eyeglass visualization means by edge graphic image editing so that overlapping image sections are made coincident and clean, creating a summed panoramic image whose Extent preferably larger than a picture to be displayed can be, and / or
- - For selecting a current displayed image detail from the image data based on a current determined viewing direction a fixed image reference point, preferably the center of the image, one of the corners or any other defined point by coordinates
XY is assigned in the summed panoramic image and around this image reference point the image data in the size of the image section inXY Arrangement are read out to be displayed, and / or - - To determine the relative line of sight with respect to the driver's seat at a fixed remote control driver's seat only the current absolute viewing direction in space, preferably determined by a gyroscope in the eyeglass visualization means against a previously stored as a reset value absolute fixed straight-ahead direction calculated and thus offset a relative deviation with the fixed straight line of sight and a current relative line of sight is determined, or
- in the case of a traveling driver, the current absolute vehicle orientation, similar to the seat orientation, as an updated variable straight-ahead viewing direction, preferably supplied by a vehicle-fixed gyroscope, preferably the same, data channel and taken into account and evaluated to determine the relative current viewing direction, wherein previously in a reset operation, the driver's vehicle orientation and straight-ahead viewing direction may have been stored as a start value, and / or
- - The relative line of sight is determined directly with a special spatial direction device, which can directly and preferably detect the angular deviations horizontally and vertically by means of an electromagnetically coupled two-element device.
Dabei können die absoluten Raum-Ausrichtungen eines fahrzeugfesten und eines kopffesten Gyroskops bevorzugt mit der Erdachse parallel gerichtet sein und zusammen fallen oder einmal ein abweichender von Null Raumwinkel zwischen ihnen ermittelt und als ein Offsetwert gespeichert sein. Die Gyroskopsensoren erfassen bevorzugt neben horizontaler Ausrichtung auch eine Vertikale, um die Blickrichtung auch tiefer oder höher wählen zu können, damit der Anwender zusätzlich auch durch Kopfneigung sein Blickfeld ändern kann, wie in natura. Es können dazu diselben Gyroskopsensoren verwendet sein oder andere Raumpositionssensoren, wie schon erwähnte Raumpositionssensoren oder ein Neig ungs-Niveau-Sensor.In this case, the absolute spatial orientations of a vehicle-fixed and a head-fixed gyroscope may preferably be aligned parallel to the earth's axis and fall together, or once a deviating from zero solid angle between them may be determined and stored as an offset value. The gyroscope sensors preferably detect not only horizontal orientation but also a vertical in order to be able to select the viewing direction also lower or higher, so that the user can also change his field of vision by tilting the head, as in the natural world. It can be used to diselen gyroscope sensors or other spatial position sensors, as already mentioned spatial position sensors or a tilt level sensor.
Eine nahtlose Panoramabild-Erstellung kann dabei bereits im Fahrzeug erfolgt sein, sodass bereits am überlappenden Rand bereinigte Bilddaten gesendet werden, wodurch der Datenfluss verringert wird. Oder es werden vollständige Bilddaten aller Kameras gesendet und erst in dem Computer des Brillen-Visualisierungs-Mittels am Rand zugeschnitten. Diese Aktion ist eine fixe und immer wiederholte, sodass nach einer Justierung das Ergebnis immer eine gleiche Qualität der nahtlosen Bildanreihung erreicht sein kann. Die Panoramabildjustierung kann anhand eines speziellen Musters werksseitig erfolgen. Die Bilder benachbarter Kameras überlappen sich etwas und eine Bildverarbeitung erkennt diese Überlappungen anhand der identischen Bildinhalte. Diese überschneidende Bildränder werden quasi „übereinander gelegt“, eins davon wird „vergessen“ und es entsteht ein nahtloses Panoramabild, das im Grunde ein nahtloses 360 Grad Panoramabild sein kann. Uns genügen etwas mehr als 180 Grad für den Fahrer.A seamless panoramic image creation can already be done in the vehicle, so that already at the overlapping edge cleaned image data are sent, whereby the data flow is reduced. Or complete image data of all cameras are sent and cut in the computer of the eyeglass visualization device on the edge. This action is a fixed and always repeated, so that after an adjustment, the result can always be achieved an equal quality of the seamless Bildanreihung. The panorama image adjustment can be done at the factory using a special pattern. The images of neighboring cameras overlap slightly and an image processing recognizes these overlaps on the basis of the identical image content. These overlapping edges of the image are virtually "superimposed", one of them is "forgotten" and a seamless panoramic image is created, which can basically be a seamless 360 degree panoramic image. We just need a bit more than 180 degrees for the driver.
Zusätzlich werden in bevorzugten weitere Ausgestaltungen des Verfahrens die Bilddaten von rückwärts gerichteten Kameras als Bild in Bild entweder auf den ausgewählten Bildausschnitt an bestimmten Positionen als Rückspiegel und/oder Außenspiegel eingeblendet oder im summierten Panoramabild an fixen vorgesehenen Positionen abgelegt werden können, von wo sie zusammen mit einem ausgewählten Bildausschnitt in den Display transferiert sein können und/oder
zur Orientierung des Fahrers im ausgewählten Bildabschnitt im summierten Panoramabild mit grafischen Mitteln an der gewohnten fixen Stelle je eine A-Säule als eine grafische Bildsimulation hinzugefügt sein kann, wobei sie als eine dünne Linie und/oder halbtransparent abgebildet sein kann, damit sie die Umsicht nicht behindert.In addition, in preferred further embodiments of the method, the image data of rear-facing cameras as image in image either on the selected image detail at certain positions as rearview mirrors and / or mirrors superimposed or stored in the summed panoramic image at fixed positions provided, from where they together with a selected image section can be transferred to the display and / or
For orientation of the driver in the selected image portion in the summed panoramic image with graphic means at the usual fixed location may each be added an A-pillar as a graphic image simulation, where it may be shown as a thin line and / or semitransparent, so they do not prudence with special needs.
Es kann erforderlich sein, dass eine definierte Blickrichtung des Brillen-Visualisierungs-Mittels in Bezug auf den Sitz zumindest einmalig vor dem (ersten) Start des Steuervorgangs auf dem Steuerungsplatz kalibriert wird, bevorzugt für Geradeaus-Blickrichtung, bevorzugt durch Blicken auf einen fixen Referenzpunkt vor dem Fahrer; dazu ein Reset-Abweichungswinkel eines Gyroskops des Brillen-Visualisierungs-Mittels ermittelt und gespeichert wird, das mechanisch fix mit dem Brillen-Visualisierungs-Mittel und/oder dem Kopf gekoppelt ist, und dieser Reset-Abweichungswinkel zur Ermittlung der relativen Blickrichtung verwendet wird, oder m Fahrzeug automatisch und permanent eine aktuelle absolute Gyroskopraumwinkelmessung, bevorzugt vertikal und horizontal, in Bezug auf Sitz- oder Fahrzeugausrichtung erfasst und zur Ermittlung der relativen Blickrichtung verwendet wird.It may be necessary for a defined viewing direction of the spectacle visualization means with respect to the seat to be calibrated at least once prior to the (first) start of the control operation on the control station, preferably for a straight-ahead viewing direction, preferably by looking at a fixed reference point the driver; for this purpose, a reset deviation angle of a gyroscope of the spectacle-visualizing means is determined and stored which is mechanically fixedly coupled to the spectacle-visualizing means and / or the head, and this reset deviation angle is used to determine the relative viewing direction, or m vehicle automatically and permanently detected a current absolute Gyroskopraumwinkelmessung, preferably vertically and horizontally, in relation to seat or vehicle orientation and is used to determine the relative direction of view.
Das Gyroskop hat dazu eine Sensoreinheit, die seine Drehachsenrichtung in Bezug auf ihre eigene Ausrichtung im Raum erfassen kann.The gyroscope has a sensor unit that can detect its rotation axis direction with respect to its own orientation in space.
Nach einem weiteren Aspekt werden die Aufgaben der Erfindung durch noch ein Verfahren zu Erhöhung der Sicherheit eines Transportfahrzeuges gelöst. Die Bilddaten von den Bilderfassungs-Mitteln werden dazu bevorzugt, bevor sie zumindest dem Fahrzeug-Fahrer auf einem fest verbauten Display oder einer Brillen-Visualisierungsvorrichtung präsentiert werden, einer Bildbearbeitung unterzogen werden, welche
- a) die Bildbereiche nach hellsten Punkten untersucht und mit einem vorgegebenen oder vorgebbaren hellen Schwellenwert vergleicht; oder
- b) den Kontrast zwischen dunkelsten und hellsten Bereichen oder Punkten ermittelt und daraus einen hellen Schwellenwert bestimmt;
- c) dann die zu hellen Bereiche oder Punkte in der Helligkeit gemäß dem hellen Schwellenwert reduziert;
- d) und optional zu dunkle Bereiche oder Punkte um einen vorgegebenen oder vorgebbaren oder aus Helligkeitsdaten ermittelten dunklen Schwellenwert aufhellt.
- a) examines the image areas for the brightest points and compares them with a predetermined or predefinable bright threshold value; or
- b) determines the contrast between the darkest and brightest areas or points and determines a bright threshold;
- c) then reduces the too bright areas or points in the brightness according to the bright threshold;
- d) and optionally to dark areas or points brightens around a predetermined or predefinable or determined from brightness data dark threshold.
Das ermöglicht, eine Blendung des Fahrers oder auch der Passagiere durch nächtliches Gegenlicht oder tags durch Sonnenlicht auszuschließen, wodurch die Sicherheit und Komfort zusätzlich gewinnen.This makes it possible to exclude dazzling of the driver or even the passengers by nocturnal backlighting or by daytime sunlight, which additionally provides safety and comfort.
Das Fahrzeug kann durch ein Programmmittel im Stehen in einem dafür vorgesehenen Simulatormodus betrieben sein, und dazu aufgenommene Videodaten abgespielt sein. Ein Programmmittel kann dazu als eine App installiert sein.The vehicle may be operated by a program means standing in a dedicated simulator mode, and recorded video data may be played. A program agent can be installed as an app.
Nach noch einem weiteren Aspekt werden die Aufgaben der Erfindung durch ein Verfahren zum Unterhalten von Passagieren in einem Transportfahrzeugmithilfe eines Brillen-Visualisierungs-Mittels dadurch gelöst, dass für die Passagiere des Transportfahrzeugs können in bevorzugte Ausgestaltungen auf den für sie bestimmten elektronischen Visualisierungs-Mitteln mit mindestens einem Display anstatt der in Echtzeit aufgenommenen Bilddaten von außen wählbar spezielle aufgenommene Videodaten als Video-Touren einer anderen Fahrt abgespielt sein, um sie zu unterhalten, und/oder Werbeinhalte aufgelagert oder zwischendurch abgespielt sein können.According to yet another aspect, the objects of the invention are achieved by a method for entertaining passengers in a transport vehicle with the aid of a spectacle-visualizing means, in which preferred embodiments on the electronic visualization means intended for the passengers of the transport vehicle can be provided with at least a display instead of the real-time recorded image data from the outside selectable special recorded video data can be played as a video tours of another trip to entertain them, and / or advertising content may be stored or played in between.
Beispielsweise kann damit eine Fahrt durch die Wüste oder eine Weltstadt oder durch schöne Natur, eine Afrika Safari und ähnlich simuliert sein. So können Passagiere eine Abwechslung erhalten. Und Werbeeinnahmen können einem professionellen Anwender zusätzliche Einnahmen bescheren.For example, it can be used to simulate a drive through the desert or a cosmopolitan city or through beautiful nature, an African safari and similar. This allows passengers to get a change. And Advertising revenue can bring additional revenue to a professional user.
Weitere bevorzugte Ausgestaltungen der Erfindung ergeben sich aus den übrigen, in den Unteransprüchen genannten Merkmalen.Further preferred embodiments of the invention will become apparent from the remaining, mentioned in the dependent claims characteristics.
Die Erfindung wird nachfolgend in Ausführungsbeispielen anhand der zugehörigen Zeichnungen erläutert. Es zeigen:
-
1 eine schematische Seitenansicht eines erfindungsgemäßen Transportfahrzeugs mit rückwärts positionierten Sitzen; -
2 eine schematische Seitenansicht eines erfindungsgemäßen Transportfahrzeugs mit vorwärts positionierten Sitzen; -
3 eine schematische Seitenansicht einer dritten Ausgestaltung eines erfindungsgemäßen Transportfahrzeugs als mit rückwärts positionierten Sitzen; -
4 eine schematische Seitenansicht eines erfindungsgemäßen Displays; -
5 eine schematische Draufsicht eines erfindungsgemäßen Transportfahrzeugs mit Visualisierungs-Mitteln für den Fahrer; -
6 eine perspektivische Ansicht einer erfindungsgemäßen Ausgestaltung eines Brillen-Visualisierungs-Mittels als eine VR-Brille; -
7 eine schematische Ansicht einer bevorzugten Ausgestaltung einer Bildzuordnung eines Visualisierungsmittels; -
8 eine schematische Ansicht einer weiteren bevorzugten Ausgestaltung einer Bildzuordnung eines Visualisierungsmittels; -
9 eine perspektivische Ansicht einer bevorzugten Ausgestaltung einer eines am Kopf getragenen Visualisierungsmittels; -
10 eine perspektivische Ansicht eines deaktivierten am Kopf getragenen Visualisierungsmittels; -
11 eine Brillen-Visualisierungsvorrichtung und Kopfpositions-Erfassungseinheit als eine Smart-Glass Bügelbrille; -
12 ein erfindungsgemäßes Fahrervisualisierungs-System mit Flachbildschirmen; -
13 ein erfindungsgemäßes Fahrervisualisierungs-System mit einer erfindungsgemäßen Smart-Glass-Brille; -
14 eine weitere Ausgestaltung eines Brillen-Visualisierungs-Mittels; -
15 eine noch weitere Ausgestaltung eines Brillen-Visualisierungs-Mittels; -
16 noch eine weitere Ausgestaltung eines Brillen-Visualisierungs-Mittels; -
17 eine schematische Darstellung einer erfindungsgemäßen Bildspeicher- und Displayzuordnung.
-
1 a schematic side view of a transport vehicle according to the invention with rearwardly positioned seats; -
2 a schematic side view of a transport vehicle according to the invention with forward positioned seats; -
3 a schematic side view of a third embodiment of a transport vehicle according to the invention as with backward positioned seats; -
4 a schematic side view of a display according to the invention; -
5 a schematic plan view of a transport vehicle according to the invention with visualization means for the driver; -
6 a perspective view of an embodiment according to the invention of a spectacle-visualization means as a VR glasses; -
7 a schematic view of a preferred embodiment of an image mapping of a visualization means; -
8th a schematic view of another preferred embodiment of an image mapping of a visualization means; -
9 a perspective view of a preferred embodiment of a worn on the head visualization means; -
10 a perspective view of a disabled carried on the head visualization means; -
11 a goggle visualization device and head position detecting unit as a smart glass goggle; -
12 an inventive driver visualization system with flat screens; -
13 an inventive driver visualization system with a smart glass glasses according to the invention; -
14 a further embodiment of a spectacle-visualization means; -
15 a still further embodiment of a spectacle visualization means; -
16 Yet another embodiment of a spectacle visualization means; -
17 a schematic representation of an image memory and display allocation according to the invention.
Es ist schematisch ein PKW-Kombi oder ein Minivan zu erkennen, gilt aber für jedes Fahrzeugkonzept. Die Vorderachse
Der Antrieb
Die Karosserie
Eine Kamera
Der Fahrer sitzt hier beispielsweise bevorzugt vor dem Passagier auf dem Fahrersitz
Seitlich von dem Fahrer sind je links und rechts ein seitliches Visualisierungs-Mittel
Die Kamera
Der Fahrer erhält vor ihm angeordnete Steuerelemente und Schalter. Das Lenkrad
Die Gas- und Bremspedalen
Eine Kamera auf dem Dach
In manchen preiswerteren Ausgestaltungen könnten für die Passagiere statt der seitlichen Bildschirme
Im Frontbereich
Weil PKWs meist nur eine Person oder zwei vorne Sitzende nutzen, rettet die gezeigte Anordnung mit dem Fahrersitz
Durch aerodynamische Form ohne Kompromisse sind zusätzliche Energie-Verbrauchssenkungen erreichbar, was besonders für Elektrofahrzeuge wertvoll ist.Thanks to its aerodynamic shape without compromise, additional energy consumption reductions are achievable, which is particularly valuable for electric vehicles.
Dasselbe Bild beschreibt eine weitere erfindungsgemäße Ausgestaltung des Fahrzeugs
Wie in
Alle Passagiere haben einen erfindungsgemäßen permanenten Aufprallschutz durch deren Ausrichtung mit dem Rücken zur Fahrtrichtung. Diese Funktion kann nicht defekt sein, da sie keine Elektronik benötigt. Auch der Fahrer sitzt rückwärts und hat denselben erfindungsgemäßen immer funktionierenden Aufprallschutz.All passengers have a permanent impact protection according to the invention by their orientation with the back to the direction of travel. This feature can not be broken because it does not require electronics. The driver is sitting backwards and has the same invention always working impact protection.
Der Fahrer sitzt hierbei im vorderen Bereich der Karosserie über der gelenkten Achse
Diesen Bus hat man offenbar derart umgebaut, dass die Sitzrichtung um 180 Grad invertiert wurde und die Bedienelemente Lenkrad, Gangschalter, Pedalen und elektrische Bedienschalten auch vor dem Fahrer positioniert wurden. Dazu können elektromechanische Bedienmechanismen vorgesehen sein, um die Betätigungen zu den Aggregaten ohne direkte mechanische Elemente zu übertragen.This bus has apparently been rebuilt so that the seat direction was inverted by 180 degrees and the controls steering wheel, gear, pedals and electrical controls were also positioned in front of the driver. For this purpose, electromechanical operating mechanisms may be provided to transmit the operations to the units without direct mechanical elements.
Die verfügbare Bildfläche
Abschnitt
Links und rechts sind jeweils eine Rückspiegelansicht beispielsweise einer seitlich angeordneten Rückspiegelkamera
Der Fahrer sitzt beispielsweise in einem Bus oder Fahrzeug nach
In seinem Blickfeld sind mehrere Bildschirme angeordnet. Der Hauptbildschirm
In einer noch bevorzugteren Ausgestaltung kann die Anordnung der entfernteren seitlichen Bildschirme
Die Bildschirme
Lenkrad
Die Karosserie
Wenn der Fahrer normal vorwärts blickend sitzt wie in
Allerdings ist anzumerken, dass bei einer rückwertigen Sitzanordnung nach
Es ermöglicht einem Kraftfahrer, einen geregelten Arbeitstag zu haben und jeden Tag pünktlich zuhause zu sein. LKW-Fernfahrer und Taxifahrer sind eine Zielgruppe, aber auch Privatfahrer können sich einen fernlenkenden Fahrer buchen, der die Steuerung übernimmt. Die Fahrzeuge können entweder nur für diese Fernlenkung ausgelegt sein, oder wahlweise auch durch einen Onboard-Fahrer lenkbar. Die reine Fernlenkung lässt auf viele Systeme wie Airbags und Klimatisierung verzichten und damit Energie einsparen. Ebenso kann die Außenform sehr viel aerodynamischer gestaltet sein, sodass nochmal Energie gespart sein kann. Die teueren Fahrzeuge können ununterbrochen durch wechselnde Fahrer bewegt sein und rentieren sich daher schneller.It allows a driver to have a regular work day and be home on time every day. Truck truck drivers and taxi drivers are a target group, but also private drivers can book a remote-controlling driver who takes over the control. The vehicles can either be designed only for this remote control, or optionally steerable by an onboard driver. Pure remote control eliminates the need for many systems such as airbags and air conditioning, thereby saving energy. Likewise, the outer shape can be designed much more aerodynamic, so again energy can be saved. The expensive vehicles can be constantly moved by changing drivers and therefore pay off faster.
Die Visualisierungsmittel können wie gezeigt als fest verbaute Flachbildschirme
Die gezeigte fernsteuernde Drohnenlösung ist in Gegensatz zur aktuell sehr favorisierten automatischen Steuerung sehr schnell technisch umsetzbar wie T-Pod es zeigt.The shown remote-controlled drone solution is in contrast to the currently very favored automatic control very quickly technically feasible as T-Pod shows it.
In einer weiteren bevorzugten Ausgestaltung erhält der Fahrer ein individuell am Kopf getragenes Brillen-Visualisierungs-Mittel
Minimaler erfindungsgemäßer Einsatz erfolgt wie oben schon beschrieben unter
Es ist eine bekannte Vorrichtung, die beispielsweise als halter für ein Smartphone ausgeführt sein kann. Natürlich kann auch eine spezielle integrierte technische Lösung herangezogen sein, die mehr Optionen ermöglichen kann. It is a known device that can be configured, for example, as a holder for a smartphone. Of course, a special integrated technical solution can be used, which can provide more options.
Auf dem Brillen-Visualisierungs-Mittel
Jeweils eine seitliche Kamera
Damit der Fahrer
In einer weiteren bevorzugten Ausgestaltung kann per Funk, bevorzugt Kurzweitenfunk wie Bluetooth oder einer Kabelverbindung mindestens ein Bildsignal mindestens einer fest am Fahrzeug wie vorher beschrieben installierten Kamera in das Brillen-Visualisierungs-Mittel
In dem Brillen-Visualisierungs-Mittel
Ein Brillen-Visualisierungs-Mittel
Ein Brillen-Visualisierungs-Mittel hat gegenüber einer Lösung mit fest verbauten Flachbildschirmen den Vorteil, einen weit geringeren Energiebedarf zu haben, ein geringeres unbedeutendes Gewicht hinzuzufügen und gegen Erschütterungen wesentlich besser gewappnet zu sein und einfacher nachrüstbar zu sein. Fahrerschütterungen stellen Anforderungen an das Fahrwerk, das sehr weich sein muss, wenn Flachbildschirme verwendet sein sollen.A
A goggle visualization means has the advantage over a fixed flat panel solution of having a much lower energy requirement, adding a lower insignificant weight and being much better armed against jarring and easier to retrofit. Chattering places demands on the chassis, which must be very soft when flat screens are to be used.
Es ist ebenso möglich, eine Brille mit integriertem Display wie die von Google einzusetzen, die allerdings für beide Augen einzurichten ist und die Größe des Bildbereichs an die Anwendung angepasst sein muss.It is also possible to use glasses with an integrated display like Google's one, which however has to be set up for both eyes and the size of the image area has to be adapted to the application.
Damit der Fahrer alle relevanten Daten zum Steuern des Fahrzeugs auf nur einem Display erhalten kann, sind zugeordnete Bildbereiche vorgegeben. Bevorzugt oben mittig ist ein Rückspiegel-Bildabschnitt
Links und rechts sehen wir noch zwei speziell abgegrenzte Bildbereiche für linken Rückspiegel
Eine heute bekannte Funktion der Anzeige von Fahrzeugen im toten Winkel kann als ein optisches Signal in Form eines Lichtflecks
Es bleibt noch zu beantworten, wie der Fahrer seitlich durch die „Fenster“ blicken können soll? Das kann dadurch gewährleistet sein, das er einfach den Kopf umdreht und die Frontkamera dann auf eine Linksseitige oder Rechtsseitige umgeschwenkt wird. Eine Kamera kann dazu drehbar schwenkbar gestaltet sein oder es können mehrere fest verbaute Kameras verwendet sein, deren Bild in einer Bildverarbeitung gleitend überblendet wird.It still remains to be answered, how the driver should be able to look sideways through the "windows"? This can be ensured that he simply turns his head and the front camera is then switched to a left-sided or right-sided. A camera can be designed to be rotatable pivotable or it can be used several permanently installed cameras whose image is gliding in an image processing overlaid.
Wichtig ist, wenn der Fahrer rückwärts im Sitz sitzt, dass seine Kopfdrehung nach links in eine entsprechende Kamerazuordnung oder Drehung nach links umberechnet wird, damit der Fahrer eine natürliche Zuordnung erhält und nicht etwa Umgekehrte. Die Kopfposition wird dafür durch eine nicht dargestellte induktive oder kapazitive Sensoreinheit erfasst und ins System übertragen.Importantly, when the driver is sitting backwards in the seat, his head turn to the left is converted into a corresponding camera assignment or turn to the left to give the driver a natural assignment, not the reverse. The head position is detected by an inductive or capacitive sensor unit, not shown, and transmitted to the system.
Bisher ist es wie in
Dazu muss es eine dafür vorgesehene Kamera geben. Sie kann am einfachsten einfach die in einem Smartphone integrierte rückseitige Kamera sein und bei einer speziellen Displaylösung eine entsprechend vorgesehene Kamera. Diese wird bei Kopfbewegung mitbewegt und kann einfach den Kockpit real aufnehmen und Bilddaten bereitstellen. Diese werden in dem Cockpit-Abschnitt
Hier wird einer Problemlösung Rechnung getragen, dass ein elektronisches Display und Kamerasystem auch mal defekt sein kann. Wenn das während der Fahrt geschieht, dann muss eine Notlösung her, die ein sicheres Anhalten ermöglicht. Dazu wird das Display
Alternativ fehlt ein solches Doppelsystem und der Fahrer muss nur eine Notbremsung ausführen und zum Stehen kommen. Alternatively, such a double system is missing and the driver only has to perform emergency braking and come to a stop.
In den Gläsern der Brille
Transparente Abschnitte der Gläser
An dem Brillengestell ist erfindungsgemäß nach einer Ausgestaltung ein Positionssensor
Eine in der Brille
Im Notfall, wenn das Bildsignal von den Außenkamera/s oder in nachgeschalteter Elektronik gestört ist, kann eine Umschaltung auf Durchsichtigkeit erfolgen, damit der Anwender wenigstens direkt sehen kann. Wenn er dabei durch eine Glasscheibe nach außen sieht, dann ist er immer noch besser dran und kann eine Notbremsung einleiten. Wenn aber die Funktion durch innere Bildschirme gedoppelt ist, dann ist evtl. das Bild nicht gestört und er sieht sich normal fahrend und kann weiter fahren.In an emergency, if the image signal from the outdoor camera / s or in downstream electronics is disturbed, a switch to transparency can be made so that the user can at least see directly. If he sees through a pane of glass to the outside, then he is still better off and can initiate an emergency stop. But if the function is doubled by inner screens, then maybe the picture is not disturbed and he sees himself driving normally and can continue driving.
Die erfasste nähere Kopfposition kann dazu herangezogen sein, den Bildinhalt heranzuzoomen, wenn der Anwender beispielsweise seinen Kopf näher an ein ihm angezeigtes Objekt wie etwa eine Rückspiegelabbildung ranrückt und dabei auch die Blickrichtung stimmt. Das entspricht einem intuitiven, nativen Vorgehen, als würde er näher an den linken Außenspiegel ranrücken, um besser zu sehen. Nur wird es hier auch für den rechten „Spiegel“ und für Instrumententafel oder sogar für Blick nach außen in Blickrichtung genauso gut vergrößernd funktionieren können.The detected closer head position can be used to zoom in on the image content, for example, when the user moves his head closer to an object displayed to him, such as a rear view mirror image, and the viewing direction is also correct. This is an intuitive, native approach, as if he moved closer to the left side mirror to see better. Only here it will be able to work equally well for the right "mirror" and for the instrument panel or even for looking outwards in the direction of view.
Den Kern des Systems bildet eine Steuereinheit
Es können auch alle Passagiere mit je einer individuellen Brillen-Visualisierungsvorrichtung ausgestattet sein und dieselbe Sicht wie der Fahrer benutzen, die auch abhängig von eigener Blickrichtung versorgt wird. Die Rechenleistung dazu kann wahlweise in der zentralen Steuereinheit angesiedelt sein, doch ebenso möglich ist es, sie in jeder Brillen-Visualisierungsvorrichtung lokal vorzusehen und dorthin allgemein alle Bilddaten bereit zustellen.All passengers can also each be equipped with an individual spectacle visualization device and use the same view as the driver, which is also supplied depending on their own viewing direction. The computing power to this can optionally be located in the central control unit, but it is also possible to provide them locally in each goggle visualization device and to provide all image data there in general.
Eine Stromversorgung kann per Batterie in der Brille oder durch einen Drahtanschluss oder wählbar ausgeführt sein.A power supply can be carried out by battery in the glasses or by a wire connection or selectable.
Es ist dasselbe Steuerungssystem
Im Falle, wenn der Passagier die Betrachtung der Außenumgebung beenden will, kann er ein am Kopf getragenes Gerät absetzen oder es nur intern auf eine andere Anwendung umschalten.In the case when the passenger wants to end the viewing of the outside environment, he may drop off a head-worn device or only switch it internally to another application.
Die Person kann dann, wenn es etwas seitlich erahnt hat, den Blick in jene Richtung richten. Daraufhin wird ein aktualisierter Bildausschnitt gewählt und die Person blickt zentral auf das Objekt, während seitlich ihm neu ausgewählte seitliche Bildinhalte eingeblendet werden.The person can then, if it has guessed something sideways, look in that direction. An updated frame is then selected, and the subject gazes centrally at the subject while laterally redisplaying side image contents are displayed.
Erfindungsgemäß kann zusätzlich im seitlichen Display
Die in Smarthaltervorrichtungen üblichen Linsen
Moderne Smartphone haben oft ein breitformatiges Display und in so einem reserviert man erfindungsgemäß die beiden Randbereiche
Die übrigen Bildabschnitte können nach vorher beschriebenen Ausgestaltungen den Seitenspiegeln
Wie schon in
In Gegensatz zu bekannten (Google-)Smart-Glas-Brillen sind is zwei Displays
In contrast to well-known (Google) smart glass eyewear are two
Das erfindungsgemäße Brillen-Visualisierungs-Mittel
Die mindestens drei Datenfelder
Die von den Kameras gelieferten Bilddaten umfassen gewollt ein größeres Bildfeld als im Display
Die Bilddaten benachbarter Kameras können voneinander eine kleinen Abstand aufweisen, aber wesentlich vorteilhafter ist es, wenn sie einander etwas überlappen. Dann können sie an den Überlappungsabschnitten durch eine Bilderkennung zur Abdeckung gebracht werden und ein nahtloses Panoramabild bilden. Diese kann wie gesagt bis zu 360 Grad Rundumsicht erreichen, sodass der Fahrer sich sogar normal nach hinten umdrehen und eine Hintenansicht sehen kann.The image data of adjacent cameras may be spaced a small distance apart, but it is much more advantageous if they overlap each other slightly. Then, they can be made to overlap at the overlapping portions by image recognition and form a seamless panoramic image. This can, as I said, achieve up to 360 degrees of all-round visibility, so that the driver can even turn around backwards and see a rear view.
Die Ränder
Alle Bilddaten können in ein einem virtuellen kartesischen Koordinatensystem
Aus der erfindungsgemäß aktuell ermittelten relativen Blickrichtung wird ein Blickpunkt in das gedachte Panoramabild zugeordnet. Diesen Blickpunkt zeichnet ein zweites virtuelles Koordinatensystem
Um diesen Blickpunkt
Es sind weitere Bildfelder zu sehen, die wir vorher erklärt haben. So können die Außenspiegelfelder
Die Kameras sind heute sehr kompakt uns leistungsfähig und können eine Weitwinkeloptik verwenden. Eventuelle Bildverzerrungen können dann prozessrechnerisch kompensiert sein, sodass der Fahrer ein natürlich wirkendes Bild erhält. Am stehenden Fahrzeug kann auch eine Zoomfunktion angeboten sein. Und natürlich kann das Bild aufgezeichnet werden, um als eine Dashkamera zu dienen. Ein Speicher dazu kann im Fahrzeug und/oder im Brillen-Visualisierungs-Mittel
Wenn die Bilddatenübertragung zu viel Aufwand verursacht, kann die aktuelle Blickrichtung dazu genutzt sein, eine Bildvorverarbeitung im Fahrzeug vorzunehmen und an das Brillen-Visualisierungs-Mittel
Das Verfahren hat einwenig Vereinfachung, wenn der Fahrer an einem Fernplatz steuert, weil dann sein Sitz im Raum fest verbleibt, während bei einem Fahrer im Fahrzeug diese Sitzrichtung ständig wechselt und mit der Blickrichtung verrechnet werden muss.The method has a little simplification when the driver controls a remote seat, because then his seat remains fixed in space, while in a driver in the vehicle, this seating direction constantly changes and must be charged with the line of sight.
Wie in
Das Displayblickfeld soll möglichst einem natürlichen Sehfeld entsprechen, sodass durch seitliches Sehen der Fahrer wie gewohnt zwar unscharf, aber etwas mitkriegen kann. Damit wird ein Tunnelblick vermieden.The display field of view should as far as possible correspond to a natural field of view, so that by looking at the side of the driver as usual blurred, but can get something. This avoids tunnel vision.
Alternativ können Bedienelemente virtuell im Displaybild als Konturen oder 3D-Objeket aufgelagert abgebildet und Handbewegungen elektromagnetisch erfasst und ebenso virtuell im Display dargestellt sein, wie es heute bereits Anwendung findet. Der Anwender sieht dann das Verkehrsbild und auf ihm virtuelle Bedienelemente und seine virtuell dargestellten Hände. Die Auslösung kann entweder durch eine Wischbewegung in der Luft oder durch einen wirklichen Kontakt zu wirklichen Bedienelement geschehene, die der Anwender fühlt und schaltet und der Schalzustand ebenso optisch dargestellt wird. Die relative Blickrichtung kann dabei helfen, diese virtuellen Bedienelemente nur dann ins Bild einzublenden, wenn der Blick auf sie gesenkt wird. Und eine Vielzahl von Bedienfunktionen kann auch per einer Spracheingabe gesteuert sein.Alternatively, control elements can be virtually imaged in the display image as contours or 3D objects, and hand movements can be detected electromagnetically and also displayed virtually in the display, as it is already used today. The user then sees the traffic image and on it virtual controls and his virtual hands. The triggering can be done either by a wiping motion in the air or by a real contact to actual control that the user feels and switches and the sound state is also visually displayed. The relative direction of view can help to bring these virtual controls into the picture only when the view of them is lowered. And a variety of control functions can also be controlled by a voice input.
Der Anwender kann somit sozusagen durch die Wände seines Fahrzeugs rundum sehen, wenn er beispielsweise in einem Panzerfahrzeug als Fahrer oder anderer Mannschaftsteilnehmer sitzt. Es können mehrere Anwender parallel die Bilddaten derselben Kameras nutzen und eine individuelle Blickrichtungs-Ansicht betrachten. Die Außenkameras können von außen angebracht sein und per Kabel angeschlossen sein, die man durch Panzerung durch oder auf ihr verlegt.The user can thus see through the walls of his vehicle, so to speak, if he sits as an example in an armored vehicle as a driver or other team members. Several users can use the image data of the same camera in parallel and view an individual view direction view. The outdoor cameras can be mounted from the outside and connected by cable, which can be laid by armor through or on it.
Der ausgewählte Bildausschnitt
Claims (16)
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102019111581 | 2019-05-04 | ||
DE102019111581.7 | 2019-05-04 |
Publications (1)
Publication Number | Publication Date |
---|---|
DE202019102869U1 true DE202019102869U1 (en) | 2019-06-12 |
Family
ID=67068568
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE202019102869.6U Expired - Lifetime DE202019102869U1 (en) | 2019-05-04 | 2019-05-19 | Control system of a means of transport with a spectacle-visualization means |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE202019102869U1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020002927A1 (en) | 2020-05-15 | 2021-11-18 | Christian Jianu | Smartphone and VR glasses |
CN116022158A (en) * | 2023-03-30 | 2023-04-28 | 深圳曦华科技有限公司 | Driving safety control method and device for cooperation of multi-domain controller |
-
2019
- 2019-05-19 DE DE202019102869.6U patent/DE202019102869U1/en not_active Expired - Lifetime
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102020002927A1 (en) | 2020-05-15 | 2021-11-18 | Christian Jianu | Smartphone and VR glasses |
CN116022158A (en) * | 2023-03-30 | 2023-04-28 | 深圳曦华科技有限公司 | Driving safety control method and device for cooperation of multi-domain controller |
CN116022158B (en) * | 2023-03-30 | 2023-06-06 | 深圳曦华科技有限公司 | Driving safety control method and device for cooperation of multi-domain controller |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102018105441B4 (en) | Imaging device for a vehicle | |
EP3138736B1 (en) | Mirror replacement system as camera display system of a motor vehicle, in particular a commercial vehicle | |
DE102013203162B4 (en) | Virtual convertible tops, sun roofs and rear windows, and systems and methods for providing the same | |
DE69618192T3 (en) | VEHICLE REVIEW SYSTEM WITH PANORAMIC VIEW | |
EP3260329B1 (en) | Mirror replacement system for a vehicle | |
DE102004060380B4 (en) | Vehicle information display system | |
DE202014102291U1 (en) | Rearview mirror position using rearview camera system | |
DE102012203491B4 (en) | Electronic rearview mirror system | |
EP3847499B1 (en) | Method for operating a field-of-vision display device for a motor vehicle | |
DE202019102868U1 (en) | Passenger Transport Vehicle with Impact Safety System | |
WO2009036849A2 (en) | Device for monitoring the surroundings of a motor vehicle | |
DE19802220A1 (en) | Information display device used with computer or onboard automobile | |
DE102012019506A1 (en) | Vehicle, particularly motor vehicle, has windowpane, which is used as display area of display instrument in partial area, where partial area of windowpane is switched between two conditions with different light transmission behavior | |
DE102012019508A1 (en) | Vehicle i.e. passenger car, has control unit provided with monitoring unit for monitoring direction of view of driver of vehicle, where monitoring unit judges whether driver observes display on basis of gaze direction | |
DE102015012626B4 (en) | Head-up display system with roof projection system | |
DE102018213820A1 (en) | Method for operating a field of view display device for a motor vehicle | |
DE102011085579B4 (en) | Motor vehicle with an external rearview mirror | |
DE102013020950B4 (en) | Method for operating a rear view camera system of a motor vehicle, rear view camera system and motor vehicle | |
DE202019102869U1 (en) | Control system of a means of transport with a spectacle-visualization means | |
DE102017210268B3 (en) | Apparatus for reproducing image data in a motor vehicle | |
DE102016114689A1 (en) | A method for assisting the driver of a motor vehicle when maneuvering the motor vehicle with a trailer, driver assistance system and team | |
DE102013209366B4 (en) | Display device and method for displaying information in a vehicle | |
DE102012018556B4 (en) | Assistance system to enable an extended foresight for subsequent road users | |
EP3296795B1 (en) | Method for displaying an image object in a vehicle on a display seen inside and outside the vehicle | |
DE102015113039A1 (en) | Virtual exterior mirror system of a motor vehicle and motor vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R086 | Non-binding declaration of licensing interest | ||
R207 | Utility model specification | ||
R156 | Lapse of ip right after 3 years |