DE102007044987A1

DE102007044987A1 - Person e.g. blind person, assistance system, has optical sensor unit serving for surrounding detection based on surrounding data, where output of unit takes place in combination with position data

Info

Publication number: DE102007044987A1
Application number: DE200710044987
Authority: DE
Inventors: Wolfgang Niem; Wolfgang Niehsen; Jochen Wingbermuehle
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2007-09-20
Filing date: 2007-09-20
Publication date: 2009-04-09

Abstract

The system has a navigation unit (3) i.e. global positioning system-receiver, for position determination based on position data, where output of the navigation unit takes place via an output unit (8) i.e. audio output unit. An optical sensor unit (4) i.e. video camera, serves for surrounding detection based on surrounding data, where output of the sensor unit takes place in combination with the position data via the output unit. An additional sensor unit (5) serves for detection of position and/or viewing direction and/or turning rate and/or acceleration of a person. An independent claim is also included for a person i.e. pedestrian, assistance method.

Description

Die Erfindung betrifft ein Personen-Assistenzsystem, insbesondere Fußgänger-Assistenzsystem, mit einer Navigationseinheit zur Positionsbestimmung anhand von Positionsdaten mit den im Oberbegriff des Anspruchs 1 genannten Merkmalen einerseits und ein zugehöriges Personen-Assistenzverfahren, insbesondere Fußgänger-Assistenzverfahren, mit den im Oberbegriff des Anspruchs 11 genannten Merkmalen andererseits.The The invention relates to a passenger assistance system, in particular pedestrian assistance system, with a navigation unit for positioning using Position data with those mentioned in the preamble of claim 1 Characteristics on the one hand and an associated personal assistance procedure, especially pedestrian assistance procedures, with the features mentioned in the preamble of claim 11 on the other hand.

Stand der TechnikState of the art

Ein System und ein zugehöriges Verfahren der eingangs genannten Art sind aus der japanischen Offenlegungsschrift JP 11132785 A bekannt. Darin ist ein transportables Navigationssystem für Personen, insbesondere sehbehinderte Personen, beschrieben, das Umgebungsgeräusche mit Informationen des Navigationssystems kombiniert. Das transportable Navigationssystem gibt eine Kombination aus gesprochenen Navigationsinformationen und wiedergegebenen Geräuschinformationen mittels eines Kopfhörers an den Systemnutzer aus. Hierbei bewirkt eine Sprachsynthese-Einheit in Verbindung mit den Navigationsinformationen einer Funktionseinheit des Navigationssystems, dass eine sprachgestützte Navigationsvorrichtung entsteht. Die Funktionseinheit des Navigationssystems bezieht die Navigationsinformationen über Daten einer auf CDROM gespeicherten Straßenkarte und über Satellitensignale, welche auf Anforderungsbefehlen des Nutzers basieren. Eine Spracherkennungseinheit führt die Spracherkennung der Anforderungsbefehle des Nutzers durch. Zur Erfassung der Umgebungsgeräusche und der Anforderungsbefehle dient ein Mikrofon.A system and an associated method of the type mentioned are known from the Japanese Patent Application JP 11132785 A known. It describes a portable navigation system for persons, in particular visually impaired persons, which combines ambient noise with information from the navigation system. The portable navigation system outputs a combination of spoken navigation information and reproduced sound information to the system user via a headphone. In this case, a speech synthesis unit in conjunction with the navigation information of a functional unit of the navigation system causes a voice-based navigation device. The functional unit of the navigation system obtains the navigation information about data of a road map stored on CDROM and satellite signals based on request commands of the user. A voice recognition unit performs the voice recognition of the user's request commands. To record the ambient noise and the request commands is a microphone.

Das aus dem Stand der Technik bekannte Personen-Navigationssystem weist jedoch gewisse Einschränkungen auf, wonach es einer das Navigationssystem einsetzenden Person lediglich unvollständige Informationen bereitstellt. Bedingt durch derart unvollständige Informationen können Situationen entstehen, in denen der Systemnutzer über wesentliche Daten und Fakten unbenachrichtigt bleibt, was auf Grund des Technikvertrauens zu dem eingesetzten System, jedoch tatsächlich anders gelagerter Sachverhalte zu einer Verunsicherung des Nutzers führen kann.The From the prior art known passenger navigation system has However, there are some restrictions on what it means Navigation system inciting person only incomplete Providing information. Due to such incomplete Information can arise in situations where the System users unavailable about essential data and facts remains, which due to the technology trust to the used System, but in fact different circumstances can lead to uncertainty of the user.

Offenbarung der ErfindungDisclosure of the invention

Das erfindungsgemäße Personen-Assistenzsystem, insbesondere Fußgänger-Assistenzsystem, mit einer Navigationseinheit zur Positionsbestimmung anhand von über eine Ausgabeeinheit ausgebbaren Positionsdaten mit den im Anspruch 1 genannten Merkmalen bietet demgegenüber den Vorteil, dass eine vollständige Wiedergabe der bei einem Systemeinsatz vorliegenden Sachverhalte erfolgt, wodurch der Systemnutzer, insbesondere sehbehinderte oder blinde Person, in die Lage versetzt wird, sich ohne Unterstützung und Hilfe einer Begleitperson oder eines Begleittieres in einer unbekannten Umgebung orientieren und zurechtfinden zu können. Dabei dient eine optische Sensoreinheit zur Umfelderfassung anhand von Umfelddaten, deren Ausgabe in Kombination mit den Positionsdaten über die Ausgabeeinheit erfolgt. Gerade die Kombination aus den Positionsdaten der Navigationseinheit und den Umfelddaten der Sensoreinheit vermittelt dem Systemnutzer ein vollständiges Abbild der tatsächlichen Bedingungen hinsichtlich seiner geografischen Position und des vorhandenen Umfeldes.The Personal assistance system according to the invention, in particular Pedestrian assistance system, with a navigation unit for position determination based on outputable via an output unit Position data with the features mentioned in claim 1 features In contrast, the advantage that a complete Playback of the facts of a system deployment takes place, whereby the system user, in particular visually impaired or Blind person who is able to stand up without support and help of a companion or a companion animal in one Orient and find your way around unknown surroundings. there serves an optical sensor unit for environment detection using Environment data, their output in combination with the position data via the output unit is done. Especially the combination of the position data the navigation unit and the environment data of the sensor unit mediated the system user a complete picture of the actual conditions in terms of its geographical position and the existing environment.

Auf Fußgängerwegen vorkommende Hindernisse, wie beispielsweise eine Bordsteinkante, eine temporäre Baustellenabschrankung oder auch ein abgebrochener Baumast, können auf diese Weise rechtzeitig erfasst und dem Systemnutzer mitgeteilt werden. Von dem Personen-Assistenzsystem profitieren nicht nur Personen mit einem verminderten oder erloschenen Sehvermögen, sondern auch Personen mit uneingeschränkten Sinnesorganen, da letztere nicht immer den sie umgebenden Sachverhalten volle Aufmerksamkeit schenken oder schenken können. Hierzu wird rein Beispielhaft auf ein bei schlechten Sichtverhältnissen, insbesondere bei Nacht, nur schemenhaft wahrnehmbares Hindernis aufmerksam gemacht. Insbesondere erlaubt das Personen-Assistenzsystem Menschen mit einer Sehbehinderung ein selbstständigeres Handeln im Alltag, so dass auch von einem technischen oder künstlichen Blindenführer für zu betretendes und/oder unbekanntes Terrain gesprochen werden kann.On Obstacles, such as a curb, a temporary construction site fence or even a broken tree branch, can be timely in this way recorded and communicated to the system user. From the passenger assistance system Benefit not only people with a diminished or extinct Eyesight, but also persons with unrestricted Sense organs, since the latter does not always correspond to the surrounding circumstances to pay full attention or give. For this becomes purely exemplary on a in bad visibility, especially at night, only dimly perceptible obstacle attentive made. In particular, the passenger assistance system allows people with a visual impairment a more independent action in everyday life, so too from a technical or artificial Guide of the blind for entering and / or unknown Terrain can be spoken.

Resümierend gestattet das erfindungsgemäße Personen-Assistenzsystem auf Grund der kombinierten Erfassung und Ausgabe der Positionsdaten und der Umfelddaten eine rasche Reaktion auf im Verlauf der Wegstrecke gegebenenfalls vorkommende komplexe Situationen im unmittelbaren Umfeld des Systemnutzers. Damit simuliert das Personen-Assistenzsystem ein Verhalten, das dem Verhalten eines menschlichen oder tierischen Begleiters nahe kommt. Gleiches gilt in analoger Weise für das Personen-Assistenzverfahren mit den Merkmalen des Anspruchs 11.Summing allows the personal assistance system according to the invention based on the combined acquisition and output of the position data and the environmental data is a rapid response to the course of the route possibly occurring complex situations in the immediate Environment of the system user. This simulates the passenger assistance system a behavior that is the behavior of a human or animal Companion comes close. The same applies analogously for the person assistance process with the features of the claim 11th

Vorteilhafte Weiterbildungen ergeben sich durch die Merkmale der abhängigen Ansprüche.advantageous Further developments result from the characteristics of the dependent Claims.

In einer bevorzugten Ausgestaltung der Erfindung ist es vorgesehen, dass die Navigationseinheit als GPS-Empfänger ausgeführt ist beziehungsweise mit einem Satellitenverbund in einer kommunizierenden Wirkverbindung steht. Im Allgemeinen kommt hierbei das Prinzip der Ortung per Funksignal zum Tragen. Ein Sender sendet ein Signal aus, wobei anhand der Zeit, die das Signal bis zu einem Empfänger benötigt, die Entfernung zwischen beiden Punkten festgestellt werden kann. Ein Funktionssystem, das sowohl eine Navigationseinheit in Form eines Empfängers als auch einen Satellitenverbund aufweist, wird als Navigationssystem bezeichnet. Gegenwärtig kann das satellitengestützte GPS (Global Positioning System) zum Einsatz kommen. Im Weltraum existieren hierfür 24 Satelliten, die sich auf einer nicht geostationären Umlaufbahn befinden und sich demnach schneller als die Erddrehung bewegen. Die Satelliten senden Radiosignale aus, welche von einer Navigationsantenne der Navigationseinheit empfangen werden können. Anhand der Signale ist es nun mittels der Navigationseinheit möglich, den jeweiligen Standort desselben zu errechnen. Die Meßgenauigkeit erlaubt die Nutzerposition auf 10 bis 15 Meter genau zu bestimmen.In a preferred embodiment of the invention, it is provided that the navigation unit is designed as a GPS receiver or is in a communicating operative connection with a satellite network. In general, the principle of locating by radio signal comes into play here. A transmitter sends out a signal, wherein based on the time it takes the signal to reach a receiver, the distance between the two points can be determined. A functional system which has both a navigation unit in the form of a receiver and a satellite network is called a navigation system. At present, the satellite-based GPS (Global Positioning System) can be used. In space there are 24 satellites in a non-geostationary orbit that move faster than the Earth's rotation. The satellites emit radio signals that can be received by a navigation antenna of the navigation unit. Based on the signals, it is now possible by means of the navigation unit to calculate the respective location of the same. The measuring accuracy allows the user position to be determined to within 10 to 15 meters.

Mit Vorteil ist die Ausgabeeinheit als Audio-Ausgabeeinheit, insbesondere mit einem Lautsprecher zur Sprachausgabe, ausgeführt, so dass der Systemnutzer anhand einer synthetischen oder auch natürlichen Sprachinformation mit Hinweisen, Anweisungen, Warnungen und dergleichen versorgt werden kann. Die Ausgabeeinheit ist in Leichtbauweise beispielsweise in einem Kopfhörer, in einer Brille oder auch an der Kleidung mit einem guten Tragekomfort integrierbar. Durch die Sprachausgabe kommt die für eine zügige und effektive Information am Besten geeignete Kommunikationsschnittstelle zum Einsatz.With Advantage is the output unit as an audio output unit, in particular with a speaker for voice output, executed, so that the system user on the basis of a synthetic or natural Voice information with hints, instructions, warnings and the like can be supplied. The output unit is lightweight, for example in headphones, in glasses or even on clothes Can be integrated with a good wearing comfort. Through the speech comes the for a swift and effective information on The most suitable communication interface is used.

Vorteilhafterweise ist die optische Sensoreinheit als Video-Kamera ausgeführt, da hiermit auf eine bewährte, zuverlässige und mittlerweile kostengünstige Technologie zurückgegriffen werden kann. Auch die kamerabasierte optische Sensoreinheit kann auf Grund einer verfügbaren Leicht- und Mikrobauweise in den bereits erwähnten Kopfhörer, die besagte Brille oder in Kleidungsstücke integriert werden, so dass eine zweckmäßige Funktionseinheit entsteht. Typischerweise kommen hierfür CCD-Sensoren oder auch CMOS-Sensoren zum Einsatz. Die CCD-Sensorik stellt einen wichtigen Schritt zur Mineaturisierung von Videokameras dar. Inzwischen übertreffen derartige Kameras die Qualität von Ikonoskopen-Kameras deutlich. Bei besonders hochwertigen Kameras werden die CCD-Chips stark abgekühlt. Dies ermöglicht extrem rauscharme Bilder, deren Rauschen selbst nach einer Verstärkung um 16 dB kaum wahrnehmbar ist. Bei Bildaufnehmern der CMOS-Sensorik, auch als Active Pixel Sensor bekannt, wird die Complementary-Metal-Oxide-Semiconductor-Technik verwendet. Der CMOS-Chip nimmt das Bild kontinuierlich auf, kann also zu beliebiger Zeit ausgelesen werden. Die Zahl der Bilder pro Sekunde hängt davon ab, wie hoch die Pixel-Frequenz und die Zahl der Pixel des ausgelesenen Bildausschnittes sind.advantageously, If the optical sensor unit is designed as a video camera, hereby to a proven, reliable and Meanwhile, low-cost technology has been resorted to can be. The camera-based optical sensor unit can also due to an available light and micro construction in the already mentioned headphones, said glasses or be integrated into garments so that one functional unit arises. typically, For this purpose, CCD sensors or even CMOS sensors are used Commitment. The CCD sensor technology represents an important step towards miniaturization of video cameras Cameras clearly show the quality of iconoscope cameras. For very high-quality cameras, the CCD chips are cooled down considerably. This allows extremely low-noise images, their noise itself barely noticeable after a gain of 16 dB. at Image sensors of CMOS sensors, also known as Active Pixel Sensor, the complementary metal-oxide-semiconductor technique is used. The CMOS chip takes the picture continuously, so it can be to any Time to be read out. The number of frames per second depends on it from, how high the pixel frequency and the number of pixels of the read Image section are.

In einer vorteilhaften Weiterbildung der vorliegenden Erfindung ist es vorgesehen, dass eine Zusatz-Sensoreinheit zur Erfassung von Lage und/oder Blickrichtung und/oder Drehrate und/oder Beschleunigung der Person dient. Dadurch ist es möglich, ein blickrichtungs- und bewegungsabhängiges Umfeld des Systemnutzers zu erfassen. Idealerweise kommt auch die Zusatz-Sensoreinheit an dem Kopfhörer, der Brille oder der Kleidung zum Einsatz. Mittels eines Lagesensors, eines Blickrichtungssensors, eines Drehbewegungssensor beziehungsweise mittels eines Beschleunigungssensors lassen sich die gewünschten Parameter ermitteln.In an advantageous embodiment of the present invention it is provided that an additional sensor unit for detecting Position and / or viewing direction and / or rate of rotation and / or acceleration the person serves. This makes it possible to and motion-dependent environment of the system user. Ideally, the additional sensor unit comes on the headphones, the Glasses or clothing used. By means of a position sensor, a viewing direction sensor, a rotary motion sensor or by means of an acceleration sensor can be the desired Determine parameters.

In einem weiteren Ausführungsbeispiel der Erfindung dient eine Eingabeeinheit zur akustischen Zielvorgabe. Mittels eines Mikrofons können von dem Systemnutzer ausgesprochene Befehle und Kommandos erfasst werden, um daraus eine, insbesondere sehbehindertengerechten, Bewegungsroute berechnen zu lassen. Die mit dem Mikrofon ausrüstbare Eingabeeinheit kann zudem mittels einer Funkschnittstelle, insbesondere mittels einer Bluetooth-Schnittstelle, mit der Auswerteeinheit in einer Wirkverbindung stehen oder unmittelbarer Teil der Ausgabeeinheit sein.In Another embodiment of the invention is used an input unit for the acoustic target. By means of a microphone can be commands issued by the system user and Commands to make it one, in particular visually impaired, To calculate the movement route. The microphone-equipped input unit can also by means of a radio interface, in particular by means of a Bluetooth interface, with the evaluation unit in an operative connection stand or be immediate part of the output unit.

Mit Vorteil steht ein Datenspeicher, insbesondere mit Informationen eines Wegesystems, mit der Auswerteeinheit in einer Daten austauschenden Wirkverbindung. Der Datenspeicher kann hierbei in Form einer CDROM, einer DVD, einer Festplatte, eines Flash-Speichers – auch als EEPROM-Speicher bezeichnet – oder dergleichen ausgeführt sein. In Kooperation mit der Navigationseinheit ist es demnach möglich, eine bestimmte Wegstrecke von einem Ausgangspunkt bis hin zu einem Zielpunkt unter Berücksichtigung der Informationen des Datenspeichers errechnen zu lassen und im Zuge einer interaktiven Kommunikation zwischen dem Systemnutzer und dem Personen-Assistenzsystem zu bewältigen.With Advantage is a data storage, in particular with information a route system, with the evaluation in a data-exchanging active connection. The data memory can in this case in the form of a CDROM, a DVD, a Hard disk, a flash memory - also known as EEPROM memory - or be carried out the same. In cooperation with the navigation unit It is therefore possible to travel a certain distance from one Starting point up to a destination under consideration to calculate the information of the data memory and in the In the course of an interactive communication between the system user and the passenger assistance system.

Vorteilhafterweise dient eine Auswerteeinheit zur Datenverarbeitung. Hierzu können Daten der Navigationseinheit, Daten der Sensoreinheit, Daten der Zusatz-Sensoreinheit, Daten der Eingabeeinheit, Daten des Datenspeichers und letztlich Daten für die Ausgabeeinheit verarbeitet werden. Die Auswerteeinheit ist insbesondere als Steuerungseinheit ausbildbar, die zur Aufnahme, Auswertung, Verarbeitung, Generierung und Ausgabe von Signalen, Daten und/oder Informationen dient.advantageously, serves an evaluation unit for data processing. You can do this Data of the navigation unit, data of the sensor unit, data of the Additional sensor unit, data of the input unit, data of the data memory and ultimately processing data for the output unit become. The evaluation unit is in particular as a control unit Can be trained for recording, evaluation, processing, generation and output of signals, data and / or information.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Die Erfindung sowie vorteilhafte Ausgestaltungen gemäß den Merkmalen der weiteren Ansprüche werden im Folgenden anhand des in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert, ohne dass insoweit eine Beschränkung der Erfindung erfolgt; diese umfasst vielmehr alle Abwandlungen, Änderungen und Äquivalente, die im Rahmen der Ansprüche möglich sind.The invention and advantageous embodiments according to the features of the other claims are explained in more detail below with reference to the embodiment shown in the drawing, without that a restriction of the extent Invention takes place; rather, it encompasses all modifications, changes and equivalents that are possible within the scope of the claims.

Die einzige Figur zeigt den prinzipiellen Systemaufbau beziehungsweise den prinzipiellen Funktionsablauf des Personen-Assistenzsystems in einer schematischen Darstellung.The single figure shows the basic system structure or the basic functional sequence of the passenger assistance system in a schematic representation.

Ausführungsform(en) der ErfindungEmbodiment (s) of the invention

In der Figur ist der schematisierte Systemaufbau und dessen Funktionsablauf eines Personen-Assistenzsystems 1 gezeigt. Das Personen-Assistenzsystem 1 oder auch Fußgänger-Assistenzsystem eignet sich zur Unterstützung von Personen, insbesondere sehbehinderter Personen, bei der Orientierung in Wegenetzen und bei der Beschreitung von Wegestrecken. Das Personen-Assistenzsystem 1 umfasst als zentrale Komponente eine Auswerteeinheit 2, die einerseits mit einer Navigationseinheit 3, einer Sensoreinheit 4, einer Zusatz-Sensoreinheit 5, einer optionalen Eingabeeinheit 6, einer optionalen Mobilfunkeinheit 9 und mit einem Datenspeicher 7 in einer Wirkverbindung steht. Andererseits besteht zwischen der Auswerteeinheit 2 und einer Ausgabeeinheit 8 eine Wirkverbindung.In the figure, the schematic system structure and its functional sequence of a passenger assistance system 1 shown. The passenger assistance system 1 or also pedestrian assistance system is suitable for the support of persons, in particular visually impaired persons, in the orientation in road networks and in the course of paticular routes. The passenger assistance system 1 comprises as the central component an evaluation unit 2 on the one hand with a navigation unit 3 , a sensor unit 4 , an additional sensor unit 5 , an optional input unit 6 , an optional mobile unit 9 and with a data store 7 is in an operative connection. On the other hand, there is between the evaluation unit 2 and an output unit 8th an active compound.

Die Auswerteeinheit 2 des Personen-Assistenzsystems 1 erhält zunächst Positionsinformationen oder auch Positionsdaten der Navigationseinheit 3, welche den aktuellen geografischen Standort einer die Navigationseinheit 3 mit sich führenden Person angeben. Die als Empfänger ausgeführte Navigationseinheit 3 steht hierzu mit einem Satellitenverbund in einer kommunizierenden Wirkverbindung und bildet mit diesen ein beispielsweise auf der GPS-Technologie (Global Positioning System) basierendes Navigationssystem. Ein derartiges Navigationssystem umfasst eine Reihe von GPS-Satelliten, die zyklisch GPS-Signale aussenden. Insgesamt umkreisen derzeit 24 Navigationssatelliten die Erde. Um den genauen Standort respektive die genaue Position des Systemnutzers zu bestimmen, muss die Navigationseinheit 3 gleichzeitig die Signale von mindestens vier der Satelliten empfangen. Dadurch ist es möglich, die Nutzerposition auf 10 bis 15 Meter genau zu bestimmen.The evaluation unit 2 of the passenger assistance system 1 initially receives position information or also position data of the navigation unit 3 indicating the current geographical location of a navigation unit 3 specify with leading person. The navigation unit designed as a receiver 3 stands for this purpose with a satellite network in a communicating operative connection and forms with this, for example, based on the GPS technology (Global Positioning System) navigation system. Such a navigation system includes a series of GPS satellites that cyclically transmit GPS signals. All in all, 24 navigation satellites are currently orbiting the earth. In order to determine the exact location or the exact position of the system user, the navigation unit must 3 simultaneously receive the signals from at least four of the satellites. This makes it possible to determine the user position to 10 to 15 meters exactly.

Mit den GPS-Signalen lässt sich aber nicht nur die Position des Systemnutzers in puncto Längen- und Breitengrad, sondern auch dessen Geschwindigkeit, dessen Laufrichtung und dessen Höhenposition über dem Meeresspiegel bestimmen. Hierzu vergleicht das GPS-Navigationssystem ständig die aktuell ermittelte GPS-Position mit in dem Datenspeicher 7 gespeicherten Kartenmaterial, und kann somit feststellen, wo sich die das GPS-System nutzende Person befindet. Das Kartenmaterial des Datenspeichers 7, insbesondere digitale Karte, weist beispielsweise Wegeinformationen auf und steht diesbezüglich mit der Auswerteeinheit 2 in einer Daten austauschenden Wirkverbindung. Ein Einsatz des so genannten DGPS (Differential Global Positioning System), worunter ein globales Positionsbestimmungssystem mit einem Differentialsignal zu verstehen ist, kann gleichwohl eingesetzt werden. Bei dem damit verbundenen Verfahren kann die Genauigkeit der GPS-Navigation durch das Ausstrahlen von Korrekturdaten gesteigert werden.The GPS signals can not only determine the position of the system user in terms of latitude and longitude, but also its speed, its running direction and its height position above sea level. For this purpose, the GPS navigation system constantly compares the currently determined GPS position with in the data memory 7 stored map material, and thus can determine where the person using the GPS system is. The map material of the data memory 7 , in particular digital map, has, for example, path information and is in this regard with the evaluation unit 2 in a data-exchanging active compound. A use of the so-called DGPS (Differential Global Positioning System), which is to be understood as a global positioning system with a differential signal, can nevertheless be used. In the associated method, the accuracy of the GPS navigation can be increased by the emission of correction data.

Neben den Daten der Navigationseinheit 3 erhält die Auswerteeinheit 2 zudem Daten und Informationen der Sensoreinheit 4. Die Sensoreinheit 4 arbeitet im Sinne einer Umfeldsensorik und ist als Videokamera ausgeführt. Mit Hilfe der Sensoreinheit 4 lassen sich Hindernisse, weitere Personen, Personenkraftwagen, Straßenbegrenzungen, Objekte und dergleichen im unmittelbaren Umfeld des Systemnutzers erfassen und erkennen. Die Sensoreinheit 4 – auch als kamerabasierte Umfeldsensorik bezeichnet – liefert der Auswerteeinheit 2 Videobilder und weitere Umfelddaten über die den Systemnutzer umgebende Umwelt. Die umfelderfassende Sensoreinheit 4 ist als leichtgewichtiges Kamerasystem aufgebaut, das beispielsweise in einer Brille, einen Kopfhörer, in Kleidung oder dergleichen, integriert sein kann. Ferner kann die Sensoreinheit 4 mit einem Ultraschallsensor und/oder einer Range-Videokamera und/oder einer Radarkomponente ausgerüstet werden.In addition to the data of the navigation unit 3 receives the evaluation unit 2 also data and information of the sensor unit 4 , The sensor unit 4 works in the sense of an environment sensor and is designed as a video camera. With the help of the sensor unit 4 can detect and detect obstacles, other people, cars, road boundaries, objects and the like in the immediate vicinity of the system user. The sensor unit 4 - Also known as camera-based environment sensors - provides the evaluation 2 Video images and other environmental data about the environment surrounding the system user. The encompassing sensor unit 4 is constructed as a lightweight camera system that can be integrated, for example, in glasses, headphones, clothing or the like. Furthermore, the sensor unit 4 be equipped with an ultrasonic sensor and / or a range video camera and / or a radar component.

Ergänzend zu der Sensoreinheit 4 ist die Zusatz-Sensoreinheit 5 vorgesehen, die ebenfalls Daten und Informationen an die Auswerteeinheit 2 übermittelt. Die Zusatz-Sensoreinheit 5 kann analog zu der Sensoreinheit 4 an vorhandenen Gegenständen angeordnet oder in diese integriert werden. Vorrangig werden mittels der Zusatz-Sensoreinheit 5 und dafür geeigneter Sensorelemente die Lage, die Beschleunigung, die Drehrate und die ungefähre Blickrichtung des Systemnutzers ermittelt respektive erfasst. Ziel ist es hierbei, die Zusatz-Sensoreinheit 5 weitestgehend starr an dem Kopf des Systemnutzers anzuordnen, um eine möglichst präzise Information über dessen Blickrichtung und dessen Körperhaltung zu gewinnen.In addition to the sensor unit 4 is the additional sensor unit 5 which also provides data and information to the evaluation unit 2 transmitted. The additional sensor unit 5 can be analogous to the sensor unit 4 be arranged on existing objects or integrated into these. Priority will be given by means of the additional sensor unit 5 and suitable sensor elements, the position, the acceleration, the rotation rate and the approximate line of sight of the system user determined or detected. The aim here is the additional sensor unit 5 To arrange as far as possible rigidly on the head of the system user in order to gain the most accurate information possible about its line of sight and its posture.

Optional ist zudem die Eingabeeinheit 6 mit der Auswerteeinheit 2 zur Einspeisung von Sprachdaten und entsprechender Informationen koppelbar. Die Eingabeeinheit 6 ist vorzugsweise in Form eines Mikrofons ausgebildet und analog zu den beiden Sensoreinheiten 4; 5 angeordnet. Über die Eingabeeinheit 6 ist es dem Systemnutzer somit möglich, eine Zielvorgabe anhand von Navigationsbefehlen und -kommandos auf akustischem Wege der Auswerteeinheit 2 zukommen zu lassen.Optional is also the input unit 6 with the evaluation unit 2 for feeding voice data and corresponding information can be coupled. The input unit 6 is preferably in the form of a microphone and analogous to the two sensor units 4 ; 5 arranged. About the input unit 6 It is thus possible for the system user, a target by means of navigation commands and commands on the acoustic way of the evaluation 2 to send.

Ebenfalls optional läßt sich die Mobilfunkeinheit 9 zur Bereitstellung eines Mobilfunkkanals, insbesondere GSM-Kanal oder UMTS-Kanal, mit der Auswerteeinheit 2 funktional verbinden. Die Mobilfunkeinheit 9 ist sowohl als externes als auch in Form eines in der Auswerteeinheit 2 integriertes Funktionsmodul ausführbar. Mit Unterstützung der Mobilfunkeinheit 9 ist es möglich, die Daten des Datenspeichers 7, sprich der digitalen Karte, zu aktualisieren und ortsgebundene Informationen (Location Based Information), wie Öffnungszeiten eines Ladens, Konzertprogramm einer naheliegenden Konzerthalle oder Hinweise zu Sonderangeboten eines auf der Wegestrecke liegenden Geschäfts, an den Nutzer auszugeben. Die Ortung eines gegebenenfalls hilfsbedürftigen Nutzers durch Dritte, um diesen in einer Notsituation zu lokalisieren, zählt ebenso wie die Funktionalität zur Auffindung eines Freundes (Buddy Locator) zu den Optionen der Mobilfunkeinheit 9. Der Buddy Locator kann beispielsweise den Nutzer des Assistenzsystems darüber in Kenntnis setzen, ob dessen Freunde in der Nähe sind, um letztlich eine Navigationsroute zu diesen vorzugeben. Auch die Übermittlung einer Personengruppen spezifischen Mitteilung, auch Community Annotation genannt, an einen eigens dafür vorgesehenen Server ist mittels der Mobilfunkeinheit 9 realisierbar. Dadurch kann beispielsweise eine sehbehinderte Person weiteren, gegebenenfalls sehbehinderten Systemnutzern sachdienliche Hinweise über einen besuchten Ort hinterlassen.Also optional is the mobile unit 9 for providing a mobile radio channel, in special GSM channel or UMTS channel, with the evaluation unit 2 functionally connect. The mobile radio unit 9 is both external and in the form of one in the evaluation unit 2 integrated functional module executable. With the support of the mobile radio unit 9 is it possible to store the data of the data store 7 , ie the digital map, and to issue location-based information, such as opening hours of a shop, concert program of a nearby concert hall or notes on special offers of a business lying on the way, to the user. The location of a possibly needy user by a third party to locate this in an emergency situation, as well as the functionality for finding a friend (Buddy Locator) is one of the options of the mobile unit 9 , For example, the buddy locator can inform the user of the assistance system as to whether his friends are nearby, in order to ultimately specify a navigation route to them. The transmission of a group specific message, also called community annotation, to a dedicated server is by means of the mobile unit 9 realizable. As a result, for example, a visually impaired person may leave pertinent information about a visited place to other system users who may be visually impaired.

Die Auswerteeinheit 2 selbst übernimmt auf der Grundlage der übermittelten Daten und Informationen weiterführende Aufgaben, so zum Beispiel der Datenverarbeitung, wonach der virtuelle Aufbau eines Szenenmodells vorgenommen wird. Ein derartiges Szenenmodell bildet sowohl die erfassten Umfelddaten als auch die ermittelten Positionsdaten des Systemnutzers ab. Während die Umfelddaten aus dem Nahbereich des Systemnutzers aus der Auswertung der Umfeldsensorik stammen, sind die Positionsdaten für den Fernbereich des Systemnutzers durch die Daten der digitalen Karte gestützt. Innerhalb der Auswerteeinheit 2 erfolgt im Anschluss daran eine Übersetzung des Szenenmodells in synthetische oder natürliche Sprachelemente, welche über die mit der Auswerteeinheit gekoppelte Audio-Ausgabeeinheit 8 an den Systemnutzer ausgegeben werden. Auch die Berechnung einer blindengerechten Route kann durch die Auswerteeinheit 2 vorgenommen und über die Sprachschnittstelle an den Systemnutzer ausgegeben werden.The evaluation unit 2 itself takes on the basis of the transmitted data and information further tasks, such as data processing, according to which the virtual structure of a scene model is made. Such a scene model maps both the acquired environment data and the determined position data of the system user. While the environment data from the vicinity of the system user comes from the evaluation of the environmental sensor, the position data for the remote area of the system user are supported by the data of the digital map. Within the evaluation unit 2 Following this, a translation of the scene model into synthetic or natural language elements takes place via the audio output unit coupled to the evaluation unit 8th to the system user. The calculation of a blind-suitable route can also be done by the evaluation unit 2 be made and issued via the voice interface to the system user.

Generell erfolgt eine prioritätsgesteuerte Ausgabe der Informationen, so dass zunächst Warnungen, dann Umfeldbeschreibungen und letztlich Navigationshinweise des Personen-Assistenzsystems 1 vom Systemnutzer empfangen werden. Zu den Warnungen zählen beispielsweise Aussagen wie „Von rechts nähert sich eine Gruppe Personen", „Etwas weiter links gehen", „Sie sind zu dicht am Bordstein", „Vor Ihnen steht ein Mülleimer im Weg" oder „Bitte zwei Schritte nach rechts ausweichen". Mögliche Umfeldbeschreibungen können zum Beispiel lauten „Sie laufen entlang des Hohenstaufenrings und blicken auf das Rathaus" oder „Sie überqueren die Innerste". Unter der Kategorie Navigationshinweise kann beispielsweise die Aufforderung lauten „Bitte nach 20 Schritten rechts in den Robert-Bosch-Weg einbiegen".In general, a priority-driven output of the information takes place, so that first warnings, then environment descriptions and finally navigation instructions of the passenger assistance system 1 received by the system user. The warnings include, for example, statements such as "a group of people approaching from the right", "go a little further to the left", "you are too close to the curb", "there is a bin in front of you" or "two steps to the right For example, descriptions of the surroundings may read "You walk along the Hohenstaufenring and look out over the town hall" or "You cross the heart." For example, under the category "Navigation instructions", the request may be "Please turn right into Robert-Bosch-Weg after 20 steps "turn.

Zusammenfassend erfolgt demnach eine Sprachausgabe einer Informationenkombination an den Systemnutzer über dessen Position und über dessen Umfeld. Unter Einsatz der Navigationseinheit 3 und des Datenspeichers 7 zur Bestimmung der Personenposition und zur Aufnahme von Positionsinformationen, der kamerbasierten Sensoreinheit 4 zur Umfelderfassung, der Zusatz-Sensoreinheit 5 zur Ermittlung personenbezogener Zustandsdaten, wie Blick- und Bewegungsrichtung, interpretiert das Personen-Assistenzsystem 1 alle vorliegenden Daten und Informationen und gibt diese schlussendlich über seine Ausgabeeinheit 8 aus.In summary, therefore, a voice output of a combination of information to the system user via its position and its environment. Using the navigation unit 3 and the data store 7 for determining the position of the person and for recording position information, the camera-based sensor unit 4 for environment detection, the additional sensor unit 5 The Personal Assistance System interprets the determination of personal status data, such as the direction of vision and movement 1 all available data and information and finally outputs this via its output unit 8th out.

Damit verbessert das Personen-Assistenzsystem 1 nicht nur die Selbstständigkeit des Systemnutzers, sondern auch dessen Bewegungsfreiheit, da ein händisches Eingreifen auf Grund der sprachlichen Interaktion zwischen dem Systemnutzer und dem Personen-Assistenzsystem 1 entfallen kann. Das vorliegende Personen-Assistenzsystem 1 versetzt den Systemnutzer also in die Lage, selbstständig ein Navigationssystem zu verwenden und zu bedienen. Die visuelle Wahrnehmung der Umfeld- und Positionsdaten rückt damit in den Hintergrund, wodurch sich das erfindungsgemäße Personen-Assistenzsystem 1 insbesondere für Personen mit einer Sehbehinderung eignet. Nichtsdestotrotz ist ein Einsatz des Personen-Assistenzsystems 1 auch bei Personen mit uneingeschränktem Sehvermögen möglich, da dadurch auf komfortable Weise Wege-, Umfeld- und Positionsinformationen schnell und präzise abrufbar sind, während beide Hände für anderweitige Aufgaben zur Verfügung stehen. Zeiten zu denen mit unhandlichem Kartenmaterial die Umgebung zu erkunden versucht wurde, gehören damit der Vergangenheit an.This improves the passenger assistance system 1 not only the autonomy of the system user, but also their freedom of movement, as a manual intervention due to the linguistic interaction between the system user and the passenger assistance system 1 can be omitted. The present passenger assistance system 1 enables the system user to independently use and operate a navigation system. The visual perception of the environment and position data thus moves into the background, whereby the person assistance system according to the invention 1 especially suitable for people with visual impairment. Nonetheless, there is a use of the passenger assistance system 1 It is also possible for persons with unrestricted vision, as it provides a comfortable way to quickly and precisely access path, environment and position information, while both hands are available for other tasks. Times when unwieldy maps were used to explore the surroundings are now a thing of the past.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list The documents listed by the applicant have been automated generated and is solely for better information recorded by the reader. The list is not part of the German Patent or utility model application. The DPMA takes over no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

JP 11132785 A [0002]

Claims

Personal assistance system ( 1 ), in particular pedestrian assistance system, with a navigation unit ( 3 ) for position determination on the basis of position data, the output of which via an output unit ( 8th ), characterized in that an optical sensor unit ( 4 ) for environment detection using environmental data whose output in combination with the position data via the output unit ( 8th ) he follows.

Personal assistance system ( 1 ) according to claim 1, characterized in that the navigation unit ( 3 ) is executed as a GPS receiver.

Personal assistance system ( 1 ) according to one of the preceding claims, characterized in that the output unit ( 8th ) is executed as an audio output unit, in particular with a voice output.

Personal assistance system ( 1 ) according to one of the preceding claims, characterized in that the optical sensor unit ( 4 ) is executed as a video camera.

Personal assistance system ( 1 ) according to one of the preceding claims, characterized in that an additional sensor unit ( 5 ) is used to detect position and / or viewing direction and / or rate of rotation and / or acceleration of the person.

Personal assistance system ( 1 ) according to one of the preceding claims, characterized in that an input unit ( 6 ), in particular microphone, serves for the acoustic target.

Personal assistance system ( 1 ) according to one of the preceding claims, characterized in that a mobile radio unit ( 9 ) for providing a mobile radio channel, in particular GSM channel or UMTS channel, is used.

Personal assistance system ( 1 ) according to one of the preceding claims, characterized in that a data memory ( 7 ), in particular with path information, with the evaluation unit ( 2 ) is in a data-exchanging active compound.

Personal assistance system ( 1 ) according to one of the preceding claims, characterized in that an evaluation unit ( 2 ) is used for data processing.

Personal assistance system ( 1 ) according to one of the preceding claims, characterized in that the navigation unit ( 3 ) is connected to a satellite network in a communicating operative connection.

Passenger assistance procedures, in particular pedestrian assistance procedures, using a personal assistance system ( 1 ) with a navigation unit ( 3 ) a position determination is made by means of position data whose output is output via an output unit ( 8th ), characterized in that an environment detection by means of an optical sensor unit ( 4 ) is made on the basis of environment data whose output is output via the output unit ( 8th ) in combination with the position data.