EP3583498A1 - Verfahren und vorrichtung zur unterstützung des fahrers eines kraftfahrzeuges - Google Patents

Verfahren und vorrichtung zur unterstützung des fahrers eines kraftfahrzeuges

Info

Publication number
EP3583498A1
EP3583498A1 EP18710337.9A EP18710337A EP3583498A1 EP 3583498 A1 EP3583498 A1 EP 3583498A1 EP 18710337 A EP18710337 A EP 18710337A EP 3583498 A1 EP3583498 A1 EP 3583498A1
Authority
EP
European Patent Office
Prior art keywords
data
smartphone
driver
speech
sector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP18710337.9A
Other languages
English (en)
French (fr)
Inventor
Holger G. WEISS
Patrick Weissert
Rémi BIGOT
Dariusz SIEDLECKI
Felix PIELA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
German Auto Labs Gal GmbH
Original Assignee
German Auto Labs Gal GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE102017103409.9A external-priority patent/DE102017103409A1/de
Priority claimed from DE102017104068.4A external-priority patent/DE102017104068A1/de
Priority claimed from DE102017104661.5A external-priority patent/DE102017104661A1/de
Application filed by German Auto Labs Gal GmbH filed Critical German Auto Labs Gal GmbH
Publication of EP3583498A1 publication Critical patent/EP3583498A1/de
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3608—Destination input or retrieval using speech input, e.g. using speech recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3661—Guidance output on an external device, e.g. car radio
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3688—Systems comprising multiple parts or multiple output devices (not client-server), e.g. detachable faceplates, key fobs or multiple output screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Definitions

  • the invention relates to a method and a device for assisting the driver of a motor vehicle and is applicable for use in motor vehicles, either permanently installed in the motor vehicle or in the form of an integrated device or a retrofittable accessory, which can be arranged in the field of vision of the driver.
  • Motor vehicles for the purposes of this invention are passenger cars and motor homes, motorcycles, buses, trucks, construction equipment such as excavators and cranes, agricultural and forestry tractors and agricultural machinery such as tractors and combine harvesters, special fire and road cleaning vehicles.
  • the object of the present invention is to provide a method and a device which allow effective processing of a wide variety of input and received data and realize situation-dependent information of the driver, the device being simple and inexpensive to manufacture and easy to operate for the driver and distraction should.
  • an intelligent digital virtual passenger is realized, which supplies the driver with navigation data, music, news, emails or traffic information depending on different situations, the driver the operation of the device or the additional device can perform blind, without visual contact with the device or accessory, and without touching the
  • the device or the additional device can also be connected to the Internet in order, for example, to provide weather information.
  • connection between the attachment and the smartphone is preferably via Bluetooth. It is a particular advantage of the device or the attachment that blinds the driver via the device or the accessory features of the smartphone
  • Smartphone use in the vehicle is a big and ever increasing problem in road traffic.
  • Interaction with the smartphone or a modern touch infotainment system requires that the driver has visual contact with the device during use because the user interface can not be operated blind.
  • the driver can not focus on the road, which makes any interaction with the smartphone or a touch infotainment system an accident risk.
  • the device enables the blind and non-touch use of smartphone and car functions via voice and / or gesture interaction, thus reducing the potential for distraction and increasing traffic safety by focusing attention on the traffic can stay.
  • a particular advantage of the invention is that the processing and execution of essential functions of the assistant such as voice processing and dialogue control and the processing of receiving and smartphone data on the smartphone takes place and thus independent of the vehicle and the device a powerful and up-to-date Software and hardware platform for the execution of these functions can be ensured cost-effectively.
  • this method makes it possible to use data from his smartphone or the co-drivers' smartphones in assisting the driver by connecting a device that can be arranged or installed in the motor vehicle to the driver's or passenger's smartphone and processing data from the smartphone and other receiving data and the driver prepared according to predetermined criteria in an acoustic and / or visual form.
  • These smartphone data may include phone numbers and / or contact information and / or
  • Smartphone data are read out via interfaces provided by the smartphone via individual modules or agents. This way, the telephony agent can be used to connect to the smartphone's phone functions, to the address book agent via the address book agent, and so on.
  • Data that is not provided directly via smartphone interfaces, such as navigation map data or third-party audio playlists, is either connected through (a) third-party cloud interfaces, or (b) through software development kits (SDKs) respective provider.
  • SDKs software development kits
  • reception data are preferably map and / or navigation data and / or traffic information and / or radio or TV broadcasts and / or digital
  • a further advantage of the invention lies in the optimized selection of the data to be processed and the data to be transmitted, which depend on the driving situation and / or the traffic situation and / or the time of day and / or the weather and / or the preferences of the user and / or the user historical usage of the data by the user and / or preferences of other users and / or historical use of the data by other users.
  • the system can adapt to situations in which the driver is subject to high cognitive load or which are very risky, as well as to situations in which the driver is cognitively under-burdened and may need to be stimulated to prevent fatigue or falling asleep ,
  • the overall system is designed to be adaptive so that the frequency, the nature of the data to be processed and the data to be transmitted allow conclusions to be drawn for the future
  • Data processing and data output are drawn.
  • the selection of the data to be processed and the data to be transmitted is carried out according to the following
  • Vehicle and traffic situation data such as speed, navigation data, traffic density, road geometry, road width, number of lanes, accident frequency, speed limits, general traffic reports and special situations such as construction sites,
  • Correlation of the acquired data with predetermined program sequence patterns output or temporary or permanent suppression of such prioritized data for use by the driver or passenger.
  • the device includes an internal standard power supply, microphone, digital processor, display, gesture sensor (s), a speaker and wireless communication units.
  • the gesture sensors are preferably designed as LED-based IR sensors.
  • the device for assisting the driver is simple and inexpensive to produce, the device having a display and a voice input unit.
  • the device can be coupled with additional input devices, such as the input devices in one
  • the device preferably further comprises an electronic circuit arranged on a printed circuit board with a
  • Bluetooth components are arranged.
  • the device is designed as an attachment with a display arranged in a housing and with a voice input unit and a voice output unit.
  • the device In the operating state, the device can be connected to the audio system of the motor vehicle or elements of the on-board electronics wireless or wired.
  • the connection is made via FM transmitter / receiver.
  • the attachment preferably has a circular cross-section and comprises the components disc, ring, printed circuit board, battery, speakers, housing magnets,
  • the housing has a fastening device for attachment to the dashboard or on the windscreen of the motor vehicle.
  • the fastening device and the housing can be detachably connected to each other by means of magnets.
  • An advantage of the invention is that the device on the bracket is easily and quickly attachable and easy and quick to remove and allows different mounting positions by both the device and the bracket mounting areas are arranged, the mounting portion of the back of the device at least a holding magnet and two mirror-image arranged mounting sectors, which are provided with mirror-image arranged electrical contacts and the mounting portion on the holder at least one holding magnet and a fastening sector with electrical contacts, wherein in the assembled state, the holding magnets and the electrical contacts of the mounting sector with the electrical contacts the two different attachment sectors are in contact such that, depending on the contact with the respective attachment sector, a 180 ° rotated positioning of the device is realized.
  • a further advantage of the invention in addition to the ease of handling, is the high stability of the connection, which results from the attachment sectors on the device being semicircular recesses and the attachment sectors to the support being semicircular rails, the recesses and the rails corresponding to one another in the assembled state.
  • An additional advantage of the invention is the secure mechanical connection in that the holding magnets ensure mechanical fastening both to the appliance and to the holder.
  • the electrical contact between the device and the holder realize the electrical contacts
  • the bracket may be provided with a squeegee and have one or more USB ports.
  • the device has a three-part structure in principle of the overall housing with a central ring as a basis.
  • the back of the ring is followed by a rear housing part and forward of the circular display is arranged.
  • a printed circuit board is inside the ring behind the display and in front of the rear housing part einmontiert.
  • the display is now mounted with a circular cross-section in the ring, and just below the display, a gap is incorporated in the front area of the ring, which runs around the display.
  • invisible openings for the user or driver are incorporated into this joint, which channels the sound back towards the microphones.
  • the microphones are preferably arranged vis-a-vis the openings on the printed circuit board arranged behind the ring. The openings form sound channels through which the sound reaches the microphones.
  • FIG. 1 is an overview of the system components
  • Figure 2 is an exploded view of the device components of an additional device
  • Figure 3 is a sectional view with device components of an additional device
  • FIG. 4 is an illustration of the communication links
  • FIG. 5 is an overview of the overall system
  • Figure 6 shows the back of the device according to the invention with mounting area in
  • Figure 7 shows the mounting portion of the bracket in plan view us lateral top view
  • FIG. 8 shows the device mounted on the holder
  • Figure 9 is a sectional view of the basic structure of the device
  • Figure 10 is a detail view of the arrangement of the openings and microphones
  • Figure 1 1 is a front view of the device with the openings in the ring device components
  • the device 1 is electronically connected to a smartphone 1 a of the driver or a passenger and in the present
  • Embodiment with a car radio 1 b which may be formed with or without navigation system.
  • the device 1 can continue with the audio system of
  • Embodiment a Bluetooth connection 1 c.
  • the car radio 1 b can be connected via a cable 1 d, a Bluetooth connection or an FM transmitter 10 with the device.
  • Smartphone 1 a and device 1 are connected to a USB power supply unit 15, which has two USB ports in the present embodiment.
  • the device 1 has, inside the housing 2, a printed circuit board 5 with an electronic circuit 5a with a data storage unit 6 and a data processing unit 7.
  • the electronic circuit 5a is furthermore connected to an amplifier 12 connected to a voice output unit 4b embodied as a loudspeaker, a graphics driver 13, an FM receiver 17, a gesture sensor 8, an energy management group 14, the Bluetooth components connected to a power supply unit 11 16 and one with a trained as a microphone
  • Speech input unit 4a connected shutdown 18, which consists of
  • Figures 2 and 3 show the detailed structure of the device 1 and the housing 2 of the device designed as an accessory 1.
  • Essential components are disc 9a, ring 9c, circuit board 5, formed as a battery power supply unit 1 1, speaker 4b, housing magnets 9d, rear housing part 9e , Main magnet 9g, and an alternative 9h which can be arranged on the rear housing part 9e.
  • the textile coating 9h has in addition to the aesthetic enhancement of the device 1 has the advantage that the impact of strong
  • the disc 9a is made of glass, the ring 9c made of metal, preferably aluminum, and the rear part 9e made of plastic.
  • the display 3, the circuit board 5 and the housing 2 are mounted on the rear housing part 9e, that is, the assembly of the circuit board 5, the housing 2 and the display 3 via the ring 9c. Due to the small dimensions of the device 1 and the part-spherical shape of the structure of the housing 2 is substantially different than in rectangular devices.
  • a substantially three-part construction is realized with the central ring 9c as a base and the housing 2 and the display 3.
  • the circuit board 5 is mounted in the ring 9c.
  • connection between smartphone 1 a, device 1 and car radio 1 b with speaker 4 b are shown in Fig. 4.
  • the connection between the smartphone 1 a and device 1 takes place in the present embodiment via Bluetooth 16.
  • the connection between the device 1 and the car radio 1 b is made in the present embodiment via Bluetooth 16 or via a jack connection 1 d or VHF, ie FM transmitter and FM Receiver.
  • the device 1 is designed as an additional device, it is secured by means of a holder in the field of vision of the driver, preferably on the dashboard or on the windscreen.
  • the device 1 relationship meadow the attachment connects automatically and wirelessly with the smartphone 1 a of the driver or the smartphone 1 a of a passenger (see Figure 1, 1 c) and the audio system of the motor vehicle ( Figure 1, 1 d).
  • the connection to the audio system of the motor vehicle can be wireless via Bluetooth 1 c or via a built-in FM transmitter, or wired via the
  • Bluetooth 1 c Bluetooth low energy
  • Hands-free Profile (a) for transmitting voice data from the device 1 to the smartphone 1 a and from the smartphone 1 a to the device 1, and (b) for making calls in handsfree mode via the built-in speaker or the connected vehicle speakers ,
  • A2DP Advanced Audio Distribution Profile
  • PBAP Phonebook Access Profile
  • AVRCP Audio / Video Remote Control Profile
  • Bluetooth Low Energy transmits non-auditory data, such as the graphical user interface, gesture control and other control signals, data transferred from the device 1 to the smartphone 1a (working status, statuses of various applications).
  • the smartphone 1 a On the smartphone 1 a is an associated smartphone application that communicates via the Bluetooth interface 1 c with the device 1 or additional device (Figure 5).
  • the control of the communication between the device 1 and the smartphone application is made via the Chris Driver module ( Figure 5, 32) in the smartphone application.
  • This module allows the smartphone application to communicate with various devices or additional devices.
  • many essential processes take place, especially (a) the speech processing of
  • the language processing chain consists of the following components:
  • Dialog control Dialog Control (Dialog Management, DM)
  • the speech-based activation of the speech recognition takes place locally on the device 1 or the additional device.
  • the communication in the vehicle is continuously analyzed until the password for activating the speech recognition is recognized, whereupon the voice data transmission from the microphone of the device 1 or additional device into the speech recognition system in the smartphone application is started.
  • Speech recognition takes place via a hybrid system that can perform speech recognition both on the smartphone 1 a in the smartphone application, that is also online via the cloud interface via an online speech recognition service.
  • the entire process chain from speech recognition to interpretation, dialog control and speech synthesis and output can be performed locally on the smartphone 1 a in the smartphone application.
  • the local speech recognition is used in the smartphone application, since the detection can be faster and more robust, and also under
  • the microphone signal is transmitted via the Bluetooth connection by means of the Bluetooth Handsfree Profile (HFP) to the smartphone 1 a.
  • HFP Bluetooth Handsfree Profile
  • special microphones are used for speech recognition, which are independent of the microphone used for hands-free telephony, and transmit the beamforming and echo cancellation a clear voice signal from the driver to the smartphone 1 a and there the associated smartphone application.
  • Speech signal is transmitted in an optimized for the speech recognition system bit rate from the device 1 or additional device to the smartphone 1 a.
  • User data such as the user's address book, former targets in the navigation system, or metadata of audio files are used as grammars (grammars) that make the system better recognize, for example, names that the user has in his smartphone's address book, and (b) through continuously improved speech recognition models that can be imported into the smartphone application via the cloud interface.
  • grammars grammars
  • the interpretation of speech input is done in the NLU module of the smartphone application (FIGS. 5, 39), whereby the speech input is divided into intention and further information (for example name, title, etc.) and then sent to the dialog control module (DM module, FIG. 34) is handed over. There, in response to these inputs, the next step in system interaction is determined, and via speech generation and Speech synthesis output.
  • the voice output is again via the device 1 or additional device, or via the audio system of the motor vehicle, if it is connected to the device 1 or additional device.
  • the dialog control succeeds through the dialog control module (DM modules, Figure 5, 34) in the smartphone application.
  • An essential feature of this module is that the actual dialog, ie the input / response rules, are created in a script file that can be regularly updated via the cloud interface, without the smartphone application itself must be updated. Thus, the user can be made possible a continuously optimized dialogue.
  • the voice inputs if approved by the user, are stored and transmitted via the cloud interface to a server-based logging and analysis system, where it is partially automated tagged and then used for further analysis with the aim of optimizing the speech recognition performance.
  • the device 1 or additional device also has a gesture sensor (Figure 1, 17).
  • the gesture sensor recognizes the following gestures:
  • Menu item to previous menu item ("right” gesture, context sensitive) c) cancel actions (“down" gesture, context sensitive)
  • g increase volume, for example in a telephone call or music playback ("far" gesture, context-dependent)
  • the device via a Bluetooth connection 1 c to the car, or infotainment system or car radio 1 b of the car, standardized
  • Bluetooth AVRCP is a profile for remote control of audio or video devices. It supports commands such as next song ("forward"), previous song (“backward”), pause & play, louder and quieter. These are used in wizard Chris as follows: a) Scroll from one list entry to the next list entry, such as in a list of contacts, songs or messages, or from one menu item to the next menu entry ("fast forward” and "forward” AVRCP command).
  • AVRCP commands are processed by identifying device 1's Bluetooth connection 1c or optional device with the vehicle as the audio source that supports AVRCP commands. In the device 1 or additional device, the AVRCP commands are received and then converted and further transmitted as pure data models to the associated smartphone app, where they are then processed context-dependent upward Scheme. That way you can
  • Input options for the vehicle are not only used for audio playback, but also for the control in menus and dialogs.
  • Voice input, gesture control and control via input devices of the vehicle multimodal can be made complementary. For example, in a list of entries (such as contacts, songs, or messages), the following can be served:
  • Vehicle input mechanism ("skip next") selects the next list entry
  • Another advantage of the invention is a secure data output, which takes place in the form of the acoustic data output as a voice output and in the form of the visual data output as a display representation.
  • information can be context-dependent, either only as a speech output (for example, during a demand in the dialog processing), only as a display representation (for example, display of a music album during the
  • Music playback or as a combined display presentation and voice output (for example, displaying a contact and reading the name) take place.
  • the device 1 has on its rear side 22 a fastening region 20, which is subdivided into two mirror-symmetrically arranged fastening sectors 23 and 24.
  • the attachment sectors 23, 24 are arranged in a recess.
  • the attachment sectors 23, 24 are arranged in mirror image and with mirror image positioned electrical contacts 25 provided. In the present embodiment, five electrical contacts 25 are arranged in each of the two attachment sectors 23, 24. Of course, it is also possible to arrange a larger or smaller number of electrical contacts.
  • a magnet 9g is arranged.
  • Side of the mounting portion 20 are openings 30 for speakers.
  • FIG. 7 now shows the embodiment of the attachment region 21 on the mount 19.
  • the attachment region 21 has only one attachment sector 26.
  • the fastening sector 26 is designed as a rail in a semicircular design.
  • a total of five electrical contacts 27 are arranged in the present embodiment, which with the
  • a magnet 9g is arranged.
  • a suction cup 28 for fixing the holder 19 on a smooth surface.
  • FIG. 8 shows the completely assembled unit of device 1 and holder 19.
  • Elevations are formed, have intervened in the mounted state in the recessed mounting sectors 23, 24 and made via the electrical contacts 25 and 27, which were brought into contact, the electrical connection. Since the attachment sectors 23, 24 are formed symmetrically identical to the device 1, the device 1 can be rotated by 180 ° and then contacted via the electrical contacts 25 and 27, the device 1 in inverted mounting position.
  • the mechanical connection is realized by the interaction of the magnets 9d and 9g.
  • USB port 29 is arranged in the present embodiment.
  • the housing 2 has a rear housing part 9e, a ring 9c and a display 3 arranged in the ring 9c, as well as a printed circuit board 5.
  • the ring 9c forms a central component of the overall housing construction. The ring 9c realizes the connection to the rear housing part 9e and takes in his
  • FIG. 10 shows the enlarged detail view of the opening 40 and of a microphone 4a, which lies opposite the opening 40, connected by the sound channel 41.
  • a gap 42 is arranged, in which, almost invisible to the viewer, the openings 40 are located.
  • the sound passes through the openings 40 in the joint 42 via the sound channel 41 to the present in the present
  • Embodiment designed as a directional microphone microphone 4a Embodiment designed as a directional microphone microphone 4a.
  • FIG 11 now shows a front view of the display 3 and the ring 9c.
  • the ring 9c has in its front region 40a, the gap 42, in which the openings 40 are arranged.
  • a total of four openings 40 are arranged, which are positioned opposite the microphones 4a.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Telephone Function (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Die Erfindung beschreibt ein Verfahren und eine Vorrichtung zur Unterstützung des Fahrers eines Kraftfahrzeuges, wobei ein in dem Kraftfahrzeug anordenbares oder verbautes Gerät mit dem Smartphone des Fahrers oder Beifahrers verbunden wird und Daten aus dem Smartphone sowie weitere Empfangsdaten verarbeitet und dem Fahrer nach vorgegebenen Kriterien aufbereitet in akustischer und/oder visueller Form übermittelt werden. Das erfindungsgemäße Gerät weist ein Display (3), eine Spracheingabeeinheit (4a) und einen Gestensensor (8) auf.

Description

Verfahren und Vorrichtung zur Unterstützung des Fahrers eines Kraftfahrzeuges
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Unterstützung des Fahrers eines Kraftfahrzeuges und ist anwendbar zur Nutzung in Kraftfahrzeugen, entweder fest verbaut im Kraftfahrzeug oder in Form eines integrierten Gerätes oder eines nachrüstbaren Zusatzgerätes, welches im Sichtbereich des Fahrers anordenbar ist.
Kraftfahrzeuge im Sinne dieser Erfindung sind Personenkraftwagen und Wohnmobile, Motorräder, Omnibusse, Lastkraftwagen, Baumaschinen wie Bagger und Kräne, Land- und forstwirtschaftliche Zugmaschinen und Landmaschinen wie Traktoren und Mähdrescher, Sondernutzfahrzeuge der Feuerwehr und Straßenreinigung.
Fahrerassistenzsysteme sind bereits bekannt und finden bei der Neuentwicklung von Kraftfahrzeugen vielseitige Anwendungen.
Aus der US 2016/0025973 A1 ist ein kompaktes Heads-up-Display System bekannt, mit welchem unterschiedliche Kommunikationsdaten verarbeitet und dem Fahrer ausgegeben werden.
Aufgabe der vorliegenden Erfindung ist es, ein Verfahren und eine Vorrichtung zu schaffen, welche eine effektive Verarbeitung verschiedenster Eingabe- und Empfangsdaten ermöglichen und eine situationsabhängige Information des Fahrers realisieren, wobei die Vorrichtung einfach und preiswert herstellbar und für den Fahrer leicht und ablenkungsarm zu bedienen sein soll.
Diese Aufgabe wird gelöst durch die Merkmale in den Ansprüchen 1 und 8. Zweckmäßige Ausgestaltungen der Erfindung sind in den Unteransprüchen enthalten. Durch die
Anwendung der Erfindung, also die Benutzung des Gerätes oder des Zusatzgerätes mit der Produktbezeichnung CHRIS® wird ein intelligenter digitaler virtueller Beifahrer realisiert, welcher in Abhängigkeit von unterschiedlichen Situationen den Fahrer mit Navigationsdaten, Musik, Nachrichten, E-Mails oder Verkehrsinformationen versorgt, wobei der Fahrer die Bedienung des Gerätes beziehungsweise des Zusatzgerätes blind ausführen kann, ohne Sichtkontakt mit dem Gerät beziehungsweise Zusatzgerät, und ohne Berührung des
Smartphones.
Über die Verbindung mit dem Smartphone ist das Gerät beziehungsweise das Zusatzgerät auch mit dem Internet verbindbar, um beispielsweise Wetterinformationen,
Navigationsinformationen etc. zu verarbeiten. Die Verbindung zwischen dem Zusatzgerät und dem Smartphone erfolgt vorzugsweise über Bluetooth. Es ist ein besonderer Vorteil des Gerätes oder des Zusatzgerätes, dass der Fahrer über das Gerät beziehungsweise das Zusatzgerät Funktionen des Smartphones blind und
berührungsfrei benutzen kann, das heißt ohne mit dem Gerät oder Zusatzgerät im
Sichtkontakt zu sein. Smartphone Nutzung im Fahrzeug ist ein großes und weiter zunehmendes Problem im Straßenverkehr. Die Interaktion mit dem Smartphone oder einem modernen Touch-Infotainment System erfordert, dass der Fahrer während der Nutzung Sichtkontakt mit dem Gerät hat, da die Benutzeroberfläche nicht blind bedient werden kann. Während dieses Sichtkontaktes kann der Fahrer den Blick nicht auf die Straße richten, was jede Interaktion mit dem Smartphone oder einem Touch-Infotainment-System zu einem Unfallrisiko macht. Das Gerät ermöglicht die blinde und berührungsfreie („no touch") Benutzung von Smartphone- und Auto-Funktionen über Sprach- und/oder Gesten-Interaktion und reduziert somit das Ablenkungspotential und erhöht die Verkehrssicherheit, indem der Blick und die Aufmerksamkeit auf das Verkehrsgeschehen gerichtet bleiben kann.
Ein besonderer Vorteil der Erfindung besteht darin dass die Verarbeitung und Ausführung von wesentlicher Funktionen des Assistenten wie zum Beispiel die Sprachverarbeitung und Dialogsteuerung sowie die Verarbeitung von Empfangs- und Smartphone-Daten auf dem Smartphone stattfindet und damit unabhängig vom Fahrzeug und dem Gerät eine leistungsfähige und aktuelle Software- und Hardware- Plattform für die Ausführung dieser Funktionen kostengünstig gewährleistet werden kann. Dieses Verfahren ermöglicht darüber hinaus dass bei der Unterstützung des Fahrers Daten aus seinem Smartphone oder den Smartphones von Beifahrern Verwendung finden, indem ein in dem Kraftfahrzeug anordenbares oder verbautes Gerät mit dem Smartphone des Fahrers oder Beifahrers verbunden wird und Daten aus dem Smartphone sowie weitere Empfangsdaten verarbeitet und dem Fahrer nach vorgegebenen Kriterien aufbereitet in akustischer und/oder visueller Form übermittelt werden.
Diese Smartphonedaten können Telefonnummern und/oder Kontaktdaten und/oder
Adressdaten und/oder eingehende E-Mails oder Nachrichten und/oder Internetdaten und/oder SMS Nachrichten und/oder MMS Nachrichten und/oder Audiodateien und/oder MP3 Audiodateien und/oder Audio Playlisten und/oder Kartendaten und/oder
Navigationsangaben und/oder persönliche Daten des Fahrers oder Beifahrers sein.
Smartphonedaten werden über vom Smartphone bereitgestellte Schnittstellen über individuelle Module beziehungsweise Agenten ausgelesen. So wird über den Telefonie- Agenten die Verbindung zu Telefon-Funktionen des Smartphones ermöglicht, über den Addressbuch-Agenten die Verbindung zum Addressbuch des Smartphones, und so weiter. Daten die nicht direkt über Smartphone-Schnittstellen zur Verfügung gestellt werden, wie zum Beispiel Navigationskartendaten, oder Audio-Playlisten von Drittanbietern, werden entweder über (a) Cloud-Schnittstellen der Drittanbieter angebunden, oder (b) über Software Development Kits (SDKs) der jeweiligen Anbieter.
Als Empfangsdaten werden vorzugsweise Karten- und/oder Navigationsdaten und/oder Verkehrsinformationen und/oder Radio- oder TV-Übertragungen und/oder digitale
Audiostreams und/oder Staumeldungen und/oder WhatsApp Nachrichten und/oder
Facebook Messanger Nachrichten und/oder Wetterdaten verarbeitet.
Ein weiterer Vorteil der Erfindung liegt in der optimierten Auswahl der zu verarbeitenden und der zu übermittelnden Daten, welche in Abhängigkeit der Fahrsituation und/oder der Verkehrssituation und/oder der Tageszeit und/oder des Wetters und/oder der Präferenzen des Nutzers und/oder der historischen Nutzung der Daten durch den Nutzer und/oder Präferenzen anderer Nutzer und/oder der historischen Nutzung der Daten durch andere Nutzer erfolgt.
Dabei kann das System sich sowohl an Situationen anpassen, in denen der Fahrer einer hohen kognitiven Belastung unterliegt, oder die sehr riskant sind, als auch an Situationen, in denen der Fahrer kognitiv unterbelastet ist und gegebenenfalls stimuliert werden muss, um Müdigkeit oder Einschlafen zu verhindern.
Das Gesamtsystem ist lernfähig ausgelegt, so dass aus Häufigkeit sowie Art und Weise der zu verarbeitenden und der zu übermittelnden Daten Rückschlüsse für die zukünftige
Datenverarbeitung und Datenausgabe gezogen werden. Die Auswahl der zu verarbeitenden und der zu übermittelnden Daten erfolgt gemäß den nachfolgend aufgeführten
Verfahrensschritten:
Erfassen der Fahrzeug- und Verkehrssituationsdaten wie Geschwindigkeit, Navigationsdaten, Verkehrsdichte, Straßengeometrie, Straßenbreite, Anzahl Spuren, Unfallhäufigkeit, Geschwindigkeitsbegrenzungen, allgemeine Verkehrsmeldungen und Sondersituationen wie Baustellen,
Erfassen weiterer Kontextdaten wie aktuelles Wetter, Sicht, Temperatur, Tageszeit, Lichtverhältnisse,
Abrufen von Nutzerpräferenzen und historischen Nutzungsverhalten des Nutzers, Ermittlung der Komplexität der Verkehrssituation nach einem Komplexitätsindex aus Verkehrs- und Kontextdaten,
Ermittlung der Priorität der Übermittlung und Bereitstellung von Daten aus Präferenzen des Nutzers, dem historischem Nutzungsverhalten des Nutzers, den Präferenzen anderer Nutzer und des historischen Nutzungsverhaltens anderer Nutzer,
Korrelation der erfassten Daten mit vorgegebenen Programmablaufmustern, Ausgabe oder temporäre oder dauerhafte Unterdrückung von derart priorisierten Daten für die Nutzung durch den Fahrer oder Beifahrer.
In der Ausführung als Gerät beziehungsweise Zusatzgerät enthält die Vorrichtung standardgemäß eine interne Stromversorgung, Mikrofon, digitalen Prozessor, Display, Gestensensor(en), einen Lautsprecher und Drahtlos- Kommunikationseinheiten. Die Gestensensoren sind vorzugsweise als LED-basierte IR Sensoren ausgebildet.
Das Gerät zur Unterstützung des Fahrers ist einfach und preiswert herstellbar, wobei das Gerät ein Display und eine Spracheingabeeinheit aufweist. Das Gerät kann mit zusätzlichen Eingabeeinheiten gekoppelt werden wie zum Beispiel den Eingabegeräten in einem
Multifunktionslenkrad oder Gestensensoren. Das Gerät weist vorzugsweise weiterhin einen auf einer Leiterplatte angeordneten elektronischen Schaltkreis mit einer
Datenspeichereinrichtung sowie einer Datenverarbeitungseinrichtung auf. Zur internen Datenübertragung sind Bluetooth-Bauelemente angeordnet.
In einer speziellen Ausführungsform ist das Gerät als ein Zusatzgerät mit in einem Gehäuse angeordnetem Display und mit einer Spracheingabeeinheit und einer Sprachausgabeeinheit ausgebildet.
Im Betriebszustand kann das Gerät mit dem Audiosystem des Kraftfahrzeuges oder Elementen der Bordelektronik drahtlos oder auch drahtgebunden verbunden sein.
In Kraftfahrzeugen, die nicht über die Bluetooth Funktion verfügen, erfolgt die Verbindung über FM Sender/Empfänger.
Das Zusatzgerät weist vorzugsweise einen kreisförmigen Querschnitt auf und umfasst die Bestandteile Scheibe, Ring, Leiterplatte, Batterie, Lautsprecher, Gehäusemagnete,
Rückgehäuseteil und Hauptmagnet. Bei der Ausbildung als Zusatzgerät weist das Gehäuse eine Befestigungsvorrichtung zur Befestigung am Armaturenbrett oder an der Frontscheibe des Kraftfahrzeuges auf. Die Befestigungsvorrichtung und das Gehäuse können mittels Magneten abnehmbar miteinander verbunden sein.
Ein Vorteil der Erfindung besteht darin, dass das Gerät an der Halterung leicht und schnell anbringbar und leicht und schnell abnehmbar ist und unterschiedliche Einbaulagen ermöglicht, indem sowohl an dem Gerät als auch an der Halterung Befestigungsbereiche angeordnet sind, wobei der Befestigungsbereich der Rückseite von dem Gerät mindestens einen Halterungsmagneten und zwei spiegelbildlich angeordnete Befestigungssektoren aufweist, welche mit spiegelbildlich angeordneten elektrischen Kontakten versehen sind und der Befestigungsbereich an der Halterung mindestens einen Halterungsmagneten und einen Befestigungssektor mit elektrischen Kontakten aufweist, wobei in montiertem Zustand die Halterungsmagnete sowie die elektrischen Kontakte des Befestigungssektors mit den elektrischen Kontakten der beiden unterschiedlichen Befestigungssektoren in Kontakt stehen derart, dass in Abhängigkeit von der Kontaktierung mit dem jeweiligen Befestigungssektor eine um 180° gedrehte Positionierung des Gerätes realisiert wird.
Ein weiterer Vorteil der Erfindung ist neben der einfachen Handhabung die hohe Stabilität der Verbindung, welche daraus resultiert, dass die Befestigungssektoren an dem Gerät halbkreisförmige Aussparungen und die Befestigungssektoren an der Halterung halbkreisförmige Schienen sind, wobei die Aussparungen und die Schienen im zusammengebauten Zustand miteinander korrespondieren.
Ein zusätzlicher Vorteil der Erfindung besteht in der sicheren mechanischen Verbindung, indem die Halterungsmagnete sowohl an dem Gerät als auch an der Halterung die mechanische Befestigung gewährleisten. Die elektrische Kontaktierung zwischen dem Gerät und der Halterung realisieren die elektrischen Kontakte
Über die elektrische Kontaktierung zwischen den elektrischen Kontakten an dem Gerät und den elektrischen Kontakten an der Halterung wird die Elektroenergieversorgung, ein
Datenaustausch und die Übertragung von Radiosignalen und ggf. weiteren
Empfangssignalen realisiert.
Als zweckmäßig hat sich erwiesen, in den Befestigungssektoren jeweils mindestens einen Halterungsmagneten und mindestens zwei, vorzugsweise jedoch fünf elektrische Kontakte anzuordnen. Für eine sichere Befestigung an einer glatten Oberfläche kann die Halterung mit einem Saugfuß versehen sein und einen oder mehrere USB-Anschlüsse aufweisen.
Eine Optimierung der Spracherkennung wird dadurch erreicht, indem das Gerät ein
Rückgehäuseteil und einen damit verbundenen Ring mit Öffnungen in seinem Frontbereich aufweist, wobei innerhalb des Ringes das Display und eine Leiterplatte mit Mikrofonen angeordnet ist.
Gemäß dieser Realisierungsvariante hat das Gerät einen im Prinzip dreiteiligen Aufbau des Gesamtgehäuses mit einem zentralen Ring als Basis. An den Ring schließt sich nach hinten ein Rückgehäuseteil an und nach vorne ist das kreisförmige Display angeordnet. Eine Leiterplatte ist innerhalb des Ringes hinter dem Display und vor dem Rückgehäuseteil einmontiert. So wird mit dem im Prinzip dreiteiligen Aufbau des Gesamtgehäuses ein sehr stabiles, formschönes und kosten effektiv herzustellendes Gehäuse erzielt.
Bei Geräten mit einem kreisförmigen Querschnitt und mit einem ebenfalls kreisförmigen Display ist der Platz zur Anbringung von Mikrofonen, die zum Sprecher beziehungsweise Fahrer ausgerichtet sind, beschränkt.
Gemäß dieser Realisierungsvariante wird nun das Display mit kreisförmigem Querschnitt in den Ring montiert, und knapp neben dem Display wird in den Frontbereich des Ringes eine Fuge eingearbeitet, die um das Display herum verläuft. In diese Fuge wiederum werden, für den Nutzer beziehungsweise Fahrer unsichtbar, Öffnungen eingearbeitet, die den Schall nach hinten zu den Mikrofonen hin leiten. Die Mikrofone sind auf der hinter dem Ring angeordneten Leiterplatte vorzugsweise vis ä vis von den Öffnungen angeordnet. Die Öffnungen bilden Tonkanäle, durch welche der Schall zu den Mikrofonen gelangt.
Die Erfindung soll nachstehend an Hand von zumindest teilweise in den Figuren
dargestellten Ausführungsbeispielen näher erläutert werden.
Es zeigen:
Figur 1 eine Überblicksdarstellung der Systemkomponenten
Figur 2 eine Explosivdarstellung der Gerätekomponenten eines Zusatzgerätes
Figur 3 eine Schnittdarstellung mit Gerätekomponenten eines Zusatzgerätes
Figur 4 eine Darstellung der Kommunikationsverbindungen
Figur 5 eine Übersichtsdarstellung über das Gesamtsystem
Figur 6 die Rückseite des erfindungsgemäßen Gerätes mit Befestigungsbereich in
Draufsicht und seitlicher Draufsicht
Figur 7 den Befestigungsbereich der Halterung in Draufsicht uns seitlicher Draufsicht
Figur 8 das an der Halterung montierte Gerät
Figur 9 eine Schnittdarstellung des prinzipiellen Aufbaus des Gerätes
Figur 10 eine Detailansicht der Anordnung der Öffnungen und Mikrofone
Figur 1 1 eine Vorderansicht auf das Gerät mit den Öffnungen im Ring Geräteaufbau
Wie in Figur 1 dargestellt, ist das erfindungsgemäße Gerät 1 elektronisch verbunden mit einem Smartphone 1 a des Fahrers oder eines Beifahrers sowie im vorliegenden
Ausführungsbeispiel mit einem Autoradio 1 b, welches mit oder ohne Navigationssystem ausgebildet sein kann. Das Gerät 1 kann weiterhin mit dem Audiosystem des
Kraftfahrzeuges sowie mit Elementen der Bordelektronik verbunden werden. Die
elektronische Verbindung zwischen Smartphone 1 a und Gerät 1 ist im vorliegenden
Ausführungsbeispiel eine Bluetooth-Verbindung 1 c.
Das Autoradio 1 b kann über ein Kabel 1 d, eine Bluetooth Verbindung oder über einen FM Transmitter 10 mit dem Gerät verbunden werden.
Smartphone 1 a und Gerät 1 sind mit einer USB-Stromversorgungseinheit 15 verbindbar, welche im vorliegenden Ausführungsbeispiel zwei USB-Anschlüsse aufweist.
Das Gerät 1 weist im Inneren des Gehäuses 2 eine Leiterplatte 5 mit einem elektronischen Schaltkreis 5a mit Datenspeichereinheit 6 und Datenverarbeitungseinheit 7 auf. Der elektronische Schaltkreis 5a ist im vorliegenden Ausführungsbeispiel weiterhin verbunden mit einem mit einer als Lautsprecher ausgebildeten Sprachausgabeeinheit 4b verbundenen Verstärker 12, einem Grafiktreiber 13, einem FM Receiver 17, einem Gestensensor 8, einer mit einer Stromversorgungseinheit 1 1 verbundenen Energiemanagement Gruppe 14, den Bluetooth Bauelementen 16 und einer mit einer als Mikrofon ausgebildeten
Spracheingabeeinheit 4a verbundenen Abschalteinrichtung 18, welche aus
Energiespargründen von einen Wach- in einen Schlafzustand umschaltet.
Mit Inbetriebnahme des Gerätes erfolgt zwischen dem Smartphone 1 a und dem Gerät 1 über die Bluetooth-Verbindung 1 c ein Datentransfer, mit welchem intern alle wesentlichen Daten übertragen werden.
Die Figuren 2 und 3 zeigen den detaillierten Aufbau des Gerätes 1 sowie des Gehäuses 2 des als Zusatzgerät ausgebildeten Gerätes 1. Wesentliche Bestandteile sind Scheibe 9a, Ring 9c, Leiterplatte 5, als Batterie ausgebildete Stromversorgungseinheit 1 1 , Lautsprecher 4b, Gehäusemagnete 9d, Rückgehäuseteil 9e, Hauptmagnet 9g, und ein alternativ auf dem Rückgehäuseteil 9e anordenbarer Textilüberzug 9h. Der Textilüberzug 9h hat neben der ästhetischen Aufwertung des Gerätes 1 den Vorteil, dass die Auswirkung starker
Sonneneinstrahlung auf das Gerät 1 reduziert wird.
Die Scheibe 9a besteht aus Glas, der Ring 9c aus Metall, vorzugsweise Aluminium, und das Rückteil 9e aus Plastik. In dem Ring 9c ist das Display 3, die Leiterplatte 5 sowie das Gehäuse 2 über das Rückgehäuseteil 9e montiert, das heißt, die Montage der Leiterplatte 5, des Gehäuses 2 und des Displays 3 erfolgt über den Ring 9c. Durch die kleinen Dimensionen des Gerätes 1 und die teilkugelförmige Formgebung ist der Aufbau des Gehäuses 2 wesentlich anders als bei rechteckigen Geräten.
Wie aus Fig. 3 zu ersehen ist, wird ein im wesentlichen dreiteiliger Aufbau realisiert mit dem zentralen Ring 9c als Basis und dem Gehäuse 2 sowie dem Display 3. In dem Ring 9c ist die Leiterplatte 5 montiert.
Die bevorzugten Verbindungsarten zwischen Smartphone 1 a, Gerät 1 und Autoradio 1 b mit Lautsprecher 4b sind in Fig. 4 dargestellt. Die Verbindung zwischen Smartphone 1 a und Gerät 1 erfolgt im vorliegenden Ausführungsbeispiel über Bluetooth 16. Die Verbindung zwischen dem Gerät 1 und dem Autoradio 1 b erfolgt im vorliegenden Ausführungsbeispiel über Bluetooth 16 oder über eine Klinkenverbindung 1 d oder über UKW, also FM Sender und FM Empfänger.
Sofern das Gerät 1 als Zusatzgerät ausgebildet ist, wird es mittels einer Halterung im Sichtbereich des Fahrers, vorzugsweise am Armaturenbrett oder an der Frontscheibe, befestigt.
Verbindung zwischen Gerät, Smartphone und Fahrzeug
Das Gerät 1 beziehungswiese das Zusatzgerät verbindet sich automatisch und drahtlos mit dem Smartphone 1 a des Fahrers oder dem Smartphone 1 a eines Beifahrers (siehe Figur 1 , 1 c) sowie dem Audiosystem des Kraftfahrzeugs (Figur 1 , 1 d). Selbstverständlich ist auch eine akustische Datenausgabe mittels Lautsprecher direkt aus dem Zusatzgerät möglich. Die Verbindung zum Audiosystem des Kraftfahrzeuges kann drahtlos über Bluetooth 1 c oder über einen eingebauten UKW Sender erfolgen, oder drahtgebunden über die
Kraftfahrzeugelektronik oder einen Klinkenanschluß zum Audiosystem des Kraftfahrzeuges. Die Verbindung zum Smartphone 1 a erfolgt über Bluetooth 1 c und Bluetooth Low Energy (BLE). Die folgenden Bluetooth Profile werden genutzt:
1 ) Hands-free Profile (HFP) (a) zur Übertragung von Sprachdaten vom Gerät 1 zum Smartphone 1 a und vom Smartphone 1 a zum Gerät 1 , und (b) zur Durchführung von Telefonatem im Freisprechmodus über den eingebauten Lautsprecher oder die verbundenen Fahrzeuglautsprecher.
2) Advanced Audio Distribution Profile (A2DP) zur Übertragung von hochqualitativen Stereo-Audio-Daten vom Smartphone 1 a zum Gerät 1 , und vom Gerät 1 zum
Audiosystem des Fahrzeugs, falls dieses über Bluetooth 1 c mit dem Gerät
1 verbunden ist.
3) Phonebook Access Profile (PBAP), um auf die Anrufliste des Smartphones 1 a
zugreifen zu können. 4) Audio/Video Remote Control Profile (AVRCP) zur Übertragung von Steuerbefehlen aus dem Kraftfahrzeug an das Gerät 1 .
Über Bluetooth Low Energy (BLE) werden nicht-auditive Daten übertragen, wie zum Beispiel die graphische Benutzeroberfläche, Gestensteuerungs- und andere Steuerungssignale, Daten die aus dem Gerät 1 an das Smartphone 1 a übertragen werden (Arbeitszustand, Stati verschiedener Anwendungen).
Smartphone Applikation
Auf dem Smartphone 1 a befindet sich eine zugehörige Smartphone-Applikation, die über die Bluetooth-Schnittstelle 1 c mit dem Gerät 1 beziehungsweise Zusatzgerät kommuniziert (Figur 5). Die Steuerung der Kommunikation zwischen dem Gerät 1 und der Smartphone- Applikation wird über das Chris Driver Modul (Figur 5, 32) in der Smartphone Applikation vorgenommen. Über dieses Modul kann die Smartphone-Applikation mit verschiedenen Geräten beziehungsweise Zusatzgeräten kommunizieren. In der Smartphone-Applikation finden viele wesentliche Verfahren statt, vor allem (a) die Sprachverarbeitung von
Sprachsignalen (Figur 5, 33 und 39), das Dialogmanagement (Figur 5, 34) und die
Sprachausgabe (Figur 5, 35), (b) die Anbindung von Schnittstellen zu Smartphone
Funktionen (Telefonie, Addressbuch, Nachrichten, usw., Figur 5, 36) und zu Software- Modulen (Navigation, Streaming-Musikdienste, usw., Figur 5, 37), (c) die Anbindung and cloud-basierte Dienste (Messaging, Logging & Analytics, usw., Figur 5, 38), (d) Steuerung und Algorithmik für Funktionen wie adaptive Sprachausgabe und Kontextverarbeitung (Figur 5, 39).
Sprachverarbeitung
Die Sprachverarbeitungskette besteht aus den folgenden Bestandteilen:
1 ) Sprachbasierte Aktivierung der Spracherkennung (Wake Word Detection)
2) Spracherkennung (Automated Speech Recognition, ASR)
3) Interpretation von Spracheingaben (Natural Language Understanding, NLU)
4) Dialogsteuerung (Dialog Management, DM)
5) Erzeugen von Sprachausgaben (Natural Language Generation, NLG)
6) Sprachsynthese (Text to Speech, TTS)
Die sprachbasierte Aktivierung der Spracherkennung erfolgt lokal auf dem Gerät 1 beziehungsweise dem Zusatzgerät. Es wird fortlaufend die Kommunikation im Fahrzeug analysiert bis das Kennwort zur Aktivierung der Spracherkennung erkannt wird, woraufhin die Sprachdatenübertragung vom Mikrofon des Geräts 1 beziehungsweise Zusatzgerätes in das Spracherkennungssystem in der Smartphone-Applikation gestartet wird. Die Spracherkennung erfolgt über ein hybrides System, das die Spracherkennung sowohl auf dem Smartphone 1 a in der Smartphone-Applikation vornehmen kann, also auch über die Cloud-Schnittstelle online über einen Online-Spracherkennungsdienst. Mithin kann die gesamte Prozesskette von der Spracherkennung über die Interpretation, die Dialogsteuerung und die Sprachsynthese und Ausgabe, lokal auf dem Smartphone 1 a in der Smartphone- Applikation ausgeführt werden.
Im Regelfall wird die lokale Spracherkennung in der Smartphone-Applikation verwendet, da hier die Erkennung schneller und robuster erfolgen kann, und auch unter
Datenschutzgesichtspunkten geeigneter ist. Rein internet-basierte Spracherkennung ist ungeeignet für Kraftfahrzeuge, da diese immer wieder in Bereichen ohne oder
unzureichender Mobilfunk-Datenverbindung sind. Für spezielle Anwendungsfälle wie zum Beispiel Erkennung von Adressen oder Points of Interests (POI) wird die lokale
Spracherkennung in der Smartphone Applikation ergänzt um Cloud-basierte
Spracherkennung.
Zum Zwecke der Spracherkennung wird das Mikrofon-Signal über die Bluetooth-Verbindung mittels des Bluetooth Handsfree Profils (HFP) an das Smartphone 1 a übertragen. Zur Steigerung der Erkennungsleistung werden spezielle Mikrofone für die Spracherkennung benutzt, die unabhängig sind vom Mikrofon das für Freisprechtelefonie benutzt wird, und die über Beamforming und Echo Cancellation ein klares Sprachsignal des Fahrers an das Smartphone 1 a und dort die zugehörige Smartphone-Applikation übermitteln. Das
Sprachsignal wird in einer für das Spracherkennungssystem optimierten Bitrate vom Gerät 1 beziehungsweise Zusatzgerät an das Smartphone 1 a übetragen.
Die Erkennungsleistung der Spracherkennung wird weiterhin gegenüber anderen
Sprachverarbeitungssystemen in Kraftfahrzeugen erheblich gesteigert, in dem (a)
Nutzerdaten wie das Addressbuch des Nutzers, ehemalige Ziele im Navigationssystem oder Metadaten von Audiodateien als Grammatiken (Grammars) verwendet werden, die das System zum Beispiel Namen besser erkennen lassen, die der Nutzer in seinem Smartphone Addressbuch hat, und (b) durch kontinuierlich verbesserte Spracherkennungsmodelle, die über die Cloudschnittstelle in die Smartphone-Applikation eingespielt werden können.
Interpretation von Spracheingaben und Dialogsteuerung
Die Interpretation von Spracheingaben erfolgt im NLU Module der Smartphone Applikation (Figur 5, 39), wobei die Spracheingabe in Intention und weitere Informationen (zum Beispiel Namen, Titel, usw.) zerlegt wird und dann an das Dialogsteuerungsmodule (DM Module, Figur 5, 34) übergeben wird. Dort wird in Abhängigkeit von diesen Eingaben der nächste Schritt in der System-Interkation bestimmt, und über die Sprachgenerierung und Sprachsynthese ausgegeben. Die Sprachausgabe erfolgt wieder über das Gerät 1 oder Zusatzgerät, beziehungsweise über das Audiosystem des Kraftfahrzeugs, wenn dieses an das Gerät 1 oder Zusatzgerät angeschlossen ist.
Die Dialogsteuerung erfolg durch das Dialogsteuerungsmodul (DM Module, Figur 5, 34) in der Smartphone Applikation. Ein wesentliches Merkmal dieses Moduls ist es dass die eigentliche Dialogführung, das heißt die Eingabe/ Antwort-Regeln, in einer Skriptdatei angelegt sind, die regelmässig über die Cloud-Schnittstelle aktualisiert werden kann, ohne dass die Smartphone-Applikation selbst aktualisiert werden muss. Somit kann dem Nutzer eine kontinuierlich optimierte Dialogführung ermöglicht werden.
Fortlaufende Optimierung der Spracherkennung
Die Spracheingaben werden, soweit vom Nutzer genehmigt, gespeichert und über die Cloud- Schnittstelle an ein serverbasiertes Logging- und Analysesystem übermittelt, wo es teilautomatisiert verschlagwortet wird und dann zur weiteren Analyse mit dem Ziel der Optimierung der Spracherkennungsleistung genutzt wird.
Interaktion über Gestensteuerung
Da bestimmte Interaktionen mit dem System über Spracheingabe entweder nicht oder nur umständlich abgedeckt werden können verfügt das Gerät 1 oder Zusatzgerät zusätzlich über einen Gestensensor (Figur 1 , 17). Der Gestensensor erkennt folgende Gesten:
1 ) Wischgeste von rechts nach links (Jeff)
2) Wischgeste von links nach rechts („right")
3) Wischgeste von unten nach oben („up")
4) Wischgeste von oben nach unten („down")
5) Gehaltene Hand („High 5")
6) Entfernung der Hand vom Gerät weg ("near")
7) Annährung der Hand zum Gerät hin („far")
Über dieses Gestenset können unter anderem folgende Funktionen abgebildet werden: a) Blättern von einem Listeneintrag zum nächsten Listeneintrag wie zum Beispiel in einer Liste von Kontakten, Liedern oder Nachrichten oder von einem Menüeintrag zum nächsten Menüeintrag („left" Geste, kontextabhängig)
b) Blättern von einem Listeneintrag zum vorherigen Listeneintrag oder von einem
Menüeintrag zum vorherigen Menüeintrag („right" Geste, kontextabhängig) c) Abbrechen von Aktionen („down" Geste, kontextabhängig)
d) Zurück zum vorherigen Schritt („down" Geste, kontextabhängig) e) Menü- oder Listeneintrag auswählen („up" Geste oder„High 5" Geste, kontextabhängig)
f) Zurück zum übergeordneten Menü („down" Geste, kontextabhängig)
g) Lautstärke erhöhen zum Beispiel in einem Telefonat oder der Musikwiedergabe („far" Geste, kontextabhängig)
h) Lautstärke reduzieren („near" Geste, kontextabhängig)
i) Musikwiedergabe pausieren, starten oder wieder aufnehmen nach einer Pause („High 5" Geste, kontextabhängig)
j) Stummschalten („Mute") während eines Telefongesprächs („High 5",
kontextabhängig)
Interaktion über Eingabegeräte des Fahrzeugs
Als dritter Eingabemechanismus kann das Gerät über eine Bluetooth-Verbindung 1 c zum Auto, bzw. zum Infotainment-System bzw. Autoradio 1 b des Autos, standardisierte
Kommandos über das Bluetooth AVRCP Profil erkennen und verwenden. Zum Beispiel können damit, soweit vom Fahrzeug unterstützt, die Steuertasten eines
Multifunktionslenkrades als Eingabemechanismus verwendet werden. Bluetooth AVRCP ist ein Profil zur Fernsteuerung von Audio- oder Videogeräten. Es unterstützt Befehle wie nächstes Lied („forward"), vorheriges Lied („backward"), Pause & Abspielen, lauter und leiser. Diese werden in folgender Weise im Assistenten Chris verwendet: a) Blättern von einem Listeneintrag zum nächsten Listeneintrag wie zum Beispiel in einer Liste von Kontakten, Liedern oder Nachrichten oder von einem Menüeintrag zum nächsten Menüeintrag („fast forward" und„forward" AVRCP Befehl)
b) Blättern von einem Listeneintrag zum vorherigen Listeneintrag oder von einem
Menüeintrag zum vorherigen Menüeintrag („backward" AVRCP Befehl)
c) Abbrechen von Aktionen („exit" AVRCP Befehl)
d) Zurück zum vorherigen Schritt („exit" AVRCP Befehl)
e) Menü- oder Listeneintrag auswählen („select" AVRCP Befehl, kontextabhängig) f) Zurück zum übergeordneten Menü („exit" AVRCP Befehl, kontextabhängig) g) Lautstärke erhöhen zum Beispiel in einem Telefonat oder der Musikwiedergabe
(„volume up" AVRCP Befehl)
h) Lautstärke reduzieren („volume down" AVRCP Befehl, kontextabhängig)
i) Musikwiedergabe pausieren, starten oder wieder aufnehmen nach einer Pause
(„play",„pause" und„stop" AVRCP Befehl, kontextabhängig)
j) Stummschalten („Mute") während eines Telefongesprächs („mute" AVRCP Befehl, kontextabhängig) AVRCP Befehle werden verarbeitet, in dem die Bluetooth Verbindung 1 c des Geräts 1 oder Zusatzgeräts mit dem Fahrzeug das Gerät 1 beziehungsweise Zusatzgerät als Audioquelle identifiziert wird, die AVRCP Befehle unterstützt. Im Gerät 1 beziehungsweise Zusatzgerät werden die AVRCP Befehle empfangen und dann umgewandelt und als reine Datenmodelle weiter an die zugehörige Smartphone App weiter übermittelt, wo sie dann kontextabhängig nach oben stehendem Schema verarbeitet werden. Auf diese Weise können
Eingabemöglichkeiten das Fahrzeugs nicht nur für Audiowiedergabe genutzt werden, sondern auch für die Steuerung in Menüs und Dialogen.
Redundante und komplementäre multimodale Interaktion
Ein weiteres wesentliches Merkmal des Assistenten„Chris" ist, dass die drei
Eingabemechanismen Spracheingabe, Gestensteuerung und Steuerung über Eingabegeräte des Fahrzeugs multimodal sich ergänzend vorgenommen werden können. So kann zum Beispiel in einer Liste von Einträgen (wie zum Beispiel Kontakten, Liedern oder Nachrichten) folgendermassen bedient werden:
• Sprachbefehl (zum Beispiel„weiter") oder Geste (Jeff, kontextabhängig) oder
Fahrzeugeingabemechanismus („skip next") wählt den nächsten Listeneintrag aus
• Sprachbefehl (zum Beispiel„zurück") oder Geste („right", kontextabhängig) oder Fahrzeugeingabemechanismus („skip back") wählt den vorherigen Listeneintrag aus
Wo immer zweckmässig werden so viele Interaktionsmechanismen wie möglich,
kontextabhängig entweder redundant oder komplementär angeboten, um dem Fahrer die Wahl des für seine Präferenzen und die jeweilige Situation besten Modus anbieten zu können.
Sprach- und Displayausgabe
Ein weiterer Vorteil der Erfindung ist eine sichere Datenausgabe, welche in Form der akustischen Datenausgabe als Sprachausgabe und in Form der visuellen Datenausgabe als Displaydarstellung erfolgt. Dabei können Informationen kontextabhängig entweder nur als Sprachausgabe (zum Beispiel während einer Nachfrage in der Dialogverarbeitung), nur als Displaydarstellung (zum Beispiel Anzeige eines Musikalbums während der
Musikwiedergabe) oder als kombinierte Displaydarstellung und Sprachausgabe (zum Beispiel Anzeige eines Kontaktes und vorlesen des Namens) stattfinden.
Abnehmbaren Befestigung von Geräten an einer Halterung
Wie aus Figur 6 zu ersehen ist, weist das Gerät 1 an seiner Rückseite 22 einen Befestigungsbereich 20 auf, welcher in zwei spiegelbildlich angeordnete Befestigungssektoren 23 und 24 unterteilt ist. Die Befestigungssektoren 23, 24 sind in einer Aussparung angeordnet. Die Befestigungssektoren 23, 24 sind spiegelbildlich angeordnet und mit spiegelbildlich positionierten elektrischen Kontakten 25 versehen. Im vorliegenden Ausführungsbeispiel sind in den beiden Befestigungssektoren 23, 24 jeweils fünf elektrische Kontakte 25 angeordnet. Selbstverständlich ist es auch möglich, eine größere oder kleinere Anzahl von elektrischen Kontakten anzuordnen. Zentral im Befestigungsbereich 20 ist ein Magnet 9g angeordnet. Seitlich neben dem Befestigungsbereich 20 befinden sich Öffnungen 30 für Lautsprecher.
Figur 7 nun zeigt die Ausbildung des Befestigungsbereiches 21 an der Halterung 19. Der Befestigungsbereich 21 weist im Gegensatz zu dem Befestigungsbereich 20 an dem Gerät 1 nur einen Befestigungssektor 26 auf. Der Befestigungssektor 26 ist als Schiene in halbkreisförmiger Gestaltung ausgebildet. Im Befestigungssektor 26 sind im vorliegenden Ausführungsbeispiel insgesamt fünf elektrische Kontakte 27 angeordnet, welche mit den
elektrischen Kontakten 25 in den Befestigungssektoren 23 und 24 des Gerätes 1
korrespondieren. Zentral im Befestigungsbereich 21 ist ein Magnet 9g angeordnet.
An der Halterung 19 befindet sich ein Saugfuß 28 zur Befestigung der Halterung 19 an einer glatten Oberfläche.
Figur 8 zeigt die komplett montierte Einheit von Gerät 1 und Halterung 19. Die halbkreisförmige Schiene des Befestigungssektors 26, sowie die Blindschiene 31 , welche als
Erhöhungen ausgebildet sind, haben im montierten Zustand in die als Aussparungen ausgebildeten Befestigungssektoren 23, 24 eingegriffen und über die elektrischen Kontakte 25 und 27, welche in Kontakt gebracht wurden, die elektrische Verbindung hergestellt. Da die Befestigungssektoren 23, 24 an dem Gerät 1 symmetrisch identisch ausgebildet sind, kann das Gerät 1 um 180° gedreht werden und kontaktiert dann über die elektrischen Kontakte 25 und 27 das Gerät 1 in umgedrehter Einbaulage.
Die mechanische Verbindung wird durch das Zusammenwirken der Magnete 9d und 9g realisiert.
An der Halterung 19 ist im vorliegenden Ausführungsbeispiel ein USB-Anschluss 29 angeordnet.
Wie aus Figur 9 zu ersehen ist, weist das Gehäuse 2 ein Rückgehäuseteil 9e, einen Ring 9c und ein in dem Ring 9c angeordnetes Display 3 sowie eine Leiterplatte 5 auf. Wie zu ersehen ist, bildet der Ring 9c ein zentrales Bauteil der Gesamtgehäusekonstruktion. Der Ring 9c realisiert die Verbindung zu dem Rückgehäuseteil 9e und nimmt in seinem
Innenbereich die Leiterplatte 5 und das Display 3 auf. Mikrofon ring
Figur 10 zeigt die vergrößerte Detailansicht der Öffnung 40 und eines Mikrofons 4a, welches der Öffnung 40, verbunden durch den Tonkanal 41 , gegenüberliegt.
Im Frontbereich 40a des Ringes 9c ist eine Fuge 42 angeordnet, in welcher sich, für den Betrachter nahezu unsichtbar, die Öffnungen 40 befinden. Der Schall gelangt über die Öffnungen 40 in der Fuge 42 über den Tonkanal 41 zu dem im vorliegenden
Ausführungsbeispiel als Richtmikrofon ausgebildeten Mikrofon 4a.
Figur 1 1 nun zeigt eine Vorderansicht auf das Display 3 sowie den Ring 9c. Der Ring 9c weist in seinem Frontbereich 40a die Fuge 42 auf, in welcher die Öffnungen 40 angeordnet sind. Im vorliegenden Ausführungsbeispiel sind insgesamt vier Öffnungen 40 angeordnet, welche den Mikrofonen 4a gegenüberliegend positioniert sind.
Die Erfindung ist nicht beschränkt auf die hier dargestellten Ausführungsbeispiele. Vielmehr ist es möglich, durch Kombination der Mittel und Merkmale weitere Ausführungsvarianten zu realisieren, ohne den Rahmen der Erfindung zu verlassen.
Bezugszeichenliste
1 Gerät
1 a Smartphone
1 b Autoradio
1 c Bluetooth-Verbindung
1 d AUX (Klinken) Verbindung
2 Gehäuse
3 Display
4a Mikrofon, Spracheingabeeinheit
4b Lautsprecher, Sprachausgabeeinheit
5 Leiterplatte
5a Schaltkreis
6 Datenspeichereinheit
7 Datenverarbeitungseinheit
8 Gestensensor
9a Scheibe
9c Ring
9d Magnet, Gehäusemagnet
9e Rückgehäuseteil
9g Magnet, Hauptmagnet
9h Textil Überzug
10 FM Transmitter
1 1 Stromversorgungseinheit
12 Verstärker
13 Grafiktreiber
14 Energiemanagement Gruppe
15 USB Stromversorgungseinheit
16 Bluetooth Bauelemente
17 FM Receiver
18 Abschalteinrichtung
19 Halterung
20 Befestigungsbereich
21 Befestigungsbereich
22 Rückseite
23 Befestigungssektor
24 Befestigungssektor
25 elektrischer Kontakt Befestigungssektor
elektrischer Kontakt
Saugfuß
USB-Anschluß
Lautsprecheröffnung
Blindschiene
Chris Driver Module
Sprachverarbeitung (ASR Module)
Sialogmanagement (DM Module)
Sprachausgabe (TTS Module)
Anbindung von Schnittstellen zu Smartphone Funktionen
Anbindung von Schnittstellen zu Software Modulen
Anbindung von Schnittstellen an cloud basierte Dienste
Steuerung und Algorithmik für Funktionen wie adaptive Sprachausgabe und Kontextverarbeitung (NLU Module)
Öffnungen
Frontbereich
Tonkanal
Fuge

Claims

Patentansprüche
1. Verfahren zur Unterstützung des Fahrers eines Kraftfahrzeuges, wobei ein in dem Kraftfahrzeug anordenbares oder verbautes Gerät mit dem Smartphone des Fahrers oder Beifahrers zu einem Assistenten verbunden wird und Daten aus dem
Smartphone sowie weitere Empfangsdaten nach vorgegebenen Programmabläufen elektronisch verarbeitet und dem Fahrer nach vorgegebenen Kriterien systematisch aufbereitet in akustischer und/ oder visueller Form übermittelt werden.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet dass die Verarbeitung und Ausführung von Funktionen des Assistenten wie die Sprachverarbeitung und
Dialogsteuerung sowie die Verarbeitung von Empfangs- und Smartphone-Daten auf dem Smartphone stattfindet und damit unabhängig vom Fahrzeug und dem Gerät eine leistungsfähige und aktuelle Software- und Hardware-Plattform für die
Ausführung dieser Funktionen gewährleistet.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet dass die
Smartphonedaten Telefonnummern und/oder Kontaktdaten und /oder Adressdaten und/oder eingehende E-Mails oder Nachrichten und/oder Internetdaten und/oder SMS Nachrichten und/oder MMS Nachrichten und/oder Audiodateien und/oder MP3 Audiodateien und/oder Audio Playlisten und/oder Kartendaten und/oder
Navigationsangaben und/oder persönliche Daten des Fahrers oder Beifahrers und die Empfangsdaten Navigationsdaten und/oder Verkehrsinformationen und/oder Radiooder TV-übertragungen und/oder digitale Audiostreams und/oder Staumeldungen und/oder WhatsApp Nachrichten und/oder Facebook Messenger Nachrichten und/oder Wetterdaten sind.
4. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet, dass die Spracherkennung entweder auf dem Smartphone in der Smartphone- Applikation (lokale Spracherkennung) oder über die Cloud-Schnittstelle online über einen Cloud-basierten Spracherkennungs-Dienst (Online Spracherkennung) erfolgt und/oder
dass die Aufzeichnung von Sprache des Nutzers über Mikrofone auf dem Gerät erfolgt, die dann drahtlos über Bluetooth (HFP) an das Smartphone übertragen wird, wo fortlaufend die Spracherkennung erfolgt und/oder dass Smartphonedaten in der Sprachverarbeitung zur Verbesserung der Erkennungsleistung der
Sprachverarbeitung verwendet werden und/oder dass die Dialogführung der Sprachverarbeitung lokal auf dem Smartphone erfolgt, aber über eine Cloud- Schnittstelle mithilfe einer Skriptdatei kontinuierlich aktualisiert wird und/oder dass die Sprachverarbeitung fortlaufend durch Analyse der erfolgten Spracheingaben optimiert und in ihrer Erkennungsleistung gesteigert wird.
5. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet dass zusätzlich zur Sprachverarbeitung Funktionen des Assistenten auch über Gestensteuerung und/oder über Eingabegeräte des Fahrzeugs bedient werden und Funktionen des Assistenten multimodal, kontextabhängig komplementär oder redundant vorgenommen werden.
6. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet dass die Auswahl der zu verarbeitenden und der zu übermittelnden Daten in Abhängigkeit der Fahrsituation und/oder der Verkehrssituation und/oder der Tageszeit und/oder des Wetters und/oder der Präferenzen des Nutzers und/oder der historischen Nutzung der Daten durch den Nutzer und/oder Präferenzen anderer Nutzer und/oder der historischen Nutzung der Daten durch andere Nutzer erfolgt und die
Datenverarbeitung als selbstlernendes System ausgebildet ist.
7. Verfahren nach einem der voranstehenden Ansprüche, dadurch gekennzeichnet dass die Auswahl der zu verarbeitenden und der zu übermittelnden Daten gemäß den nachfolgenden Verfahrensschritten erfolgt:
Erfassen der Fahrzeug- und Verkehrssituationsdaten wie Geschwindigkeit, Navigationsdaten, Verkehrsdichte, Straßengeometrie, Straßenbreite, Anzahl Spuren, Unfallhäufigkeit, Geschwindigkeitsbegrenzungen, allgemeine
Verkehrsmeldungen und Sondersituationen wie Baustellen,
Erfassen weiterer Kontextdaten wie aktuelles Wetter, Sicht, Temperatur,
Tageszeit, Lichtverhältnisse,
Abrufen von Nutzerpräferenzen und historischen Nutzungsverhalten des Nutzers, Ermittlung der Komplexität der Verkehrssituation nach einem Komplexitätsindex aus Verkehrs- und Kontextdaten,
Ermittlung der Priorität der Übermittlung und Bereitstellung von Daten aus Präferenzen des Nutzers, dem historischem Nutzungsverhalten des Nutzers, den Präferenzen anderer Nutzer und des historischen Nutzungsverhaltens anderer Nutzer,
Korrelation der erfassten Daten mit vorgegebenen Programmablaufmustern, Ausgabe oder temporäre oder dauerhafte Unterdrückung von derart priorisierten Daten für die Nutzung durch den Fahrer oder Beifahrer.
8. Vorrichtung zur Unterstützung des Fahrers eines Kraftfahrzeuges durch ein im
Kraftfahrzeug anordenbares, mit einem Smartphone (1 a) des Fahrers oder eines Beifahrers zu einem Assistenten verbindbares Gerät (1 ),
wobei das Gerät (1 ) ein Display (3), eine Spracheingabeeinheit (4a), eine
Sprachausgabeeinheit (4b) und einen Gestensensor (8) aufweist.
9. Vorrichtung nach Anspruch 8, dadurch gekennzeichnet, dass das Gerät (1 ) einen auf einer Leiterplatte (5) angeordneten elektronischen Schaltkreis (5a) mit einer
Datenspeichereinrichtung (6) sowie einer Datenverarbeitungseinrichtung (7) sowie Bluetooth-Bauelemente (16) aufweist.
10. Vorrichtung nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass das Gerät (1 ) ein Zusatzgerät mit in einem Gehäuse (2) angeordnetem Display (3) und mit einer Spracheingabeeinheit (4a) und einer Sprachausgabeeinheit (4b) sowie einer Befestigungsvorrichtung zur Befestigung am Armaturenbrett oder an der
Frontscheibe des Kraftfahrzeuges ist.
1 1. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass das Gehäuse (2) einen kreisförmigen Querschnitt und folgende weitere Bestandteile aufweist:
Scheibe (9a), Ring (9c), Leiterplatte (5), Lautsprecher (4b), Gehäusemagnete (9d), Rückgehäuseteil (9e), Kontaktpins, ( 9f), Hauptmagnet (9g).
12. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet dass zur abnehmbaren Befestigung des Gerätes (1 ) an einer Halterung (19), wobei sowohl an dem Gerät (1 ) als auch an der Halterung (19) Befestigungsbereiche (20, 21 ) angeordnet sind und wobei der Befestigungsbereich (20) an der Rückseite (22) von dem Gerät (1 ) mindestens einen Magneten (9d) und zwei spiegelbildlich angeordnete
Befestigungssektoren (23, 24) aufweist, welche mit spiegelbildlich angeordneten elektrischen Kontakten (25) versehen sind und der Befestigungsbereich (21 ) an der Halterung (19) mindestens einen Magneten (9g) und einen Befestigungssektor (26) mit elektrischen Kontakten (27) aufweist, wobei in montiertem Zustand die Magnete (9d) und (9g) sowie die elektrischen Kontakte (27) des Befestigungssektors (26) mit den elektrischen Kontakten (25) des Befestigungssektors (23) oder des Befestigungssektors (24) in Kontakt stehen derart, dass in Abhängigkeit von der Kontaktierung des Befestigungssektors (23) oder des Befestigungssektors (24) mit dem Befestigungssektor (26) eine um 180° gedrehte Positionierung des Gerätes (1 ) realisiert wird.
13. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass der
Befestigungssektor (23, 24) eine halbkreisförmige Aussparung und der
Befestigungssektor (26) eine halbkreisförmige Schiene ist, wobei die Aussparungen und die Schiene im zusammengebauten Zustand miteinander korrespondieren und/oder dass über die elektrische Kontaktierung zwischen den elektrischen Kontakten (25) und den elektrischen Kontakten (27) die Elektroenergieversorgung, ein Datenaustausch, die Übertragung von Radiosignalen und gegebenenfalls weitere Empfangsdaten realisiert wird.
14. Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass die Halterung (19) einen Saugfuß (28) zur Befestigung und/oder einen USB-Anschluss (29) aufweist.
15. Vorrichtung nach Anspruch 10, dadurch gekennzeichnet, dass
das Gehäuse (2) ein Rückgehäuseteil (9e) und einen damit verbundenen Ring (9c) mit Öffnungen (40) in seinem Frontbereich (40a) aufweist, wobei innerhalb des Ringes (9c) das Display (3) und eine Leiterplatte (5) mit Mikrofonen (4a) angeordnet ist.
EP18710337.9A 2017-02-20 2018-02-20 Verfahren und vorrichtung zur unterstützung des fahrers eines kraftfahrzeuges Ceased EP3583498A1 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102017103409.9A DE102017103409A1 (de) 2017-02-20 2017-02-20 Verfahren und Vorrichtung zur Unterstützung des Fahrers eines Kraftfahrzeuges
DE102017104068.4A DE102017104068A1 (de) 2017-02-27 2017-02-27 Vorrichtung zur abnehmbaren Befestigung von Geräten an einer Halterung
DE102017104661.5A DE102017104661A1 (de) 2017-03-06 2017-03-06 Gerät zur Optimierung der Spracherkennung in einem Kraftfahrzeug
PCT/EP2018/054163 WO2018150052A1 (de) 2017-02-20 2018-02-20 Verfahren und vorrichtung zur unterstützung des fahrers eines kraftfahrzeuges

Publications (1)

Publication Number Publication Date
EP3583498A1 true EP3583498A1 (de) 2019-12-25

Family

ID=61622508

Family Applications (1)

Application Number Title Priority Date Filing Date
EP18710337.9A Ceased EP3583498A1 (de) 2017-02-20 2018-02-20 Verfahren und vorrichtung zur unterstützung des fahrers eines kraftfahrzeuges

Country Status (4)

Country Link
US (1) US20200231169A1 (de)
EP (1) EP3583498A1 (de)
JP (1) JP2020514171A (de)
WO (1) WO2018150052A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111292716A (zh) 2020-02-13 2020-06-16 百度在线网络技术（北京）有限公司 语音芯片和电子设备
DE202021001939U1 (de) * 2021-06-01 2021-07-15 Tigacall Gmbh Smartphone-Applikation zur effizienten Anrufhandhabung

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013529794A (ja) * 2010-06-24 2013-07-22 本田技研工業株式会社 車載音声認識システム及び車両外音声認識システム間の通信システム及び方法
JP2013075545A (ja) * 2011-09-29 2013-04-25 Jvc Kenwood Corp 携帯電子機器の取り付け構造
JP2015004703A (ja) * 2013-06-19 2015-01-08 アルパイン株式会社 電子装置、音声信号の転送方法、音声信号の転送プログラム及び音声処理システム
JP3189463U (ja) * 2013-12-27 2014-03-13 金柱 翁 ブルートゥース旋回ホルダー
RU2017105422A (ru) 2014-07-22 2018-08-26 Навди Инк. Компактная система индикации на лобовом стекле
DE102015005863A1 (de) * 2015-05-11 2016-11-17 SENIC GmbH Eingabevorrichtung für elektronische Geräte

Also Published As

Publication number Publication date
WO2018150052A1 (de) 2018-08-23
US20200231169A1 (en) 2020-07-23
JP2020514171A (ja) 2020-05-21

Similar Documents

Publication Publication Date Title
EP1884743B1 (de) Navigationseinrichtung mit Radiosender
CN105329187A (zh) 蓝牙按键触发实现安全操作的智能车载系统及控制方法
CN104553806A (zh) 汽车多媒体方向盘触控系统
CN105730235A (zh) 一种集成显示车用仪表盘
WO2002060168A2 (de) Freisprecheinrichtung für den betrieb von mobiltelefonen in kraftfahrzeugen
DE102011012399B4 (de) Übergabe vom öffentlichen auf den privaten Modus für Kommunikationen
EP3270575A1 (de) Plattform zur integration von mobilen endgräten und peripheren geräten des nachrüstmarktes in einem fahrzeug
DE102015106319B4 (de) Verfahren zum Betreiben einer Fahrzeug-Multitainment-Einheit zur Aktualisierung mit Inhalt von einer mobilen Einrichtung
EP3583498A1 (de) Verfahren und vorrichtung zur unterstützung des fahrers eines kraftfahrzeuges
DE102013211019A1 (de) Multimediaeinbaueinheit für ein Kraftfahrzeug
AT523308A1 (de) Motorrad mit bedienbarem Multifunktionsgerät
DE10103608A1 (de) Freisprecheinrichtung für den Betrieb von Mobiltelefonen in Kraftfahrzeugen
DE102012210986B4 (de) System mit einer Mobilkommunikationsvorrichtung und einem Fahrzeugstereosystem und Verfahren zum Betrieb des Systems
DE102017109097A1 (de) Disambiguierung von spracherkennungsbefehlen für ein fahrzeug
DE10302924B3 (de) Multimediasystem, insbesondere zur Realisierung einer Offboard-Navigation in einem Kraftfahrzeug
DE102010033901B4 (de) Kraftfahrzeug mit einem Display zur Darstellung veränderlicher Informationen zur Bedienung von Funktionen des Kraftfahrzeuges
EP3948493A1 (de) Verfahren und vorrichtung zur interaktion mit einem umgebungsobjekt im umfeld eines fahrzeugs
DE102017103409A1 (de) Verfahren und Vorrichtung zur Unterstützung des Fahrers eines Kraftfahrzeuges
WO2003086819A1 (de) Kfz-kommunikationssystem, anordnung mit prozessor, computerprogrammerzeugnis und computerlesbares speichermedium
EP2180672B1 (de) Mobilgerätsystem für ein Kraftfahrzeug
DE102014204450A1 (de) Verfahren und Vorrichtung für Umgebungslicht-Nachrichteneingangsalarm
EP1983779A1 (de) Vorrichtung zur Kommunikation über ein Funknetz
EP3388387B1 (de) Integration von multimedia-komponenten in das fahrzeugnetz von flurförderzeugen
DE102009058151A1 (de) Verfahren zum Betreiben eines Sprachdialogsystems mit semantischer Bewertung und Sprachdialogsystem dazu
DE102017103406A1 (de) Verfahren und Vorrichtung zur Unterstützung des Fahrers eines Kraftfahrzeuges

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20190918

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20210422

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20221015