EP3899852A1 - Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs - Google Patents

Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs

Info

Publication number
EP3899852A1
EP3899852A1 EP19816229.9A EP19816229A EP3899852A1 EP 3899852 A1 EP3899852 A1 EP 3899852A1 EP 19816229 A EP19816229 A EP 19816229A EP 3899852 A1 EP3899852 A1 EP 3899852A1
Authority
EP
European Patent Office
Prior art keywords
information content
vehicle
output
data
conversation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19816229.9A
Other languages
English (en)
French (fr)
Inventor
Thorben Günzel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3899852A1 publication Critical patent/EP3899852A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0265—Vehicular advertisement
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0265—Vehicular advertisement
    • G06Q30/0266—Vehicular advertisement based on the position of the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/21—Voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/088—Word spotting
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use

Definitions

  • the present invention relates to a method for monitoring an occupant of a vehicle, in which it is determined whether information content perceivable in the vehicle is output and detection data for output information content are recorded. Furthermore, the invention relates to a device for monitoring an occupant of a vehicle, which device has a determination device which is designed to determine whether information content perceptible in the vehicle is output. Furthermore, the
  • Device has a recognition device for acquiring recognition data for output information information and a microphone, which is arranged in the interior of the vehicle and which is designed to record a conversation in the interior of the vehicle.
  • advertising content is output visually or audibly. It is in the interest of the advertising company to find out whether the advertisements issued were perceived by an occupant of the vehicle. This information can be obtained by monitoring the occupants of the vehicle.
  • An entertainment system for a vehicle is known from US 2016/0316237 A1, via which films, audio programs, information videos, text descriptions and advertising content can be output.
  • the system includes a camera with which the user's face is recorded.
  • the images captured by the camera are used to analyze the user's emotions. In this way, for example, the reaction of a user to advertising can be recorded.
  • the direction of the user's gaze can be recorded in order to determine where the user is looking on a display.
  • personal characteristics of the user such as his age, hair color and similar characteristics can be obtained.
  • DE 10 2014 204 530 A1 discloses a method and a device for a subjective advertisement effectiveness analysis. Advertising is presented in the vehicle and the user reaction to this advertising is analyzed. There is one for this
  • Vehicle camera provided that visually records occupant reactions. In this way it can be determined whether the user liked or disliked advertisements. For example, facial recognition software can run when an advertisement is reproduced so that user emotions can be recorded and time stamped.
  • DE 10 2012 213 466 A1 describes a method and an apparatus for
  • Vehicle occupants are detected by means of a gaze detection device and the gaze direction is automatically assigned to a detected object.
  • the object can, for example, be an advertising poster.
  • the environment detection device comprises a video and / or a radar system, which can be used to identify objects, such as an advertising poster, that are located on the route, in particular on the street or on the roadside. The objects are identified by a distance estimate and a
  • the present invention is based on the object of specifying a method and a device of the type mentioned at the outset with which the perception of an occupant of a vehicle for the output of information content can be better monitored.
  • Conversation information output is determined whether the output
  • the conversation can be done e.g. B. between at least two occupants of the vehicle or between at least one occupant and a caller or between at least one occupant and a person outside the vehicle or as a soliloquy of an occupant respectively.
  • the explanations below relate to all of the options
  • the information content is any form of information that can be perceived by a vehicle occupant.
  • the information content is, in particular, an advertising content. Advertising is thus output, the content of which can be perceived by an occupant of the vehicle.
  • Procedure monitors the vehicle occupant to determine whether it is advertising content
  • Recognition data of the assigned information content are produced. If there is such a connection, it is concluded that the information content was perceived by a vehicle occupant.
  • the conversation analysis ensures that the perception of information content can be concluded very reliably.
  • the time interval after the information content has been output can include, for example, a period of up to 30 minutes after the end of the output of the information content.
  • the time interval comprises in particular a period of 20 minutes, preferably 10 minutes or 2 minutes, after the information content has been output.
  • the information content can be output audibly. Alternatively or additionally, it can be output visually.
  • the information content can be displayed, for example, visually in the vehicle or by an object in the traffic area outside the vehicle, so that it can be perceived in the vehicle. It can also be output acoustically via a loudspeaker.
  • the recognition data are obtained by analyzing the information content output.
  • a visual output of the information content can be captured by an interior camera or a camera that records the surroundings of the vehicle.
  • An auditory output can be recorded acoustically via an interior microphone.
  • the data recorded by a camera and / or the interior microphone can then be analyzed in order to obtain recognition data for the information content.
  • the identification data can advantageously be obtained solely from devices in the vehicle, without it being necessary to access devices external to the vehicle.
  • a device is determined which outputs the information content. Data for identifying the determined device is then transmitted to a device external to the vehicle. The vehicle-external device determines the on the basis of the data for identifying the determined device
  • Recognition data relating to the information content output by the device and the ascertained recognition data are transmitted from the vehicle-external device to the vehicle.
  • the recognition data can be obtained reliably and possibly in a predetermined manner, since the
  • Vehicle-external device data may be available, which information content is output at what time via the determined device.
  • setting data for a setting of the device which outputs the information content and / or for the point in time or the time interval of the output of the information content are recorded.
  • This setting data is transmitted to the vehicle-external device, which uses the setting data to identify the data output by the device
  • Information content determined. This ensures that the vehicle-external device can receive data about which information content is output by a device if this device can output different information content with different settings.
  • the device can be a radio, for example.
  • the setting data can then indicate which radio station outputs the information content.
  • the device external to the vehicle determines which information content was output by the radio station at which time or time interval and which acoustic content
  • the output contained recognition data For example, the vehicle-external device can access a data memory which contains data about what which radio station outputs and when. Assigned to this information output, predefined recognition data can be stored, which can then be transmitted to the vehicle by the vehicle-external device.
  • the information content can be output from an in-vehicle device, independently of a set radio station, in the interior of the vehicle.
  • the data are available inside the vehicle, which information content was output at what point in time and which identification data the output contained.
  • the identification data can include, for example, keywords of the information content output. This advantageously ensures that a particularly reliable conversation analysis can be carried out.
  • the analysis of the recorded conversation which takes place during or for a time interval after the output of the
  • Information content determined whether there is a match between at least a subset of the keywords belonging to the information content and words of the conversation. If words occur in the conversation that correspond to keywords of the information content, it can advantageously be concluded very reliably that the conversation content is related to the information content output.
  • the keywords are therefore special or rarely occurring words of the information content, so that in the conversation analysis a clear distinction between a general conversation and a conversation about the
  • Information content was conducted, the content of the conversation is determined and determines what the reaction of at least one occupant to the information content is. For example, it can be analyzed whether the occupant has responded positively, neutrally or negatively to the information content. With this configuration, it can advantageously be determined not only whether the output of the information content was perceived, but also what the reaction to the information content is.
  • the mood of the occupant is determined by means of a mood detection device at the time or at the
  • Mood detection device can be coupled, for example, to an interior camera and / or a microphone. In this way, the voice, facial expressions and / or gestures of the occupant can be analyzed and classified by the mood detection device and thus assigned to a specific mood. Personal characteristics of the occupant can also be recorded. For example, the identity of the occupant, in particular the driver of the vehicle, can be determined using the
  • Vehicle key or be determined based on an entry when driving.
  • the occupant's personal characteristics are assessed using a
  • Occupant detection device detected. This can access an interior camera and / or a microphone. In this way, for example, the age group and the sex of the occupant can be determined automatically. This information can support the further evaluation of the data on the perceptions of information content.
  • an in-vehicle analysis device detects which information content was perceived, preferably which information content in the vehicle by which occupant and when
  • To determine information content in particular output advertising content.
  • the in-vehicle analysis device detects which metadata contains the information content.
  • This metadata can, for example, contain information about which product or company was advertised when advertising content is output. This metadata can also be found in the
  • Recognition data may be included.
  • the advertised product or the advertised company can also be keywords of the information content output.
  • the vehicle-internal analysis device can also record which personal characteristics and / or which mood of the occupant and which the information content
  • the data recorded by the analysis device can in particular be transmitted to an evaluation device external to the vehicle.
  • This evaluation device can advantageously receive the data from a large number of vehicles and in this way carry out a comprehensive and efficient evaluation of the effectiveness of the information content output.
  • the evaluation device external to the vehicle can determine from the data of a large number of vehicles, such as information content associated with metadata
  • the device according to the invention is characterized by an analysis device which is coupled to the microphone and which is designed, at least during or for one
  • the device according to the invention is in particular designed to carry out the method according to the invention as explained above. It therefore has the same advantages as the method according to the invention.
  • the figure shows an embodiment of the device according to the invention.
  • the device according to the invention is arranged in a vehicle 1.
  • An occupant of a vehicle 1 can be monitored by means of the device. It comprises a display 2 for the visual output of information content.
  • the device comprises a radio 3, which is connected to a loudspeaker 4, so that information content can be output audibly.
  • the information content in the exemplary embodiment is an advertising content.
  • the advertising content can thus be output acoustically by means of the radio 3 via the loudspeaker 4 and / or visually by means of the display 2.
  • the information content is
  • the recognition data are keywords that are related to the information content.
  • the key words can be words which are shown visually when the information content is output on the display 2 or which occur in spoken text when the information content is output audibly.
  • the identification data in particular the keywords, can also be related to the information content in other ways stand. It is not absolutely necessary that the keywords are displayed or output acoustically.
  • the identification data is related to the information content in such a way that the identification data can be used to determine whether a user has perceived the output of the information content. For example, the
  • Recognition data also contain keywords that are, in a figurative sense, related to the information content. For example, it may be keywords that are likely to be spoken during a conversation about the information content without the keywords themselves occurring in the information content. In particular, the keywords are chosen so that the
  • Frequency of occurrence of these words is as low as possible, so that the keywords are less likely to be mentioned in a different context.
  • the display 2 and the radio 3 are coupled to an information output device 5.
  • the information output device controls the information output via the display 2 and the radio 3. Settings data of the display 2 and the radio 3 are also transmitted to the information output device 5.
  • the device further comprises a sensor device 6 arranged in the vehicle 1, which is coupled to a plurality of sensors 7.
  • the sensors 7 include
  • an interior camera 7-1 which among other things an occupant of the vehicle
  • Vehicle 1 in particular the driver, and an environment camera 7-2, which records images in the environment of vehicle 1, in particular in the direction of travel.
  • the sensors 7 include an interior microphone 7-3, which is arranged such that it can record conversations in the interior of the vehicle 1 in the interior of the vehicle 1.
  • the sensors 7 comprise an identification unit 7-4, via which an occupant of the vehicle 1 can identify.
  • the information output device 5 and the sensor device 6 are with a
  • the determination device 8 is designed to determine whether information information that is perceptible in the vehicle 1 is output. For example, the determination device 8 can use the information output device 5 to determine whether the radio 3 is switched on or whether information is shown on the display. Alternatively or additionally, the determination device 8 can use the data from the sensors 7 transmitted by the sensor device 6 to determine whether a certain information content, for example an advertising content, was output visually by means of the display 2 or audibly by means of the radio 3 and the loudspeaker 4 connected to it. Further alternatively or additionally, the determination device 8 can be via a certain information content, for example an advertising content, was output visually by means of the display 2 or audibly by means of the radio 3 and the loudspeaker 4 connected to it. Further alternatively or additionally, the determination device 8 can be via a
  • the data memory 15 can contain information about when a certain information content, for example an advertising content, on which radio station is output and when. This information can be transmitted to the determination device 8 via the communication interface 13.
  • the radio 3 transmits the information about which radio station is currently being output via the information output device 5 as setting data.
  • the determination device 8 can then use this information to determine when the information content relevant for monitoring the occupant is output.
  • the information that a relevant information content for example an advertising content
  • the determination device 8 transmits it to a recognition device 9, with which recognition data on output information content can be acquired.
  • the recognition data includes
  • the recognition data can be obtained in various ways using the recognition device 9:
  • the detection device 9 is coupled to the sensor device 6.
  • the information content output is recorded via the interior microphone 7-3. This recording is analyzed by the recognition device 9.
  • the recognition data are extracted.
  • the detection device 9 is provided with detection data directly via the information output device 5. For example, at
  • Detection device 9 provides.
  • the recognition device 9 uses the information output device 5 to determine which device is used to output the information content, that is to say in the present exemplary embodiment whether the information content is output visually via the display 2 and / or audibly via the loudspeaker 4.
  • the data for identifying the determined device are transmitted to the external device 14 together with a time stamp.
  • the vehicle-external device 14 determines the on the basis of the data for identifying the determined device Recognition data for the information content output by the device by data retrieval from the data store 15.
  • the data store 15 can not only store the time at which information content is output via which radio station, but also the respectively assigned recognition data.
  • the data memory 15 can also store corresponding recognition data relating to information content visually output on the display 2.
  • recognition data for example as part of a television program, can be shown on the display 2.
  • the detection data determined by the device 14 external to the vehicle are transmitted via the
  • the recognition device 9 can also acquire metadata on the information content output. This metadata can be shared with the recognition device 9 .
  • the detection device 9 is connected to an in-vehicle analysis device 12.
  • the analysis device 12 is also coupled to the sensor device 6. This transmits 12 recordings of the interior microphone 7-3 to the analysis device.
  • the analysis device 12 is designed to analyze a conversation recorded during the output of an information content or for a time interval after the output of an information content.
  • Analysis device 12 determines this conversation analysis and the detected
  • the analysis device 12 extracts in particular words of the detected one
  • the analysis device 12 concludes that a vehicle occupant has perceived the information content output.
  • the information that a certain information content was perceived by a vehicle occupant is from the
  • Analysis device 12 is stored in an internal memory together with associated time information for the output of the information content and any setting data of the device for output of the information content.
  • the analysis device 12 is designed for the analysis of the detected
  • Conversation that occurs during or for a time interval after the information content has been output was conducted to determine the content of the conversation and to determine what the reaction of at least one inmate to the information content is. For example, predefined recognition words can be used to determine whether the occupant's reaction to the information content is positive, neutral or negative. This information is also stored internally by the analysis device 12.
  • the analysis device 12 is connected to a mood detection device 10.
  • the mood detection device 10 detects how the mood of the occupant is or was at the time or at the time interval at which the
  • the mood detection device 10 is coupled to the sensor device 6.
  • the facial expressions, gestures and voice of the occupant can be analyzed and assigned to a specific mood class.
  • the analysis device 12 is connected to an occupant detection device 11, which in turn is connected to the sensor device 6.
  • Occupant detection device 11 can detect personal characteristics of the occupant on the basis of the data acquired by sensors 7.
  • the identity can be determined directly via the identification unit 7-4, for example on the basis of a key personally assigned to the occupant.
  • the occupant's personal characteristics can be determined by image analysis and / or voice analysis. Data from the interior camera 7-1 and / or the interior microphone 7-3 can be evaluated.
  • the data obtained via the mood detection device 10 and the occupant detection device 11 are also stored by the analysis device 12 in the internal memory. In this way, a data record is stored in the analysis device, which indicates which information content of which vehicle 1 by which occupant and when
  • This evaluation device 16 collects the data obtained from a large number of surveillance of occupants of vehicles 1 and evaluates them in order to obtain data on the effectiveness of the output of the information content.
  • the evaluation device external to the vehicle also uses the data from a large number of vehicles to determine how information content associated with metadata is perceived.
  • the information content is not output visually or auditorily inside the vehicle 1, but outside the vehicle 1.
  • the information content can be output by an object in the traffic area in which the vehicle 1 is moving.
  • an analysis of a conversation in the interior of the vehicle can be used to determine whether it is outside the vehicle
  • Information content output vehicle 1 was perceived by an occupant of vehicle 1.
  • Output of information content is understood to mean, inter alia, changing display contents from a display external to the vehicle.
  • the information content can also be output via a stationary advertising poster without changing information content. In this case, it is a stationary information display, for example through an advertising poster. If the vehicle 1 passes such an object in the traffic area, the conversation analysis determines whether a vehicle occupant has perceived this information content.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Human Computer Interaction (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • General Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Navigation (AREA)

Abstract

Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs Die Erfindung betrifft ein Verfahren zum Überwachen eines Insassen eines Fahrzeugs (1), bei dem ermittelt wird, ob ein in dem Fahrzeug (1) wahrnehmbarer Informationsinhalt ausgegeben wird, und Erkennungsdaten zu ausgegebenen Informationsinhalten erfasst werden. Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass zumindest während oder für ein Zeitintervall nach der Ausgabe des Informationsinhalts mittels eines Mikrofons (7-3) im Innenraum des Fahrzeugs (1) ein Gespräch im Innenraum des Fahrzeugs (1) erfasst wird, eine Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des Informationsinhalts geführt wurde, durchgeführt wird und anhand der Gesprächsanalyse und den erfassten Erkennungsdaten des während oder vor dem Gespräch ausgegebenen Informationsinhalts ermittelt wird, ob der ausgegebene Informationsinhalt von einem Insassen des Fahrzeugs (1) wahrgenommen wurde. Ferner betrifft die Erfindung eine Vorrichtung zur Ausführung dieses Verfahrens.

Description

Beschreibung
Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs
Die vorliegende Erfindung betrifft ein Verfahren zum Überwachen eines Insassen eines Fahrzeugs, bei dem ermittelt wird, ob ein in dem Fahrzeug wahrnehmbarer Informationsinhalt ausgegeben wird, und Erkennungsdaten zu ausgegebenen Informationsinhalten erfasst werden. Ferner betrifft die Erfindung eine Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs, die eine Ermittlungseinrichtung aufweist, die ausgebildet ist, zu ermitteln, ob ein in dem Fahrzeug wahrnehmbarer Informationsinhalt ausgegeben wird. Ferner weist die
Vorrichtung eine Erkennungseinrichtung zum Erfassen von Erkennungsdaten zu ausgegebenen Informationsinhalten und ein Mikrofon auf, das im Innenraum des Fahrzeugs angeordnet ist und das ausgebildet ist, ein Gespräch im Innenraum des Fahrzeugs zu erfassen.
In einem Fahrzeug werden beispielsweise Werbeinhalte visuell oder auditiv ausgegeben. Es liegt im Interesse des werbenden Unternehmens, zu erfahren, ob die ausgegebene Werbung von einem Insassen des Fahrzeugs wahrgenommen wurde. Durch eine Überwachung der Insassen des Fahrzeugs können diese Informationen gewonnen werden.
Aus der US 2016/0316237 A1 ist ein Unterhaltungssystem für ein Fahrzeug bekannt, über welches Filme, Audioprogramme, Informationsvideos, Textbeschreibungen und Werbeinhalte ausgegeben werden können. Das System umfasst eine Kamera, mit welcher das Gesicht des Nutzers aufgenommen wird. Die von der Kamera aufgenommenen Bilder werden dazu verwendet, Emotionen des Nutzers zu analysieren. Auf diese Weise kann beispielsweise die Reaktion eines Nutzers auf Werbung erfasst werden. Des Weiteren kann die Blickrichtung des Nutzers erfasst werden, um zu erfassen, wohin der Nutzer auf einem Display sieht. Schließlich können persönliche Merkmale des Nutzers, wie beispielsweise sein Alter, seine Haarfarbe und ähnliche Merkmale gewonnen werden.
Ferner ist aus der DE 10 2014 204 530 A1 ein Verfahren und eine Vorrichtung für eine subjektive Werbeanzeigen-Effektivitätsanalyse bekannt. Dabei wird Werbung im Fahrzeug präsentiert und die Nutzerreaktion auf diese Werbung wird analysiert. Hierfür ist eine
Fahrzeugkamera vorgesehen, die visuell Insassenreaktionen aufzeichnet. Auf diese Weise kann bestimmt werden, ob der Nutzer Werbeanzeigen gemocht hat oder nicht gemocht hat. Beispielsweise kann eine Gesichtserkennungssoftware laufen, wenn eine Werbeanzeige wiedergegeben wird, so dass Benutzeremotionen aufgezeichnet und mit Zeitstempeln versehen werden können.
Schließlich ist aus der DE 10 2012 213 466 A1 ein Verfahren und eine Vorrichtung zum
Überwachen eines Fahrzeuginsassen bekannt, bei dem Objekte eines Fahrzeugumfeldes mittels einer Umfelderfassungseinrichtung erfasst werden, die Blickrichtung eines
Fahrzeuginsassen mittels einer Blickerfassungseinrichtung erfasst wird und die erfasste Blickrichtung einem erfassten Objekt automatisch zugeordnet wird. Bei dem Objekt kann es sich beispielsweise um ein Werbeplakat handeln. Die Umfelderfassungseinrichtung umfasst ein Video- und/oder ein Radarsystem, anhand derer Objekte, wie beispielsweise ein Werbeplakat, erkannt werden können, die sich auf der Fahrstrecke, insbesondere auf der Straße oder am Straßenrand, befinden. Die Objekte werden durch eine Entfernungsschätzung und eine
Objektklassifikation der Videokamera oder durch eine Entfernungsmessung und
Radarobjektbestimmung des Radarsystems erfasst.
Der vorliegenden Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung der eingangs genannten Art anzugeben, mit denen die Wahrnehmung eines Insassen eines Fahrzeugs auf die Ausgabe eines Informationsinhalts besser überwacht werden kann.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 und eine Vorrichtung mit den Merkmalen des Anspruchs 15 gelöst. Vorteilhafte
Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
Bei dem erfindungsgemäßen Verfahren wird zumindest während der Ausgabe des
Informationsinhalts oder für ein Zeitintervall nach der Ausgabe des Informationsinhalts mittels eines Mikrofons im Innenraum des Fahrzeugs ein Gespräch im Innenraum des Fahrzeugs erfasst. Anschließend wird eine Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des Informationsinhalts geführt wurde, durchgeführt und anhand der Gesprächsanalyse und den erfassten Erkennungsdaten des während oder vor dem
Gespräche ausgegebenen Informationsinhalts wird ermittelt, ob der ausgegebene
Informationsinhalt von einem Insassen des Fahrzeugs wahrgenommen wurde.
Das Gespräch kann dabei z. B. zwischen mindestens zwei Insassen des Fahrzeugs oder zwischen mindestens einem Insassen und einem Anrufer oder zwischen einem mindestens Insassen und einer Person außerhalb des Fahrzeugs oder als Selbstgespräch eines Insassen erfolgen. Die Ausführungen im Folgenden beziehen sich auf alle Möglichkeiten eines
Gesprächs im Innenraum des Fahrzeugs.
Bei dem Informationsinhalt handelt es sich um jegliche Form von Information, welche von einem Fahrzeuginsassen wahrgenommen werden kann. Bei dem Informationsinhalt handelt es sich insbesondere um einen Werbeinhalt. Es wird somit Werbung ausgegeben, deren Inhalt von einem Insassen des Fahrzeugs wahrgenommen werden kann. Das erfindungsgemäße
Verfahren überwacht den Fahrzeuginsassen dahingehend, ob er den Werbeinhalt
wahrgenommen hat. Hierfür wird der Inhalt eines Gesprächs im Innenraum des Fahrzeugs analysiert. Anhand dieser Gesprächsanalyse kann ein Zusammenhang mit den
Erkennungsdaten des zugeordneten Informationsinhalts hergestellt werden. Besteht ein solcher Zusammenhang, wird geschlossen, dass der Informationsinhalt von einem Fahrzeuginsassen wahrgenommen wurde. Durch die Gesprächsanalyse wird erreicht, dass sehr zuverlässig auf die Wahrnehmung eines Informationsinhalts geschlossen werden kann.
Das Zeitintervall nach der Ausgabe des Informationsinhalts kann beispielsweise einen Zeitraum von bis zu 30 Minuten nach Beendigung der Ausgabe des Informationsinhalts umfassten. Das Zeitintervall umfasst insbesondere einen Zeitraum von 20 Minuten, bevorzugt 10 Minuten oder 2 Minuten, nach Beendigung der Ausgabe des Informationsinhalts.
Der Informationsinhalt kann auditiv ausgegeben werden. Alternativ oder zusätzlich kann er visuell ausgegeben werden. Der Informationsinhalt kann beispielsweise visuell in dem Fahrzeug oder von einem Objekt im Verkehrsraum außerhalb des Fahrzeugs angezeigt werden, so dass er in dem Fahrzeug wahrnehmbar ist. Ferner kann er akustisch über einen Lautsprecher ausgegeben werden.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens werden die Erkennungsdaten dadurch gewonnen, dass der ausgegebene Informationsinhalt analysiert wird. Beispielsweise kann eine visuelle Ausgabe des Informationsinhalts durch eine Innenraumkamera oder eine Kamera erfasst werden, die das Umfeld des Fahrzeugs aufnimmt. Eine auditive Ausgabe kann akustisch über ein Innenraummikrofon erfasst werden. Die von einer Kamera und/oder dem Innenraummikrofon erfassten Daten können dann analysiert werden, um Erkennungsdaten für den Informationsinhalt zu gewinnen. Bei dieser Ausgestaltung können die Erkennungsdaten vorteilhafterweise allein durch Einrichtungen des Fahrzeugs gewonnen werden, ohne dass es erforderlich ist, auf fahrzeugexterne Einrichtungen zuzugreifen. Gemäß einer anderen Ausgestaltung des erfindungsgemäßen Verfahrens wird ein Gerät ermittelt, welches den Informationsinhalt ausgibt. Daten zur Kennzeichnung des ermittelten Geräts werden dann an eine fahrzeugexterne Einrichtung übertragen. Die fahrzeugexterne Einrichtung ermittelt anhand der Daten zur Kennzeichnung des ermittelten Geräts die
Erkennungsdaten zu den von dem Gerät ausgegebenen Informationsinhalten und die ermittelten Erkennungsdaten werden von der fahrzeugexternen Einrichtung an das Fahrzeug übertragen. Bei dieser Ausgestaltung des Verfahrens ist es zwar erforderlich, auf
fahrzeugexterne Einrichtungen zuzugreifen. In diesem Fall können die Erkennungsdaten jedoch zuverlässig und gegebenenfalls auf vorbestimmte Weise gewonnen werden, da der
fahrzeugexternen Einrichtung Daten vorliegen können, welcher Informationsinhalt zu welcher Zeit über das ermittelte Gerät ausgegeben werden.
Gemäß einer Weiterbildung dieser Ausgestaltung des erfindungsgemäßen Verfahrens werden Einstellungsdaten zu einer Einstellung des Geräts, welches den Informationsinhalt ausgibt, und/oder zu dem Zeitpunkt oder dem Zeitintervall der Ausgabe des Informationsinhalts erfasst. Diese Einstellungsdaten werden an die fahrzeugexterne Einrichtung übertragen, die anhand der Einstellungsdaten die Erkennungsdaten zu den von dem Gerät ausgegebenen
Informationsinhalten ermittelt. Hierdurch wird erreicht, dass die fahrzeugexterne Einrichtung Daten darüber empfangen kann, welcher Informationsinhalt von einem Gerät ausgegeben wird, wenn dieses Gerät bei verschiedenen Einstellungen verschiedene Informationsinhalte ausgeben kann.
Bei dem Gerät kann es sich beispielsweise um ein Radio handeln. Die Einstellungsdaten können dann angeben, welcher Radiosender den Informationsinhalt ausgibt. Die
fahrzeugexterne Einrichtung ermittelt dann, welcher Informationsinhalt zu welchem Zeitpunkt oder Zeitintervall von dem Radiosender ausgegeben wurde und welche akustischen
Erkennungsdaten die Ausgabe enthielt. Beispielsweise kann die fahrzeugexterne Einrichtung auf einen Datenspeicher zugreifen, welcher Daten darüber enthält, was welcher Radiosender wann ausgibt. Zugeordnet zu diesen Informationsausgaben können im Voraus definierte Erkennungsdaten gespeichert sein, die dann von der fahrzeugexternen Einrichtung an das Fahrzeug übertragen werden können.
Alternativ kann der Informationsinhalt von einem fahrzeuginternen Gerät, unabhängig von einem eingestellten Radiosender, im Innenraum des Fahrzeugs ausgegeben werden. In diesem Fall liegen fahrzeugintern die Daten vor, welcher Informationsinhalt zu welchem Zeitpunkt ausgegeben wurde und welche Erkennungsdaten die Ausgabe enthielt. Die Erkennungsdaten können beispielsweise Schlüsselwörter des ausgegebenen Informationsinhalts umfassen. Hierdurch wird vorteilhafterweise erreicht, dass eine besonders zuverlässige Gesprächsanalyse durchgeführt werden kann.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird bei der Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des
Informationsinhalts geführt wurde, ermittelt, ob es eine Übereinstimmung gibt zwischen zumindest einer Teilmenge der zu dem Informationsinhalt gehörigen Schlüsselwörtern und Wörtern des Gesprächs. Wenn in dem Gespräch Wörter Vorkommen, die Schlüsselwörtern des Informationsinhalts entsprechen, kann vorteilhafterweise sehr zuverlässig darauf geschlossen werden, dass der Gesprächsinhalt in einer Beziehung zu dem ausgegebenen Informationsinhalt steht. Bei den Schlüsselwörtern handelt es sich daher um möglichst spezielle oder selten vorkommende Wörter des Informationsinhalts, so dass bei der Gesprächsanalyse eine klare Abgrenzung zwischen einem allgemeinen Gespräch und einem Gespräch über den
ausgegebenen Informationsinhalt möglich ist. Auf diese Weise kann besonders zuverlässig ermittelt werden, ob der überwachte Insasse den ausgegebenen Informationsinhalt
wahrgenommen hat.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird bei der Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des
Informationsinhalts geführt wurde, der Inhalt des Gesprächs ermittelt und bestimmt, wie die Reaktion zumindest eines Insassen auf den Informationsinhalt ist. Es kann beispielsweise analysiert werden, ob der Insasse positiv, neutral oder negativ auf den Informationsinhalt reagiert hat. Vorteilhafterweise kann bei dieser Ausgestaltung nicht nur ermittelt werden, ob die Ausgabe des Informationsinhalts wahrgenommen wurde, sondern auch wie die Reaktion auf den Informationsinhalt ist.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird die Stimmung des Insassen mittels einer Stimmungserfassungseinrichtung zu dem Zeitpunkt oder zu dem
Zeitintervall erfasst, zu dem der Informationsinhalt ausgegeben wurde. Hierfür kann die
Stimmungserfassungseinrichtung beispielsweise mit einer Innenraumkamera und/oder einem Mikrofon gekoppelt sein. Auf diese Weise kann die Stimme, die Mimik und/oder die Gestik des Insassen von der Stimmungserfassungseinrichtung analysiert und klassifiziert und damit einer bestimmten Stimmung zugeordnet werden. Des Weiteren können persönliche Merkmale des Insassen erfasst werden. Beispielsweise kann die Identität des Insassen, insbesondere des Fahrers des Fahrzeugs, anhand des
Fahrzeugschlüssels oder anhand einer Eingabe bei Fahrtantritt ermittelt werden.
Alternativ werden die persönlichen Merkmale des Insassen mittels einer
Insassenerfassungseinrichtung erfasst. Diese kann auf eine Innenraumkamera und/oder ein Mikrofon zugreifen. Auf diese Weise kann beispielsweise automatisch die Altersklasse und das Geschlecht des Insassen ermittelt werden. Diese Informationen können die weitere Auswertung der Daten zu den Wahrnehmungen von Informationsinhalten unterstützen.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird von einer fahrzeuginternen Analyseeinrichtung erfasst, welcher Informationsinhalt wahrgenommen wurde, bevorzugt welcher Informationsinhalt im Fahrzeug von welchem Insassen wann
wahrgenommen wurde. Vorteilhafterweise können diese gespeicherten Daten bei einer späteren Auswertung dafür genutzt werden, die Effektivität des ausgegebenen
Informationsinhalts, insbesondere eines ausgegebenen Werbeinhalts, zu bestimmen.
Alternativ oder zusätzlich wird von der fahrzeuginternen Analyseeinrichtung erfasst, welche Metadaten der Informationsinhaltbeinhaltet. Diese Metadaten können bei der Ausgabe von Werbeinhalten beispielsweise Informationen darüber enthalten, welches Produkt oder welches Unternehmen beworben wurden. Diese Metadaten können im Übrigen auch in den
Erkennungsdaten enthalten sein. Das beworbene Produkt bzw. das beworbene Unternehmen können auch Schlüsselwörter des ausgegebenen Informationsinhalts sein.
Von der fahrzeuginternen Analyseeinrichtung kann ferner erfasst werden, welche persönlichen Merkmale und/oder welche Stimmung der Insasse, welcher den Informationsinhalt
wahrgenommen hat, hatte. Auch die Speicherung dieser weiteren Daten ist für die spätere Auswertung der Effektivität der Ausgabe des Informationsinhalts von Vorteil.
Die von der Analyseeinrichtung erfassten Daten können insbesondere an eine fahrzeugexterne Auswerteeinrichtung übertragen werden. Vorteilhafterweise kann diese Auswerteeinrichtung die Daten einer Vielzahl von Fahrzeugen empfangen und auf diese Weise eine umfassende und effiziente Auswertung der Effektivität des ausgegebenen Informationsinhalts durchführen.
Darüber hinaus kann die fahrzeugexterne Auswerteeinrichtung anhand der Daten einer Vielzahl von Fahrzeugen ermitteln, wie ein zu Metadaten zugehöriger Informationsinhalt
wahrgenommen wird. Die erfindungsgemäße Vorrichtung ist gekennzeichnet durch eine Analyseeinrichtung, die mit dem Mikrofon gekoppelt ist und die ausgebildet ist, ein zumindest während oder für ein
Zeitintervall nach der Ausgabe des Informationsinhalts mittels des Mikrofons erfasstes
Gespräch zu analysieren und anhand der Gesprächsanalyse und den erfassten
Erkennungsdaten des während oder vor dem Gespräch ausgegebenen Informationsinhalts zu ermitteln, ob der ausgegebene Informationsinhalt von einem Fahrzeuginsassen
wahrgenommen wurde.
Die erfindungsgemäße Vorrichtung ist insbesondere ausgebildet, das erfindungsgemäße Verfahren, wie es vorstehend erläutert wurde, auszuführen. Sie weist daher dieselben Vorteile wie das erfindungsgemäße Verfahren auf.
Die Erfindung wird nun anhand eines Ausführungsbeispiels mit Bezug zu der Zeichnung erläutert.
Die Figur zeigt ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung.
Mit Bezug zu der Figur wird zunächst das Ausführungsbeispiel der erfindungsgemäßen
Vorrichtung erläutert:
Die erfindungsgemäße Vorrichtung ist in einem Fahrzeug 1 angeordnet. Mittels der Vorrichtung kann ein Insasse eines Fahrzeugs 1 überwacht werden. Sie umfasst ein Display 2 zum visuellen Ausgeben eines Informationsinhalts. Ferner umfasst die Vorrichtung ein Radio 3, welches mit einem Lautsprecher 4 verbunden ist, so dass ein Informationsinhalt auditiv ausgegeben werden kann.
Bei dem Informationsinhalt handelt es sich bei dem Ausführungsbeispiel um einen Werbeinhalt. Der Werbeinhalt kann somit akustisch mittels des Radios 3 über den Lautsprecher 4 und/oder visuell mittels des Displays 2 ausgegeben werden. Dem Informationsinhalt sind
Erkennungsdaten und Metadaten zugeordnet. Die Erkennungsdaten sind Schlüsselwörter, die in einer Beziehung zu dem Informationsinhalt stehen. Bei den Schlüsselwörtern kann es sich um Wörter handeln, welche visuell bei der Ausgabe des Informationsinhalts auf dem Display 2 angezeigt werden oder die in einem gesprochenen Text, bei der auditiven Ausgabe des Informationsinhalts Vorkommen. Die Erkennungsdaten, insbesondere die Schlüsselwörter, können jedoch auch auf andere Weise in einem Zusammenhang mit dem Informationsinhalt stehen. Es ist nicht zwingend erforderlich, dass die Schlüsselwörter angezeigt oder akustisch ausgegeben wurden. Die Erkennungsdaten stehen in einem solchen Zusammenhang zu dem Informationsinhalt, dass anhand der Erkennungsdaten ermittelt werden kann, ob ein Nutzer die Ausgabe des Informationsinhalts wahrgenommen hat. Beispielsweise können die
Erkennungsdaten auch Schlüsselwörter enthalten, die in einem übertragenen Sinn in einem Zusammenhang mit dem Informationsinhalt stehen. Beispielsweise können es Schlüsselwörter sein, die bei einem Gespräch über den Informationsinhalt mit hoher Wahrscheinlichkeit ausgesprochen werden, ohne dass die Schlüsselwörter selbst in dem Informationsinhalt Vorkommen. Die Schlüsselwörter werden bei insbesondere so gewählt, dass die
Auftretenshäufigkeit dieser Wörter so gering wie möglich ist, so dass die Schlüsselwörter mit geringer Wahrscheinlichkeit in einem anderen Zusammenhang genannt werden.
Das Display 2 sowie das Radio 3 sind mit einer Informationsausgabe-Einrichtung 5 gekoppelt. Die Informationsausgabe-Einrichtung steuert die Informationsausgabe über das Display 2 und das Radio 3. An die Informationsausgabe-Einrichtung 5 werden außerdem Einstellungsdaten des Displays 2 und des Radios 3 übertragen.
Die Vorrichtung umfasst ferner eine in dem Fahrzeug 1 angeordnete Sensoreinrichtung 6, welche mit einer Vielzahl von Sensoren 7 gekoppelt ist. Die Sensoren 7 umfassen
insbesondere eine Innenraumkamera 7-1 , welche unter anderem einen Insassen des
Fahrzeugs 1 , insbesondere den Fahrer, aufnimmt und eine Umfeldkamera 7-2, welche Bilder im Umfeld des Fahrzeugs 1 , insbesondere in Fahrtrichtung, aufnimmt. Des Weiteren umfassen die Sensoren 7 ein Innenraummikrofon 7-3, welches so angeordnet ist, dass es Gespräche im Innenraum des Fahrzeugs 1 im Innenraum des Fahrzeugs 1 aufnehmen kann. Schließlich umfassen die Sensoren 7 eine Identifikationseinheit 7-4, über welche sich ein Insasse des Fahrzeugs 1 identifizieren kann.
Die Informationsausgabe-Einrichtung 5 und die Sensoreinrichtung 6 sind mit einer
Ermittlungseinrichtung 8 verbunden. Die Ermittlungseinrichtung 8 ist ausgebildet, zu ermitteln, ob ein in dem Fahrzeug 1 wahrnehmbarer Informationsinhalt ausgegeben wird. Beispielsweise kann die Ermittlungseinrichtung 8 mittels der Informationsausgabe-Einrichtung 5 feststellen, ob das Radio 3 eingeschaltet ist oder Informationen auf dem Display angezeigt werden. Alternativ oder zusätzlich kann die Ermittlungseinrichtung 8 anhand der von der Sensoreinrichtung 6 übertragenen Daten der Sensoren 7 ermitteln, ob ein bestimmter Informationsinhalt, beispielsweise ein Werbeinhalt, visuell mittels des Displays 2 oder auditiv mittels des Radios 3 und dem mit diesem verbundenen Lautsprecher 4 ausgegeben wurde. Weiter alternativ oder zusätzlich kann die Ermittlungseinrichtung 8 über eine
Kommunikationsschnittstelle 13 mit einer fahrzeugexternen Einrichtung 14, z. B. einem Server, verbunden sein, der wiederum mit einem Datenspeicher 15 gekoppelt ist. Der Datenspeicher 15 kann Informationen enthalten, wann ein bestimmter Informationsinhalt, beispielsweise ein Werbeinhalt, auf welchem Radiosender wann ausgegeben wird. Diese Informationen können an die Ermittlungseinrichtung 8 über die Kommunikationsschnittstelle 13 übertragen werden. Das Radio 3 überträgt über die Informationsausgabe-Einrichtung 5 als Einstellungsdaten die Information, welcher Radiosender aktuell ausgegeben wird. Anhand dieser Informationen kann die Ermittlungseinrichtung 8 dann bestimmen, wann der für die Überwachung des Insassen relevante Informationsinhalt ausgegeben wird. Die Information, dass ein relevanter
Informationsinhalt aktuell ausgegeben wird, überträgt die Ermittlungseinrichtung 8 an eine Erkennungseinrichtung 9, mit welcher Erkennungsdaten zu ausgegebenen Informationsinhalten erfasst werden können. Wie vorstehend erläutert, umfassen die Erkennungsdaten
Schlüsselwörter zu einem ausgegebenen Informationsinhalt. Die Erkennungsdaten können mittels der Erkennungseinrichtung 9 auf verschiedene Weisen gewonnen werden:
Die Erkennungseinrichtung 9 ist mit der Sensoreinrichtung 6 gekoppelt. Der ausgegebene Informationsinhalt wird über das Innenraummikrofon 7-3 aufgenommen. Diese Aufnahme wird von der Erkennungseinrichtung 9 analysiert. Dabei werden die Erkennungsdaten extrahiert.
Alternativ oder zusätzlich werden der Erkennungseinrichtung 9 Erkennungsdaten direkt über die Informationsausgabe-Einrichtung 5 zur Verfügung gestellt. Beispielsweise können beim
Empfang eines Radiosignals Zusatzinformationen übermittelt werden, welche das Radio 3 an die Informationsausgabe-Einrichtung 5 überträgt, die diese Daten dann der
Erkennungseinrichtung 9 zur Verfügung stellt.
Schließlich ist alternativ oder zusätzlich die Erkennungseinrichtung 9 mit der
Kommunikationsschnittstelle 13 des Fahrzeugs 1 gekoppelt, welche eine Verbindung zu der externen fahrzeugexternen Einrichtung 14 und dem Datenspeicher 15 bereitstellt. Über die Informationsausgabe-Einrichtung 5 ermittelt die Erkennungseinrichtung 9, über welches Gerät der Informationsinhalt ausgegeben wird, das heißt bei dem vorliegenden Ausführungsbeispiel, ob der Informationsinhalt visuell über das Display 2 und/oder auditiv über den Lautsprecher 4 ausgegeben wird. Die Daten zur Kennzeichnung des ermittelten Geräts werden zusammen mit einem Zeitstempel an die fahrzeugexterne Einrichtung 14 übertragen. Die fahrzeugexterne Einrichtung 14 ermittelt anhand der Daten zur Kennzeichnung des ermittelten Geräts die Erkennungsdaten zu den von dem Gerät ausgegebenen Informationsinhalten durch einen Datenabruf bei dem Datenspeicher 15. In dem Datenspeicher 15 kann nicht nur gespeichert sein, zu welcher Zeit welcher Informationsinhalt über welchen Radiosender ausgegeben wird, sondern zusätzlich auch die jeweils zugeordneten Erkennungsdaten. Auf gleiche Weise kann der Datenspeicher 15 auch entsprechende Erkennungsdaten zu visuell über das Display 2 ausgegebenen Informationsinhalten speichern. Beispielsweise kann über das Display 2 visuelle Werbung, beispielsweise im Rahmen eines Fernsehprogramms, angezeigt werden. Die von der fahrzeugexternen Einrichtung 14 ermittelten Erkennungsdaten werden über die
Kommunikationsschnittstelle 13 an die Erkennungseinrichtung 9 übertragen.
Zusätzlich zu den Erkennungsdaten kann die Erkennungseinrichtung 9 auch Metadaten zu dem ausgegebenen Informationsinhalt erfassen. Diese Metadaten können sich mit den
Erkennungsdaten überschneiden, sie können jedoch auch weitere Zusatzinformationen enthalten, wie beispielsweise Informationen zu einem beworbenen Produkt oder einem beworbenen Unternehmen.
Die Erkennungseinrichtung 9 ist mit einer fahrzeuginternen Analyseeinrichtung 12 verbunden. Die Analyseeinrichtung 12 ist außerdem mit der Sensoreinrichtung 6 gekoppelt. Diese überträgt der Analyseeinrichtung 12 Aufnahmen des Innenraummikrofons 7-3. Die Analyseeinrichtung 12 ist ausgebildet, ein während der Ausgabe eines Informationsinhalts oder für ein Zeitintervall nach der Ausgabe eines Informationsinhalts erfasstes Gespräch zu analysieren. Die
Analyseeinrichtung 12 ermittelt anhand dieser Gesprächsanalyse und den erfassten
Erkennungsdaten des während oder vor dem Gespräch ausgegebenen Informationsinhalts, ob der ausgegebenen Informationsinhalt von einem Insassen des Fahrzeugs 1 wahrgenommen wurde. Die Analyseeinrichtung 12 extrahiert dabei insbesondere Wörter des erfassten
Gesprächs während oder in einem Zeitintervall nach der Informationsausgabe und vergleicht diese extrahierten Wörter mit Schlüsselwörtern der Erkennungsdaten. Wird ein gewisses Maß an Übereinstimmung ermittelt, folgert die Analyseeinrichtung 12, dass ein Fahrzeuginsasse den ausgegebenen Informationsinhalt wahrgenommen hat. Die Information, dass ein bestimmter Informationsinhalt von einem Fahrzeuginsassen wahrgenommen wurde, wird von der
Analyseeinrichtung 12 in einem internen Speicher zusammen mit zugehöriger Zeitinformation zu der Ausgabe des Informationsinhalt sowie etwaigen Einstellungsdaten des Geräts zur Ausgabe des Informationsinhalts gespeichert.
Des Weiteren ist die Analyseeinrichtung 12 ausgebildet, bei der Analyse des erfassten
Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des Informationsinhalts geführt wurde, den Inhalt des Gesprächs zu ermitteln und zu bestimmen, wie die Reaktion zumindest eines Insassen auf den Informationsinhalt ist. Beispielsweise kann anhand von vorab definierten Erkennungswörtern bestimmt werden, ob die Reaktion des Insassen auf den Informationsinhalt positiv, neutral oder negativ ist. Auch diese Informationen werden intern von der Analyseeinrichtung 12 gespeichert.
Des Weiteren ist die Analyseeinrichtung 12 mit einer Stimmungserfassungseinrichtung 10 verbunden. Anhand der Stimmungserfassungseinrichtung 10 wird erfasst, wie die Stimmung des Insassen zu dem Zeitpunkt oder zu dem Zeitintervall ist bzw. war, zu dem der
Informationsinhalt ausgegeben wurde. Hierfür ist die Stimmungserfassungseinrichtung 10 mit der Sensoreinrichtung 6 gekoppelt. Beispielsweise kann die Mimik, Gestik und die Stimme des Insassen analysiert und einer bestimmten Stimmungsklasse zugeordnet werden.
Schließlich ist die Analyseeinrichtung 12 mit einer Insassenerfassungseinrichtung 11 verbunden, welche wiederum mit der Sensoreinrichtung 6 verbunden ist. Die
Insassenerfassungseinrichtung 11 kann anhand der von den Sensoren 7 erfassten Daten persönliche Merkmale des Insassen erfassen. Zum einen kann die Identität direkt über die Identifikationseinheit 7-4, beispielsweise anhand eines dem Insassen persönlich zugeordneten Schlüssels, ermittelt werden. Alternativ oder zusätzlich können die persönlichen Merkmale des Insassen durch eine Bildanalyse und/oder Stimmanalyse ermittelt werden. Dabei können Daten der Innenraumkamera 7-1 und/oder des Innenraummikrofons 7-3 auswertet werden.
Auch die über die Stimmungserfassungseinrichtung 10 und die Insassenerfassungseinrichtung 11 gewonnenen Daten werden von der Analyseeinrichtung 12 in dem internen Speicher gespeichert. In der Analyseeinrichtung wird auf diese Weise ein Datensatz gespeichert, welcher angibt, welcher Informationsinhalt dem Fahrzeug 1 von welchem Insassen wann
wahrgenommen wurde, welche persönlichen Merkmale der Insasse hat, welche Metadaten der Informationsinhalt beinhaltet, und in welcher Stimmung der Insasse war, als er den
Informationsinhalt wahrgenommen hat. Dieser Datensatz wird über die
Kommunikationsschnittstelle 13 oder auf andere Weise von der fahrzeuginternen
Analyseeinrichtung 12 an eine fahrzeugexterne Auswerteeinrichtung 16 übertragen. Diese Auswerteeinrichtung 16 sammelt die bei einer Vielzahl von Überwachungen von Insassen von Fahrzeugen 1 gewonnenen Daten und wertet sie aus, um Daten zu der Effektivität der Ausgabe des Informationsinhalts zu gewinnen. Die fahrzeugexterne Auswerteeinrichtung ermittelt darüber hinaus anhand der Daten einer Vielzahl von Fahrzeugen, wie ein zu Metadaten zugehöriger Informationsinhalt wahrgenommen wird. Bei einer Weiterbildung des Ausführungsbeispiels wird der Informationsinhalt nicht innerhalb des Fahrzeugs 1 visuell oder auditiv ausgegeben, sondern außerhalb des Fahrzeugs 1.
Beispielsweise kann der Informationsinhalt von einem Objekt im Verkehrsraum ausgegeben werden, in dem sich das Fahrzeug 1 bewegt. Auch in diesem Fall kann durch eine Analyse eines Gesprächs im Innenraum des Fahrzeugs ermittelt werden, ob der außerhalb des
Fahrzeugs 1 ausgegebene Informationsinhalt von einem Insassen des Fahrzeugs 1 wahrgenommen wurde. Unter einer Ausgabe eines Informationsinhalts werden dabei unter anderem wechselnde Anzeigeinhalte von einem fahrzeugexternen Display verstanden. Der Informationsinhalt kann jedoch auch über ein stationäres Werbeplakat ohne wechselnden Informationsinhalt ausgegeben werden. In diesem Fall handelt es sich um eine stationäre Informationsanzeige, zum Beispiel durch ein Werbeplakat. Passiert das Fahrzeug 1 ein solches Objekt im Verkehrsraum, wird durch die Gesprächsanalyse ermittelt, ob ein Fahrzeuginsasse diesen Informationsinhalt wahrgenommen hat.
Bezugszeichenliste Fahrzeug
Display
Radio
Lautsprecher
Informationsausgabe-Einrichtung
Sensoreinrichtung
Sensoren
-1 Innenraumkamera
-2 Umfeldkamera
-3 Innenraummikrofon
-4 Identifikationseinheit
Ermittlungseinrichtung
Erkennungseinrichtung
0 Stimmungserfassungseinrichtung
1 Insassenerfassungseinrichtung
2 fahrzeuginterne Analyseeinrichtung
3 Kommunikationsschnittstelle
4 fahrzeugexterne Einrichtung
5 Datenspeicher
6 Auswerteeinrichtung

Claims

Patentansprüche
1. Verfahren zum Überwachen eines Insassen eines Fahrzeugs (1 ), bei dem
ermittelt wird, ob ein in dem Fahrzeug (1 ) wahrnehmbarer Informationsinhalt ausgegeben wird, und
Erkennungsdaten zu ausgegebenen Informationsinhalten erfasst werden, dadurch gekennzeichnet, dass
zumindest während oder für ein Zeitintervall nach der Ausgabe des
Informationsinhalts mittels eines Mikrofons (7-3) im Innenraum des Fahrzeugs (1 ) ein Gespräch im Innenraum des Fahrzeugs (1 ) erfasst wird,
eine Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des Informationsinhalts geführt wurde, durchgeführt wird und
anhand der Gesprächsanalyse und den erfassten Erkennungsdaten des während oder vor dem Gespräch ausgegebenen Informationsinhalts ermittelt wird, ob der ausgegebene Informationsinhalt von einem Insassen des Fahrzeugs (1 ) wahrgenommen wurde.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
es sich bei dem Informationsinhalt um Werbeinhalt handelt.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass
der Informationsinhalt im Innenraum vom Fahrzeug und/oder im Verkehrsraum außerhalb vom Fahrzeug visuell und/oder auditiv ausgegeben wird.
4. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Erkennungsdaten dadurch gewonnen werden, dass der ausgegebene Informationsinhalt analysiert wird.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
ein Gerät (2, 3) ermittelt wird, welches den Informationsinhalt ausgibt, Daten zur Kennzeichnung des ermittelten Geräts an eine fahrzeugexterne
Einrichtung (14) übertragen werden,
die fahrzeugexterne Einrichtung (14) anhand der Daten zur Kennzeichnung des ermittelten Geräts die Erkennungsdaten zu den von dem Gerät ausgegebenen
Informationsinhalten ermittelt und
die ermittelten Erkennungsdaten von der fahrzeugexternen Einrichtung (14) an das Fahrzeug (1 ) übertragen werden.
6. Verfahren nach Anspruch 5,
dadurch gekennzeichnet, dass
Einstellungsdaten zu einer Einstellung des Geräts (2, 3), welches den
Informationsinhalt ausgibt, und/oder zu dem Zeitpunkt oder dem Zeitintervall der Ausgabe des Informationsinhalts erfasst werden,
diese Einstellungsdaten an die fahrzeugexterne Einrichtung (14) übertragen werden, und
die fahrzeugexterne Einrichtung (14) anhand der Einstellungsdaten die
Erkennungsdaten zu den von dem Gerät (2, 3) ausgegebenen Informationsinhalten ermittelt.
7. Verfahren nach Anspruch 6,
dadurch gekennzeichnet, dass
das Gerät ein Radio (3) ist und die Einstellungsdaten angeben, welcher Radiosender den Informationsinhalt ausgibt, und
die fahrzeugexterne Einrichtung (14) ermittelt, welcher Informationsinhalt zu welchem Zeitpunkt oder Zeitintervall von dem Radiosender ausgegeben wurde und welche akustischen Erkennungsdaten die Ausgabe enthielt.
8. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Erkennungsdaten Schlüsselwörter des ausgegebenen Informationsinhalts umfassen.
9. Verfahren nach Anspruch 8,
dadurch gekennzeichnet, dass
bei der Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des Informationsinhalts geführt wurde, ermittelt wird, ob es eine Übereinstimmung gibt zwischen zumindest einer Teilmenge der zu dem Informationsinhalt gehörigen Schlüsselwörter und Wörtern des Gesprächs.
10. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
bei der Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des Informationsinhalts geführt wurde, der Inhalt des Gesprächs ermittelt wird und bestimmt wird, wie die Reaktion zumindest eines Insassen auf den Informationsinhalt ist und/oder die Stimmung des Insassen mittels einer
Stimmungserfassungseinrichtung (10) zu dem Zeitpunkt oder zu dem Zeitintervall erfasst wird, zu dem der Informationsinhalt ausgegeben wurde.
11. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
persönliche Merkmale des oder der Insassen erfasst werden.
12. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
von einer fahrzeuginternen Analyseeinrichtung (12) erfasst wird, welcher Informationsinhalt wahrgenommen wurde und/oder welcher Informationsinhalt im
Fahrzeug (1 ) von welchem Insassen wann wahrgenommen wurde und/oder welche Metadaten der Informationsinhalt beinhaltet und/oder welche persönlichen Merkmale und/oder welche Stimmung der Insasse, welche den Informationsinhalt wahrgenommen hat, hatte.
13. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die von der Analyseeinrichtung (12) erfassten Daten an eine fahrzeugexterne Auswerteeinrichtung (16) übertragen werden.
14. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
eine fahrzeugexterne Auswerteeinrichtung die übertragenen Daten von einer Vielzahl von Fahrzeugen empfängt und ermittelt, wie ein zu Metadaten zugehöriger Informationsinhalt wahrgenommen wird, und/oder die Effektivität der Ausgabe des Informationsinhalts bestimmt.
15. Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs (1 ), wobei die Vorrichtung aufweist:
eine Ermittlungseinrichtung (8), die ausgebildet ist, zu ermitteln, ob ein in dem Fahrzeug (1 ) wahrnehmbarer Informationsinhalt ausgegeben wird,
eine Erkennungseinrichtung (9) zum Erfassen von Erkennungsdaten zu ausgegebenen Informationsinhalten und
eine Mikrofon (7-3), das im Innenraum des Fahrzeugs (1 ) angeordnet ist und das ausgebildet ist, ein Gespräch im Innenraum des Fahrzeugs (1 ) zu erfassen,
gekennzeichnet durch
eine Analyseeinrichtung (12), die mit dem Mikrofon (7-3) gekoppelt ist und die ausgebildet ist, ein zumindest während oder für ein Zeitintervall nach der Ausgabe des Informationsinhalts mittels des Mikrofons (7-3) erfasstes Gespräch zu analysieren und anhand der Gesprächsanalyse und den erfassten Erkennungsdaten des während oder vor dem Gespräch ausgegebenen Informationsinhalts zu ermitteln, ob der ausgegebene Informationsinhalt von einem Insassen des Fahrzeugs (1 ) wahrgenommen wurde.
EP19816229.9A 2018-12-21 2019-11-27 Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs Pending EP3899852A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018133453.2A DE102018133453A1 (de) 2018-12-21 2018-12-21 Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs
PCT/EP2019/082819 WO2020126376A1 (de) 2018-12-21 2019-11-27 Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs

Publications (1)

Publication Number Publication Date
EP3899852A1 true EP3899852A1 (de) 2021-10-27

Family

ID=68806721

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19816229.9A Pending EP3899852A1 (de) 2018-12-21 2019-11-27 Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs

Country Status (5)

Country Link
US (1) US11810149B2 (de)
EP (1) EP3899852A1 (de)
CN (1) CN113168644B (de)
DE (1) DE102018133453A1 (de)
WO (1) WO2020126376A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018133453A1 (de) 2018-12-21 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs
US12354602B2 (en) * 2020-09-10 2025-07-08 Harman International Industries, Incorporated Virtual conversation agent for controlling multiple vehicular intelligent virtual assistants

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150006278A1 (en) * 2013-06-28 2015-01-01 Harman International Industries, Inc. Apparatus and method for detecting a driver's interest in an advertisement by tracking driver eye gaze

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2302895A1 (en) * 2000-03-22 2001-09-22 Kolio Markov Interactive computerized advertising and data exchange on-board in vehicles
DE10033333A1 (de) 2000-07-01 2002-01-17 Berndt Gmbh & Co Kg Verfahren zur Ermittlung einer Kenngröße für einen Werbewert
JP3529348B2 (ja) * 2000-11-06 2004-05-24 Ｎｅｃソフト株式会社 車両内情報提供システム
JP2004226070A (ja) 2003-01-20 2004-08-12 Nissan Motor Co Ltd 車両用情報取得装置および路車間通信システム
DE102004020878A1 (de) 2004-04-28 2005-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Informationswiedergabe
WO2008032329A2 (en) * 2006-09-13 2008-03-20 Alon Atsmon Providing content responsive to multimedia signals
US8955001B2 (en) * 2011-07-06 2015-02-10 Symphony Advanced Media Mobile remote media control platform apparatuses and methods
US20120143693A1 (en) 2010-12-02 2012-06-07 Microsoft Corporation Targeting Advertisements Based on Emotion
DE102012213466A1 (de) 2012-07-31 2014-02-06 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen eines Fahrzeuginsassens
US20140214933A1 (en) 2013-01-28 2014-07-31 Ford Global Technologies, Llc Method and Apparatus for Vehicular Social Networking
US20140279021A1 (en) * 2013-03-14 2014-09-18 Ford Global Technologies, Llc Ad Manager for a Vehicle Multimedia System
US20140278933A1 (en) * 2013-03-15 2014-09-18 F. Gavin McMillan Methods and apparatus to measure audience engagement with media
US20140278910A1 (en) 2013-03-15 2014-09-18 Ford Global Technologies, Llc Method and apparatus for subjective advertisment effectiveness analysis
US20140379456A1 (en) 2013-06-24 2014-12-25 United Video Properties, Inc. Methods and systems for determining impact of an advertisement
US20150142552A1 (en) 2013-11-21 2015-05-21 At&T Intellectual Property I, L.P. Sending Information Associated with a Targeted Advertisement to a Mobile Device Based on Viewer Reaction to the Targeted Advertisement
US9852355B2 (en) 2015-04-21 2017-12-26 Thales Avionics, Inc. Facial analysis for vehicle entertainment system metrics
EP3345148A1 (de) * 2015-09-04 2018-07-11 Robert Bosch GmbH Werbetafelanzeige und verfahren zur selektiven anzeige von werbungen durch erfassung demografischer informationen von fahrzeugeninsassen
US20190122661A1 (en) * 2017-10-23 2019-04-25 GM Global Technology Operations LLC System and method to detect cues in conversational speech
DE102018133453A1 (de) 2018-12-21 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150006278A1 (en) * 2013-06-28 2015-01-01 Harman International Industries, Inc. Apparatus and method for detecting a driver's interest in an advertisement by tracking driver eye gaze

Also Published As

Publication number Publication date
DE102018133453A1 (de) 2020-06-25
CN113168644A (zh) 2021-07-23
US11810149B2 (en) 2023-11-07
US20220084061A1 (en) 2022-03-17
CN113168644B (zh) 2024-10-29
WO2020126376A1 (de) 2020-06-25

Similar Documents

Publication Publication Date Title
DE102013209055A1 (de) Datenquellenidentifizierung, Datensammlung und Datenspeicherung für Verkehrsereignisse
DE102009044083A1 (de) System und Verfahren zur Zählung der Personenanzahl
DE102018219984B3 (de) Verfahren und System zum Unterstützen eines automatisiert fahrenden Fahrzeugs
EP3729423B1 (de) Verfahren zum betreiben einer schallausgabeeinrichtung eines kraftfahrzeugs, sprachanalyse- und steuereinrichtung, kraftfahrzeug, und kraftfahrzeugexterne servereinrichtung
DE102014204530A1 (de) Verfahren und vorrichtung für subjektive werbeanzeigeneffektivitätsanalyse
DE102015225135B4 (de) System und Verfahren zur Anpassung einer akustischen Ausgabe eines Navigationssystems
DE102020004792A1 (de) Verfahren und Vorrichtung zur Erkennung und Meldung von Parkunfällen für Fahrzeuge
DE102021130155B4 (de) Verfahren und System zum Bereitstellen einer in einem Kraftfahrzeug angefragten Information zu einem Objekt in der Umgebung des Kraftfahrzeugs
WO2020126376A1 (de) Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs
DE102020111050A1 (de) System und Verfahren für eine Insassensicherheit in einem Fahrzeug
EP3899851A1 (de) Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs sowie system zur analyse der wahrnehmung von objekten
DE102015218967A1 (de) Verfahren und System zur Ermittlung und Nutzung von Eigenschaftszusammenhängen
DE102013019563B4 (de) Verfahren zum Bereitstellen von Information über eine Umgebung an einem Smart-Gerät
DE102019118183A1 (de) System und Verfahren zur Information
EP2497037A1 (de) Verfahren und vorrichtung zum rechnergestützten annotieren von multimediadaten
DE102020102107B4 (de) System und Verfahren zur zeitaktuellen Ermittlung von Gefahrenstellen im Straßenverkehr
DE102020121418B4 (de) System und Verfahren zur Erhöhung der Datensicherheit im Fahrzeug
DE102018130754A1 (de) Nahtloser berater-eingriff
DE102014101785A1 (de) System zum Verarbeiten von Daten sowie Verfahren zum Betreiben des Systems
DE102011113633A1 (de) Verfahren und Vorrichtung zum Unterstützen eines Nutzers eines Kraftfahrzeugs durch automatisches Erkennen eines Nummernschilds
DE102017001600A1 (de) Verfahren zum Erstellen einer elektronischen, Informationen über Orte von freien Parkplätzen für Fahrzeuge enthaltenden Karte
DE102018128636A1 (de) Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
DE102020120470B4 (de) Verfahren zum Bereitstellen einer Bildmontage, Filmanalyseeinrichtung, und Datenservereinrichtung zum Betreiben im Internet
DE102023129939B3 (de) Verfahren zum persönlichkeitsbasierten Assistieren eines Nutzers eines Fahrzeugs
DE102022206096A1 (de) Verfahren und System zur Bereitstellung einer Information von einem Benutzer eines Fahrzeuges über eine aktuelle Fahrsituation, sowie Fahrzeug

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210721

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230322