EP3899851A1 - Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs sowie system zur analyse der wahrnehmung von objekten - Google Patents

Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs sowie system zur analyse der wahrnehmung von objekten

Info

Publication number
EP3899851A1
EP3899851A1 EP19816228.1A EP19816228A EP3899851A1 EP 3899851 A1 EP3899851 A1 EP 3899851A1 EP 19816228 A EP19816228 A EP 19816228A EP 3899851 A1 EP3899851 A1 EP 3899851A1
Authority
EP
European Patent Office
Prior art keywords
vehicle
occupant
perceived
detected
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
EP19816228.1A
Other languages
English (en)
French (fr)
Inventor
Thorben Günzel
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Volkswagen AG
Original Assignee
Volkswagen AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen AG filed Critical Volkswagen AG
Publication of EP3899851A1 publication Critical patent/EP3899851A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0242—Determining effectiveness of advertisements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0272—Period of advertisement exposure
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54—Audio sensitive means, e.g. ultrasound
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F15/00—Boards, hoardings, pillars, or like structures for notices, placards, posters, or the like
    • G09F15/0006—Boards, hoardings, pillars, or like structures for notices, placards, posters, or the like planar structures comprising one or more panels

Definitions

  • the present invention relates to a method for monitoring an occupant of a vehicle
  • Vehicle in which the geographical position of the vehicle is recorded, and a
  • the invention relates to a device for monitoring an occupant of a vehicle, which has a position detection device for detecting the geographic position of the vehicle and a gaze detection device for detecting a gaze direction of the occupant.
  • the invention relates to a system for analyzing the perception of objects in a traffic area, which comprises a plurality of vehicles which have the device for monitoring an occupant of the vehicle.
  • advertising objects are known, in which sensors are integrated, which recognize when a person is viewing the advertising object. It is disadvantageous here that high costs are incurred for the sensors in the advertising objects and the range of the sensors is limited, so that it cannot be detected when occupants in passing vehicles do so
  • the Environment detection device are detected, the direction of view of a vehicle occupant is detected by means of an eye detection device and the detected direction of view is automatically assigned to a detected object.
  • the object can, for example, be an advertising poster.
  • the environment detection device comprises a video and / or a radar system which can be used to identify objects, such as an advertising poster, that are located on the route, in particular on the road or on the roadside.
  • the objects are detected by a distance estimate and an object classification of the video camera or by a distance measurement and radar object determination of the radar system.
  • a disadvantage of this method or device is that the object detection is unreliable.
  • An entertainment system for a vehicle is known from US 2016/0316237 A1, via which films, audio programs, information videos, text descriptions and advertising content can be output.
  • the system includes a camera with which the user's face is recorded.
  • the images captured by the camera are used to analyze the user's emotions. In this way, for example, the reaction of a user to advertising can be recorded. Furthermore, the direction of the user's gaze can be recorded in order to determine where the user is looking on a display. Finally, personal characteristics of the user, such as his age, hair color and similar characteristics can be obtained.
  • DE 10 2014 204 530 A1 discloses a method and a device for a subjective advertisement effectiveness analysis. Advertising is presented in the vehicle and the user reaction to this advertising is analyzed. There is one for this
  • Vehicle camera provided that visually records occupant reactions. In this way it can be determined whether the user liked or disliked advertisements. For example, facial recognition software can run when an advertisement is displayed so that user emotions can be recorded and timestamped.
  • the invention has for its object to provide a method, a device and a system of the type mentioned, with which the perception of an object in the surroundings of the vehicle by a vehicle occupant can be reliably determined.
  • this object is achieved by a method with the features of claim 1, a device with the features of claim 14 and a system with the features of claim 15.
  • the method according to the invention is characterized in that a data memory is accessed, in which objects and their associated geographic positions are stored, and it is determined on the basis of the detected geographic position of the vehicle whether one of the objects is in the vicinity of the vehicle. Furthermore, depending on the detected line of sight of the occupant, the detected geographic position of the vehicle and the geographic position of the determined object in the The surroundings of the vehicle determine whether the object in the surroundings of the vehicle was perceived by the occupant.
  • the object relevant for monitoring the occupant of the vehicle are recorded in that information associated with them, which in particular includes the geographical position of the object, is stored in a data memory which is accessed in order to determine whether one of the objects is located in the surroundings of the vehicle.
  • the data memory can in particular be located outside the vehicle. In this case, the data memory is accessed via a wireless communication interface for transmitting the current geographical position of the vehicle to the data memory and for transmitting the geographical one
  • the data storage is e.g. B. a non-vehicle server device connected by means of a communication link to the motor vehicle and / or a navigation system of the motor vehicle.
  • the orientations of the stored objects are also stored in the data memory. Then it gets in
  • the detected geographic position of the vehicle and the geographic position and orientation of the determined object in the surroundings of the vehicle it is determined whether the object in the surroundings of the vehicle was perceived by the occupant. This further development is particularly expedient if the information content represented by the object can only be perceived from a certain viewing direction.
  • the data memory can thus in particular store map data and the locations and orientations of the objects.
  • the objects can also be classified.
  • the objects can in particular be advertising objects, such as billboards.
  • An orientation is stored for such advertising objects, via which a direction of view can be determined.
  • Direction of vision indicates the viewing angles from which the object can be visually perceived.
  • the vehicle Depends on the geographic position and orientation of the object Assigned to the observation area. Depending on the geographical position of the vehicle, it is determined whether the vehicle is within the observation area. If the vehicle is within the observation area, it is determined on the basis of the detected viewing direction of the occupant whether the object in the surroundings of the vehicle was perceived by the occupant.
  • the viewing area defines in particular the area in which a vehicle must be located so that an occupant of the vehicle can perceive the object.
  • a position within the viewing area is a necessary, but not a sufficient condition for the perception of the object, since the visual perceptibility of the object can be restricted in the case of restricted visibility conditions, such as in fog. In this way, however, it is very easy to determine whether an object is suitable for further analysis. If the vehicle is outside the observation area of an object, there is no need to further determine whether the occupant of the vehicle has perceived this object.
  • the viewing area can also define a minimum distance that is required to perceive the object. If the object includes, for example, font of a certain size, a minimum distance can be defined, which is necessary so that an occupant of the vehicle can not only see the object but can also read the font. In this case, perception of the object is defined in such a way that the content of the written notification can be perceived.
  • the gaze direction of the occupant is determined in that the gaze detection device determines the gaze direction of the occupant relative to the orientation of the vehicle and then the gaze direction of the occupant relative to the surroundings of the vehicle based on the orientation of the vehicle and the gaze direction of the occupant is determined relative to the orientation of the vehicle.
  • the orientation of the vehicle can be determined relatively easily on the basis of the change in the geographical position of the vehicle over time.
  • the alignment can be determined in a manner known per se via the sensors located in the vehicle.
  • the gaze detection device then no longer has to determine the gaze direction relative to the object in the vicinity of the vehicle, but only relative to the reference system of the vehicle. Since the gaze detection device is arranged in particular in the vehicle, that is, also in the reference system of the vehicle, known eye tracking systems can be used, which are arranged in the vehicle and which for example, tracking movements of the driver's pupil or another vehicle occupant.
  • Change in the detected geographic position of the vehicle determines how long the object in the surroundings of the vehicle was perceived by the occupant.
  • the object is then particularly marked as perceived.
  • a minimum time interval can be defined. Only if the duration of the perception of the object exceeds this minimum time interval is the object marked as perceived.
  • it is determined continuously or for successive points in time whether the viewing direction is directed towards the object at the respective geographical position of the vehicle. Since the vehicle is moving, the direction in which the occupant looks must also change when he looks at an object for a certain length of time. This change in the position of the
  • the method according to the invention is taken into account in order to determine how long the object was perceived in the surroundings of the vehicle.
  • This metadata can include, for example, information about the advertising content shown by the object. They can also include information about the advertised product or company.
  • the metadata can also be stored in the data store. They can be accessed by accessing the data store. The determination of such metadata is advantageous for further analysis. It is also possible to output this metadata to the occupant of the vehicle. In this way, the occupant can associate with the perceived object
  • the metadata of the perceived object change over time.
  • the object can comprise a display which displays messages, advertising content or others at different time intervals
  • Information such as traffic information.
  • the time or the time interval in which the object was perceived by the occupant is detected and the metadata of the perceived object is determined at the time or the time interval in which the object was perceived. That way It is not only recorded that the object was perceived by the occupant, but also which information, for example, the object at that time or in this
  • the method it is determined whether an information content is output from the determined object. Recognition data on output information content is then recorded. At least during or for a time interval after the information content has been output, a conversation between occupants of the vehicle is recorded by means of a microphone in the interior of the vehicle. Then an analysis of the captured conversation that is made during or for a time interval after the issue of the
  • Information content is determined whether the information content output was perceived by an occupant of the vehicle. In this way, it can be determined more precisely on the basis of information content which was output by the object whether the object was perceived.
  • the time interval after the information content has been output may include, for example, a period of up to 30 minutes after the end of the output of the information content.
  • the time interval comprises in particular a period of 20 minutes, preferably 10 minutes or 2 minutes, after the information content has been output.
  • the information content is any form of information that can be perceived by a vehicle occupant.
  • the information content is, in particular, an advertising content. Advertising is thus output, the content of which can be perceived by an occupant of the vehicle.
  • the vehicle occupant is monitored to determine whether he has perceived the advertising content.
  • the content of a conversation between occupants of the vehicle is analyzed.
  • a connection can be made with the identification data of the assigned information content. If there is such a connection, it is concluded that the information content was perceived by a vehicle occupant.
  • the conversation analysis it is achieved that the perception of information content and thus the perception of the object that has output this information content can be concluded very reliably.
  • the recognition data are obtained by analyzing the information content output.
  • a visual output of the information content can be captured by a camera that records the surroundings of the vehicle.
  • the data captured by a camera can then be analyzed in order to obtain recognition data for the information content.
  • the identification data can advantageously be obtained solely from devices in the vehicle, without it being necessary to access devices external to the vehicle.
  • recognition data relating to the information content of the determined object in the vicinity of the vehicle is transmitted from the data memory to the vehicle.
  • the identification data can be, for example, keywords of the output
  • the analysis of the recorded conversation which takes place during or for a time interval after the output of the
  • Information content determined whether there is a match between at least a subset of the keywords belonging to the information content and words of the conversation. If words occur in the conversation that correspond to keywords of the information content, it can advantageously be concluded very reliably that the conversation content is related to the information content output.
  • the keywords are therefore special or rarely occurring words of the information content, so that in the conversation analysis a clear distinction between a general conversation and a conversation about the
  • Information content was conducted, the content of the conversation is determined and determines what the reaction of at least one occupant to the information content is. For example, it can be analyzed whether the occupant has responded positively, neutrally or negatively to the information content. With this configuration, it can advantageously be determined not only whether the output of the information content was perceived, but also what the reaction to the information content is.
  • the mood of the occupant is determined by means of a mood detection device at the time or at the
  • Mood detection device can be coupled, for example, to an interior camera and / or a microphone. In this way, the voice, facial expressions and / or gestures of the occupant can be analyzed and classified by the mood detection device and thus assigned to a specific mood.
  • Personal characteristics of the occupant can also be recorded. For example, the identity of the occupant, in particular the driver of the vehicle, can be determined using the
  • Vehicle key or be determined based on an entry when driving.
  • the occupant's personal characteristics are assessed using a
  • Occupant detection device detected. This can access an interior camera and / or a microphone. In this way, for example, the age group and the sex of the occupant can be determined automatically. This information can support the further evaluation of the data on the perceptions of objects.
  • Vehicle-internal analysis device detects which object in the surroundings of the vehicle was perceived by which occupant and when.
  • the in-vehicle analysis device can detect which metadata the perceived object has, how long the object has been perceived and / or which personal characteristics and / or which mood the occupant who perceived the object had.
  • the data recorded by the analysis device can then be transmitted to an evaluation device external to the vehicle. This makes it possible to transmit the data obtained during the monitoring of the vehicle occupant via an external, in particular central, vehicle Evaluate evaluation device in order to obtain data on the perception of objects.
  • the evaluation device external to the vehicle can in particular use the data from a large number of vehicles to determine how one belongs to metadata
  • Information content is perceived. Alternatively or additionally, it can determine the effectiveness of the output of the information content.
  • the data memory can be at least one non-vehicle server device connected to the motor vehicle by means of a communication link and / or a navigation system of the motor vehicle.
  • the device according to the invention for monitoring an occupant of a vehicle is characterized by an interface for access to a data memory, in which objects and their geographic positions are stored. Furthermore, the device is characterized by an analysis device, which is designed to determine on the basis of the detected geographical position of the vehicle whether one of the objects is in the vicinity of the vehicle, and also as a function of one detected
  • the analysis device is arranged in particular in the vehicle.
  • the data memory is arranged, in particular, outside the vehicle. In this case it is
  • Interface in particular a wireless communication interface for one
  • the device according to the invention is particularly designed to carry out the method according to the invention. It therefore also has the same advantages as the method according to the invention.
  • the invention further relates to a system for analyzing the perception of objects in a traffic area.
  • the system comprises a large number of vehicles, each of which comprises the device according to the invention described above.
  • the vehicles each include an analysis device.
  • the system further comprises an evaluation device external to the vehicle, which is designed to communicate with the interfaces of the vehicles and to receive data from the analysis devices of the vehicles indicate which objects were perceived by the occupants of the vehicles.
  • data on the perception of objects by occupants of the vehicles can advantageously be obtained over a long period of time, which pass the object, which is arranged, for example, on the roadside.
  • Figure 1 illustrates the perception of an object by a vehicle occupant according to an embodiment of the method
  • FIG. 2 shows an embodiment of the device according to the invention.
  • An object 5 is positioned next to the street. This can be, for example, an advertising object, such as a billboard.
  • Object 5 has a specific one
  • Alignment so that it can be perceived from a certain viewing area 6 by a person within this viewing area 6.
  • the occupant 2 of the vehicle 1, who is located in the viewing area 6, can look with the viewing direction 3 in the direction of a surface of the object 5 on which an information content is displayed. In this way, the occupant 2 can object 5 and that of object 5
  • the vehicle 2 moves past the object 5 on the lane 4, the direction of view 3 of the occupant 2 will change such that it is directed towards the object 5 for a certain duration when the occupant 2 is the object or the ones shown Perceives information content.
  • FIG. 2 An exemplary embodiment of the device according to the invention and of the method according to the invention is explained with reference to FIG. 2:
  • the vehicle 1 comprises various sensors 7.
  • the sensors 7 include, for example, an interior camera 7-1, an interior microphone 7-2, an identification unit 7-3 and a position detection device 7-4.
  • the sensors 7 are equipped with a gaze detection device 8, a mood detection device 9 and an occupant detection device 10 are coupled.
  • the gaze direction 3 of a vehicle occupant 2 relative to the reference system of the vehicle can be determined on the basis of the data recorded by the sensors 7
  • the eye detection device 8 can thus comprise an eye tracking system. It is detected, for example, where the occupant 2 looks at a vehicle window, for example the windshield or a side window. Furthermore, the position of the eyes of the occupant 2 within the vehicle 1 can be determined, from which the viewing direction 3 can then be calculated.
  • the mood detection device 9 can detect the mood of the occupant 2 at a specific point in time or at a time interval on the basis of the data transmitted by the sensors 7. For example, the facial expressions, gestures and the voice of the occupant 2 can be analyzed and assigned to a specific mood class.
  • the occupant detection device 10 can detect personal characteristics of the occupant 2 on the basis of the data acquired by the sensors 7. On the one hand, the identity of the occupant 2 can be determined directly via the identification unit 7-3, for example on the basis of a key personally assigned to the occupant 2. Alternatively or additionally, the personal characteristics of the occupant 2 can be determined by an image analysis and / or voice analysis.
  • the gaze direction 3 of the occupant 2 detected by the gaze detection device 8 the mood of the occupant 2 detected by the mood detection device 9 and that by the
  • the occupant detection device 10 detects personal characteristics of the occupant 2 continuously or within certain time intervals to an internal vehicle
  • the position detection device 7-4 also detects the current geographical position of the vehicle 1 and the pose, that is to say the spatial position or the orientation of the vehicle 1, and continuously to the analysis device
  • the analysis device 11 can determine the speed and the direction of movement of the vehicle 1.
  • the in-vehicle analysis device 11 is connected to a via the communication interface 12, for example a data connection via the mobile radio network
  • Object detection device 13 coupled.
  • the object detection device 13 engages towards a data memory 15.
  • Data on objects 5 which are relevant for monitoring the occupant 2 are stored in the data memory 15.
  • the data memory 15 stores geographical positions that are assigned to the objects 5. Furthermore, the orientations assigned to the objects are stored in the data memory if it is only possible to perceive the object from certain viewing directions.
  • the objects 5 can be advertising objects, objects that show information and references, or other objects 5 whose perception by an occupant 2 is of interest.
  • Metadata can also be stored for objects 5. This includes data on the viewing area 6, data on information content shown by the object 5, in particular advertising content, and time data, which may indicate which information content was or will be displayed and when.
  • the information content can also include information about an advertised product and an advertised company.
  • the in-vehicle analysis device 11 is also via the wireless
  • Communication interface 12 connected to an evaluation device 14 external to the vehicle.
  • the geographic position of the vehicle 1 is continuously from
  • Position detection device 7-4 detected.
  • the position of the vehicle 1 is continuously transmitted to the object detection device 13 via the communication interface 12 by means of the in-vehicle analysis device 11.
  • the object determination device 13 determines those objects 5 which are in the vicinity of the vehicle 1 as a function of the geographic position of the vehicle 1 transmitted by the analysis device 11. For example, the
  • Object detection device 13 determine whether the vehicle 1 is within the
  • the object detection device 13 then transmits data to the objects 5 in the vicinity of the vehicle 1 back to the
  • Analysis device 11 These data include the geographical position and the orientation of the object 5. Furthermore, the data can include a time stamp and all or a subset of the aforementioned metadata of the object 5. Furthermore, the line of sight 3 of the occupant 2 is continuously captured. If the line of sight 3 is detected relative to the reference system of the vehicle 1, the calculation
  • Analysis device 11 taking into account the movement of vehicle 1, continuously the viewing direction 3 of occupant 2 in the reference system of roadway 4, in which object 5 is located. In this frame of reference, it is particularly immobile.
  • the analysis device 1 1 determines, depending on the detected current direction of view 3 of the occupant 2, the detected current geographic position of the vehicle 1 and the geographic position and orientation of the object 5 in the surroundings of the vehicle 1, whether the object 5 in the surroundings of the vehicle Vehicle 1 was perceived by occupant 2. If an object 5 can only be perceived with a certain orientation relative to a viewer, the orientation of the determined object 5 in the surroundings of the vehicle 1 is also taken into account when determining whether the object 5 in the surroundings of the vehicle 1 is perceived by the occupant 2 has been.
  • Such an alignment is to be taken into account, for example, in the case of a flat object 5, if the object 5 is only to be marked as perceived if it was perceived from a certain viewing direction, that is to say if, for example, a surface with displayed information was perceived and not only that Object itself.
  • the analysis device 11 detects at what point in time and for how long the object 5 was perceived by the occupant 2. This information is stored in an internal
  • Memory of the analysis device 11 stored. In connection with this, the detected mood of the occupant 2 while he was perceiving the object 5 and the personal characteristics of the occupant 2 are also stored.
  • the mentioned information is stored in the internal memory of the analysis device 11 whenever the vehicle 1 passes an object 5. This stored information can then be sent via the communication interface 12 or in another way to the vehicle external
  • Evaluation device 14 are transmitted, which in this way can further evaluate the data obtained during the monitoring of the occupant 2 of the vehicle 1.
  • information content from object 5 is displayed. It can be a stationary display or a changing display.
  • Analysis device 11 determines whether an information content is output from the determined object 5.
  • the information content is, in particular, an advertising content.
  • Recognition data and possibly metadata are assigned to the information content.
  • the recognition data are keywords that are related to the information content.
  • the keywords can be words that visually appear when the
  • the recognition data especially the
  • Keywords may be related to the information content in other ways. It is not essential that the keywords have been displayed.
  • the identification data is related to the information content in such a way that the identification data can be used to determine whether a user has perceived the output of the information content.
  • the recognition data can also contain keywords that are, in a figurative sense, related to the information content. For example, it may be keywords that are likely to be spoken during a conversation about the information content without the keywords themselves occurring in the information content. In particular, the keywords are chosen so that the
  • Frequency of occurrence of these words is as low as possible, so that the keywords are less likely to be mentioned in a different context.
  • the analysis device 11 If the analysis device 11 has determined that an object 5 is outputting information content, it acquires recognition data for outputted information content.
  • the analysis device 11 can obtain the recognition data by transmitting recognition data relating to the information content of the determined object 5 in the vicinity of the vehicle 1 to the analysis device 11 from the data memory 15. For this purpose, not only can it be stored in the data memory 15 at what time which information content is displayed by which object 5, but additionally also the respectively assigned identification data.
  • the analysis device 11 records recognition data for output
  • the analysis device 12 also receives recordings of the interior microphone 7-2. It is designed to analyze a conversation recorded during the output of an information content or for a time interval after the output of an information content.
  • Analysis device 12 determines this conversation analysis and the detected
  • the analysis device 12 extracts in particular words of the detected one
  • the analysis device 12 can verify that an occupant 2 has perceived the object 5 which has output the information content.
  • a large number of vehicles 1 are equipped with the device according to the invention described above.
  • the vehicles 1 monitor one or more occupants 2 of the respective vehicle 1 with regard to the perception of
  • the respective analysis device 11 of a vehicle 1 detects which object 5 was perceived by which occupant 2 at what time. Furthermore, the aforementioned metadata on the perception of the object 5 can be recorded. The data recorded by the analysis devices 11 are transmitted to the evaluation device 14 external to the vehicle, so that it can comprehensively evaluate how a specific object was perceived.
  • the evaluation device external to the vehicle uses the data from a large number of vehicles to determine how information content associated with metadata is perceived.
  • Reference number list vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Überwachen eines Insassen (2) eines Fahrzeugs (1), bei dem die geographische Position des Fahrzeugs (1) erfasst wird und eine Blickrichtung (3) des Insassen (2) mittels einer Blickerfassungseinrichtung (8) erfasst wird. Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass auf einen Datenspeicher (15) zugegriffen wird, in welchem Objekte (5) und ihnen zugeordnete geographische Positionen gespeichert sind, und an Hand der erfassten geographischen Position des Fahrzeugs (1) ermittelt wird, ob sich eines der Objekte (5) in der Umgebung des Fahrzeugs (1) befindet, und in Abhängigkeit von der erfassten Blickrichtung (3) des Insassen (2), der erfassten geographischen Position des Fahrzeugs (1) und der geographischen Position des ermittelten Objekts (5) in der Umgebung des Fahrzeugs (1) ermittelt wird, ob das Objekt (5) in der Umgebung des Fahrzeugs (1) vom Insassen (2) wahrgenommen wurde. Des Weiteren betrifft die Erfindung eine Vorrichtung zum Überwachen eines Insassen (2) eines Fahrzeugs (1) sowie ein System zur Analyse der Wahrnehmung von Objekten (5) in einem Verkehrsraum, welches eine Vielzahl von Fahrzeugen (1) umfasst, welche eine solche Vorrichtung aufweisen.

Description

Beschreibung
Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs sowie System zur
Analyse der Wahrnehmung von Objekten
Die vorliegende Erfindung betrifft ein Verfahren zum Überwachen eines Insassen eines
Fahrzeugs, bei dem die geographische Position des Fahrzeugs erfasst wird, und eine
Blickrichtung des Insassen mittels einer Blickerfassungseinrichtung erfasst wird. Ferner betrifft die Erfindung eine Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs, die eine Positionserfassungseinrichtung zum Erfassen der geographischen Position des Fahrzeugs und eine Blickerfassungseinrichtung zum Erfassen einer Blickrichtung des Insassen aufweist.
Schließlich betrifft die Erfindung ein System zur Analyse der Wahrnehmung von Objekten in einem Verkehrsraum, welches eine Vielzahl von Fahrzeugen umfasst, welche die Vorrichtung zum Überwachen eines Insassen des Fahrzeugs aufweisen.
Für Unternehmen, welche in einem Verkehrsraum Objekte mit einem Werbeinhalt aufstellen, ist es von Interesse, in welcher Weise der Werbeinhalt von Insassen der Fahrzeuge, die sich in dem Verkehrsraum bewegen, wahrgenommen werden. Um eine solche Wahrnehmung zu erfassen, sind Werbeobjekte bekannt, in welche Sensoren integriert sind, die erkennen, wenn eine Person das Werbeobjekt betrachtet. Hierbei ist es nachteilig, dass hohe Kosten für die Sensoren in den Werbeobjekten anfallen und die Reichweite der Sensoren begrenzt ist, so dass nicht erfasst werden kann, wenn Insassen in vorbeifahrenden Fahrzeugen das
Werbeobjekt betrachten.
Aus der DE 10 2012 213 466 A1 ist ein Verfahren und eine Vorrichtung zum Überwachen eines Fahrzeuginsassen bekannt, bei dem Objekte eines Fahrzeugumfeldes mittels einer
Umfelderfassungseinrichtung erfasst werden, die Blickrichtung eines Fahrzeuginsassen mittels einer Blickerfassungseinrichtung erfasst wird und die erfasste Blickrichtung einem erfassten Objekt automatisch zugeordnet wird. Bei dem Objekt kann es sich beispielsweise um ein Werbeplakat handeln. Die Umfelderfassungseinrichtung umfasst ein Video- und/oder ein Radarsystem, anhand derer Objekte, wie beispielsweise ein Werbeplakat, erkannt werden können, die sich auf der Fahrstrecke, insbesondere auf der Straße oder am Straßenrand, befinden. Die Objekte werden durch eine Entfernungsschätzung und eine Objektklassifikation der Videokamera oder durch eine Entfernungsmessung und Radarobjektbestimmung des Radarsystems erfasst. Nachteilig an diesem Verfahren bzw. dieser Vorrichtung ist, dass die Objekterfassung unzuverlässig ist. Aus der US 2016/0316237 A1 ist ein Unterhaltungssystem für ein Fahrzeug bekannt, über welches Filme, Audioprogramme, Informationsvideos, Textbeschreibungen und Werbeinhalte ausgegeben werden können. Das System umfasst eine Kamera, mit welcher das Gesicht des Nutzers aufgenommen wird. Die von der Kamera aufgenommenen Bilder werden dazu verwendet, Emotionen des Nutzers zu analysieren. Auf diese Weise kann beispielsweise die Reaktion eines Nutzers auf Werbung erfasst werden. Des Weiteren kann die Blickrichtung des Nutzers erfasst werden, um zu erfassen, wohin der Nutzer auf einem Display sieht. Schließlich können persönliche Merkmale des Nutzers, wie beispielsweise sein Alter, seine Haarfarbe und ähnliche Merkmale gewonnen werden.
Ferner ist aus der DE 10 2014 204 530 A1 ein Verfahren und eine Vorrichtung für eine subjektive Werbeanzeigen-Effektivitätsanalyse bekannt. Dabei wird Werbung im Fahrzeug präsentiert und die Nutzerreaktion auf diese Werbung wird analysiert. Hierfür ist eine
Fahrzeugkamera vorgesehen, die visuell Insassenreaktionen aufzeichnet. Auf diese Weise kann bestimmt werden, ob der Nutzer Werbeanzeigen gemocht hat oder nicht gemocht hat. Beispielsweise kann eine Gesichtserkennungssoftware laufen, wenn eine Werbeanzeige wiedergegeben wird, so dass Benutzeremotionen aufgezeichnet und mit Zeitstempeln versehen werden können.
Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren, eine Vorrichtung sowie ein System der eingangs genannten Art anzugeben, mit denen zuverlässig die Wahrnehmung eines Objektes in der Umgebung des Fahrzeugs durch einen Fahrzeuginsassen ermittelt werden kann.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen des Anspruchs 1 , eine Vorrichtung mit den Merkmalen des Anspruchs 14 und ein System mit den Merkmalen des Anspruchs 15 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den abhängigen Ansprüchen.
Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass auf einen Datenspeicher zugegriffen wird, in welchem Objekte und ihnen zugeordnete geographische Positionen gespeichert sind, und anhand der erfassten geographischen Position des Fahrzeugs ermittelt wird, ob sich eines der Objekte in der Umgebung des Fahrzeugs befindet. Ferner wird in Abhängigkeit von der erfassten Blickrichtung des Insassen, der erfassten geographischen Position des Fahrzeugs und der geographischen Position des ermittelten Objekts in der Umgebung des Fahrzeugs ermittelt, ob das Objekt in der Umgebung des Fahrzeugs vom Insassen wahrgenommen wurde.
Bei dem erfindungsgemäßen Verfahren ist es nicht erforderlich, das Umfeld des Fahrzeugs in einer Weise zu erfassen, dass für die Überwachung des Insassen des Fahrzeugs relevante Objekte erkannt werden. Die für die Überwachung des Insassen des Fahrzeugs relevanten Objekte werden vielmehr dadurch erfasst, dass ihnen zugeordnete Informationen, die insbesondere die geographische Position des Objekts umfassen, in einem Datenspeicher gespeichert werden, auf den zugegriffen wird, um zu ermitteln, ob sich eines der Objekte in der Umgebung des Fahrzeugs befindet. Der Datenspeicher kann sich dabei insbesondere außerhalb des Fahrzeugs befinden. Der Zugriff auf den Datenspeicher erfolgt in diesem Fall über eine drahtlose Kommunikationsschnittstelle zum Übertragen der aktuellen geographischen Position des Fahrzeugs zum Datenspeicher und zum Übertragen der geographischen
Positionen von Objekten in der Umgebung des Fahrzeugs von dem Datenspeicher an das Fahrzeug. Der Datenspeicher ist z. B. eine mittels einer Kommunikationsverbindung mit dem Kraftfahrzeug verbundene fahrzeugfremde Servereinrichtung und/oder ein Navigationssystem des Kraftfahrzeugs.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens werden in dem Datenspeicher außerdem die Ausrichtungen der gespeicherten Objekte gespeichert. Es wird dann in
Abhängigkeit von der erfassten Blickrichtung des Insassen, der erfassten geographischen Position des Fahrzeugs und der geographischen Position und Ausrichtung des ermittelten Objekts in der Umgebung des Fahrzeugs ermittelt wird, ob das Objekt in der Umgebung des Fahrzeugs vom Insassen wahrgenommen wurde. Diese Weiterbildung ist insbesondere dann zweckmäßig, wenn der von dem Objekt dargestellte Informationsinhalt nur aus einer bestimmten Betrachtungsrichtung wahrnehmbar ist.
Der Datenspeicher kann somit insbesondere Kartendaten und die Standorte und Ausrichtungen der Objekte speichern. Außerdem können die Objekte klassifiziert sein. Bei den Objekten kann es sich insbesondere um Werbeobjekte, wie Werbetafeln handeln. Zu solchen Werbeobjekten ist eine Ausrichtung gespeichert, über welche eine Sichtrichtung ermittelbar ist. Die
Sichtrichtung gibt an, aus welchen Betrachtungswinkeln das Objekt visuell wahrgenommen werden kann.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird dem Objekt in
Abhängigkeit von der geographischen Position und Ausrichtung des Objekts ein Betrachtungsbereich zugeordnet. In Abhängigkeit von der geographischen Position des Fahrzeugs wird ermittelt, ob sich das Fahrzeug innerhalb des Betrachtungsbereichs befindet. Wenn sich das Fahrzeug innerhalb des Betrachtungsbereichs befindet, wird anhand der erfassten Blickrichtung des Insassen ermittelt, ob das Objekt in der Umgebung des Fahrzeugs vom Insassen wahrgenommen wurde.
Der Betrachtungsbereich definiert dabei insbesondere den Bereich, in dem sich ein Fahrzeug befinden muss, damit ein Insasse des Fahrzeugs das Objekt wahrnehmen kann. Dabei ist für die Wahrnehmung des Objekts eine Position innerhalb des Betrachtungsbereichs eine notwendige, jedoch keine hinreichende Bedingung, da bei eingeschränkten Sichtverhältnissen, wie beispielsweise bei Nebel, die visuelle Wahrnehmbarkeit des Objekts eingeschränkt sein kann. Auf diese Weise lässt sich jedoch sehr einfach bestimmen, ob ein Objekt für die weitere Analyse in Betracht kommt. Wenn sich das Fahrzeug außerhalb des Betrachtungsbereich eines Objekts befindet, braucht nicht weiter ermittelt zu werden, ob der Insasse des Fahrzeugs dieses Objekt wahrgenommen hat.
Der Betrachtungsbereich kann dabei neben einem möglichen Betrachtungswinkel auch einen Mindestabstand definieren, der erforderlich ist, um das Objekt wahrzunehmen. Umfasst das Objekt beispielsweise Schrift einer bestimmten Größe, kann ein Mindestabstand definiert werden, der erforderlich ist, damit ein Insasse des Fahrzeugs das Objekt nicht nur sehen kann, sondern die Schrift auch lesen kann. Eine Wahrnehmung des Objekts ist in diesem Fall so definiert, dass der Inhalt der schriftlichen Mitteilung wahrgenommen werden kann.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird die Blickrichtung des Insassen dadurch erfasst, dass mittels der Blickerfassungseinrichtung die Blickrichtung des Insassen relativ zur Ausrichtung des Fahrzeugs bestimmt wird und die Blickrichtung des Insassen dann relativ zur Umgebung des Fahrzeugs anhand der Ausrichtung des Fahrzeugs und der Blickrichtung des Insassen relativ zur Ausrichtung des Fahrzeugs bestimmt wird. Die Ausrichtung des Fahrzeugs lässt sich relativ einfach anhand der zeitlichen Veränderung der geographischen Position des Fahrzeugs bestimmen. Außerdem kann die Ausrichtung über die im Fahrzeug befindlichen Sensoren auf an sich bekannte Weise ermittelt werden. Die
Blickerfassungseinrichtung muss dann nicht mehr die Blickrichtung relativ zu dem Objekt in der Umgebung des Fahrzeugs bestimmen, sondern nur noch relativ zum Bezugssystem des Fahrzeugs. Da die Blickerfassungseinrichtung insbesondere in dem Fahrzeug angeordnet ist, das heißt, auch in dem Bezugssystem des Fahrzeugs, können an sich bekannte Eye-Tracking- Systeme eingesetzt werden, welche in dem Fahrzeug angeordnet sind und welche beispielsweise Bewegungen der Pupille des Fahrers oder eines anderen Fahrzeuginsassen verfolgen.
Gemäß einer weiteren Ausgestaltung des erfindungsgemäßen Verfahrens wird in Abhängigkeit von der erfassten Blickrichtung eines Insassen und in Abhängigkeit von der zeitlichen
Veränderung der erfassten geographischen Position des Fahrzeugs ermittelt, wie lange das Objekt in der Umgebung des Fahrzeugs vom Insassen wahrgenommen wurde. In Abhängigkeit vom Ergebnis dieser Ermittlung der Dauer der Wahrnehmung des Objekts wird das Objekt dann insbesondere als wahrgenommen gekennzeichnet. Beispielsweise kann ein Mindestzeitintervall definiert sein. Nur wenn die Dauer der Wahrnehmung des Objekts dieses Mindestzeitintervall überschreitet, wird das Objekt als wahrgenommen gekennzeichnet. Es wird insbesondere fortwährend oder für aufeinanderfolgende Zeitpunkte bestimmt, ob bei der jeweiligen geographischen Position des Fahrzeugs die Blickrichtung in Richtung des Objekts gerichtet ist. Da sich das Fahrzeug bewegt, muss sich auch die Blickrichtung des Insassen verändern, wenn er für eine bestimmte Dauer ein Objekt betrachtet. Diese Veränderung der Position des
Fahrzeugs und die damit verbundene Veränderung der Blickrichtung wird bei dem
erfindungsgemäßen Verfahren berücksichtigt, um zu bestimmen, wie lange das Objekt in der Umgebung des Fahrzeugs wahrgenommen wurde.
Gemäß einer vorteilhaften Weiterbildung des Verfahrens werden Metadaten eines
wahrgenommenen Objekts ermittelt. Diese Metadaten können beispielsweise Informationen zu dem vom Objekt gezeigten Werbeinhalt umfassen. Außerdem können sie Informationen zu dem beworbenen Produkt bzw. zu dem beworbenen Unternehmen umfassen. Die Metadaten können auch in dem Datenspeicher gespeichert sein. Durch Zugriff auf den Datenspeicher können sie abgerufen werden. Die Ermittlung solcher Metadaten ist für die weitere Analyse vorteilhaft. Außerdem ist es möglich, dem Insassen des Fahrzeugs diese Metadaten auszugeben. Auf diese Weise kann der Insasse die mit dem wahrgenommenen Objekt verbundenen
Informationen auch später noch abrufen, wenn er das Objekt bereits passiert hat.
Bei einer Ausgestaltung des erfindungsgemäßen Verfahrens verändern sich die Metadaten des wahrgenommenen Objekts zeitlich. Beispielsweise kann das Objekt ein Display umfassen, welches zu verschiedenen Zeitintervallen Nachrichten, Werbeinhalte oder andere
Informationen, wie beispielsweise Verkehrsinformationen anzeigt. In diesem Fall wird der Zeitpunkt oder das Zeitintervall, in dem das Objekt vom Insassen wahrgenommen wurde, erfasst und die Metadaten des wahrgenommenen Objekts werden zu dem Zeitpunkt oder zu dem Zeitintervall ermittelt, zu dem das Objekt wahrgenommen wurde. Auf diese Weise kann nicht nur erfasst werden, dass das Objekt vom Insassen wahrgenommen wurde, sondern auch, welche Informationen beispielsweise das Objekt zu diesem Zeitpunkt bzw. in diesem
Zeitintervall angezeigt hat.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird ermittelt, ob von dem ermittelten Objekt ein Informationsinhalt ausgegeben wird. Es werden dann Erkennungsdaten zu ausgegebenen Informationsinhalten erfasst. Zumindest während oder für ein Zeitintervall nach der Ausgabe des Informationsinhalts wird mittels eines Mikrofons im Innenraum des Fahrzeugs ein Gespräch zwischen Insassen des Fahrzeugs erfasst. Dann wird eine Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des
Informationsinhalts geführt wurde, durchgeführt und anhand der Gesprächsanalyse und der erfassten Erkennungsdaten des während oder vor dem Gespräch ausgegebenen
Informationsinhalts wird ermittelt, ob der ausgegebene Informationsinhalt von einem Insassen des Fahrzeugs wahrgenommen wurde. Auf diese Weise kann noch genauer anhand eines Informationsinhalts, welcher von dem Objekt ausgegeben wurde, festgestellt werden, ob das Objekt wahrgenommen wurde.
Das Zeitintervall nach der Ausgabe des Informationsinhalts kann beispielsweise einen Zeitraum von bis zu 30 Minuten nach Beendigung der Ausgabe des Informationsinhalts umfassen. Das Zeitintervall umfasst insbesondere einen Zeitraum von 20 Minuten, bevorzugt 10 Minuten oder 2 Minuten, nach Beendigung der Ausgabe des Informationsinhalts.
Bei dem Informationsinhalt handelt es sich um jegliche Form von Information, welche von einem Fahrzeuginsassen wahrgenommen werden kann. Bei dem Informationsinhalt handelt es sich insbesondere um einen Werbeinhalt. Es wird somit Werbung ausgegeben, deren Inhalt von einem Insassen des Fahrzeugs wahrgenommen werden kann. Bei dieser Ausgestaltung des erfindungsgemäßen Verfahrens wird der Fahrzeuginsasse dahingehend überwacht, ob er den Werbeinhalt wahrgenommen hat. Hierfür wird der Inhalt eines Gesprächs zwischen Insassen des Fahrzeugs analysiert. Anhand dieser Gesprächsanalyse kann ein Zusammenhang mit den Erkennungsdaten des zugeordneten Informationsinhalts hergestellt werden. Besteht ein solcher Zusammenhang, wird geschlossen, dass der Informationsinhalt von einem Fahrzeuginsassen wahrgenommen wurde. Durch die Gesprächsanalyse wird erreicht, dass sehr zuverlässig auf die Wahrnehmung eines Informationsinhalts und damit auf die Wahrnehmung des Objekts, welches diesen Informationsinhalt ausgegeben hat, geschlossen werden kann. Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens werden die Erkennungsdaten dadurch gewonnen, dass der ausgegebene Informationsinhalt analysiert wird. Beispielsweise kann eine visuelle Ausgabe des Informationsinhalts durch eine Kamera erfasst werden, die das Umfeld des Fahrzeugs aufnimmt. Die von einer Kamera erfassten Daten können dann analysiert werden, um Erkennungsdaten für den Informationsinhalt zu gewinnen. Bei dieser Ausgestaltung können die Erkennungsdaten vorteilhafterweise allein durch Einrichtungen des Fahrzeugs gewonnen werden, ohne dass es erforderlich ist, auf fahrzeugexterne Einrichtungen zuzugreifen.
Gemäß einer anderen Ausgestaltung des erfindungsgemäßen Verfahrens werden von dem Datenspeicher Erkennungsdaten zu ausgegebenen Informationsinhalten des ermittelten Objekts in der Umgebung des Fahrzeugs an das Fahrzeug übertragen. Bei dieser
Ausgestaltung des Verfahrens ist es zwar erforderlich, auf fahrzeugexterne Einrichtungen zuzugreifen. In diesem Fall können die Erkennungsdaten jedoch zuverlässig und
gegebenenfalls auf vorbestimmte Weise gewonnen werden, da in dem Datenspeicher Daten gespeichert sein können, die angeben, welche Informationsinhalte zu welcher Zeit über das ermittelte Objekt ausgegeben werden.
Die Erkennungsdaten können beispielsweise Schlüsselwörter des ausgegebenen
Informationsinhalts umfassen. Hierdurch wird vorteilhafterweise erreicht, dass eine besonders zuverlässige Gesprächsanalyse durchgeführt werden kann.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird bei der Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des
Informationsinhalts geführt wurde, ermittelt, ob es eine Übereinstimmung gibt zwischen zumindest einer Teilmenge der zu dem Informationsinhalt gehörigen Schlüsselwörtern und Wörtern des Gesprächs. Wenn in dem Gespräch Wörter Vorkommen, die Schlüsselwörtern des Informationsinhalts entsprechen, kann vorteilhafterweise sehr zuverlässig darauf geschlossen werden, dass der Gesprächsinhalt in einer Beziehung zu dem ausgegebenen Informationsinhalt steht. Bei den Schlüsselwörtern handelt es sich daher um möglichst spezielle oder selten vorkommende Wörter des Informationsinhalts, so dass bei der Gesprächsanalyse eine klare Abgrenzung zwischen einem allgemeinen Gespräch und einem Gespräch über den
ausgegebenen Informationsinhalt möglich ist. Auf diese Weise kann besonders zuverlässig verifiziert werden, ob der überwachte Insasse den ausgegebenen Informationsinhalt
wahrgenommen hat. Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird bei der Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des
Informationsinhalts geführt wurde, der Inhalt des Gesprächs ermittelt und bestimmt, wie die Reaktion zumindest eines Insassen auf den Informationsinhalt ist. Es kann beispielsweise analysiert werden, ob der Insasse positiv, neutral oder negativ auf den Informationsinhalt reagiert hat. Vorteilhafterweise kann bei dieser Ausgestaltung nicht nur ermittelt werden, ob die Ausgabe des Informationsinhalts wahrgenommen wurde, sondern auch wie die Reaktion auf den Informationsinhalt ist.
Gemäß einer Weiterbildung des erfindungsgemäßen Verfahrens wird die Stimmung des Insassen mittels einer Stimmungserfassungseinrichtung zu dem Zeitpunkt oder zu dem
Zeitintervall erfasst, zu dem das Objekt wahrgenommen wurde. Hierfür kann die
Stimmungserfassungseinrichtung beispielsweise mit einer Innenraumkamera und/oder einem Mikrofon gekoppelt sein. Auf diese Weise kann die Stimme, die Mimik und/oder die Gestik des Insassen von der Stimmungserfassungseinrichtung analysiert und klassifiziert und damit einer bestimmten Stimmung zugeordnet werden.
Des Weiteren können persönliche Merkmale des Insassen erfasst werden. Beispielsweise kann die Identität des Insassen, insbesondere des Fahrers des Fahrzeugs, anhand des
Fahrzeugschlüssels oder anhand einer Eingabe bei Fahrtantritt ermittelt werden.
Alternativ werden die persönlichen Merkmale des Insassen mittels einer
Insassenerfassungseinrichtung erfasst. Diese kann auf eine Innenraumkamera und/oder ein Mikrofon zugreifen. Auf diese Weise kann beispielsweise automatisch die Altersklasse und das Geschlecht des Insassen ermittelt werden. Diese Informationen können die weitere Auswertung der Daten zu den Wahrnehmungen von Objekten unterstützen.
Gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens wird von einer
fahrzeuginternen Analyseeinrichtung erfasst, welches Objekt in der Umgebung des Fahrzeugs von welchem Insassen wann wahrgenommen wurde. Außerdem kann von der fahrzeuginternen Analyseeinrichtung erfasst werden, welche Metadaten das wahrgenommene Objekt besitzt, wie lange das Objekt wahrgenommen wurde und/oder welche persönlichen Merkmale und/oder welche Stimmung der Insasse, welcher das Objekt wahrgenommen hat, hatte. Die von der Analyseeinrichtung erfassten Daten können dann an eine fahrzeugexterne Auswerteeinrichtung übertragen werden. Hierdurch ist es möglich, die Daten, welche bei der Überwachung des Fahrzeuginsassen gewonnen wurden, über eine fahrzeugexterne, insbesondere zentrale Auswerteeinrichtung auszuwerten, um Daten über die Wahrnehmung von Objekten zu gewinnen. Dabei kann die fahrzeugexterne Auswerteeinrichtung anhand der Daten einer Vielzahl von Fahrzeugen insbesondere ermitteln, wie ein zu Metadaten zugehöriger
Informationsinhalt wahrgenommen wird. Alternativ oder zusätzlich kann sie die Effektivität der Ausgabe des Informationsinhalts bestimmen.
Der Datenspeicher kann zumindest eine mittels einer Kommunikationsverbindung mit dem Kraftfahrzeug verbundene fahrzeugfremde Servereinrichtung und/oder ein Navigationssystem des Kraftfahrzeugs sein.
Die erfindungsgemäße Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs ist gekennzeichnet durch eine Schnittstelle für einen Zugriff auf einen Datenspeicher, in welchem Objekte und ihnen zugeordnete geographische Positionen gespeichert sind. Ferner ist die Vorrichtung gekennzeichnet durch eine Analyseeinrichtung, die ausgebildet ist, anhand der erfassten geographischen Position des Fahrzeugs zu ermitteln, ob sich eines der Objekte in der Umgebung des Fahrzeugs befindet, und ferner in Abhängigkeit von einer erfassten
Blickrichtung des Insassen, einer erfassten geographischen Position des Fahrzeugs und einer geographischen Position eines ermittelten Objekts in der Umgebung des Fahrzeugs zu ermitteln, ob das Objekt in der Umgebung des Fahrzeugs von dem Insassen wahrgenommen wurde.
Die Analyseeinrichtung ist insbesondere in dem Fahrzeug angeordnet. Der Datenspeicher ist hingegen insbesondere außerhalb des Fahrzeugs angeordnet. In diesem Fall ist die
Schnittstelle insbesondere eine drahtlose Kommunikationsschnittstelle für einen
Datenaustausch zwischen dem Datenspeicher und der Analyseeinrichtung.
Die erfindungsgemäße Vorrichtung ist insbesondere ausgebildet, das erfindungsgemäße Verfahren auszuführen. Sie weist somit auch dieselben Vorteile wie das erfindungsgemäße Verfahren auf.
Die Erfindung betrifft ferner ein System zur Analyse der Wahrnehmung von Objekten in einem Verkehrsraum. Das System umfasst eine Vielzahl von Fahrzeugen, welche jeweils die vorstehend beschriebene erfindungsgemäße Vorrichtung umfassen. Dabei umfassen die Fahrzeuge jeweils eine Analyseeinrichtung. Das System umfasst ferner eine fahrzeugexterne Auswerteeinrichtung, welche ausgebildet ist, mit den Schnittstellen der Fahrzeuge zu kommunizieren und von den Analyseeinrichtungen der Fahrzeuge Daten zu empfangen, die angeben, welche Objekte von den Insassen der Fahrzeuge wahrgenommen wurden. Mit dem erfindungsgemäßen System können vorteilhafterweise über einen langen Zeitraum Daten zur Wahrnehmung von Objekten durch Insassen der Fahrzeuge gewonnen werden, welche das Objekt passieren, welches beispielsweise am Straßenrand angeordnet ist.
Die Erfindung wird nun anhand von Ausführungsbeispielen mit Bezug zu den Zeichnungen erläutert.
Figur 1 veranschaulicht die Wahrnehmung eines Objekts durch einen Fahrzeuginsassen gemäß einem Ausführungsbeispiel des erfindungsgemäßen Verfahrens und
Figur 2 zeigt ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung.
Mit Bezug zur Figur 1 wird das Szenario erläutert, bei welchem das erfindungsgemäße
Verfahren eingesetzt wird:
Ein Fahrzeug 1 mit einem Insassen 2, beispielsweise dem Fahrer, fährt auf einer Fahrbahn 4 einer Straße. Neben der Straße ist ein Objekt 5 positioniert. Hierbei kann es sich beispielsweise um ein Werbeobjekt, wie eine Werbetafel, handeln. Das Objekt 5 besitzt eine bestimmte
Ausrichtung, so dass es aus einem bestimmten Betrachtungsbereich 6 von einer Person innerhalb dieses Betrachtungsbereichs 6 wahrgenommen werden kann. Der Insasse 2 des Fahrzeugs 1 , welches sich in dem Betrachtungsbereich 6 befindet, kann mit der Blickrichtung 3 in Richtung einer Fläche des Objekts 5 schauen, auf welcher ein Informationsinhalt dargestellt wird. Auf diese Weise kann der Insasse 2 das Objekt 5 sowie den von dem Objekt 5
dargestellten Informationsinhalt wahrnehmen. Bewegt sich das Fahrzeug 2 auf der Fahrbahn 4 an dem Objekt 5 vorbei, wird sich die Blickrichtung 3 des Insassen 2 so verändern, dass sie für eine bestimmte Dauer in Richtung des Objekts 5 gerichtet ist, wenn der Insasse 2 das Objekt bzw. den dargestellten Informationsinhalt wahrnimmt.
Mit Bezug zu Figur 2 wird ein Ausführungsbeispiel der erfindungsgemäßen Vorrichtung sowie des erfindungsgemäßen Verfahrens erläutert:
Das Fahrzeug 1 umfasst verschiedene Sensoren 7. Die Sensoren 7 umfassen beispielsweise eine Innenraumkamera 7-1 , ein Innenraummikrofon 7-2, eine Identifikationseinheit 7-3 und eine Positionserfassungseinrichtung 7-4. Die Sensoren 7 sind mit einer Blickerfassungseinrichtung 8, einer Stimmungserfassungseinrichtung 9 und einer Insassenerfassungseinrichtung 10 gekoppelt.
Mit der Blickerfassungseinrichtung 8 kann auf Basis der von den Sensoren 7 aufgenommenen Daten die Blickrichtung 3 eines Fahrzeuginsassen 2 relativ zum Bezugssystem des Fahrzeugs
I erfasst werden. Die Blickerfassungseinrichtung 8 kann somit ein Eye-Tracking-System umfassen. Es wird beispielsweise erfasst, wohin der Insasse 2 auf eine Fahrzeugscheibe, beispielsweise auf die Windschutzscheibe oder eine Seitenscheibe, blickt. Ferner kann die Position der Augen des Insassen 2 innerhalb des Fahrzeugs 1 ermittelt werden, woraus dann die Blickrichtung 3 berechnet werden kann.
Die Stimmungserfassungseinrichtung 9 kann anhand der von den Sensoren 7 übertragenen Daten die Stimmung des Insassen 2 zu einem bestimmten Zeitpunkt oder zu einem Zeitintervall erfassen. Beispielsweise kann die Mimik, Gestik und die Stimme des Insassen 2 analysiert und einer bestimmten Stimmungsklasse zugeordnet werden.
Die Insassenerfassungseinrichtung 10 kann anhand der von den Sensoren 7 erfassten Daten persönliche Merkmale des Insassen 2 erfassen. Zum einen kann die Identität des Insassen 2 direkt über die Identifikationseinheit 7-3, beispielsweise anhand eines dem Insassen 2 persönlich zugeordneten Schlüssels, ermittelt werden. Alternativ oder zusätzlich können die persönlichen Merkmale des Insassen 2 durch eine Bildanalyse und/oder Stimmanalyse ermittelt werden.
Die von der Blickerfassungseinrichtung 8 erfasste Blickrichtung 3 des Insassen 2, die von der Stimmungserfassungseinrichtung 9 erfasste Stimmung des Insassen 2 und die von der
Insassenerfassungseinrichtung 10 erfassten persönlichen Merkmale des Insassen 2 werden fortwährend oder innerhalb bestimmter Zeitintervalle an eine fahrzeuginterne
Analyseeinrichtung 11 übertragen. Von der Positionserfassungseinrichtung 7-4 wird außerdem die aktuelle geographische Position des Fahrzeugs 1 sowie die Pose, das heißt die räumliche Lage bzw. die Orientierung des Fahrzeugs 1 , erfasst und fortwährend an die Analyseeinrichtung
I I übertragen. Auf diese Weise kann die Analyseeinrichtung 1 1 die Geschwindigkeit und die Bewegungsrichtung des Fahrzeugs 1 ermitteln.
Die fahrzeuginterne Analyseeinrichtung 11 ist über die Kommunikationsschnittstelle 12, beispielsweise eine Datenverbindung über das Mobilfunknetz, mit einer
Objektermittlungseinrichtung 13 gekoppelt. Die Objektermittlungseinrichtung 13 greift wiederum auf einen Datenspeicher 15 zu. In dem Datenspeicher 15 sind Daten zu Objekten 5 gespeichert, die für die Überwachung des Insassen 2 relevant sind. Der Datenspeicher 15 speichert geographische Positionen, die den Objekten 5 zugeordnet sind. Des Weiteren sind die den Objekten zugeordneten Ausrichtungen in dem Datenspeicher gespeichert, wenn die Wahrnehmung des Objekts nur aus bestimmten Betrachtungsrichtungen möglich ist.
Beispielsweise kann es sich bei den Objekten 5 um Werbeobjekte, Objekte, die Informationen und Hinweise zeigen, oder andere Objekte 5 handeln, deren Wahrnehmung durch einen Insassen 2 von Interesse ist. Zu den Objekten 5 können außerdem Metadaten gespeichert sein. Hierzu zählen Daten zu dem Betrachtungsbereich 6, Daten zu einem von dem Objekt 5 gezeigten Informationsinhalt, insbesondere Werbeinhalt, und Zeitdaten, die gegebenenfalls angeben, welcher Informationsinhalt wann angezeigt wurde bzw. wird. Der Informationsinhalt kann auch Informationen zu einem beworbenen Produkt und einem beworbenen Unternehmen umfassen.
Die fahrzeuginterne Analyseeinrichtung 11 ist ferner über die drahtlose
Kommunikationsschnittstelle 12mit einer fahrzeugexternen Auswerteeinrichtung 14 verbunden.
Im Folgenden wird beschrieben, wie bei dem erfindungsgemäßen Verfahren der Insasse 2 des Fahrzeugs 1 überwacht wird, wobei die Ausbildungen der verschiedenen Einrichtungen der erfindungsgemäßen Vorrichtung weiter erläutert werden:
Die geographische Position des Fahrzeugs 1 wird fortwährend von der
Positionserfassungseinrichtung 7-4 erfasst. Mittels der fahrzeuginternen Analyseeinrichtung 1 1 wird die Position des Fahrzeugs 1 fortwährend über die Kommunikationsschnittstelle 12 an die Objektermittlungseinrichtung 13 übertragen. Durch Zugriff auf den Datenspeicher 15 ermittelt die Objektermittlungseinrichtung 13 in Abhängigkeit von der von der Analyseeinrichtung 11 übertragenen geographischen Position des Fahrzeugs 1 diejenigen Objekte 5, welche sich in der Umgebung des Fahrzeugs 1 befinden. Beispielsweise kann die
Objektermittlungseinrichtung 13 bestimmen, ob sich das Fahrzeug 1 innerhalb des
Betrachtungsbereichs 6 eines Objekts 5 befindet. Die Objekterfassungseinrichtung 13 überträgt dann Daten zu den Objekten 5 in der Umgebung des Fahrzeugs 1 zurück an die
Analyseeinrichtung 11. Zu diesen Daten zählen die geographische Position und die Ausrichtung des Objekts 5. Ferner können die Daten einen Zeitstempel und alle oder eine Teilmenge der vorstehend genannten Metadaten des Objekts 5 umfassen. Des Weiteren wird fortwährend die Blickrichtung 3 des Insassen 2 erfasst. Wird die Blickrichtung 3 relativ zum Bezugssystem des Fahrzeugs 1 erfasst, berechnet die
Analyseeinrichtung 11 unter Berücksichtigung der Bewegung des Fahrzeugs 1 fortwährend die Blickrichtung 3 des Insassen 2 im Bezugssystem der Fahrbahn 4, in welchem sich das Objekt 5 befindet. In diesem Bezugssystem ist es insbesondere unbewegt. Die Analyseeinrichtung 1 1 bestimmt dann in Abhängigkeit von der erfassten aktuellen Blickrichtung 3 des Insassen 2, der erfassten aktuellen geographischen Position des Fahrzeugs 1 und der geographischen Position und Ausrichtung des Objekts 5 in der Umgebung des Fahrzeugs 1 , ob das Objekt 5 in der Umgebung des Fahrzeugs 1 vom Insassen 2 wahrgenommen wurde. Wenn ein Objekt 5 nur bei einer bestimmten Ausrichtung relativ zu einem Betrachter wahrgenommen werden kann, wird außerdem die Ausrichtung des ermittelten Objekts 5 in der Umgebung des Fahrzeugs 1 bei der Ermittlung berücksichtigt, ob das Objekt 5 in der Umgebung des Fahrzeugs 1 vom Insassen 2 wahrgenommen wurde. Eine solche Ausrichtung ist beispielsweise bei einem flächigen Objekt 5 zu berücksichtigen, wenn das Objekt 5 nur dann als wahrgenommen gekennzeichnet werden soll, wenn es aus einer bestimmten Betrachtungsrichtung wahrgenommen wurde, das heißt, wenn beispielsweise eine Fläche mit dargestellten Informationen wahrgenommen wurde und nicht nur das Objekt selbst.
Außerdem erfasst die Analyseeinrichtung 11 zu welchem Zeitpunkt und wie lange das Objekt 5 vom Insassen 2 wahrgenommen wurde. Diese Informationen werden in einem internen
Speicher der Analyseeinrichtung 11 gespeichert. Im Zusammenhang damit wird außerdem die erfasste Stimmung des Insassen 2, während dieser das Objekt 5 wahrgenommen hat, sowie die persönlichen Merkmale des Insassen 2 abgespeichert.
Während das Fahrzeug 1 die Straßen des Verkehrsraums befährt, werden immer wieder, wenn das Fahrzeug 1 ein Objekt 5 passiert, die genannten Informationen in dem internen Speicher der Analyseeinrichtung 11 gespeichert. Diese gespeicherten Informationen können dann über die Kommunikationsschnittstelle 12 oder auf andere Weise an die fahrzeugexterne
Auswerteeinrichtung 14 übertragen werden, welche auf diese Weise die Daten, die bei der Überwachung des Insassen 2 des Fahrzeugs 1 gewonnen wurden, weiter ausgewertet werden können.
Im Folgenden wird ein Weiterbildung des vorstehend beschriebenen Ausführungsbeispiels erläutert, wobei auch mögliche weitere Ausbildungen der verschiedenen Einrichtungen der erfindungsgemäßen Vorrichtung weiter erläutert werden: Bei dieser Weiterbildung wird ein Informationsinhalt von dem Objekt 5 angezeigt. Es kann sich dabei um eine stationäre Anzeige oder um eine wechselnde Anzeige handeln. Von der
Analyseeinrichtung 11 wird ermittelt, ob von dem ermittelten Objekt 5 ein Informationsinhalt ausgegeben wird.
Bei dem Informationsinhalt handelt es sich insbesondere um einen Werbeinhalt. Dem
Informationsinhalt sind Erkennungsdaten und ggf. Metadaten zugeordnet. Die Erkennungsdaten sind Schlüsselwörter, die in einer Beziehung zu dem Informationsinhalt stehen. Bei den Schlüsselwörtern kann es sich um Wörter handeln, welche visuell bei der Ausgabe des
Informationsinhalts angezeigt werden. Die Erkennungsdaten, insbesondere die
Schlüsselwörter, können jedoch auch auf andere Weise in einem Zusammenhang mit dem Informationsinhalt stehen. Es ist nicht zwingend erforderlich, dass die Schlüsselwörter angezeigt ausgegeben wurden. Die Erkennungsdaten stehen in einem solchen Zusammenhang zu dem Informationsinhalt, dass anhand der Erkennungsdaten ermittelt werden kann, ob ein Nutzer die Ausgabe des Informationsinhalts wahrgenommen hat. Beispielsweise können die Erkennungsdaten auch Schlüsselwörter enthalten, die in einem übertragenen Sinn in einem Zusammenhang mit dem Informationsinhalt stehen. Beispielsweise können es Schlüsselwörter sein, die bei einem Gespräch über den Informationsinhalt mit hoher Wahrscheinlichkeit ausgesprochen werden, ohne dass die Schlüsselwörter selbst in dem Informationsinhalt Vorkommen. Die Schlüsselwörter werden bei insbesondere so gewählt, dass die
Auftretenshäufigkeit dieser Wörter so gering wie möglich ist, so dass die Schlüsselwörter mit geringer Wahrscheinlichkeit in einem anderen Zusammenhang genannt werden.
Wenn die Analyseeinrichtung 1 1 ermittelt hat, dass von einem Objekt 5 ein Informationsinhalt ausgegeben wird, erfasst sie Erkennungsdaten zu ausgegebenen Informationsinhalten.
Beispielsweise kann die Analyseeinrichtung 1 1 die Erkennungsdaten dadurch gewinnen, dass von dem Datenspeicher 15 Erkennungsdaten zu ausgegebenen Informationsinhalten des ermittelten Objekts 5 in der Umgebung des Fahrzeugs 1 an die Analyseeinrichtung 1 1 übertragen werden. In dem Datenspeicher 15 kann hierfür nicht nur gespeichert sein, zu welcher Zeit welcher Informationsinhalt von welchem Objekt 5 angezeigt wird, sondern zusätzlich auch die jeweils zugeordneten Erkennungsdaten.
Alternativ erfasst die Analyseeinrichtung 11 Erkennungsdaten zu ausgegebenen
Informationsinhalten, indem sie die von den Sensoren 7 übertragenen Daten auswertet.
Beispielsweise kann sie anhand der von der Innenraumkamera 7-1 aufgenommenen Bilder, dargestellten Text extrahieren und daraus Erkennungsdaten, insbesondere Schlüsselwörter, generieren.
Die Analyseeinrichtung 12 empfängt ferner Aufnahmen des Innenraummikrofons 7-2. Sie ist ausgebildet, ein während der Ausgabe eines Informationsinhalts oder für ein Zeitintervall nach der Ausgabe eines Informationsinhalts erfasstes Gespräch zu analysieren. Die
Analyseeinrichtung 12 ermittelt anhand dieser Gesprächsanalyse und den erfassten
Erkennungsdaten des während oder vor dem Gespräch ausgegebenen Informationsinhalts, ob der ausgegebenen Informationsinhalt von einem Insassen des Fahrzeugs 1 wahrgenommen wurde. Die Analyseeinrichtung 12 extrahiert dabei insbesondere Wörter des erfassten
Gesprächs während oder in einem Zeitintervall nach der Informationsausgabe und vergleicht diese extrahierten Wörter mit Schlüsselwörtern der Erkennungsdaten. Wird ein gewisses Maß an Übereinstimmung ermittelt, kann die Analyseeinrichtung 12 verifizieren, dass ein Insasse 2 das Objekt 5, welches den Informationsinhalt ausgegeben hat, wahrgenommen hat.
Bei dem erfindungsgemäßen System zur Analyse der Wahrnehmung von Objekten 5 in einem Verkehrsraum sind eine Vielzahl von Fahrzeugen 1 mit der vorstehend beschriebenen erfindungsgemäßen Vorrichtung ausgestattet. Die Fahrzeuge 1 überwachen einen oder mehrere Insassen 2 des jeweiligen Fahrzeugs 1 im Hinblick auf die Wahrnehmung von
Objekten 5. In der jeweiligen Analyseeinrichtung 11 eines Fahrzeugs 1 wird erfasst, welches Objekt 5 zu welchem Zeitpunkt von welchem Insassen 2 wahrgenommen wurde. Ferner können die genannten Metadaten zu der Wahrnehmung des Objekts 5 erfasst werden. Die von den Analyseeinrichtungen 11 erfassten Daten werden an die fahrzeugexterne Auswerteeinrichtung 14 übertragen, so dass diese umfassend auswerten kann, wie ein bestimmtes Objekt wahrgenommen wurde.
Die fahrzeugexterne Auswerteeinrichtung ermittelt anhand der Daten einer Vielzahl von Fahrzeugen, wie ein zu Metadaten zugehöriger Informationsinhalt wahrgenommen wird. Bezugszeichenliste Fahrzeug
Insasse
Blickrichtung
Fahrbahn
Objekt
Betrachtungsbereich
Sensoren
-1 Innenraumkamera
-2 Innenraummikrofon
-3 Identifikationseinheit
-4 Positionserfassungseinrichtung
Blickerfassungseinrichtung
Stimmungserfassungseinrichtung
0 Insassenerfassungseinrichtung
1 fahrzeuginterne Analyseeinrichtung
2 Kommunikationsschnittstellen
3 Objektermittlungseinrichtung
4 Auswerteeinrichtung
5 Datenspeicher

Claims

Patentansprüche
1. Verfahren zum Überwachen eines Insassen (2) eines Fahrzeugs (1 ), bei dem
die geographische Position des Fahrzeugs (1 ) erfasst wird und
eine Blickrichtung (3) des Insassen (2) mittels einer Blickerfassungseinrichtung (8) erfasst wird,
dadurch gekennzeichnet, dass
auf einen Datenspeicher (15) zugegriffen wird, in welchem Objekte (5) und ihnen zugeordnete geographische Positionen gespeichert sind, und an Hand der erfassten geographischen Position des Fahrzeugs (1 ) ermittelt wird, ob sich eines der Objekte (5) in der Umgebung des Fahrzeugs (1 ) befindet, und
in Abhängigkeit von der erfassten Blickrichtung (3) des Insassen (2), der erfassten geographischen Position des Fahrzeugs (1 ) und der geographischen Position des ermittelten Objekts (5) in der Umgebung des Fahrzeugs (1 ) ermittelt wird, ob das Objekt (5) in der Umgebung des Fahrzeugs (1 ) vom Insassen (2) wahrgenommen wurde.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass
in dem Datenspeicher (15) außerdem die Ausrichtungen der gespeicherten Objekte (5) gespeichert sind und
in Abhängigkeit von der erfassten Blickrichtung (3) des Insassen (2), der erfassten geographischen Position des Fahrzeugs (1 ) und der geographischen Position und
Ausrichtung des ermittelten Objekts (5) in der Umgebung des Fahrzeugs (1 ) ermittelt wird, ob das Objekt (5) in der Umgebung des Fahrzeugs (1 ) vom Insassen (2) wahrgenommen wurde.
3. Verfahren nach Anspruch 2,
dadurch gekennzeichnet, dass
in Abhängigkeit von der geographischen Position und Ausrichtung des Objekts (5) dem Objekt (5) ein Betrachtungsbereich (6) zugeordnet wird,
in Abhängigkeit von der geographischen Position des Fahrzeugs (1 ) ermittelt wird, ob sich das Fahrzeug (1 ) innerhalb des Betrachtungsbereichs (6) befindet, und, wenn sich das Fahrzeug (1 ) innerhalb des Betrachtungsbereichs (6) befindet, anhand der erfassten Blickrichtung (3) des Insassen (2) ermittelt wird, ob das Objekt (5) in der Umgebung des Fahrzeugs (1 ) vom Insassen (2) wahrgenommen wurde.
4. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Ausrichtung des Fahrzeugs (1 ) bestimmt wird,
die Blickrichtung (3) des Insassen (2) dadurch erfasst wird, dass mittels der
Blickerfassungseinrichtung (8) die Blickrichtung (3) des Insassen (2) relativ zur
Ausrichtung des Fahrzeugs (1 ) bestimmt wird und
die Blickrichtung (3) des Insassen (2) relativ zur Umgebung des Fahrzeugs (1 ) anhand der Ausrichtung des Fahrzeugs (1 ) und der Blickrichtung (3) des Insassen (2) relativ zur Ausrichtung des Fahrzeugs (1 ) bestimmt wird.
5. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
in Abhängigkeit von der erfassten Blickrichtung (3) eines Insassen (2) und in Abhängigkeit von der zeitlichen Veränderung der erfassten geographischen Position des Fahrzeugs (1 ) ermittelt wird, wie lange das Objekt (5) in der Umgebung des Fahrzeugs (1 ) vom Insassen (2) wahrgenommen wurde, und
in Abhängigkeit vom Ergebnis dieser Ermittlung der Dauer der Wahrnehmung des Objekts (5) das Objekt (5) als wahrgenommen gekennzeichnet wird.
6. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
Metadaten eines wahrgenommenen Objekts (5) ermittelt werden und/oder persönliche Merkmale des Insassen (2) erfasst werden.
7. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
ermittelt wird, ob von dem ermittelten Objekt (5) ein Informationsinhalt ausgegeben wird,
Erkennungsdaten zu dem ausgegebenen Informationsinhalt erfasst werden, zumindest während oder für ein Zeitintervall nach der Ausgabe des
Informationsinhalts mittels eines Mikrofons (7-1 ) im Innenraum des Fahrzeugs (1 ) ein Gespräch zwischen Insassen (2) des Fahrzeugs (1 ) erfasst wird, eine Analyse des erfassten Gesprächs, das während oder für ein Zeitintervall nach der Ausgabe des Informationsinhalts geführt wurde, durchgeführt wird und
anhand der Gesprächsanalyse und den erfassten Erkennungsdaten des während oder vor dem Gespräch ausgegebenen Informationsinhalts ermittelt wird, ob der ausgegebene Informationsinhalt von einem Insassen des Fahrzeugs (1 ) wahrgenommen wurde.
8. Verfahren nach Anspruch 7,
dadurch gekennzeichnet, dass
von dem Datenspeicher (15) Erkennungsdaten zu ausgegebenen
Informationsinhalten des ermittelten Objekts (5) in der Umgebung des Fahrzeugs (1 ) an das Fahrzeug (1 ) übertragen werden.
9. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
die Stimmung des Insassen (2) mittels einer Stimmungserfassungseinrichtung (9) zu dem Zeitpunkt oder zu dem Zeitintervall erfasst wird, zu dem das Objekt (5)
wahrgenommen wurde.
10. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
persönliche Merkmale des Insassen (2) erfasst werden.
1 1. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass
von einer fahrzeuginternen Analyseeinrichtung (11 ) erfasst wird, welches Objekt (5) in der Umgebung des Fahrzeugs (2) von welchem Insassen (2) wann wahrgenommen wurde.
12. Verfahren nach Anspruch 1 1 ,
dadurch gekennzeichnet, dass
von der fahrzeuginternen Analyseeinrichtung (11 ) ferner erfasst wird, welche Metadaten das wahrgenommene Objekt (5) besitzt, wie lange das Objekt (5)
wahrgenommen wurde und/oder welche persönlichen Merkmale und/oder welche
Stimmung der Insasse (2), welcher das Objekt (5) wahrgenommen hat, hatte.
13. Verfahren nach Anspruch 1 1 oder 12,
dadurch gekennzeichnet, dass
die von der Analyseeinrichtung (1 1 ) erfassten Daten an eine fahrzeugexterne
Auswerteeinrichtung (14) übertragen werden und insbesondere die fahrzeugexterne Auswerteeinrichtung (14) die übertragenen Daten von einer Vielzahl von Fahrzeugen empfängt und ermittelt, wie ein zu Metadaten zugehöriger Informationsgehalt
wahrgenommen wird, und/oder die Effektivität der Ausgabe des Informationsinhalts bestimmt.
14. Vorrichtung zum Überwachen eines Insassen (2) eines Fahrzeugs (1 ), wobei die
Vorrichtung aufweist:
eine Positionserfassungseinrichtung (7-4) zum Erfassen der geographischen Position des Fahrzeugs (1 ) und
eine Blickerfassungseinrichtung (8) zum Erfassen einer Blickrichtung (3) des Insassen (2),
gekennzeichnet durch
eine Schnittstelle (12) für einen Zugriff auf einen Datenspeicher (15), in welchem Objekte (5) und ihnen zugeordnete geographische Positionen gespeichert sind, und
eine Analyseeinrichtung (11 ), die ausgebildet ist, an Hand der erfassten geographischen Position des Fahrzeugs (1 ) zu ermitteln, ob sich eines der Objekte (5) in der Umgebung des Fahrzeugs (1 ) befindet, und ferner in Abhängigkeit von einer erfassten Blickrichtung (3) des Insassen (2), einer erfassten geographischen Position des
Fahrzeugs (1 ) und einer geographischen Position eines ermittelten Objekts (5) in der Umgebung des Fahrzeugs (1 ) zu ermitteln, ob das Objekt (5) in der Umgebung des Fahrzeugs (1 ) von dem Insassen (2) wahrgenommen wurde.
15. System zur Analyse der Wahrnehmung von Objekten (5) in einem Verkehrsraum, wobei das System umfasst:
eine Vielzahl von Fahrzeugen (1 ), welche jeweils eine Vorrichtung nach Anspruch 14 umfassen, wobei die Fahrzeuge (1 ) jeweils die Analyseeinrichtung (1 1 ) umfassen, und eine fahrzeugexterne Auswerteeinrichtung (14), welche ausgebildet ist, mit den Schnittstellen (12) der Fahrzeuge zu kommunizieren und von den Analyseeinrichtungen (11 ) der Fahrzeuge (1 ) Daten zu empfangen, die angeben, welche Objekte (5) von den Insassen (2) der Fahrzeuge (1 ) wahrgenommen wurden.
EP19816228.1A 2018-12-21 2019-11-27 Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs sowie system zur analyse der wahrnehmung von objekten Pending EP3899851A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018133445.1A DE102018133445A1 (de) 2018-12-21 2018-12-21 Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs sowie System zur Analyse der Wahrnehmung von Objekten
PCT/EP2019/082818 WO2020126375A1 (de) 2018-12-21 2019-11-27 Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs sowie system zur analyse der wahrnehmung von objekten

Publications (1)

Publication Number Publication Date
EP3899851A1 true EP3899851A1 (de) 2021-10-27

Family

ID=68806720

Family Applications (1)

Application Number Title Priority Date Filing Date
EP19816228.1A Pending EP3899851A1 (de) 2018-12-21 2019-11-27 Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs sowie system zur analyse der wahrnehmung von objekten

Country Status (6)

Country Link
US (1) US12026961B2 (de)
EP (1) EP3899851A1 (de)
KR (1) KR102663092B1 (de)
CN (1) CN113168643A (de)
DE (1) DE102018133445A1 (de)
WO (1) WO2020126375A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018133445A1 (de) 2018-12-21 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs sowie System zur Analyse der Wahrnehmung von Objekten
US12100228B2 (en) * 2019-04-24 2024-09-24 Mitsubishi Electric Corporation Travel environment analysis apparatus, travel environment analysis system, and travel environment analysis method
US11704698B1 (en) * 2022-03-29 2023-07-18 Woven By Toyota, Inc. Vehicle advertising system and method of using

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120066007A1 (en) * 2010-09-14 2012-03-15 Ferrick David P System and Method for Tracking and Sharing Driving Metrics with a Plurality of Insurance Carriers
DE102013223680A1 (de) * 2013-11-20 2015-05-21 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10033333A1 (de) 2000-07-01 2002-01-17 Berndt Gmbh & Co Kg Verfahren zur Ermittlung einer Kenngröße für einen Werbewert
DE102004020878A1 (de) 2004-04-28 2005-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Informationswiedergabe
US20070205963A1 (en) * 2006-03-03 2007-09-06 Piccionelli Gregory A Heads-up billboard
US9047256B2 (en) * 2009-12-30 2015-06-02 Iheartmedia Management Services, Inc. System and method for monitoring audience in response to signage
US20120143693A1 (en) 2010-12-02 2012-06-07 Microsoft Corporation Targeting Advertisements Based on Emotion
DE102012213466A1 (de) 2012-07-31 2014-02-06 Robert Bosch Gmbh Verfahren und Vorrichtung zum Überwachen eines Fahrzeuginsassens
DE102012219280A1 (de) 2012-10-23 2014-04-24 Robert Bosch Gmbh Fahrerassistenzsystem und Verfahren
US20140214933A1 (en) 2013-01-28 2014-07-31 Ford Global Technologies, Llc Method and Apparatus for Vehicular Social Networking
US20140278910A1 (en) 2013-03-15 2014-09-18 Ford Global Technologies, Llc Method and apparatus for subjective advertisment effectiveness analysis
US20140278933A1 (en) 2013-03-15 2014-09-18 F. Gavin McMillan Methods and apparatus to measure audience engagement with media
US20140379456A1 (en) 2013-06-24 2014-12-25 United Video Properties, Inc. Methods and systems for determining impact of an advertisement
DE102014109079A1 (de) * 2013-06-28 2014-12-31 Harman International Industries, Inc. Vorrichtung und verfahren zur erfassung des interesses eines fahrers an einer werbeanzeige durch die verfolgung der blickrichtung des fahrers
US20150142552A1 (en) 2013-11-21 2015-05-21 At&T Intellectual Property I, L.P. Sending Information Associated with a Targeted Advertisement to a Mobile Device Based on Viewer Reaction to the Targeted Advertisement
US20150310451A1 (en) 2014-04-29 2015-10-29 Ford Global Technologies, Llc Vehicle driver tracking and reporting
US9607515B2 (en) * 2014-12-22 2017-03-28 Intel Corporation System and method for interacting with digital signage
US9852355B2 (en) 2015-04-21 2017-12-26 Thales Avionics, Inc. Facial analysis for vehicle entertainment system metrics
CN107924523A (zh) 2015-09-04 2018-04-17 罗伯特·博世有限公司 通过感测车辆乘员的人口统计信息来选择性地显示广告的广告牌显示器和方法
JP2017123029A (ja) * 2016-01-06 2017-07-13 富士通株式会社 情報通知装置、情報通知方法及び情報通知プログラム
JP6694112B2 (ja) * 2017-03-17 2020-05-13 マクセル株式会社 Ａｒ表示装置及びａｒ表示方法
US10083547B1 (en) * 2017-05-23 2018-09-25 Toyota Jidosha Kabushiki Kaisha Traffic situation awareness for an autonomous vehicle
DE102017215901A1 (de) 2017-09-08 2019-03-14 Audi Ag Assistenzsystem für ein Fahrzeug
DE102018133445A1 (de) 2018-12-21 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs sowie System zur Analyse der Wahrnehmung von Objekten

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120066007A1 (en) * 2010-09-14 2012-03-15 Ferrick David P System and Method for Tracking and Sharing Driving Metrics with a Plurality of Insurance Carriers
DE102013223680A1 (de) * 2013-11-20 2015-05-21 Bayerische Motoren Werke Aktiengesellschaft Kraftfahrzeug

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of WO2020126375A1 *

Also Published As

Publication number Publication date
KR20210100731A (ko) 2021-08-17
DE102018133445A1 (de) 2020-06-25
US20220019824A1 (en) 2022-01-20
CN113168643A (zh) 2021-07-23
US12026961B2 (en) 2024-07-02
KR102663092B1 (ko) 2024-05-03
WO2020126375A1 (de) 2020-06-25

Similar Documents

Publication Publication Date Title
DE102012213466A1 (de) Verfahren und Vorrichtung zum Überwachen eines Fahrzeuginsassens
DE102014207398B4 (de) Objektassoziation zur kontaktanalogen Anzeige auf einem HMD
DE102013222322A1 (de) Verfahren und Gerät für das Bereitstellen von Augmented Reality bzw. erweiterter Realität
DE102016014712B4 (de) Fahrzeug und Verfahren zur Ausgabe von Informationen an eine Fahrzeugumgebung
DE102017111468A1 (de) Fahrzeugsystem und Verfahren zum Bestimmen, ob ein Fahrzeuginsasse ein fahrzeugexternes Objekt wahrgenommen hat
EP3899851A1 (de) Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs sowie system zur analyse der wahrnehmung von objekten
EP2813999B1 (de) Augmented-Reality-System und Verfahren zum Erzeugen und Anzeigen von Augmented-Reality-Objektdarstellungen für ein Fahrzeug
DE102020004792A1 (de) Verfahren und Vorrichtung zur Erkennung und Meldung von Parkunfällen für Fahrzeuge
DE102015119704A1 (de) Alarmsystem für Hindernisse und ein Verfahren für den Betrieb desselben
DE102017215161A1 (de) Verfahren und Vorrichtung zur Anwahl von einem Umgebungsobjekt im Umfeld eines Fahrzeugs
DE102018204941A1 (de) Verfahren, Vorrichtung und computerlesbares Speichermedium mit Instruktionen zum Bereitstellen von Inhalten zur Anzeige für einen Insassen eines Kraftfahrzeugs
DE102021130155B4 (de) Verfahren und System zum Bereitstellen einer in einem Kraftfahrzeug angefragten Information zu einem Objekt in der Umgebung des Kraftfahrzeugs
DE102017209370B4 (de) Verfahren zur Ermittlung einer Überholinformation
EP2888623B1 (de) Betreiben eines head-up-displays eines fahrzeugs und bildermittlungssystem für das head-up-display
DE102018210852A1 (de) Verfahren zum Ermitteln von rechtswidrigem Fahrverhalten durch ein Fahrzeug
DE102019001092A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems, sowie elektronische Recheneinrichtung, Computerprogrammprodukt und Datenträger
DE102021200027B4 (de) Verfahren zum Betreiben eines Assistenzsystems eines Kraftfahrzeugs, Computerprogrammprodukt sowie Assistenzsystem
DE112022003908T5 (de) Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, servervorrichtung, fahrzeugvorrichtung und informationsverarbeitungsprogramm
WO2022058143A1 (de) Verfahren und vorrichtung zur bereitstellung von information in einem fahrzeug
EP3899852A1 (de) Verfahren und vorrichtung zum überwachen eines insassen eines fahrzeugs
DE102023003828A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems und Fahrzeug
DE102018117015A1 (de) Verfahren zum Detektieren eines Interesses eines Benutzers eines Kraftfahrzeugs an einem Gegenstand, Detektionssystem und Kraftfahrzeug
DE102018128636A1 (de) Verfahren zum Bereitstellen einer visuellen Information über zumindest einen Teil einer Umgebung, Computerprogrammprodukt, mobiles Kommunikationsgerät und Kommunikationssystem
DE102016212185A1 (de) Verfahren zum Austausch und Anzeigen von standortbezogenen Informationen
DE102020203899A1 (de) Verfahren zum Bereitstellen von Umfelddaten eines Fahrzeugs und Verfahren zum Anfordern solcher Umfelddaten

Legal Events

Date Code Title Description
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: UNKNOWN

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE INTERNATIONAL PUBLICATION HAS BEEN MADE

PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: REQUEST FOR EXAMINATION WAS MADE

17P Request for examination filed

Effective date: 20210721

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

DAV Request for validation of the european patent (deleted)
DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20230320