DE102019133133A1 - Assistance system through which the output of at least one media content is controlled in a room, motor vehicle and operating method for the assistance system - Google Patents
Assistance system through which the output of at least one media content is controlled in a room, motor vehicle and operating method for the assistance system Download PDFInfo
- Publication number
- DE102019133133A1 DE102019133133A1 DE102019133133.1A DE102019133133A DE102019133133A1 DE 102019133133 A1 DE102019133133 A1 DE 102019133133A1 DE 102019133133 A DE102019133133 A DE 102019133133A DE 102019133133 A1 DE102019133133 A1 DE 102019133133A1
- Authority
- DE
- Germany
- Prior art keywords
- output
- data
- media content
- people
- relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011017 operating method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000011156 evaluation Methods 0.000 claims abstract description 17
- 230000003993 interaction Effects 0.000 claims description 14
- 230000008451 emotion Effects 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000008909 emotion recognition Effects 0.000 claims description 11
- 230000008447 perception Effects 0.000 claims description 8
- 230000008921 facial expression Effects 0.000 claims description 6
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 230000036651 mood Effects 0.000 claims description 4
- 230000002996 emotional effect Effects 0.000 claims description 3
- 230000001944 accentuation Effects 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 description 9
- 230000008901 benefit Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
Abstract
Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems (18), durch welches in einem Raum (11), in welchem sich mehrere Personen (12) aufhalten, die Ausgabe von zumindest einem Medieninhalt (21) auf zumindest einem Ausgabegerät (19) in Abhängigkeit von zumindest einem vorbestimmten Auslösesignal (22) gesteuert wird. Die Erfindung sieht vor, dass durch zumindest einen Sensor (13) jeweilige Sensordaten (14) erfasst werden, die eine jeweilige, von dem jeweiligen Sensor (13) erfasste Äußerung zumindest einer der Personen (12) beschreiben, und durch eine Prozessorschaltung (17) anhand der Sensordaten (14) mittels einer vorbestimmten Auswertevorschrift (35) für zumindest zwei der Personen jeweilige Verhältnisdaten (23), welche ein persönliches Verhältnis der beiden Personen (12) zueinander quantifizieren und/oder klassifizieren, ermittelt werden und beim Steuern des zumindest einen Ausgabegeräts (19) die durch das zumindest eine Auslösesignal (22) angeforderte Ausgabe des zumindest einen Medieninhalts (21) in Abhängigkeit von den Verhältnisdaten (23) der Personen (12) und einer verhältnisbezogenen Ausgaberegel (24) modifiziert wird.The invention relates to a method for operating an assistance system (18) by means of which, in a room (11) in which several people (12) are located, at least one media content (21) is output on at least one output device (19) is controlled by at least one predetermined trigger signal (22). The invention provides that respective sensor data (14) are recorded by at least one sensor (13), which describe a respective utterance recorded by the respective sensor (13) of at least one of the persons (12), and by a processor circuit (17) based on the sensor data (14) by means of a predetermined evaluation rule (35) for at least two of the people respective ratio data (23), which quantify and / or classify a personal relationship of the two people (12) to one another, are determined and when controlling the at least one output device (19) the output of the at least one media content (21) requested by the at least one trigger signal (22) is modified as a function of the ratio data (23) of the persons (12) and a ratio-related output rule (24).
Description
Die Erfindung betrifft ein Verfahren zum Betreiben eines Assistenzsystems. Dieses Assistenzsystem kann beispielsweise in einem Kraftfahrzeug bereitgestellt sein. Es kann einen Benutzer dabei unterstützen, die Ausgabe von Medieninhalten auf einem oder mehreren Ausgabegeräten zu steuern und hierbei beispielsweise den Komfort beim Konsum des jeweiligen Medieninhalts für den Benutzer optimieren. So kann beispielsweise eine eintreffende E-Mail-Nachricht über ein Text-to-Speech-Gerät automatisch vorgelesen werden. Zu der Erfindung gehört auch ein entsprechendes Assistenzsystem, das gemäß dem Verfahren betrieben werden kann. Schließlich gehört zu der Erfindung ein Kraftfahrzeug, das mit einem solchen Assistenzsystem ausgestattet ist.The invention relates to a method for operating an assistance system. This assistance system can be provided in a motor vehicle, for example. It can support a user in controlling the output of media content on one or more output devices and in doing so, for example, optimize the convenience for the user when consuming the respective media content. For example, an incoming e-mail message can be read out automatically via a text-to-speech device. The invention also includes a corresponding assistance system that can be operated according to the method. Finally, the invention includes a motor vehicle that is equipped with such an assistance system.
Ein beispielhaftes Assistenzsystem ist in der
Sind mehrere Benutzer in einem Raum anwesend, so müssen beim Ausgeben von Medieninhalten Konflikte zwischen den Vorlieben dieser Personen aufgelöst werden können.If several users are present in a room, it must be possible to resolve conflicts between the preferences of these people when outputting media content.
Aus der
Beispielsweise kann für einen Familienangehörigen das Durchstellen erfolgen, während für einen Arbeitskollegen das Durchstellen gesperrt werden kann. Hierzu müssen allerdings die Verwandtschaftsbeziehungen oder Freundschaftsbeziehungen in dem steuernden Assistenzsystem verfügbar gemacht werden.For example, the putting through can be done for a family member, while the putting through can be blocked for a work colleague. For this, however, the family relationships or friendship relationships must be made available in the controlling assistance system.
Aus der
Ein Assistenzsystem, das auf einem sozialen Graphen beruht, ist aufgrund der benötigten Dateneingabe sehr wartungsintensiv. Zudem werden damit nur eintreffende Nachrichten gefiltert, wie es beispielsweise bei Emailprogrammen schon mittels anderer Filter ohnehin möglich ist.An assistance system based on a social graph is very maintenance-intensive due to the data input required. In addition, only incoming messages are filtered, as is already possible with email programs using other filters, for example.
Der Erfindung liegt die Aufgabe zugrunde, ein Assistenzsystem für einen Raum zu betreiben, in welchem sich mehrere Personen aufhalten.The invention is based on the object of operating an assistance system for a room in which several people are present.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.The object is achieved by the subjects of the independent claims. Advantageous embodiments of the invention are described by the dependent claims, the following description and the figures.
Durch die Erfindung ist ein Verfahren bereitgestellt, um ein Assistenzsystem zu betreiben, durch welches in einem Raum, in welchem sich mehrere Personen aufhalten, die Ausgabe von zumindest einem Medieninhalt auf zumindest einem Ausgabegerät gesteuert wird. Diese Steuerung erfolgt in Abhängigkeit von zumindest einem vorbestimmten Auslösesignal. Der besagte Medieninhalt kann beispielsweise durch Videodaten und/oder Audiodaten und/oder Textdaten umfassen. Der Medieninhalt kann beispielsweise ein Video, z.B. einen Videoanruf, und/oder einen Audioinhalt, beispielsweise Musik oder einen Radioempfang, umfassen. Der Medieninhalt kann beispielsweise auch durch ein Telefonat gegeben sein, das in dem Raum empfangen werden soll. Der Medieninhalt kann auch durch Textdaten gegeben sein, die beispielsweise eine Nachricht, beispielsweise eine E-Mail oder eine Nachricht aus einem sozialen Netzwerk (beispielsweise Facebook®) enthalten kann. Als ein jeweiliges Auslösesignal zum Ausgeben des jeweiligen Medieninhalts kann beispielsweise eine Bedienung durch eine der Personen an einer Bedienhandlung, beispielsweise dem Drücken eines Knopfes oder dem Auswählen einer Schaltfläche auf einem Touchscreen, gegeben sein. Ein Auslösesignal kann zusätzlich oder alternativ beispielsweise durch einen eintreffenden Anruf erzeugt sein. Zusätzlich oder alternativ kann ein Wecker ein Auslösesignal bei Erreichen eines vorbestimmten Zeitpunkts erzeugen. Ein Auslösesignal kann zusätzlich oder alternativ situationsgesteuert erzeugt werden, wenn also durch beispielsweise zumindest einen Sensor in dem Raum oder in einem anderen Bereich eine vorbestimmte Situation anhand von zumindest einem Sensorsignal erkannt wird.The invention provides a method for operating an assistance system by means of which the output of at least one media content on at least one output device is controlled in a room in which several people are present. This control takes place as a function of at least one predetermined trigger signal. Said media content can for example comprise video data and / or audio data and / or text data. The media content may include, for example, video, e.g., a video call, and / or audio content, e.g., music or radio reception. The media content can also be given, for example, by a telephone call that is to be received in the room. The media content can also be given by text data, which can contain, for example, a message, for example an e-mail or a message from a social network (for example Facebook®). As a respective trigger signal for outputting the respective media content, for example, an operation by one of the people on an operating action, for example pressing a button or selecting a button on a touchscreen, can be given. A trigger signal can additionally or alternatively be generated, for example, by an incoming call. Additionally or alternatively, an alarm clock can generate a trigger signal when a predetermined point in time is reached. A trigger signal can additionally or alternatively be generated in a situation-controlled manner, that is to say if, for example, at least one sensor in the room or in another area recognizes a predetermined situation based on at least one sensor signal.
Da sich nun in der beschriebenen Weise mehrere Personen in dem Raum aufhalten, kann es bei Wiedergabe eines Medieninhalts dazu kommen, dass ein solcher Medieninhalt wiedergegeben wird, der in Konflikt mit dem jeweiligen Interesse oder der jeweiligen Präferenz zumindest einer der Personen steht. Ein solcher Konflikt kann beispielsweise darin bestehen, dass ein Medieninhalt wiedergegeben wird, der persönliche Informationen betreffend eine der Personen enthält (beispielsweise ein Medieninhalt in Form einer persönlichen E-Mail), von welchem diese Person wünscht oder die Präferenz hat, dass keine andere Person oder eine bestimmte andere Person diesen Medieninhalt nicht wahrnehmen oder lesen oder mitbekommen soll.Since several people are now in the room in the manner described, when media content is played back it can happen that media content is played that is in conflict with the respective interest or the respective preference of at least one of the people. Such a conflict can, for example, consist in the fact that media content is reproduced which contains personal information relating to one of the persons (for example media content in the form of a personal e-mail) from which this person wishes or has the preference that no other person or a certain other person should not perceive or read or be aware of this media content.
Um einen solchen möglichen Konflikt zu detektieren und zu vermeiden, ist durch das erfindungsgemäße Verfahren vorgesehen, dass durch zumindest einen Sensor jeweilige Sensordaten erfasst werden, die eine jeweilige Äußerung zumindest einer der Personen beschreiben. Eine solche Äußerung kann eine sprachliche Äußerung, also beispielsweise zumindest ein gesprochenes Wort, oder eine Lautäußerung (beispielsweise ein Räuspern) oder ein Gesichtsausdruck (beispielsweise ein Stirnrunzeln) oder eine Geste (beispielsweise das Antippen einer anderen Person mit der Hand) sein. Eine solche jeweilige Äußerung kann mittels des zumindest einen Sensors erfasst und durch Sensordaten des jeweiligen Sensors beschrieben sein.In order to detect and avoid such a possible conflict, the The method according to the invention provides that respective sensor data are recorded by at least one sensor which describe a respective utterance of at least one of the persons. Such an utterance can be a verbal utterance, for example at least a spoken word, or a phonetic utterance (for example clearing a throat) or a facial expression (for example a frown) or a gesture (for example tapping another person with your hand). Such a respective utterance can be recorded by means of the at least one sensor and described by sensor data of the respective sensor.
Durch eine Steuerschaltung oder Prozessorschaltung können die Sensordaten aus dem zumindest einen Sensor empfangen und durch die Prozessorschaltung können anhand der Sensordaten mittels einer vorbestimmten Auswertevorschrift für zumindest zwei der Personen jeweilige Verhältnisdaten ermittelt werden. Diese Verhältnisdaten beschreiben zu diesen jeweiligen zwei Personen ein persönliches Verhältnis der beiden Personen zueinander. Dieses persönliche Verhältnis kann quantifiziert und/oder klassifiziert werden. Durch Quantifizieren wird eine vorbestimmte Größe durch einen Wert beschrieben. Beispielsweise kann der Grad der Zuneigung als persönliches Verhältnis durch einen Wert angegeben sein, beispielsweise durch einen Wert von 0 bis 100. Durch Klassifizieren kann ein persönliches Verhältnis beispielsweise als Familiengrad oder allgemein als Klasse beschrieben sein, also beispielsweise ein persönliches Verhältnis, das angibt, dass eine Person die Tochter der anderen Person ist. Mögliche Klassen können sein: „Sohn/Tochter“, „Vater/Mutter“, „Verwandter“, „Freund“, „Fremder“, „Angestellter“, um nur Beispiele zu nennen.A control circuit or processor circuit can receive the sensor data from the at least one sensor, and the processor circuit can use the sensor data to determine respective ratio data for at least two of the people using a predetermined evaluation rule. These relationship data describe a personal relationship between the two people for each of these two people. This personal relationship can be quantified and / or classified. By quantifying, a predetermined variable is described by a value. For example, the degree of affection as a personal relationship can be specified by a value, for example by a value from 0 to 100. By classifying, a personal relationship can be described, for example, as a family degree or generally as a class, for example a personal relationship that indicates that one person is the other person's daughter. Possible classes can be: “Son / Daughter”, “Father / Mother”, “Relative”, “Friend”, “Stranger”, “Employee”, to name just a few examples.
Wird also durch die Sensordaten eine jeweilige Äußerung beschrieben, so kann durch eine Auswertevorschrift diese Äußerung einem persönlichen Verhältnis zuordnet werden. Wird beispielsweise mittels des zumindest einen Sensors durch die Sensordaten beschrieben, dass eine Person eine andere Person anspricht und hierbei die Äußerung „Mama“ benutzt, so kann durch die Auswertevorschrift der Begriff „Mama“ einem persönlichen Verhältnis „Mutter der Person“ zugeordnet werden und durch entsprechende Verhältnisdaten dieses signalisiert werden. Die Auswertevorschrift kann beispielsweise als eine Tabelle (Look-up-Tabelle) oder beispielsweise auf der Grundlage einer Methode des maschinellen Lernens, beispielsweise als künstliches neuronales Netzwerk, bereitgestellt sein. Durch die Verwendung eines künstlichen neuronalen Netzwerks ergibt sich der zusätzliche Vorteil, aus unterschiedlichen Sensoren stammende Sensordaten und/oder zeitlich nacheinander aus zu dem zumindest einen Sensor empfangene Sensordaten kombiniert werden können, um das persönliche Verhältnis zu ermitteln.If a respective utterance is described by the sensor data, then this utterance can be assigned to a personal relationship by means of an evaluation rule. For example, if the sensor data describes by means of the at least one sensor that a person speaks to another person and uses the expression “mom”, the evaluation rule can assign the term “mom” to a personal relationship “mother of the person” and through corresponding relationship data of this are signaled. The evaluation rule can be provided, for example, as a table (look-up table) or, for example, on the basis of a method of machine learning, for example as an artificial neural network. The use of an artificial neural network results in the additional advantage that sensor data originating from different sensors and / or temporally successively from sensor data received for the at least one sensor can be combined in order to determine the personal relationship.
Durch die besagte Prozessorschaltung wird dann beim Steuern des zumindest einen Ausgabegeräts die durch das jeweilige Auslösesignal angeforderte Ausgabe des zumindest einen Medieninhalts nun in Abhängigkeit von den Verhältnisdaten der Personen modifiziert. Fordert also ein Auslösesignal die Ausgabe eines Medieninhalts auf dem zumindest einen Ausgabegerät, so kann diese Ausgabe nun zusätzlich in Abhängigkeit von den Verhältnisdaten abgewandelt oder modifiziert werden. Beispielsweise kann die Ausgabe eines Medieninhalts auf ein solches Ausgabegerät umgelenkt werden, das ausschließlich von einer der Personen eingesehen oder genutzt werden kann, wenn anhand der Verhältnisdaten erkannt wird, dass keine der übrigen Personen den Medieninhalt ebenfalls wahrnehmen können soll.When controlling the at least one output device, the said processor circuit then modifies the output of the at least one media content requested by the respective trigger signal as a function of the relative data of the people. If a trigger signal requests the output of media content on the at least one output device, this output can now also be modified or modified as a function of the relationship data. For example, the output of media content can be diverted to such an output device that can only be viewed or used by one of the people if it is recognized on the basis of the relative data that none of the other people should also be able to perceive the media content.
Durch die Erfindung ergibt sich der Vorteil, dass ohne aufwendige Konfiguration durch die Personen selbst dennoch das Assistenzsystem selbst feststellt, welcher Medieninhalt in welcher Form auf dem zumindest einen Ausgabegerät ausgegeben werden soll, sodass auch die persönlichen Verhältnisse der Personen untereinander beim Ausgeben des zumindest einen Medieninhalts berücksichtigt sind. So kann vermieden werden, dass eine Person den Medieninhalt wahrnehmen kann, der eigentlich nur für eine andere der Personen bestimmt ist. Andersherum kann ein Medieninhalt auch an mehrere Personen ausgegeben werden, selbst wenn er nur für eine der Personen bestimmt ist, wenn dies gemäß dem persönlichen Verhältnis dieser Personen, wie durch die Verhältnisdaten angegeben, sinnvoll oder nutzbringend ist. Welches persönliche Verhältnis dazu führt, dass ein Medieninhalt nur für eine oder einige der Personen zugänglich oder wahrnehmbar oder anders herum für mehrere der Personen verfügbar gemacht wird, kann anhand der Verhältnisdaten mittels einer vorbestimmten verhältnisbezogenen Ausgaberegel festgelegt werden, die für den Betrieb des Assistenzsystem vorgegeben sein kann. Beispielsweise kann durch die Ausgaberegel angegeben sein, dass Personen im verwandtschaftlichen Verhältnis Medieninhalte gegenseitig sehen können, während beispielsweise Personen, die sich fremd sind, den Einblick in Medieninhalte gegenseitig blockiert bekommen. Durch das Modifizieren kann eine Ausgabe eines Medieninhalts beispielsweise auf ein bestimmtes Wiedergabegerät gelenkt werden und/oder ein Wiedergabeparameter, beispielsweise die Lautstärke, kann gemäß der Ausgaberegel durch die Verhältnisdaten der Personen vorgegeben werden.The invention has the advantage that, without complex configuration by the people themselves, the assistance system itself determines which media content is to be output in which form on the at least one output device, so that the personal relationships of the people with one another when outputting the at least one media content are taken into account. In this way it can be avoided that one person can perceive the media content that is actually only intended for another of the people. Conversely, media content can also be output to several people, even if it is only intended for one of the people, if this is sensible or beneficial in accordance with the personal relationship of these people, as indicated by the relationship data. Which personal relationship leads to media content being made accessible or perceptible for only one or some of the people or, the other way around, available for several of the people, can be determined on the basis of the relationship data by means of a predetermined relationship-related output rule that is specified for the operation of the assistance system can. For example, the output rule can indicate that people who are related to each other can see media content, while, for example, people who are strangers are mutually blocked from viewing media content. By modifying, the output of media content can be directed to a specific playback device, for example, and / or a playback parameter, for example the volume, can be specified according to the output rule by the ratio data of the people.
Die Erfindung umfasst auch Ausführungsformen, durch die sich zusätzliche Vorteile ergeben.The invention also encompasses embodiments which result in additional advantages.
Das besagte Modifizieren umfasst gemäß einer Ausführungsform, dass eine durch das Auslösesignal angeforderte Ausgabe eines Medieninhalts auf einem in Abhängigkeit von den Verhältnisdaten festgelegtes Ausgabegerät ausgegeben wird oder auf mehrere Ausgabegeräte ausgegeben wird. Während also das Auslösesignal selbst nur das Wiedergeben oder die Ausgabe des Medieninhalts fordert, kann durch die Verhältnisdaten angegeben werden, welches zumindest eine Ausgabegerät dafür genutzt wird. Zusätzlich oder alternativ dazu kann das Modifizieren umfassen, dass zumindest ein Ausgabeparameter des jeweiligen Ausgabegeräts auf einen in Abhängigkeit von den Verhältnisdaten festgelegten Wert eingestellt wird. Als Ausgabeparameter kann beispielsweise eine Ausgabelautstärke und/oder Ausgabehelligkeit und/oder Ausgaberichtung angegeben sein, um nur Beispiele zu nennen. Zusätzlich oder alternativ dazu kann das Modifizieren umfassen, dass die Ausgabe vollständig unterdrückt wird, dass also durch das Auslösesignal zwar die Ausgabe des Medieninhalts gefordert wird, aber durch die Verhältnisdaten verhindert wird, dass diese Ausgabe tatsächlich erfolgt. Wie das Modifizieren in Abhängigkeit von dem Medieninhalt und den Verhältnisdaten zu erfolgen hat, kann durch die beschriebene Ausgaberegel festgelegt werden.Said modification comprises, according to one embodiment, that an output of a media content requested by the trigger signal on a depending on the relationship data specified output device is output or is output to multiple output devices. While the trigger signal itself only requires the playback or output of the media content, the ratio data can indicate which at least one output device is used for this. In addition or as an alternative to this, the modification can include that at least one output parameter of the respective output device is set to a value determined as a function of the ratio data. For example, an output volume and / or output brightness and / or output direction can be specified as output parameters, to name only examples. Additionally or alternatively to this, the modification can include that the output is completely suppressed, that is to say that the output of the media content is indeed requested by the trigger signal, but that this output is actually prevented by the ratio data. How the modification is to take place as a function of the media content and the ratio data can be determined by the output rule described.
In einer Ausführungsform werden zusammen mit dem jeweiligen Medieninhalt Vertraulichkeitsdaten ermittelt. Diese Vertraulichkeitsdaten beschreiben zu dem jeweiligen Medieninhalt eine Vertraulichkeit des Medieninhalts bezüglich zumindest einer der Personen. Die Vertraulichkeitsdaten können diese Vertraulichkeit beispielsweise als Wert innerhalb eines vorgegebenen Werteintervalls (beispielsweise in einem Bereich von 0 bis 100) oder als Kategorie (beispielsweise persönlich, familienbezogen, für den Freundeskreis geeignet, öffentlich) einordnen. Beispielsweise kann ein Medieninhalt mit einer Email für eine Person als Vertraulichkeitsdaten angeben, dass dieser Medieninhalt persönlich ist. Die Vertraulichkeitsdaten können Bestandteil des Medieninhalts sein, also in den jeweiligen Mediendaten angegeben sein, oder in Abhängigkeit von zumindest einem Kenndatum des Medieninhalts, beispielsweise einer Adresse oder einem Absender, dem Medieninhalt zugeordnet werden. Das Modifizieren der Ausgabe des jeweiligen Medieninhalts anhand der Ausgaberegel erfolgt dann zusätzlich anhand einer Abgleichsregel, welche einen Vergleich oder eine Gegenüberstellung der Verhältnisdaten und der Vertraulichkeitsdaten durchführt oder vorsieht und daraus ein Ergebnis erzeugt. So können vertrauliche Medieninhalte nur für den Fall wiedergegeben werden, wenn Verhältnisse der Personen im Raum ein entsprechendes persönliches Verhältnis darstellen. Befinden sich beispielsweise im Raum nur Familienmitglieder und ist ein Medieninhalt mit der Vertraulichkeit aus der Kategorie „Familienangehörige“ belegt, so kann der Medieninhalt in dem Raum für alle wahrnehmbar wiedergegeben werden. Befindet sich dagegen eine nicht zur Familie gehörige Person im Raum, so wird der Medieninhalt durch die beschriebenen Maßnahmen derart wiedergegeben, dass diese nicht zur Familie gehörende Person den Medieninhalt nicht wahrnimmt.In one embodiment, confidentiality data are determined together with the respective media content. These confidentiality data describe a confidentiality of the media content with respect to at least one of the persons for the respective media content. The confidentiality data can classify this confidentiality, for example, as a value within a predetermined value interval (for example in a range from 0 to 100) or as a category (for example personal, family-related, suitable for friends, public). For example, media content with an email for a person can indicate as confidentiality data that this media content is personal. The confidentiality data can be part of the media content, that is to say be specified in the respective media data, or can be assigned to the media content as a function of at least one identification data of the media content, for example an address or a sender. The output of the respective media content is then modified using the output rule, in addition, using a comparison rule which carries out or provides for a comparison or comparison of the ratio data and the confidentiality data and generates a result therefrom. Confidential media content can only be reproduced in the event that the relationships between the people in the room represent a corresponding personal relationship. For example, if there are only family members in the room and if media content is classified as confidential from the “family members” category, the media content in the room can be reproduced in a manner that is perceptible for everyone. If, on the other hand, there is a person who does not belong to the family in the room, the media content is reproduced by the measures described in such a way that this person who does not belong to the family does not perceive the media content.
In einer Ausführungsform wird anhand der besagten Sensordaten eine jeweilige Aufenthaltsposition der Personen erfasst und durch jeweilige Gerätedaten des zumindest einen Ausgabegeräts ist eine Beschreibung desjenigen Bereichs, von welchem aus die Ausgabe des Ausgabegeräts zumindest mit einer vorbestimmten Mindestqualität wahrnehmbar ist. Diese Mindestqualität kann beispielsweise eine Mindestlautstärke und/oder eine Mindesthelligkeit und/oder eine Mindestauflösung sein. Der Wahrnehmungsbereich kann beispielsweise denjenigen Bereich festlegen, innerhalb welchem von dem Ausgabegerät dessen Ausgabe mit mindestens 30 dB Lautstärke hörbar ist. Für den Fall, dass durch die Sensordaten signalisiert ist, dass sich zwei der besagten Personen im Wahrnehmungsbereich desselben Ausgabegeräts aufhalten, wird durch die Prozessorschaltung die Ausgabe auf dem Ausgabegerät nur zugelassen, falls das durch die Verhältnisdaten angegebene Verhältnis dieser Personen die Ausgabe gemäß einem vorbestimmten Zulässigkeitskriterium zulässt. Könnte also der Medieninhalt an eine der Personen mittels des Ausgabegeräts ausgegeben werden, weil die Person sich im Wahrnehmungsbereich dieses Ausgabegeräts aufhält, so wird geprüft, ob die zweite Person den Medieninhalt ebenfalls hören oder allgemein wahrnehmen darf. Dies wird anhand des Zulässigkeitskriteriums bestimmt, das Bestandteil der Ausgaberegel sein kann und beispielsweise festlegen kann, ob für den Fall, dass die beiden Personen einander fremd sind, die Ausgabe des Medieninhalts über das Ausgabegerät erfolgen darf. Dies kann je nach Ausgestaltung des Zulässigkeitskriteriums zugelassen sein oder nicht.In one embodiment, a respective position of the person is recorded using the said sensor data and the respective device data of the at least one output device describes the area from which the output of the output device can be perceived at least with a predetermined minimum quality. This minimum quality can be, for example, a minimum volume and / or a minimum brightness and / or a minimum resolution. The perception area can, for example, define the area within which the output device's output can be heard at a volume of at least 30 dB. In the event that the sensor data indicates that two of the said people are in the perception area of the same output device, the output on the output device is only permitted by the processor circuit if the ratio of these people specified by the relationship data allows output according to a predetermined approval criterion allows. If the media content could therefore be output to one of the people by means of the output device because the person is in the perception area of this output device, a check is made as to whether the second person is also allowed to hear or generally perceive the media content. This is determined on the basis of the admissibility criterion, which can be part of the output rule and can, for example, determine whether the media content may be output via the output device in the event that the two people are strangers to each other. This may or may not be permitted depending on the design of the admissibility criterion.
In einer Ausführungsform sind die besagten Verhältnisdaten derart ausgestaltet, dass sie einen gewichteten Interaktionsgraphen beschreiben. Ein solcher Interaktionsgrad gibt als Knoten des Graphen die Personen an und die Verbindungen zwischen den Knoten sind durch einen Wert oder eine Kategorie dahingehend gewichtet, dass sie das Verhältnis derjenigen Personen, die durch die verbundenen Knoten repräsentiert sind, beschreiben. Die Verwendung eines gewichteten Interaktionsgraphens stellt eine recheneffiziente Repräsentation der Verhältnisse mehrerer Personen dar. Somit kann mit geringem Zeitverlust bei Vorliegen eines Auslösesignals ermittelt werden, wie die Ausgabe des zugehörigen Mediensignals gemäß den Verhältnisdaten zu modifizieren ist.In one embodiment, said relationship data are designed in such a way that they describe a weighted interaction graph. Such a degree of interaction indicates the people as nodes of the graph and the connections between the nodes are weighted by a value or a category in such a way that they describe the relationship between those people who are represented by the connected nodes. The use of a weighted interaction graph provides a computationally efficient representation of the relationships between several people. Thus, if a trigger signal is present, it can be determined with little loss of time how the output of the associated media signal is to be modified in accordance with the relationship data.
In einer Ausführungsform wird mittels der besagten Auswertevorschrift in den Verhältnisdaten das jeweilige Verhältnis zwischen den Personen als eine Beziehungsklasse angegeben. Eine solche Beziehungsklasse kann beispielsweise sein: Familienmitglied, Tochter, Sohn, Vater, Mutter, Freund, Fremder, Angestellter, Chef. Zusätzlich oder alternativ dazu kann in den Verhältnisdaten das jeweilige Verhältnis als ein aktueller Emotionswert angegeben werden. Ein solcher Emotionswert kann beispielsweise repräsentativ sein für eine aktuell empfundene Zuneigung. Ein Emotionswert weist den Vorteil auf, dass er im Verlauf der Zeit, während sich die Personen in dem Raum aufhalten, angepasst oder geändert werden kann. Eine Beziehungsklasse weist den Vorteil auf, dass sie auch eine längere Beziehung der Personen berücksichtigen kann, wie beispielsweise ein familiäres Verhältnis.In one embodiment, the respective relationship between the people is specified as a relationship class by means of the said evaluation rule in the relationship data. Such a relationship class can be, for example: Family member, daughter, son, father, mother, friend, stranger, employee, boss. Additionally or alternatively, the respective ratio can be specified as a current emotion value in the ratio data. Such an emotion value can, for example, be representative of a currently felt affection. An emotion value has the advantage that it can be adjusted or changed over time while the people are in the room. A relationship class has the advantage that it can also take into account a longer relationship between people, such as a family relationship.
In einer Ausführungsform ist durch die Prozessorschaltung die Auswertevorschrift zum Ermitteln der Verhältnisdaten auf der Grundlage zumindest einer der folgenden Komponenten implementiert. Es kann eine Sprechererkennung vorgesehen sein, um die Personen anhand von ihrer Stimme in einem Mikrofonsignal zu identifizieren oder voneinander zu unterscheiden. Somit muss nicht der Name der Personen bekannt sein, aber es kann die Anzahl der Personen erkannt werden und ihnen jeweils eine weitere Äußerung eindeutig zugeordnet werden. Befinden sich beispielsweise eine Person mit einer hellen Stimme und einer dunklen Stimme im Raum, so kann alles, was von der Person mit der hellen Stimme gesagt wird, dieser Person zugeordnet werden. Zusätzlich oder alternativ dazu kann eine akustische Sprecherzielerkennung betrieben werden, um zu identifizieren, welche Personen aktuell miteinander kommunizieren. Eine solche Sprecherzielerkennung kann beispielsweise eine Blickrichtung und/oder eine Ausrichtung des Gesichts von Personen erkennen, während die jeweilige Person spricht. Diejenige Person, welcher sich die sprechende Person zuwendet, kann dann als Sprecherziel oder angesprochene Person identifiziert werden. Zusätzlich oder alternativ dazu kann ein Sprach-zu-Text-Modul betrieben werden und eine diesem nachgeschaltete Sentimentalanalyse kann zur Stimmungserkennung anhand von zumindest einem erkannten Schlüsselwort genutzt werden. Es kann also die Semantik ausgewertet werden, wie sie durch den Text ausgesprochener Sprache repräsentiert wird. Werden beispielsweise Schimpfwörter benutzt, so kann auf einen erregten oder wütenden Zustand einer Person rückgeschlossen werden. Zusätzlich oder alternativ dazu kann eine akustische Emotionserkennung betrieben werden, um zur Erkennung einer aktuellen Stimmung einer jeweiligen Person ein ihrer Sprachmelodie und/oder Sprachbetonung und/oder Lautäußerungen einem jeweiligen Beschreibungswert zumindest einer Emotion zuzuordnen. Beispielsweise kann der Emotion „Wut“ ein Wert in einem Bereich von 0 bis 100 zugeordnet werden. Zusätzlich oder alternativ dazu kann eine Bildauswertung erfolgen, um zu erkennen, wer mit wem kommuniziert. Es kann sich hierbei um die besagte Sprecherzielerkennung handeln oder um eine Auswertung von Kommunikationspfaden, die den Verlauf mehrerer Unterhaltungen oder Kommunikationen beschreibt. So kann beispielsweise festgestellt werden, ob zwei Personen überhaupt jemals miteinander kommuniziert haben in der Vergangenheit. Zusätzlich oder alternativ dazu kann eine optische Gestenerkennung und eine dieser nachgeschalteten Körpersprachanalyse betrieben werden, um einen jeweiligen emotionalen Zustand der jeweiligen Person zu erkennen. Eine Gestenerkennung kann eine Körperhaltung und/oder einen Verlauf einer Körperbewegung erfassen und durch eine nachgeschaltete Körpersprachanalyse kann mittels einer Zuordnungsvorschrift auf einen emotionalen Zustand rückgeschlossen werden. Zusätzlich oder alternativ dazu kann eine optische Mimikerkennung und eine dieser nachgeschalteten Emotionserkennung betrieben werden. Hier erfolgt die Emotionserkennung auf Grundlage einer Zuordnung einer optisch erkannten Mimik zu einer Emotion.In one embodiment, the processor circuit implements the evaluation rule for determining the ratio data on the basis of at least one of the following components. A speaker recognition system can be provided in order to identify or differentiate the people from one another on the basis of their voice in a microphone signal. This means that the name of the person does not have to be known, but the number of people can be recognized and one further utterance can be clearly assigned to each of them. For example, if there is a person with a light voice and a dark voice in the room, then everything that is said by the person with the light voice can be assigned to this person. In addition or as an alternative to this, acoustic speaker target recognition can be operated in order to identify which people are currently communicating with one another. Such a speaker target recognition can, for example, recognize a line of sight and / or an alignment of the face of a person while the respective person is speaking. The person to whom the speaking person turns can then be identified as the speaker's target or the person addressed. In addition or as an alternative to this, a speech-to-text module can be operated and a sentimental analysis connected downstream of this can be used for mood recognition on the basis of at least one recognized keyword. So the semantics can be evaluated as they are represented by the text of spoken language. If, for example, swear words are used, it can be inferred that a person is excited or angry. In addition or as an alternative to this, acoustic emotion recognition can be operated in order to assign one of their speech melodies and / or speech accentuations and / or vocal utterances to a respective descriptive value of at least one emotion in order to identify a current mood of a respective person. For example, a value in a range from 0 to 100 can be assigned to the emotion “anger”. Additionally or alternatively, an image evaluation can take place in order to recognize who is communicating with whom. This can be the said speaker target recognition or an evaluation of communication paths that describes the course of several conversations or communications. For example, it can be determined whether two people have ever communicated with each other in the past. In addition or as an alternative to this, optical gesture recognition and a subsequent body language analysis can be operated in order to recognize a respective emotional state of the respective person. Gesture recognition can detect a body posture and / or a course of a body movement, and a subsequent body language analysis can be used to infer an emotional state by means of an assignment rule. In addition or as an alternative to this, optical facial expression recognition and an emotion recognition connected downstream of this can be operated. Here the emotion recognition takes place on the basis of an assignment of an optically recognized facial expression to an emotion.
In einer Ausführungsform wird das zumindest eine Auslösesignal, welches jeweils die Ausgabe oder Wiedergabe eines Medieninhalts anfordert, jeweils aus einem der folgenden Geräte empfangen. Es kann ein Auslösesignal aus einem Bediengerät einer der Personen empfangen werden. Ein solches Bediengerät kann beispielsweise ein Smartphone oder ein Tablet-PC sein. Ein Bediengerät kann auch beispielsweise in dem Raum fest installiert sein. Mittels eines solchen Bediengeräts kann das Abspielen oder Wiedergeben eines Medieninhalts gefordert werden. Es kann ein Auslösesignal aus einem Telekommunikationsgerät empfangen werden, beispielsweise einer Telefonanlage. Hierdurch kann beispielsweise ein eingehender Anruf als Auslösesignal genutzt werden. Es kann ein Auslösesignal aus einem Prädiktionsmodul empfangen werden, welches eine Benutzerwunscherkennung für die Ausgabe zumindest eines Medieninhalts durchführt. Ein solches Prädiktionsmodul kann beispielsweise durch die beschriebene Prozessorschaltung als Software betrieben werden. Beispielsweise kann so zuvorkommend, bevor ein Benutzer oder eine Person explizit den Wunsch nach einer Wiedergabe eines Medieninhalts äußert, dieser Wunsch bereits prädiziert oder geschätzt werden. Eine solche Benutzerwunscherkennung kann beispielsweise auf der Grundlage von Kontextdaten eines Benutzungskontextes und/oder von Situationsdaten einer aktuellen Situation in dem Raum mittels einer entsprechenden Zuordnungsvorschrift abschätzen oder prädizieren, welcher Medieninhalt in dem Raum wiedergegeben werden soll.In one embodiment, the at least one trigger signal, which in each case requests the output or playback of media content, is received from one of the following devices. A trigger signal can be received from a control unit of one of the persons. Such an operating device can be, for example, a smartphone or a tablet PC. A control unit can also be permanently installed in the room, for example. Such an operating device can be used to play or play back media content. A trigger signal can be received from a telecommunication device, for example a telephone system. In this way, for example, an incoming call can be used as a trigger signal. A trigger signal can be received from a prediction module, which carries out user request recognition for the output of at least one media content. Such a prediction module can be operated as software, for example, by the processor circuit described. For example, before a user or a person explicitly expresses the wish to reproduce media content, this wish can already be predicted or estimated in a courteous manner. Such a user request recognition can, for example, estimate or predict which media content is to be reproduced in the room on the basis of context data of a usage context and / or situation data of a current situation in the room by means of a corresponding assignment rule.
Um das erfindungsgemäße Verfahren durchzuführen, ist durch die Erfindung ein Assistenzsystem mit einer Prozessorschaltung bereitgestellt. Diese Prozessorschaltung ist dazu eingerichtet, mit zumindest einem Sensor zum Erfassen von Personen gekoppelt zu werden. Es handelt sich hierbei um das Erfassen von Personen in einem Raum. Die Prozessorschaltung des Assistenzsystems ist dazu eingerichtet, die Prozessorschaltung betreffenden Schritte einer Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Prozessorschaltung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen Signalprozessor umfassen. Die Prozessorschaltung kann einen Datenspeicher aufweisen, in welchem Programminstruktionen gespeichert sein können, die bei Ausführen durch die Prozessorschaltung diese Veranlassen, die besagte Ausführungsform des erfindungsgemäßen Verfahrens, insbesondere diejenigen Verfahrensschritte, welche die Prozessorschaltung betreffen, durchzuführen.In order to carry out the method according to the invention, the invention provides an assistance system with a processor circuit. This processor circuit is designed to be coupled to at least one sensor for detecting people. This is that Detecting people in a room. The processor circuit of the assistance system is set up to carry out steps of an embodiment of the method according to the invention relating to the processor circuit. For this purpose, the processor circuit can comprise at least one microprocessor and / or at least one microcontroller and / or at least one signal processor. The processor circuit can have a data memory in which program instructions can be stored which, when executed by the processor circuit, cause them to carry out the said embodiment of the method according to the invention, in particular those method steps which relate to the processor circuit.
Es hat sich insbesondere als vorteilhaft erwiesen, ein solches Assistenzsystem in einem Kraftfahrzeug bereitzustellen. Der in Bezug mit dem erfindungsgemäßen Verfahren durch das Assistenzsystem überwachte oder genutzte Raum ist hierbei der Innenraum oder Passagierraum des Kraftfahrzeugs. Die Erfindung stellt entsprechend auch ein Kraftfahrzeug mit einer Ausführungsform des erfindungsgemäßen Assistenzsystems bereit.It has proven particularly advantageous to provide such an assistance system in a motor vehicle. The space monitored or used by the assistance system in relation to the method according to the invention is here the interior or passenger compartment of the motor vehicle. The invention accordingly also provides a motor vehicle with an embodiment of the assistance system according to the invention.
Das erfindungsgemäße Kraftfahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.The motor vehicle according to the invention is preferably designed as a motor vehicle, in particular as a passenger vehicle or truck, or as a passenger bus or motorcycle.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen.The invention also includes the combinations of the features of the described embodiments.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:
-
1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs; und -
2 eine Skizze zur Veranschaulichung eines gewichteten Interaktionsgraphen, wie er durch ein Assistenzsystem des Kraftfahrzeugs beim Ausführen einer Ausführungsform des erfindungsgemäßen Verfahrens genutzt werden kann.
-
1 a schematic representation of an embodiment of the motor vehicle according to the invention; and -
2 a sketch to illustrate a weighted interaction graph as it can be used by an assistance system of the motor vehicle when executing an embodiment of the method according to the invention.
Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention that are to be considered independently of one another and that each also develop the invention independently of one another. Therefore, the disclosure is intended to include combinations of the features of the embodiments other than those shown. Furthermore, the described embodiments can also be supplemented by further features of the invention that have already been described.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.In the figures, the same reference symbols denote functionally identical elements.
Die Sensordaten
In dem Kraftfahrzeug
Das Ausgeben eines Medieninhalts
Die Verhältnisdaten
Jedes Ausgabegerät
Für die Innenraumsensierung zum Erkennen von Insassen und Objekten im Fanrzeuginnenraum können Kamerasysteme und Soundaufzeichnungen genutzt werden, um die beschriebenen Sensordaten zu erzeugen. Damit können sozialen Beziehungen der Insassen zueinander ermittelt werden. Um ein Assistenzsystem im Fahrzeug optimal zu nutzen, kann nun die Gesamtsituation im Innenraum verstanden werden. Die sozialen Beziehungen der Insassen zueinander sind hierfür eine wichtige Informationsquelle. Nun ist diese Information vorhanden. Denn mittels Sprach- und Videoanalysen werden die sozialen Beziehungen aller Insassen zueinander ermittelt und es wird ein Sozialgraph aufgebaut. Weiter werden die Beziehungen zueinander klassifiziert und in dem Assistenzsystem zur Verfügung gestellt. Der Graph kann über die Zeit verifiziert und aktuell gehalten werden.Camera systems and sound recordings can be used for interior sensing to detect occupants and objects in the interior of the fan tool in order to generate the described sensor data. In this way, social relationships between the occupants can be determined. In order to make optimal use of an assistance system in the vehicle, the overall situation in the interior can now be understood. The social relationships between the inmates are an important source of information for this. This information is now available. The social relationships between all inmates are determined by means of voice and video analyzes and a social graph is built up. The relationships to one another are also classified and made available in the assistance system. The graph can be verified over time and kept up-to-date.
Die Interaktion mit den Insassen und die Preisgabe von Informationen können mit diesem Verfahren individuell gestaltet werden. Steht ein Insasse auf der hinteren Sitzreihe z.B. in einer sehr fremden Beziehung zum Fahrer (z.B. bei einer Taxifahrt), so kann das Assistenzsystem entscheiden, personenbezogene Daten des Fahrers nicht per Sprache auszugeben, z.B. eine SMS-Nachricht (Short Message Service) vorlesen.The interaction with the occupants and the disclosure of information can be designed individually with this method. If an occupant in the rear row of seats is in a very strange relationship with the driver (e.g. when taking a taxi), the assistance system can decide not to output the driver's personal data by voice, e.g. read out an SMS message (Short Message Service).
Für die Umsetzung dieser technischen Lösung sind mehrere Komponenten nutzbar. Die bevorzugte technische Lösung sieht mindestens eine Hardwarekomponente zum Aufzeichnen von akustischen Sensordaten im Fahrzeug sowie mindestens eine Komponente zum Aufzeichnen von Bilddaten vor, welche den kompletten Fahrzeuginrienraum abdeckt. Auf Basis dieser Sensordaten fungieren die im Komponentenschaubild von
- Sprechererkennung: Hier existiert bereits ein Machine Learning Modul, welches anhand der Sprache identifizieren kann, welcher der Insassen gerade spricht.
- Speaker recognition: A machine learning module already exists here, which can use the language to identify which of the inmates is currently speaking.
Sprecher Zielerkennung: Hier existiert bereits ein Machine Leaming Modul, welches anhand der Sprache identifizieren kann, zu welchem Insassen gerade gesprochen wird oder alternativ mit dem Fahrzeug (Sprachbedienung), oder einer dritten Person (z.B. per Telefon) gesprochen.Speaker target recognition: A machine leaming module already exists here, which can use language to identify which occupant is currently being spoken to or, alternatively, speaking to the vehicle (voice control) or a third person (e.g. by telephone).
Sprache zu Text Modul und Sentimentanalyse: Hierfür existieren bereits etablierte Software-Tools.Language to text module and sentiment analysis: There are already established software tools for this.
Emotionserkennung Sprache: Hier existiert bereits ein Machine Learning Modul, welches anhand der Sprache eine Emotion ableitet.Emotion recognition language: A machine learning module already exists here, which derives an emotion based on the language.
Personen Identifikation: Hier existiert bereits ein Machine Learning Modul, welches anhand der Sprache und einer optischen Gesichtserkennung eine Person identifizieren und wiedererkennen kann.Person identification: A machine learning module already exists here, which can identify and recognize a person using language and optical face recognition.
Wer spricht mit Wem: Ein Machine Learning Modul, welches anhand der optischen Daten eine Prädiktion erstellt, welche Personen gerade miteinander sprechen.Who is talking to whom: A machine learning module that uses the optical data to create a prediction as to which people are currently talking to each other.
Emotionserkennung Körpersprache: Ein Machine Learning Modul, welches anhand der Körpersprache die ausgedrückte Emotion ermittelt.Emotion recognition body language: A machine learning module that uses body language to determine the expressed emotion.
Emotionserkennung Gesichtsausdruck: Ein Machine Learning Modul, welches anhand des Gesichtes und deren Merkmale die ausgedrückte Emotion erm ittelt.Emotion recognition facial expression: A machine learning module, which is based on the Face and its features determine the expressed emotion.
Interaktionsgraph (
- - Verwandtschaft 1. Grades
- - Verwandtschaft 2. Grades
- - Befreundet
- - Bekannt
- - Fremd
- - ... und/oder mögliche weitere.
- - Relationship 1st degree
- - Relationship of the 2nd degree
- - Friends
- - Known
- - Strange
- - ... and / or possible others.
Während der Trainingsphase des Machine-Learning-Moduls werden Daten erhoben, bei welchem diese Beziehungen bekannt sind. Dadurch lässt sich überwacht trainieren. Ein Beispiel eines möglichen Interaktionsgraphen zeigt
Insgesamt zeigen die Beispiele, wie durch die Erfindung ein Verfahren zur Bestimmung einer Interaktionsverhaltens und zur Bildung eines Sozialgraphen in einem Kraftfahrzeug bereitgestellt werden kann.Overall, the examples show how the invention can provide a method for determining interaction behavior and for forming a social graph in a motor vehicle.
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent literature cited
- DE 102017112172 A1 [0002]DE 102017112172 A1 [0002]
- US 8631119 B2 [0004]US 8631119 B2 [0004]
- US 8732208 B1 [0006]US 8732208 B1 [0006]
Claims (10)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019133133.1A DE102019133133A1 (en) | 2019-12-05 | 2019-12-05 | Assistance system through which the output of at least one media content is controlled in a room, motor vehicle and operating method for the assistance system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102019133133.1A DE102019133133A1 (en) | 2019-12-05 | 2019-12-05 | Assistance system through which the output of at least one media content is controlled in a room, motor vehicle and operating method for the assistance system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| DE102019133133A1 true DE102019133133A1 (en) | 2021-06-10 |
Family
ID=75962974
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| DE102019133133.1A Pending DE102019133133A1 (en) | 2019-12-05 | 2019-12-05 | Assistance system through which the output of at least one media content is controlled in a room, motor vehicle and operating method for the assistance system |
Country Status (1)
| Country | Link |
|---|---|
| DE (1) | DE102019133133A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102022129270A1 (en) | 2022-11-07 | 2024-05-08 | Bayerische Motoren Werke Aktiengesellschaft | Controlling an on-board vehicle entertainment system |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130030645A1 (en) * | 2011-07-28 | 2013-01-31 | Panasonic Corporation | Auto-control of vehicle infotainment system based on extracted characteristics of car occupants |
| US8732208B2 (en) * | 2010-04-19 | 2014-05-20 | Facebook, Inc. | Structured search queries based on social-graph information |
-
2019
- 2019-12-05 DE DE102019133133.1A patent/DE102019133133A1/en active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8732208B2 (en) * | 2010-04-19 | 2014-05-20 | Facebook, Inc. | Structured search queries based on social-graph information |
| US20130030645A1 (en) * | 2011-07-28 | 2013-01-31 | Panasonic Corporation | Auto-control of vehicle infotainment system based on extracted characteristics of car occupants |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102022129270A1 (en) | 2022-11-07 | 2024-05-08 | Bayerische Motoren Werke Aktiengesellschaft | Controlling an on-board vehicle entertainment system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0852051B1 (en) | Process for automatic control of one or more devices by voice commands or by real-time voice dialog and apparatus for carrying out this process | |
| DE102019200954A1 (en) | Signal processing device, system and method for processing audio signals | |
| DE102018113034A1 (en) | VOICE RECOGNITION SYSTEM AND VOICE RECOGNITION METHOD FOR ANALYZING A COMMAND WHICH HAS MULTIPLE INTENTIONS | |
| DE60313706T2 (en) | Speech recognition and response system, speech recognition and response program and associated recording medium | |
| DE102017121059A1 (en) | IDENTIFICATION AND PREPARATION OF PREFERRED EMOJI | |
| DE102007051261A1 (en) | Motor vehicle's acoustic behavior evaluating method, involves classifying characteristics of preprocessed acoustic signals into classes, and comparing classes of acoustic signals with reference classification | |
| DE102017102392A1 (en) | AUTOMATIC LANGUAGE RECOGNITION BY VOICE CHANNELS | |
| DE102018125966A1 (en) | SYSTEM AND METHOD FOR RECORDING KEYWORDS IN A ENTERTAINMENT | |
| EP3430615A1 (en) | Transportation means, and system and method for adapting the length of a permissible speech pause in the context of a speech input | |
| DE112018007847T5 (en) | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM | |
| DE102016217026A1 (en) | Voice control of a motor vehicle | |
| DE102019201456B3 (en) | Method for individualized signal processing of an audio signal from a hearing aid | |
| DE102019133133A1 (en) | Assistance system through which the output of at least one media content is controlled in a room, motor vehicle and operating method for the assistance system | |
| DE102017206876A1 (en) | Method and device for outputting a status message in a motor vehicle with voice control system | |
| DE102019218918A1 (en) | DIALOGUE SYSTEM, ELECTRONIC DEVICE AND METHOD OF CONTROLLING THE DIALOGUE SYSTEM | |
| DE112019007580B4 (en) | Sound field control device and sound field control method | |
| EP3115886A1 (en) | Method for operating a voice controlled system and voice controlled system | |
| DE112018006597B4 (en) | Speech processing device and speech processing method | |
| DE102016003401A1 (en) | Detection device and method for detecting a speech utterance of a speaking person in a motor vehicle | |
| DE102008060194A1 (en) | Fleet-quality management method for car, involves transmitting detected error condition to motor vehicle using wireless interface, where transmitted error condition is diagnosed using error diagnostics process | |
| DE102018200431A1 (en) | A method for outputting a signal of a wireless communication link between a first user in a means of transportation and an external communication participant | |
| DE102022124133B3 (en) | Method for processing stuttered speech using a voice assistant for a motor vehicle | |
| DE102017213260A1 (en) | Method, device, mobile user device, computer program for controlling an audio system of a vehicle | |
| DE102020110273A1 (en) | Method and selection system for selecting a vehicle for a ride-sharing service | |
| DE102004011426B3 (en) | Device for detecting emotion in voice signal for man-machine interface has first function block using fixed processing script that is emotion recognition standard, second function block for supplying output from input using adapted script |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R012 | Request for examination validly filed | ||
| R016 | Response to examination communication | ||
| R084 | Declaration of willingness to licence |