DE102021212231A1 - Method for operating a vehicle with an interior monitoring device - Google Patents

Method for operating a vehicle with an interior monitoring device Download PDF

Info

Publication number
DE102021212231A1
DE102021212231A1 DE102021212231.0A DE102021212231A DE102021212231A1 DE 102021212231 A1 DE102021212231 A1 DE 102021212231A1 DE 102021212231 A DE102021212231 A DE 102021212231A DE 102021212231 A1 DE102021212231 A1 DE 102021212231A1
Authority
DE
Germany
Prior art keywords
vehicle
interior
person
usage category
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102021212231.0A
Other languages
German (de)
Inventor
Simone Bosatelli
Stefan Jungmayr
Frieder Kloepfer
Markus Osswald
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102021212231.0A priority Critical patent/DE102021212231A1/en
Priority to CN202211334046.8A priority patent/CN116061853A/en
Publication of DE102021212231A1 publication Critical patent/DE102021212231A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/037—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for occupant comfort, e.g. for automatic adjustment of appliances according to personal settings, e.g. seats, mirrors, steering wheel
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/22—Conjoint control of vehicle sub-units of different type or different function including control of suspension systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W20/00—Control systems specially adapted for hybrid vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H04W4/44—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for communication between vehicles and infrastructures, e.g. vehicle-to-cloud [V2C] or vehicle-to-home [V2H]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/01—Occupants other than the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

Die Erfindung betrifft ein Verfahren (200) zum Betreiben eines Fahrzeugs (100) mit einer Innenraum-überwachung (109) umfassend ein Erfassen (220) von Innenraumdaten mittels der Innenraumüberwachungseinrichtung (109), ein Identifizieren (240) von zumindest einer Person (101, 102, 103, 104) innerhalb des Fahrzeugs auf Basis der Innenraumdaten, ein Identifizieren (240) zumindest eines Objekts (106, 107), das der zumindest einen Person (101, 102, 103, 104) zugeordnet ist, auf Basis der Innenraumdaten, ein Ermitteln (260) einer Nutzungskategorie auf Basis der zumindest einen identifizierten Person und dem zumindest einen identifizierten Objekt, und ein Steuern (270) zumindest einer Fahrzeugkomponente in Abhängigkeit von der ermittelten Nutzungskategorie. Ferner werden eine Recheneinheit und ein Computerprogramm zur Durchführung eines solchen Verfahrens vorgeschlagen.

Figure DE102021212231A1_0000
The invention relates to a method (200) for operating a vehicle (100) with an interior monitoring system (109), comprising acquiring (220) interior data using the interior monitoring device (109), identifying (240) at least one person (101, 102, 103, 104) inside the vehicle based on the interior data, identifying (240) at least one object (106, 107) that is assigned to the at least one person (101, 102, 103, 104) based on the interior data, determining (260) a usage category based on the at least one identified person and the at least one identified object, and controlling (270) at least one vehicle component depending on the determined usage category. Furthermore, a computing unit and a computer program for carrying out such a method are proposed.
Figure DE102021212231A1_0000

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Betreiben eines Fahrzeugs mit einer Innenraumüberwachungseinrichtung sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung.The present invention relates to a method for operating a vehicle with an interior monitoring device and a computing unit and a computer program for its implementation.

Hintergrund der ErfindungBackground of the Invention

Fahrzeuge können für verschiedene Zwecke verwendet werden, wie beispielsweise für Fahrten zur Arbeit, zum Einkaufen, in den Urlaub oder auch ohne eine Fahrt als Aufenthaltsraum, beispielsweise um störungsarm eine Mittagspause zu verbringen. Je nach Nutzungszweck können Insassen unterschiedliche Bedürfnisse haben, beispielsweise Erholung, Information, Komfort, o.Ä.Vehicles can be used for various purposes, such as for trips to work, for shopping, on vacation or even without a trip as a lounge, for example to spend a lunch break with little disruption. Depending on the purpose of use, occupants can have different needs, for example relaxation, information, comfort, or similar.

Eine Steuerung einer Fahrzeugfunktion anhand von Daten einer Innenraumüberwachungseinrichtung ist beispielsweise in der DE 199 36 116 A1 beschrieben.A control of a vehicle function based on data from an interior monitoring device is, for example, in DE 199 36 116 A1 described.

Offenbarung der ErfindungDisclosure of Invention

Erfindungsgemäß werden ein Verfahren zum Betreiben eines Fahrzeugs sowie eine Recheneinheit und ein Computerprogramm zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.According to the invention, a method for operating a vehicle and a computing unit and a computer program for its implementation with the features of the independent patent claims are proposed. Advantageous configurations are the subject of the dependent claims and the following description.

Ein erfindungsgemäßes Verfahren zum Betreiben eines Fahrzeugs mit einer Innenraumüberwachungseinrichtungseinrichtung umfasst ein Erfassen von Innenraumdaten mittels der Innenraumüberwachungseinrichtung, ein Identifizieren von zumindest einer Person innerhalb des Fahrzeugs auf Basis der Innenraumdaten, ein Identifizieren zumindest eines Objekts, das der zumindest einen Person zugeordnet ist, auf Basis der Innenraumdaten, ein Ermitteln einer Nutzungskategorie auf Basis der zumindest einen identifizierten Person und dem zumindest einen identifizierten Objekt, und ein Steuern zumindest einer Fahrzeugkomponente in Abhängigkeit von der ermittelten Nutzungskategorie.A method according to the invention for operating a vehicle with an interior monitoring device includes capturing interior data using the interior monitoring device, identifying at least one person inside the vehicle based on the interior data, identifying at least one object that is assigned to the at least one person based on the Interior data, determining a usage category based on the at least one identified person and the at least one identified object, and controlling at least one vehicle component depending on the determined usage category.

Mittels der Nutzungskategorie können verschiede Arten der Nutzung des Fahrzeugs durch die Person kategorisiert werden. Mit anderen Worten kann ermittelt werden für welche Zwecke eine Person das Fahrzeug nutzt. Verschiedene Nutzungskategorien können beispielswese eine längere Fahrt in den Urlaub, eine kürzere Fahrt zum Bahnhof oder in die Arbeit sein.Different types of use of the vehicle by the person can be categorized by means of the use category. In other words, it can be determined for which purposes a person uses the vehicle. Different usage categories can be, for example, a longer trip to vacation, a shorter trip to the train station or to work.

Beispielsweise kann erkannt werden, dass eine Familie (identifizierte Personen) in den Urlaub (Nutzungskategorie) fährt, wenn entsprechendes Reisegepäck und Freizeitkleidung (also „Objekte“) erkannt wurden, während Anzug, Krawatte und Aktenkoffer („Objekte“) bei einer Einzelperson im Fahrzeug auf eine Fahrt zur Arbeit (Nutzungskategorie) hindeuten. Eine Urlaubsfahrt ist in der Regel länger als eine Fahrt zur Arbeit, so dass z. B. Komfortfunktionen entsprechend eingestellt werden können, um beispielsweise einer Ermüdung der Personen vorzubeugen.For example, it can be recognized that a family (identified persons) is going on vacation (category of use) if corresponding luggage and casual clothing (i.e. "objects") are detected, while suit, tie and briefcase ("objects") for an individual in the vehicle indicate a trip to work (usage category). A holiday trip is usually longer than a trip to work, so that e.g. B. comfort functions can be adjusted accordingly, for example to prevent fatigue of the people.

Im Rahmen der Objektidentifizierung können insbesondere auch Objekteigenschaften wie beispielsweise Materialbeschaffenheit, Farbe, Dekor und/oder Markenzeichen oder dergleichen erfasst werden, um eine robustere und präzisere Zuordnung zu ermöglichen.As part of the object identification, object properties such as material properties, color, decor and/or trademarks or the like can also be recorded in order to enable a more robust and precise assignment.

Die Innenraumüberwachungseinrichtung umfasst insbesondere eine Kamera und/oder ein Mikrophon und/oder einen Sitzbelegungssensor und/oder eine Bedieneinheit und/oder eine Drahtlosschnittstelle des Fahrzeugs. Dies sind besonders geeignete Mittle zur Erfassung von für die Identifizierung von Personen und Objekten relevanten Informationen. Beispielsweise kann über Stimmerkennung oder Gesichtserkennung eine Person erkannt werden oder über eine Sitzposition (Sitzbelegungssensor, Kamera) auf ein Verhältnis zwischen verschiedenen Personen geschlossen werden.The interior monitoring device includes in particular a camera and/or a microphone and/or a seat occupancy sensor and/or an operating unit and/or a wireless interface of the vehicle. These are particularly suitable means of collecting information relevant to the identification of persons and objects. For example, a person can be recognized via voice recognition or face recognition, or a relationship between different people can be inferred from a seat position (seat occupancy sensor, camera).

Insbesondere umfasst die zumindest eine Fahrzeugkomponente eines oder mehrere aus der Gruppe umfassend ein Unterhaltungssystem, einen Fahrzeugsitz, eine Innenraumbeleuchtung, ein Fahrwerk, einen Antriebsstrang, ein Abgassystem, eine Klimaanlage, eine Datenübertragungseinheit und ein Navigationssystem. Diese Komponenten tragen in besonderem Maße zum Komfort und der Stimmung der Fahrzeuginsassen bei und können ggf. einen Zusatznutzen bieten. Beispielsweise kann bei einer Urlaubsfahrt (voraussichtlich lange Fahrtzeit) zu Beginn ermittelt werden, ob ein Tankinhalt für eine z.B. mehr als 100 km lange Fahrt ausreicht und eine entsprechende Information ausgegeben werden. Bei erwarteter langer Fahrtzeit kann auch ein Abgassystem entsprechend gesteuert werden, um beispielsweise Regenerierzyklen von Katalysatoren zu optimieren. Bei einer Fahrt zur Arbeit kann hingegen z.B. ein konzentrationsförderndes Unterhaltungsprogramm und eine dynamischere Fahrweise eingestellt werden, um Stress vorzubeugen.In particular, the at least one vehicle component includes one or more from the group comprising an entertainment system, a vehicle seat, interior lighting, a chassis, a drive train, an exhaust system, an air conditioning system, a data transmission unit and a navigation system. These components make a significant contribution to the comfort and mood of the vehicle occupants and can possibly offer an additional benefit. For example, in the case of a holiday trip (probably long journey time), it can be determined at the beginning whether the tank contents are sufficient for a journey of more than 100 km, for example, and corresponding information can be output. If a long journey is expected, an exhaust system can also be controlled accordingly, for example to optimize regeneration cycles of catalytic converters. On the other hand, when driving to work, for example, an entertainment program that promotes concentration and a more dynamic driving style can be set to prevent stress.

Vorteilhafterweise umfasst das Verfahren ein Senden der Innenraumdaten und/oder der Nutzungskategorie und/oder einer Information zur Steuerung der zumindest einen Fahrzeugkomponente mittels einer Drahtlosverbindung. So können die Daten beispielsweise außerhalb des Fahrzeugs verarbeitet und/oder genutzt werden, was eine Rechenkapazität einer Recheneinheit des Fahrzeugs entlastet und ggf. Zusatznutzen ermöglicht.The method advantageously includes sending the interior data and/or the usage category and/or information for controlling the at least one vehicle component by means of a wireless connection. For example, the data can be processed and/or used outside of the vehicle, which relieves the computing capacity of a computing unit in the vehicle and possibly enables additional use.

Das Identifizieren der zumindest einen Person und/oder das Identifizieren des zumindest einen Objekts und/oder das Ermitteln der Nutzungskategorie wird in vorteilhaften Ausgestaltungen außerhalb und/oder innerhalb des Fahrzeugs durchgeführt. Dadurch können Aufgaben insbesondere zentralisiert werden und Informationen aus vielen Quellen zusammengeführt werden, was Effizienz und Präzision des Verfahrens steigern kann, oder dezentral und unabhängig durchgeführt werden, was die Fehleranfälligkeit und Manipulierbarkeit verringern kann. In advantageous configurations, the identification of the at least one person and/or the identification of the at least one object and/or the determination of the usage category is carried out outside and/or inside the vehicle. In this way, tasks can be centralized in particular and information from many sources can be brought together, which can increase the efficiency and precision of the method, or can be carried out in a decentralized and independent manner, which can reduce the susceptibility to errors and manipulation.

Beispielsweise kann ein Fahrer im Falle einer zentralen Durchführung fahrzeugübergreifend identifiziert werden und Informationen leichter auf dem neuesten Stand gehalten werden, während eine dezentrale Durchführung zu weniger Datenverkehr und damit einer Entlastung von Datennetzen führt.For example, in the case of central implementation, a driver can be identified across vehicles and information can be kept up to date more easily, while decentralized implementation leads to less data traffic and thus relieves data networks.

Vorteilhafte Ausgestaltungen umfassen ein Steuern einer der zumindest einen Person zugeordneten Vorrichtung, die nicht Teil des Fahrzeugs ist, in Abhängigkeit von der Nutzungskategorie. Die Vorrichtung umfasst dabei insbesondere eines oder mehrere aus der Gruppe aus einer Schließanlage einer Wohnung, einer Wohnraumheizung, einem Küchengerät, einer Wohnraumbeleuchtung und einer Alarmanlage. So kann beispielsweise bei einer Urlaubsfahrt ein Küchenherd abgeschaltet werden oder die Heizung der Wohnung auf ein Minimum beschränkt werden, um Energie zu sparen.Advantageous refinements include controlling a device which is assigned to the at least one person and is not part of the vehicle, depending on the usage category. The device includes in particular one or more from the group consisting of a locking system for an apartment, a living room heating system, a kitchen appliance, a living room lighting system and an alarm system. For example, a kitchen stove can be switched off during a holiday trip or the heating in the apartment can be reduced to a minimum in order to save energy.

Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät eines Kraftfahrzeugs, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.A computing unit according to the invention, e.g. a control unit of a motor vehicle, is set up, in particular in terms of programming, to carry out a method according to the invention.

Auch die Implementierung eines erfindungsgemäßen Verfahrens in Form eines Computerprogramms oder Computerprogrammprodukts mit Programmcode zur Durchführung aller Verfahrensschritte ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Schließlich ist ein maschinenlesbares Speichermedium vorgesehen mit einem darauf gespeicherten Computerprogramm wie oben beschrieben. Geeignete Speichermedien bzw. Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich. Ein solcher Download kann dabei drahtgebunden bzw. kabelgebunden oder drahtlos (z.B. über ein WLAN-Netz, eine 3G-, 4G-, 5G- oder 6G-Verbindung, etc.) erfolgen.The implementation of a method according to the invention in the form of a computer program or computer program product with program code for carrying out all method steps is advantageous because this causes particularly low costs, especially if an executing control unit is also used for other tasks and is therefore available anyway. Finally, a machine-readable storage medium is provided with a computer program stored thereon as described above. Suitable storage media or data carriers for providing the computer program are, in particular, magnetic, optical and electrical storage devices such as hard drives, flash memories, EEPROMs, DVDs, etc. It is also possible to download a program via computer networks (Internet, intranet, etc.). Such a download can be wired or wired or wireless (e.g. via a WLAN network, a 3G, 4G, 5G or 6G connection, etc.).

Insbesondere kann eine Programmierung unter Verwendung maschinellen Lernens erfolgen. Dazu können beispielsweise Lerndaten, die im Wesentlichen Innenraumdaten entsprechen, manuell mit einer entsprechenden vorgegebenen Kategorisierung versehen werden. Anhand von Lerndaten mit jeweils gleicher Kategorisierung kann ein Computerprogramm darauf trainiert werden, Muster, die für die jeweilige Kategorisierung typisch sind, abzuleiten. Dabei wird vorteilhafterweise für jede später zu erkennende Nutzungskategorie ein eigener Satz Lerndaten vorgegeben.In particular, programming can be done using machine learning. For this purpose, for example, learning data that essentially correspond to interior space data can be manually provided with a corresponding predetermined categorization. Using learning data with the same categorization, a computer program can be trained to derive patterns that are typical for the respective categorization. In this case, a separate set of learning data is advantageously specified for each usage category to be recognized later.

Die Lerndaten können auch so beschaffen sein, dass sie beispielsweise besonders relevante Objekte oder Personen betreffen. Beispielsweise kann beim Kauf oder einer Anmietung eines Fahrzeugs ein biometrisches Passbild einer oder mehrerer Hauptnutzungspersonen (z.B. Käufer oder Mieter) abgespeichert werden, um diese Personen zuverlässig erkennen zu können.The learning data can also be structured in such a way that they relate to particularly relevant objects or people, for example. For example, when buying or renting a vehicle, a biometric passport photo of one or more main users (e.g. buyer or renter) can be stored in order to be able to reliably identify these persons.

Über geeignete Rückmeldeprozesse wird das Programm darauf trainiert, zunehmend zutreffende Kategorisierungen vorzunehmen, so dass die Zuordnung mit der Zeit immer besser wird. Ist ein Mindestmaß an Wahrscheinlichkeit für eine korrekte Zuordnung erreicht, kann die Programmierung bzw. das initiale Anlernen als abgeschlossen angesehen werden, wobei weiterhin hinzugelernt werden kann. Beispielsweise kann ein Fahrzeug bereits als Neufahrzeug mit einer Basisprogrammierung zur Nutzungskategorisierung ausgestattet sein, die im Laufe von Nutzungsprozessen anhand von Rückmeldungen der individuellen Fahrzeugnutzer oder anhand von überprüfbaren Vorhersagen weiter verfeinert wird. Beispielsweise kann eine ermittelten Nutzungskategorie „Einkaufsfahrt“ mit anschließendem Abstellen des Fahrzeugs auf dem Parkplatz eines Einkaufszentrums als korrekt gewertet werden, während eine Nutzungskategorie „Fahrt ins Büro“ mit anschließendem Abstellen des Fahrzeugs auf einem Schwimmbadparkplatz als inkorrekte Vorhersage gewertet werden kann.Using suitable feedback processes, the program is trained to make more and more accurate categorizations, so that the allocation gets better and better over time. If a minimum level of probability for a correct assignment has been reached, the programming or the initial learning can be regarded as completed, and learning can continue. For example, a vehicle can already be equipped as a new vehicle with basic programming for usage categorization, which in the course of usage processes based on feedback from the individual vehicle user or based on verifiable predictions is further refined. For example, a determined usage category "shopping trip" followed by parking the vehicle in a shopping center parking lot may be rated as correct, while a usage category "driving to the office" followed by parking the vehicle in a swimming pool parking lot may be rated as an incorrect prediction.

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.Further advantages and refinements of the invention result from the description and the attached drawing.

Die Erfindung ist anhand von Ausführungsbeispielen in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.The invention is shown schematically in the drawing using exemplary embodiments and is described below with reference to the drawing.

Figurenlistecharacter list

  • 1 zeigt ein Fahrzeug, wie es im Rahmen von vorteilhaften Ausgestaltungen eines erfindungsgemäßen Verfahrens verwendet werden kann. 1 shows a vehicle as it can be used within the scope of advantageous configurations of a method according to the invention.
  • 2 zeigt eine vorteilhafte Ausgestaltung eines erfindungsgemäßen Verfahrens in Form eines stark vereinfachten Flussdiagramms. 2 shows an advantageous embodiment of a method according to the invention in the form of a greatly simplified flowchart.

Ausführungsform(en) der Erfindungembodiment(s) of the invention

In 1 ist ein Fahrzeug, wie es im Rahmen der Erfindung Verwendung finden kann, schematisch gezeigt und insgesamt mit 100 bezeichnet.In 1 1 is a vehicle, as can be used within the scope of the invention, shown schematically and denoted by 100 in its entirety.

Das Fahrzeug 100 weist eine Innenraumüberwachungseinrichtung 109 auf, die in dem gezeigten Beispiel eine Kamera 105, die in Richtung des Innenraums des Fahrzeugs 100 gerichtet ist, umfasst. In dem Fahrzeug 100 befinden sich in dem gezeigten Beispiel ein Fahrer 101 und drei Passagiere 102, 103, 104. Zwei der Passagiere haben Gepäckstücke 106, 107 in die Fahrgastzelle des Fahrzeugs mitgebracht. Das Fahrzeug 100 ist über eine von einer Datenübertragungseinheit bereitgestellte Drahtlosverbindung 110 mit einer außerhalb des Fahrzeugs befindlichen Recheneinheit 108, beispielsweise einem Cloudserver, verbunden.The vehicle 100 has an interior monitoring device 109 which, in the example shown, includes a camera 105 which is directed in the direction of the interior of the vehicle 100 . In the example shown, there is a driver 101 and three passengers 102, 103, 104 in the vehicle 100. Two of the passengers have brought pieces of luggage 106, 107 with them into the passenger compartment of the vehicle. The vehicle 100 is connected to a computing unit 108 located outside the vehicle, for example a cloud server, via a wireless connection 110 provided by a data transmission unit.

In 2 ist eine vorteilhafte Ausgestaltung eines erfindungsgemäßen Verfahrens schematisch in Form eines vereinfachten Flussdiagramms dargestellt und insgesamt mit 200 bezeichnet. Bezüge zu Fahrzeugkomponenten in der Beschreibung des Verfahrens beziehen sich insbesondere auf das in 1 gezeigte Fahrzeug.In 2 an advantageous embodiment of a method according to the invention is shown schematically in the form of a simplified flow chart and is denoted overall by 200 . References to vehicle components in the description of the method relate in particular to the 1 vehicle shown.

Das Verfahren 200 beginnt in dem gezeigten Beispiel mit einem Schritt 210, in dem das Fahrzeug 100 gestartet wird bzw. der Fahrer 101 einsteigt. In einem Schritt 220 wird daraufhin die Innenraumüberwachungseinrichtung 109 gestartet und Innenraumdaten erzeugt, beispielsweise mit der Kamera 105 ein Bild bzw. ein Video des Fahrzeuginnenraums aufgenommen.In the example shown, the method 200 begins with a step 210 in which the vehicle 100 is started or the driver 101 gets in. In a step 220 the interior monitoring device 109 is then started and interior data is generated, for example an image or a video of the vehicle interior is recorded with the camera 105 .

In einem Schritt 230 werden die Innenraumdaten an eine Recheneinheit übertragen. Diese Recheneinheit kann beispielsweise in die Innenraumüberwachungseinrichtung 109 integriert sein, anderweitig in dem Fahrzeug 100 verbaut sein, oder außerhalb des Fahrzeugs (108) vorgesehen sein, so dass die Übertragung beispielsweise mittels der Drahtlosverbindung 110 (z.B. Funk, Mobilfunk, Radar, o.Ä.) erfolgen kann.In a step 230, the interior data is transmitted to a computing unit. This processing unit can, for example, be integrated into the interior monitoring device 109, installed elsewhere in the vehicle 100, or provided outside the vehicle (108), so that the transmission can be carried out, for example, by means of the wireless connection 110 (e.g. radio, mobile radio, radar, or similar). ) can be done.

Unabhängig davon, wo die Recheneinheit angeordnet ist, werden die Innenraumdaten dann in einem Schritt 240 derart ausgewertet, dass Personen 101, 102, 103, 104 und Objekte 106, 107 erkannt werden. Je nach Natur der Innenraumdaten können dazu verschiedene Mustererkennungsalgorithmen genutzt werden. Beispielsweise kann in Bilddaten nach bestimmten, beispielsweise mittels maschinellen Lernens festgelegten, Strukturen gesucht werden. So können Gesichter als solche erkannt werden und, sofern sie bereits bekannten Personen gehören, diesen zugeordnet werden. Objekte 106, 107 können ebenfalls erfasst werden und beispielsweise vorbestimmten Kategorien zugeordnet werden (z.B. Reisekoffer, Aktentasche, Einkaufskorb, bestimmte Kleidungsstücke wie Krawatte, Turnschuhe, Jogginghose, Businessrock, etc.). Insbesondere zur Personenerkennung kann auch auf Audiodaten zurückgegriffen werden, da Stimmen relativ zuverlässig identifizierbar sind. Auch andere Daten können zur Identifizierung von Personen und ggf. Objekten genutzt werden, bspw. von Sitzbelegungssensoren oder durch Analyse des Fahrstils und dergleichen.Irrespective of where the computing unit is arranged, the interior data is then evaluated in a step 240 in such a way that persons 101, 102, 103, 104 and objects 106, 107 are recognized. Depending on the nature of the interior data, different pattern recognition algorithms can be used. For example, a search can be made in image data for specific structures, for example those defined by means of machine learning. Faces can be recognized as such and, if they belong to known people, assigned to them. Objects 106, 107 can also be detected and, for example, assigned to predetermined categories (e.g. suitcases, briefcases, shopping baskets, specific items of clothing such as ties, sneakers, sweatpants, business skirts, etc.). Audio data can also be used in particular for person recognition, since voices can be identified relatively reliably. Other data can also be used to identify people and possibly objects, for example from seat occupancy sensors or by analyzing driving style and the like.

Sind mehrere Personen 101, 102, 103, 104 erkannt bzw. erfasst worden, kann in einem Schritt 250 eine Beziehung zwischen den Personen ermittelt werden. Beispielsweise kann erkannt werden, ob zwei Personen miteinander vertraut sind, indem die Körperhaltung und/oder Stimm- bzw. Sprachdaten ausgewertet werden.If several people 101, 102, 103, 104 have been identified or recorded, a step 250 can be used to determine a relationship between the people. For example, it can be recognized whether two people are familiar with one another by evaluating the posture and/or voice or speech data.

In einem Schritt 260 wird auf Basis der erkannten Objekte und Personen sowie ggf. der Beziehung zwischen den Personen eine Nutzungskategorie ermittelt. Beispielsweise kann ermittelt werden, dass es sich um eine Fahrt zur Arbeit handelt, wenn Krawatte, Businessschuhe und Aktenkoffer erkannt wurden, während eine Fahrt zum Einkaufen ermittelt werden kann, wenn beispielsweise ein Einkaufskorb oder dergleichen erkannt wurden. Eine Urlaubsreise kann beispielsweise an bequemer Kleidung, Familienangehörigen und Reisekoffer erkannt werden.In a step 260, a usage category is determined on the basis of the recognized objects and people and possibly the relationship between the people. For example, it can be determined that it is a trip to work if a tie, business shoes and briefcase have been recognized, while a trip to go shopping can be determined if, for example, a shopping basket or the like has been recognized. A holiday trip can be recognized, for example, by comfortable clothing, family members and suitcases.

Je nachdem, welche Nutzungskategorie ermittelt wurde, können in einem Schritt 270 eine oder mehrere Fahrzeugkomponenten angesteuert werden. Beispielsweise kann für eine Fahrt zur Arbeit ein Informationssender im Radio eingestellt werden und die Klimaanlage etwas kühler eingestellt werden, um Wachheit zu fördern, während bei einer ermittelten Urlaubsreise entspannende Musik abgespielt wird und die Sitze bequem eingestellt werden, um langes Sitzen so angenehm und ermüdungsfrei wie möglich zu gestalten. Selbstverständlich sind dies nur einfache Anwendungsbeispiele und keineswegs einschränkend zu verstehen. Alternativ oder zusätzlich kann als Fahrzeugkomponente die Datenübertragungseinheit zum Bereitstellen der Drahtlosverbindung 110 zum Übertragen der ermittelten Nutzungskategorie und optional der identifizierten Personen und/oder Objekte an die (108) oder eine andere entfernte Recheneinheit angesteuert werden.Depending on which usage category was determined, one or more vehicle components can be activated in a step 270 . For example, an information station can be tuned in to the radio for a commute and the air conditioning can be set slightly cooler to promote alertness, while relaxing music can be played for a determined holiday trip and the seats can be comfortably adjusted to make long sitting as comfortable and fatigue-free as possible to make possible. Of course, these are only simple application examples and are in no way to be understood as limiting. Alternatively or additionally, the data transmission unit for providing the wireless connection 110 for transmitting the determined usage category and optionally the identified persons and/or objects to (108) or another remote computing unit can be controlled as a vehicle component.

Ferner kann abhängig von der in Schritt 260 ermittelten Nutzungskategorie in einem Schritt 280 auch eine außerhalb des Fahrzeugs befindliche Vorrichtung gesteuert werden, die einer oder mehreren der erkannten Personen zugeordnet ist. Beispielsweise kann bei einer erkannten Urlaubsfahrt eine Heizung in der Wohnung des Fahrers abgeregelt werden, um Energie zu sparen oder es kann überprüft werden, ob ein Küchenherd abgeschaltet ist. Bei einer ermittelten Heimfahrt von der Arbeit kann beispielsweise eine Alarmanlage der Wohnung deaktiviert werden, kurz bevor die Wohnung erreicht wird oder die Wohnraumheizung auf Komforttemperatur hochgefahren werden. Auch hier sind selbstverständlich verschiedene andere Anwendungsmöglichkeiten gegeben.Furthermore, depending on the usage category determined in step 260, a device located outside of the vehicle that is assigned to one or more of the identified persons can also be controlled in a step 280. For example, when a holiday trip is detected, the heating in the driver's home can be turned down in order to save energy, or it can be checked whether a kitchen stove is switched off. When a journey home from work is determined, for example, an alarm system in the apartment can be deactivated shortly before the apartment is reached or the heating in the living area is turned up to a comfortable temperature. Of course, there are also various other possible applications here.

Einige Beispiele für Relationen zwischen erkannten Objekten, ermittelten Nutzungskategorien und daraus abgeleiteten Steuerungsoptionen für Vorrichtungen innerhalb und außerhalb des Fahrzeugs sind in nachfolgender Tabelle zusammengefasst. Die Tabelle bzw. die darin dargestellten Zusammenhänge können insbesondere in einem Steuergerät bzw. der o.g. Recheneinheit gespeichert sein, das zur Durchführung der Erfindung programmtechnisch eingerichtet ist. Erkanntes Objekt Ermittelte Nutzungskategorie Aktion intern Aktion extern Aktenkoffer; Krawatte; Anzug; Werkzeugkoffer Arbeitsweg Klimaanlage kühl; Navigation Arbeit; Radio Information; Freisprechanlage aktivieren Garagentor schließen; Haustür schlie-ßen Reisekoffer; Hawaiihemd; Spielzeug Urlaubsfahrt Radio Unterhaltung; Klimaanlage Komfort; Sitzeinstellung Komfort Herd abschalten; Heizung drosseln; Alarmanlage aktivieren Some examples of relationships between detected objects, determined usage categories and control options for devices inside and outside the vehicle derived from them are summarized in the table below. The table or the relationships shown therein can be stored, in particular, in a control device or the above-mentioned computing unit, which is set up in terms of programming to implement the invention. recognized object Determined usage category action internal action external briefcase; Necktie; Men's suit; tool case commute air conditioning cool; navigation work; radio information; Activate the hands-free system close garage door; Close front door trunks; hawaiian shirt; toy holiday trip radio entertainment; air conditioning comfort; Seat adjustment comfort turn off the stove; turn down the heating; Activate alarm system

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

  • DE 19936116 A1 [0003]DE 19936116 A1 [0003]

Claims (11)

Verfahren (200) zum Betreiben eines Fahrzeugs (100) mit einer Innenraumüberwachungseinrichtung (109) umfassend Erfassen (220) von Innenraumdaten mittels der Innenraumüberwachungseinrichtung (109), Identifizieren (240) von zumindest einer Person (101, 102, 103, 104) innerhalb des Fahrzeugs auf Basis der Innenraumdaten, Identifizieren (240) zumindest eines Objekts (106, 107), das der zumindest einen Person (101, 102, 103, 104) zugeordnet ist, auf Basis der Innenraumdaten, Ermitteln (260) einer Nutzungskategorie auf Basis der zumindest einen identifizierten Person und dem zumindest einen identifizierten Objekt, und Steuern (270) zumindest einer Fahrzeugkomponente in Abhängigkeit von der ermittelten Nutzungskategorie.Method (200) for operating a vehicle (100) with an interior monitoring device (109) comprising Recording (220) of interior data using the interior monitoring device (109), Identifying (240) at least one person (101, 102, 103, 104) inside the vehicle based on the interior data, Identifying (240) at least one object (106, 107) that is assigned to the at least one person (101, 102, 103, 104) on the basis of the interior data, determining (260) a usage category based on the at least one identified person and the at least one identified object, and Control (270) at least one vehicle component depending on the determined usage category. Verfahren (200) nach Anspruch 1, wobei die Innenraumüberwachungseinrichtung (109) eine Kamera (105) und/oder ein Mikrophon und/oder einen Sitzbelegungssensor und/oder eine Bedieneinheit und/oder Drahtlosschnittstelle des Fahrzeugs (100) umfasst.Method (200) according to claim 1 , wherein the interior monitoring device (109) comprises a camera (105) and/or a microphone and/or a seat occupancy sensor and/or an operating unit and/or wireless interface of the vehicle (100). Verfahren (200) nach Anspruch 1 oder 2, wobei die zumindest eine Fahrzeugkomponente eines oder mehrere aus der Gruppe, umfassend ein Unterhaltungssystem, einen Fahrzeugsitz, eine Innenraumbeleuchtung, ein Fahrwerk, einen Antriebsstrang, ein Abgassystem, eine Klimaanlage, eine Datenübertragungseinheit (110) und ein Navigationssystem, umfasst.Method (200) according to claim 1 or 2 , wherein the at least one vehicle component comprises one or more from the group comprising an entertainment system, a vehicle seat, interior lighting, a chassis, a powertrain, an exhaust system, an air conditioning system, a data transmission unit (110) and a navigation system. Verfahren (200) nach einem der vorstehenden Ansprüche, umfassend ein Senden (230) der Innenraumdaten und/oder einer Information bezüglich der zumindest einen identifizierten Person und/oder des zumindest einen identifizierten Objekts und/oder der Nutzungskategorie und/oder einer Information zur Steuerung der zumindest einen Fahrzeugkomponente mittels einer Drahtlosverbindung (110).Method (200) according to one of the preceding claims, comprising sending (230) the interior data and/or information relating to the at least one identified person and/or the at least one identified object and/or the usage category and/or information for controlling the at least one vehicle component by means of a wireless connection (110). Verfahren (200) nach einem der vorstehenden Ansprüche, wobei das Identifizieren (240) der zumindest einen Person und/oder das Identifizieren (240) des zumindest einen Objekts und/oder das Ermitteln (260) der Nutzungskategorie außerhalb und/oder innerhalb des Fahrzeugs (100) durchgeführt wird.Method (200) according to one of the preceding claims, wherein the identification (240) of the at least one person and/or the identification (240) of the at least one object and/or the determination (260) of the usage category outside and/or inside the vehicle ( 100) is performed. Verfahren (200) nach einem der vorstehenden Ansprüche, umfassend ein Steuern (280) einer der zumindest einen Person zugeordneten Vorrichtung, die nicht Teil des Fahrzeugs (100) ist, in Abhängigkeit von der Nutzungskategorie.Method (200) according to one of the preceding claims, comprising controlling (280) a device which is assigned to the at least one person and which is not part of the vehicle (100) as a function of the usage category. Verfahren (200) nach Anspruch 6, wobei die Vorrichtung eines oder mehrere aus der Gruppe aus einer Schließanlage einer Wohnung, einer Wohnraumheizung, einem Küchengerät, einer Wohnraumbeleuchtung und einer Alarmanlage umfasst.Method (200) according to claim 6 , wherein the device comprises one or more from the group consisting of a locking system of an apartment, a living space heating system, a kitchen appliance, a living space lighting system and an alarm system. Verfahren (200) nach einem der vorstehenden Ansprüche, wobei das Identifizieren (240) von Personen und/oder Objekten und/oder das Ermitteln der Nutzungskategorie maschinelles Lernen umfasst.Method (200) according to one of the preceding claims, wherein the identification (240) of persons and/or objects and/or the determination of the usage category comprises machine learning. Recheneinheit (108), die dazu eingerichtet ist, alle Verfahrensschritte eines Verfahrens (200) nach einem der vorstehenden Ansprüche durchzuführen.Arithmetic unit (108) which is set up to carry out all method steps of a method (200) according to one of the preceding claims. Computerprogramm, das eine Recheneinheit dazu veranlasst, alle Verfahrensschritte eines Verfahrens (200) nach einem der Ansprüche 1 bis 8 durchzuführen, wenn es auf der Recheneinheit ausgeführt wird.Computer program that causes a computing unit to perform all method steps of a method (200) according to one of Claims 1 until 8th to be performed when it is executed on the computing unit. Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 10.Machine-readable storage medium with a computer program stored on it claim 10 .
DE102021212231.0A 2021-10-29 2021-10-29 Method for operating a vehicle with an interior monitoring device Pending DE102021212231A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102021212231.0A DE102021212231A1 (en) 2021-10-29 2021-10-29 Method for operating a vehicle with an interior monitoring device
CN202211334046.8A CN116061853A (en) 2021-10-29 2022-10-28 Method for operating a vehicle with an interior monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102021212231.0A DE102021212231A1 (en) 2021-10-29 2021-10-29 Method for operating a vehicle with an interior monitoring device

Publications (1)

Publication Number Publication Date
DE102021212231A1 true DE102021212231A1 (en) 2023-05-04

Family

ID=85983446

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102021212231.0A Pending DE102021212231A1 (en) 2021-10-29 2021-10-29 Method for operating a vehicle with an interior monitoring device

Country Status (2)

Country Link
CN (1) CN116061853A (en)
DE (1) DE102021212231A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19936116A1 (en) 1999-07-31 2001-02-15 Bosch Gmbh Robert Device for decommissioning an illegally used motor vehicle
US20160261425A1 (en) 2014-06-23 2016-09-08 Google Inc. Methods and apparatus for using smart environment devices via application program interfaces
EP2960111B1 (en) 2014-06-27 2018-06-13 Audi Ag Method for operating an illumination device of a passenger compartment of a motor vehicle and associated illumination device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19936116A1 (en) 1999-07-31 2001-02-15 Bosch Gmbh Robert Device for decommissioning an illegally used motor vehicle
US20160261425A1 (en) 2014-06-23 2016-09-08 Google Inc. Methods and apparatus for using smart environment devices via application program interfaces
EP2960111B1 (en) 2014-06-27 2018-06-13 Audi Ag Method for operating an illumination device of a passenger compartment of a motor vehicle and associated illumination device

Also Published As

Publication number Publication date
CN116061853A (en) 2023-05-05

Similar Documents

Publication Publication Date Title
DE102018120385A1 (en) VEHICLE VEHICLE SMOKE DETECTION AND IMPROVEMENT
DE102018130755A1 (en) EXTERNAL INFORMATION PRESENTATION
DE102018206717A1 (en) Method for the driving situation-dependent operation of a motor vehicle system of a motor vehicle, personalization device and motor vehicle
WO2020083446A1 (en) Method for controlling a parking process
DE102015116832A1 (en) Adaptive driver identification merge
DE112009001231T5 (en) Vehicle settings based driver identification system
DE102007023140A1 (en) Method for recognition or identification of driver of motor vehicle, involves capturing movement or movement sequence of driver or person by camera system
DE102016115754A1 (en) Vehicle unlocking systems and methods
DE212017000095U1 (en) Wireless keyless entry systems
DE102005027010A1 (en) Vehicle control unit and vehicle control system including the vehicle control unit
DE102013216975A1 (en) Method and device for subjective command control of vehicle systems
DE102014222426A1 (en) Radio key for adapting a configuration of a means of transportation
DE102014109585A1 (en) Driver profile control system for motor vehicles
DE102020125524A1 (en) MULTIMODAL KEYLESS MULTI-SEAT VEHICLE PERSONALIZATION
DE102013223684A1 (en) A method and apparatus for giving recommendations to a plurality of vehicle occupants
DE102019202230A1 (en) Method for personalizing a motor vehicle, personalization device, motor vehicle, server device
DE102006054574B4 (en) Method and device for identifying the driver of a vehicle
DE102019130665A1 (en) THROUGH A CLOUD CONFIGURABLE DIAGNOSTIC FROM APPLICATION AUTHORIZATION CONTROL
DE102020112275A1 (en) IDENTITY ACCESS MANAGEMENT FOR VEHICLES
DE112018001217T5 (en) Apparatus and method for storing a custom vehicle setting
DE112016007250T5 (en) Method and system for optimizing speech recognition and information search based on talkgroup activities
DE102020101777A1 (en) PRE-LOADING AND DELAYED CHARGING RESULTS OF DIGITAL AUXILIARY LANGUAGE SEARCH INSTALLED IN THE VEHICLE
DE102022112257A1 (en) SYSTEMS AND PROCEDURES FOR PREDICTING A CUSTOMER'S RENTAL VEHICLE PREFERENCES
DE102016004579A1 (en) Control device and method for controlling at least one vehicle component of a motor vehicle
DE102020119774A1 (en) System and method for transferring different settings between vehicles of different types

Legal Events

Date Code Title Description
R163 Identified publications notified