DE102019120265A1

DE102019120265A1 - Vorhersage des dynamischen Ansprechens

Info

Publication number: DE102019120265A1
Application number: DE102019120265.5A
Authority: DE
Inventors: Glen Anderson
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2018-08-28
Filing date: 2019-07-26
Publication date: 2020-03-05
Also published as: CN110866600A; US20190050732A1

Abstract

Ein intelligenter Raum kann eine beliebige überwachte Umgebung sein, wie etwa eine Fabrik, eine Wohnung, ein Büro, ein öffentlicher oder privater Bereich in einem Gebäude oder draußen (z.B. ein Park, ein Gehsteig, eine Straße usw.) oder auf oder in einer Vorrichtung, einem Transportmechanismus oder einer anderen Maschine. Eine AI, z.B. ein neuronales Netzwerk, kann verwendet, werden, um den intelligenten Raum zu überwachen und Aktivität in dem intelligenten Raum vorherzusagen. Wenn ein Vorfall auftritt, wie etwa eine Maschinenblockierung, eine stürzende Person usw. kann ein Hinweis ausgegeben werden und das neuronale Netz auf das Ansprechen eines Agenten auf den Vorfall überwachen. Wenn die AI vorhersagt, dass der Agent eine angemessene Reaktion unternimmt, kann sie den Hinweis löschen, andernfalls kann sie den Agenten weiter anweisen und/oder den Hinweis eskalieren. Die AI kann visuelle oder andere Daten, die den intelligenten Raum präsentieren, analysieren, um Aktivität von Agenten oder Maschinen, denen Sensoren fehlen, vorherzusagen, um direkt Informationen über Aktivität, die durchgeführt wird, bereitzustellen.

Description

Technisches Gebiet
Die vorliegende Offenbarung betrifft intelligente Räume und insbesondere eine AI, die beim Überwachen eines intelligenten Raums in Situationen hilft, bei denen Sensoren unzureichend oder nicht verfügbar sind.
Hintergrund und Beschreibung des Stands der Technik
In intelligenten Räumen, die eine beliebige Umgebung sein können, wie etwa eine Fabrik, ein Herstellungsbereich, eine Wohnung, ein Büro, ein öffentlicher oder privater Bereich in einem Gebäude oder draußen (z.B. in einem Park, auf einem Bürgersteig, einer Straße usw.), sowie auf oder in einer Vorrichtung, einer intelligenten Transportvorrichtung oder in Bezug auf eine Vorrichtung kann es nützlich sein, die Aktivität von Personen und anderen Agenten, wie etwa Automatisierungsvorrichtungen, Transportvorrichtungen, intelligenten Transportvorrichtungen, Ausrüstung, Robotern, Automaten oder anderen Vorrichtungen zu überwachen und vorherzusagen. Es wäre nützlich zu wissen, ob und wann etwas (eine Person und/oder Ausrüstung), z.B. ein „Responder“, auf ein Problem, einen Zustand oder eine Anweisung (z.B. eine Anweisung in Bezug auf oder als Reaktion auf ein Problem oder einen Zustand), im Folgenden „Ereignis“, anspricht oder ob und wann ein Responder einen Artikel in dem intelligenten Raum verwendet oder gleich verwendet. Zum Beispiel können Maschinen heruntergefahren oder in den Leerlauf versetzt werden, wenn sie nicht im Gebrauch sind und unwahrscheinlich verwendet werden, oder wenn ein Vorfall, ein Unfall oder eine andere Situation eine Notwendigkeit nahelegt, den Betriebszustand einer Maschine zu ändern.
In existierenden intelligenten Räumen kann ein intelligenter Raum Sensoren enthalten, die Bewegung oder Annäherung eines Responders an ein Ereignis detektieren können, aber Schwellen der Distanz für jedes Objekt oder jeden Artikel in Bezug auf das Ereignis müssen durch menschliche Analyse und Softwareeinstellungen bestimmt werden, um zu repräsentieren, was eine gültige Reaktion ist. Ferner benötigt alles zu Verfolgende einen Sensor und Konnektivität. Lokale Sensoren können zum Beispiel die Annäherung von Personen detektieren. Wenn Sensoren in einer gesamten Umgebung und in jedem Artikel, der ein Problem aufweisen könnte, eingebettet sind, kann es möglich sein, zu bestimmen, dass ein Responder auf das Ereignis angesprochen hat, und indem ein Sensor das Ereignis nicht mehr meldet, kann angenommen werden, dass der Responder das Ereignis aufgelöst hat. Wie erwähnt ist es jedoch erforderlich, für jedes Ereignis alle möglichen Responder und Sensoren zu definieren, die verwendet werden müssen, um zu bestimmen, ob eine Reaktion stattfindet oder stattgefunden hat, und Sensoren müssen verwendet werden, um zu bestimmen, dass das Ereignis nicht mehr auftritt.
Figurenliste
Ausführungsformen werden durch die folgende ausführliche Beschreibung in Verbindung mit den beigefügten Zeichnungen ohne Weiteres verständlich. Um diese Beschreibung zu erleichtern, bezeichnen gleiche Bezugszahlen gleiche Strukturelemente. In den Figuren der beigefügten Zeichnungen werden Ausführungsformen anhand von Beispielen und nicht zur Beschränkung dargestellt.

1 zeigt eine beispielhafte intelligente Raumumgebung 100 und Überwachungs-AI gemäß verschiedenen Ausführungsformen.
2 zeigt ein beispielhaftes Flussdiagramm zum Herstellen einer AI und der AI-Überwachung eines intelligenten Raums gemäß verschiedenen Ausführungsformen.
3 zeigt ein beispielhaftes System 300 gemäß verschiedenen Ausführungsformen.
4 zeigt ein beispielhaftes System mit Vorfallverwaltung intelligenter Transportvorrichtungen, das gemäß verschiedenen Ausführungsformen arbeiten kann.
5 zeigt ein beispielhaftes neuronales Netzwerk gemäß verschiedenen Ausführungsformen.
6 zeigt eine beispielhafte Software-Komponentenansicht eines Vorfallverwaltungssystems intelligenter Transportvorrichtungen gemäß verschiedenen Ausführungsformen.
7 zeigt eine beispielhafte Hardware-Komponentenansicht eines Vorfallverwaltungssystems intelligenter Transportvorrichtungen gemäß verschiedenen Ausführungsformen.
8 zeigt eine beispielhafte Computervorrichtung 800, die Aspekte der hier beschriebenen Vorrichtungen und/oder Verfahren verwenden kann.
9 zeigt ein beispielhaftes computerlesbares Speicherungsmedium 900 mit Anweisungen zum Praktizieren verschiedener hier besprochener Ausführungsformen.

Ausführliche Beschreibung
In der folgenden ausführlichen Beschreibung wird auf die beigefügten Zeichnungen Bezug genommen, die einen Teil hiervon bilden und in denen gleiche Bezugszahlen durchweg gleiche Teile bezeichnen und in denen zur Veranschaulichung Ausführungsformen gezeigt sind, die praktiziert werden können. Es versteht sich, dass andere Ausführungsformen benutzt und strukturelle oder logische Änderungen vorgenommen werden können, ohne vom Schutzumfang der vorliegenden Offenbarung abzuweichen. Die folgende ausführliche Beschreibung ist deshalb nicht im einschränkenden Sinne aufzufassen, und der Schutzumfang von Ausführungsformen wird durch die angefügten Ansprüche und ihre Äquivalente definiert. Es können alternative Ausführungsformen der vorliegenden Offenbarung und ihrer Äquivalente konzipiert werden, ohne vom Wesen oder Schutzumfang der vorliegenden Offenbarung abzuweichen. Es sollte beachtet werden, dass nachfolgend offenbarte gleiche Elemente in den Zeichnungen durch gleiche Bezugszahlen angegeben werden.
Operationen verschiedener Verfahren können als vielfache separate Aktionen oder als aufeinanderfolgende Operationen beschrieben werden, je nachdem, wie es für das Verständnis des beanspruchten Gegenstands am hilfreichsten ist. Die Reihenfolge der Beschreibung sollte jedoch nicht dahingehend ausgelegt werden, dass sie impliziert, dass diese Vorgänge notwendigerweise von der Reihenfolge abhängig sind. Insbesondere werden diese Vorgänge möglicherweise nicht in der Reihenfolge der Darstellung durchgeführt. Beschriebene Operationen können in einer anderen Reihenfolge als bei den beschriebenen Ausführungsformen ausgeführt werden. In zusätzlichen Ausführungsformen können verschiedene zusätzliche Operationen durchgeführt werden und/oder beschriebene Operationen weggelassen, unterteilt oder kombiniert werden. Der Ausdruck „A und/oder B“ bedeutet für die Zwecke der vorliegenden Offenbarung (A), (B) oder (A und B). Der Ausdruck „A, B und/oder C“ bedeutet für die Zwecke der vorliegenden Offenbarung (A), (B), (C), (A und B), (A und C), (B und C) oder (A, B und C). Die Beschreibung kann die Ausdrücke „in einer Ausführungsform“ oder „in Ausführungsformen“ verwenden, die sich jeweils auf eine oder mehrere der gleichen Ausführungsform oder unterschiedlicher Ausführungsformen beziehen können. Darüber hinaus sind die Begriffe „umfassen“, „aufweisen“, „enthalten“ und dergleichen, wie sie in Bezug auf die Ausführungsformen der vorliegenden Offenbarung verwendet werden, synonym.
1 zeigt eine beispielhafte intelligente Raumumgebung 100 und Überwachungs-AI gemäß verschiedenen Ausführungsformen, die Artikel 102-110, Sensoren 114-120, die die Artikel überwachen, und eine dem intelligenten Raum zugeordnete 126 AI 124 umfasst. Es versteht sich, dass ein Artikel oder Artikel 102-110 ein beliebiges Ereignis, eine Begebenheit, eine Situation, ein Ding, eine Person, ein Problem usw. repräsentieren kann, die identifiziert werden können. Ellipsen 112 geben an, dass dargestellte Artikel beispielhaft sind und es viel mehr Artikel in dem intelligenten Raum geben kann. Ein Artikel kann greifbar sein, wie etwa eine Maschine 102, die Aufmerksamkeit benötigt, Waren 104, die gestapelt sind und auf Verarbeitung, Auslieferung usw. warten, oder eine Person 106, 108, oder eine Vorrichtung 110, wie etwa ein Förderband, mit dem an Artikeln wie den Waren 104 gearbeitet werden kann. Ein Artikel kann auch nicht greifbar sein, wie etwa eine zu lösende Situation. Wenn zum Beispiel jemand, wie etwa eine Person 106, in der Fabrik oder in einem Park hinfallen sollte, muss darauf angesprochen werden, um den Sturz zu behandeln, und ein nichtgreifbarer Artikel kann den Wunsch eines Ansprechens auf den Sturz repräsentieren. Ein nichtgreifbarer Artikel kann eine Menge von Beschränkungen oder eine Abhängigkeitsliste umfassen, die erfüllt werden muss, die einem ordnungsgemäßen Ansprechen auf einen Artikel wie etwa den Sturz entspricht.
Bei dieser Ausführungsform wird der Ausdruck „Artikel“ verwendet, um sowohl greifbare als auch nichtgreifbare Dinge abzudecken, die Sensoren 114-120, die einen Zustand oder Status des Artikels angeben, aufweisen können oder auch nicht. Für Artikel, bei denen Sensoren, die den Betriebszustand oder -status angeben, wie etwa eine Person 106, oder Artikel, denen Sensoren, die für einen nichtgreifbaren Artikel relevant sind, fehlen, wie etwa ein zu lösendes Problem, kann eine dem intelligenten Raum 100 zugeordnete 124 künstliche Intelligenz (AI) 122 verwendet werden, um den intelligenten Raum und etwaige Artikel in dem intelligenten Raum zu überwachen und/oder auszuwerten und Informationen zu bestimmen, für die Sensoren fehlen. Der Ausdruck AI soll sich im Allgemeinen auf ein beliebiges Schlussfolgerungssystem auf Maschinenbasis beziehen, darunter, aber ohne Beschränkung darauf, Beispiele wie Maschinenlernen, Expertensysteme, automatisches Schlussfolgern, intelligentes Abrufen, Fuzzy-Logik-Verarbeitung, Wissenstechnik, neuronale Netzwerke, Prozessoren natürlicher Sprache, Robotik, tiefes Lernen, hierarchisches Lernen, visuelle Verarbeitung usw.
Bei verschiedener vorliegender Besprechung von AI wird Vertrautheit mit AI, neuronalen Netzwerken, einem vorwärtsgekoppelten neuralen Netzwerk (FNN), einem neuralen Faltungsnetzwerk (CNN), tiefem Lernen und Herstellen einer AI, eines Modells und seiner Funktionsweise vorausgesetzt. Siehe die nachfolgende Besprechung mit Bezug auf 5. Und siehe auch die beispielhaften Schriften: Deep Learning von Goodfellow et al., MIT Press (2016) (bei dem Internet-URL (Uniform Resource Locator) www*deeplearningbook*org); www*matthewzeiler* com/wpcontent/uploads/2017/07/arxive2013*pdf; Dynamic Occupancy Grid Prediction for Urban Autonomous Driving: A Deep Learning Approach with Fully Automatic Labeling, Hoerman et al. 2017, bei der Internet-URL arxiv.org/abs/ 1705.08781v2; und Nuss et al. 2016, A Random Finite Set Approach for Dynamic Occupancy Grid Maps with Real-Time Application bei dem Internet-URL arxiv*org/abs/1605*02406 (um unbeabsichtigte Hyperlinks zu verhindern, wurden Punkte in den vorausgehenden URLs mit Sternchen ersetzt).
Bei einer Ausführungsform ist die AI eine Softwareimplementierung, die in einer anderen Vorrichtung, einem anderen System, einem anderen Artikel usw. in dem intelligenten Raum arbeitet. Bei einer anderen Ausführungsform ist die AI in einer getrennten Maschine angeordnet, die kommunikativ mit dem intelligenten Raum gekoppelt ist. Bei einer weiteren Ausführungsform ist die AI in einer mobilen Datenverarbeitungsplattform, wie etwa einer intelligenten Transportvorrichtung, angeordnet und kann als „Roboter“ bezeichnet werden, der innerhalb und außerhalb des intelligenten Raums queren kann. Es versteht sich, dass eine intelligente Transportvorrichtung, ein Roboter oder eine andere mobile Maschine mittels einer oder mehrerer Kombinationen von Gehbewegung (Wandertyp), Rollen, Trittflächen, Spuren, Drähte, magnetisches Bewegen/Schweben, Fliegen usw. mobil sein kann.
Bei einer Ausführungsform kann eine AI verwendet werden, um einen intelligenten Raum zu überwachen und/oder Agent-Aktionen und Artikel-Interaktion basierend auf überwachter Bewegung in dem Raum sowie Sensoren, die dem Raum und/oder dem Artikel bzw. den Artikeln zugeordnet sind, vorherzusagen. Bei einer Ausführungsform kann ein dynamisches Belegungsgitter (DOG) verwendet werden, um ein tiefes CNN zu trainieren, menschliche und Maschineninteraktion mit Artikeln, z.B. Objekten, und Orten zu erleichtern. Es versteht sich, dass ein neuronales Netzwerk des CNN-Typs ein solches ist, das mit Daten, die ein gitterartiges Format aufweisen, z.B. den Pixeln, die von einer Überwachungsvorrichtung ausgegeben werden können (siehe die nachfolgend Überwachungsvorrichtung 126) besonders effektiv sein kann. Das CNN kann in Abständen oder kontinuierlich den intelligenten Raum überwachen und Aktivitätsmuster lernen und insbesondere typische Reaktionen und/oder Aktionen lernen, die als Reaktion auf in dem intelligenten Raum auftretender Ereignisse auftreten können. Es versteht sich, dass ein CNN für beispielhafte Zwecke dargestellt ist und wie mit 5 besprochen andere Arten von AI und/oder neuronalen Netzwerken verwendet werden können, um prädiktive Fähigkeiten bereitzustellen, wie etwa Vorhersage der Bewegung unabhängiger Agenten durch eine überwachte Umgebung.
Bei einer Ausführungsform können Reaktionen Aktivierung von Artikeln, Statusänderungen für Sensoren sowie Bewegung von Objekten/Personen/usw., die keine Sensoren aufweisen, die aber mittels einer oder mehrerer Überwachungsvorrichtungen identifiziert werden können, umfassen. Bei einer Ausführungsform kann die AI unbeaufsichtigtes tiefes Lernen (mit automatischer Kennzeichnung oder ohne Kennzeichnung) verwenden, wobei die AI sich selbst durch Beobachtung von Interaktionen in dem Raum, z.B. Überwachung von Agent-Kontakt mit Artikeln, Betätigung einer Vorrichtung (die ein Artikel ist), Benutzerinteraktion mit einem Artikel, Vorrichtungsaktivierung, trainieren kann. Es versteht sich, dass Artikel (wie etwa IOT-Vorrichtungen) eingebettete und/oder zugeordnete Sensoren aufweisen können, wie etwa die Sensoren 114-120, die Daten bezüglich Artikelstatus, Benutzung, Aktivität, Problemen usw. zurückgeben können. Für greifbare Artikel, denen Sensoren fehlen, oder wenn Sensoren nicht in der Lage sind, genug Informationen bereitzustellen oder bei einem nichtgreifbaren Artikel solche fehlen, kann die AI Daten mindestens teilweise auf der Basis ihrer Überwachung des intelligenten Raums bereitstellen.
Für Fachleute ist erkennbar, dass die AI 122 probabilistische Schlussfolgerungsmodelle oder andere Techniken zum Modellieren und Analysieren eines intelligenten Raums und darin auftretender Ereignisse anwenden kann. Ferner versteht sich, dass, obwohl die AI-Implementierung unbeaufsichtigt und selbstlernend sein kann, die AI bei anderen Ausführungsformen z.B. durch Rückpropagation oder eine andere Technik trainiert werden kann, um der AI einen Startkontext zum Erkennen typischer Artikel in dem intelligenten Raum zu geben und um das Identifizieren von Artikeln, die dem intelligenten Raum neu sind, zu erleichtern. Artikelerkennungstraining kann umfassen, Erkennung mit Daten von Sensoren zu verknüpfen, wie etwa in IOT-Vorrichtungen in dem intelligenten Raum, sowie auf der Basis oder mindestens teilweisen Basis visueller Eingaben. Während des Überwachens einer Umgebung, gleichgültig, ob das AI trainiert oder autodidaktisch war, kann die AI die Umgebung (z.B. den intelligenten Raum) weiter überwachen und typische Aktivitäten lernen, die in dem intelligenten Raum auftreten, und deshalb in der Lage sein, Reaktionen auf Ereignisse in dem intelligenten Raum zu identifizieren. Dies ermöglicht der AI außerdem, auszuwerten (z.B. vorherzusagen), ob Aktivität in einem intelligenten Raum einer geeigneten Antwort auf einen Artikel (z.B. ein bestimmtes Ereignis, das in dem intelligenten Raum geschehen ist) entspricht. Wenn die AI vorhersagt, dass eine Reaktion auf ein Ereignis/ein Problem/einen Posten/usw. nicht aufgelöst wird oder nicht auf geeignete Weise behandelt wird, kann die AI Aktionen unternehmen. Es wird angenommen, dass Fachleute das Training und den Betrieb eines neuronalen Netzes verstehen, wie etwa des hier erwähnten beispielhaften Tief-Lern-CNN, und deshalb wird die Funktionsweise der Umgebung besprochen und nicht wie die AI konstruiert und trainiert wird.
Somit zum Beispiel in der oben erwähnten Situation der stürzenden Person, wenn die Person (Artikel 106) stürzt, eine AI 122, die mit einer Vorrichtung 126 (oder Vorrichtungen), wie etwa einer oder mehreren Kameras, Feld-, Strahl-, LiDAR- (eine Abkürzung für Technologie der Lichtdetektion und Entfernungsmessung) oder anderer Sensortechnologie, die Bilden einer elektronischen Repräsentation eines interessierenden Bereichs, wie des intelligenten Raums, erlaubt. Es versteht sich, dass diese aufgelisteten Überwachungsvorrichtungen beispielhaften Zwecken dienen und dass es viele verschiedene Technologien gibt, die einzeln oder in Kombination mit anderer Technologie verwendet werden können, um der AI Daten entsprechend einem interessierenden Bereich, wie etwa dem intelligenten Raum, bereitzustellen. Ferner versteht sich, dass die Überwachungsvorrichtung 126 Vision auf Maschinenbasis entsprechen kann, wenn die AI in einem Roboter enthalten ist. Und ein Roboter kann von dem intelligenten Raum unabhängig sein oder kooperativ Aktionen in Verbindung mit dem intelligenten Raum ausführen und/oder kooperativ durchführen. Bei einer Ausführungsform kann, obwohl die Person 106 scheinbar keine zugeordneten Sensoren aufweist, um den Status des Artikels/der Person direkt anzugeben, die AI durch Überwachen von Aktivität in dem intelligenten Raum den Sturz identifizieren und dann eine Reaktion auf den Sturz suchen und/oder einleiten sowie nach einer effektiven Reaktion auf das Ereignis hin überwachen. Es versteht sich, dass die AI lernen kann, dass, wenn es einen Sturz gibt, eine andere Person (Artikel 108) zu dem gefallenen Artikel/der gefallenen Person 106 gehen und dieser helfen sollte.
Es versteht sich, dass als Reaktion auf den Sturz ein Artikel (Aufgabenliste, Anforderungsliste usw.) bezüglich des Sturzes mit einer Liste von zu unternehmenden Aktionen erzeugt werden kann, wie etwa:

• Ausgeben eines Hinweises (z.B. auf einem lokalen Nachrichtenübermittlungs- oder Kommunikationssystem, blinkende Lampen, Textrundsendung, Sprachhinweis, usw.) an mögliche Responder, dass eine Person 106 gestürzt ist;
• Überwachen auf Reaktion(en) auf den Sturz z.B. mit Sensoren 114-120, Vorrichtung(en) 126;
• Auswerten, ob die Reaktion effektiv und/oder eine geeignete Reaktion ist;
• wenn dem so ist, z.B. jemand zu der gestürzten Person gegangen ist, um ihr zu helfen, Löschen des Hinweises; und
• wenn keine geeignete Reaktion identifiziert wird, Unternehmen weiterer und/oder anderer Aktionen, wie etwa Eskalieren.

Es versteht sich, dass eine Liste eine Reihenfolge zum Ausführen von Operationen vorgeben kann, aber Operationen parallel oder in beliebiger Reihenfolge ausgeführt werden können, sofern es keine operationale Abhängigkeit in auszuführenden Operationen gibt. Es versteht sich, dass Eskalation eine beliebige Aktion sein kann, um weiter eine geeignete Reaktion auf das Ereignis zu erhalten, wie etwa Vergrößern des Umfangs von über das Ereignis kontaktierten Artikeln, wie etwa Durchführen einer allgemeinen Sendung nach Hilfe, wenn anfänglich nur designierte Responder identifiziert wurden, oder Kontaktieren von Personen in der Nähe der gestürzten Person, wenn sie kein typischer Responder sind, oder Einbringen von Hilfe von Dritten (z.B. Notdiensten, Ambulanz, Feuerwehr usw.). Bei der dargestellten Ausführungsform kann der Responder 108 einen oder mehrere Sensoren 118 tragen, die direktere Interaktion mit der Person und Bestimmung, dass die Person 106 zu der gestürzten Person geht oder in Richtung dieser, erlauben. Der Sensor 118 kann geometrische, Orts- und/oder andere Daten über die Person bereitstellen. Die AI kann auch nach einer Reaktion auf etwaige Probleme, die der Sensor 118 angeben kann, schauen und/oder diese einleiten, sowie ein Problem überwachen und bestimmen, dass nicht durch den Sensor 118 angegeben wird.
In einem anderen Beispiel kann ein Artikel 110 ein Förderband sein, und ein eingebetteter oder zugeordneter Sensor 120 kann eine Blockierung angeben, die den Betrieb des Bands gestoppt hat. Die AI kann die Blockierung erkennen und mittels Erfahrung (z.B. Überwachung/Training/Lemen) verstehen, dass ein Hinweis, eine Nachricht, ein Anruf usw. an einen Techniker, z.B. eine Person 106, zu tätigen ist, der zu dem Förderband entsendet wird, um es zu reparieren. Wie bei dem Sturzbeispiel kann die Blockierung Erzeugung eines nichtgreifbaren Artikels entsprechend dem Problem und potentieller Lösungspfade auslösen, zur Auflösung des Problems kann die AI nach einer Lösung überwachen, z.B. einer Annäherung der Technikerperson 106, und wenn dies nicht stattfindet, kann die AI eine Aktion unternehmen, um die Lösung zu ermöglichen, wie etwa durch Aussenden anderer Hinweise, Kontaktieren von Reservetechnikern, Ertönenlassen eines Alarms usw. Wie oben erwähnt kann sich bei einer Ausführungsform ein nichtgreifbarer Artikel zum Beispiel auf eine abstrakte Beschreibung einer Situation oder eines Problems beziehen; es versteht sich, dass ein nichtgreifbarer Artikel ein Verweise, eine Liste, eine Beschränkungsmenge, eine Regelmenge, Anforderungen usw. in Bezug auf eine oder mehrere Wechselwirkungen zwischen nichtgreifbaren Artikeln, z.B. Automaten, Personen, Drohnen, Roboter, Bots oder Schwärme mit begrenzter Kraft oder begrenztem oder keinem Netzwerkzugang usw. sein kann. Durch Einführen einer AI in Überwachungs- und Auflösungsprozesse zur Verwaltung von greifbaren und/oder nichtgreifbaren Artikeln wird es möglich, zu bestimmen, ob Auflösung für Artikel stattfindet, selbst wenn die Auflösung Intervention durch oder Beteiligung von Posten, Entitäten, Dritten, usw. erfordert, bei denen Sensoren zur direkten Angabe von Aktionen, die auftreten, wie etwa ein guter Samariter, eine Ambulanz, Notdienste, Polizei, andere Responder usw., die bei einem Problem aushelfen, fehlen.
2 zeigt ein beispielhaftes Flussdiagramm zur Herstellung einer AI und der AI-Überwachung eines intelligenten Raums gemäß verschiedenen Ausführungsformen. Man nehme in dem intelligenten eine Situation an, bei der ein Sensor ein Objekt detektiert hat, das eine Produktionslinie blockiert, und basierend auf Maschinen-Vision und/oder anderen Eingaben, die der AI Informationen über Aktivität in dem intelligenten Raum bereitstellen, könnte die AI einen Hinweis, zum Beispiel eine Audionachricht, an Agenten ausgeben/wiederholen, um sie zu entblockieren. Bei einer Ausführungsform können die der AI bereitgestellten Informationen direkte Daten sein, z.B. des visuellen Typs, wie etwa von einem (nicht dargestellten) System zur Überwachung 126 oder Ansicht, und/oder indirekte Daten, z.B. aus Schlussfolgerungen, die aus den Daten des visuellen Typs und/oder Extrapolation aus Sensordaten bezüglich des intelligenten Raums, die der AI zugänglich sind, abgeleitet werden. Auf hohem Niveau versteht sich, dass ein Agent (Angestellter, Passant, guter Samariter usw.) als sich in Richtung des Orts der Blockierung bewegend detektiert werden kann, und die AI kann auf der Basis ihres Maschinenlemens aus vorherigen Beobachtungen (zum Beispiel auf der Basis eines für Betrieb des intelligenten Raums entwickelten Modells) vorhersagen, ob der Agent auf dem Weg zu dem Problem ist (oder eine bestimmte andere Bewegung tätigt).
Wenn somit die AI bestimmt, dass sich der Agent in Richtung des Problems bewegt, kann sie einen Hinweis mindestens so lange stoppen, bis die AI möglicherweise bestimmt, dass keine Lösung vorliegt, wobei sie in diesem Fall einen Hinweis neu einführen und/oder den Hinweis eskalieren kann. Es versteht sich, dass eine solche Vorhersage für eine beliebige Wechselwirkung mit einem Artikel, z.B. einem beliebigen Objekt, einer beliebigen Vorrichtung, einem beliebigen Aufgabenort oder einem der AI bekannten nichtgreifbaren Artikel gelten kann. Es versteht sich, dass eine auf Agenten-Reaktionsfähigkeit auf ein Problem überwachende und einen Hinweis wie besprochen annullierende AI effiziente Reaktionsfähigkeit ermöglicht (z.B. indem nicht zu viele Agenten gesendet werden), während auch fortgesetztes AI-Training auf der Basis der Effektivität einer Reaktion oder ihres Fehlens bei dieser ermöglicht wird. Bei der dargestellten Ausführungsform wird eine Datenbank für die AI mit einigen Grundliniendaten über die Umgebung hergestellt 200, wie etwa zur Identifizierung von Artikeln und ihres Orts in dem intelligenten Raum, wodurch Artikel und Aufgaben usw. assoziiert werden, da solche Informationen der AI dabei helfen können, verschiedene Aspekte des intelligenten Raums zu verstehen. Dies kann als Teil des Rückpropagations-Trainings der AI durchgeführt werden. Es versteht sich, dass eine vorläufige Auffüllung der Datenbank übersprungen werden könnte und man von der AI erwartet, einfach alles in dem intelligenten Raum auftretende zu überwachen 202 und sich selbst automatisch auf der Basis der Beobachtung von Aktivität zu trainieren, einschließlich des Empfangens etwaiger Daten von Sensoren und der Überwachung von Agent-Bewegung usw., die kommt und geht. Bei einer Ausführungsform kann sich der Agent wie oben besprochen in dem intelligenten Raum befinden, es versteht sich jedoch, dass die hier offenbarten Ausführungsformen auf jede Umgebung anwendbar sind, für die ein prädiktives Modell entwickelt werden kann. Zum Beispiel kann sich der Agent in einer Fabrik, in einer Küche, in einem Krankenhaus, in einem Park, auf einem Spielplatz oder in einer beliebigen anderen Umgebung befinden, die abgebildet werden kann. Eine Abbildung kann abgeleitet werden, indem Beobachtungsdaten mit anderen Daten kombiniert werden, um Koordinaten in der Umgebung zu bestimmen und räumliche Informationen Artikeln in der Umgebung gegenüberzustellen.
Wie in 1 besprochen, kann die AI den intelligenten Raum zum Beispiel mit einer Vorrichtung 126 wie einer Kamera überwachen. Überwachte Audio-, Video- (z.B. zum Zeigen von Agent-Bewegung), Sensordaten und andere Daten können der AI bereitgestellt werden. Bei einer Ausführungsform werden der AI mindestens visuelle Daten bereitgestellt 204. Die AI analysiert die Daten und verwendet die zur Aktualisierung ihres Modells für den intelligenten Raum. Bei einer Ausführungsform verwendet die AI ein CNN, und während des Überwachens 202 versteht sich, dass die AI verfügbare visuelle Informationen (z.B. eine 2D-Pixeldarstellung, wie etwa ein Foto) begutachtet und sie verarbeitet, um zu bestimmen, was darin stattfindet, z.B. faltet die AI Merkmale gegen das gesamte Bild, poolt Daten zur Verringerung von Komplexitätsanforderungen, berichtigt und wiederholt Faltung/Berichtigung/Pooling, sowie es als mehrere Schichten von Verarbeitung behandelt wird, die zu einer zunehmend merkmalgefilterten Ausgabe führt.
Für Fachleute ist erkennbar, dass auch andere Verarbeitung stattfindet und alle verschiedenen Schichten verarbeitet werden können, um zu bestimmen, was in einem Bild oder Video geschieht. Bei einer Ausführungsform verwendet die AI DOGMA (Dynamic Occupancy Grid Maps - dynamische Belegungsgitterabbildungen), die zum Trainieren von tiefen CCN verwendet werden. Diese CNN gewährleisten die Vorhersage von Aktivität über Zeiträume, z.B. Vorhersage von bis zu 3 Sekunden (und mehr abhängig vom Entwurf) Bewegung von intelligenten Transportvorrichtungen, z.B. Fahrzeugen, und Fußgängern in dicht gefüllten Umgebungen. Bei einer Ausführungsform können für Verarbeitungseffizienz existierende Techniken für Gitterzellenfilterung verwendet werden. Anstatt zum Beispiel einer vollen Punktwolke in jedem Gitter zu folgen, werden repräsentative Pixel in jeder Zelle verfolgter Objekte durch verschiedene Verfahren gewählt, z.B. sequentielle Monte-Carlo- oder Bernoulli-Filterung.
Nach dem Herstellen 200 von Grundliniendaten und Beginnen des Überwachens 202 des intelligenten Raums werden wie oben besprochen der AI mindestens die der Überwachung zugeordneten visuellen Daten bereitgestellt 204. Es versteht sich, dass die Verarbeitung von Daten die AI mit einem besseren Verständnis, was in dem intelligenten Raum stattfindet, trainiert 206. Obwohl das dargestellte Flussdiagramm linear ist, versteht sich, dass die AI-Operationen, wie etwa das Training 206, selbst Schleifen-Aktivität repräsentieren, die nicht dargestellt ist, die aber fortgesetzt wird, um das Modell, über das die AI für den intelligenten Raum verfügt, zu verfeinern. Es kann ein Test durchgeführt werden, um zu bestimmen, ob 208 das Training angemessen ist. Es versteht sich, dass AI-Training Rückpropagation verwenden kann, um Inhalt der AI zu identifizieren, und einen Teil des Prozesses der Grundlinienherstellung 200 bilden kann, und sie kann später durchgeführt werden, wie etwa, wenn das Training noch nicht angemessen ist. Typische Rückpropagation erfordert manuelle, z.B. menschliche Intervention, um der AI mitzuteilen, was bestimmte Eingaben bedeuten/sind, und dies kann verwendet werden, um das Modell, das die AI entwickelt, zu verfeinern, so dass sie besser verstehen kann, was sie später als Eingaben empfängt. Bei einer Ausführungsform ist die AI selbstlernend und das Modell selbstkorrigierend/selbstaktualisierend. Die AI kann den intelligenten Raum überwachen und erkennt Muster der Aktivität in dem intelligenten Raum. Da der intelligente Raum und andere definierte Bereiche tendenziell eine Gesamtorganisation von Aktivität/Funktionen aufweisen, die in dem Raum stattfinden, tritt dieses fundamentale Organisationsmuster in dem Modell in Erscheinung. Die AI sagt voraus, was sie erwartet, als Nächstes stattzufinden, und die Genauigkeit der Vorhersagen erlaubt mindestens teilweise eine Bestimmung, ob genug Daten bekannt sind. Wenn 208 Training noch nicht genau genug ist, kann die Verarbeitung in einer Schleife zu der Überwachung 202 des intelligenten Bereichs zurückkehren und typische Aktivität lernen.
Wenn 208 das Training genau genug ist, wird dann das Schlussfolgerungsmodell betrieben 210, und an einem gewissen Punkt erkennt die AI ein Problem. Ein direktes erfasstes Problem ist zum Beispiel das obige Objektblockierungsbeispiel, bei dem ein dem betroffenen Artikel zugeordneter Sensor ein Problem angibt und die AI auf Reaktionen auf das Problem überwacht, oder die AI kann mindestens teilweise mittels der visuellen Daten, wie etwa von der Überwachungsvorrichtung des Artikels 126 von 1, das Sturzbeispiel erkennen. Nachdem das Modell ein Problem identifiziert hat, kann die AI einen Agenten damit beauftragen 212, das Problem anzugehen, um zum Beispiel einen Hinweis, eine Ansage, eine Textnachricht oder andere Daten auszugeben, um zu bewirken, dass ein oder mehrere Agenten das Problem angehen. Agenten wären zum Beispiel Personen, Roboter, Autos oder ein beliebiger autonomer oder halbautonomer Agent oder eine Gruppe oder Kombination. Interessierende Artikel, z.B. interessierende Objekte oder Bereiche, wären zum Beispiel Objekte, andere Personen, Ausrüstung, eine Verschüttung, ein unbekanntes Ereignis (kontextuell durch Abweichungen vom gewöhnlichen erfasst) usw. Aktionen eines Agenten können anwendungsspezifisch sein, könnten zum Beispiel aber eine beliebige Aktivität umfassen, die Nähe des Agenten zu dem Zielobjekt oder -bereich erfordert.
Die AI überwacht weiter den Raum und überwacht 214 insbesondere die Agent-Aktivität. Es versteht sich, dass mindestens teilweise basierend auf der Überwachung die AI die Leistungsfähigkeit des Agenten beim Ansprechen auf das Problem schätzt 216. Mit dem Schlussfolgerungsmodell kann die AI identifizieren, ob die überwachte Aktivität einer Aktivität in Richtung einer Lösung für das überwachte Problem entspricht.
In einem simplistischen Lösungsbeispiel kann die AI darauf überwachen, dass ein Agent sich in die Nähe des Problems, das gelöst wird, bewegt. Für komplexe Probleme kann die AI bestimmt haben, dass ein oder mehrere Agenten und/oder Artikel zur Auflösung des Problems verwendet werden. Durch Anwenden einer AI wie etwa einer solchen, die mindestens teilweise auf einer CNN-Implementierung basiert, die Vorhersage von Agent-Aktion über Zeiträume erlaubt, ist es möglich, Aktivität von Agenten zu erkennen, die keine Sensoren aufweisen, aber eine Aktion unternehmen, die als vorhergesagter Aktivität genügend angesehen werden kann, die notwendig ist, um ein Problem zu lösen. Und diese Vorhersagen können wie oben besprochen mit IOT-Vorrichtungen und/oder Sensoren kombiniert werden, die in Kombination eine Flexibilität bei der Überwachung des intelligenten Raums erlauben.
Wenn 218 die AI bestimmt, dass eine geeignete Reaktion erfolgt ist, kann die AI gemäß einer erfolgreichen Auflösung des Problems arbeiten 220, z.B. kann die AI den Hinweis streichen und/oder andere Aktionen ausführen, wie etwa anderen Agenten/Vorrichtungen/Sirenen/usw. zu identifizieren, dass das Problem aufgelöst ist und die Verarbeitung mit der Überwachung 202 des intelligenten Raums fortgesetzt wird. Wenn 218 jedoch keine erkannte Ausführung der Aufgabe stattgefunden hat (und es besteht eine nichtdargestellte implizite Verzögerung, um das Auftreten einer Reaktion zu erlauben), kann die Verarbeitung in einer Schleife zu der Beauftragung 212 eines Agenten (desselben oder eines anderen, wenn der erste Agent reagiert, aber das Problem nicht aufgelöst hat) mit der Auflösung des Problems zurückkehren. Es sollte beachtet werden, dass, obwohl dieses Flussdiagramm eine sequentielle Reihe von Operationen darstellt, es sich versteht, dass tatsächlich ein Operations-Thread/-Slice der Bewusstheit mit dem Problem und seiner Auflösung beauftragt werden kann, während die AI parallel die Überwachung des intelligenten Raums fortsetzt und eine andere Aktion unternimmt.
3 zeigt ein beispielhaftes System 300 gemäß verschiedenen Ausführungsformen, wobei Artikel 302-306 und Agenten 308-312 dargestellt sind, die in Verbindung mit einer AI 314 operieren können, gemäß einigen Ausführungsformen. Wie dargestellt können verschiedene Module in dem Überwachungsbereich einer AI betrieben werden. Wie oben besprochen kann die AI mehrere greifbare und/oder nichtgreifbare Artikel 302-306 verfolgen. Es versteht sich, dass die Punkte angeben können, dass viele Artikel vorliegen können. Es sind lediglich der Zweckmäßigkeit der Darstellung halber drei gezeigt. Die AI kann auch Aktivität von Agenten 308-312 überwachen und verfolgen. Wie bei den Artikeln kann es viele Agenten geben, zu denen zum Beispiel Angestellte, intelligente Vorrichtungen, Roboter usw. gehören können, die einem intelligenten Raum 334 zugeordnet sind, sowie Dritte, Passanten usw., die sich innerhalb oder außerhalb eines intelligenten Raums befinden können, aber nicht unbedingt direkt betroffen sind, wie etwa Lieferpersonal, Nothelfer, gute Samariter, Passanten usw.
Bei der dargestellten Ausführungsform entsprechen die Artikel und Agenten 302-312 den Artikeln 102, 104, 110 und Personen 106-108 von 1, und die Wechselwirkung zwischen den Artikeln und Agenten mit der AI kann wie mit Bezug auf 1-2 beschrieben stattfinden. Es kann ein Al-Überwachungsarray 314 vorliegen, das die Artikel und Agenten überwacht und Situationen identifiziert, die Auflösung erfordern können und vorhersagen, ob eine geeignete Reaktion auftritt. Bei der dargestellten Ausführungsform kann das Al-Überwachungsarray zum Beispiel in einem Roboter oder einer anderen mobilen Maschine, wie etwa einem intelligenten Transportmechanismus, der sich in einem intelligenten Raum 334 oder einer anderen Umgebung umherbewegen kann, angeordnet sein. Obwohl ein intelligenter Raum eine kontrollierte Umgebung bereitstellt, die für Selbstbelehrung eines AI zugänglicher ist, versteht sich, dass die AI und die vorliegenden Lehren in einer oder mehreren intelligenten Transportvorrichtungen angeordnet sein können, die sich umherbewegen, wie etwa auf Straßen, oder durch den Luftraum fliegen.
Die AI 314 kann sich mit einem AI-Verarbeitungsvorgang/Backend 316 in Kommunikation befinden, der bzw. das mit beispielhaften Komponenten zur Unterstützung des Betriebs einer AI/eines neuronalen Netzes gezeigt ist. Das Backend kann zum Beispiel eine Komponente des CNN 318 (oder eines anderen neuronalen Netzwerks), eine Komponente eines Trainers 320, eine Komponente zur Schlussfolgerung 322, eine Komponente zur , eine Komponente der Artikel- (oder anderen Informationspeicherungs-) Datenbank 326, eine Komponente der Artikelerkennung 328 und eine Komponente der Personenerkennung 330 enthalten. Wie mit Bezug auf 9 besprochen, versteht sich, dass die Komponenten 318-330 in Hardware und/oder Software implementiert sein können. Das Backend kann andere herkömmliche Komponenten 332 enthalten, wie etwa einen oder mehrere Prozessoren, Speicher, Speicherung (die die Komponente der Datenbank 326 umfassen oder getrennt sein kann), Netzwerkkonnektivität usw. Siehe die Besprechung von 8 für eine vollständigere Beschreibung einer Umgebung, die teilweise zur Implementierung des Backend verwendet werden kann.
Bei der dargestellten Ausführungsform können die Artikel und Agenten 302-312 zugeordnete Attribute 334-344 aufweisen. Diese Attribute können in einem Artikel gespeichert sein, wenn der Artikel zum Beispiel eine Vorrichtung des Internet der Dinge (IoT) mit einem lokalen Speicher zum Speichern ihres Zustands und/oder anderer Daten ist. Für andere Artikel, wie etwa nichtgreifbare Artikel, können die Daten durch die AI 314 verfolgt und zum Beispiel in dem Speicher des Artikels 332 gespeichert werden. Hinsichtlich der Agenten 308-312 kann ein Agent 308 ein Angestellter sein oder anderweitig mit dem intelligenten Raum 334 arbeiten. Wie gezeigt kann die AI 314 teilweise in dem intelligenten Raum betrieben werden, mit einem getrennten und möglicherweise entfernten Backend 316. Es versteht sich jedoch, dass die AI und das Backend als eine mögliche Konfiguration zusammen angeordnet und/oder in einer einzigen Umgebung 318 angeordnet sein können, die durch die gestrichelte Linie dargestellt ist. Die kolokalisierte Umgebung kann sich zum Beispiel innerhalb des intelligenten Raums befinden. Bei einer Ausführungsform können einige Funktionen, wie etwa die Überwachung des intelligenten Raums 334, durch das AI-Überwachungsarray 314 ausgeführt werden, bei komplexerer Analyse, z.B. Aufgaben des „schweren Hebens“ wie etwa Artikelerkennung 328 und Personenerkennung 330 können aber auf Hardware des Backend 316 ausgeführt werden. Es versteht sich, dass, obwohl das Backend als eine einzige Entität dargestellt ist, es mit einer (nicht dargestellten) Menge kooperativ ausgeführter Server, Maschinen, Vorrichtungen usw. implementiert sein kann.
4 zeigt ein beispielhaftes System mit Vorfallverwaltung intelligenter Transportvorrichtungen, das gemäß verschiedenen Ausführungsformen arbeiten kann. Die dargestellte Ausführungsform gewährleistet Integration und Verwendung von Vorfallverwaltung intelligenter Transportvorrichtungen in Verbindung mit verschiedenen Ausführungsformen. Wie gezeigt umfasst für die dargestellten Ausführungsformen die beispielhafte Umgebung 4050 eine intelligente Transportvorrichtung 4052 mit einem Motor, einem Getriebe, Achsen, Rädern und so weiter. Ferner umfasst die intelligente Transportvorrichtung 4052 ein internes Infotainment- bzw. IVI-System 400 mit einer Anzahl von Infotainment-Subsystemen/- Anwendungen, z.B. Subsystem/Anwendungen eines Instrumentenclusters, Subsystem/Anwendung von Vordersitz-Infotainment, wie etwa ein Subsystem/eine Anwendung für Navigation, ein Subsystem/eine Anwendung für Medien, ein Subsystem/eine Anwendung für den Status intelligenter Transportvorrichtungen und so weiter und eine Anzahl von Rücksitz-Unterhaltungs-Subsystemen/-anwendungen. Ferner ist das IVI-System 400 mit einem System/Technologie 450 der Fahrzeugvorfallverwaltung (VIM) intelligenter Transportvorrichtungen der vorliegenden Offenbarung ausgestattet, um die intelligente Transportvorrichtung 4052 mit computerunterstützter oder autonomer Verwaltung eines Vorfalls intelligenter Transportvorrichtungen auszustatten, an dem die intelligente Transportvorrichtung 4052 beteiligt ist. Es versteht sich, dass die AI 122 von 1 in einer oder mehreren der intelligenten Transportvorrichtungen angeordnet sein oder sich in Kommunikation mit den intelligenten Transportvorrichtungen befinden und/oder diese steuern und/oder anleiten kann. Die intelligente Transportvorrichtung des Vorfalls der intelligenten Transportvorrichtung kann Teil einer Reaktion auf einen Umstand, ein Problem, einen Unfall usw. in der intelligenten Umgebung sein.
Eine intelligente Transportvorrichtung 4052 kann einem Vorfall, wie etwa einem Unfall, zugeordnet sein, an dem eine andere intelligente Transportvorrichtung, wie etwa eine intelligente Transportvorrichtung 4053, beteiligt sein oder nicht, und die intelligente Transportvorrichtung 4052 kann zum Beispiel kooperativ mit den Agenten 106, 108 von 1 operieren. Bei einem Vorfall, an dem keine andere intelligente Transportvorrichtung beteiligt ist, kann die intelligente Transportvorrichtung 4052 einen Platten haben, auf eine Barriere treffen, von der Straße abrutschen usw. Bei Vorfällen, bei denen eine andere intelligente Transportvorrichtung beteiligt ist, kann die intelligente Transportvorrichtung 4052 hinten mit einer anderen intelligenten Transportvorrichtung 4053 kollidieren, von vorne mit der anderen intelligenten Transportvorrichtung 4053 kollidieren oder die andere intelligente Transportvorrichtung 4053 versperrt habe (oder durch die andere intelligente Transportvorrichtung 4053). Die andere intelligente Transportvorrichtung 4053 kann mit einem internen System 401, das ähnliche Vorfallverwaltungstechnologie 451 intelligenter Transportvorrichtungen der vorliegenden Offenbarung aufweist, ausgestattet sein oder nicht. Bei einer Ausführungsform kann eine intelligente Transportvorrichtung als ein intelligenter Raum betrachtet werden, der durch eine die Vorfallverwaltungstechnologie umfassende AI überwacht wird.
Bei einigen Ausführungsformen ist das VIM-System 450/451 ausgelegt zum Bestimmen, ob die intelligente Transportvorrichtung 4052/4053 an einem Vorfall intelligenter Transportvorrichtungen 4052/4053 beteiligt ist, und wenn bestimmt wird, dass die intelligente Transportvorrichtung 4053/4052 an einem Vorfall beteiligt ist, ob eine andere intelligente Transportvorrichtung 4053/4052 beteiligt ist; und wenn eine andere intelligente Transportvorrichtung 4053/4052 beteiligt ist, ob die andere intelligente Transportvorrichtung 450/451 dafür ausgestattet ist, Vorfallinformationen auszutauschen. Ferner ist das VIM-System 4053/4052 ausgelegt zum Austauschen von Vorfallinformationen mit der anderen intelligenten Transportvorrichtung 4052/4053, wenn bestimmt wird, dass die intelligente Transportvorrichtung 4053/4052 an einem Vorfall intelligenter Transportvorrichtungen beteiligt ist, an dem eine andere intelligente Transportvorrichtung 4053/4052 beteiligt ist und die andere intelligente Transportvorrichtung 4052/4053 dafür ausgestattet ist, Vorfallinformationen auszutauschen. Wenn bei einer Ausführungsform bestimmt wird, dass eine intelligente Transportvorrichtung 4052/4053 einen Unfall in einem intelligenten Raum, wie etwa dem intelligenten Raum 100 von 1, hatte, ist die intelligente Transportvorrichtung 4052/4053 dafür ausgestattet, Vorfallinformationen mit dem intelligenten Raum auszutauschen. Die AI kann die intelligente Transportvorrichtung hinsichtlich des als Nächstes zu unternehmenden instruieren.
Bei einigen Ausführungsformen ist das VIM-System 450/451 ferner ausgelegt zum individuellen Bewerten der jeweiligen physischen oder emotionalen Zustände eines oder mehrerer Insassen und/oder Passanten (die an dem Unfall beteiligt sein können, Zeugen für den Unfall sein können usw.) wenn bestimmt wird, dass die intelligente Transportvorrichtung 4052/4053 an einem Vorfall intelligenter Transportvorrichtungen beteiligt ist. Jeder Insasse, der bewertet wird, kann ein Fahrer oder ein Passagier der intelligenten Transportvorrichtung 4052/4053 sein. Zum Beispiel kann jeder Insasse und/oder Passant bewertet werden, um zu bestimmen, ob der Insasse und/oder Passant kritisch verletzt oder gestresst ist, mäßig verletzt und/oder gestresst ist, geringfügige Verletzungen aber Stress, geringfügige Verletzungen ohne Stress oder nicht verletzt und nicht gestresst ist. Bei einigen Ausführungsform ist das VIM-System 450/451 ferner ausgelegt zum Bewerten des Zustands der intelligenten Transportvorrichtung, wenn bestimmt wird, dass die intelligente Transportvorrichtung 4052/4053 an einem Vorfall intelligenter Transportvorrichtungen beteiligt ist. Zum Beispiel kann die intelligente Transportvorrichtung bewertet werden, um zu bestimmen, ob sie stark beschädigt und nicht betriebsfähig ist, mäßig beschädigt, aber nicht betriebsfähig, mäßig beschädigt, aber betriebsfähig oder geringfügige Beschädigung und betriebsfähig ist. Bei einigen Ausführungsformen ist das VIM-System 450/451 ferner ausgelegt zum Bewerten des Zustands eines die intelligente Transportvorrichtung 4052/4053 umgebenden Bereichs, wenn bestimmt wird, dass die intelligente Transportvorrichtung 4052/4053 an einem Vorfall intelligenter Transportvorrichtungen beteiligt ist. Zum Beispiel kann der die intelligente Transportvorrichtung 4052/4053 umgebende Bereich bewertet werden, um zu bestimmen, ob es einen sicheren Standspurbereich für die intelligente Transportvorrichtung 4052/4053 gibt, in dem sie sich sicher bewegen kann, wenn die intelligente Transportvorrichtung 4052/4053 betriebsfähig ist.
Weiter mit Bezug auf 4 können die intelligente Transportvorrichtung 4052 und die intelligente Transportvorrichtung 4053, wenn sie beteiligt sind, Sensoren 410 und 411 und Fahrsteuereinheiten 420 und 421 umfassen. Bei einigen Ausführungsformen sind die Sensoren 410/411 dafür ausgelegt, der VIM 450/451 verschiedene Sensordaten bereitzustellen, um es der VIM 450/451 zu ermöglichen, zu bestimmen, ob die intelligente Transportvorrichtung 4052/4053 an einem Vorfall intelligenter Transportvorrichtungen beteiligt ist; wenn dem so ist, ob eine andere intelligente Transportvorrichtung 4053/4052 beteiligt ist; Bewerten des Zustands eines Insassen; Bewerten des Zustands der intelligenten Transportvorrichtung; und/oder Bewerten des Zustands des umgebenden Bereichs. Bei einigen Ausführungsformen können die Sensoren 410/411 Kameras (nach außen gerichtet sowie nach innen gerichtet), LiDAR-Sensoren (Light Detection and Ranging), Mikrofone, Beschleunigungsmesser, Kreisel, Trägheitsmesseinheiten (IMU), Motorsensoren, Antriebsstrangsensoren, Reifendrucksensoren und so weiter umfassen. Die Fahrsteuereinheiten 420/421 können elektronische Steuereinheiten (ECU) umfassen, die den Betrieb des Motors, des Getriebes, der Lenkung und/oder der Bremsen der intelligenten Transportvorrichtung 4052/4053 steuern. Obwohl sich die vorliegende Offenbarung auf intelligente Transportvorrichtungen bezieht, versteht sich, dass die vorliegende Offenbarung beliebige Transportvorrichtungen einschließen soll, darunter Automobile, Züge, Busse, Straßenbahnen oder eine beliebige mobile Vorrichtung oder Maschine, einschließlich Maschinen, die in einem intelligenten Raum 100 von 1 operieren, wie etwa Gabelstapler, Wagen, Transportmechanismen, Förderbänder usw.
Bei einigen Ausführungsformen ist das VIM-System 450/451 ferner dafür ausgelegt, unabhängig und/oder in Kombination mit der AI 122 von 1 mindestens teilweise basierend auf der Bewertung bzw. den Bewertungen des Zustands des Insassen bzw. der Insasse, der Bewertung des Zustands der intelligenten Transportvorrichtung, der Bewertung des Zustands eines umgebenden Bereichs und/oder mit der anderen intelligenten Transportvorrichtung ausgetauschten Informationen eine Insasse-Versorgungsaktion oder eine Aktion intelligenter Transportvorrichtungen zu bestimmen. Die fürsorglichen Aktionen des Insassen und/oder der intelligenten Transportvorrichtung wären zum Beispiel unmittelbares Fahren des Insassen bzw. der Insasse zu einem nahegelegenen Krankenhaus, Koordinieren mit einem Notdienst oder einer anderen Person, z.B. Personen 106, 108 von 1, Bewegen der intelligenten Transportvorrichtung zu einem Standstreifen der Straße oder spezifischen Ort in einem intelligenten Raum und so weiter. Bei einigen Ausführungsformen kann die VIM 450/451 Fahrbefehle an die Fahrsteuereinheiten 420/421 ausgeben oder deren Ausgabe bewirken oder diese von einer AI 122 empfangen, um die intelligente Transportvorrichtung 4052/4053 zu bewegen, um die Versorgungsaktion des Insassen oder der intelligenten Transportvorrichtung zu bewirken oder zu ihrer Bewirkung beizutragen.
Bei einigen Ausführungsformen kann das IVI-System 400 selbstständig oder als Reaktion auf die Benutzerinteraktionen oder Interaktion der AI 122 mit einem oder mehreren entfernten Inhaltsservern 4060 außerhalb der intelligenten Transportvorrichtung über einen drahtlosen Signalrepeater oder eine Basisstation an einem Sendemast 4056 in der Nähe der intelligenten Transportvorrichtung 4052 und eines oder mehrere private und/oder öffentliche verdrahtete und/oder drahtlose Netzwerke 4058 kommunizieren oder in Interaktion treten. Die Server 4060 können Server sein, die den Versicherungsfirmen zugeordnet sind, die intelligente Transportvorrichtungen 4052/4053 versichern, der Strafverfolgung zugeordnete Server oder Drittserver sein, die Dienste in Bezug auf Vorfälle intelligenter Transportvorrichtungen bereitstellen, wie etwa Weiterleitung von Meldungen/Informationen an Versicherungsfirmen, Reparaturwerkstätten usw. Beispiele für und/oder öffentliche verdrahtete und/oder drahtlose Netzwerke 4058 wären das Internet, das Netz eines Mobilfunk-Dienstanbieters, Netzwerke in einem intelligenten Raum und so weiter. Es versteht sich, dass es sich bei dem Sendemast 4056 um verschiedene Masten zu verschiedenen Zeitpunkten/an verschiedenen Orten handeln kann, während sich die intelligente Transportvorrichtung 4052/4053 auf ihrem Weg zu ihrem Ziel befindet. Für die Zwecke der vorliegenden Patentschrift können die intelligenten Transportvorrichtungen 4052 und 4053 als intelligente Transportvorrichtungen von Vorfällen intelligenter Transportvorrichtungen oder intelligente Transportvorrichtungen bezeichnet werden.
5 zeigt ein beispielhaftes neuronales Netzwerk gemäß verschiedenen Ausführungsformen. Wie dargestellt kann das neuronale Netzwerk 500 ein mehrschichtiges neuronales Netzwerk mit Vorwärtskopplung (FNN) sein, das eine Eingangsschicht 512, eine oder mehrere verborgene Schichten 514 und eine Ausgangsschicht 516 umfasst. Die Eingangsschicht 512 empfängt Daten Eingangsvariablen (x_i ) 502. Es versteht sich, dass ein künstliches neuronales Netzwerk (ANN) auf Verbindungen zwischen miteinander verbundenen „Neuronen“ basiert, die in Schichten gestapelt sind. In einem FNN bewegen sich Daten in einer Richtung ohne Zyklen oder Schleifen, wobei sich Daten von Eingangsknoten durch (etwaige) verborgene Knoten und dann zu Ausgangsknoten bewegen können. Das oben mit Bezug auf die Funktionsweise der AI 122 von 1 beschriebene neuronale Faltungsnetzwerk (CNN) ist eine Art von FNN, die wie besprochen gut zur Verarbeitung von visuellen Daten wie Video, Bildern usw. funktioniert.
Die verborgene Schicht(en) 514 verarbeitet die Eingaben und die Ausgangsschicht 516 gibt letztendlich die Bestimmungen oder Bewertungen (y_i ) 504 aus. Bei einer beispielhaften Implementierung werden die Eingangsvariablen (x_i ) 502 des neuronalen Netzwerks als ein Vektor gesetzt, der die relevanten Variablendaten enthält, während die Ausgangsbestimmung oder -bewertung (y_i ) 504 des neuronalen Netzwerks auch als ein Vektor sind. Ein Mehrschicht-FNN kann durch die folgenden Gleichungen ausgedrückt werden: $h o_{i} = f (\sum_{j = 1}^{R} (i w_{i, j} x_{j}) + h b_{i}), f \ddot{u} r i = 1, \dots, N$
$y_{i} = f (\sum_{k = 1}^{N} (h w_{i, k} h o_{k}) + o b_{i}), f \ddot{u} r i = 1, \dots, S$
wobei ho_i und y_i die Verborgene-Schicht-Variablen bzw. die Endausgaben sind. f() ist typischerweise eine nichtlineare Funktion, wie etwa die Sigmoidfunktion oder die gleichgerichtete lineare (ReLu-) Funktion, die die Neuronen des menschlichen Hirns imitiert. R ist die Anzahl der Eingaben. N ist die Größe der verborgenen Schicht oder die Anzahl der Neuronen. S ist die Anzahl der Ausgaben.
Das Ziel des FNN ist die Minimierung einer Fehlerfunktion E zwischen den Netzwerkausgaben und den Sollwerten durch Anpassung der Netzwerkvariablen iw, hw, hb und ob über Training wie folgt: $E = \sum_{k = 1}^{m} (E_{k}), wobei E_{k} = \sum_{p = 1}^{S} {(t_{k p} - y_{k p})}^{2}$
wobei y_kp und tkp die vorhergesagten bzw. die Sollwerte der p-ten Ausgangseinheit für die Stichprobe k sind und m die Anzahl der Stichproben ist.
Bei einigen Ausführungsformen und wie mit Bezug auf 2 besprochen kann eine das FNN implementierende Umgebung, wie etwa das AI-Verarbeitungs-Backend 316 von 3, ein vortrainiertes neuronales Netzwerk 500 umfassen, um zu bestimmen, ob eine intelligente Transportvorrichtung, wie etwa ein Fahrzeug, an einem Vorfall oder Unfall nicht beteiligt ist, an einem Vorfall oder Unfall ohne eine andere intelligente Transportvorrichtung beteiligt ist oder an einem Vorfall oder Unfall mit mindestens einer anderen intelligenten Transportvorrichtung, wie etwa einem Unfall zwischen zwei Fahrzeugen, beteiligt ist. Die Eingangsvariablen (x_i ) 502 können Objekte umfassen, die aus den Bildern der nach vorne zeigenden Kameras erkannt werden, und die Messwerte der verschiedenen Sensoren intelligenter Transportvorrichtungen, wie etwa Beschleunigungsmesser, Kreisel, IMU und so weiter. Die Ausgangsvariablen (y_i ) 504 können Werte umfassen, die wahr oder falsch für intelligente Transportvorrichtung nicht an einem Vorfall oder Unfall beteiligt, intelligente Transportvorrichtung an einem Vorfall oder Unfall beteiligt, an dem keine andere intelligente Transportvorrichtung beteiligt ist, und intelligente Transportvorrichtung an einem Vorfall oder Unfall beteiligt, an dem mindestens eine andere intelligente Transportvorrichtung, wie etwa ein Fahrzeug, beteiligt ist, angeben. Die Netzwerkvariablen der verborgenen Schicht(en) für das neuronale Netzwerk zur Bestimmung, ob die intelligente Transportvorrichtung an einem Vorfall beteiligt ist und ob eine andere intelligente Transportvorrichtung beteiligt ist, werden mindestens teilweise durch die Trainingsdaten bestimmt. Bei einer Ausführungsform kann das FNN ganz oder teilweise mittels Überwachung und automatischer Identifikation von Ereignissen selbsttrainierend sein.
Bei einer Ausführungsform umfasst die intelligente Transportvorrichtung ein Insassenbewertungs-Subsystem (siehe z.B. die Besprechung von 4), dass ein vortrainiertes neuronales Netzwerk 500 zum Bewerten des Zustands eines Insassen umfassen kann. Die Eingangsvariablen (x_i ) 502 können Objekte, die in Bildern in den nach innen schauenden Kameras der intelligenten Transportvorrichtung erkannt werden, Sensordaten, wie etwa Puls, GSR-Messwerte von Sensoren auf mobilen oder tragbaren Vorrichtungen, die vom Insassen geführt oder getragen werden, umfassen. Die Eingangsvariablen können auch Informationen umfassen, die durch eine AI abgeleitet werden, wie etwa von der AI-Überwachung 202 von 2 eines intelligenten Raums wie oben besprochen. Es versteht sich, dass das neuronale Netzwerk 500, das in Verbindung mit einer einem intelligenten Raum zugeordneten AI oder unabhängig davon arbeitet, der intelligenten Transportvorrichtung zugeordnet sein kann. Die Ausgangsvariablen (y_i ) 504 können Werte umfassen, die Auswahl oder Nichtauswahl eines Zustandsniveaus aus unverletzt, mäßig verletzt oder stark verletzt angeben. Die Netzwerkvariablen der verborgenen Schicht(en) für das neuronale Netzwerk des Insassenbewertungs-Subsystems können durch die Trainingsdaten bestimmt werden.
Bei einigen Ausführungsformen kann ein Bewertungs-Subsystem intelligenter Transportvorrichtungen ein trainiertes neuronales Netzwerk 500 zum Bewerten des Zustands der intelligenten Transportvorrichtung umfassen. Die Eingangsvariablen (x_i ) 502 können Objekte, die in Bildern der nach außen schauenden Kameras der intelligenten Transportvorrichtung erkannt werden, Sensordaten, wie etwa Verlangsamungsdaten, Aufpralldaten, Motordaten, Antriebsstrangdaten usw. umfassen. Die Eingangsvariablen können auch Daten umfassen, die von einer AI, wie etwa der AI 122 von 1, die die intelligente Transportvorrichtung überwachen kann und somit über Bewertungsdaten verfügt, die der intelligenten Transportvorrichtung bereitgestellt werden können, empfangen werden. Die Ausgangsvariablen (y_i ) 504 können Werte umfassen, die Auswahl oder Nichtauswahl eines Zustandsniveaus aus voll funktionsfähig, teilweise funktionsfähig oder nicht funktionsfähig angeben. Die Netzwerkvariablen der verborgenen Schicht(en) für das neuronale Netzwerk des Bewertungs-Subsystems intelligenter Transportvorrichtungen können mindestens teilweise durch die Trainingsdaten bestimmt werden.
Bei einigen Ausführungsformen kann das Bewertungs-Subsystem für die äußere Umgebung ein trainiertes neuronales Netzwerk 500 zum Bewerten des Zustands des unmittelbar umgebenden Bereichs der intelligenten Transportvorrichtung umfassen. Die Eingangsvariablen (x_i ) 502 können Objekte, die in Bildern der nach außen schauenden Kameras der intelligenten Transportvorrichtung erkannt werden, Sensordaten, wie etwa Temperatur, Feuchtigkeit, Niederschlag, Sonnenstrahlung und so weiter, umfassen. Die Ausgangsvariablen (y_i ) 504 können Werte umfassen, die Auswahl oder Nichtauswahl eines Zustandsniveaus aus sonnig und ohne Niederschlag, wolkig und ohne Niederschlag, leichtem Niederschlag, mäßigem Niederschlag und starkem Niederschlag angeben. Die Netzwerkvariablen der verborgenen Schicht(en) für das neuronale Netzwerk des Bewertungssubsystems für die äußere Umgebung werden durch die Trainingsdaten bestimmt.
Bei einigen Ausführungsformen kann die das FNN bereitstellende Umgebung ferner ein anderes trainiertes neuronales Netzwerk 500 zum Bestimmen einer Versorgungsaktion von Insassen/intelligenten Transportvorrichtungen umfassen. Aktion kann autonom und/oder in Verbindung mit dem Betrieb einer anderen AI bestimmt werden, wie etwa, wenn in einem durch die andere AI überwachten intelligenten Raum gearbeitet wird. Die Eingangsvariablen (x_i ) 502 können verschiedene Insassen-Bewertungsmetriken, verschiedene Bewertungsmetriken intelligenter Transportvorrichtungen und verschiedene Bewertungsmetriken der äußeren Umgebung umfassen. Die Ausgangsvariablen (y_i ) 504 können verschiedene Werte umfassen, die Auswahl oder Nichtauswahl für verschiedene Versorgungsaktionen von Insassen/intelligenten Transportvorrichtungen angeben, z.B. Insassen in das nächste Krankenhaus fahren, Bewegen der intelligenten Transportvorrichtung zur Straßenseite und Rufen von Nothelfern, an Ort und Stelle bleiben und Rufen von Nothelfern oder Weiterführen zu einer Reparaturwerkstatt oder einem Ziel. Ähnlich können die Netzwerkvariablen der verborgenen Schicht(en) für das neuronale Netzwerk zur Bestimmung von Versorgungsaktion von Insassen und/oder intelligenten Transportvorrichtungen auch durch die Trainingsdaten bestimmt werden. Wie in 5 dargestellt gibt es der einfacheren Darstellung halber nur eine verborgene Schicht im neuronalen Netzwerk. Bei einigen anderen Ausführungsformen kann es viele verborgene Schichten geben. Ferner kann das neuronale Netzwerk in bestimmten anderen Arten von Topologie vorliegen, wie etwa CNN (neuronales Faltungsnetzwerk) wie oben besprochen, RNN (iterierendes neuronales Netzwerk) und so weiter.
6 zeigt eine beispielhafte Software-Komponentenansicht eines Vorfallverwaltungssystems intelligenter Transportvorrichtungen gemäß verschiedenen Ausführungsformen. Es ist eine Software-Komponentenansicht des Systems der Fahrzeugvorfallverwaltung (VIM) intelligenter Transportvorrichtungen gemäß verschiedenen Ausführungsformen dargestellt. Wie gezeigt umfasst für die Ausführungsformen das VIM-System 600, das das VIM-System 400 sein könnte, Hardware 602 und Software 610. Die Software 610 umfasst einen Hypervisor 612, der eine Anzahl von virtuellen Maschinen (VM) 622-628 hostet. Der Hypervisor 612 ist dafür ausgelegt, die Ausführung der VM 622-628 zu hosten. Die VM 622-628 umfassen eine Dienst-VM 622 und eine Anzahl von Benutzer-VM 624-628. Die Dienstmaschine 622 umfasst ein Dienst-OS, das Ausführung einer Anzahl von Instrumentenclusteranwendungen 632 hostet. Die Benutzer-VM 624-628 können eine erste Benutzer-VM 624 mit einem ersten Benutzer-OS, das Ausführung von Vordersitz-Infotainment-Anwendungen 634 hostet, eine zweite Benutzer-VM 626 mit einem zweiten Benutzer-OS, das Ausführung von Rücksitz-Infotainment-Anwendungen 636 hostet, eine dritte Benutzer-VM 628 mit einem dritten Benutzer-OS, das Ausführung eines Vorfallverwaltungssystems intelligenter Transportvorrichtungen hostet, und so weiter umfassen.
Mit Ausnahme der Vorfallverwaltungstechnologie 450 intelligenter Transportvorrichtungen der vorliegenden Offenbarung kann es sich bei den Elementen 612-638 der Software 610 um ein beliebiges einer Anzahl dieser in der Technik bekannten Elemente handeln. Zum Beispiel kann der Hypervisor 612 ein beliebiger einer Anzahl von in der Technik bekannten Hypervisors sein, wie etwa KVM, ein Open-Source-Hypervisor Xen, erhältlich von der Citrix Inc. in Fort Lauderdale, FL, oder VMware, erhältlich von VMware Inc. in Palo Alto, CA, und so weiter sein. Ähnlich können das Dienst-OS der Dienst-VM 622 und das Benutzer-OS der Benutzer-VM 624-628 beliebige einer Anzahl von in der Technik bekannten OS sein, wie etwa Linux, erhältlich z.B. von Red Hat Enterprise in Raliegh, NC, oder Android, erhältlich von Google in Mountain View, CA.
7 zeigt eine beispielhafte Hardware-Komponentenansicht eines Vorfallverwaltungssystems intelligenter Transportvorrichtungen gemäß verschiedenen Ausführungsformen. Die Datenverarbeitungsplattform 700, bei der es sich um die Hardware 602 von 6 handeln kann, kann wie gezeigt ein oder mehrere SoC (System auf Chips) 702, ROM 703 und Systemspeicher 704 umfassen. Die SoCs 702 können jeweils einen oder mehrere Prozessorkerne (CPU), einen oder mehrere Grafikprozessoreinheiten (GPU), einen oder mehrere Beschleuniger, wie etwa Beschleuniger für Computer-Vision (CV) und/oder tiefes Lerne (DL) umfassen. Der ROM 703 kann ein BIOS (Basic Input/Output System Services) 705 umfassen. CPU, GPU und CV/DL-Beschleuniger können ein beliebiges einer Anzahl dieser in der Technik bekannten Elemente sein. Ähnlich kann es sich bei dem ROM 703 und dem BIOS 705 um ein beliebiges einer Anzahl von Rom und BIOS handeln, die in der Technik bekannt sind, und der Systemspeicher 704 kann eine beliebige einer Anzahl von in der Technik bekannten flüchtigen Speicherungen sein.
Außerdem kann die Datenverarbeitungsplattform 700 persistente Speicherungsvorrichtungen 706 umfassen. Beispiele für persistente Speicherungsvorrichtungen 706 wären, aber ohne Beschränkung darauf, Flash-Laufwerke, Festplatten, CD-ROM (Compact Disc Read-Only Memory) usw. Ferner kann die Datenverarbeitungsplattform 700 eine oder mehrere Eingabe-/Ausgabe- bzw. E/A-Schnittstelle 708 als Schnittstelle mit einer oder mehreren E/A-Vorrichtungen umfassen, wie etwa Sensoren 720 sowie, aber ohne Beschränkung darauf, Anzeige(en), Tastatur(en), Cursorsteuerung(en) usw. Die Datenverarbeitungsplattform 700 kann außerdem eine oder mehrere Kommunikationsschnittstellen 710 (wie etwa Netzwerkschnittstellenkarten, Modems usw.) umfassen. Die Kommunikationsvorrichtungen können eine beliebige Anzahl von in der Technik bekannten Kommunikations- und E/A-Vorrichtungen umfassen. Beispiele für Kommunikationsvorrichtungen wären, aber ohne Beschränkung darauf, Vernetzungsschnittstellen für Bluetooth®, NFC (Nahfeldkommunikation) (NFC), WiFi, Mobilfunkkommunikation (wie etwa LTE 4G/5G) und so weiter. Die Elemente können über einen Systembus 712 miteinander gekoppelt sein, der einen oder mehrere Busse repräsentieren kann. Im Fall von mehreren Bussen können sie durch eine oder mehrere (nicht gezeigte) Busbrücken überbrückt sein.
Jedes dieser Elemente kann seine in der Technik bekannten herkömmlichen Funktionen ausführen. Insbesondere kann der ROM 703 ein BIOS 705 mit einem Boot-Loader umfassen. Der Systemspeicher 704 und die Massenspeicherungsvorrichtungen 706 können verwendet werden, um eine Arbeitskopie und eine permanente Kopie der Programmieranweisungen zu speichern, die die Operationen implementieren, die dem Hypervisor 612, dem Dienst-/Benutzer-OS der Dienst-/Benutzer-VM 622-628 und Komponenten der VIM-Technologie 450 zugeordnet sind (wie etwa Insassenzustands-Bewertungssubsysteme, Bewertungs-Subsystem intelligenter Transportvorrichtungen, Bewertungs-Subsystem des Zustands der äußeren Umgebung und so weiter), was kollektiv als rechnerische Logik bezeichnet wird. Die verschiedenen Elemente können durch Assembleranweisungen implementiert werden, die durch Prozessorkern(e) der SoCs 702 unterstützt werden, oder durch hohe Sprachen wie zum Beispiel C, die zu solchen Anweisungen kompiliert werden können.
Für Fachleute ist erkennbar, dass die vorliegende Offenbarung als Verfahren oder Computerprogrammprodukte realisiert werden kann. Die vorliegende Offenbarung kann dementsprechend zusätzlich zu einer Realisierung in Hardware wie zuvor beschrieben die Form einer Ausführungsform völlig in Software (darunter Firmware, residente Software, Mikrocode usw.) oder einer Ausführungsform, die Software- und Hardwareaspekte kombiniert, die alle allgemein als „Schaltung“, „Modul“ oder „System“ bezeichnet werden können, annehmen. Ferner kann die vorliegende Offenbarung die Form eines Computerprogrammprodukts annehmen, das in einem beliebigen greifbaren oder nichtgreifbaren Ausdrucksmedium realisiert sein kann, das computerbenutzbaren Programmcode aufweist, der in dem Medium realisiert ist. 8 zeigt ein beispielhaftes computerlesbares nichttransitorisches Speicherungsmedium, das für Verwendung zum Speichern von Anweisungen geeignet sein kann, die bewirken, dass eine Vorrichtung als Reaktion auf Ausführung der Anweisungen durch die Vorrichtung ausgewählte Aspekte der vorliegenden Offenbarung praktiziert.
8 zeigt eine beispielhafte Computervorrichtung 800, die Aspekte der hier beschriebenen Vorrichtungen und/oder Verfahren verwenden kann. Es versteht sich, dass 8 einige Artikel enthält, die in anderen Figuren herausgestellten ähnlich sind, und sie können dieselben Artikel oder einfach nur ähnlich sein und sie können auf die gleiche Weise arbeiten oder sie können intern sehr verschieden arbeiten und dennoch ein ähnliches Eingabe-/Ausgabesystem bereitstellen. Wie gezeigt kann die Computervorrichtung 800 eine Anzahl von Komponenten umfassen, wie etwa einen oder mehrere Prozessoren 802 (es ist einer gezeigt) und mindestens ein Kommunikationschip 804. Bei verschiedenen Ausführungsformen können der eine oder die mehreren Prozessoren 802 jeweils einen oder mehrere Prozessorkerne umfassen. Bei verschiedenen Ausführungsformen kann der mindestens eine Kommunikationschip 804 physisch und elektrisch mit dem einen oder den mehreren Prozessoren 802 gekoppelt sein. Bei weiteren Implementierungen kann der Kommunikationschip bzw. können die Kommunikationschips 804 Teil des einen oder der mehreren Prozessoren 802 sein. Bei verschiedenen Ausführungsformen kann die Computervorrichtung 800 eine Leiterplatte (PCB) 806 umfassen. Bei diesen Ausführungsformen können der eine oder die mehreren Prozessoren 802 und der Kommunikationschip bzw. die Kommunikationschips 804 darauf angeordnet sein. Bei alternativen Ausführungsformen können die verschiedenen Komponenten ohne Verwendung der PCB 806 gekoppelt sein.
Abhängig von ihren Anwendungen kann die Computervorrichtung 800 andere Komponenten umfassen, die physisch und elektrisch mit der PCB 806 gekoppelt sein können oder nicht. Diese anderen Komponenten wären zum Beispiel, aber ohne Beschränkung darauf, ein Speichercontroller 808, flüchtiger Speicher (z.B. DRAM (dynamischer Direktzugriffsspeicher) 810), nichtflüchtiger Speicher, wie etwa ROM (Festwertspeicher) 812, Flash-Speicher 814, eine Speicherungsvorrichtung 816 (z.B. eine HDD (Festplatte)), ein E/A-Controller 818, ein Digitalsignalprozessor 820, ein Cryptoprozessor 822, ein Grafikprozessor 824 (z.B. eine GPU (Grafikverarbeitungseinheit) oder andere Schaltkreise zum Durchführen von Grafik), eine oder mehrere Antennen 826, eine Anzeige, die eine Touchscreen-Anzeige 828 sein oder in Verbindung mit dieser arbeiten kann, ein Touchscreen-Controller 830, eine Batterie 832, ein (nicht gezeigter) Audiocodec, ein (nicht gezeigter) Videocodec, ein Positionsbestimmungssystem, wie etwa eine GPS-Vorrichtung 834 (Global Positioning System) (es versteht sich, dass eine andere Ortungstechnologie verwendet werden kann) , ein Kompass 836, ein (nicht gezeigter) Beschleunigungsmesser, ein (nicht gezeigter) Kreisel, ein Lautsprecher 838, eine Kamera 840 und andere Massenspeicherungsvorrichtungen (wie etwa eine Festplatte, ein Halbleiterlaufwerk, eine CD (Compact Disk), eine DVD (Digital Versatile Disk)) (nicht gezeigt) und so weiter.
Im vorliegenden Gebrauch kann sich der Ausdruck „Schaltkreise“ oder „Schaltung“ auf ein ASIC (anwendungsspezifische integrierte Schaltung) eine elektronische Schaltung, einen Prozessor (geteilt, dediziert oder gruppiert) und/oder Speicher (geteilt, dediziert oder gruppiert), der ein oder mehrere Software- oder Firmwareprogramme ausführt, eine kombinatorische Logikschaltung, einen Prozessor, einen Mikroprozessor, ein PGA (programmierbares Gate-Array), ein FPGA (Field-Programmable Gate-Array), einen Digitalsignalprozessor (DSP) und/oder andere geeignete Komponenten, die die beschriebene Funktionalität bereitstellen, beziehen oder kann Teil davon sein oder diese umfassen. Man beachte, dass, obwohl sich die vorliegende Offenbarung auf einen Prozessor im Singular beziehen kann, dies lediglich der Zweckmäßigkeit der Erläuterung halber erfolgt und für Fachleute erkennbar ist, dass mehrere Prozessoren, Prozessoren mit mehreren Kernen, virtuelle Prozessoren usw. verwendet werden können, um die offenbarten Ausführungsformen auszuführen.
Bei einigen Ausführungsformen können der eine oder die mehreren Prozessoren 802, der Flash-Speicher 814 und/oder die Speicherungsvorrichtung 816 (nicht gezeigte) zugeordnete Firmware umfassen, die Programmieranweisungen speichert, die dafür ausgelegt sind, es der Computervorrichtung 800 als Reaktion auf Ausführung der Programmieranweisungen durch einen oder mehrere Prozessoren 802 zu ermöglichen, alle oder ausgewählte Aspekte der hier beschriebenen Verfahren zu praktizieren. Bei verschiedenen Ausführungsformen können diese Aspekte zusätzlich oder als Alternative unter Verwendung von Hardware implementiert werden, die von dem einen oder den mehreren Prozessoren 802, dem Flash-Speicher 814 oder der Speicherungsvorrichtung 816 getrennt ist. Bei einer Ausführungsform ist der Speicher, wie etwa der Flash-Speicher 814 oder anderer Speicher in der Computervorrichtung, eine Speichervorrichtung, die eine block- oder byteadressierbare Speichervorrichtung ist, wie etwa diejenigen, die auf NAND, NOR, PCM (Phasenänderungsspeicher), Nanodraht-Speicher und anderen Technologien, einschließlich nichtflüchtiger Vorrichtungen zukünftiger Generationen basieren, wie etwa eine dreidimensionale Kreuzpunkt-Speichervorrichtung oder andere byteadressierbare nichtflüchtige Write-In-Phase-Speichervorrichtungen oder umfasst diese. Bei einer Ausführungsform kann die Speichervorrichtung Speichervorrichtungen sein oder umfassen, die Chalcogenidglas, Mehrschwellenpegel-NAND-Flash-Speicher, NOR-Flash-Speicher, Einzel- oder Mehrpegel-PCM, einen resistiven Speicher, ferroelektrischen Transistor-Direktzugriffsspeicher (FeTRAM), anti-ferroelektrischen Speicher, magnetoresistiven Direktzugriffsspeicher (MRAM), der Memristor-Technologie enthält, resistiven Speicher, darunter der Metalloxidbasis-, der Sauerstoffleerstellenbasis- und leitfähige Brückendirektzugriffsspeicher (CB-RAM) oder STT-MRAM (Spin Transfer Torque), eine auf magnetischem Spintronic-Sperrschichtspeicher basierende Vorrichtung, eine auf MTJ (Magnettunnelungssperrschicht) basierende Vorrichtung, eine auf DW (Domänenwand) und SOT (Spin Orbit Transfer) basierende Vorrichtung, eine Speichervorrichtung auf Thyristorbasis oder eine Kombination beliebiger der obigen oder anderen Speicher verwenden. Die Speichervorrichtung kann sich auf den Chip selbst und/oder ein gekapseltes Speicherprodukt beziehen.
Bei verschiedenen Ausführungsformen können eine oder mehrere Komponenten der Computervorrichtung 800 eine Ausführungsform der Artikel 102, 104, 110, 122, 126 von 1, der Artikel 302-316 von 3, der Artikel 4052, 4053, 4060 von 4 usw. implementieren. Somit könnte der Prozessor 802 zum Beispiel das SoC 702 von 7 sein, das mittels des Speichercontroller 808 mit dem Speicher 810 kommuniziert. Bei einigen Ausführungsformen kann der E/A-Controller 818 eine Schnittstelle mit einer oder mehreren externen Vorrichtungen bilden, um Daten zu empfangen. Zusätzlich oder als Alternative können die externen Vorrichtungen verwendet werden, um ein zwischen Komponenten der Computervorrichtung 800 übertragenes Datensignal zu empfangen.
Der Kommunikationschip bzw. die Kommunikationschips 804 können verdrahtete und/oder drahtlose Kommunikation zum Transfer von Daten zu und von der Computervorrichtung 800 ermöglichen. Der Ausdruck „drahtlos“ und seine Ableitungen können verwendet werden, um Schaltungen, Vorrichtungen, Systeme, Verfahren, Techniken, Kommunikationskanäle usw. zu beschreiben, die Daten mittels Verwendung modulierter elektromagnetischer Strahlung durch ein nichtfestes Medium übermitteln können. Aus dem Ausdruck folgt nicht, dass die zugeordneten Vorrichtungen keinerlei Drähte enthalten, obwohl dies bei einigen Ausführungsformen der Fall sein könnte. Der Kommunikationschip bzw. die Kommunikationschips können beliebige einer Anzahl von drahtlosen Standards oder Protokollen implementieren, darunter, aber ohne Beschränkung darauf, IEEE 802.20, LTE (Long Term Evolution), LTE-A (LTE Advanced), GPRS (General Packet Radio Service), Ev-DO (Evolution Data Optimized), HSPA+ (Evolved High Speed Packet Access), HSDPA+ (Evolved High Speed Downlink Packet Access), HSUPA+ (Evolved High Speed Uplink Packet Access), GSM (Global System for Mobile Communications), EDGE (Enhanced Data Rates for GSM Evolution), CDMA (Code Division Multiple Access), TDMA (Time Division Multiple Access), DECT (Digital Enhanced Cordless Telecommunications), WiMAX (Worldwide Interoperability for Microwave Access), Bluetooth, Ableitungen davon sowie beliebige andere drahtlose Protokolle, die als 3G, 4G, 5G und darüber hinaus bezeichnet werden. Die Computervorrichtung kann mehrere Kommunikationschips 804 umfassen. Zum Beispiel kann ein erster Kommunikationschip(s) drahtlose Kommunikation mit kürzerer Reichweite gewidmet sein, wie etwa Wi-Fi und Bluetooth oder einem anderen Standard oder einer proprietären Kommunikationstechnologie kürzerer Reichweite, und ein zweiter Kommunikationschip 804 kann drahtloser Kommunikation größerer Reichweite gewidmet sein, wie etwa GPS, EDGE, GPRS, CDMA, WiMAX, LTE, Ev-DO und anderen.
Der Kommunikationschip bzw. die Kommunikationschips können eine beliebige Anzahl von Standards, Protokollen und/oder Technologien implementieren, die Datenzentralen typischerweise verwenden, wie etwa Vernetzungstechnologie, die schnelle latenzarme Kommunikation bereitstellt. Die Computervorrichtung 800 kann beliebige Infrastrukturen, Protokolle und Technologie unterstützen, die hier identifiziert werden, und da immer neue schnelle Technologie implementiert wird, versteht sich für Fachleute, dass zu erwarten ist, dass die Computervorrichtung derzeit bekannte Äquivalente oder in der Zukunft implementierte Technologie unterstützt.
Bei verschiedenen Implementierungen kann die Computervorrichtung 800 ein Laptop, ein Netbook, ein Notebook, ein Ultrabook, ein Smartphone, ein Computer-Tablet, ein PDA (Personal Digital Assistant), ein Ultra-Mobile PC, ein Mobiltelefon, ein Desktop-Computer, ein Server, ein Drucker, ein Scanner, ein Monitor, eine Set-Top-Box, eine Unterhaltungssteuereinheit (z.B. eine Spielkonsole, eine Kraftfahrzeug-Unterhaltungseinheit usw.), eine Digitalkamera, ein Gerät, ein tragbarer Musik-Player oder ein digitaler Videorekorder oder eine Transportvorrichtung (z.B. eine beliebige motorisierte oder manuelle Vorrichtung, wie etwa ein Fahrrad, ein Motorrad, ein Automobil, ein Taxi, ein Zug, ein Flugzeug, eine Drohne, eine Rakete, ein Roboter, eine intelligente Transportvorrichtung usw.) sein. Es versteht sich, dass die Computervorrichtung 800 eine beliebige elektronische Vorrichtung sein soll, die Daten verarbeitet.
9 zeigt ein beispielhaftes computerlesbares Speicherungsmedium 900 mit Anweisungen zum Praktizieren verschiedener hier besprochener Ausführungsformen. Das Speicherungsmedium kann nichttransitorisch sein und eine oder mehrere definierte Regionen umfassen, die eine Anzahl von Programmieranweisungen 904 umfassen können. Die Programmieranweisungen 904 können dafür ausgelegt sein, es einer Vorrichtung, z.B. der AI 122 von 1 oder der Datenverarbeitungsplattform 700 von 7, als Reaktion auf Ausführung der Programmieranweisungen zu ermöglichen, Überwachung intelligenter Räume und Vorhersage von Reaktionen auf Ereignisse, Vorfälle, Unfälle usw. oder den Hypervisor 412, das Dienst-/Benutzer-OS der Dienst-Benutzer-VM 422-428 und Komponenten der VIM-Technologie 450 (wie etwa einen Hauptsystemcontroller, BewertungsSubsysteme des Insassenzustands, Bewertungs-Subsystem intelligenter Transportvorrichtungen, Bewertungs-Subsystem des Zustands der äußeren Umgebung und so weiter) oder Aspekte davon zu implementieren. Bei alternativen Ausführungsformen können die Programmieranweisungen 904 auf mehreren computerlesbaren nichttransitorischen Speicherungsmedium 902 angeordnet sein. Bei weiteren Ausführungsformen können die Programmieranweisungen 904 auf computerlesbaren transitorischen Speicherungsmedium 902, wie etwa Signalen, angeordnet sein.
Es kann eine beliebige Kombination eines oder mehrerer computerbenutzbarer oder computerlesbarer Medien benutzt werden. Das computerbenutzbare oder computerlesbare Medium wäre zum Beispiel, aber ohne Beschränkung darauf, ein elektronisches, magnetisches, optisches, elektromagnetisches, Infrarot- oder Halbleitersystem, eine Vorrichtung, eine Einrichtung oder ein Ausbreitungsmedium. Spezifischere Beispiele (eine nicht erschöpfende Liste) für das computerlesbare Medium würden Folgendes umfassen: eine elektrische Verbindung mit einem oder mehreren Drähten, eine tragbare Computerdiskette, eine Festplatte, ein Direktzugriffsspeicher (RAM), ein Festwertspeicher (ROM), ein löschbarer programmierbarer Festwertspeicher (EPROM oder Flash-Speicher), eine optische Faser, ein tragbarer Compact-Disc-Festwertspeicher (CD-ROM), eine optische Speicherungsvorrichtung, Übertragungsmedien wie diejenigen, die das Internet oder ein Intranet unterstützten, oder eine magnetische Speicherungsvorrichtung. Man beachte, dass das computerbenutzbare oder computerlesbare Medium sogar Papier oder ein anderes geeignetes Medium sein könnte, worauf das Programm gedruckt wird, da das Programm zum Beispiel über optisches Scannen des Papiers oder anderen Mediums elektronisch erfasst, dann kompiliert, interpretiert oder anderweitig auf geeignete Weise verarbeitet werden kann, wenn es notwendig ist, und dann in einem Computerspeicher gespeichert wird. Im Kontext der vorliegenden Schrift kann ein computerbenutzbares oder computerlesbares Medium ein beliebiges Medium sein, das das Programm zur Verwendung durch das oder in Verbindung mit dem Anweisungsausführungssystem, der Vorrichtung oder der Einrichtung enthalten, speichern, übermitteln, ausbreiten oder transportieren kann. Das computerbenutzbare Medium kann ein ausgebreitetes Datensignal mit damit realisiertem computerbenutzbarem Programmcode entweder im Basisband oder als Teil einer Trägerwelle umfassen. Der computerbenutzbare Programmcode kann unter Verwendung eines beliebigen geeigneten Mediums übertragen werden, darunter, aber ohne Beschränkung darauf, drahtlos, Drahtleitung, faseroptisches Kabel, HF usw.
Computerprogrammcode zum Ausführen von Operationen der vorliegenden Offenbarung können in einer beliebigen Kombination einer oder mehrerer Programmiersprachen geschrieben werden, einschließlich einer objektorientierten Programmiersprache wie Java, Smalltalk, C++ oder dergleichen und herkömmlicher prozeduraler Programmiersprachen wie die Programmiersprache „C“ oder ähnliche Programmiersprachen. Der Programmcode kann völlig auf dem Computer des Benutzers, teilweise auf dem Computer des Benutzers, als selbstständiges Softwarepaket, teilweise auf dem Computer des Benutzers und teilweise auf einem entfernten Computer oder völlig auf dem entfernten Computer oder Server ausgeführt werden. Im letzteren Szenario kann der entfernte Computer mittels einer beliebigen Art von Netzwerk einschließlich eines lokalen Netzwerks (LAN) oder großflächigen Netzwerks (WAN), mit dem Computer des Benutzers verbunden sein oder die Verbindung kann mit einem externen Computer hergestellt werden (zum Beispiel mittels des Internet unter Verwendung eines Internet-Dienstanbieters).
Die vorliegende Offenbarung wird mit Bezug auf Flussdiagrammdarstellungen und/oder Blockdarstellungen von Verfahren, Vorrichtungen (Systemen) und Computerprogrammprodukten gemäß Ausführungsformen der Offenbarung beschrieben. Es versteht sich, dass jeder Block der Flussdiagrammdarstellungen und/oder Blockdarstellungen und Kombinationen von Blöcken in den Flussdiagrammdarstellungen und/oder Blockdarstellungen durch Computerprogrammanweisungen implementiert werden kann. Diese Computerprogrammanweisungen können einem Prozessor eines Vielzweckcomputers, Spezialcomputers oder einer anderen programmierbaren Datenverarbeitungsvorrichtung zugeführt werden, um eine Maschine zu produzieren, dergestalt, dass die Anweisungen, die über den Prozessor des Computers oder der anderen programmierbaren Datenverarbeitungsvorrichtung ausgeführt werden, Mittel zur Implementierung der in dem Block oder den Blöcken des Flussdiagramms und/oder der Blockdarstellung spezifizierten Funktionen/Schritte erzeugen.
Diese Computerprogrammanweisungen können auch in einem computerlesbaren Medium gespeichert werden, das einen Computer oder eine andere programmierbare Datenverarbeitungsvorrichtung anleiten kann, auf spezielle Weise zu funktionieren, dergestalt, dass die in dem computerlesbaren Medium gespeicherten Anweisungen einen Herstellungsartikel produzieren, der Anweisungsmittel umfasst, die die Funktion/den Schritt implementieren, die bzw. der in dem Block oder den Blöcken des Flussdiagramms und/oder der Blockdarstellung spezifiziert wird.
Die Computerprogrammanweisungen können auch auf einen Computer oder eine andere programmierbare Datenverarbeitungsvorrichtung geladen werden, um zu bewirken, dass eine Reihe von Operationsschritten auf dem Computer oder einer anderen programmierbaren Vorrichtung ausgeführt wird, um einen computerimplementierten Prozess dergestalt zu produzieren, dass die Anweisungen, die auf dem Computer oder einer anderen programmbaren Vorrichtung ausgeführt werden, Prozesse zur Implementierung der Funktionen/Schritte implementieren, die in dem Block oder den Blöcken des Flussdiagramms und/oder der Blockdarstellung spezifiziert werden.
Das Flussdiagramm und die Blockdarstellungen in den Figuren zeigen die Architektur, Funktionalität und Funktionsweise möglicher Implementierungen von Systemen, Verfahren und Computerprogrammprodukten gemäß verschiedenen Ausführungsformen der vorliegenden Offenbarung. In dieser Hinsicht kann jeder Block in dem Flussdiagramm oder in den Blockdarstellungen ein Modul, ein Segment oder einen Teil von Code repräsentieren, das bzw. der eine oder mehrere ausführbare Anweisungen zur Implementierung der spezifizierten Logikfunktion(en) umfasst. Außerdem sollte beachtet werden, dass bei einigen alternativen Implementierungen die in dem Block erwähnten Funktionen nicht in der in den Figuren angegebenen Reihenfolge auftreten müssen. Zum Beispiel können abhängig von der beteiligten Funktionalität zwei in Abfolge gezeigte Blöcke tatsächlich im Wesentlichen gleichzeitig ausgeführt werden oder die Blöcke können manchmal in der umgekehrten Reihenfolge ausgeführt werden. Außerdem versteht sich, dass jeder Block der Blockdarstellungen und/oder Flussdiagrammdarstellung und Kombinationen von in den Blockdarstellungen und/oder der Flussdiagrammdarstellung durch Systeme auf Spezialhardwarebasis implementiert werden können, die die spezifizierten Funktionen oder Schritte ausführen, oder durch Kombinationen von Spezialhardware und Computeranweisungen.
Die hier verwendete Terminologie dient lediglich dem Zweck der Beschreibung bestimmter Ausführungsformen und soll keine Beschränkung der Offenbarung sein. Im vorliegenden Gebrauch sollen die Singularformen „ein“, „eine“ und „das“ auch die Pluralformen einschließen, solange es der Kontext nicht deutlich anders angibt. Ferner versteht sich, dass die Ausdrücke „umfasst“ und/oder „umfassend“, wenn sie in der vorliegenden Schrift verwendet werden, die Anwesenheit von angegebenen Merkmalen, ganzen Zahlen, Schritten, Operationen, Elementen und/oder Komponenten spezifizieren, aber die Anwesenheit oder den Zusatz eines oder mehrerer anderer Merkmale, einer oder mehrerer anderer ganzer Zahlen, eines oder mehrerer anderer Schritte, einer Operation von Elementen, Komponenten und/oder Gruppen davon nicht ausschließen.
Ausführungsformen können als ein Computerprozess, ein Datenverarbeitungssystem oder als ein Herstellungsartikel, wie etwa ein Computerprogrammprodukt computerlesbarer Medien implementiert werden. Das Computerprogrammprodukt kann ein Computerspeicherungsmedium sein, dass durch ein Computersystem lesbar ist und ein Computerprogramm mit Anweisungen zum Ausführen eines Computerprozesses codiert. Die entsprechenden Strukturen, Materialien, Schritte und Äquivalente aller Mittel oder Schritte, plus Funktionselemente, in den nachfolgenden Ansprüchen sollen eine beliebige Struktur, ein beliebiges Material oder einen beliebigen Schritt zum Ausführen der Funktion in Kombination mit anderen beanspruchten Elementen, die speziell beansprucht werden, umfassen. Die Beschreibung der vorliegenden Offenbarung erfolgte zur Veranschaulichung und Beschreibung, soll aber nicht erschöpfend oder auf die Offenbarung der offenbarten Form beschränkt sein. Durchschnittsfachleuten werden viele Modifikationen und Varianten einfallen, ohne vom Schutzumfang und Wesen der Offenbarung abzuweichen. Die Ausführungsform wurde gewählt und beschrieben, um die Prinzipien der Offenbarung und die praktische Anwendung am besten zu erläutern und um es anderen Durchschnittsfachleuten zu ermöglichen, die Offenbarung für Ausführungsformen mit verschiedenen Modifikationen, so wie sie für die konkrete in Betracht gezogene Verwendung geeignet sind, zu verstehen.
Bei dem Speicherungsmedium kann es sich um transitorische, nichttransitorische oder eine Kombination von transitorischen und nichttransitorischen Medien handeln, und das Medium kann für Verwendung zum Speichern von Anweisungen geeignet sein, die bewirken, dass eine Vorrichtung, eine Maschine oder eine andere Einrichtung als Reaktion auf Ausführung der Anweisungen durch die Vorrichtung ausgewählte Aspekte der vorliegenden Offenbarung praktiziert. Für Fachleute ist erkennbar, dass die vorliegende Offenbarung als Verfahren oder Computerprogrammprodukte realisiert werden kann. Dementsprechend kann die vorliegende Offenbarung zusätzlich zur Realisierung in Hardware wie zuvor beschrieben die Form einer Ausführungsform ganz in Software (einschließlich Firmware, residenter Software, Mikrocode usw.) oder einer Ausführungsform, die Software- und Hardwareaspekte kombiniert, die alle allgemein als „Schaltung“, „Modul“ oder „System“ bezeichnet werden können, annehmen. Ferner kann die vorliegende Offenbarung die Form eines Computerprogrammprodukts annehmen, das in einem beliebigen greifbaren oder nichttransitorischen Medium des Ausdrucks mit in dem Medium realisiertem computerbenutzbarem Programmcode annehmen kann.
Es folgen Beispiele für beispielhafte Ausführungsformen und Kombinationen von Ausführungsformen. Es versteht sich, dass ein Beispiel von mehreren Beispielen abhängen kann, die ihrerseits auch von mehreren Ausführungsformen abhängen können. Es ist beabsichtigt, dass alle Kombinationen von Beispielen möglich sind, einschließlich mehrfach abhängiger Beispiele. Soweit eine Kombination unbeabsichtigt widersprüchlich ist, sollen alle anderen Kombinationen gültig bleiben. Jede mögliche Durchquerung der beispielhaften Abhängigkeitshierarchie soll beispielhaft sein.
Beispiel 1 wäre ein System eines intelligenten Raums mit mindestens einem ersten Sensor, der einem ersten Artikel in dem intelligenten Raum zugeordnet ist, einem Agenten und einem zweiten Sensor, der einem neuronalen Netzwerk zur Überwachung des integrierten Raums zugeordnet ist, wobei das neuronale Netzwerk ein Training aufweist, das mindestens teilweise durch Daten von dem zweiten Sensor selbst trainiert ist, wobei das System Folgendes umfasst: den ersten Sensor zum Angeben zum Angeben eines ersten Status des ersten Artikels; den zweiten Sensor zum Bereitstellen einer Repräsentation des intelligenten Raums; und den Agenten mit einem Agentenstatus, der Agentenaktivität über die Zeit entspricht; wobei das neuronale Netzwerk den ersten Status, die Repräsentation des intelligenten Raums und den Agentenstatus als Eingaben empfangen und mindestens teilweise auf der Basis der Eingaben und des Trainings vorhersagen soll, ob ein Vorfall aufgetreten ist und ob der Agentenstatus einer Reaktion auf den Vorfall entspricht.
Beispiel 2 kann Beispiel 1 sein, wobei das neuronale Netzwerk den Agentenstatus mindestens teilweise auf der Basis einer Analyse durch das neuronale Netzwerk eines Rückkopplungssignals an das neuronale Netzwerk zu bestimmen, das ein ausgewähltes oder beides von der Repräsentation des intelligenten Raums oder eines dem Agenten zugeordneten dritten Sensors umfasst.
Beispiel 3 kann Beispiel 1 oder Beispiel 2 sein, das ferner einen dem Vorfall entsprechenden Hinweis umfasst; wobei das neuronale Netzwerk den Hinweis löschen soll, wenn es die Reaktion auf den Hinweis vorhersagt.
Beispiel 4 kann Beispiel 3 sein, wobei das neuronale Netzwerk über eine Menge von einer oder mehreren Maschinen hinweg implementiert wird, die mindestens teilweise auf der Basis des Trainings ein Modell speichern, wobei das neuronale Netzwerk mindestens teilweise auf der Basis des Modells vorhersagen soll, ob die Reaktion eine angemessene Reaktion auf den Hinweis ist, und wenn dem so ist, den Hinweis löschen soll.
Beispiel 5 kann Beispiel 1 oder beliebige der Beispiele 2-4 sein, wobei der Agent eine Person oder ein Artikel sein kann und das neuronale Netzwerk Folgendes umfasst: eine Artikelerkennungskomponente zum Erkennen von Artikeln in dem intelligenten Raum; eine Personenerkennungskomponente zum Erkennen von Personen in dem intelligenten Raum; eine Abbildungskomponente zum Abbilden erkannter Artikel und Personen; und eine Schlussfolgerungskomponente zum Vorhersagen von zukünftiger Aktivität in dem intelligenten Raum; wobei das neuronale Netzwerk mindestens teilweise basierend auf Ausgaben von der Schlussfolgerungskomponente vorhersagen soll, ob die Agentenaktivität eine angemessene Reaktion auf den Vorfall ist.
Beispiel 6 kann Beispiel 1 oder beliebige der Beispiele 2-5 sein, wobei der erste Sensor einer Vorrichtung des Internet der Dinge (IoT) zugeordnet ist und ein zweiter Sensor einer IoT-Vorrichtung des Agenten zugeordnet ist, wobei der Agentenstatus mindestens teilweise basierend auf durch den zweiten Sensor bereitgestellten Daten bestimmt wird.
Beispiel 7 kann Beispiel 1 oder beliebige der Beispiele 2-6 sein, wobei das neuronale Netzwerk eine Interaktion zwischen dem Agenten und dem ersten Artikel erkennen soll und das neuronale Netzwerk mindestens teilweise auf der Basis der Interaktion vorhersagen soll, ob die Agentenaktivität eine angemessene Reaktion auf den Vorfall ist.
Beispiel 8 kann Beispiel 7 sein, wobei das neuronale Netzwerk einen Hinweis ausgeben soll, wenn das neuronale Netzwerk vorhersagen soll, ob die Agentenaktivität nicht die angemessene Reaktion auf den Vorfall bereitstellt.
Beispiel 9 kann Beispiel 1 oder beliebige der Beispiele 2-8 sein, wobei das neuronale Netzwerk den intelligenten Raum basierend auf dem intelligenten Raum nahen Sensoren und auf der Basis der Repräsentation des intelligenten Raums abbildet.
Beispiel 10 wäre ein Verfahren für ein neuronales Netzwerk zum Steuern eines Hinweises zur Beauftragung eines Agenten, auf einen Vorfall in einem intelligenten Raum zu reagieren, umfassend: Trainieren des neuronalen Netzwerks mindestens teilweise auf der Basis eines ersten Sensors, der eine Repräsentation des intelligenten Raums bereitstellt, wobei das Training Überwachen des intelligenten Raums, Vorhersagen einer Aktivität in dem intelligenten Raum und Bestätigen, ob die vorhergesagte Aktivität einer tatsächlichen Aktivität entspricht, umfasst; Empfangen eines Signals, das angibt, dass ein Vorfall in dem intelligenten aufgetreten ist; Betreiben eines Schlussfolgerungsmodells, um zu bestimmen, ob eine Reaktion auf den Vorfall notwendig ist; Aktivieren des Hinweises zur Beauftragung des Agenten, auf den Vorfall zu reagieren; Überwachen der Repräsentation des intelligenten Raums und Identifizieren von Agentenaktivität; und Bestimmen, ob die Agentenaktivität eine Reaktion auf den Vorfall ist.
Beispiel 11 kann Beispiel 10 sein, wobei das Training Herstellen eines Grundlinienmodells, das mindestens Artikel und Personen in dem intelligenten Raum identifiziert, umfasst und die Artikel und Personen zugeordnete Attribute aufweisen, darunter mindestens ein Ort in dem intelligenten Raum.
Beispiel 12 kann Beispiel 10 oder Beispiel 11 sein, wobei das Bestimmen Folgendes umfasst: Vorhersagen zukünftiger Bewegung des Agenten über einen Zeitraum; Vergleichen der vorhergesagten zukünftigen Bewegung mit einer erlernten angemessenen Bewegung, die als Reaktion auf den Vorfall unternommen wird; und Bestimmen, ob die vorhergesagte zukünftige Bewegung der erlernten angemessenen Bewegung entspricht.
Beispiel 13 kann Beispiel 10 oder beliebige der Beispiele 11-12 sein, ferner umfassend: Bestimmen, dass die Agentenaktivität nicht die Reaktion auf den Vorfall ist; und Eskalieren des Hinweises.
Beispiel 14 kann Beispiel 10 oder beliebige der Beispiele 11-13 sein, wobei das neuronale Netzwerk mittels Überwachungssensoren in dem intelligenten Raum und der Repräsentation des intelligenten Raums selbsttrainierend ist, wobei das Verfahren Folgendes umfasst: Entwickeln eines Schlussfolgerungsmodells mindestens teilweise basierend auf Identifizierung üblicher Vorfälle in dem intelligenten Raum und typischer Reaktionen auf die üblichen Vorfälle in dem intelligenten Raum; und Bestimmen, ob die Agentenaktivität die Reaktion auf den Vorfall ist, mindestens teilweise auf der Basis des Anwendens des Schlussfolgerungsmodells auf die Agentenaktivität zur Erkennung einer Korrespondenz mit typischen Reaktionen.
Beispiel 15 kann Beispiel 10 oder beliebige der Beispiele 11-14 sein, wobei das neuronale Netzwerk dem Agenten Anweisungen bereitstellt und der Agent ein ausgewählter von einer ersten Person, einer ersten halbautonomen intelligenten Transportvorrichtung oder einer zweiten Person in einer zweiten intelligenten Transportvorrichtung ist.
Beispiel 16 kann Beispiel 10 oder beliebige der Beispiele 11-15 sein, wobei der Agent eine Person oder ein Artikel sein kann und das Verfahren ferner Folgendes umfasst: Erkennen von Artikeln in dem intelligenten Raum; Erkennen von Personen in dem intelligenten Raum; Abbilden von erkannten Artikeln und Personen; Anwenden eines Schlussfolgerungsmodells zur Vorhersage von dem intelligenten Raum zugeordneter zukünftiger Aktivität; und Vorhersagen, ob die Agentenaktivität eine angemessene Reaktion auf den Vorfall ist, mindestens teilweise basierend auf Anwendung des Schlussfolgerungsmodells.
Beispiel 17 kann Beispiel 16 oder beliebige der Beispiele 10-15 sein, wobei das Signal von einem ersten Sensor empfangen wird, der einer Vorrichtung des Internet der Dinge (IoT) zugeordnet ist, und ein zweiter Sensor einer IoT-Vorrichtung des Agenten zugeordnet ist, wobei die Agentenaktivität auch mindestens teilweise auf der Basis des zweiten Sensors bestimmt wird.
Beispiel 18 kann Beispiel 10 oder beliebige der Beispiele 11-17 sein, wobei die Agentenaktivität eine Interaktion zwischen dem Agenten und dem ersten Artikel umfasst, wobei das Verfahren ferner die folgenden Schritte des neuronalen Netzwerks umfasst: Erkennen der Interaktion zwischen dem Agenten und dem ersten Artikel; Bestimmen, dass die Agentenaktivität die Reaktion auf den Vorfall ist; Vorhersagen, ob die Reaktion eine angemessene Reaktion auf den Vorfall ist; und Ausgeben von Anweisungen an den Agenten als Reaktion auf Vorhersage, dass die Reaktion nicht die angemessene Reaktion bereitstellt.
Beispiel 19 wäre ein oder mehrere nichttransitorische computerlesbare Medien mit Anweisungen für ein neuronales Netzwerk zur Steuerung eines Hinweises zur Beauftragung eines Agenten, auf einen Vorfall in einem intelligenten Raum zu reagieren, wobei die Anweisungen für Folgendes sorgen: Trainieren des neuronalen Netzwerks mindestens teilweise auf der Basis eines ersten Sensors, der eine Repräsentation des intelligenten Raums bereitstellt, wobei das Training Überwachen des intelligenten Raums, Vorhersagen einer Aktivität in dem intelligenten Raum und Bestätigen, ob die vorhergesagte Aktivität einer tatsächlichen Aktivität entspricht, umfasst; Empfangen eines Signals, das angibt, dass ein Vorfall in dem intelligenten aufgetreten ist; Betreiben eines Schlussfolgerungsmodells, um zu bestimmen, ob eine Reaktion auf den Vorfall notwendig ist; Aktivieren des Hinweises zur Beauftragung des Agenten, auf den Vorfall zu reagieren; Überwachen der Repräsentation des intelligenten Raums und Identifizieren von Agentenaktivität; und Bestimmen, ob die Agentenaktivität eine Reaktion auf den Vorfall ist.
Beispiel 20 kann Beispiel 19 sein, wobei die Anweisungen für das Training ferner Anweisungen umfassen, um für das Herstellen eines mindestens Artikel und Personen in dem intelligenten Raum identifizierenden Grundlinienmodells zu sorgen, und wobei die Medien ferner Anweisungen zum Assoziieren von Attributen mit Artikeln und Personen umfassen, wobei die Attribute mindestens einen Ort in dem intelligenten Raum umfassen.
Beispiel 21 kann Beispiel 19 oder Beispiel 20 sein, wobei die Anweisungen zum Bestimmen ferner Anweisungen umfassen, die für Folgendes sorgen: Vorhersagen zukünftiger Bewegung des Agenten über einen Zeitraum; Vergleichen der vorhergesagten zukünftigen Bewegung mit einer erlernten angemessenen Bewegung, die als Reaktion auf den Vorfall unternommen wird; und Bestimmen, ob die vorhergesagte zukünftige Bewegung der erlernten angemessenen Bewegung entspricht.
Beispiel 22 kann Beispiel 21 oder Beispiele 19-20 sein, wobei die Anweisungen ferner Anweisungen zum Betrieb des neuronalen Netzwerks umfassen, wobei die Anweisungen für Folgendes sorgen: Selbsttrainieren des neuronalen Netzwerks mittels Überwachungssensoren in dem intelligenten Raum und der Repräsentation des intelligenten Raums; Entwickeln eines Schlussfolgerungsmodells mindestens teilweise basierend auf Identifizierung üblicher Vorfälle in dem intelligenten Raum und typischer Reaktionen auf die üblichen Vorfälle in dem intelligenten Raum; und Bestimmen, ob die Agentenaktivität die Reaktion auf den Vorfall ist, mindestens teilweise auf der Basis des Anwendens des Schlussfolgerungsmodells auf die Agentenaktivität zur Erkennung einer Korrespondenz mit typischen Reaktionen.
Beispiel 23 kann Beispiel 19 oder Beispiele 20-22 sein, wobei die Anweisungen ferner Anweisungen umfassen, um für Folgendes zu sorgen: Bestimmen einer Klassifizierung für den Agenten, einschließlich Identifizierung, ob der Agent eine erste Person, eine halbautonome intelligente Transportvorrichtung oder eine zweite Person in einer zweiten intelligenten Transportvorrichtung ist; und Bereitstellen von Anweisungen für den Agenten gemäß der Klassifizierung.
Beispiel 24 kann Beispiel 19 oder Beispiele 20-23 sein, wobei der Agent eine Person oder ein Artikel sein kann und das Verfahren ferner Folgendes umfasst: Erkennen von Artikeln in dem intelligenten Raum; Erkennen von Personen in dem intelligenten Raum; Abbilden von erkannten Artikeln und Personen; Anwenden eines Schlussfolgerungsmodells zur Vorhersage von dem intelligenten Raum zugeordneter zukünftiger Aktivität; und Vorhersagen, ob die Agentenaktivität eine angemessene Reaktion auf den Vorfall ist, mindestens teilweise basierend auf Anwendung des Schlussfolgerungsmodells.
Beispiel 25 kann Beispiel 24 oder Beispiele 20-23 sein, wobei die Anweisungen ferner Anweisungen umfassen, um für Folgendes zu sorgen: Identifizieren, dass die Agentenaktivität eine Interaktion zwischen dem Agenten und dem ersten Artikel umfasst; Erkennen der Interaktion zwischen dem Agenten und dem ersten Artikel; Bestimmen, dass die Agentenaktivität die Reaktion auf den Vorfall ist; Vorhersagen, ob die Reaktion eine angemessene Reaktion auf den Vorfall ist; und Ausgeben von Anweisungen an den Agenten, wenn vorhergesagt wird, dass die Reaktion nicht die angemessene Reaktion bereitstellt.
Für Fachleute ist erkennbar, dass verschiedene Modifikationen und Abwandlungen an den offenbarten Ausführungsformen der offenbarten Vorrichtung und zugeordneten Verfahren vorgenommen werden können, ohne vom Wesen oder Schutzumfang der Offenbarung abzuweichen. Es ist somit beabsichtigt, dass die vorliegende Offenbarung die Modifikationen und Varianten der Ausführungsformen, die oben offenbart werden, abdeckt, solange die Modifikationen und Varianten in den Schutzumfang irgendwelcher Ansprüche und ihrer Äquivalente kommen.

Claims

System eines intelligenten Raums mit mindestens einem ersten Sensor, der einem ersten Artikel in dem intelligenten Raum zugeordnet ist, einem Agenten und einem zweiten Sensor, der einem neuronalen Netzwerk zur Überwachung des integrierten Raums zugeordnet ist, wobei das neuronale Netzwerk ein Training aufweist, das mindestens teilweise durch Daten von dem zweiten Sensor selbst trainiert ist, wobei das System Folgendes umfasst: den ersten Sensor zum Angeben zum Angeben eines ersten Status des ersten Artikels; den zweiten Sensor zum Bereitstellen einer Repräsentation des intelligenten Raums; und den Agenten mit einem Agentenstatus, der Agentenaktivität über die Zeit entspricht; wobei das neuronale Netzwerk den ersten Status, die Repräsentation des intelligenten Raums und den Agentenstatus als Eingaben empfangen und mindestens teilweise auf der Basis der Eingaben und des Trainings vorhersagen soll, ob ein Vorfall aufgetreten ist und ob der Agentenstatus einer Reaktion auf den Vorfall entspricht.
System nach Anspruch 1, wobei das neuronale Netzwerk den Agentenstatus mindestens teilweise auf der Basis einer Analyse durch das neuronale Netzwerk eines Rückkopplungssignals an das neuronale Netzwerk zu bestimmen, das ein ausgewähltes oder beides von der Repräsentation des intelligenten Raums oder eines dem Agenten zugeordneten dritten Sensors umfasst.
System nach Anspruch 1, das ferner einen dem Vorfall entsprechenden Hinweis umfasst; wobei das neuronale Netzwerk den Hinweis löschen soll, wenn es die Reaktion auf den Hinweis vorhersagt.
System nach Anspruch 3, wobei das neuronale Netzwerk über eine Menge von einer oder mehreren Maschinen hinweg implementiert wird, die mindestens teilweise auf der Basis des Trainings ein Modell speichern, wobei das neuronale Netzwerk mindestens teilweise auf der Basis des Modells vorhersagen soll, ob die Reaktion eine angemessene Reaktion auf den Hinweis ist, und wenn dem so ist, den Hinweis löschen soll.
System nach Anspruch 1, wobei der Agent eine Person oder ein Artikel sein kann und das neuronale Netzwerk Folgendes umfasst: eine Artikelerkennungskomponente zum Erkennen von Artikeln in dem intelligenten Raum; eine Personenerkennungskomponente zum Erkennen von Personen in dem intelligenten Raum; eine Abbildungskomponente zum Abbilden erkannter Artikel und Personen; und eine Schlussfolgerungskomponente zum Vorhersagen von zukünftiger Aktivität in dem intelligenten Raum; wobei das neuronale Netzwerk mindestens teilweise basierend auf Ausgaben von der Schlussfolgerungskomponente vorhersagen soll, ob die Agentenaktivität eine angemessene Reaktion auf den Vorfall ist.
System nach Anspruch 1, wobei der erste Sensor einer Vorrichtung des Internet der Dinge (IoT) zugeordnet ist und ein zweiter Sensor einer IoT-Vorrichtung des Agenten zugeordnet ist, wobei der Agentenstatus mindestens teilweise basierend auf durch den zweiten Sensor bereitgestellten Daten bestimmt wird.
System nach Anspruch 1, wobei das neuronale Netzwerk eine Interaktion zwischen dem Agenten und dem ersten Artikel erkennen soll und das neuronale Netzwerk mindestens teilweise auf der Basis der Interaktion vorhersagen soll, ob die Agentenaktivität eine angemessene Reaktion auf den Vorfall ist.
System nach Anspruch 7, wobei das neuronale Netzwerk einen Hinweis ausgeben soll, wenn das neuronale Netzwerk vorhersagen soll, ob die Agentenaktivität nicht die angemessene Reaktion auf den Vorfall bereitstellt.
System nach einem der Ansprüche 1-8, wobei das neuronale Netzwerk den intelligenten Raum basierend auf dem intelligenten Raum nahen Sensoren und auf der Basis der Repräsentation des intelligenten Raums abbildet.
Verfahren für ein neuronales Netzwerk zum Steuern eines Hinweises zur Beauftragung eines Agenten, auf einen Vorfall in einem intelligenten Raum zu reagieren, umfassend: Trainieren des neuronalen Netzwerks mindestens teilweise auf der Basis eines ersten Sensors, der eine Repräsentation des intelligenten Raums bereitstellt, wobei das Training Überwachen des intelligenten Raums, Vorhersagen einer Aktivität in dem intelligenten Raum und Bestätigen, ob die vorhergesagte Aktivität einer tatsächlichen Aktivität entspricht, umfasst; Empfangen eines Signals, das angibt, dass ein Vorfall in dem intelligenten aufgetreten ist; Betreiben eines Schlussfolgerungsmodells, um zu bestimmen, ob eine Reaktion auf den Vorfall notwendig ist; Aktivieren des Hinweises zur Beauftragung des Agenten, auf den Vorfall zu reagieren; Überwachen der Repräsentation des intelligenten Raums und Identifizieren von Agentenaktivität; und Bestimmen, ob die Agentenaktivität eine Reaktion auf den Vorfall ist.
Neuronales Netzwerk nach Anspruch 10, wobei das Training Herstellen eines Grundlinienmodells, das mindestens Artikel und Personen in dem intelligenten Raum identifiziert, umfasst und die Artikel und Personen zugeordnete Attribute aufweisen, darunter mindestens ein Ort in dem intelligenten Raum.
Verfahren nach Anspruch 10, wobei das Bestimmen Folgendes umfasst: Vorhersagen zukünftiger Bewegung des Agenten über einen Zeitraum; Vergleichen der vorhergesagten zukünftigen Bewegung mit einer erlernten angemessenen Bewegung, die als Reaktion auf den Vorfall unternommen wird; und Bestimmen, ob die vorhergesagte zukünftige Bewegung der erlernten angemessenen Bewegung entspricht.
Verfahren nach Anspruch 10, ferner umfassend: Bestimmen, dass die Agentenaktivität nicht die Reaktion auf den Vorfall ist; und Eskalieren des Hinweises.
Verfahren nach Anspruch 10, wobei das neuronale Netzwerk mittels Überwachungssensoren in dem intelligenten Raum und der Repräsentation des intelligenten Raums selbsttrainierend ist, wobei das Verfahren Folgendes umfasst: Entwickeln eines Schlussfolgerungsmodells mindestens teilweise basierend auf Identifizierung üblicher Vorfälle in dem intelligenten Raum und typischer Reaktionen auf die üblichen Vorfälle in dem intelligenten Raum; und Bestimmen, ob die Agentenaktivität die Reaktion auf den Vorfall ist, mindestens teilweise auf der Basis des Anwendens des Schlussfolgerungsmodells auf die Agentenaktivität zur Erkennung einer Korrespondenz mit typischen Reaktionen.
Verfahren nach Anspruch 10, wobei das neuronale Netzwerk dem Agenten Anweisungen bereitstellt und der Agent ein ausgewählter von einer ersten Person, einer ersten halbautonomen intelligenten Transportvorrichtung oder einer zweiten Person in einer zweiten intelligenten Transportvorrichtung ist.
Verfahren nach Anspruch 10, wobei der Agent eine Person oder ein Artikel sein kann und das Verfahren ferner Folgendes umfasst: Erkennen von Artikeln in dem intelligenten Raum; Erkennen von Personen in dem intelligenten Raum; Abbilden von erkannten Artikeln und Personen; Anwenden eines Schlussfolgerungsmodells zur Vorhersage von dem intelligenten Raum zugeordneter zukünftiger Aktivität; und Vorhersagen, ob die Agentenaktivität eine angemessene Reaktion auf den Vorfall ist, mindestens teilweise basierend auf Anwendung des Schlussfolgerungsmodells.
Verfahren nach Anspruch 16, wobei das Signal von einem ersten Sensor empfangen wird, der einer Vorrichtung des Internet der Dinge (IoT) zugeordnet ist, und ein zweiter Sensor einer IoT-Vorrichtung des Agenten zugeordnet ist, wobei die Agentenaktivität auch mindestens teilweise auf der Basis des zweiten Sensors bestimmt wird.
Verfahren nach einem der Ansprüche 10-17, wobei die Agentenaktivität eine Interaktion zwischen dem Agenten und dem ersten Artikel umfasst, wobei das Verfahren ferner die folgenden Schritte des neuronalen Netzwerks umfasst: Erkennen der Interaktion zwischen dem Agenten und dem ersten Artikel; Bestimmen, dass die Agentenaktivität die Reaktion auf den Vorfall ist; Vorhersagen, ob die Reaktion eine angemessene Reaktion auf den Vorfall ist; und Ausgeben von Anweisungen an den Agenten als Reaktion auf Vorhersage, dass die Reaktion nicht die angemessene Reaktion bereitstellt.
Neuronales Netzwerk zum Steuern eines Hinweises zur Beauftragung eines Agenten, auf einen Vorfall in einem intelligenten Raum zu reagieren, umfassend: Mittel zum Trainieren des neuronalen Netzwerks mindestens teilweise auf der Basis eines ersten Sensors, der eine Repräsentation des intelligenten Raums bereitstellt, wobei das Training Überwachen des intelligenten Raums, Vorhersagen einer Aktivität in dem intelligenten Raum und Bestätigen, ob die vorhergesagte Aktivität einer tatsächlichen Aktivität entspricht, umfasst; Mittel zum Empfangen eines Signals, das angibt, dass ein Vorfall in dem intelligenten aufgetreten ist; Mittel zum Betreiben eines Schlussfolgerungsmodells, um zu bestimmen, ob eine Reaktion auf den Vorfall notwendig ist; Mittel zum Aktivieren des Hinweises zur Beauftragung des Agenten, auf den Vorfall zu reagieren; Mittel zum Überwachen der Repräsentation des intelligenten Raums und Identifizieren von Agentenaktivität; und Bestimmen, ob die Agentenaktivität eine Reaktion auf den Vorfall ist.
Mittel nach Anspruch 19, ferner mit Mitteln zum Herstellen eines Grundlinienmodells, das mindestens Artikel und Personen in dem intelligenten Raum identifiziert, umfasst und die Artikel und Personen zugeordnete Attribute aufweisen, darunter mindestens ein Ort in dem intelligenten Raum.
Mittel nach Anspruch 19, ferner umfassend: Mittel zum Vorhersagen zukünftiger Bewegung des Agenten über einen Zeitraum; Mittel zum Vergleichen der vorhergesagten zukünftigen Bewegung mit einer erlernten angemessenen Bewegung, die als Reaktion auf den Vorfall unternommen wird; und Mittel zum Bestimmen, ob die vorhergesagte zukünftige Bewegung der erlernten angemessenen Bewegung entspricht.
Mittel nach Anspruch 21, wobei das neuronale Netzwerk ferner Folgendes umfasst: Mittel zum Selbsttrainieren des neuronalen Netzwerks mittels Überwachungssensoren in dem intelligenten Raum und der Repräsentation des intelligenten Raums; Mittel zum Entwickeln eines Schlussfolgerungsmodells mindestens teilweise basierend auf Identifizierung üblicher Vorfälle in dem intelligenten Raum und typischer Reaktionen auf die üblichen Vorfälle in dem intelligenten Raum; und Mittel zum Bestimmen, ob die Agentenaktivität die Reaktion auf den Vorfall ist, mindestens teilweise auf der Basis des Anwendens des Schlussfolgerungsmodells auf die Agentenaktivität zur Erkennung einer Korrespondenz mit typischen Reaktionen.
Mittel nach Anspruch 19, ferner umfassend: Mittel zum Bestimmen einer Klassifizierung für den Agenten, einschließlich Identifizierung, ob der Agent eine erste Person, eine halbautonome intelligente Transportvorrichtung oder eine zweite Person in einer zweiten intelligenten Transportvorrichtung ist; und Mittel zum Bereitstellen von Anweisungen für den Agenten gemäß der Klassifizierung.
Mittel nach einem der Ansprüche 19-23, wobei der Agent eine Person oder ein Artikel sein kann, ferner umfassend: Mitte zum Erkennen von Artikeln in dem intelligenten Raum; Mittel zum Erkennen von Personen in dem intelligenten Raum; Mittel zum Abbilden von erkannten Artikeln und Personen; Mitte zum Anwenden eines Schlussfolgerungsmodells zur Vorhersage von dem intelligenten Raum zugeordneter zukünftiger Aktivität; und Mittel zum Vorhersagen, ob die Agentenaktivität eine angemessene Reaktion auf den Vorfall ist, mindestens teilweise basierend auf Anwendung des Schlussfolgerungsmodells.
Mittel nach Anspruch 24, ferner umfassend: Mittel zum Identifizieren, dass die Agentenaktivität eine Interaktion zwischen dem Agenten und dem ersten Artikel umfasst; Mittel zum Erkennen der Interaktion zwischen dem Agenten und dem ersten Artikel; Mittel zum Bestimmen, dass die Agentenaktivität die Reaktion auf den Vorfall ist; Mittel zum Vorhersagen, ob die Reaktion eine angemessene Reaktion auf den Vorfall ist; und Mittel zum Ausgeben von Anweisungen an den Agenten als Reaktion auf Vorhersage, dass die Reaktion nicht die angemessene Reaktion bereitstellt.