DE112018003815T5

DE112018003815T5 - Modelllernvorrichtung, verfahren für eine gelerntes-modell-erzeugung, programm, gelerntes modell, überwachungsvorrichtung, und überwachungsverfahren

Info

Publication number: DE112018003815T5
Application number: DE112018003815.7T
Authority: DE
Inventors: Masumi Nomura; Koki Tateishi; Motoshi Takasu
Original assignee: Mitsubishi Hitachi Power Systems Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 2017-07-27
Filing date: 2018-07-13
Publication date: 2020-04-09
Also published as: CN110998654A; US20200184265A1; US11416705B2; KR20200017521A; CN110998654B; KR102395357B1; JP6936650B2; JP2019028591A; WO2019021855A1

Abstract

Eine Bildakquirierungseinheit akquiriert Bilddaten, in welchen ein Bild von einem normalen Überwachungsziel erfasst ist. Eine Bildverarbeitungseinheit erzeugt eine Vielzahl von doppelten Bilddatenteilen, indem unterschiedliche Bildverarbeitungen, die eine Änderung eines Farbtons bewirken, auf den Bilddaten innerhalb eines Bereichs durchgeführt werden, der einen Normalbereich des Überwachungsziels nicht überschreitet. Eine Lerneinheit trainiert ein Modell, um einen Wert auszugeben, der zum Bestimmen einer Normalität des Überwachungsziels aus den Bilddaten, in welchen das Bild des Überwachungsziels erfasst ist, unter Verwendung der Vielzahl von doppelten Bilddatenteilen als Trainingsdaten verwendet wird.

Description

Technisches Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Modelllernvorrichtung, ein Verfahren für eine Gelerntes-Modell-Erzeugung, ein Programm, ein gelerntes Modell, eine Überwachungsvorrichtung, und ein Überwachungsverfahren.
Es wird die Priorität der am 27. Juli 2017 eingereichten japanischen Patentanmeldung Nr. 2017-145268 beansprucht, deren Inhalt hier unter Bezugnahme enthalten ist.
Hintergrund der Erfindung
PTL1 offenbart eine Technik zum Erzeugen eines normalen Standardbildes, indem ein Normalzustandsbild von einem Überwachungsziel in der Vergangenheit im Voraus gelernt und eine Normalität von einem Überwachungsziel bestimmt wird, indem ein Bild, welches durch Abbilden des Überwachungsziels erfasst ist, mit dem normalen Standardbild verglichen wird.
PTL2 offenbart eine Technik zum Erhöhen von Trainingsdaten, während der Aufwand einer Kennzeichnung eingespart wird, indem eine Filterverarbeitung, eine Trimmverarbeitung und eine Rotationsverarbeitung auf einem Bild als Trainingsdaten für den Fall durchgeführt werden, dass ein Modell bezogen auf maschinelles Lernen trainiert wird.
Patentliteratur

PTL1: ungeprüfte japanische Patentanmeldung, erste Veröffentlichung Nr. H7-78239
PTL2: ungeprüfte japanische Patentanmeldung, erste Veröffentlichung Nr. 2016-62524

Offenbarung der Erfindung
Technisches Problem
In der in PTL 1 beschriebenen Erfindung ist es zur Erzeugung des normalen Standardbildes erforderlich, eine große Anzahl an Bildern des Überwachungsziels in dem Normalzustand bereitzustellen. Andererseits besteht ein Bedarf nach einer schnellen Bestimmung der Normalität des Überwachungsziels. In einem solchen Fall ist es nicht möglich, ein ausreichendes Bild zum Lernen bereitzustellen.
Eine Aufgabe der vorliegenden Erfindung besteht darin, eine Modelllernvorrichtung, ein Gelerntes-Modell-Erzeugungsverfahren, ein Programm, ein gelerntes Modell, eine Überwachungsvorrichtung und ein Überwachungsverfahren bereitzustellen, die in der Lage sind, eine Normalität des Überwachungsziels unter Verwendung eines gelernten Modells sogar in einem Zustand, in welchem das Volumen der Trainingsdaten gering ist, in geeigneter Weise zu bestimmen.
Lösung des Problems
Gemäß einem ersten Aspekt der vorliegenden Erfindung umfasst eine Modelllernvorrichtung: eine Bildakquirierungseinheit, die Bilddaten akquiriert, in welchen ein Bild von einem normalen Überwachungsziel erfasst ist; eine Bildverarbeitungseinheit, die eine Vielzahl von doppelten Bilddatenteilen erzeugt, indem unterschiedliche Bildverarbeitungen, die eine Änderung eines Farbtons bewirken, auf den Bilddaten innerhalb eines Bereichs durchgeführt werden, der einen Normalbereich des Überwachungsziels nicht überschreitet; und eine Lerneinheit, die ein Modell trainiert, um einen Wert auszugeben, der zum Bestimmen einer Normalität des Überwachungsziels aus den Bilddaten, in welchen das Bild des Überwachungsziels erfasst ist, unter Verwendung der Vielzahl von doppelten Bilddatenteilen als Trainingsdaten verwendet wird.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung in der Modelllernvorrichtung des ersten Aspekts können die Bilddaten ein thermisches Bild mit einem unterschiedlichen Farbton in Abhängigkeit von einer Temperatur des Überwachungsziels umfassen. Außerdem kann die Bildverarbeitungseinheit die Vielzahl von doppelten Bilddatenteilen erzeugen, indem eine Bildverarbeitung zum Korrigieren des Farbtons der Bilddaten zu einem Farbton korrespondierend zu einer unterschiedlichen Temperatur innerhalb eines Änderungsbereichs von einer Umgebungstemperatur des Überwachungsziels durchgeführt wird.
Gemäß einem dritten Aspekt der vorliegenden Erfindung kann die Modelllernvorrichtung des zweiten Aspekts ferner umfassen: eine Temperaturakquirierungseinheit, die Temperaturdaten akquiriert, die die Umgebungstemperatur des Überwachungsziels anzeigen, wenn die Bilddaten erfasst sind; und eine Korrekturwert-Spezifikationseinheit, die eine Beziehung zwischen einer Temperaturänderung und einem Farbtonkorrekturwert auf Basis der Bilddaten und der Temperaturdaten spezifiziert. Die Bildverarbeitungseinheit kann eine Bildverarbeitung auf den Bilddaten unter Verwendung des Korrekturwerts durchführen, der auf Basis der durch die Korrekturwert-Spezifikationseinheit spezifizierten Beziehung spezifiziert ist.
Gemäß einem vierten Aspekt der vorliegenden Erfindung in der Modelllernvorrichtung gemäß einem des ersten bis dritten Aspekts kann die Bildverarbeitungseinheit die Vielzahl von doppelten Bilddatenteilen erzeugen, indem eine Bildverarbeitung zum Korrigieren des Farbtons der Bilddaten zu einem Farbton korrespondierend zu einer unterschiedlichen Leuchtdichte innerhalb eines Änderungsbereichs von einer Umgebungsleuchtdichte des Überwachungsziels durchgeführt wird.
Gemäß einem fünften Aspekt der vorliegenden Erfindung kann die Modelllernvorrichtung gemäß einem des ersten bis vierten Aspekts ferner eine Aufteilungseinheit umfassen, die eine Vielzahl von aufgeteilten Bilddatenteilen erzeugt, indem die Bilddaten aufgeteilt werden. Die Bildverarbeitungseinheit kann die Vielzahl von doppelten Bilddatenteilen erzeugen, indem unterschiedliche Bildverarbeitungen, die eine Änderung eines Farbtons bewirken, auf jedem der Vielzahl von aufgeteilten Bilddatenteilen durchgeführt werden.
Gemäß einem sechsten Aspekt der vorliegenden Erfindung umfasst das Verfahren für eine Gelerntes-Modell-Erzeugung einen Schritt zum Akquirieren von Bilddaten, in welchen ein Bild von einem normalen Überwachungsziel erfasst ist; einen Schritt zum Erzeugen einer Vielzahl von doppelten Bilddatenteilen, indem unterschiedliche Bildverarbeitungen, die eine Änderung eines Farbtons bewirken, auf den Bilddaten innerhalb eines Bereichs durchgeführt werden, der einen Normalbereich des Überwachungsziels nicht überschreitet; und einen Schritt zum Erzeugen eines gelernten Modells, indem ein Modell trainiert wird, um einen Wert auszugeben, der zum Bestimmen einer Normalität des Überwachungsziels aus den Bilddaten, in welchen das Bild des Überwachungsziels erfasst ist, unter Verwendung der Vielzahl von doppelten Bilddatenteilen als Trainingsdaten verwendet wird.
Gemäß einem siebten Aspekt der vorliegenden Erfindung bewirkt ein Programm, dass ein Computer ausführt: einen Schritt zum Akquirieren von Bilddaten, in welchen ein Bild von einem normalen Überwachungsziel erfasst ist; einen Schritt zum Erzeugen einer Vielzahl von doppelten Bilddatenteilen, indem unterschiedliche Bildverarbeitungen, die eine Änderung eines Farbtons bewirken, auf den Bilddaten innerhalb eines Bereichs durchgeführt werden, der einen Normalbereich des Überwachungsziels nicht überschreitet; und einen Schritt zum Trainieren eines Modells, um einen Wert auszugeben, der zum Bestimmen einer Normalität des Überwachungsziels aus den Bilddaten, in welchen das Bild des Überwachungsziels erfasst ist, unter Verwendung der Vielzahl von doppelten Bilddatenteilen als Trainingsdaten verwendet wird.
Gemäß einem achten Aspekt der vorliegenden Erfindung ist ein gelerntes Modell ein Modell, welches trainiert ist, um einen Wert auszugeben, der zum Bestimmen einer Normalität von einem Überwachungsziel aus Bilddaten, in welchen ein Bild des Überwachungsziels erfasst ist, unter Verwendung einer Vielzahl von doppelten Bilddatenteilen, welche erzeugt sind, indem unterschiedliche Bildverarbeitungen, die eine Änderung eines Farbtons bewirken, auf den Bilddaten durchgeführt wird, in welchen das Bild des Überwachungsziels in einem Normalzustand erfasst ist, ohne einen Normalbereich des Überwachungsziels zu überschreiten, als Trainingsdaten verwendet wird. Das gelernte Modell bewirkt, dass ein Computer einen Schritt zum Ausgeben eines Werts ausführt, der zum Bestimmen einer Normalität des Überwachungsziels aus den akquirierten Bilddaten verwendet wird.
Gemäß einem neunten Aspekt der vorliegenden Erfindung umfasst eine Überwachungsvorrichtung: eine Bildakquirierungseinheit, die erfasste Bilddaten akquiriert; eine Inferenzverarbeitungseinheit, die einen Wert berechnet, der beim Bestimmen einer Normalität von einem Überwachungsziel aus den Bilddaten unter Verwendung des gelernten Modells gemäß dem achten Aspekt verwendet wird; und eine Bestimmungseinheit, die eine Normalität des Überwachungsziels unter Verwendung des berechneten Werts bestimmt.
Gemäß einem zehnten Aspekt der vorliegenden Erfindung umfasst ein Überwachungsverfahren: einen Schritt zum Akquirieren von Bilddaten, in welchen ein Bild von einem Überwachungsziel erfasst ist; einen Schritt zum Berechnen eines Werts, der beim Bestimmen einer Normalität von einem Überwachungsziel aus den Bilddaten unter Verwendung des gelernten Modells verwendet wird, welches durch die Modelllernvorrichtung gemäß dem neunten Aspekt trainiert wird; und einen Schritt zum Bestimmen einer Normalität des Überwachungsziels unter Verwendung des berechneten Werts.
Vorteilhafte Effekte der Erfindung
Gemäß zumindest einem der vorstehenden Aspekte ist die Modelllernvorrichtung in der Lage, die Normalität des Überwachungsziels auf Basis des gelernten Modells sogar in einem Zustand in geeigneter Weise zu bestimmen, in welchem das Volumen der Trainingsdaten gering ist.
Figurenliste

1 ist ein schematisches Diagramm, das eine Konfiguration von einem Überwachungssystem gemäß einem ersten Ausführungsbeispiel zeigt.
2 ist ein schematisches Blockdiagramm, das eine Konfiguration von einer Überwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel zeigt.
3 ist ein Flussdiagramm, das ein Verfahren für eine Gelerntes-Modell-Erzeugung unter Verwendung der Überwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel zeigt.
4 ist ein Flussdiagramm, das ein Normalitätsbestimmungsverfahren unter Verwendung der Überwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel zeigt.
5 ist ein schematisches Blockdiagramm, das eine Konfiguration von einer Überwachungsvorrichtung gemäß einem dritten Ausführungsbeispiel zeigt.
6 ist ein Diagramm, das ein Beispiel einer Aufteilung von Bilddaten gemäß dem dritten Ausführungsbeispiel zeigt.
7 ist ein schematisches Blockdiagramm, das eine Konfiguration von einem Computer gemäß zumindest einem Ausführungsbeispiel zeigt.

Beste Betriebsart zum Ausführen der Erfindung
<Definition>
Der Begriff „spezifizieren“ bedeutet ein Bestimmen eines zweiten Werts, auf welchen eine Vielzahl von Werten unter Verwendung eines ersten Werts gebracht werden kann. Beispielsweise ist der Begriff „spezifizieren“ definiert, um ein Berechnen des zweiten Werts aus dem ersten Wert, ein Lesen des zweiten Werts korrespondierend zu dem ersten Wert mit Bezug auf eine Tabelle, ein Suchen nach dem zweiten Wert unter Verwendung des ersten Werts als eine Anfrage, und ein Auswählen des zweiten Werts aus einer Vielzahl von Kandidaten auf Basis des ersten Werts zu umfassen.
Der Begriff „akquirieren“ bedeutet ein Erhalten eines neuen Werts. Beispielsweise ist der Begriff „akquirieren“ definiert, um ein Empfangen eines Werts, ein Empfangen einer Eingabe von einem Wert, ein Lesen eines Werts aus einer Tabelle, ein Berechnen eines Werts, und ein Messen eines Werts zu umfassen.
<Erstes Ausführungsbeispiel>
Nachstehend werden Ausführungsbeispiele mit Bezug auf die Zeichnungen detailliert beschrieben.
1 ist ein schematisches Diagramm, das eine Konfiguration von einem Überwachungssystem gemäß einem ersten Ausführungsbeispiel zeigt.
Ein Überwachungssystem 10 gemäß dem ersten Ausführungsbeispiel bestimmt die Normalität von einem Überwachungsziel 100 aus Bilddaten auf Basis des nächsten Nachbarverfahrens („nearest neighbor method“). Das nächste Nachbarverfahren ist ein Verfahren zum Extrahieren von normalen Abtastdaten von Zieldaten aus einer Vielzahl von Abtastdaten, und zum Bestimmen einer Normalität auf Basis der extrahierten Abtastdaten. Beispiele des nächsten Nachbarverfahrens umfassen das k nächste Nachbarverfahren („k nearest neighbor method“) und das lokale Ausreißerverfahren („local outlier method“).
Das Überwachungssystem 10 umfasst eine Abbildungsvorrichtung 200 und eine Überwachungsvorrichtung 300.
Die Abbildungsvorrichtung 200 erfasst ein Bild von dem Überwachungsziel 100 und erhält sichtbare Bilddaten, Infrarotbilddaten und thermische Bilddaten. Die sichtbaren Bilddaten sind Bilddaten, die durch Messen von sichtbarem Licht erhalten sind, das durch das Überwachungsziel 100 reflektiert ist. Die Infrarotbilddaten sind Bilddaten, die durch Messen von Infrarotstrahlen erhalten sind, die durch die Abbildungsvorrichtung 200 projiziert und durch das Überwachungsziel 100 reflektiert sind. Die thermischen Bilddaten sind Bilddaten, die durch Messen von Infrarotstrahlen erhalten sind, die von dem Überwachungsziel 100 emittiert sind. Die Abbildungsvorrichtung 200 erfasst Bilddaten zu regulären Intervallen.
Die Überwachungsvorrichtung 300 bestimmt die Normalität des Überwachungsziels 100 auf Basis der durch die Abbildungsvorrichtung 200 erfassten Bilddaten.
2 ist ein schematisches Blockdiagramm, das die Konfiguration der Überwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel zeigt.
Die Überwachungsvorrichtung 300 umfasst eine Bildakquirierungseinheit 301, eine Temperaturakquirierungseinheit 302, eine Verlaufsspeichereinheit 303, eine Korrekturwert-Spezifikationseinheit 304, eine Bildverarbeitungseinheit 305, ein Lerneinheit 306, eine Modellspeichereinheit 307, eine Inferenzverarbeitungseinheit 308, eine Bestimmungseinheit 309 und eine Ausgabesteuerungseinheit 310.
Die Bildakquirierungseinheit 301 akquiriert sichtbare Bilddaten, Infrarotbilddaten und thermische Bilddaten, die durch die Abbildungsvorrichtung 200 erfasst sind.
Die Verlaufsspeichereinheit 303 speichert Bilddaten und eine Abbildungszeit in Verknüpfung zueinander. Alle in der Verlaufsspeichereinheit 303 gespeicherten Bilddaten sind Bilddaten, in welchen ein Bild des normalen Überwachungsziels 100 erfasst ist.
Die Temperaturakquirierungseinheit 302 akquiriert Temperaturdaten, die die Umgebungstemperatur des Überwachungsziels 100 anzeigen, wenn die Abbildungsvorrichtung 200 Bilddaten erfasst. Beispielsweise akquiriert die Temperaturakquirierungseinheit 302 Wetterinformationen von einem Gebiet, in welchem das Überwachungsziel 100 installiert ist, durch ein Netzwerk.
Die Korrekturwert-Spezifikationseinheit 304 spezifiziert einen Korrekturwert, der für eine Bildverarbeitung von Bilddaten verwendet wird. Insbesondere spezifiziert die Korrekturwert-Spezifikationseinheit 304 einen Gammakorrekturwert zum Ändern des Farbtons der sichtbaren Bilddaten gemäß der Umgebungsleuchtdichte des Überwachungsziels 100 auf Basis der in der Verlaufsspeichereinheit 303 gespeicherten sichtbaren Bilddaten. D.h., die Korrekturwert-Spezifikationseinheit 304 spezifiziert eine Beziehung zwischen der Erhöhung einer mittleren Leuchtdichte der sichtbaren Bilddaten und dem Gammakorrekturwert auf Basis der in der Verlaufsspeichereinheit 303 gespeicherten sichtbaren Bilddaten. Die sichtbaren Bilddaten weisen eine geringere Leuchtdichte und einen geringeren Kontrast auf, wenn die Umgebungsleuchtdichte geringer ist. Die Korrekturwert-Spezifikationseinheit 304 spezifiziert einen Gammakorrekturwert zum Ändern des Farbtons der thermischen Bilddaten gemäß der Umgebungstemperatur auf Basis der in der Verlaufsspeichereinheit 303 gespeicherten thermischen Bilddaten. D.h., die Korrekturwert-Spezifikationseinheit 304 spezifiziert eine Beziehung zwischen dem Temperaturinkrement und dem Gammakorrekturwert auf Basis der in der Verlaufsspeichereinheit 303 gespeicherten thermischen Bilddaten. Die thermischen Bilddaten weisen eine geringere Leuchtdichte auf, wenn die Temperatur niedriger ist.
Die Bildverarbeitungseinheit 305 erzeugt eine Vielzahl von doppelten Bilddatenteilen, indem eine Vielzahl von unterschiedlichen Bildverarbeitungsprozeduren auf den Bilddaten durchgeführt wird. Beispiele der Bildverarbeitung umfassen eine Glättungsverarbeitung, eine Gammakorrektur, eine Kantenextraktion, eine Translation, eine Rotation und dergleichen. Die Gammakorrektur ist ein Beispiel einer Bildverarbeitung, die eine Änderung eines Farbtons involviert. Beispielsweise führt die Bildverarbeitungseinheit 305 für A Teile von Bilddaten eine Glättungsverarbeitung von B Mustern, eine Gammakorrektur von C Mustern, eine Translation von D Mustern und eine Rotation von E Mustern durch, um A×B×C×D×E Teile von doppelten Bilddaten zu erzeugen. Die Bildverarbeitungseinheit 305 führt eine unterschiedliche Bildverarbeitung durch, die die Änderung eines Farbtons innerhalb eines Bereichs involviert, der den Normalbereich des Überwachungsziels 100 nicht überschreitet. Beispielsweise für den Fall, dass eine Bildverarbeitung von einem thermischen Bild durchgeführt wird, führt die Bildverarbeitungseinheit 305 eine Bildverarbeitung durch, um den Farbton von Bilddaten innerhalb eines Temperaturbereichs von einer maximalen Temperatur zu einer minimalen Temperatur während einer vorbestimmten Zeitdauer zu ändern. Beispielsweise führt die Bildverarbeitungseinheit 305 für den Fall, dass eine Bildverarbeitung von einem sichtbaren Bild durchgeführt wird, eine Bildverarbeitung durch, um den Farbton der Bilddaten innerhalb eines Leuchtdichtebereichs einer Beleuchtung von ein zu aus zu ändern.
Die Lerneinheit 306 trainiert ein Modell unter Verwendung der in der Verlaufsspeichereinheit 303 gespeicherten Bilddaten und der durch die Bildverarbeitungseinheit 305 als Trainingsdaten erzeugten doppelten Bilddaten. D.h., die Lerneinheit 306 bewirkt, dass die Modellspeichereinheit 307 die Bilddaten, welche in die Bildakquirierungseinheit 301 eingegeben sind, und die doppelten Bilddaten, welche durch die Bildverarbeitungseinheit 305 erzeugt sind, als Abtastdaten für das nächste Nachbarverfahren speichert. Eine Abtastdatengruppe mit einer Vielzahl von doppelten Bilddatenteilen stellt ein Beispiel von einem gelernten Modell dar.
Die Modellspeichereinheit 307 speichert das durch die Lerneinheit 306 trainierte Modell.
Die Inferenzverarbeitungseinheit 308 berechnet einen Indexwert, der die Normalität des Überwachungsziels 100 anzeigt, aus den Bilddaten, welche in die Bildakquirierungseinheit 301 eingegeben sind, unter Verwendung des in der Modellspeichereinheit 307 gespeicherten Modells. Der Indexwert wird erhöht, wenn die Wahrscheinlichkeit, dass das Überwachungsziel 100 abnorm ist, zunimmt.
Die Bestimmungseinheit 309 bestimmt die Normalität des Überwachungsziels 100, indem der durch die Inferenzverarbeitungseinheit 308 berechnete Indexwert mit einem Schwellenwert verglichen wird. Die Bestimmungseinheit 309 bestimmt, dass das Überwachungsziel 100 normal ist, für den Fall, dass der Indexwert kleiner als der Schwellenwert ist. Die Bestimmungseinheit 309 bestimmt, dass das Überwachungsziel 100 abnorm ist, für den Fall, dass der Indexwert gleich oder größer als der Schwellenwert ist.
Die Ausgabesteuerungseinheit 310 bewirkt, dass die Ausgabevorrichtung das durch die Bestimmungseinheit 309 erhaltene Bestimmungsergebnis ausgibt. Beispiele der Ausgabevorrichtung umfassen eine Anzeige, einen Drucker und einen Lautsprecher.
Im Folgenden wird der Betrieb der Überwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel beschrieben. Die Bildakquirierungseinheit 301 der Überwachungsvorrichtung 300 akquiriert Bilddaten von der Abbildungsvorrichtung 200 und zeichnet die Bilddaten in der Verlaufsspeichereinheit 303 in Verknüpfung mit der Abbildungszeit auf, bevor ein gelerntes Modell erzeugt wird. Dadurch speichert die Überwachungsvorrichtung 300 eine Vielzahl von Bilddatenteilen in der Verlaufsspeichereinheit 303. Zu diesem Zeitpunkt kann die Überwachungsvorrichtung 300 Bilddaten nicht umfassen, durch welche das Bild des Überwachungsziels 100 aufgrund verstopfter Schatten oder ausgeblasener Lichter nicht wiedererzeugt werden kann.
3 ist ein Flussdiagramm, das ein Verfahren für eine Gelerntes-Modell-Erzeugung unter Verwendung der Überwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel zeigt.
Die Temperaturakquirierungseinheit 302 der Überwachungsvorrichtung 300 akquiriert Temperaturdaten, die die Umgebungstemperatur des Überwachungsziels 100 zu der Abbildungszeit der in der Verlaufsspeichereinheit 303 gespeicherten Bilddaten anzeigen (Schritt S1). Die Korrekturwert-Spezifikationseinheit 304 spezifiziert die Beziehung zwischen dem Temperaturinkrement und dem Gammakorrekturwert auf Basis des Farbtons der Vielzahl von thermischen Bilddaten, die in der Verlaufsspeichereinheit 303 gespeichert sind, und der Umgebungstemperatur zu dem Zeitpunkt einer Erfassung der thermischen Bilddaten (Schritt S2). Beispielsweise erhält die Korrekturwert-Spezifikationseinheit 304 einen Gammakorrekturwert, auf welchem die Differenz der Leuchtdichte für zwei Teile von thermischen Bilddaten minimiert ist, und sie erhält ferner eine Umgebungstemperaturdifferenz zwischen den beiden Teilen von thermischen Bilddaten. Dadurch kann die Beziehung zwischen dem Gammakorrekturwert und dem Temperaturinkrement erhalten werden. Die Korrekturwert-Spezifikationseinheit 304 spezifiziert die Beziehung zwischen dem mittleren Leuchtdichteinkrement und dem Gammakorrekturwert auf Basis des Farbtons der Vielzahl von sichtbaren Bilddaten, die in der Verlaufsspeichereinheit 303 gespeichert sind (Schritt S3) .
Die Bildverarbeitungseinheit 305 spezifiziert auf Basis der durch die Temperaturakquirierungseinheit 302 akquirierten Temperaturdaten oder anderer Wetterdaten die maximale Temperatur und die minimale Temperatur in einer vorbestimmten Zeitdauer (z.B. zwei Monate) beginnend von dem gegenwärtigen Zeitpunkt (Schritt S4). Die Bildverarbeitungseinheit 305 führt eine Gammakorrektur auf allen thermischen Bilddaten, welche in der Verlaufsspeichereinheit 303 gespeichert sind, jeweils unter Verwendung der Gammakorrekturwerte korrespondierend zu den Inkrementen durch, welche von der Umgebungstemperatur bezogen auf die thermischen Bilddaten zu jeder Temperatur reichen, die durch Teilen des Bereichs von der minimalen Temperatur zu der maximalen Temperatur in eine vorbestimmte Anzahl erhalten ist, wodurch eine Vielzahl von doppelten Bilddatenteilen erzeugt wird (Schritt S5). Wenn beispielsweise die maximale Temperatur 10°C beträgt, dann beträgt die minimale Temperatur -10°C, und die Umgebungstemperatur bezogen auf bestimmte thermische Bilddaten beträgt 0°C, und wenn der Bereich von der minimalen Temperatur zu der maximalen Temperatur in fünf aufgeteilt ist. In diesem Fall führt die Bildverarbeitungseinheit 305 eine Gammakorrektur von thermischen Bilddaten unter Verwendung eines Gammakorrekturwerts korrespondierend zu einem Inkrement von -10°C, eines Gammakorrekturwerts korrespondierend zu einem Inkrement von -5°C, eines Gammakorrekturwerts korrespondierend zu einem Inkrement von 5°C und eines Gammakorrekturwerts korrespondierend zu einem Inkrement von 10°C durch, wodurch vier doppelte Bilddatenteile erzeugt werden.
Die Bildverarbeitungseinheit 305 spezifiziert den maximalen Wert und den minimalen Wert der mittleren Leuchtdichte auf Basis der in der Verlaufsspeichereinheit 303 gespeicherten sichtbaren Bilddaten (Schritt S6). Die Bildverarbeitungseinheit 305 führt eine Gammakorrektur auf allen sichtbaren Bilddaten, die in der Verlaufsspeichereinheit 303 gespeichert sind, unter jeweiliger Verwendung von Gammakorrekturwerten korrespondierend zu Inkrementen durch, welche von der mittleren Leuchtdichte der sichtbaren Bilddaten zu jeder Leuchtdichte reichen, die durch Teilen des mittleren Leuchtdichtebereichs in eine vorbestimmte Anzahl erhalten ist, wodurch eine Vielzahl von doppelten Bilddatenteilen erzeugt wird (Schritt S7).
Die Bildverarbeitungseinheit 305 erzeugt ferner eine Vielzahl von doppelten Bilddatenteilen, indem eine andere Bildverarbeitung mit zumindest einem Glättungsprozess auf allen in der Verlaufsspeichereinheit 303 gespeicherten Bilddaten und allen doppelten Bilddaten durchgeführt wird (Schritt S8).
Die Lerneinheit 306 trainiert ein Modell unter Verwendung der in der Verlaufsspeichereinheit 303 gespeicherten Bilddaten und einer Vielzahl von doppelten Bilddatenteilen, die durch die Bildverarbeitungseinheit 305 erzeugt sind, als Trainingsdaten (Schritt S9), und sie zeichnet das gelernte Modell in der Modellspeichereinheit 307 auf (Schritt S10).
Für den Fall, dass das gelernte Modell in der Modellspeichereinheit 307 gespeichert ist, führt die Überwachungsvorrichtung 300 eine Normalitätsbestimmungsverarbeitung des Überwachungsziels 100 zu jedem Zeitpunkt bezogen auf eine bestimmte Zeitdauer durch. 4 ist ein Flussdiagramm, das ein Normalitätsbestimmungsverfahren unter Verwendung der Überwachungsvorrichtung gemäß dem ersten Ausführungsbeispiel zeigt.
Die Bildakquirierungseinheit 301 der Überwachungsvorrichtung 300 akquiriert Bilddaten von der Abbildungsvorrichtung 200 (Schritt S51). Dann glättet die Bildverarbeitungseinheit 305 die akquirierten Bilddaten (Schritt S52). Die Inferenzverarbeitungseinheit 308 berechnet den Indexwert, indem die geglätteten Bilddaten in das in der Modellspeichereinheit 307 gespeicherte gelernte Modell eingegeben werden (Schritt S53).
Beispielsweise führt die Inferenzverarbeitungseinheit 308 die folgende Verarbeitung für den Fall durch, dass der Indexwert durch das k nächste Nachbarverfahren berechnet wird. Die Inferenzberechnungseinheit 308 berechnet die Entfernung zwischen den akquirierten Bilddaten und allen Abtastdaten, die das gelernte Modell bilden. Die Inferenzverarbeitungseinheit 308 spezifiziert als einen Indexwert einen repräsentativen Wert von Entfernungen bezogen auf die k Teile von Abtastdaten mit der kürzesten berechneten Entfernung.
Beispielsweise führt die Inferenzverarbeitungseinheit 308 die folgende Verarbeitung für den Fall durch, dass der Indexwert durch das lokale Ausreißerfaktorverfahren berechnet wird. Die Inferenzverarbeitungseinheit 308 berechnet die Entfernung zwischen den akquirierten Bilddaten und allen Abtastdaten, die das gelernte Modell bilden. Die Inferenzverarbeitungseinheit 308 berechnet die Dichten von k Teilen der Abtastdaten mit der kürzesten berechneten Entfernung. Die Inferenzverarbeitungseinheit 308 spezifiziert als einen Indexwert einen Wert, der auf Basis der Dichte normalisiert ist, die durch Berechnen eines repräsentativen Werts von Entfernungen bezogen auf k Teile der Abtastdaten erhalten ist.
Die Entfernung zwischen den Abtastdaten und den akquirierten Bilddaten, die Dichte der Abtastdaten, und der Indexwert stellen Beispiele eines „Werts, der zum Bestimmen der Normalität des Überwachungsziels verwendet wird“, dar.
Dann bestimmt die Bestimmungseinheit 309, ob der Indexwert kleiner als ein Schwellenwert ist oder nicht (Schritt S54). Falls der Indexwert kleiner als der Schwellenwert ist (Schritt S54: JA), bestimmt die Bestimmungseinheit 309, dass das Überwachungsziel 100 normal ist (Schritt S55). Falls im Gegensatz dazu der Indexwert größer oder gleich zu dem Schwellenwert ist (Schritt S54: NEIN), bestimmt die Bestimmungseinheit 309, dass das Überwachungsziel 100 abnorm ist (Schritt S56).
Dann bewirkt die Ausgabesteuerungseinheit 310, dass die Ausgabevorrichtung das Bestimmungsergebnis der Bestimmungseinheit 309 ausgibt (Schritt S57).
Wie vorstehend beschrieben, führt die Überwachungsvorrichtung 300 gemäß dem ersten Ausführungsbeispiel eine unterschiedliche Bildverarbeitung, die eine Änderung des Farbtons bewirkt, auf den Bilddaten durch, die durch Erfassen des normalen Überwachungsziels innerhalb eines Bereichs erhalten sind, der den Normalbereich des Überwachungsziels nicht überschreitet. Dadurch wird eine Vielzahl von doppelten Bilddatenteilen erzeugt, und das Modell wird unter Verwendung dieser Datenteile als Trainingsdaten trainiert. Dadurch ist die Überwachungsvorrichtung 300 in der Lage, eine große Menge an Trainingsdaten aus einer kleinen Menge an Bilddaten zu erzeugen. Deshalb kann die Normalität des Überwachungsziels in dem Überwachungssystem 10 gemäß dem ersten Ausführungsbeispiel durch das gelernte Modell sogar in einem Zustand in geeigneter Weise bestimmt werden, in welchem die Originaltrainingsdaten gering sind. In dem ersten Ausführungsbeispiel wird die Gammakorrektur, die unterschiedliche Gammakorrekturwerte verwendet, als die unterschiedliche Bildverarbeitung verwendet, die die Änderung eines Farbtons bewirkt. Allerdings ist die vorliegende Erfindung darauf nicht beschränkt. Beispielsweise kann in anderen Ausführungsbeispielen eine unterschiedliche Bildverarbeitung, wie etwa eine Kontrastkorrektur und eine Leuchtdichtekorrektur unter Verwendung unterschiedlicher Korrekturwerte durchgeführt werden.
Die Bildverarbeitungseinheit 305 gemäß dem ersten Ausführungsbeispiel erzeugt eine Vielzahl von doppelten Bilddatenteilen, indem eine Bildverarbeitung zum Korrigieren des Farbtons der thermischen Bilddaten zu einem Farbton korrespondierend zu einer unterschiedlichen Temperatur innerhalb des Umgebungstemperaturänderungsbereichs des Überwachungsziels 100 durchgeführt wird. Dadurch ist die Bildverarbeitungseinheit 305 in der Lage, thermische Bilddaten zu erzeugen, die den Zustand des Überwachungsziels 100 bei einer Umgebungstemperatur anzeigen, die tatsächlich nicht beobachtet ist. Die Korrekturwert-Spezifikationseinheit 304 spezifiziert die Beziehung zwischen der Temperaturänderung und dem Farbtonkorrekturwert auf Basis der Bilddaten und der Umgebungstemperatur zum Abbildungszeitpunkt. Demzufolge ist die Überwachungsvorrichtung 300 in der Lage, eine Bildverarbeitung durchzuführen, um den Farbton korrespondierend zu der Zieltemperatur zu erhalten.
Die Bildverarbeitungseinheit 305 gemäß dem ersten Ausführungsbeispiel erzeugt eine Vielzahl von doppelten Bilddatenteilen, indem eine Bildverarbeitung zum Korrigieren des Farbtons der sichtbaren Bilddaten zu einem Farbton korrespondierend zu einer unterschiedlichen Leuchtdichte innerhalb des Umgebungsleuchtdichteänderungsbereichs des Überwachungsziels 100 durchgeführt wird. Dadurch ist die Bildverarbeitungseinheit 305 in der Lage, sichtbare Bilddaten zu erzeugen, die den Zustand des Überwachungsziels 100 in einer Leuchtdichteumgebung anzeigen, die tatsächlich nicht überwacht wird.
Ferner lernt die Überwachungsvorrichtung 300 gemäß dem ersten Ausführungsbeispiel den Normalzustand des Überwachungsziels 100 als ein gelerntes Modell. D.h., in der Überwachungsvorrichtung 300 gemäß dem ersten Ausführungsbeispiel werden lediglich Bilddaten, die durch die normale Überwachungsvorrichtung 300 in dem Normalzustand erfasst sind, als Trainingsdaten verwendet, und durch die abnorme Überwachungsvorrichtung 300 erfasste Bilddaten werden nicht verwendet. Deshalb ist es nicht erforderlich, dass die Überwachungsvorrichtung 300 eine Kennzeichnung anbringt, die anzeigt, ob die Bilddaten normal oder abnorm sind, für den Fall, dass alle Bilddaten als Trainingsdaten verwendet werden.
Im Übrigen nimmt die Anzahl an Bilddatenteilen, die durch die Abbildungsvorrichtung 200 erfasst sind, graduell zu, indem das Überwachungsziel 100 kontinuierlich überwacht wird. Deshalb nimmt die Anzahl an Originalbilddaten (nicht doppelte Bilddaten), die das gelernte Modell bilden, für den Fall zu, dass die Lerneinheit 306 das in der Modellspeichereinheit 307 gespeicherte Modell in geeigneter Weise aktualisiert. Die Originalbilddaten sind als Trainingsdaten zuverlässiger als die doppelten Bilddaten. Deshalb kann die Überwachungsvorrichtung 300 für den Fall, dass Abtastdaten in der Umgebung von eingegebenen Bilddaten ausgewählt werden, ein Modell derart ausbilden, dass die Originalbilddaten einfacher ausgewählt werden können als die doppelten Bilddaten. Beispielsweise für den Fall, dass die Originalbilddaten in einem Zustand erneut akquiriert sind, in welchem die Anzahl an Abtastdaten eine vorbestimmte Anzahl erreicht, kann die Lerneinheit 306 das gelernte Modell aktualisieren, indem die Originalbilddaten zu den Abtastdaten hinzugefügt und Abtastdaten, die doppelte Bilddaten darstellen, gelöscht werden. Ferner kann die Inferenzverarbeitungseinheit 308 beispielsweise die Originalbilddaten leicht auswählen, indem die Entfernung der Originalbilddaten mit einer Gewichtung kleiner als 1 für den Fall multipliziert wird, dass die Abtastdaten ausgewählt sind. Allerdings berechnet die Inferenzverarbeitungseinheit 308 für den Fall, dass die Inferenzverarbeitungseinheit 308 den Indexwert unter Verwendung der ausgewählten Abtastdaten berechnet, den Indexwert auf Basis der Entfernung, die nicht mit der Gewichtung multipliziert ist.
<Zweites Ausführungsbeispiel>
Das Überwachungssystem 10 gemäß dem ersten Ausführungsbeispiel bestimmt die Normalität des Überwachungsziels 100 aus den Bilddaten auf Basis des nächsten Nachbarverfahrens. Im Gegensatz dazu bestimmt das Überwachungssystem 10 gemäß einem zweiten Ausführungsbeispiel die Normalität des Überwachungsziels 100 aus den Bilddaten auf Basis des neuronalen Netzwerks.
Die Überwachungsvorrichtung 300 gemäß dem zweiten Ausführungsbeispiel unterscheidet sich von dem ersten Ausführungsbeispiel hinsichtlich des in der Modellspeichereinheit 307 gespeicherten Modells und der Verarbeitung der Lerneinheit 306, der Inferenzverarbeitungseinheit 308 und der Bestimmungseinheit 309.
Die Modellspeichereinheit 307 speichert ein neuronales Netzwerkmodell mit einer Eingabeschicht, einer Zwischenschicht und einer Ausgabeschicht. Die Anzahl an Knoten in der Eingabeschicht und der Ausgabeschicht ist gleich zu der Anzahl an Bildpunkten in den Bilddaten. Das gelernte Modell fungiert als ein Autokodierer, der Bilddaten komprimiert, welche in die Eingabeschicht eingegeben sind, und danach die Bilddaten wiederherstellt und ausgibt. Die Bilddaten, welche durch das gelernte Modell ausgegeben sind, stellen ein Beispiel von „einem Wert, der zum Bestimmen der Normalität des Überwachungsziels verwendet wird“, dar.
Die Lerneinheit 306 trainiert ein Modell unter Verwendung der in der Verlaufsspeichereinheit 303 gespeicherten Bilddaten und der durch die Bildverarbeitungseinheit 305 als Trainingsdaten erzeugten doppelten Bilddaten. D.h., die Lerneinheit 306 gibt Trainingsdaten in die Eingabeschicht und die Ausgabeschicht des in der Modellspeichereinheit 307 gespeicherten Modells ein, und sie trainiert den Gewichtungskoeffizienten und die Aktivierungsfunktion an jedem Knoten der Eingabeschicht und der Zwischenschicht. Alle der Trainingsdaten stellen Bilddaten dar, in welchen das Überwachungsziel 100 in dem Normalzustand erfasst ist. Aus diesem Grund wird das gelernte Modell aus den eingegebenen Bilddaten trainiert, um Bilddaten auszugeben, in welchen das Überwachungsziel 100 in dem Normalzustand erfasst ist. Anders ausgedrückt, für den Fall, dass die Bilddaten, in welchen das Überwachungsziel 100 in einem abnormen Zustand erfasst ist, in das gelernte Modell eingegeben werden, wird erwartet, dass das gelernte Modell Bilddaten ausgibt, in welchen das Überwachungsziel 100 näher an dem Normalzustand als das der Originalbilddaten erfasst ist.
Die Inferenzverarbeitungseinheit 308 erzeugt Bilddaten aus den Bilddaten, welche in die Bildakquirierungseinheit 301 eingegeben sind, unter Verwendung des in der Modellspeichereinheit 307 gespeicherten gelernten Modells erneut. Da das gelernte Modell auf Basis der Bilddaten trainiert wird, in welchen das Überwachungsziel 100 in dem Normalzustand erfasst ist, wenn die Wahrscheinlichkeit zunimmt, dass das Überwachungsziel 100 abnorm ist, nimmt die Differenz zwischen den eingegebenen Bilddaten und den erneut erzeugten Bilddaten zu.
Die Bestimmungseinheit 309 bestimmt die Normalität des Überwachungsziels 100, indem eine Differenz zwischen den eingegebenen Bilddaten und den durch die Inferenzverarbeitungseinheit 308 erneut erzeugten Bilddaten berechnet und die Differenz mit einem Schwellenwert verglichen wird. Die Bestimmungseinheit 309 bestimmt, dass das Überwachungsziel 100 normal ist, für den Fall, dass die Differenz zwischen den erneut erzeugten Bilddaten und den eingegebenen Bilddaten kleiner als der Schwellenwert ist. Die Bestimmungseinheit 309 bestimmt, dass das Überwachungsziel 100 abnorm ist, für den Fall, dass der Indexwert gleich oder größer als der Schwellenwert ist.
Wie vorstehend beschrieben, ist die Überwachungsvorrichtung 300 gemäß dem zweiten Ausführungsbeispiel in einer ähnlichen Weise wie die Überwachungsvorrichtung 300 gemäß dem ersten Ausführungsbeispiel in der Lage, die Normalität des Überwachungsziels unter Verwendung des gelernten Modells sogar in einem Zustand in geeigneter Weise zu bestimmen, in welchem das Volumen der Originaltrainingsdaten gering ist.
Das gelernte Modell gemäß dem zweiten Ausführungsbeispiel gibt ein erneut erzeugtes Bild aus, aber es ist darauf nicht beschränkt. Beispielsweise kann in einem anderen Ausführungsbeispiel die Differenz zwischen den eingegebenen Bilddaten und den durch das gelernte Modell erneut erzeugten Bilddaten ausgegeben werden. In einem solchen Fall stellt die Differenz zwischen den erneut erzeugten Bilddaten und den eingegebenen Bilddaten ein Beispiel von „einem Wert, der zum Bestimmen der Normalität des Überwachungsziels verwendet wird“, dar.
Im Übrigen wird das Überwachungsziel 100 kontinuierlich überwacht, und die Lerneinheit 306 aktualisiert das in der Modellspeichereinheit 307 gespeicherte Modell in geeigneter Weise, wodurch ein Bereich von dem maximalen Wert zu dem minimalen Wert der Umgebungstemperatur bezogen auf die zum Lernen des gelernten Modells verwendeten Bilddaten breiter wird. Beispielsweise für den Fall, dass ein Lernen für ein halbes Jahr fortgesetzt wird, wird das gelernte Modell aus Bilddaten trainiert, in welchen das Überwachungsziel 100 im Sommer erfasst ist, und es wird auch aus Bilddaten trainiert, in welchen das Überwachungsziel 100 im Winter erfasst ist. In einem solchen Fall besteht beispielsweise für den Fall, dass thermische Bilddaten, in welchen sich das Überwachungsziel 100 in einem überhitzen Zustand befindet, als eine Eingabe verwendet wird, und die Bilddaten in einem gelernten Modell erneut erzeugt sind, die Möglichkeit, dass die Differenz zwischen den eingegebenen Bilddaten und den erneut erzeugten Bilddaten gleich oder kleiner als ein Schwellenwert ist. Der Grund dafür besteht darin, dass das gelernte Modell als Bilddaten bezogen auf die Temperatur in dem Normalzustand im Sommer als Ergebnis eines Lernens unter Verwendung der Bilddaten im Sommer erneut erzeugt wird. Deshalb kann die Überwachungsvorrichtung 300 das Lernmodell derart aktualisieren, dass das Lernen unter Verwendung der Bilddaten bezogen auf die vorbestimmte Zeitdauer konstant durchgeführt wird. Beispielsweise kann die Lerneinheit 306 ein Modell unter Verwendung von Bilddaten von Bildern periodisch trainieren, die in der letzten vorbestimmten Zeitdauer in den in der Verlaufsspeichereinheit 303 gespeicherten Bilddaten erfasst sind, das alte Modell überschreiben, und das Modell in der Modellspeichereinheit 307 aufzeichnen.
<Drittes Ausführungsbeispiel>
Das Überwachungssystem 10 gemäß dem dritten Ausführungsbeispiel gibt einen Abschnitt des Überwachungsziels 100 aus, an welchem eine Abnormität auftritt.
5 ist ein schematisches Blockdiagramm, das eine Konfiguration von einer Überwachungsvorrichtung gemäß einem dritten Ausführungsbeispiel zeigt.
Die Überwachungsvorrichtung 300 gemäß dem dritten Ausführungsbeispiel umfasst ferner eine Aufteilungseinheit 311 und eine Abnormitätsspezifikationseinheit 312 zusätzlich zu den Konfigurationen des ersten und zweiten Ausführungsbeispiels.
6 ist ein Diagramm, das ein Beispiel zum Aufteilen von Bilddaten gemäß dem dritten Ausführungsbeispiel zeigt.
Die Aufteilungseinheit 311 teilt die durch die Bildakquirierungseinheit 301 akquirierten Bilddaten in eine Vielzahl von Bereichen auf, und sie erzeugt aufgeteilte Bilddaten. Beispielsweise erzeugt die Aufteilungseinheit 311 sechzehn aufgeteilte Bilddatenteile, die durch Aufteilen der Bilddaten in vier gleiche Teile vertikal mal vier gleiche Teile horizontal erhalten sind. Die Bildverarbeitungseinheit 305 führt eine Bildverarbeitung auf allen aufgeteilten Bilddaten durch, um die doppelten Bilddaten zu erzeugen.
Die Lerneinheit 306 trainiert ein Modell für jeden von einer Vielzahl von Bereichen, die durch die Aufteilungseinheit 311 aufgeteilt sind, unter Verwendung der aufgeteilten Bilddaten und der doppelten Bilddaten als Trainingsdaten. Die Modellspeichereinheit 307 speichert ein gelerntes Modell für jeden aufgeteilten Bereich.
Die Inferenzverarbeitungseinheit 308 berechnet den Indexwert von jedem Gebiet, indem die aufgeteilten Bilddaten, die durch die Aufteilungseinheit 311 aufgeteilt sind, in jedes korrespondierende gelernte Modell eingegeben werden. Die Bestimmungseinheit 309 bestimmt, dass das Überwachungsziel 100 abnorm ist, für den Fall, dass der Indexwert gleich oder größer als der Schwellenwert für zumindest einen Bereich ist, indem der Indexwert von jedem Bereich mit einem Schwellenwert verglichen wird. Die Abnormitätsspezifikationseinheit 312 spezifiziert einen Abschnitt, an welchem eine Abnormität in dem Überwachungsziel 100 auftritt, indem ein Bereich spezifiziert wird, in welchem der Indexwert gleich oder größer als der Schwellenwert ist. Die Ausgabesteuerungseinheit 310 bewirkt, dass die Ausgabevorrichtung Informationen ausgibt, die den Abschnitt anzeigen, der durch die Abnormitätsspezifikationseinheit 312 spezifiziert ist.
Wie vorstehend beschrieben, teilt die Überwachungsvorrichtung 300 gemäß dem dritten Ausführungsbeispiel Bilddaten auf, um eine Vielzahl von aufgeteilten Bilddatenteilen zu erzeugen, und sie führt eine unterschiedliche Bildverarbeitung, die eine Änderung eines Farbtons bewirkt, auf alle der aufgeteilten Bilddaten durch, wodurch eine Vielzahl von doppelten Bilddatenteilen erzeugt wird. Dadurch ist die Überwachungsvorrichtung 300 in der Lage, den Abschnitt, an welchem eine Abnormität auftritt, auf Basis von Bilddaten zu spezifizieren.
<Modifikationsbeispiel>
Wie vorstehend beschrieben, ist das Ausführungsbeispiel mit Bezug auf die Zeichnungen detailliert beschrieben worden. Allerdings ist die spezifische Konfiguration auf die vorstehend beschriebene nicht beschränkt, und es können verschiedene Ausgestaltungsänderungen und dergleichen gemacht werden.
Beispielsweise führt die Überwachungsvorrichtung 300 in dem vorstehend erwähnten Ausführungsbeispiel ein Modelllernen und eine Inferenz auf Basis des Modells durch, aber die vorstehende Erfindung ist darauf nicht beschränkt. Beispielsweise können die Modelllernvorrichtung und die Überwachungsvorrichtung 300 in einem anderen Ausführungsbeispiel separat bereitgestellt werden, wobei die Modelllernvorrichtung das Modelllernen durchführen kann, und die Überwachungsvorrichtung 300 eine Inferenz basierend auf dem Modell durchführen kann.
7 ist ein schematisches Blockdiagramm, das eine Konfiguration von einem Computer gemäß zumindest einem der Ausführungsbeispiele zeigt.
Der Computer 900 umfasst eine CPU 901, eine Hauptspeichervorrichtung 902, eine Nebenspeichervorrichtung 903 und eine Schnittstelle 904.
Die vorstehend beschriebene Überwachungsvorrichtung 300 ist an dem Computer 900 angebracht. Der Betrieb von jeder vorstehend beschriebenen Verarbeitungseinheit ist in der Nebenspeichervorrichtung 903 in dem Format eines Programms gespeichert. Die CPU 901 liest ein Programm aus der Nebenspeichervorrichtung 903, lädt das Programm in die Hauptspeichervorrichtung 902, und führt die vorstehende Verarbeitung gemäß dem Programm aus. Außerdem sichert die CPU 901 ein Speichergebiet korrespondierend zu jeder vorstehend beschriebenen Speichereinheit in der Hauptspeichervorrichtung 902 oder der Nebenspeichervorrichtung 903 gemäß dem Programm.
Beispiele der Nebenspeichervorrichtung 903 umfassen ein Festplattenlaufwerk (HDD: „hard disk drive“), ein Festkörperlaufwerk (SSD: „solid state drive“), eine magnetische Scheibe, eine magnetooptische Scheibe, eine CD-ROM („compact disc read only memory“), eine DVD-ROM („digital versatile disc read only memory“), einen Halbleiterspeicher und dergleichen. Die Nebenspeichervorrichtung 903 kann ein internes Medium, das mit dem Bus des Computers 900 direkt verbunden ist, oder ein externes Medium darstellen, das mit dem Computer 900 durch die Schnittstelle 904 oder eine Kommunikationsleitung verbunden ist. Für den Fall, dass dieses Programm an den Computer 900 durch eine Kommunikationsleitung übertragen wird, kann der Computer 900, der das Programm empfängt, das Programm in der Hauptspeichervorrichtung 902 entwickeln, und die vorstehende Verarbeitung ausführen. In zumindest einem der Ausführungsbeispiele stellt die Nebenspeichervorrichtung 903 ein Speichermedium eines nicht-transitorischen Typs dar.
Ferner kann das Programm zum Realisieren eines Teils der vorstehend beschriebenen Funktionen dienen. Ferner kann das Programm eine sogenannte Differenzdatei (Differenzprogramm) darstellen, die die vorstehend erwähnte Funktion in Kombination mit einem anderen in der Nebenspeichervorrichtung 903 im Voraus gespeicherten Programm realisiert.
Industrielle Anwendbarkeit
Die Modelllernvorrichtung gemäß der vorliegenden Erfindung ist in der Lage, die Normalität des Überwachungsziels auf Basis des gelernten Modells sogar in einem Zustand in geeigneter Weise zu bestimmen, in welchem das Volumen der Trainingsdaten gering ist.
Bezugszeichenliste

10:: Überwachungssystem
100:: Überwachungsziel
200:: Abbildungsvorrichtung
300:: Überwachungsvorrichtung
301:: Bildakquirierungseinheit
302:: Temperaturakquirierungseinheit
303:: Verlaufsspeichereinheit
304:: Korrekturwert-Spezifikationseinheit
305:: Bildverarbeitungseinheit
306:: Lerneinheit
307:: Modellspeichereinheit
308:: Inferenzverarbeitungseinheit
309:: Bestimmungseinheit
310:: Ausgabesteuerungseinheit
311:: Aufteilungseinheit
312:: Abnormitätsspezifikationseinheit

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017145268 [0002]
JP H778239 [0004]
JP 201662524 [0004]

Claims

Eine Modelllernvorrichtung, aufweisend: eine Bildakquirierungseinheit, die Bilddaten akquiriert, in welchen ein Bild von einem normalen Überwachungsziel erfasst ist; eine Bildverarbeitungseinheit, die eine Vielzahl von doppelten Bilddatenteilen erzeugt, indem unterschiedliche Bildverarbeitungen, die eine Änderung eines Farbtons bewirken, auf den Bilddaten innerhalb eines Bereichs durchgeführt werden, der einen Normalbereich des Überwachungsziels nicht überschreitet; und eine Lerneinheit, die ein Modell trainiert, um einen Wert auszugeben, der zum Bestimmen einer Normalität des Überwachungsziels aus den Bilddaten, in welchen das Bild des Überwachungsziels erfasst ist, unter Verwendung der Vielzahl von doppelten Bilddatenteilen als Trainingsdaten verwendet wird.
Die Modelllernvorrichtung nach Anspruch 1, wobei die Bilddaten ein thermisches Bild umfassen, das einen unterschiedlichen Farbton in Abhängigkeit von einer Temperatur des Überwachungsziels aufweist, und wobei die Bildverarbeitungseinheit die Vielzahl von doppelten Bilddatenteilen erzeugt, indem eine Bildverarbeitung zum Korrigieren des Farbtons der Bilddaten zu einem Farbton korrespondierend zu einer unterschiedlichen Temperatur innerhalb eines Änderungsbereichs von einer Umgebungstemperatur des Überwachungsziels durchgeführt wird.
Die Modelllernvorrichtung nach Anspruch 2, ferner aufweisend: eine Temperaturakquirierungseinheit, die Temperaturdaten akquiriert, die die Umgebungstemperatur des Überwachungsziels anzeigen, wenn die Bilddaten erfasst sind; und eine Korrekturwert-Spezifikationseinheit, die eine Beziehung zwischen einer Temperaturänderung und einem Farbtonkorrekturwert auf Basis der Bilddaten und der Temperaturdaten spezifiziert, wobei die Bildverarbeitungseinheit eine Bildverarbeitung auf den Bilddaten unter Verwendung des Korrekturwerts durchführt, der auf Basis der durch die Korrekturwert-Spezifikationseinheit spezifizierten Beziehung spezifiziert ist.
Die Modelllernvorrichtung nach einem der Ansprüche 1 bis 3, wobei die Bildverarbeitungseinheit die Vielzahl von doppelten Bilddatenteilen erzeugt, indem eine Bildverarbeitung zum Korrigieren des Farbtons der Bilddaten zu einem Farbton korrespondierend zu einer unterschiedlichen Leuchtdichte innerhalb eines Änderungsbereichs von einer Umgebungsleuchtdichte des Überwachungsziels durchgeführt wird.
Die Modelllernvorrichtung nach einem der Ansprüche 1 bis 4, ferner aufweisend: eine Aufteilungseinheit, die eine Vielzahl von aufgeteilten Bilddatenteilen durch Aufteilen der Bilddaten erzeugt, wobei die Bildverarbeitungseinheit die Vielzahl von doppelten Bilddatenteilen erzeugt, indem unterschiedliche Bildverarbeitungen, die eine Änderung eines Farbtons bewirken, auf allen der Vielzahl von aufgeteilten Bilddatenteilen durchgeführt werden.
Ein Verfahren für eine Gelerntes-Modell-Erzeugung mit den Schritten: Akquirieren von Bilddaten, in welchen ein Bild von einem normalen Überwachungsziel erfasst ist; Erzeugen einer Vielzahl von doppelten Bilddatenteilen, indem unterschiedliche Bildverarbeitungen, die eine Änderung eines Farbtons bewirken, auf den Bilddaten innerhalb eines Bereichs durchgeführt werden, der einen Normalbereich des Überwachungsziels nicht überschreitet; und Erzeugen eines gelernten Modells, indem ein Modell trainiert wird, um einen Wert auszugeben, der zum Bestimmen einer Normalität des Überwachungsziels aus den Bilddaten, in welchen das Bild des Überwachungsziels erfasst ist, unter Verwendung der Vielzahl von doppelten Bilddatenteilen als Trainingsdaten verwendet wird.
Ein Programm zum Bewirken, dass ein Computer die Schritte ausführt: Akquirieren von Bilddaten, in welchen ein Bild von einem normalen Überwachungsziel erfasst ist; Erzeugen einer Vielzahl von doppelten Bilddatenteilen, indem unterschiedliche Bildverarbeitungen, die eine Änderung eines Farbtons bewirken, auf den Bilddaten innerhalb eines Bereichs durchgeführt werden, der einen Normalbereich des Überwachungsziels nicht überschreitet; und Trainieren eines Modells, um einen Wert auszugeben, der zum Bestimmen einer Normalität des Überwachungsziels aus den Bilddaten, in welchen das Bild des Überwachungsziels erfasst ist, unter Verwendung der Vielzahl von doppelten Bilddatenteilen als Trainingsdaten verwendet wird.
Ein gelerntes Modell, welches trainiert ist, um einen Wert auszugeben, der zum Bestimmen einer Normalität von einem Überwachungsziel aus Bilddaten, in welchen ein Bild des Überwachungsziels erfasst ist, unter Verwendung einer Vielzahl von doppelten Bilddatenteilen, welche erzeugt sind, indem unterschiedliche Bildverarbeitungen, die eine Änderung eines Farbtons bewirken, auf den Bilddaten durchgeführt werden, in welchen das Bild des Überwachungsziels in einem Normalzustand erfasst ist, ohne einen Normalbereich des Überwachungsziels zu überschreiten, als Trainingsdaten verwendet wird, wobei das gelernte Modell bewirkt, dass ein Computer den Schritt ausführt: Ausgeben eines Werts, der zum Bestimmen einer Normalität des Überwachungsziels aus den akquirierten Bilddaten verwendet wird.
Eine Überwachungsvorrichtung, aufweisend: eine Bildakquirierungseinheit, die erfasste Bilddaten akquiriert; eine Inferenzverarbeitungseinheit, die einen Wert berechnet, der beim Bestimmen einer Normalität von einem Überwachungsziel aus den Bilddaten unter Verwendung des gelernten Modells nach Anspruch 8 verwendet wird; und eine Bestimmungseinheit, die eine Normalität des Überwachungsziels unter Verwendung des berechneten Werts bestimmt.
Ein Überwachungsverfahren mit den Schritten: Akquirieren von Bilddaten, in welchen ein Bild von einem Überwachungsziel erfasst ist; Berechnen eines Werts, der beim Bestimmen einer Normalität von einem Überwachungsziel aus den Bilddaten unter Verwendung des gelernten Modells nach Anspruch 8 verwendet wird; und Bestimmen einer Normalität des Überwachungsziels unter Verwendung des berechneten Werts.