DE102011085156A1

DE102011085156A1 - Bewegtbildaufnahmevorrichtung, Verfahren zum Beobachten eines Bewegtbilds, Bewegtbildbeobachtungsprogramm und computerlesbares Aufzeichnungsmedium

Info

Publication number: DE102011085156A1
Application number: DE102011085156A
Authority: DE
Inventors: Woobum Kang
Original assignee: Keyence Corp
Current assignee: Keyence Corp
Priority date: 2010-10-29
Filing date: 2011-10-25
Publication date: 2012-05-03
Also published as: US20120105664A1; US9046757B2

Abstract

Ein Bewegtbild wird mit ausgerichtetem Aufnahme-Timing ohne Verwendung einer synchronen Eingabe unterteilt. Eine Bewegtbildaufnahmevorrichtung 100 zum Erfassen eines Bewegtbildes eines oder mehrerer Objekte als ein Aufnahmeziel beinhaltet eine Bilderhaltungseinheit zum Erhalten eines eingegebenen Bewegtbildes, das aus einer Mehrzahl von Einzelbildern zusammengesetzt ist, die eine Szene des Objektes, das eine periodische Bewegung ausführt, enthalten, eine Repräsentativbild-Auswahleinheit zum Auswählen eines, einen Zyklus repräsentierenden Repräsentativbildes, eine Standard-Timing-Auswahleinheit 31 zum Auswählen eines Standard-Timings, basierend auf dem Repräsentativbild, um das durch die Bilderhaltungseinheit erhaltene Eingabe-Bewegtbild in Bezug auf jeden Zyklus zu unterteilen, und eine Zyklus-Extraktionseinheit 32 zum Teilen des Eingangs-Bewegtbildes in Bezug auf jeden Zyklus, basierend auf dem durch die Standard-Timing-Auswahleinheit ausgewählten Standard-Timing.

Description

HINTERGRUND DER ERFINDUNG
(1) Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich eine Bewegtbildaufnahmevorrichtung, die ein Bild bei einer hohen Bildrate aufnehmen kann, wie etwa eine Hochgeschwindigkeitsaufnahmekamera, ein Verfahren zum Beobachten eines Bewegtbildes, ein Bewegtbildbeobachtungsprogramm und ein Computer-lesbares Aufzeichnungsmedium.
(2) Beschreibung des Stands der Technik
Um eine Änderung eines Objektes zu fotografieren, wird eine Hochgeschwindigkeitsaufnahmekamera verwendet, um ein Bild bei einer hohen Einzelbildrate (Frame rate, Rahmenrate) seriell aufzunehmen. Diese Vorrichtung zeigt Einzelbild-Bilddaten an, die durch eine Aufnahmeeinheit aufgenommen worden sind, auf einer vorbestimmten Aufnahme-Einzelbildrate, auf einer Anzeigeeinheit bei einer Einzelbildrate, die sich von der zum Zeitpunkt der Aufnahme unterscheidet. Während beispielsweise ein Aufnahmezyklus für ein Bild 1/30 Sekunden ist, d. h. eine Einzelbildrate einer Standardgeschwindigkeit von 30 fps (frames per second, Einzelbilder pro Sekunde) bei einer üblichen Videokamera ist, kann bei einer Hochgeschwindigkeitskamera eine hohe Einzelbildrate, wie etwa 60 bis 32000 fps, eingestellt werden. Wenn ein Bewegtbild mit einer obigen Hochgeschwindigkeitskamera aufgezeichnet wird und eine Reihe von Einzelbild-Bilddaten, die bei einer hohen Aufnahme-Einzelbildrate aufgenommen worden sind, auf einem Anzeigebildschirm bei einer niedrigeren Einzelbildrate als der zum Zeitpunkt der Aufnahme angezeigt werden, kann die Reihe von Bilddaten der Bewegung des in Bezug auf jede kleine Zeit aufgenommenen Objekts in Zeitlupe beobachtet werden (siehe japanische ungeprüfte Patentveröffentlichungs-Nummern 2009-141709 und 2009-100326 ).
Bezüglich des durch die Hochgeschwindigkeits Aufnahmevorrichtung aufgenommenen Bewegtbildes wird eine Wiedergabezeit mit ansteigender Aufnahme-Einzelbildrate extrem lang im Vergleich zur Aufnahmezeit, so dass es schwierig ist, ein gewünschtes aufgenommenes Bild aus enormen Einzelbild-Datenmengen herauszufinden. Insbesondere wird mit steigender Geschwindigkeit der Hochgeschwindigkeitskamera die Einzelbildrate hoch, d. h., die Anzahl aufgenommener Bilder pro Einheitszeit wächst, wird eine zu analysierender Bewegtbilddatenmenge enorm, und wird das Problem ernster.
Zusätzlich ist es nicht einfach, ein im Bild enthaltenes Aufnahmezielobjekt zu analysieren. Beispielsweise ist es in einem Fall, bei dem ein sich auf einer Produktionslinie bewegendes Produkt seriell durch die Hochgeschwindigkeitsaufnahmevorrichtung fotografiert wird, um eine Ursache einer gewissen Abnormalität zu entdecken, wenn die Zeit, zu der die Abnormalität erzeugt wird, bis zu einem gewissen Ausmaß spezifiziert werden kann, nur notwendig, ein Bild um diese Zeit herum zu analysieren, aber wenn die Zeit nicht bekannt ist, muss das Bewegtbild seriell über eine lange Zeit aufgenommen werden und ein Anwender muss diese Bilder visuell bestätigen, so dass der Anwender visuell die Bilder eines nach dem anderen bestätigen muss, um so einen Abnormalitätserzeugungsprozess aus den, ähnliche Bilder enthaltenden, enormen Bilddaten herauszufinden, was den Anwender dazu zwingt, eine extrem harte Arbeitsbelastung zu ertragen. Zu diesem Zeitpunkt, wenn es einen gewissen Index gibt, eine Analyse vorzunehmen und die Analyse auf dem Index basierend gemacht wird, kann die Arbeitsbelastung beachtlich erleichtert werden.
Derweil werden konventioneller Weise durch Synchronisieren einer Aufnahmeoperation mit einer Eingabe eines anderen Signals, nämlich einem Synchronisierungssignal, wie etwa einem Auslösesignal, um die Erzeugung der Abnormalität zu detektieren, die Bewegtbilddaten in der Nähe des Eingangs-Timings des Auslösersignals analysiert. Jedoch ist gemäß diesem Verfahren ein zusätzlicher Sensor zum externen Eingeben des Synchronisationssignals nötig und die Systemarchitektur muss das Bewegtbild durch Verbindung mit dem Synchronisationssignal aufzeichnen. Außerdem kann, wenn kein Synchronisationssignal erhalten werden kann oder kein Verfahren bekannt ist, um es zu erhalten, das obige Verfahren nicht verwendet werden. Daher ist ein einfaches Verfahren benötigt worden, das in der Lage ist, einen Analyseindex mit nur den erhaltenen Bilddaten zu erhalten.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung wurde im Hinblick auf die konventionellen Probleme gemacht. Es ist die Hauptaufgabe der vorliegenden Erfindung, eine Bewegtbildaufnahmevorrichtung, ein Verfahren zum Beobachten eines Bewegtbildes, ein Bewegtbild-Beobachtungsprogramm und ein computerlesbares Aufzeichnungsmedium, des zum Bereitstellen eines Analyseindex an einen Anwender beim Analysieren von aufgenommenen Bewegtbilddaten in der Lage ist, bereitzustellen.
Um die obige Aufgabe zu lösen, beinhaltet gemäß einer Ausführungsform eine Bewegtbildaufnahmevorrichtung in der vorliegenden Erfindung die Bewegtbildaufnahmevorrichtung zum Aufnehmen eines Bewegtbildes eines oder mehrerer Objekte als ein Aufnahmeziel, eine Bilderhaltungseinheit zum Erhalten eines Eingangs-Bewegtbildes, des aus einer Mehrzahl von Einzelbildern zusammengesetzt ist, die eine Szene des eine periodische Bewegung durchführenden Objektes enthalten, eine Repräsentivbildauswahleinheit zum Auswählen eines Repräsentativbildes, das einen Zyklus repräsentiert, eine Standard-Timing-Auswahleinheit 31 zum Auswählen eines Standard-Timings, basierend auf dem Repräsentativbild, um das durch die Bilderhaltungseinheit erhaltene Eingangs-Bewegtbild in Bezug auf jeden Zyklus zu unterteilen, und eine Zyklus-Extraktionseinheit 32 zum Teilen des Eingangs-Bewegtbildes in Bezug auf jeden Zyklus, basierend auf dem durch die Standard-Timing-Auswahleinheit ausgewählten Standard-Timing. Somit kann, da das erhaltene Eingangs-Bewegtbild periodisch unterteilt werden kann, eine Analyseoperation des Bewegtbildes durch den Anwender beachtlich reduziert werden und kann beim Analysieren des eine große Menge an Bild-Einzelbildern enthaltenen Bewegtbildes speziell bei einer Hochgeschwindigkeitskamera die Analyse effektiv durchgeführt werden.
Zusätzlich kann gemäß einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung die Repräsentivbildauswahleinheit konfiguriert sein, um des Repräsentativbild automatisch auszuwählen. Da des Eingangs-Bewegtbild periodisch geteilt werden kann, indem das automatisch ausgewählte Repräsentativbild als ein Bildauslöser verwendet wird, kann somit der Analysevorgang des Bewegtbildes durch den Anwender beträchtlich vereinfacht werden.
Zusätzlich kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung die Repräsentivbildauswahleinheit konfiguriert sein, ein Bild, das sicherlich einmal in diesem Zyklus erscheint, als des Repräsentativbild auszuwählen.
Zusätzlich kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung die Repräsentivbildauswahleinheit konfiguriert sein, einen Anwender dazu zu bringen, das Repräsentativbild auszuwählen.
Zusätzlich kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung sie weiterhin eine Zykluseinstelleinheit 33 zum rückwärts und vorwärts Einstellen einer Position des Zyklus, bevor das Eingangs-Bewegtbild in Bezug auf jeden Zyklus durch die Zyklus-Extraktionseinheit 32 unterteilt wird, enthalten. Somit kann der Anwender den Zyklus fein einstellen, bevor das Bewegtbild in Bezug auf jeden Zyklus unterteilt wird.
Zusätzlich kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung sie weiterhin eine Phasenjustiereinheit zum Kalkulieren einer Differenz durch Verschieben des Einzelbildes der unterteilten Bewegtbilder als ein Ziel beinhalten, wenn die Phase der geteilten Bewegtbilder nicht bekannt sind, und bezüglich einer Position, die einen höchsten Schätzwert aufweist, als einer Position mit einer ausgerichteten Phase. Somit kann selbst wenn die Phase des Bewegtbilds nicht bekannt ist, die Position, in der die Phase ausgerichtet ist, durch die Berechnung angemessen erhalten werden.
Zusätzlich kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung sie weiter eine Charakteristikbetrags-Berechnungseinheit 34 zum Berechnen eines Charakteristikbetrags jedes Einzelbildes oder jeder Einzelbildgruppe aus dem durch die Bilderhaltungseinheit erhaltenen Eingangs-Bewegtbild, basierend auf dem Repräsentativbild, und eine Bewegtbildwellenform-Erzeugungseinheit 35 zum Erzeugen einer Bewegtbildwellenform, basierend auf dem durch die Charakteristikbetrag-Berechnungseinheit 34 berechneten Charakteristikbetrag, in welchem die Standard-Timing-Auswahleinheit 31 das Standard-Timing auswählen kann, basierend auf der Bewegtbildwellenform, beinhalten. Somit kann eine quantitative Evaluierung an der Bewegtbildwellenform vorgenommen werden und die Unterteilung kann in Bezug auf jeden Zyklus unter Verwendung der Bewegtbildwellenform erleichtert werden.
Zusätzlich kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung die Standard-Timing-Auswahleinheit 31 eine Zeit, wenn die Bildwellenform einen vorgegebenen Schwellenwert übersteigt, als das Standard-Timing betrachten. Somit kann jeder Zyklus durch das Standard-Timing synchronisiert werden, so dass die periodische Unterteilung ohne eine Synchroneingabe vorgekommen werden kann.
Zusätzlich kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung die Standard-Timing-Auswahleinheit 33 eine Zeit, wenn der charakteristische Betrag der Bewegtbildwellenform in einer vorgegebenen Periode einen Maximalbetrag oder einen Minimalbetrag erreicht, als das Standard-Timing ansehen.
Zusätzlich kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung sie weiter eine Auslöserausgabeeinheit zum Ausgeben eines Triggersignals zu einem Zeitpunkt entsprechend dem Standard-Timing beinhalten.
Zusätzlich kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung sie weiter eine Abnormalitätgrad-Analyseeinheit zum Bestimmen eines Abnormalitätsgrades durch Vergleichen eines zuvor bestimmten Standard-Bewegungsmusters für den einen Zyklus, das eine Standardbewegung des Objekts repräsentiert, mit dem Eingabe-Bewegtbild in jedem Zyklus, eine primäre Speichereinheit 53 zum Speichern der durch die Bilderhaltungseinheit erhaltenen Bewegtbilddaten in Bezug auf jeden Zyklus und eine Speicherbild-Extraktionseinheit 36 zum Spezifizieren des Bewegtbilds in dem Zyklus, der einen hohen Abnormalitätsgrad aufweist, bestimmt durch die Abnormalitätsgrad-Analyseeinheit 38, das in der primären Speichereinheit 53 zu speichern ist. Somit kann nur das Bewegtbild mit dem hohen Abnormalitätsgrad in der primären Speichereinheit zurück bleiben.
Weiterhin kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung sie eine sekundäre Speichereinheit 56 mit großer Speicherkapazität und niedriger Schreibgeschwindigkeit im Vergleich zur primären Speichereinheit 53 beinhalten, in welcher, neben den in Bezug auf jeden Zyklus in der primären Speichereinheit 53 gespeicherten Bilddaten, das Bewegtbild in dem Zyklus, der, aufgrund des hohen Abnormalitätsgrads durch die gespeicherte Bildextraktionseinheit 36 als in der sekundären Speichereinheit 56 zurückzulassen bestimmt ist, in der sekundären Speichereinheit 56 gespeichert werden. Somit kann das Bewegtbild im Zyklus mit dem höheren Wichtigkeitsgrad sicher in der sekundären Speichereinheit gespeichert werden.
Zusätzlich beinhaltet gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung die Charakteristikbetrag-Berechnungseinheit 34 die Abnormalitätsgrad-Analyseeinheit 38 und der Abnormalitätsgrad kann als der charakteristische Betrag verwendet werden. Somit wird das eingegebene Bewegtbild in Bezug auf jeden Zyklus unter Verwendung des Charakteristikbetrags unterteilt, während der Charakteristikbetrag als der Abnormalitätsgrad bei der Auswahl des zu speichernden Bewegtbilds verwendet werden kann.
Zusätzlich kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung sie weiterhin eine Anzeigeeinheit 52 zum Anzeigen des Eingangs-Bewegtbildes beinhalten, bei dem die Anzeigeeinheit 52 einen Bildanzeigebereich 41 zum Anzeigen des Bewegtbildes und einen Wellenform-Anzeigebereich 42 zum Anzeigen der durch die Bewegtbildwellenform-Erzeugungseinheit 35 erzeugten Bewegtbildwellenform beinhaltet, und wenn eine beliebige Position der Bewegtbildwellenform in dem Wellenformanzeigebereich 42 ausgewählt wird, kann das der ausgewählten Bewegtbildwellenform entsprechende Bewegtbild im Bildanzeigebereich 41 angezeigt werden. Somit ist des Bewegtbild mit der Bewegtbildwellenform verknüpft und die Position des Bildrahmens des entsprechenden Bewegtbilds kann aus der Bewegtbildwellenform festgestellt werden, so dass die Bewegtbildwellenform als ein Index des Bewegtbilds verwendet werden kann.
Zusätzlich kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung des Standard-Timing durch die Standard-Timing-Auswahleinheit 31 unter der Bedingung verändert werden, dass die den Charakteristikbetrag anzeigende Bewegtbildwellenform in dem Wellenform-Anzeigebereich 42 angezeigt wird und wenn das Standard-Timing verändert wird, die im Wellenformanzeigebereich 42 angezeigte Bewegtbildwellenform entsprechend aktualisiert werden kann. Somit kann der Anwender das Timing auf des angemessene Standard-Timing justieren oder ändern, während er auf die Bewegtbildwellenform nach Änderung referenziert.
Weiterhin kann gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung das Repräsentativbild unter der Bedingung geändert werden, dass die den Charakteristikbetrag zeigende Bewegtbildwellenform im Wellenformanzeigebereich 42 angezeigt wird, und wenn das Repräsentativbild geändert wird, kann die im Wellenformanzeigebereich 42 angezeigte Bewegtbildwellenform entsprechend aktualisiert werden. Somit kann der Anwender das angemessene Repräsentativbild auswählen, während er auf die Bewegtbildwellenform nach Änderung referenziert.
Zusätzlich ist gemäß noch einer anderen Ausführungsform der Bewegtbildaufnahmevorrichtung die Bilderhaltungseinheit eine Aufnahmeeinheit 10, die zum Aufnehmen des Eingangs-Bewegtbilds des Objektes bei einem Aufnahmezyklus von nicht mehr als 1/25 Sekunden in der Lage ist. Somit kann die Analyse effektiv beim Analysieren des die große Menge an Bildeinzelbildern enthaltenen Bewegtbilds durchgeführt werden.
Zusätzlich beinhaltet gemäß einer Ausführungsform eines Verfahrens zum Beobachten eines Bewegtbildes eines oder mehrerer Objekte als ein Aufnahmeziel, es die Schritte des Erhaltens eines aus einer Mehrzahl von, eine Szene des eine periodischen Bewegung durchführenden Objekts enthaltenden Einzelbildern bestehenden Eingangs-Bewegtbildes, Berechnen eines Charakteristikbetrags jedes Einzelbildes oder jeder Einzelbildgruppe aus dem erhaltenen Eingangs-Bewegtbild durch eine Charakteristikbetrag-Berechnungseinheit 34, Erzeugen einer Bewegtbildwellenform, basierend auf dem berechneten Charakteristikbetrag, Erhalten eines Standard-Timings zum Bestimmen eines Zyklus der Bewegtbildwellenform durch eine Standard-Timing-Auswahleinheit 31, basierend auf der Bewegtbildwellenform, und Unterteilen des Eingangs-Bewegtbildes in Bezug auf jeden Zyklus, basierend auf dem Standard-Timing. Somit kann jeder Zyklus durch das Standard-Timing synchronisiert werden und die Unterteilung kann in Bezug auf jeden Zyklus ohne die Synchroneingabe vorgenommen werden. Zusätzlich kann die quantitative Evaluierung basierend auf der Bewegtbildwellenform durchgeführt werden und die Teilung kann leicht in Bezug auf jeden Zyklus unter Verwendung der Bewegtbildwellenform gemacht werden.
Zusätzlich, gemäß einer Ausführungsform eines Bewegtbild-Beobachtungsprogramms zum Beobachten eines Bewegtbildes eines oder mehrerer Objekte als ein Aufnahmeziel, veranlasst dieses einen Computer, die Funktionen des Erhaltens eines aus einer Mehrzahl von, eine Szene des eine periodische Bewegung durchführenden Objektes enthaltenden Einzelbilder zusammengesetzten Eingangs-Bewegtbildes, Berechnen eines Charakteristikbetrags jedes Einzelbildes oder jeder Einzelbildgruppe aus dem erhaltenen Eingangs-Bewegtbild, Erzeugen einer Bewegtbildwellenform, basierend auf dem berechneten Charakteristikbetrag, Auswählen eines Standard-Timings zum Bestimmen eines Zyklus der Bewegtbildwellenform durch Vergleichen der Bewegtbildwellenform mit einem vorbestimmten Schwellenwert, und Unterteilen des Eingangs-Bewegtbildes in Bezug auf jeden Zyklus, basierend auf dem ausgewählten Standard-Timing, zu implementieren, die in einem Computer auszuführen sind. Somit kann jeder Zyklus durch das Standard-Timing synchronisiert werden und die Unterteilung kann in Bezug auf jeden Zyklus ohne die synchrone Eingabe gemacht werden. Zusätzlich kann die quantitative Evaluierung an der Bewegtbildwellenform vorgenommen werden und die Unterteilung kann leicht in Bezug auf jeden Zyklus unter Verwendung der Bewegtbildwellenform gemacht werden.
Zusätzlich, gemäß einer Ausführungsform eines computerlesbaren Aufzeichnungsmediums, speichert dieses das oben beschriebene Programm. Das Aufzeichnungsmedium beinhaltet ein Medium, das zum Speichern eines Programms in der Lage ist, wie etwa eine magnetische Disk, eine magneto-optische Disk oder einen Halbleiterspeicher. Beispielsweise beinhaltet es eine CD-ROM, CD-R, CD-RW, flexible Disk, Magnetband, MO, DVD-ROM, DVD-RAM, DVD-R, DVD+R, DVD-RW, DVD+RW, Blueray, HD, und DVD (AOD). Zusätzlich enthält das Programm ein durch Herunterladen über eine Netzwerkleitung wie etwa das Internet distributiertes Programm wie auch ein auf dem Aufzeichnungsmedium gespeichertes und distributiertes Programm. Zusätzlich beinhaltet das Aufzeichnungsmedium eine Programm-aufzeichenbare Vorrichtung, wie etwa eine Universal- oder Spezialvorrichtung, in welcher das obige Programm installiert ist, um so in Form von Software oder Firmware ausgeführt zu werden. Weiterhin kann jeder Prozess und jede Funktion, die im Programm enthalten sind, durch Computer-ausführbare Programm-Software ausgeführt werden, oder ein Prozess in jedem Abschnitt kann in Form von Hardware implementiert werden, wie etwa ein vorbestimmtes Gate-Array (FPGA oder ASIC), oder in der aus Programm-Software und partiellem Hardwaremodul zusammengesetzten Form, das als partielle Komponente der Hardware dient.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 ist eine perspektivische Außenansicht, die eine Bewegtbildaufnahmevorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt;
2 ist ein Blockdiagramm der Bewegtbildaufnahmevorrichtung, die in 1 gezeigt ist;
3 ist eine Bildansicht, die einen Benutzerschnittstellenbildschirm eines Bewegtbild-Beobachtungsprogramms zeigt;
4 ist eine schematische Ansicht, die ein Verhalten zeigt, bei dem ein Bewegtbild und eine Wellenform eines externen Signals synchronisiert und aufgezeichnet werden;
5 ist eine Bildansicht, die einen Dateiauswahldialog zeigt;
6 ist eine Bildansicht, die ein Szenenmarkierungslistenfenster zeigt;
7 ist eine Ansicht, die einen Zielzonen-Bezeichnungsbildschirm zeigt;
8 ist eine Bildansicht, die einen Repräsentativbild-Bezeichnungsbildschirm zeigt;
9 ist eine Bildansicht, die ein Beispiel zum Einstellen eines Bereichs für einen Zyklus zeigt;
10 ist eine Bildansicht, die ein Beispiel zum Einstellen einer Endposition des einen Zyklus zeigt;
11 ist eine Bildansicht, die ein Beispiel zum Bezeichnen eines Zielbereichs in einem Bildanzeigebereich zeigt;
12 ist eine Bildansicht des Anwenderschnittstellenbildschirms zum Einstellen eines Starts und Endes des Zyklus;
13 ist eine Bildansicht, die den Anwenderschnittstellenbildschirm eines unterteilten Bewegtbilds zeigt;
14 ist eine Bildansicht, die einen Bewegtbild-Vergleichs-Einstellbildschirm zeigt;
15 ist eine Bildansicht, die einen Bewegtbildvergleichsbildschirm zeigt;
16 ist eine Bildansicht, die ein Beispiel zeigt, bei dem ein Wellenformanzeigebereich eine Mehrstufenanzeige ist;
17 ist eine Bildansicht, die ein Verhalten zum Ausführen einer Bewegtkörper-Verfolgungs-Funktion zeigt;
18 ist eine Bildansicht, die ein Verhalten zum Ausführen einer Zeitreihen-Bilderzeugungsfunktion zeigt;
19 ist eine Bildansicht, die ein Beispiel zeigt, das nur eine spezifische Phase eines anderen unterteilten Bewegtbilds zeigt;
20 ist ein Blockdiagramm einer Hochgeschwindigkeits-Bewegtbildaufnahmevorrichtung zum Realisieren einer Abnormalitäts-Überwachungsaufzeichnungsfunktion;
21 ist ein Flussdiagramm, das eine Einstellprozedur von Abnormalitätsüberwachungsaufzeichnung zeigt; und
22 ist ein Flussdiagramm, das eine Prozedur zum Ausführen der Abnormalitäts-Überwachungsaufzeichnungsfunktion zeigt.
DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
Nachfolgend wird eine Ausführungsform der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. Hier ist anzumerken, dass die untenstehend gezeigte Ausführungsform eine Bewegtbildaufnahmevorrichtung, ein Verfahren zum Beobachten eines Bewegtbildes, ein Bewegtbild-Beobachtungsprogramm und ein computerlesbares Aufzeichnungsmedium lediglich illustriert, um einen technologischen Gedanken der vorliegenden Erfindung auszuführen, und die vorliegende Erfindung nicht auf die nachfolgende Bewegtbildaufnahmevorrichtung, das Verfahren zum Beobachten des Bewegtbildes, das Bewegtbild-Beobachtungsprogramm und das computerlesbare Aufzeichnungsmedium beschränkt ist. Zusätzlich spezifiziert diese Beschreibung kein in den Ansprüchen gezeigtes Element mit einem Element in der Ausführungsform. Speziell beschränken eine Abmessung, Material, Form, relative Anordnung und dergleichen einer in der Ausführungsform offenbarten Komponente nicht einen Bereich der vorliegenden Erfindung nur auf diese selbst, und sie sind lediglich ein Beispiel, sofern nichts anders angemerkt wird. Zusätzlich sind eine Größe eines Elementes, seine Positionsbeziehung und dergleichen, die in jeder Zeichnung gezeigt sind, manchmal übertrieben, um die Beschreibung klar zu machen. Darüber hinaus sind dieselben Namen und Referenzsymbole demselben oder äquivalenten Element zugewiesen und seine detaillierte Beschreibung wird in der darauf folgenden Beschreibung entsprechend weggelassen. Weiterhin kann jede Komponente der vorliegenden Erfindung auf solche Weise realisiert werden, dass die Mehrzahl von Komponenten ein Element bilden und die Mehrzahl von Komponenten von dem einen Element geteilt werden, oder eine Funktion des einen Elementes wird durch eine Mehrzahl von Elementen geteilt. Zusätzlich können die in einem Teil eines Arbeitsbeispiels und der Ausführungsform beschriebenen Inhalte in einem anderen Arbeitsbeispiel und einer anderen Ausführungsform verwendet werden.
Die im Arbeitsbeispiel der vorliegenden Erfindung verwendete Bewegtbildaufnahmevorrichtung ist elektrisch, magnetisch oder optisch mit einer Peripherievorrichtung, wie etwa einem Computer, einem Drucker oder einer externen Speichervorrichtung, über eine serielle Verbindung wie etwa IEEE1394, RS-232x, RS-422, oder USB, eine Parallelverbindung oder ein Netzwerk wie etwa 10BASE-T, 100BASE-TX oder 1000BASE-T verbunden, um miteinander für einen Prozess wie einer Operation, einer Steuerung oder einer Anzeige zu kommunizieren. Die Verbindung ist nicht auf eine physische Verbindung unter Verwendung eines Kabels beschränkt und kann eine Funkverbindung unter Verwendung eines Drahtlos-LANs wie etwa IEEE802.1x, eine Funkwelle wie etwa Bluetooth (registriertes Warenzeichen), ein Infrarotstrahl oder optische Kommunikation, sein. Zusätzlich kann das Aufzeichnungsmedium zum Austauschen von Daten oder Speichern der Einstellung ein Speicher wie etwa eine Speicherkarte, eine Magnetdisk, eine optische Disk, eine magneto-optischen Disk oder ein Halbleiterspeicher sein. Zusätzlich beinhaltet die Bewegtbildaufnahmevorrichtung in dieser Beschreibung nicht nur die Bewegtbildaufnahmevorrichtung selbst, sondern auch ein Bewegtbildaufnahmesystem, bei dem die obige Vorrichtung mit der peripheren Vorrichtung wie etwa dem Computer oder der externen Speichervorrichtung kombiniert ist.
Zusätzlich ist die Bewegtbildaufnahmevorrichtung dieser Beschreibung nicht auf ein System selbst beschränkt, um ein Bild bei Hochgeschwindigkeitsbeobachtung aufzunehmen, oder eine Vorrichtung oder ein Verfahren zum Durchführen eines Prozesses, wie etwa eine Eingabe/Ausgabe, Anzeige, Berechnung oder Kommunikation, die sich auf die Aufnahmeoperation bezieht, in einer Hardware-Weise. Eine Vorrichtung oder ein Verfahren, um einen Prozess in einer Softwareweise durchzuführen, ist ebenfalls im Umfang der vorliegenden Erfindung enthalten. Das heißt, dass die Bewegtbildaufnahmevorrichtung in der vorliegenden Erfindung eine Vorrichtung oder ein System beinhaltet, die ein Bild aufnehmen kann oder einen Prozess durchführen kann, der sich auf die Aufnahmeoperation bezieht, durch Kombinieren einer Universalschaltung oder eines Computers mit Software, einem Programm, einem Plug-in, einem Objekt, einer Bibliothek, einem ”Applet”, einem Compiler, einem Modul, oder einem Makro, die auf einem spezifischen Programm betrieben werden. Zusätzlich beinhaltet der Computer in dieser Beschreibung einen Universales oder Spezial-Elektronik-Computer und eine elektronische Vorrichtung wie etwa eine Workstation, ein Terminal, eine tragbare elektronische Vorrichtung, PDC, CDMA, W-CDMA, FOMA (registriertes Warenzeichen), GSM, IMT2000, ein Mobiltelefon vierter Generation, PHS, PDA, Pager oder ein ”Smartphone”. Zusätzlich ist das Programm in dieser Spezifikation nicht auf ein alleine verwendetes Programm beschränkt und kann als ein Unterstützungsprogramm verwendet werden, wie es als ein Teil eines spezifischen Computerprogramms, Software oder Service arbeitet, das als ein bei Bedarf aufgerufenes Programm funktioniert, das als ein Dienst in einer Umgebung, wie etwa einem Betriebssystem, bereitgestellt ist, als ein residentes Programm in der Umgebung arbeitet, oder im Hintergrund arbeitet.
Die Hochgeschwindigkeitsbeobachtung in dieser Beschreibung wird auch Hochgeschwindigkeitsaufnahme genannt, was bedeutet, dass ein momentanes Bild, das mit dem menschlichen Auge schwierig zu sehen ist, als eine Mehrzahl kontinuierlicher Einzelbild-Bilder aufgenommen wird und beispielsweise das Bild bei einer Einzelbildrate (definiert durch die Anzahl von kontinuierlich über eine Sekunde aufgenommenen Aufnahmen) von 100 fps bis eine Million fps aufgenommen wird. In diesem Fall kann optional ein Objekt in einer vergrößerten Weise nach Bedarf angezeigt werden.
Zusätzlich bedeutet Hochgeschwindigkeitssaufnehmen im Allgemeinen, dass Standbilder kontinuierlich aufgenommen werden, aber hier wird es aus Gründen der Bequemlichkeit manchmal Aufzeichnen eines Bewegtbildes genannt, weil, wenn die Standbilder kontinuierlich angezeigt werden, sie als das Bewegtbild gehandhabt werden können. Das heißt, das Bewegtbild in dieser Spezifikation bedeutet eine Reihe von kontinuierlich bei einer vorgegebenen Einzelbildrate aufgenommenen Standbildern. Zusätzlich wird ein Bildschirm, auf dem das Bewegtbild durch eine Anzeigeeinheit 52 angezeigt wird, ein Bild-Einzelbild oder Bilddaten genannt.
1 ist eine perspektivische Umrissansicht einer Bewegtbildaufnahmevorrichtung 100 gemäß einer Ausführungsform der vorliegenden Erfindung und 2 ist ein Blockdiagramm davon. Die Bewegtbildaufnahmevorrichtung 100, die in den Zeichnungen gezeigt ist, beinhaltet einen Kopfabschnitt 15 mit einer Aufnahmeeinheit 10, die als eine Bilderhaltungseinheit dient, einen Hauptabschnitt 50 zum Antreiben und Steuern des Kopfabschnitts 15 zur Durchführung einer Bildverarbeitung und einen Kabelabschnitt 24 zu ihrer Verbindung. Der Kopfabschnitt 15 beinhaltet ein Aufnahmemodul 16 einschließlich der Aufnahmeeinheit 10, ein Beleuchtungsmodul 66 einschließlich einer Beleuchtungseinheit 60 und ein Objektivmodul 20. Der Hauptabschnitt 50 beinhaltet eine Beleuchtungslichtquelle 64 zum Liefern von Beleuchtungslicht an die Beleuchtungseinheit 60, einen Aufnahmesteuerabschnitt 13 zum Erzeugen eines Aufnahmesteuersignals, um die Aufnahmeeinheit 10 zu steuern, und um es an die Aufnahmeeinheit 10 zu senden, und einen Bildverarbeitungsabschnitt 30, um die Bildverarbeitung für ein durch die Aufnahmeeinheit 10 aufgenommenes Bewegtbild durchzuführen. Weiterhin beinhaltet der Hauptabschnitt 50 eine Anzeigeeinheit 52 zum Anzeigen des durch die Aufnahmeeinheit 10 aufgenommenen Bewegtbilds, und eine Bedienereinheit 55, über welche ein Anwender verschiedene Einstellungen und Bedingungen durchführt. Wenn das Objektivmodul 20 und das Beleuchtungsmodul 66 in der Bewegtbildaufnahmevorrichtung 100 gemäß den Beobachtungszwecken ausgetauscht werden können, kann die eine Bewegtbildaufnahmevorrichtung für verschiedene unterschiedliche Einsätze verwendet werden.
Zusätzlich beinhaltet bei Bedarf der Hauptabschnitt 50 eine Aufnahmezyklus-Einstelleinheit zum Ändern eine Aufnahmezyklus der Aufnahmeeinheit 10, einen Lesebereichsbestimmungseinheit zum Bestimmen einer Größe und/oder einer Position eines Lesebereichs, in welchem die Bilddaten aus einem Aufnahmebereich der Aufnahmeeinheit 10 ausgelesen werden können, basierend auf dem Aufnahmezyklus, eine Anzeige-Aktualisierungseinheit zum Detektieren, dass der Aufnahmezyklus sich verändert hat, Einlesen des Einzelbildes aus dem Lesebereich, basierend auf der Größe und/oder der Position des Lesebereichs entsprechend dem Aufnahmezyklus nach Änderung und seine Anzeige auf der Anzeigeeinheit 52 bei einem vorgegebenen Anzeigezyklus, einer Bereichsanzeigeeinheit 52 zum Anzeigen einer Bereichsanzeige, welche die Größe und/oder Position des Lesebereichs auf der Anzeigeeinheit 52 anzeigt, eine Bereichsanzeige-Justiereinheit zum Einstellen einer Standardposition der Bereichsanzeige, eine Bereichspositions-Bezeichnungseinheit zum Bezeichnen der Standardposition und der Größe des Lesebereichs, eine Aktualisierungsindikatoreinheit, über welche der Anwender die Ausführung der Aktualisierung der Anzeige des Bewegtbildes anzeigt, eine Verschlusszeit-Einstelleinheit zum Einstellen einer Verschlusszeit, und eine Auslöseeinstelleinheit zum Einstellen eines Auslösers.
Die Bewegtbildaufnahmevorrichtung 100 kann die Reihe von durch die Aufnahmeeinheit 10 aufgenommenen Bilddaten auf der Anzeigeeinheit 52 als das Bewegtbild bei einem langsameren Anzeigezyklus als dem Aufnahmezyklus zum Zeitpunkt der Aufnahme anzeigen. Das heißt, sie kann das aufgenommene Bewegtbild in Zeitlupe anzeigen.
(Kopfabschnitt 15)
Der Kopfabschnitt 15 weist die Aufnahmeeinheit 10 in Aufnahmemodul 16 auf. Die Aufnahmeeinheit 10 weist ein Aufnahmeelement 12 auf, das von einem Objekt S (eine Probe oder ein Werkstück) kommendes, reflektiertes Licht über ein optisches System als ein Beobachtungsziel, das durch die Beleuchtungseinheit 60 beleuchtet ist, elektrisch einliest. Als Aufnahmeelement 12 wird in diesem Beispiel ein CMOS verwendet, aber ein anderes Bild-gebendes Element wie etwa ein CCD kann auch verwendet werden. Hier hat als Umfang des Kopfabschnitts 15 des Aufnahmemodul 16 eine in 1 gezeigte zylindrische Form und inkorporiert das Aufnahmeelement 12. Zusätzlich kann durch Vorbereiten verschiedener Arten von Aufnahmemodulen anhand von Einsätzen, wie etwa Schwarzweiß-Aufnahme oder Farbaufnahme, und korrektes Auswählen von ihnen die Bewegtbildaufnahmevorrichtung für verschiedene Arten von Einsätzen verwendet werden.
(Aufnahmeeinheit 10)
Bezüglich der Aufnahmeeinheit 10 ist das Aufnahmeelement 12 in einer zweidimensionalen Weise angeordnet und es können die in zumindest einem Teil des Aufnahmebereichs des Aufnahmeelements 12 aufgenommenen Bilddaten eingelesen werden. Des heilt, es werden nicht immer die Bilddaten aus dem gesamten Aufnahmebereich des Aufnahmeelementes eingelesen, sondern die Bilddaten werden aus dem begrenzten Bereich erfasst, basierend auf dem Aufnahmezyklus, so dass ein Hochgeschwindigkeitsseinlesen durchgeführt werden kann. Der Aufnahmezyklus (d. h. eine Aufnahmeeinzelbildrate, die in dieser Beschreibung gelegentlich einfach die ”Einzelbildrate” genannt wird, wenn nicht anders ausgesagt), wenn das Objekt durch die Aufnahmeeinheit 10 aufgenommen wird, kann auf unterschiedliche Zyklen geändert werden. Die Einzelbildrate kann innerhalb eines Bereichs von 30 bis 32000 fps eingestellt werden.
Zusätzlich ist die Bilderhaltungseinheit nicht auf eine Bilderhaltungseinheit zum Aufnehmen des Bewegtbildes beschränkt und sie kann Bewegtbilddaten in solch einer Weise erhalten, dass die Bewegtbilddaten, die bereits erfasst worden sind, eingegeben werden. Die durch die Bilderhaltungseinheit erhaltenen Bewegtbilddaten bestehen aus einer Mehrzahl von Einzelbildern, die eine Szene des sich periodisch bewegenden Objekts enthalten. Zusätzlich kann die Bilderhaltungseinheit so umgeschaltet werden, dass, wenn eine Abnormalität beobachtet wird oder das Bild online inspiziert wird, die Bilderhaltungseinheit als die Aufnahmeeinheit zum Aufnehmen des Bewegtbildes dient und wenn eine Abnormalität überwacht wird oder das Bild offline inspiziert wird, erhält sie die Bewegtbilddaten durch Eingabe der Bewegtbilddaten, die bereits aufgenommen worden sind.
(Objektivmodul 20)
Das Objektivmodul 20 inkorporiert ein optisch mit dem Aufnahmeelement 12 verbundenes optisches Objektiv (optische Linse). Das Objektivmodul 20 weist eine Mehrzahl optischer Linsen mit Größen und Krümmungen auf, die für die erforderliche Vergrößerung und Helligkeit geeignet sind. Zusätzlich kann außer dem die Linse für die Hochgeschwindigkeitsbeobachtung inkorporierenden Objektivmodul, ein eine Linse für Zoom-Beobachtung inkorporierendes Objektivmodul vorbereitet und gegen das obige Objektivmodul ausgetauscht werden.
(Beleuchtungseinheit 60)
Die Beleuchtungseinheit 60 illuminiert das Objekt S, das durch das Aufnahmeelement 12 durch das Objektivmodul 20 aufzunehmen ist. Die Lichtquelle der Beleuchtungseinheit 60 ist im Hauptabschnitt 50 inkorporiert und das Beleuchtungslicht wird an die Beleuchtungseinheit 60 des Kopfabschnitts 15 über den Kabelabschnitt 24 gesendet. Die Beleuchtungseinheit 60 kann im Kopfabschnitt 15 inkorporiert sein oder getrennt vorgesehen sein, um vom Kopfabschnitt 15 abnehmbar zu sein.
(Hauptabschnitt 50)
Der Hauptabschnitt 50 beinhaltet die Beleuchtungslichtquelle 64, den Aufnahmesteuerabschnitt 13, den Bildverarbeitungsabschnitt 30, eine primäre Speichereinheit 53 und ein Schnittstellenabschnitt 54. Gemäß dem Beispiel in 2 ist jedes Element im Hauptabschnitt 50 inkorporiert, aber der Hauptabschnitt 50 ist nicht auf die obige Konfiguration beschränkt und sowohl Beleuchtungslichtquelle 64, als auch Aufnahmesteuerabschnitt 13, und Bildverarbeitungsabschnitt 30, können in Einheiten aufgeteilt sein. Somit steigt der Freiheitsgrad der Konfiguration. Beispielsweise muss die Beleuchtungslichtquelle nicht inkorporiert sein und könnte extern verbunden sein. In diesem Fall kann die Lichtquelle einfach gewechselt werden, aber die Lichtquelle muss angeordnet oder verdrahtet werden, was mühsam ist.
(Beleuchtungslichtquelle 64)
Das Leuchtenlassen der Beleuchtungslichtquelle 64 wird durch den Aufnahmesteuerabschnitt 13 gesteuert. Spezifischer, wenn eine Metallhalidlampe oder eine Halogenlampe verwendet wird, ist ein Maskenplatte (nicht gezeigt) zur Maskierung des gesamten oder eines Teils des Beleuchtungslichtes, um es abzuschirmen, auf einem Lichtpfad eines Verbindungsanschlusses angeordnet, um ein Beleuchtungslicht-Zufuhrkabel 61 zu verbinden. Die Maskenplatte ist so konfiguriert, dass zwei kleine und große im Wesentlichen fächerförmige Platten mit ihren Rückseiten zueinander verbunden sind, und so angebracht, dass sie sich um eine Drehachse drehen kann. Die große fächerförmige Platte ist mit Öffnungsgradsfenstern wie einem im Wesentlichen kreisförmigen Gesamtbeleuchtungsöffnungsfenster und einem im Wesentlichen fächerförmigen Seitenbeleuchtungsöffnungsfenster versehen. Zusätzlich weist die kleine fächerförmige Platte eine Zahnradrille in ihrem Umfangsseitenteil auf. Die Maskenplatte ist so verbunden, dass sie um die Drehachse gedreht werden kann und durch einen Motor gedreht werden kann. Bezüglich des Motors ist ein Schneckenrad an einer Rotationsachse fixiert und ist ein Triebabschnitt des Schneckenrads so angeordnet, dass er in Eingriff mit der in einem Bogenabschnitt der kleinen fächerförmigen Platte der Maskenplatte vorgesehenen Zahnradrille in Eingriff steht. Wenn die Maskenplatte durch Rotieren des Motors gedreht wird, koinzidiert des gesamte Beleuchtungsöffnungsfenster oder das Seitenbeleuchtungsöffnungsfenster mit dem Beleuchtungslicht-Zufuhrkabel 61. Somit ist das Beleuchtungslicht-Zufuhrkabel 61 mit der Beleuchtungslichtquelle 64 verbunden und das Beleuchtungslicht kann aus der Beleuchtungseinheit 60 emittiert werden.
Zusätzlich kann außer einer Metallhalidlampe eine Quecksilberlampe, eine Xenonlampe, eine Halogenlampe oder eine LED verwendet werden. Hinsichtlich der LED ist eine Infrarotkomponente im Vergleich zu Halogenlampe und der Metallhalidlampe klein, so dass der Vorteil darin besteht, dass ein Wärmewert des Objektes klein ist, wenn dieselbe Lichtmenge aufgebracht wird. Zusätzlich ist sie relativ preisgünstig, hat ein langes Leben und ist in der Responsivität auf die Eingabe überlegen, so dass die Beleuchtung gesteuert werden kann, ohne die Maskenplatte zu verwenden, um das Beleuchtungslicht abzuschirmen, und ihr EIN/AUS kann hinreichend der Hochgeschwindigkeitsaufnahme, wie etwa 1 Million fps, folgen.
(Aufnahmesteuerabschnitt 13)
Der Aufnahmesteuerabschnitt 13 stellt eine Aufnahmebedingung, wie etwa Einzelbildrate und Verschlusszeit zum Zeitpunkt der Hochgeschwindigkeitsbeobachtung durch die Bedieneinheit 55 ein und steuert jeden Abschnitt basierend auf der eingestellten Aufnahmebedingung. Spezifischer erzeugt der Aufnahmesteuerabschnitt 13 ein Aufnahmesteuersignal zum Treiben und Steuern des Aufnahmeelements 12 der Aufnahmeeinheit 10 und sendet es an die Aufnahmeeinheit 10. Zusätzlich steuert der Aufnahmesteuerabschnitt 13 EIN/AUS und Lichtabschirmung der Beleuchtungslichtquelle 64. Wenn beispielsweise die Aufnahme mit Stroboskoplicht durchgeführt wird, gibt der Aufnahmesteuerabschnitt 13 ein synchrones Signal, des mit dem Aufnahmevorgang synchronisiert ist, aus, schaltet EIN/AUS der Beleuchtungslichtquelle 64 durch des synchrone Signal und führt einen Aufnahmevorgang mit dem Aufnahmeelement 12 durch. Somit werden ein Aufnahme-Timingsignal, das mit Start- und Endpunkten eines Aufnahmevorgangs synchronisiert ist, und ein Belichtungs-Timing-Signal, das mit einem Belichtungseinheitsstartpunkt jedes Einzelbildes während des Aufnahmevorgangs synchronisiert ist, aus dem Aufnahmesteuerabschnitt 13 an die Beleuchtungslichtquelle 64 gesendet.
(Bildverarbeitungsabschnitt 30)
Der Bildverarbeitungsabschnitt 30 führt die Bildverarbeitung am durch die Aufnahmeeinheit 10 erfassten Bild durch. Beispielsweise legt der Bildverarbeitungsabschnitt 30 einen Bereich für das Bild des Objekts, der auf der Anzeigeeinheit 52 angezeigt wird, fest, und führt einen Messprozess durch, um eine Fläche zu berechnen oder eine Differenz bei der Höhe, eine Distanz und einen Winkel derselben zu berechnen.
(Anzeigeeinheit 52)
Die Anzeigeeinheit 52 zeigt das erfasste Bild und die Einstellungen an. Als Anzeigeeinheit 52 wird eine Kathodenstrahlröhre, ein Flüssigkristallpaneel oder eine organische EL verwendet. Wenn die Anzeigeeinheit 52 in dem Hauptabschnitt 50 im Beispiel in 1 inkorporiert ist, kann ein Videobild-Ausgabeanschluss vorgesehen sein, um eine externe Anzeige zu verbinden.
(Primäre Speichereinheit 53)
Die primäre Speichereinheit 53 speichert die aufgenommenen Bilddaten und die Einstellungsinhalte. Vorzugsweise wird ein Hochgeschwindigkeits-Halbleiterspeicher wie etwa ein RAM als zeitweiliger Speicherbereich verwendet und wird eine Festplatte als ein Datenspeicherbereich verwendet.
(Schnittstellenabschnitt 54)
Zusätzlich ist der Schnittstellenabschnitt 54 vorgesehen, um die Daten mit einer externen Vorrichtung über eine E/A- oder eine Kommunikationsleitung auszutauschen. Als ein Ausgang zum Austauschen des Steuersignals oder der Bilddaten mit der externen Vorrichtung öffnet sich im Hauptabschnitt 50 eine Anschlussöffnung zum Verbinden des Kabelabschnitts 24 und verschiedener Verbinder. Zusätzlich können, wenn ein USB-Ausgang vorgesehen ist, die Daten leicht in einem USB-Speicher geschrieben werden oder Daten können über die serielle Verbindung leicht mit einem anderen Computer ausgetauscht werden.
(Bedieneinheit 55)
Die Bedieneinheit 55 ist eine Eingangs-/Ausgangs-Eingabe/Ausgabe-Vorrichtung, durch welche der Anwender eine Bedienung, wie etwa Eingaben, basierend auf dem auf der Anzeigeeinheit 52 angezeigten Bildschirm durchführt. Die Bedieneinheit 55 ist mit dem Hauptabschnitt 50 per Kabel oder Funk verbunden, oder am Hauptabschnitt 50 befestigt. Die allgemeine Bedieneinheit 55 beinhaltet verschiedene Arten von Zeigevorrichtungen wie etwa eine Maus, Tastatur, Gleitfeld, ”Track Point”, Tablett, Joystick, Konsole, Jog Dial, Digitalisierer, Lichtstift, numerische Tastatur, Berührungsfeld oder AkkuPoint. Zusätzlich kann die Bedieneinheit 55 verwendet werden, um die Bewegtbildaufnahmevorrichtung selbst oder ihre Peripherievorrichtung zu bedienen, wie auch den Betrieb der Bewegtbildaufnahmevorrichtung. Darüber hinaus kann über einen berührungssensitiven Bildschirm oder ein berührungssensitives Paneel der Anzeige, die einen Schnittstellenbildschirm anzeigt, der Anwender die Eingabe oder die Bedienung durch direkte Berührung des Bildschirms mit der Hand durchführen, oder es kann eine existierende Eingabeeinheit, wie etwa eine Spracheingabe, verwendet werden, oder sie können zusammen verwendet werden. Zusätzlich können die Anzeigeeinheit 52 und die Bedieneinheit 55 integral mit dem Hauptabschnitt 50 kombiniert sein oder mit dem Hauptabschnitt extern über Kabel oder Funk verbunden sein. Weiterhin, wenn die Anzeigeeinheit ein Touch-Panel beinhaltet, können die Anzeigeeinheit und die Bedieneinheit integral aufgebaut sein. Zusätzlich kann die Bedieneinheit 55 aus der ohne Kabel verbundenen Konsole aufgebaut sein.
(Funktion des Bildverarbeitungsabschnitts 30)
Der Bildverarbeitungsabschnitt 30 weist eine Funktion zum Unterteilen des Bewegtbildes in Bezug auf jeden Zyklus auf, um das unterteilte Bewegtbild mit einem hohen Grad an Abnormalität aus den unterteilten Bewegtbildern zu speichern, und die unterteilten Bewegtbilder zu vergleichen und analysieren. Der in 2 gezeigte Bildverarbeitungsabschnitt 30 beinhaltet eine Charakteristikbetrags-Berechnungseinheit 34, eine Zyklus-Extraktionseinheit 32, eine Standard-Timing-Auswahleinheit 31, eine Bewegtbildwellenform-Erzeugungseinheit 35, eine Speicherbild-Extraktionseinheit 36 und eine Standardbewegungsmuster-Erhaltungseinheit 37 (die später beschrieben wird).
(Bewegtbild-Unterteilungsfunktion)
Die Bewegtbildaufnahmevorrichtung weist die Bewegtbild-Unterteilungsfunktion zum Unterteilen des Bewegtbildes mit einer Szene, in der eine ähnliche Bewegung periodisch durchgeführt wird, in Bezug auf jeden Zyklus auf. Spezifischer wird ein repräsentatives Bild, das den Zyklus repräsentiert, ausgewählt, und wird eine Wellenform, die einen Ähnlichkeitsgrad zum Repräsentativbild zeigt, als eine Bewegtbildwellenform erzeugt und durch Analysieren der Wellenform wird das Bewegtbild in Bezug auf jeden Zyklus mit ausgerichteter Phase unterteilt. Auf diese Weise kann des viele Einzelbilder enthaltende Bewegtbild in Bezug auf jeden Zyklus unterteilt werden und der Vergleich und die Analyse können leicht basierend auf dem unterteilten Zyklus durchgeführt werden. Gemäß der Bewegtbild-Unterteilungsfunktion kann die Phase ausgerichtet werden, wenn die unterteilten Bewegtbilder verglichen werden. Somit können die Bewegtbilder mit unterschiedlichen Zyklen mit ausgerichteten Phasen verglichen werden, d. h. Stücke von Bilddaten mit derselben Phase werden miteinander verglichen, so dass die Analyseoperation bequem durchgeführt werden kann. Die Bewegtbild-Unterteilungsfunktion kann mit der Standard-Timing-Auswahleinheit 31 und der Zyklus-Extraktionseinheit 32 implementiert werden.
(Repräsentativbild)
Hier wird das Repräsentativbild verwendet, wenn ein Referenzwert jedes Einzelbildes berechnet wird und die Bewegtbildwellenform berechnet wird und dieses Bild wird angemessen verwendet, um den Zyklus zu unterteilen. Da ein Unterteilungspunkt des Zyklus basierend auf dem Repräsentativbild bestimmt wird, wird das Repräsentativbild vorzugsweise als das Bild ausgewählt, das sicher in jedem Zyklus erscheinen kann und den Zyklus repräsentiert. Weiterhin wird ein Schwellenwert bezüglich des Referenzwerts für die basierend auf dem Repräsentativbild ausgebildete Bewegtbildwellenform eingestellt und das Bild wird vorzugsweise als das Repräsentativbild so ausgewählt, dass ein Zeitpunkt, wenn die Bewegtbildwellenform den Schwellenwert übersteigt, oder ein Zeitpunkt, wenn sie unter den Schwellenwert fällt, auf Standard-Timing eingestellt werden kann. Zusätzlich, ähnlich dem Fall, wenn des Standard-Timing mit dem Schwellenwert gesucht wird, wird das Bild vorzugsweise als des Repräsentativbild so ausgewählt, dass das Standard-Timing durch ein einfaches Verfahren gesucht werden kann, wie etwa ein Verfahren, bei dem das Standard-Timing durch Suchen eines Minimal- oder Maximalwerts in der Bewegtbildwellenform gesucht wird, die basierend auf dem Repräsentativbild in einer gewissen Zeitzone bereitgestellt wird.
Das Repräsentativbild kann automatisch berechnet werden, wie auch beliebig aus dem aufgenommenen Bewegtbild vom Anwender ausgewählt werden. Im obigen Verfahren wird das Repräsentativbild automatisch einmal mit dem Bildbeobachtungsprogramm berechnet und durch den Anwender eingestellt. In einem Beispiel in 9 wird des automatisch durch die Standard-Timing-Auswahleinheit 31 ausgewählte Repräsentativbild angezeigt und das Repräsentativbild kann beliebig durch Justieren einer Repräsentativbildposition 86 durch den Anwender verändert werden.
(Automatische Auswahl von Repräsentativbild)
Um das Repräsentativbild automatisch auszuwählen, wird ein als ein Kandidat des Repräsentativbildes dienender Bildrahmen aus dem Bewegtbild ausgewählt und wird die Bewegtbildwellenform basierend auf dem Kandidaten des Repräsentativbildes berechnet. Dies wird in Bezug auf jedes Einzelbild durchgeführt und es wird die Bewegtbildwellenform entsprechend jedem Einzelbild berechnet. In Bezug auf jede Bewegtbildwellenform wird eine Bestimmung vorgenommen, ob die Wellenform periodisch wird oder nicht, oder es wird eine Bestimmung vorgenommen, ob der Zyklus durch ein einfaches Verfahren wie etwa ein Verfahren durch Suchen des Schwellenwerts, oder von Minimal-/Maximalwerten, unterteilt werden kann oder nicht. Somit wird die Bewegtbildwellenform, die zum Unterteilen des Zyklus am geeignetsten ist, spezifiziert, und das Basis-Einzelbild der Bewegtbildwellenform wird als das Repräsentativbild eingestellt. Zu dieser Zeit kann eine Konfiguration so sein, dass ein Zyklus zum Unterteilen des Bewegtbildes durch Autokorrelation, die später beschrieben wird, aufgefunden wird und der Zyklus kann verwendet werden, um die geeignetste Bewegtbildwellenform zu spezifizieren. Darüber hinaus kann zusätzlich zum als das Repräsentativbild ausgewählten Einzelbild, da es praktisch dasselbe Bild wie dieses Einzelbild in einem anderen Zyklus gibt, das Repräsentativbild so bestimmt werden, dass in jedem Zyklus ”das fast gleiche Bild” extrahiert wird und das Bild basierend auf einer Variation in jedem Zyklus gemittelt wird.
Gemäß einer Bedingung, das ”Repräsentativbild” auszuwählen, um den Zyklus zu unterteilen, wird die Wellenform periodisch, wenn der Differenz-/Ähnlichkeitsgrad (Evaluierungswert) als die Wellenform ausgedrückt wird, und der Zyklus kann durch das einfache Verfahren wie etwa das Verfahren durch Suchen des Schwellenwerts oder der Minimal-/Maximalwerte unterteilt werden. Die Bestimmung, ob die Wellenform periodisch wird oder nicht, kann durch Schieben der Wellenform und Bestimmen, ob ein Teil, in dem die Differenz klein wird, existiert, periodisch vorgenommen werden. Bezüglich der Bestimmung, ob die Unterteilung des Zyklus mittels Suchen des Schwellenwertes oder der Maximal-/Minimalwerte vorgenommen werden kann, wird ein Verfahren verwendet, um zu bestimmen, ob der tatsächlich auf die obige Weise erhaltene Zyklus derselbe wie der Zyklus ist, der durch das Verfahren zum Bestimmen, ob die Wellenform periodisch oder nicht, erhalten worden ist.
(Standard-Timing-Auswahleinheit 31)
Die Standard-Timing-Auswahleinheit 31 wählt das den Zyklus repräsentierende Standard-Timing aus, um das durch die Bilderhaltungseinheit erhaltene Eingangsbewegtbild in Bezug auf jeden Zyklus zu unterteilen. Die Standard-Timing-Auswahleinheit 31 wählt das Standard-Timing basierend auf dem Repräsentativbild aus. Bezüglich des Repräsentativbilds, mag dieses automatisch durch die Standard-Timing-Auswahleinheit 31 ausgewählt werden, oder gewisse Bilddaten können durch den Anwender mit der Bedieneinheit 55 ausgewählt werden.
(Zyklusextraktionseinheit 32)
Die Zyklusextraktionseinheit 32 sektioniert des Eingangs-Bewegtbild in Bezug auf jeden Zyklus, basierend auf dem durch die Standard-Timing-Auswahleinheit 31 ausgewählten Standard-Timing. Somit, da das aufgenommene Eingangs-Bewegtbild periodisch unterteilt werden kann, kann die Analyseoperation des Bewegtbilds durch den Anwender beachtlich reduziert werden und die Analyse kann effektiv beim Analysieren des eine große Menge von Einzelbildern enthaltenen Bewegtbilds insbesondere im Falle der Hochgeschwindigkeitskamera vorgenommen werden.
(Zykluseinstelleinheit 33)
Die Zykluseinstelleinheit 33 kann bereitgestellt sein, um die Position des Zyklus rückwärts und vorwärts einzustellen, bevor das Eingangs-Bewegtbild in Bezug auf jeden Zyklus auf die Zyklusextraktionseinheit 32 sektioniert wird. Somit kann der Anwender den Zyklus händisch justieren, bevor das Bewegtbild in Bezug auf jeden Zyklus sektioniert wird.
(Charakteristikbetrag-Berechnungseinheit 34)
Die Charakteristikbetrag-Berechnungseinheit 34 berechnet einen Charakteristikbetrag für jedes Einzelbild oder jede Einzelbildgruppe, basierend auf dem durch die Bilderhaltungseinheit erhaltenen Eingangs-Bewegtbild. Beispielsweise berechnet die Charakteristikbetrag-Berechnungseinheit 34 den Ähnlichkeitsgrad zwischen dem Repräsentativbild und jedem Einzelbild des Eingangs-Bewegtbildes, als den Charakteristikbetrag, und die Standard-Timing-Auswahleinheit 31 selektiert das Timing, das dem Einzelbild entspricht, das in einem gewissen Zeitraum den höchsten Ähnlichkeitsgrad aufweist, als das Standard-Timing. Zusätzlich kann die Charakteristikbetrag-Berechnungseinheit 34 eine Differenz zwischen dem Repräsentativbild und jedem Einzelbild im Eingangs-Bewegtbild berechnen, und die Standard-Timing-Auswahleinheit 31 kann das Timing, das dem Einzelbild entspricht, welches in einem gewissen Zeitraum die kleinste Differenz aufweist, als des Standard-Timing auswählen.
(Bildauslöser)
Der Ählichkeitsgrad zwischen dem Repräsentativbild und jedem Einzelbild während der Aufzeichnung wird berechnet und die Zeit, wenn der Zyklus unterteilt ist, wird basierend auf dem Ähnlichkeitsgrad, als ein Bildauslöser erkannt, wodurch die Szene mit periodischer Bewegung automatisch in Bezug auf jeden Zyklus mit ausgerichteter Phase automatisch unterteilt werden kann. Das heißt, ein Auslösersignal (Bildauslöser) kann durch eine Auslöser-Erzeugungseinheit in Reaktion auf das Standard-Timing erzeugt werden. Als Auslöser-Erzeugungseinheit kann der obige Bildbearbeitungsabschnitt 30 verwendet werden. Der auf dem Repräsentativbild basierende Bildauslöser repräsentiert eine spezifische Phase in der Szene, die periodische Bewegung aufweist, und kann für das Timing verwendet werden, um den Zyklus zu unterteilen. Zusätzlich kann er als ein externer Auslöser verwendet werden, um eine externe Vorrichtung anzuweisen, Inspektion/Operation durchzuführen, wenn die Abnormalität überwacht wird oder das Bild online inspiziert wird, indem des Auslösersignal nach außerhalb der Vorrichtung geliefert wird. Hier kann die externe Vorrichtung eine Bildinspektionsvorrichtung sein, um das Objekt mit dem Bild zu inspizieren, oder eine Bearbeitungsvorrichtung, um das Objekt zu prozessieren. Der externe Auslöser wird zum Standard-Timing oder nachdem eine gewisse Zeit ab dem Standard-Timing verstrichen ist, erzeugt.
Zusätzlich, während die Beschreibung des Falles gegeben worden ist, bei dem die Bildinspektionsvorrichtung hier die externe Vorrichtung ist, kann die Prozess-Inspektionsvorrichtung inkorporiert sein. In diesem Fall wird eine Bildinspektion wie etwa Fehler/Defekt-Extraktion für ein oder mehrere zu einem Standard-Timing, oder nachdem eine gewisse Zeit ab dem Standard-Timing verstrichen ist, erhaltenen Bildern durchgeführt.
(Bewegtbildwellenform-Erzeugungseinheit 35)
Die Bewegtbildwellenform-Erzeugungseinheit 35 erzeugt die Bewegtbildwellenform, basierend auf dem durch die Charakteristikbetrag-Berechnungseinheit 34 berechneten Charakteristikbetrag. Die Zyklusextraktionseinheit 32 bestimmt den Zyklus, basierend auf der Bewegtbildwellenform, und kann das Eingangs-Bewegtbild in Bezug auf jeden Zyklus sektionieren. Somit kann eine quantitative Evaluierung basierend auf der Bewegtbildwellenform vorgenommen werden und die Unterteilung kann leicht in Bezug auf jeden Zyklus unter Verwendung der Bewegtbildwellenform vorgenommen werden.
Wenn die Bewegtbildwellenform erhalten ist, kann das Standard-Timing leicht ausgewählt werden. Beispielsweise definiert die Standard-Timing-Auswahleinheit 31 das Standard-Timing unter Verwendung der Zeit, wenn die Bewegtbildwellenform den vorbestimmten Schwellenwert übersteigt, als das Standard-Timing. Wenn jeder Zyklus basierend auf dem Standard-Timing synchronisiert wird, kann die Unterteilung leicht in Bezug auf jeden Zyklus vorgenommen werden, ohne eine synchrone Eingabe zu verwenden.
(Bewegtbildwellenform)
Wenn das Repräsentativbild bestimmt ist, wird der Referenzwert basierend auf dem Repräsentativbild berechnet und wird die Bewegtbildwellenform (Bewegungsgraph) erzeugt. Spezifischer wird der Referenzwert basierend auf der Differenz/Korrelation bei der Helligkeit, oder der Farbdifferenz zwischen dem Repräsentativbild und dem Bild jedes Einzelbildes des Bewegtbilds berechnet. Weiterhin wird der Zyklus der Bewegtbildwellenform bestimmt und das Bewegtbild wird in Bezug auf jeden Zyklus unterteilt. Spezifischer wird das Repräsentativbild, das den Zyklus repräsentiert, in jedem Zyklus basierend auf der Bewegtbildwellenform ausgewählt und die vorherigen und nächsten Einzelbilder werden herausgenommen, basierend auf der Position des Repräsentativbildes, so dass das Bewegtbild in Bezug auf jeden Zyklus mit ausgerichteter Phase unterteilt werden kann.
Zusätzlich kann beim Berechnen der Bewegtbildwellenform nur ein Teil des Bereiches des Einzelbildes des Bewegtbildes verwendet werden, statt es insgesamt zu verwenden. Bezug nehmend auf 11 wird ein durch eine unterbrochene Linie im Bildanzeigebereich 41 bezeichneter Bereich als ein Zielbereich ROI (Region of Interest, Interessierender Bereich) eingestellt und der für die Berechnung des Differenzwertes verwendete Bildbereich wird auf diesen Teil begrenzt. Wenn somit der Bildbereich auf diese Weise beschränkt ist und nur der die notwendige Information enthaltende Bereich festgelegt wird, wird ein unnötiger Bildbearbeitungsbetrag eingespart und der Berechnungsprozess kann effektiv bei hoher Geschwindigkeit mit niedriger Last durchgeführt werden. Insbesondere in einem Fall, bei dem effektive Information zum Bestimmen des Zyklus in einem Teil des Bildrahmens enthalten ist, ist dieses Verfahren effektiv.
Konventioneller Weise hat es keine Technik oder Idee zum periodischen Unterteilen des Bewegtbildes gegeben, und es wird nur ein Schaltteil im Aufnahmevorgang zwischen verschiedenen Daten (einer vorherigen Aufzeichnungs-Endposition und einer nächsten Aufzeichnungs-Startposition) detektiert. Das heißt, eine Detektion von Periodizität aus dem kontinuierlichen Bewegtbild, das zum selben Datum aufgenommen wurde und ein Schnitt des Bewegtbilds in Bezug auf jeden Zyklus, ist nicht durchgeführt worden.
Ein Verfahren zum Erkennen einer periodischen Bewegung des Objektes im Bewegtbild eines oder mehrerer Objekte und Berechnen seines Zyklus beinhaltet ein Verfahren, das Autokorrelation in einer Differenzmatrix verwendet. Gemäß diesem Verfahren wird eine Differenzmatrix von N×N, die eine Differenz zwischen m(= 1, 2, ..., N)-tem Einzelbild und und n(1, 2, ... N)-tem Einzelbild (m-te Zeile und n-te Spalte zeigt einen Differenzwert oder einen Ähnlichkeitsgrad zwischen dem m-ten Einzelbild und dem n-ten Rahmen) repräsentiert, basierend auf einem N×N-Einzelbild-Bewegtbild erzeugt. Die Differenzmatrix von N×N wird ähnlich wie das Bild von N×N behandelt und die Korrelation wird durch dasselbe Verfahren wie die Autokorrelation des Bildes gefunden, und der Zyklus kann basierend auf einem verschobenen Betrag berechnet werden, der die hohe Autokorrelation in einer XY-Richtung (Einzelbildintervall in diesem Fall) aufweist. Hier ist die Autokorrelation des Bildes ein Verfahren, bei dem dasselbe Bild in XY-Richtung stückchenweise verschoben wird, um seine Korrelation zu finden. In diesem Fall wird das Repräsentativbild als des gesuchte Bild bei Template-Abgleich identifiziert. Gemäß diesem Verfahren kann ein Durchschnittszyklus der in jedem N-Einzelbild-Bewegtbild existierenden periodischen Bewegung berechnet werden, aber es kann nicht jeder Zyklus gefunden werden, wenn es eine Variation beim Zyklus gibt, so dass das Problem ist, dass, wenn das N Einzelbild-Bewegtbild (N ≤ M) basierend auf dem in den N Rahmen gefundenen Durchschnittszyklus unterteilt wird, ein Fehler zwischen dem Durchschnittszyklus und dem tatsächlichen Zyklus akkumuliert wird.
Zusätzlich gibt es ein anderes Verfahren, bei dem eine periodische Wellenform, wie etwa eine AC-Wellenform mit einem Auslöser unterteilt wird und mittels Oszilloskop in Bezug auf jeden Zyklus angezeigt wird. Gemäß diesem Verfahren kann durch geeignete Einstellung des Auslösers die Unterteilung in Bezug auf jeden Zyklus mit ausgerichteter Wellenformphase vorgenommen werden. Währenddessen wird gemäß einer Bildauslösetechnik, die ebenfalls bekannt ist, ein Referenzwert, wie ein Durchschnitts-Helligkeitswert, basierend auf den Bilddaten berechnet, um eine Wellenform zu bilden, und ein Auslöser wird darauf angewendet. Durch Kombinieren der obigen Techniken kann das periodische Bewegtbild unterteilt werden, aber in einigen Fällen kann der Zyklus nicht korrekt erkannt werden, abhängig vom Verfahren zum Berechnen des Referenzwerts, so dass es schwierig ist, einen korrekten Auslöser anzuwenden. Wenn es beispielsweise eine Szene gibt, in der sich die Helligkeit während der Operation eines Zyklus des Objektes verändert, ist der Auslöser, der den Helligkeitswert als Referenzwert verwendet, nicht geeignet.
Derweil wird gemäß dieser Ausführungsform das den Zyklus repräsentierende Bild als das Repräsentativbild ausgewählt, wie oben beschrieben, werden die Referenzwerte basierend auf dem Repräsentativbild berechnet und wird die Bewegtbildwellenform erzeugt. Gemäß diesem Verfahren kann die Wellenform gegenüber einer Luminanzänderung stabil sein. Zusätzlich, da das Standard-Timing für die Zyklus-Unterteilung durch die Bewegtbildwellenform bestimmt ist, die basierend auf dem Repräsentativbild bereitgestellt wird, kann das Bewegtbild mit derselben Phase in jedem Zyklus, das heißt das synchrone Bewegtbild, extrahiert werden. Somit kann die Fluktuation des Zyklus leicht korrigiert werden und das Problem bei der Fehlerakkumulierung aufgrund des Durchschnittszyklus kann gelöst werden. Zusätzlich, wenn die Bewegtbildwellenform nicht den Schwellenwert in einem gewissen Zeitraum oder länger überquert, wird festgestellt, dass der Zyklus sich verschiebt, und der Zyklus abnormal ist.
(Bewegtbild-Beobachtungsprogramm)
Gemäß der Bewegtbild-Aufnahmeoperation wird die Bedienung des Anwenders empfangen, das Bewegtbild wird erfasst, angezeigt, und durch das Bewegtbild-Beobachtungsprogramm analysiert. Das Bewegtbild-Beobachtungsprogramm ist in der Bewegtbild-Erfassungsvorrichtung im in den in 1 und 2 gezeigten Beispiel inkorporiert, während, als eine andere Konfiguration, ein Universalcomputer mit der Bewegtbild-Erfassungsvorrichtung verbunden wird, das Bewegtbild Beobachtungsprogramm in den Computer installiert wird und die Operation an der Bewegtbild-Erfassungsvorrichtung durchgeführt wird. In diesem Fall können die Anzeigeeinheit 52 und die Bedieneinheit 55 als ein Monitor und eine Zeigevorrichtung, wie etwa ein Touch-Panel, eine Maus, oder eine Tastatur des Computers, vorgesehen sein.
3 zeigt einen Benutzerschnittstellenbildschirm des Bewegtbild-Beobachtungsprogramms. Das in dieser Figur gezeigte Bewegtbild-Beobachtungsprogramm stellt einen Bildanzeigebereich 41 zur Anzeige des Bewegtbildes und einen Wellenform-Anzeigebereich 42 zur Anzeige der Bewegtbildwellenform bereit, die später beschrieben wird. In diesem Beispiel ist der Bildanzeigebereich 41 in einem oberen linken Teil des Bildschirms vorgesehen und ist der Wellenform-Anzeigebereich 42 unter diesem vorgesehen, aber diese Anordnung ist lediglich ein Beispiel und es können verschiedene Layouts angewendet werden. Beispielsweise kann der Bildanzeigebereich in einem anderen Fenster angezeigt werden.
(Externer Signalanzeigebereich 43)
Auf der rechten Seite des Bildanzeigebereichs 41 ist ein externer Signalanzeigebereich 43 vorgesehen, um eine Wellenform eines externen Signals anzuzeigen, das zur selben Zeit gespeichert wird wie die Zeit, wenn das Bewegtbild aufgezeichnet wird, Das externe Signal beinhaltet ein Eingabesignal von verschiedenen Arten von Sensoren, wie etwa einem Temperatursensor, einem Distanzsensor, einem Drucksensor, einem Beschleunigungssensor oder einem Mikrofon.
(Synchrone Aufzeichnung von Bewegtbild und externem Signal)
Wenn das Bewegtbild durch die Aufnahmeeinheit 10 erfasst wird, kann die Wellenform des externen Signals synchron mit einer Aufzeichnung aufgezeichnet werden. Beispielsweise wie in 4 gezeigt, wird eine Zeit synchron durch ein elektrisches Auslösersignal aufgezeichnet. Das Auslösersignal wird in Reaktion auf einen durch den Anwender eingegebenen Knopf, einer Eingabe aus einem Sequenzierer, zu einem Moment (Bildauslöser), wenn die Wellenform des Sensors größer/kleiner als der Schwellenwert wird, oder zu einem Moment, wenn die Helligkeit des Bewegtbildes größer/kleiner als der Schwellenwert wird, erzeugt. Bezüglich sowohl des Bewegtbildes als auch der externen Signalwellenform wird die Aufzeichnung so eingestellt, dass sie über mehrere Einzelbilder (Abtastungen), bevor ausgelöst wird, oder mehrere Einzelbilder nach Auslösung durchgeführt wird. Insbesondere wird das Eine, bei dem die Anzahl von Aufzeichnungseinzelbildern von Auslösung auf Null eingestellt wird, ein Startauslöser genannt, und des Eine, bei dem die Anzahl von Aufzeichnungs-Einzelbildern nach Auslösung auf Null eingestellt wird, wird ein Endauslöser genannt. Zusätzlich, wenn des Einzelbild in dem als die primäre Speichereinheit 53 dienenden Speicher aufgezeichnet wird, wird ein Ringpuffer verwendet, das heißt, die Aufzeichnung wird durchgeführt, bis der Speicher voll wird, bevor der Auslöser angewendet wird, und wenn der Speicher voll wird, wird ein altes Einzelbild sequentiell durch ein jüngstes Einzelbild ersetzt. Zusätzlich koinzidiert die Anzahl von Bewegtbild-Einzelbildern und die Anzahl von Wellenform-Abtastungen pro Einheitszeit nicht immer miteinander.
(Wiedergabesteuerfeld 44)
Ein Wiedergabesteuerfeld 44 ist in einem unteren Teil des Wellenformanzeigebereichs 42 vorgesehen, um hauptsächlich eine Position des Bewegtbildes festzulegen. Das Wiedergabesteuerfeld 44 hat einen Suchbalken 45 und eine Wiedergabetastengruppe 46. Per Suchbalken 45 ist in einem unteren Teil des Wellenform-Anzeigebereichs 42 vorgesehen und er entspricht einer Länge des Bewegtbildes und zeigt eine aktuelle Wiedergabeposition, und die Position kann durch ein Klicken oder Ziehen der Maus auf eine festgelegte Position verändert werden. Zusätzlich ist die Wiedergabetastengruppe 46 auf der rechten Seite des Suchbalkens 45 vorgesehen und weist eine Vorwärtswiedergabe/Schnellvorlauftaste, eine Rückwärtswiedergabe/Schnellrücklauftaste, eine Pausentaste und eine Wiedergabegeschwindigkeits-Festlegungstaste auf.
(Werkzeugleiste 47)
Eine Werkzeugleiste 47 mit Tasten zur Durchführung verschiedener Arten von Bedienungen ist in einem oberen Teil des Bildschirms angeordnet. Eine ”Datei”-Taste 48 ist an einem linken Ende der Werkzeugleiste 47 vorgesehen und kann als die Bewegtbild-Erhaltungseinheit zum Einlesen der eingegebenen Bewegtbilddaten dienen, die bereits durch die Aufnahmeeinheit 10 aufgezeichnet worden sind. Zusätzlich kann das durch die Aufnahmeeinheit 10 erfasste Eingangs-Bewegtbild direkt in das Bewegtbild-Beobachtungsprogramm übernommen werden. Wenn die ”Datei”-Taste 48 gedrückt wird, erscheint ein in 5 gezeigter Auswahldialog 70 und der Anwender wählt eine gewünschte Datei aus den Eingangs-Bewegtbilddaten, die bereits gespeichert worden sind, aus. Gemäß dem Beispiel in 5 wird eine Dateiliste 71 in einem oberen rechten Teil des Bildschirms angezeigt und es wird eine Vorschau der ausgewählten Bewegtbilddaten in einem Vorschauanzeigefeld 72 in einem unteren rechten Teil des Bildschirms angezeigt. Im Vorschauanzeigefeld 72 wird das Bewegtbild auf der linken Seite angezeigt und wird eine Einzelbildliste des Bewegtbildes an repräsentativen Positionen auf der rechten Seite angezeigt. In diesem Beispiel wird gemäß einem Kapitel, das zuvor in den Bewegtbilddaten eingestellt worden ist, das einer Position des Kapitels entsprechende Einzelbild angezeigt. Weiterhin wird auf der linken Seite des Dateiauswahldialogs 70 ein Dateibaum 73 zur Auswahl der Datei in einem oberen Teil angezeigt, und detaillierte Informationen 74 zur Bewegtbilddatei, die aktuell ausgewählt ist, werden in einem unteren Teil angezeigt. Die detaillierten Informationen 74 beinhalten eine Dateinamen und ein Aufnahmedatum, eine Bildgröße und eine Aufnahmebedingung (wie etwa ein Objektiv, eine Vergrößerung oder ein Vorrichtungsnahme, der bei der Aufnahme verwendet wird) bei der Aufnahme, und einen Kommentar.
Wenn die Eingangs-Bewegtbilddaten im Dateiauswahldialog 70 ausgewählt werden, wie in 3 gezeigt, wird somit das Bewegtbild der ausgewählten Bewegtbilddaten im Bildanzeigebereich 41 angezeigt und wird die Wellenform des simultan, wenn die Bewegtbilddaten erfasst werden, aufgezeichneten externen Signals im externen Signalanzeigebereich 43 angezeigt. Im Beispiel von 3 wird eine Wellenform von mit einem Mikrofon aufgezeichneter Sprache als externe Signalwellenform angezeigt.
Zusätzlich kann in diesem Beispiel zum Zeitpunkt der Erzeugung des Bewegtbildes das oben beschriebene Kapitel eingestellt werden und die Daten des simultan aufgezeichneten externen Signals können eingebettet oder zu einer externen Datendatei verknüpft werden. Das Bewegtbild-Beobachtungsprogramm hat auch eine solche Funktion zum Erzeugen der Datendatei, so dass die Datendatei in einem gewünschten Format durch Drücken der obigen ”Datei”-Taste 48 und Auswählen eines Speichermenüs, wodurch die Datei erzeugt werden kann, gespeichert wird.
(Kapiteleinstellfunktion)
Das Bewegtbild-Beobachtungsprogramm kann ein Kapitel bei jeglicher Position setzen, so dass die gewünschte Position leicht gesucht werden kann. Das Kapitel kann hinzugefügt, geändert und gelöscht werden. Im Beispiel von 3 wird das Kapitel, das bereits in den Bewegtbilddaten gesetzt worden ist, in einem Flag 75 angezeigt, das oberhalb des Suchbalkens 45 im Wiedergabesteuerfeld 44 vorgesehen ist. Wenn das beliebige Flag 45 ausgewählt wird, wird ein Sprung zu dieser Flag-Position gemacht.
(Szenenmarkierungslistenfenster 77)
Weiterhin kann eine Liste des Bildrahmens entsprechend der Kapitelposition angezeigt werden, Spezifischer, wenn eine Szenenmarkierungstaste 76 der Werkzeugleiste 47 gedrückt wird, wird ein in 6 gezeigtes Szenenmarkierungslistenfenster 77 angezeigt. Das Szenenmarkierungslistenfenster 77 zeigt eine Rahmenliste entsprechend der Position des in den Bewegtbilddaten gesetzten Kapitels, das aktuell angezeigt wird. Wenn das gewünschte Einzelbild im Szenenmarkierungslistenfenster 77 ausgewählt wird, wird ein Sprung zur bezeichneten Kapitelposition durchgeführt. Zusätzlich, wenn eine ”Vorherige”-Taste 78 oder eine ”Nächste”-Taste 79 gedrückt wird, wird ein Sprung von der aktuellen Position zu einer jüngsten Kapitelposition vorgenommen. Wenn eine ”Hinzufügen”-Taste 80 in einer willkürlichen Position gedrückt wird, wird ein neues Kapitel zur aktuellen Position hinzugefügt. Bezüglich dem hinzugefügten Kapitel wird ein Einzelbild entsprechend der Kapitelposition im Szenenmarkierungslistenfenster 77 hinzugefügt. Zusätzlich, wenn das Kapitel zu löschen ist, wird das dem zu löschenden Kapitel entsprechende Einzelbild ausgewählt und es wird eine ”Löschen”-Taste 81 gedrückt. Zusätzlich, wie in 6 gezeigt, kann eine Information des Kapitels, auf das der Maus-Cursor gezeigt wird, im Fenster durch eine Werkzeug-”Chip”-Funktion angezeigt werden.
(Automatische Kapiteleinstellfunktion)
Das Kapitel kann automatisch hinzugefügt wie auch manuell durch den Anwender eingestellt werden. Im Beispiel in 6, wenn eine ”Szenenmarkierungs”-Taste der Werkzeugleiste 47 gedrückt wird, wird ein. ”Automatisches Szenenmarkierungs”-Menü ausgewählt, das Bewegtbild-Beobachtungsprogramm analysiert die Bewegtbilddatei automatisch und setzt das Kapitel. Bezüglich des Verfahrens zum Setzen des Kapitels kann ein Änderungspunkt der Szene durch die Bildverarbeitung detektiert werden, oder das Kapitel kann bei bestimmten Intervallen hinzugefügt werden. Somit kann das Kapitel automatisch oder manuell eingestellt werden, was speziell das Wiedergewinnen und Analysieren von Operationen der Bewegtbilddaten, die große Datenmengen aufweisen, unterstützt.
(Bewegtbild-Unterteilungsfunktion)
Darüber hinaus weist das Bewegtbild-Beobachtungsprogramm eine Bewegtbild-Unterteilungsfunktion zum Unterteilen der Bewegtbilddaten in Bezug auf jeden Zyklus auf. Nachfolgend wird eine Beschreibung einer Prozedur zum Unterteilen des Eingangs-Bewegtbildes mit in Bezug auf jeden Zyklus ausgerichteter Phase unter Verwendung der Bewegtbild-Unterteilungsfunktion, unter Bezugnahme auf die 7 bis 12 gegeben.
(Zielzonen-Bezeichnungsbildschirm 83)
Zuerst wird eine ”Bewegtbildvergleichs”-Taste 82 in der Werkzeugleiste 47 gedrückt und es wird ein ”Bewegtbild-Unterteilungs”-Menü ausgewählt. Dann, wie in 7 gezeigt, wird ein Bildschirm 83 zum Bezeichnen einer Zone eines Unterteilungsziels angezeigt. Der Anwender bezeichnet einen Bereich des zu unterteilenden Bewegtbildes, aus dem Zielzonen-Bezeichnungsbildschirm 83 mit der Suchleiste 45, wenn benötigt.
(Repräsentativer Bild-Festlegungsbildschirm 84)
Nachdem die Zielzone festgelegt worden ist, wird, wenn die ”Nächste”-Taste gedrückt wird, ein in 8 gezeigter Repräsentativbild-Bezeichnungsbildschirm 84 erscheinen, und es wird ein Zyklus, der automatisch ausgewählt worden ist, festgelegt. Auf diesem Bildschirm wird die Bewegtbildwellenform (diese wird auch in 8 ein Bewegungsgraph genannt und wird später näher beschrieben) im Wellenform-Anzeigebereich 42 angezeigt und es wird ein Bereich 85 entsprechend einem durch die Zyklus-Extraktionseinheit 32 berechneten Zyklus in einer schraffierten Weise angezeigt. Der Bereich 85, der dem einem Zyklus entspricht, wird automatisch durch die Zyklus-Extraktionseinheit 32 eingestellt. Der dem einen Zyklus entsprechende Bereich 85 kann, unter Aufrechterhaltung seiner Breite im Wellenform-Anzeigebereich 42 nach rechts und links bewegt werden, und durch Ziehen des dem einen Zyklus entsprechenden Bereichs 85 kann eine Startposition und eine Endposition des einen Zyklus, wie in 9 gezeigt, eingestellt werden.
Zusätzlich können die Startposition und die Endposition des Zyklus individuell geändert werden. Wenn beispielsweise die Endposition durch Ergreifen mit der Maus von einem in 9 gezeigten Zustand eingeschränkt wird, kann eine kürzere Zone als der eine Zyklus festgelegt werden, wie in 10 gezeigt. Ähnlich kann die Startposition des Zyklus verändert werden, so dass die Startposition und die Endposition des Zyklus auf irgendeine Position geändert werden und folglich können die Startposition und die Endposition des einen Zyklus sowie eine Länge des Zyklus beliebig eingestellt werden.
(Repräsentativbildposition 86)
Zusätzlich repräsentiert eine durch eine unterbrochene vertikale Linie im Wellenform-Anzeigebereich 42 gezeigte Position eine Repräsentativbildposition 86, welche die Position des Einzelbildes, das aktuell im Bildanzeigebereich 41 angezeigt ist, zeigt, und diese Repräsentativbildposition 86 kann auch beliebig geändert werden. Das Einzelbild an der ausgewählten Position wird hier als das Repräsentativbild ausgewählt. Somit fungiert die vertikale Linie als eine Repräsentativbild-Auswahleinheit zum Auswählen und Ändern des Repräsentativbilds.
(Phaseneinstellsuchleiste 87)
Zusätzlich ist auf dem Repräsentativbild-Festlegungsbildschirm 84 die Suchleiste im unter dem Wellenformanzeigebereich 42 vorgesehenen Wiedergabesteuerfeld 44 eine Phaseneinstellsuchleiste 87 und kann nach einer gewünschten Position im Zyklus suchen. Spezifischer richtet sich die Länge der Suchleiste fast nach dem Wellenformanzeigebereich 42, und entspricht der Bewegtbildwellenform, die gerade im Wellenformanzeigebereich 42 angezeigt wird. Des heißt, ein Stopper 88 wird auf der Phaseneinstellsuchleiste 87 angezeigt, und entspricht sowohl der Startposition als der Endposition des einem Zyklus entsprechenden Bereichs 85 und es kann nur eine hier definierte Zone einer Wiedergabe, einem Schnellvorlauf und einer Rückwärts-Wiedergabe mit der Wiedergabetastengruppe 46 unterworfen werden. Zusätzlich entspricht ein auf der Phaseneinstellsuchleiste 87 vorgesehener Schieberegler 89 einer Position der Repräsentativbildposition 86, und die Repräsentativbildposition 86 kann durch Bedienen des Schiebereglers eingestellt werden.
(Zyklusumschalt-Schieberegler 90)
Zusätzlich ist ein Zyklusumschalt-Schieberegler 90 zum Umschalten des Zyklus des angezeigten Bewegtbildes auf der oberen Seite des Wiedergabesteuerfeldes 44 vorgesehen. Anders als die Suchleiste entspricht der auf dem Bildschirm in 8 vorgesehene Zyklusumschalt-Schieberegler 90 einer Gesamtlänge des Bewegtbildes und zeigt die aktuell angezeigte Position. Zusätzlich reagiert er auf die Bewegung des oben beschriebenen Kapitels und wenn die Kapitelnummer in einem Kapitelfestlegungsfeld 91 verändert wird, kann die Position zur festgelegten Kapitelposition umgeschaltet werden. Wenn die Kapitelnummer des Kapitelfestlegungsfelds 91 umgeschaltet wird, wird ein Sprung zum entsprechenden Kapitel durchgeführt. Zusätzlich kann zu dieser Zeit, außer einer Kopf- oder Endposition des Kapitels nach Bewegung der Sprung zu einer Position in derselben Phase im Kapitel nach Bewegung gemacht werden, um so einer im vorherigen Kapitel angezeigten Phasenposition zu entsprechen. Somit kann mit dem Zyklusumschalt-Schieberegler 90 der Anwender bestätigen, ob der Zyklus korrekt an einer anderen Position der Bewegtbilddaten unterteilt ist oder nicht.
Somit ist das Beispiel, bei dem der Anwender das Repräsentativbild manuell auswählt, beschrieben worden. Derweil wird in dem Fall, bei dem das Repräsentativbild automatisch berechnet wird, das Bild mit einem ähnlichen Bild automatisch eines nach dem anderen in jedem durch die Autokorrelation berechneten Zyklus ausgewählt. Beispielsweise wird ein Bild mit einer Spitze in der Bewegtbildwellenform als das Repräsentativbild ausgewählt.
(Korrektur des Standard-Timings)
Zusätzlich koinzidiert das Standard-Timing des wie oben beschrieben eingestellten Zyklus nicht immer mit dem Start oder Ende jedes Zyklus. Daher ist es notwendig, getrennt einen Bereich vom Start bis zum Ende des Zyklus als das Standard-Timing einzustellen. Beispielsweise in einem Fall eines Prozesses, der so wiederholt wird, dass ein Produkt eine Produktionslinie betritt, einer Bearbeitung unterworfen wird und sie verlässt, kann das Standard-Timing als der Eintrittsteil, der Bearbeitungsteil oder der Verlassteil eingestellt werden. In diesem Fall kann der Anwender den Eintrittsteil als den Start des Zyklus und den Verlassteil als das Ende des Zyklus einstellen, oder kann nur den Bearbeitungsteil als einen Zyklus einstellen.
12 zeigt ein Beispiel des Anwenderschnittstellenbildschirms zum Einstellen des Starts und Sodas des Zyklus. Auf diesem Bildschirm werden die Phaseneinstellsuchleiste 87 und der Stopper 88, der den Start/das Ende des Zyklus einstellt, vom Zentrum der Unterteilungsposition zu den vorherigen und nächsten Unterteilungspositionen bewegt und stellen das Start/das Ende jedes Zyklus basierend auf der Unterteilungsposition als Relativpositionen darin ein. Der Anwender macht diese Einstellung, während das Bewegtbild mit dem einen Zyklus betrachtet wird. Um zu bestätigen, welcher Zyklus für die Unterteilung verwendet wird, kann der Zyklus durch eine Zyklussprungtaste 92 bewegt werden. Wenn die Zyklussprungtaste 92 gedrückt wird, wird der angezeigte Zyklus rückwärts und vorwärts bewegt, so dass bestätigt wird, ob es ein Problem gibt oder nicht, wenn die Unterteilungseinstellung, die in einem Zyklus gemacht wird, auf einen anderen Zyklus angewendet wird. Zusätzlich kann zu diesem Zeitpunkt die Wellenform des Zyklus überlagert und angezeigt werden.
Zusätzlich gibt es einen Fall, bei dem eine Variation beim Start/Endtiming in jedem Zyklus erzeugt wird. Da solch eine Variation in der Wellenform erscheint, wird die überlagerte Anzeige der Wellenform beobachtet und die Start/End-Positionen des Zyklus können basierend auf der Variation bestimmt werden.
Somit, nachdem das Repräsentativbild und die Startposition und Endposition des Kurve bestimmt worden sind, wird das Bewegtbild, wenn eine ”OK”-Taste 93 auf dem Bildschirm in 8 gedrückt wird, in die unterteilten Bewegtbilder in Bezug auf jeden Zyklus unterteilt und auf einem Bildschirm in 13 angezeigt. Zusätzlich bedeutet die Unterteilung des Bewegtbildes nicht immer, dass die Bewegtbildaten unterteilt werden, sondern beinhaltet eine Bedingung, bei der des unterteilte Bewegtbild in Bezug auf jeden Zyklus auf dem Bildschirm des Bewegtbild-Beobachtungsprogramms identifiziert werden kann. Beispielsweise beinhaltet die Unterteilung des Bewegtbildes in dieser Beschreibung auch eine Konfiguration, bei der des Kapitel in Bezug auf jeden Zyklus hinzugefügt wird und das Bewegtbild auf ein gewünschtes unterteiltes Bewegtbild durch Umschalten des Kapitels umgeschaltet wird.
Wie in 13 gezeigt, wird im Wellenformanzeigebereich 42 die Bewegtbildwellenform des unterteilten Bewegtbildes im festgelegten Kapitel gezeigt. Auf diesem Bildschirm werden der Zyklusumschalt-Schieberegler 90 und das Kapitelfestlegungsfeld 91 ähnlich wie in 8 vorgesehen und das Kapitel kann durch deren Bedienen auf das gewünschte Kapitel umgeschaltet werden.
Zusätzlich, in dem Fall, bei dem des Bewegtbild und die externe Signalwellenform, wie etwa die Sensoreingabe, synchron hereingenommen werden, können sie für Abnormalitätsüberwachungsaufzeichnung verwendet werden, die später beschrieben wird, durch ihre Unterteilung in Bezug auf jeden Zyklus und Evaluieren eines Ähnlichkeitsgrades der Sensorwellenformen unter Verwendung einer Korrelation, während das Phasen-Timing des Bildes übernommen wird.
(Analysefunktion)
Wie oben beschrieben, kann das Bewegtbild in Bezug auf jeden Zyklus unterteilt werden, so dass die den großen Betrag an Einzelbilder enthaltenen Bewegtbilddaten leicht prozessiert und analysiert werden können, indem sie mit dem Einzelbild jeder Phase in jedem Zyklus verglichen werden. Insbesondere können die mit ihren Phasen ausgerichteten unterteilten Bewegtbilder leicht in Bezug auf jede Phase verglichen werden, was bei der Analyse vorteilhaft ist. Es wird untenstehend eine Beschreibung eines Beispiels einer Analyseeinheit zum Analysieren der unterteilten Bewegtbilder mit ausgerichteten Phasen gegeben werden.
(Bewegtbild-Vergleichsfunktion)
Als Erstes wird eine Beschreibung einer Bewegtbild-Vergleichsfunktion zum Vergleichen der wie oben beschrieben unterteilten geteilten Bewegtbilder als eine Analysefunktion unter Bezug auf die 13 bis 17 gegeben. Auf dem Bildschirm in 13 wird ein ”Bewegtbildvergleichs”-Menü aus einer ”Bildvergleichs”-Taste 82 in der Werkzeugleiste 47 ausgewählt. Dann wird ein Bewegtbild-Vergleichseinstellbildschirm 94 angezeigt, wie in 14 gezeigt, bei dem ein Standard-Bewegtbild und ein Bewegtbild eines Vergleichsziels beide festgelegt werden. Zusätzlich kann als eine anfangs im Wellenformanzeigebereich 42 angezeigte Wellenform die Bewegtbildwellenform (Bewegungsgraph) oder eine andere Signalwellenform ausgewählt werden. Nach der Auswahl, wenn eine ”OK”-Taste 95 gedrückt wird, wird ein Bewegtbild-Vergleichsbildschirm 96 angezeigt, wie in 15 gezeigt. Auf diesem Bewegtbild-Vergleichsbildschirm 96 ist der Bildanzeigebereich 41 in einen linken und rechten 4A und 41B in einem oberen Teil unterteilt, in welchem die ausgewählten Bewegtbilder angezeigt werden. In diesem Beispiel werden das Standard-Bewegtbild und des Vergleichs-Bewegtbild auf der linken Seite 41A bzw. rechten Seite 41B angezeigt, aber sie können getauscht werden. Zusätzlich ist der Wellenformanzeigebereich 42 in einer mittleren Stufe vorgesehen, wobei sich seine Länge nach rechts und links erstreckt. Die in dem Wellenformanzeigebereich 42 angezeigte Bewegtbildwellenform wird durch eine in einem unteren Teil des Wellenformanzeigebereichs 42 bereitgestellte Auswahltaste 97 umgeschaltet. In diesem Beispiel ist die Bewegtbildwellenform des Standard-Bewegtbildes gezeigt. Zusätzlich können in Reaktion auf die Auswahltaste 97 die Bewegtbildwellenform, die das Operationsziel des unteren Schiebereglers und Wiedergabetaste 46 im Wiedergabesteuerfeld 44 auch vertauscht werden. Zusätzlich kann ohne Verwendung der Auswahltaste 97 der Betrieb zum Betrieb des ausgewählten Bewegtbildes umgeschaltet werden, indem direkt auf den Bildanzeigebereich 41 geklickt wird. Zusätzlich, wenn das Bewegtbild umgeschaltet wird, werden die Phaseneinstellsuchleiste 87 und der Zyklusumschalt-Schieberegler 90 in eine Position entsprechend dem Bewegtbild bewegt.
Zusätzlich kann der Wellenformanzeigebereich 42 in einer Mehrstufenweise angezeigt werden, In einem in 15 gezeigten Beispiel, wenn eine ”Einstufenanzeige”-Taste 98, die in einem oberen linken Teil des Wellenformanzeigebereichs 42 vorgesehen ist, gedrückt wird, um die Anzeige zu einer ”Mehrfachanzeige” umzuschalten, wie in 16 gezeigt, wird der Wellenformanzeigebereich 42 in obere und untere Bereiche 42A und 42B unterteilt und auf die Mehrfachanzeige umgeschaltet. In diesem Beispiel werden die Bewegtbildwellenformen des Standard-Bewegtbilds und des Vergleichs-Bewegtbildes in der oberen Stufe 42A bzw. der unteren Stufe 42B angezeigt.
Weiterhin kann eine Funktion so sein, dass wenn die Position eines Bewegtbildes auf dem Wellenformanzeigebereich 42 festgelegt ist, ein Sprung zu einem Teil in derselben Phase des anderen Bewegtbildes gemacht werden kann. Somit ist dies sehr bequem für den Vergleich und Analysen in derselben Phase.
Zusätzlich sind als Standard-Bewegtbild und Vergleichs-Bewegtbild die verschiedenen Bewegtbilder festgelegt, aber ansonsten kann dasselbe Bewegtbild festgelegt werden. In diesem Fall können die verschiedenen Zyklen desselben Bewegtbildes auf demselben Bildschirm angezeigt werden, und der Vergleich kann in Bezug auf jeden Zyklus mit ausgerichteten Phasen vorgenommen werden.
(Bewegtkörper-Verfolgungsfunktion)
Als ein anderes Beispiel der Analysefunktion weist das Bewegtbild-Beobachtungsprogramm eine Bewegtkörper-Verfolgungsfunktion auf, um den Übergang des Bildes zu zeigen, das ähnlich dem festgelegten Bild ist. 17 zeigt ein Beispiel, bei dem die Bewegtkörper-Verfolgungsfunktion ausgeführt wird. In diesem Beispiel sind auf einem Bild des auf der linken Seite des Bildanzeigebereichs 41 angezeigten Standard-Bewegtbildes rechteckige Zielbereiche ROI1 und ROI2 doppelt festgelegt. Ein Bild ähnlich dem in dem Bereich des inneren Rahmens ROI1 festgelegten Bildes wird die Vorlagenabgleichung in einem Bereich des durch den äußeren Rahmen ROI2 bezeichneten Bereichs unterworfen und es wird eine Detektionsposition im nachfolgenden Einzelbild angezeigt. Wenn der Bereich der Bewegtbild-Verfolgungsfunktion so eingestellt ist, dass derselbe Bereich im Bewegtbild mit verschiedenen Zyklen und derselben Phase eingestellt ist, wird eine punktierte Spur erhalten, wie in 17 gezeigt, so dass der festgelegte Teil verfolgt werden kann, um zu sehen, wie er sich bewegt.
(Zeitserien-Bilderzeugungsfunktion)
Darüber hinaus hat als noch ein anderes Beispiel der Analysefunktion das Bewegtbild-Beobachtungsprogramm eine Zeitreihen-Erzeugungsfunktion, um die unterteilten Bewegtbilder in den verschiedenen Zyklen mit ihren ausgerichteten Phasen anzuzeigen. 18 zeigt einen Fall, bei dem die Zeitreihen-Bilderzeugungsfunktion ausgeführt wird. Wie in dieser Figur gezeigt, sind die unterteilten Bewegtbilder in den verschiedenen Zyklen vertikal angeordnet und in Form einer Matrix so angeordnet, dass die Phasen der unterteilten Bewegtbilder zueinander in vertikaler Richtung ausgerichtet sind. Somit können die Bewegtbilder so angezeigt werden, dass sie in Bezug auf jeden Zyklus unterteilt und mit ausgerichteter Phase verglichen werden können, so dass ein unterschiedlicher Punkt zwischen den Einzelbildern leicht detektiert werden kann.
Zusätzlich, wie in 19 gezeigt, kann nur eine spezifische Phase außer in dem Fall angezeigt werden, bei dem eine Mehrzahl von Einzelbildern der unterteilten Bewegtbilder angezeigt wird. In diesem Beispiel sind die Einzelbilder des unterteilten Bewegtbildes in der einen Phase in einer lateralen Richtung längs der Zyklen angeordnet. Auch in dieser Anzeige kann ein unterschiedlicher Punkt in den Zyklen leicht zu einer gewissen Zeit verglichen werden.
Somit ist das kontinuierliche Bewegtbild in Bezug auf jeden Zyklus unterteilt und die Einzelbilder werden in der Liste mit ausgerichteten Phasen angezeigt, so dass der Analysevorgang der durch die Hochgeschwindigkeitskamera erfassten Bewegtbilder, der konventioneller Weise mühsam sein kann, in seiner Effizienz beachtlich verbessert werden kann und der Analysevorgang kann sehr energiesparend sein und es kann eine extrem bequeme Umgebung zur Analyse bereitgestellt werden.
(Abnormalitätsüberwachungs-Aufzeichnungsfunktion)
Darüber hinaus, nachdem das Bild der periodischen Bewegung des Objekts aufgenommen worden ist, könnte die Bewegtbildaufnahmevorrichtung nur ein ungewöhnliches Bild durch Evaluieren der Bewegung dieses Zyklus aufzeichnen.
Gemäß dieser Abnormalitäts-Überwachungsaufzeichnungsfunktion erfasst die Hochgeschwindigkeitskamera die Szenen, und zeichnet sie auf, die aus wiederholten periodischen Vorgängen zusammengesetzt sind, in denen Produkte die Produktionslinie einer Fabrik betreten und verlassen, als das Bewegtbild, unterteilt das Bewegtbild in Bezug auf jeden Zyklus, analysiert es, und zeichnet ein abnormales auf.
Um beispielsweise einen Abnormalitätserzeugungsprozess des Produktes in der Produktionslinie in einem Fall zu analysieren, wenn die Hochgeschwindigkeitskamera das Bild des sich in der Produktionslinie bewegenden Produktes erfasst, ist es in vielen Fällen nicht bekannt, wann ein abnormaler Vorgang auftritt. In diesem Fall hat der Anwender des durch die Hochgeschwindigkeitskamera erfasste Bewegtbild durch Sichten der enormen Datenmenge und das Suchen des das Problem verursachenden Bildes aus den ähnlich wiederholten Bildern zu analysieren, was den Anwender zwingt, große Last auf sich zu nehmen.
Wie oben beschrieben, kann die Bewegtbildaufnahmevorrichtung periodisch das eingegebene Bewegtbild unter Verwendung des aus dem Bewegtbild ausgewählten Repräsentativbilds als den Bildauslöser unterteilen, so dass der Analysevorgang des Bewegtbilds durch den Anwender beträchtlich vermindert werden kann.
Jedoch wird selbst bei diesem Verfahren, wenn eine riesige Datenmenge zu prozessieren ist, auch die Vergleichsoperation enorm. Zusätzlich, wenn die Bewegtbildaufnahmevorrichtung online verwendet wird, könnte sie daran scheitern, eine gewünschte Szene zu erfassen, weil eine Speicherquelle begrenzt ist. Somit wird der Evaluierungswert verwendet und wird nur das unterteilte Bewegtbild mit dem höchsten Abnormalitätsgrad gespeichert, so dass die Datenmenge selbst als das Analyseziel vermindert werden kann, und da nur die problematischen Daten analysiert werden, kann die Analyseoperation effektiv durchgeführt werden. Weiterhin, da der Prozess von den unterteilten Bewegtbilddaten mit dem höchsten Abnormalitätsgrad aus gestartet wird, kann das Problem mit hoher Wahrscheinlichkeit spezifiziert werden.
Wie oben beschrieben, werden die aufgenommenen Bewegtbilddaten in Bezug auf jeden Zyklus unterteilt und die Bewegung wird unter Verwendung des Bewegtbilds für den einen Zyklus evaluiert. Der Evaluierungswert wird so berechnet, dass ein Standard-Bewegungsmuster, das eine typische Bewegung für den einen Zyklus repräsentiert, zuvor durch des Standard-Bewegungsmuster-Erhaltungssignal 37 erzeugt wird und das gesamte oder ein Teil des Standard-Bewegungsmusters mit dem gesamten oder einem Teil der Bewegtbilddaten für den einen Zyklus verglichen wird. Der Evaluierungswert wird durch den Ähnlichkeitsgrad zum allgemeinen Bild, wie etwa Differenz oder Korrelation, berechnet.
Mit dem Evaluierungwert wird der Zyklus mit einem niedrigen Evaluierungswert, das heißt der, der eine große Differenz gegenüber dem Standard-Bewegungsmuster zeigt, als der Zyklus angesehen, bei dem die abnormale Operation erzeugt wird, und wird im Bildspeicher gespeichert. Zu diesem Zeitpunkt wird nur der Zyklus, der den gewissen Schwellenwert übersteigt, im Bildspeicher gespeichert. Alternativ können die Daten solange gespeichert werden, wie ein leerer Bildspeicher existiert und wenn der leere Speicher ausgeht, werden die Daten sequentiell aus den Daten mit einem hohen Evaluierungswert, das heißt, die eine kleine Differenz gegenüber dem Standardmuster zeigen, gelöscht, und es wird darin ein neues Bewegtbild gespeichert. Das Bewegtbild für einen oder mehr Zyklen, von dem Zyklus mit dem höchsten Evaluierungswert und/oder das Bewegtbild für einen oder mehrere Zyklen nach dem Zyklus mit dem höchsten Evaluierungswert werden zusammen aufgezeichnet. Zusätzlich, während die Beschreibung des Falles gegeben wurde, bei dem der Evaluierungswert verwendet wird, wenn der Zyklus, in dem eine abnormale Operation erzeugt wird, hier spezifiziert wird, kann zusätzlich dazu auch der Fall, bei dem des Intervall zwischen dem Standard-Timing entsprechend jedem Zyklus mehr als oder weniger als ein spezifizierter Wert ist, als der Zyklus angesehen werden, bei dem die abnormale Operation erzeugt wird, und wird im Bildspeicher gespeichert. In diesem Fall kann hinsichtlich der Reihenfolge des Löschens der Daten aus dem Bildspeicher, nachdem leerer Speicher ausgeht, er auf den niedrigsten eingestellt werden, oder so eingestellt werden, dass er dem beliebigen Evaluierungswert entspricht.
(Phasenausrichtung)
Im Vergleich zum Standard-Bewegungsmuster wird in dem Fall, wenn die Phase des Bewegtbildes ausgerichtet wird, der Vergleich durchgeführt, nachdem eine Startposition und eine Endposition des Vergleichs basierend auf der Phaseninformation ausgerichtet worden sind.
(Phaseneinstelleinheit)
Zusätzlich, wenn die Phase zwischen den unterteilten Bewegtbildern nicht ausgerichtet ist, oder die Phase nicht bekannt ist, wird die Phase durch eine Phaseneinstelleinheit ausgerichtet. Anhand der Phaseneinstelleinheit wird das Einzelbild verschoben und eine Position mit der kleinsten Differenz wird als die Position erkannt, in der der Zyklus passt, und an dieser Position der Evaluierungswert wird berechnet. Spezifischer, während die Startposition und die Endposition um δ Einzelbild (δ > 0) verschoben werden, wird der Vergleich durchgeführt und die Position mit dem höchsten Evaluierungswert wird als die Position angesehen, in welcher die Phase ausgerichtet ist, und ihr Evaluierungswert wird als der Evaluierungswert der Bewegung eingestellt.
(Standard-Bewegungsmuster)
Das Standard-Bewegungsmuster wird vorab durch die Standard-Bewegungsmuster-Erhaltungseinheit 37 erzeugt. Das Standard-Bewegungsmuster ist des Bewegtbild, das durch vorheriges Aufzeichnen der Standardoperation für den einen Zyklus bereitgestellt wird. Alternativ kann es eine Durchschnittsbildgruppe sein, welche durch das Aufzeichnungs-Standard-Bewegtbild für mehrere Zyklen bereitgestellt wird, seine Unterteilung in Bezug auf jeden Zyklus mit ausgerichteter Phase und ihre Mittelung in Bezug auf jede entsprechende Phase. Beispielsweise wird das Bewegtbild für 100 Zyklen als ein vorläufiger Aufnahmevorgang erfasst, und 5 bis 10 Arten ähnlicher Muster werden gesucht, um das Standard-Bewegungsmuster zu erzeugen. Zusätzlich können als ein anderes Beispiel Musterbildgruppendaten so bereitgestellt werden, dass das Bewegtbild für mehrere zehn Zyklen erfasst und in Bezug auf jeden Zyklus unterteilt wird und ein maschinelles Lernen in Bezug auf jedes Einzelbild der entsprechenden Phase durchgeführt werden, um sie auf die mehrere Arten von typischen Musterbildern zu komprimieren. Die Musterbildgruppendaten können durch dieselbe Technik wie das bei Handschriftenerkennung durchgeführte Maschinenlernen erzeugt werden.
(Phasenverschiebungs-basierte Gewichtung)
Aus der den einen Zyklus konstituierenden Bildgruppe gibt es einen Teil mit einer großen Variation in jedem Zyklus aufgrund einer kleinen Verschiebung des Timings, während es einen Teil gibt, der praktisch keine Variation aufweist, zwischen den Zyklen. Daher wird in der Phase mit der großen Variation ein Fehler groß und das Bild wird abnormal, weil die Phase sehr gegenüber der des Standard-Bewegungsmusters verschoben wird, selbst wenn sein Betrieb ursprünglich normal ist. Um das obige Problem zu verhindern, wird die gesamte Bewegung so evaluiert, dass ein Variationsgrad in jeder Phase kalkuliert wird, und dem Anwender als die Wellenform bereitgestellt wird, und der Evaluierungswert gewichtet wird, basierend auf der Variation in jeder Phase. Zusätzlich mag für die Phase, deren Variation oberhalb eines gewissen Wertes ist, ihre Bewegung nicht evaluiert werden.
Weiterhin kann als Evaluierungswert der oben beschriebene Referenzwert verwendet werden, der als Standard dient, um die Bewegtbildwellenform zu erzeugen.
(Abnormalitätsüberwachungs-Aufzeichnungsfunktion)
Als Nächstes wird die Abnormalitätsüberwachungs-Aufzeichnungsfunktion im Detail unter Bezugnahme auf 20 beschrieben. 20 ist ein Blockdiagramm einer Hochgeschwindigkeitsaufnahmevorrichtung zum Ausführen der Abnormalitäts-Überwachungsaufzeichnungsfunktion. Die in dieser Figur gezeigte Hochgeschwindigkeitsaufnahmevorrichtung beinhaltet die Bilderhaltungseinheit, die Zyklus-Extraktionseinheit 32, die Speicherbild-Extraktionseinheit 36, eine Abnormalitätsgrad-Analyseeinheit 38, die primäre Speichereinheit 53 und eine sekundäre Speichereinheit 56.
(Abnormalitätsgrad-Analyseeinheit 38)
Die Abnormalitätsgrad-Analyseeinheit 38 vergleicht das Standard-Bewegungsmuster des einen, die zuvor bestimmte Bewegung repräsentierenden Zyklus, die als der Standard des Objektes dient, mit dem eingegebenen Bewegtbild in jedem Zyklus, um einen Abnormalitätsgrad festzulegen. Zusätzlich kann die obige Charakteristikbetrag-Berechnungseinheit 34 aus der Abnormalitätsgrad-Analyseeinheit 38 aufgebaut sein und der Abnormalitätsgrad kann als der charakteristische Betrag verwendet werden. Somit, während der charakteristische Betrag verwendet wird, um das eingegebene Bewegtbild in Bezug auf jeden Zyklus zu unterteilen, kann er als der Abnormalitätsgrad verwendet werden, so dass der Charakteristikbetrag verwendet werden kann, um das gespeicherte Bewegtbild auszuwählen.
(Primäre Speichereinheit 53)
Die primäre Speichereinheit 53 ist der Bildspeicher wie oben beschrieben und speichert die durch die Bilderhaltungseinheit erhaltenen Bewegtbilddaten in Bezug auf jeden Zyklus.
(Zweite Speichereinheit 56)
Die zweite Speichereinheit 56 hat eine größere Speicherkapazität als die primäre Speichereinheit 53 und es wird dafür eine Festplatte, die von niedriger Schreibgeschwindigkeit ist, verwendet.
(Speicherbild-Extraktionseinheit 36)
Die Speicherbild-Extraktionseinheit 36 spezifiziert des Bewegtbild in dem Zyklus mit einem hohen Abnormalitätsgrad, der durch die Abnormalitätsgrad-Analyseeinheit 38 bestimmt wird, um in der primären Speichereinheit 53 gespeichert zu werden. Spezifischer wird eine Speicherwarteschlange erzeugt. Somit kann das Bewegtbild im Zyklus, das den hohen Wichtigkeitsgrad aufweist, sicher in der sekundären Speichereinheit 56 gespeichert werden.
(Speicherwarteschlange)
Wenn es zum Zeitpunkt der Aufzeichnung des unterteilten Bewegtbildes einen leeren Speicher im Bildspeicher gibt, wird das Bild darin gespeichert, und wenn es keinen leeren Speicher gibt, wird ein unterteiltes Bewegtbild mit niedrigem Abnormalitätsgrad gelöscht, um einen leeren Speicherblock zu erzeugen und dann wird das Bild darin gespeicherte Zusätzlich, wenn das Bild in der sekundären Speichereinheit 56 gespeichert wird, um Speicherkapazität einzusparen, wird die Speicherwarteschlange erzeugt, um das Bild in abnehmender Reihenfolge des Abnormalitätsgrades zu speichern, weil die Speichergeschwindigkeit im Vergleich zur Aufzeichnungsgeschwindigkeit sehr niedrig ist.
Bezug nehmend auf 20 erhält die Bilderhaltungseinheit das Bewegtbild und speichert es in der primären Speichereinheit 53 und sendet es an die Zyklus-Extraktionseinheit 32. Die Bilderhaltungseinheit erfasst das Bewegtbild mit der Hochgeschwindigkeitskamera und speichert es im Bildspeicher der primären Speichereinheit 53, während sie das Bewegtbild an die Zyklus-Extraktionseinheit 32 schickt. Die Zyklus-Extraktionseinheit 32 unterteilt das Bewegtbild in Bezug auf jeden Zyklus. Die Zyklus-Extraktionseinheit 32 bestimmt den Teilungspunkt des Zyklus, basierend auf dem Bewegtbild oder dem extern eingegebenen Auslösersignal, und wenn sie den Teilungspunkt festlegt, gibt sie das Signal an die Speicherbildextraktionseinheit 36 aus, um die Speicheradresse auf eine andere Speicheradresse zu bewegen. Somit kann das Bewegtbild gespeichert werden, das heißt in der anderen Speicheradresse aufgezeichnet werden, in Bezug auf jeden Zyklus.
Jedoch ist primäre Speichereinheit 53 beschränkt. Daher ist es notwendig, die Leerkapazität der primären Speichereinheit 53 durch sequentielles Speichern des Bewegtbildes in der sekundären Speichereinheit 56 zu vergrößern, aus demjenigen, das in der primären Speichereinheit 53 gespeichert worden ist. Jedoch beträgt die Schreibgeschwindigkeit des Aufzeichnungsmediums, wie etwa der als sekundäre Speichereinheit 56 dienenden Festplatte, im Allgemeinen ein Zehnte bis Ein Hundertstel der Schreibgeschwindigkeit der primären Speichereinheit 53, so dass der Speicher während der Speicherung ausgeht. Daher wird der Abnormalitätsgrad jedes Zyklus durch die Abnormalitätsgrad-Analyseeinheit 38 berechnet, nachdem die Speicherung abgeschlossen worden ist, und wenn es keine Leerkapazität (verfügbarer Speicher) in der Primärspeichereinheit 53 gibt, wird das Bewegtbild sequentiell ab demjenigen mit dem niedrigeren Abnormalitätsgrad im Bildspeicher gelöscht. Somit wird mit Verstreichen der Aufzeichnungszeit nur der Zyklus mit dem hohen Abnormalitätsgrad in der primären Speichereinheit 53 bleiben.
(Abnnrmalitätsgrad)
Um den Abnormalitätsgrad zu berechnen, wird das Bewegtbild mit dem normalen Vorgang zuvor über mehreren Zyklen durch die vorläufige Aufnahmeoperation aufgezeichnet und das Standard-Bewegungsmuster wird vorbereitet. Beispielsweise wird das aus dem Durchschnittsbild in derselben Phase in jedem Zyklus zusammengesetzte Bild als das Normalmuster (Standard-Bewegungsmuster) eingestellt und die Phase des aufgezeichneten Bildes in jedem Zyklus wird mit derjenigen des Normalmusters abgeglichen, um einen Durchschnittswert jeder Einzelbilddifferenz aufzufinden, wodurch der Abnormalitätsgrad berechnet werden kann. Zusätzlich kann die Differenz im durch die Zyklus-Extraktionseinheit 32 unterteilten Zyklus als der Abnormalitätsgrad verwendet werden.
(Einstellprozedur der Abnormalitäts-Überwachungsaufzeichnung)
21 zeigt ein Flussdiagramm einer Einstellprozedur der Abnormalitäts-Überwachungsaufzeichnung. Zuerst wird in Schritt S2101 die Bilderhaltungseinheit eingestellt. Bier verwendet die Bilderhaltungseinheit die Hochgeschwindigkeitskamera als die Aufnahmeeinheit 10, um das Bewegtbild zu erfassen, und es werden eine Ansicht und eine Aufnahme-Einzelbildrate der Hochgeschwindigkeitskamera eingestellt.
Als Nächstes wird in Schritt S2102 des Bild des Normalmusters vorläufig erfasst. In einem Schritt S2103 wird ein in Bezug auf jeden Zyklus zu unterteilendes Standard-Einzelbild eingestellt. Hier gibt es zwei Fälle, bei denen das Standard-Einzelbild automatisch eingestellt wird und durch den Anwender manuell eingestellt wird. Wenn das Standard-Einzelbild automatisch eingestellt wird, sektioniert die Zyklus-Extraktionseinheit 32 des eingegebene Bewegtbild in Bezug auf jeden Zyklus, basierend auf dem Standard-Timing, wie oben beschrieben.
Zusätzlich, wenn das Standard-Einzelbild durch den Anwender manuell eingestellt wird, wählt der Anwender das einen Zyklus repräsentierende Repräsentativbild aus. Basierend auf dem ausgewählten Repräsentativbild wählt die Zyklus-Extraktionseinheit 32 das Einzelbild, das dem Repräsentativbild ähnelt, als das Standard-Einzelbild aus. Alternativ stellt der Anwender den Schwellenwert in der Bewegtbildwellenform, die später beschrieben wird, ein, und die Zyklus-Extraktionseinheit 32 unterteilt das Bewegtbild in Bezug auf jeden Zyklus unter Verwendung eines Punktes, der den Schwellenwert übersteigt, als das Standard-Einzelbild.
Dann werden in einem Schritt S2104 Start und Ende des Zyklus eingestellt. Beispielsweise feinjustiert der Anwender den automatisch durch die Zyklus-Extraktionseinheit 32 eingestellten Zyklus. In einem Schritt S2105 wird das Abnormalitäts-Berechnungsverfahren eingestellt. Dann werden in einem Schritt S2106 die Normalmusterdaten basierend auf den vorläufigen Bilddaten erzeugt. Schließlich wird in einem Schritt S2107 der Aufzeichnungsspeicher in Blockeinheiten unterteilt, um somit in der Lage zu sein, einen Zyklus aufzuzeichnen. Somit wird in einem Schritt S2108 die Aufzeichnung gestartet. Wie oben beschrieben, wird das Bild des Normalmusters anfasst, werden die Unterteilungseinstellungen durchgeführt und können die Normalmusterdaten erzeugt werden. Die Normalmusterdaten können beim Einstellen des Abnormalitätsgrads zum Zeitpunkt der Überwachung und der Zyklusunterteilung verwendet werden.
(Aufzeichnungsfluss während einer Abnormalitäts-Überwachungsaufzeichnung)
Das durch die Hochgeschwindigkeitskamera erfasste Bewegtbild wird in dem als primäre Speichereinheit 53 dienenden Bildspeicher in Bezug auf jeden Zyklus gespeichert, das heißt aufgezeichnet. Zu diesem Zeitpunkt berechnet die Abnormalitätsgrad-Analyseeinheit 38 den Abnormalitätsgrad des Bewegtbildes, das aktuell aufgezeichnet wird, und führt die Abnormalitäts-Überwachungsaufzeichnungsfunktion durch, um nur das Bewegtbild mit dem hohen Abnormalitätsgrad im Bildspeicher zu speichern. Nachfolgend wird die Prozedur zum Ausführen der Abnormalitäts-Überwachungsaufzeichnungsfunktion für das Bewegtbild unter Bezugnahme auf ein in 22 gezeigtes Flussdiagramm beschrieben.
Zuerst wird in einem Schritt S2201 festgestellt, oh es einen leeren Block im Bildspeicher gibt oder nicht. Wenn es einen leeren Block gibt, schreitet die Operation zu einem Schritt S2203 fort und wenn es keinen leeren Block gibt, wird in einem Schritt S2202 der Bewegtbildblock mit einem niedrigen Abnormalitätsgrad im Bildspeicher gelöscht und die Operation schreitet zu Schritt S2203 fort.
Dann wird in Schritt S2203 das Bewegtbild in dem leeren Block gespeichert, das heißt aufgezeichnet. Dann wird in einem Schritt S2204 das Bewegtbild für den einen Zyklus aufgezeichnet und wird in einem Schritt S2205 der Abnormalitätsgrad des aufgezeichneten Zyklus durch die Abnormalitätsgrad-Analyseeinheit 38 berechnet. Dann wird in Schritt S2206 das Bewegtbild der Speicherwarteschlange zur sekundären Speichereinheit 56 in absteigender Reihenfolge des Abnormalitätsgrades hinzugefügt. Dann kehrt in einem Schritt S2207 die Operation zum Schritt S2201 für die nächste Zyklusaufzeichnung zurück und die obigen Schritte werden wiederholt.
Das Bewegtbild wird im obigen Beispiel so aufgezeichnet, dass das Bewegtbild in Bezug auf jeden Zyklus unterteilt wird, aber als anderes Beispiel können die Einzelbilder mit hohem Abnormalitätsgrad kontinuierlich oder diskret ohne Beachtung des Zyklus in einem Fall aufgezeichnet werden, bei dem die Abnormalität in Bezug auf jedes Einzelbild berechnet wird.
(Vorschaubildfunktion; Alarmfunktion)
Zusätzlich kann eine Funktion bereitgestellt werden, die das unterteilte Bewegtbild im Zyklus mit hohem Abnormalitätsgrad, das in der primären Speichereinheit 53 oder der sekundären Speichereinheit 56 aufgezeichnet worden ist, in absteigender Reihenfolge des Abnormalitätsgrades wiederzugeben, und es kann eine Vorschaufunktion (Thumbnail) vorgesehen sein, um das Einzelbild mit dem höchsten Abnormalitätsgrad als eine Liste anzuzeigen. Zusätzlich, wenn der Abnormalitätsgrad den gewissen Schwellenwert übersteigt, kann ein Alarm ausgegeben werden oder die nachfolgende Aufzeichnung kann angehalten werden.
INDUSTRIELLE ANWENDBARKEIT
Die Bewegtbildaufnahmevorrichtung, das Verfahren zum Beobachten des Bewegtbildes, das Bewegtbild-Beobachtungsprogramm und das computerlesbare Aufzeichnungsmedium gemäß der vorliegenden Erfindung können vorzugsweise auf Hochgeschwindigkeitskameras, Hochgeschwindigkeitsvideokameras, Bildsensoren und Bildinspektionsvorrichtungen angewendet werden, die verwendet werden, um eine Ursache einer Abnormalität in einer FA-Linie zu untersuchen, ein Verhalten eines Materialbruchs zu beobachten, wenn das Material bei einem Spannungstest des Materials reißt, ein Bild einer Hochgeschwindigkeitsverbrennung eines Innenverbrennungsmotors zu erfassen, ein Bewegungsmuster im Sport zu beobachten, und kontinuierlich ein Bild eines Hochgeschwindigkeitsphänomens, wie etwa einer Kollision oder kurzzeitigen Entladung zu erfassen.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2009--141709 [0002]
JP 2009-100326 [0002]

Zitierte Nicht-Patentliteratur

IEEE1394 [0050]
IEEE802.1x [0050]

Claims

Bewegtbildaufnahmevorrichtung zum Aufnehmen eines Bewegtbildes eines oder mehrerer Objekte als ein Aufnahmeziel, umfassende eine Bilderhaltungseinheit zum Erhalten eines Eingangs-Bewegtbildes, das aus einer Mehrzahl von Einzelbildern zusammengesetzt ist, die eine Szene des eine periodische Bewegung durchführenden Objektes enthalten, eine Repräsentivbildauswahleinheit zum Auswählen eines Repräsentativbildes, das einen Zyklus repräsentiert, eine Standard-Timing-Auswahleinheit (31) zum Auswählen eines Standard-Timings, basierend auf dem Repräsentativbild, um das durch die Bilderhaltungseinheit erhaltene Eingangs-Bewegtbild in Bezug auf jeden Zyklus zu unterteilen, und eine Zyklus-Extraktionseinheit (32) zum Teilen des Eingangs-Bewegtbildes in Bezug auf jeden Zyklus, basierend auf dem durch die Standard-Timing-Auswahleinheit ausgewählten Standard-Timing.
Bewegtbildaufnahmevorrichtung gemäß Anspruch 1, wobei die Repräsentivbildauswahleinheit konfiguriert ist, um das Repräsentativbild automatisch auszuwählen.
Bewegtbildaufnahmevorrichtung gemäß Anspruch 2, wobei die Repräsentivbildauswahleinheit konfiguriert ist, ein Bild, das sicherlich einmal in diesem Zyklus erscheint, als das Repräsentativbild auszuwählen.
Bewegtbildaufnahmevorrichtung gemäß Anspruch 1, wobei Repräsentivbildauswahleinheit konfiguriert ist, einen Anwender dazu zu bringen, das Repräsentativbild auszuwählen.
Bewegtbildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, weiterhin umfassend eine Zykluseinstelleinheit (33) zum rückwärts und vorwärts Einstellen einer Position des Zyklus, bevor das Eingangs-Bewegtbild in Bezug auf jeden Zyklus durch die Zyklus-Extraktionseinheit (32) unterteilt wird.
Bewegtbildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, weiterhin umfassend eine Phasenjustiereinheit zum Kalkulieren einer Differenz durch Verschieben des Einzelbildes der unterteilten Bewegtbilder als ein Ziel, wenn die Phase der geteilten Bewegtbilder nicht bekannt sind, und bezüglich einer Position, die einen höchsten Schätzwert aufweist, als einer Position mit einer ausgerichteten Phase.
Bewegtbildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, weiter umfassend eine Charakteristikbetrags-Berechnungseinheit (34) zum Berechnen eines Charakteristikbetrags jedes Einzelbildes oder jeder Einzelbildgruppe aus dem durch die Bilderhaltungseinheit erhaltenen Eingangs-Bewegtbild, basierend auf dem Repräsentativbild, und eine Bewegtbildwellenform-Erzeugungseinheit (35) zum Erzeugen einer Bewegtbildwellenform, basierend auf dem durch die Charakteristikbetrag-Berechnungseinheit (34) berechneten Charakteristikbetrag, wobei die Standard-Timing-Auswahleinheit 31 das Standard-Timing auswählt, basierend auf der Bewegtbildwellenform.
Bewegtbildaufnahmevorrichtung gemäß Anspruch 7, wobei die Standard-Timing-Auswahleinheit 31 eine Zeit, wenn die Bildwellenform einen vorgegebenen Schwellenwert übersteigt, als des Standard-Timing betrachtet.
Bewegtbildaufnahmevorrichtung gemäß Anspruch 7, wobei die Standard-Timing-Auswahleinheit 33 eine Zeit, wenn der charakteristische Betrag der Bewegtbildwellenform in einer vorgegebenen Periode einen Maximalbetrag oder einen Minimalbetrag erreicht, als das Standard-Timing ansieht.
Bewegtbildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, weiter umfassend eine Auslöserausgabeeinheit zum Ausgeben eines Triggersignals zu einem Zeitpunkt entsprechend dem Standard-Timing.
Bewegtbildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, weiter umfassend eine Abnormalitätgrad-Analyseeinheit zum Bestimmen eines Abnormalitätsgrades durch Vergleichen eines zuvor bestimmten Standard-Bewegungsmusters für den einen Zyklus, das eine Standardbewegung des Objekts repräsentiert, mit dem Eingabe-Bewegtbild in jedem Zyklus, eine primäre Speichereinheit (53) zum Speichern der durch die Bilderhaltungseinheit erhaltenen Bewegtbilddaten in Bezug auf jeden Zyklus; und eine Speicherbild-Extraktionseinheit (36) zum Spezifizieren des Bewegtbilds in dem Zyklus, der einen hohen Abnormalitätsgrad aufweist, bestimmt durch die Abnormalitätsgrad-Analyseeinheit (38), das in der primären Speichereinheit (53) zu speichern ist.
Bewegtbildaufnahmevorrichtung gemäß Anspruch 11, weiterhin umfassend eine sekundäre Speichereinheit (56) mit großer Speicherkapazität und niedriger Schreibgeschwindigkeit im Vergleich zur primären Speichereinheit (53), in welcher, neben den in Bezug auf jeden Zyklus in der primären Speichereinheit (53) gespeicherten Bilddaten, das Bewegtbild in dem Zyklus, der, aufgrund des hohen Abnormalitätsgrads durch die gespeicherte Bildextraktionseinheit (36) als in der sekundären Speichereinheit (56) zurückzulassen bestimmt ist, in der sekundären Speichereinheit 56 gespeichert werden kann.
Bewegtbildaufnahmevorrichtung gemäß Anspruch 11, wobei die Charakteristikbetrag-Berechnungseinheit (34) aus der Abnormalitätsgrad-Analyseeinheit (38) besteht, und der Abnormalitätsgrad als der charakteristische Betrag verwendet wird.
Bewegtbildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, weiterhin umfassend eine Anzeigeeinheit (52) zum Anzeigen des Eingangs-Bewegtbildes, wobei die Anzeigeeinheit (52) beinhaltet: einen Bildanzeigebereich (41) zum Anzeigen des Bewegtbildes, und einen Wellenform-Anzeigebereich (42) zum Anzeigen der durch die Bewegtbildwellenform-Erzeugungseinheit (35) erzeugten Bewegtbildwellenform, und wenn eine beliebige Position der Bewegtbildwellenform in dem Wellenformanzeigebereich (42) ausgewählt wird, des der ausgewählten Bewegtbildwellenform entsprechende Bewegtbild im Bildanzeigebereich (41) angezeigt wird.
Bewegtbildaufnahmevorrichtung gemäß Anspruch 14, wobei das Standard-Timing durch die Standard-Timing-Auswahleinheit (31) unter der Bedingung verändert werden kann, dass die den Charakteristikbetrag anzeigende Bewegtbildwellenform in dem Wellenform-Anzeigebereich (42) angezeigt wird, und wenn das Standard-Timing verändert wird, die im Wellenformanzeigebereich (42) angezeigte Bewegtbildwellenform entsprechend aktualisiert wird.
Bewegtbildaufnahmevorrichtung gemäß Anspruch 14, wobei des Repräsentativbild unter der Bedingung geändert werden kann, dass die den Charakteristikbetrag zeigende Bewegtbildwellenform im Wellenformanzeigebereich (42) angezeigt wird, und wenn das Repräsentativbild geändert wird, die im Wellenformanzeigebereich (42) angezeigte Bewegtbildwellenform entsprechend aktualisiert wird.
Bewegtbildaufnahmevorrichtung gemäß einem der vorstehenden Ansprüche, wobei die Bilderhaltungseinheit eine Aufnahmeeinheit (10) ist, die zum Aufnehmen des Eingangs-Bewegtbilds des Objektes bei einem Aufnahmezyklus von nicht mehr als 1/25 Sekunden in der Lage ist.
Verfahren zum Beobachten eines Bewegtbildes eines oder mehrerer Objekte als ein Aufnahmeziel, umfassend die Schritte: Erhalten eines aus einer Mehrzahl von, eine Szene des eine periodischen Bewegung durchführenden Objekts enthaltenden Einzelbildern bestehenden Eingangs-Bewegtbildes, Berechnen eines Charakteristikbetrags jedes Einzelbildes oder jeder Einzelbildgruppe aus dem erhaltenen Eingangs-Bewegtbild durch eine Charakteristikbetrag-Berechnungseinheit (34), Erzeugen einer Bewegtbildwellenform, basierend auf dem berechneten Charakteristikbetrag, Erhalten eines Standard-Timings zum Bestimmen eines Zyklus der Bewegtbildwellenform durch eine Standard-Timing-Auswahleinheit (31), basierend auf der Bewegtbildwellenform, und Unterteilen des Eingangs-Bewegtbildes in Bezug auf jeden Zyklus, basierend auf dem Standard-Timing.
Bewegtbild-Beobachtungsprogramm zum Beobachten eines Bewegtbildes eines oder mehrerer Objekte als ein Aufnahmeziel, wobei das Programm einen Computer veranlasst, die Funktionen zu implementieren: Erhalten eines aus einer Mehrzahl von, eine Szene des eine periodische Bewegung durchführenden Objektes enthaltenden Einzelbilder zusammengesetzten Eingangs-Bewegtbildes, Berechnen eines Charakteristikbetrags jedes Einzelbildes oder jeder Einzelbildgruppe aus dem erhaltenen Eingangs-Bewegtbild, Erzeugen einer Bewegtbildwellenform, basierend auf dem berechneten Charakteristikbetrag, Auswählen eines Standard-Timings zum Bestimmen eines Zyklus der Bewegtbildwellenform durch Vergleichen der Bewegtbildwellenform mit einem vorbestimmten Schwellenwert, und Unterteilen des Eingangs-Bewegtbildes in Bezug auf jeden Zyklus, basierend auf dem ausgewählten Standard-Timing.
Computerlesbares Aufzeichnungsmedium zum Speichern des Programms gemäß Anspruch 20.