DE102009029391B4

DE102009029391B4 - Bildverarbeitungsgerät und Bildverarbeitungsverfahren

Info

Publication number: DE102009029391B4
Application number: DE102009029391.4A
Authority: DE
Inventors: Yutaka Kato; Yutaka Kiuchi
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 2008-09-25
Filing date: 2009-09-11
Publication date: 2019-11-14
Anticipated expiration: 2029-09-12
Also published as: JP5181970B2; JP2010079552A; US8698831B2; US20100073395A1; DE102009029391A1

Abstract

Bildverarbeitungsgerät, das mit einer Bildgebungseinheit (8) und einer Anzeigeeinheit (102) verbunden ist, wobei die Bildgebungseinheit (8) ein Bildgebungselement umfasst, das in eine Vielzahl von Pixel unterteilt ist und eine veränderbaren Belichtungsbedingung aufweist, wobei die Bildverarbeitungseinheit aufweist:
eine Erlangungseinheit (200) zum Erlangen einer Vielzahl von Bilddaten zur Erzeugung eines synthetischen Bildes welches in einem Tonbereich ausgedrückt wird der größer als ein Anzeigevermögen der Anzeigeeinheit (102) ist durch Bewirken, dass die Bildgebungseinheit (8) einen Fotografierbereich mehrfach unter unterschiedlichen Belichtungsbedingungen fotografiert;
eine Berechnungseinheit (210) zum Berechnen einer Luminanzverteilung entsprechend einer Verteilung einer Lichtenergie, die in das Bildgebungselement eintritt, basierend auf der Vielzahl der Bilddaten und der Belichtungsbedingung entsprechend der einzelnen Bilddaten;
eine Umwandlungseinheit (214) zum Umwandeln der Luminanzverteilung in eine Verteilung eines Tonwerts in einem numerischen Vorgabebereich, der an der Anzeigeeinheit (102) angezeigt wird, wobei die Umwandlungseinheit (214) dazu eingerichtet ist, die Umwandlung durch Zuordnen eines Luminanzwerts innerhalb eines ersten Luminanzbereichs entsprechend dem Tonwert in dem Tonbereich der Anzeigeeinheit (102) durchzuführen, wobei der erste Luminanzbereich auf einen Luminanzbereich eingestellt wird, der in der Luminanzverteilung ausgedrückt werden soll;
eine Einstelleinheit (430) zum Annehmen eines zweiten Luminanzbereichs, in dem die Aktualisierung des ersten Luminanzbereichs zugelassen wird, in der Luminanzverteilung; und
eine Aktualisierungseinheit (105) zum Aktualisieren einer Position des ersten Luminanzbereichs in dem zweiten Luminanzbereich basierend auf einer Änderung der Fotografierumgebung und zum Bestimmen der Änderung der Fotografierumgebung basierend auf der Lichtenergie, die in das Bildgebungselement eintritt.

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf ein Bildverarbeitungsgerät und ein Bildverarbeitungsverfahren zum Erzeugen von synthetischen bzw. zusammengesetzten Bilddaten mit vergrößerten dynamischen Bereichen durch Verwendung einer Vielzahl von Bilddaten, die durch mehrfaches Fotografieren eines Fotografierbereichs unter unterschiedlichen Belichtungsbedingungen erhalten werden.
Stand der Technik
Auf dem Gebiet der FA (FA = engl. „Factory Automation“; Automatisierungstechnik) und dergleichen wird ein sogenannter visueller bzw. optischer Sensor zur praktischen Anwendung als ein Gerät zum optischen Untersuchen bzw. Überprüfen von Defekten und dergleichen, die in dem Messstück bzw. Messgegenstand, solch eines wie ein Arbeitsstück bzw. Werkstück, erzeugt werden, und zum optischen Messen der Größe der Defekte und dergleichen verwendet.
Wenn Untersuchungen bzw. Versuche und Messungen unter Verwendung solch eines optischen Sensors durchgeführt werden, ist es notwendig, das Messstück geeignet zu fotografieren. Der dynamische Bereich (Tonbereich bzw. Helligkeitsbereich, in dem Licht erfasst werden kann) des Bildgebungselements bzw. des Bilderfassungselements, solch eines wie ein CCD (CCD = engl. „Coupled Charged Device“; ladungsgekoppeltes Gerät) und ein CIS (CIS = engl. „Complementary Metal Oxide Semiconductor Image Sensor“; Komplementärmetaloxidhalbleiterbildsensor), ist im Allgemeinen endlich bzw. begrenzt. Daher wird eine Lichthofbildung (engl. „whiteout, halation“) vollständig oder teilweise erzeugt, wenn die Belichtungszeit zur Zeit der Durchführung der Fotografie lang wird, wobei die Luminanz und die Farbinformationen des Messgegenstands nicht hinreichend erlangt werden können. Wenn die Belichtungszeit zu der Zeit der Durchführung der Fotografie kurz wird, tritt eine totale Unterbelichtung vollständig oder teilweise auf, wobei eine effektive Luminanz nicht erlangt werden kann. Darüber hinaus treten in dem Messgegenstand, der Abschnitte aufweist, bei denen sich das Reflexionsvermögen lokal unterscheidet, und dem Messgegenstand, der Abschnitte mit großer Krümmung aufweist, teilweise eine Lichthofbildung (engl. whiteout) und eine totale Unterbelichtung unter dem Einfluss der Ausleuchtung bzw. Beleuchtung und dergleichen auf.
Daher kann der gesamte Messgegenstand nicht geeignet fotografiert werden, wenn die Differenz zwischen dem Minimalwert und dem Maximalwert der Lichtleistung (Lichtenergie, die pro Zeiteinheit eintritt), die von dem gleichen Messgegenstand abgestrahlt wird, den dynamischen Bereich bzw. der Dynamikumfang des Bildgebungselements überschreitet.
Eine Technik zum Vergrößern des dynamischen Bereichs bzw. des Dynamikumfangs durch mehrfaches Fotografieren des gleichen Messgegenstands unter unschiedlichen Belichtungsbedingungen und zum Synthetisieren bzw. Zusammensetzen einer Vielzahl von daraus erhaltenen Bilddaten ist bekannt. Solch ein Prozess bzw. Verfahren wird ebenso als ein hoch dynamischer Synthetisierungsprozess oder Super-Belichtungsspielraumprozess (SL process = super latitude process) bezeichnet. Zum Beispiel offenbart die japanische Offenlegungsschrift Nr. 2002-334326 einen optischen Sensor, der eine Vergrößerung des dynamischen Bereichs mit geringer Berechnungsverarbeitungsbelastung erfasst.
Das Sonnenlicht wird oft als Teil der Beleuchtung in einer Fabrik mit erhöhtem Bewusstsein im Hinblick auf Umweltprobleme, solche wie eine Verringerung von Kohlendioxid, hereingelassen. Zum Beispiel kann ein Dachfenster bzw. eine Dachluke an dem Dach der Fabrik angeordnet sein, so dass das Sonnenlicht in die Fabrik von dem Dachfenster hereingelassen werden kann.
Das Hereinlassen von Sonnenlicht sollte von dem Standpunkt der Energieersparnis empfohlen werden, kann aber zu einem Störfaktor für den optischen Sensor werden. Mit anderen Worten fluktuiert bzw. schwankt die Helligkeit des Sonnenlichts erheblich in Abhängigkeit der Zeitzone (Tag und Nacht), Jahreszeit und dergleichen. Wenn derartiges Sonnenlicht auf den Messgegenstand emittiert wird, ändert sich die abgestrahlte Lichtleistung für den optischen Sensor zeitweise.
Im Allgemeinen werden angemessene Fotografierbedingungen, Beurteilungsbedingungen und dergleichen unter einer bestimmten Fotografierumgebung bei solch einem optischen Sensor eingestellt, aber die festgelegten Werte davon werden unangemessen, wenn sich die Fotografierumgebung von dem Zeitpunkt der Einstellung an ändert.
Wenn sich die Fotografierumgebung ändert, können die synthetischen Bilddaten, die effektive Bildinformationen umfassen, nicht von dem Messgegenstand erzeugt werden.
Weiterer Stand der Technik ist in den Dokumenten US 2003 / 0 095 192 A1 und US 7 359 573 B2 angegeben.
Überblick über die Erfindung
Die vorliegende Erfindung wurde gemacht, um die vorstehend beschriebenen Probleme zu lösen, wobei es eine Aufgabe der Erfindung ist, ein Bildverarbeitungsgerät und ein Bildverarbeitungsverfahren zur Verfügung zu stellen, die dazu im Stande sind, synthetische Bilddaten, die effektive Bildinformationen umfassen, zu erzeugen, ohne durch die Variation bzw. Veränderung der Fotografierumgebung beeinflusst zu werden.
Gemäß einem Aspekt wird ein Bildverarbeitungsgerät zur Verfügung gestellt, das mit einer Bildgebungseinheit bzw. Bilderfassungseinheit und einer Anzeigeeinheit verbunden ist. Die Bildgebungseinheit umfasst ein Bildgebungselement, das in eine Vielzahl von Pixeln unterteilt ist und einen veränderbaren Belichtungszustand bzw. eine veränderbare Belichtungsbedingung aufweist. Die Bildverarbeitungseinheit umfasst: eine Erlangungseinheit zum Erlangen einer Vielzahl von Bilddaten durch Bewirken, dass die Bildgebungseinheit mehrfach einen Fotografierbereich unter unterschiedlichen Belichtungsbedingungen fotografiert; eine Berechnungseinheit zum Berechnen einer Luminanzverteilung entsprechend einer Verteilung von einer Lichtenergie, die in das Bildgebungselement eintritt, basierend auf der Vielzahl von Bilddaten und der Belichtungsbedingung entsprechend jedem der Bilddaten; eine Umwandlungseinheit zum Umwandeln der Luminanzverteilung in eine Verteilung eines Tonwerts bzw. einer Helligkeit in einem vorgegebenen numerischen Bereich, der an der Anzeigeeinheit angezeigt wird; und eine Aktualisierungseinheit zum Aktualisieren eines ersten Bereichs entsprechend der Übereinstimmungsbeziehung basierend auf der Lichtenergie, die in das Bildgebungselement eintritt, wobei die Aktualisierungseinheit eine Einheit zum Annehmen eines zweiten Bereichs, der ein Bereich ist, in dem die Aktualisierung des ersten Bereichs zugelassen wird, aufweist. Die Umwandlungseinheit führt die Umwandlung durch Verknüpfen bzw. Zuordnen eines Luminanzwerts innerhalb des ersten Bereichs entsprechend dem Tonwert aus.
Vorzugsweise umfasst die Aktualisierungseinheit weiterhin eine Einheit zum Annehmen eines zweiten Bereichs, der ein Bereich ist, in dem die Aktualisierung des ersten Bereichs zugelassen wird.
Vorzugsweise umfasst das Bildverarbeitungsgerät weiterhin: eine Darstellungseinheit zum Bewirken, dass die Anzeigeeinheit die Luminanzverteilung anzeigt, wobei die Aktualisierungseinheit simultan bzw. zeitgleich den eingestellten zweiten Bereich mit der Luminanzverteilung anzeigt. Weiterhin umfasst die Aktualisierungseinheit vorzugsweise ferner eine Einheit zum Annehmen einer Bereichseinstellung bezüglich der Bilddaten, die durch die Bildgebungseinheit aufgenommen werden, und eine Einheit zum Verlagern einer Position unter Aufrechterhaltung einer Breite des ersten Bereichs basierend auf der Luminanz eines Pixels, für welches die Bereichseinstellung durchgeführt wurde.
Ferner umfasst die Aktualisierungseinheit vorzugsweise weiterhin eine Einheit zum Ausführen eines Fehlerprozesses, wenn ein Teil des ersten Bereichs auf außerhalb des zweiten Bereichs liegend aktualisiert wird.
Darüber hinaus umfasst die Aktualisierungseinheit vorzugsweise weiterhin eine Einheit zum Anzeigen eines zeitlichen Änderungsverlaufs des ersten Bereichs an der Anzeigeeinheit.
Darüber hinaus umfasst die Aktualisierungseinheit vorzugsweise weiterhin eine Einheit zum Einstellen des zweiten Bereichs basierend auf dem zeitlichen Änderungsverlauf des ersten Bereichs.
Vorzugsweise umfasst die Aktualisierungselnheit weiterhin eine Einheit zum Annehmen eines Anfangswerts des ersten Bereichs, wobei ein einstellbarer Bereich des Anfangswerts des ersten Bereichs auf innerhalb des zweiten Bereichs liegend begrenzt ist.
Vorzugsweise umfasst das Bildverarbeitungsgerät weiterhin eine Erzeugungseinheit zum Erzeugen von synthetischen Bilddaten basierend auf Farbinformationen, die in der Vielzahl von Bilddaten enthalten sind, und dem Tonwert bzw. der Farbhelligkeit des entsprechenden Pixels.
Vorzugsweise berechnet die Berechnungseinheit die Luminanzwertverteilung entsprechend der Verteilung der Lichtenergie, die in das Bildgebungselement eintritt, durch Berechnen eines Luminanzwerts, der der Lichtenergie entspricht, die in das Bildgebungselement eintritt, und der basierend auf der Vielzahl von Bilddaten und der Belichtungsbedingung entsprechend jeder der Bilddaten erhalten wird, wobei der Luminanzwert eine konstante oder größere Luminanzauflösung innerhalb eines effektiven dynamischen Bereichs aufweist. Der erste Bereich ist ein Bereich, der kleiner als der effektive dynamische Bereich ist, wobei die Aktualisierungseinheit den ersten Bereich entsprechend dem Tonwert in der Umwandlungseinheit auf einen Luminanzwert des ersten Bereichs nach der Aktualisierung, der ein Bereich ist, der von dem effektiven dynamischen Bereich umfasst wird und zusätzlich kleiner als der effektive dynamische Bereich ist und der von dem ersten Bereich unterschiedlich ist, gemäß einer Variation der Lichtenergie, die das Bildgebungselement eintritt, aktualisiert.
Vorzugsweise umfasst das Bildverarbeitungsgerät weiterhin eine Anzeigeeinheit zum Anzeigen der vorgegebenen Bereichstonwertverteilung. Weiterhin umfasst das Bildverarbeitungsgerät vorzugsweise ferner: eine Einheit zum Annehmen einer Bereichseinstellung bezüglich der Bilddaten, die durch die Bildgebungseinheit aufgenommen werden, wobei die Aktualisierungseinheit den ersten Bereich auf den ersten Bereich nach der Aktualisierung aktualisiert, so dass eine Tonwertverteilung in der Bereichseinstellung, die durch die Umwandlung mittels der Umwandlungseinheit nach der Aktualisierung erhalten wird, im Wesentlichen die gleiche wie die Tonwertverteilung vor der Aktualisierung ist.
Ferner führt die Aktualisierungseinheit vorzugsweise eine Aktualisierung des ersten Bereichs nach der Aktualisierung aus, der eine Breite eines dynamischen Bereichs gleich einer Breite des dynamischen Bereichs des ersten Bereichs aufweist.
Vorzugsweise umfasst die Aktualisierungseinheit eine Einheit zum Annehmen des zweiten Bereichs. Des Weiteren umfasst das Bildverarbeitungsgerät vorzugsweise weiterhin eine Anzeigeeinheit zum simultanen bzw. zeitgleichen Anzeigen des Luminanzwerts des zweiten Bereichs mit dem Luminanzwert des effektiven dynamischen Bereichs.
Vorzugsweise umfasst die Aktualisierungseinheit weiterhin eine Einheit zum Ausführen eines Fehlerprozesses, wenn ein Teil des ersten Bereichs nach der Aktualisierung auf außerhalb des effektiven dynamischen Bereichs liegend aktualisiert ist.
Vorzugsweise umfasst die Aktualisierungseinheit weiterhin eine Einheit zum Annehmen eines Anfangswerts des ersten Bereichs, wobei ein einstellbarer Bereich des Anfangswerts des ersten Bereichs auf innerhalb des effektiven dynamischen Bereichs liegend begrenzt ist.
Gemäß einem anderen Aspekt wird ein Bildverarbeitungsverfahren in einem Gerät, das mit einer Bildgebungseinheit und einer Anzeigeeinheit verbunden ist, zur Verfügung gestellt. Die Bildgebungseinheit umfasst ein Bildgebungselement, das in eine Vielzahl von Pixel unterteilt ist. Das Verfahren umfasst die folgenden Schritte: Zulassen eines ersten Bereichs über eine Luminanz; Zulassen eines zweiten Bereichs, der den ersten Bereich umfasst; Erlangen einer Vielzahl von Bilddaten durch Bewirken, dass die Bildgebungseinheit mehrfach einen Fotografierbereich unter unterschiedlichen Belichtungsbedingungen fotografiert; Berechnen einer Luminanzverteilung entsprechend einer Verteilung der Lichtenergie, die in das Bildgebungselement eintritt, basierend auf der Vielzahl von Bilddaten; Aktualisieren des ersten Bereichs basierend auf der Lichtenergie, die in das Bildgebungselement eintritt, entsprechend einer Übereinstimmungsbeziehung der Luminanz in dem ersten Bereich und einem effektiven Tonwert; und Umwandeln der Luminanzverteilung in einen Tonwert, der an der Anzeigeeinheit angezeigt wird, entsprechend der Übereinstimmungsbeziehung nach der Aktualisierung.
Gemäß einem Aspekt der vorliegenden Erfindung können die synthetischen Bilddaten, die effektive Bildinformationen umfassen, erzeugt werden, ohne dem Einfluss der Veränderung der Fotografierumgebung ausgesetzt zu werden.
Figurenliste

1 ist eine schematische Ansicht, die einen Gesamtaufbau eines optischen Sensorsystems umfassend ein Bildverarbeitungsgerät gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
2 ist eine schematische Ansicht, die ein Beispiel eines Anordnungszustands des optischen Sensorsystems umfassend das Bildverarbeitungsgerät gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
3 ist eine schematische Aufbauansicht, die einen Hardware-Aufbau eines Computers gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
4a bis 4c sind Darstellungen, die Eingangsbilddaten zeigen, wenn die rückseitige Fläche einer Uhr als ein Arbeitsstück bzw. Werkstück fotografiert wird;
5 ist eine Funktionsblockdarstellung, die einen Gesamtsteuerungsaufbau des Bildverarbeitungsgeräts gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
6 ist eine Darstellung, die ein Beispiel einer Beziehung einer Belichtungszeit, die in der Bildgebungseinheit eingestellt ist, und den „Helligkeitsbereich“, der für die Durchführung der Fotografie geeignet ist, zeigt;
7a und 7b sind Darstellungen, die ein Beispiel der Eigenschaften einer Gewichtsfunktion und einer Antwortfunktion zeigen;
8a und 8b sind Darstellungen, die einen Zuweisungsprozess durch die Tone-Mapping-Einheit beschreiben;
9a und 9b sind Darstellungen, die ein Beispiel einer Verringerung einer Bildqualität der synthetischen Bilddaten durch Veränderung der Fotografierumgebung zeigen;
10a und 10b sind Darstellungen, die ein Beispiel eines Histogramms entsprechend den synthetischen Bilddaten, die in den 9a und 9b gezeigt sind, zeigen;
11a und 11b sind Darstellungen, die ein Beispiel der Wirkung des Helligkeitsfolgeprozesses gemäß dem Ausführungsbeispiel der Erfindung zeigen;
12 ist eine Funktionsblockdarstellung, die einen noch detaillierteren Steuerungsaufbau der Folgeeinheit 230, die 5 gezeigt ist, zeigt;
13 ist eine Darstellung, die den Betrieb des Steuerungsaufbaus in dem „Betriebsmodus“ des Bildverarbeitungsgeräts gemäß dem Ausführungsbeispiel der vorliegenden Erfindung beschreibt;
14 ist eine Darstellung, die ein Bildschirmanzeigebeispiel (I) in dem „Einstellungsmodus“, der an dem Bildschirm bzw. Monitor des Bildverarbeitungsgeräts gemäß dem Ausführungsbeispiel der vorliegenden Erfindung angezeigt wird, zeigt;
15 ist eine Darstellung, die ein Bildschirmanzeigebeispiel (II) in dem „Einstellungsmodus“, der an dem Monitor des Bildverarbeitungsgeräts gemäß dem Ausführungsbeispiel der vorliegenden Erfindung angezeigt wird, zeigt;
16 ist eine Darstellung, die ein Bildschirmanzeigebeispiel (III) in dem „Einstellungsmodus“, der an dem Monitor des Bildverarbeitungsgeräts gemäß dem Ausführungsbeispiel der vorliegenden Erfindung angezeigt wird, zeigt;
17 ist eine Darstellung, die ein Bildschirmanzeigebeispiel (IV) in dem „Einstellungsmodus“, der an dem Monitor des Bildverarbeitungsgeräts gemäß dem Ausführungsbeispiel der vorliegenden Erfindung angezeigt wird, zeigt;
18 ist eine Darstellung, die ein Bildschirmanzeigebeispiel (V) in dem „Einstellungsmodus“, der an dem Monitor des Bildverarbeitungsgeräts gemäß dem Ausführungsbeispiel der vorliegenden Erfindung angezeigt ist, zeigt;
19 ist eine Darstellung, die ein Beispiel eines zeitlichen Änderungsverlaufs des oberen und unteren Helligkeitsgrenzbereichs, der in dem Überwachungsabschnitt, der in 12 gezeigt ist, gespeichert ist, zeigt;
20 ist ein Flussdiagramm, das einen Gesamtprozess in dem Bildverarbeitungsgerät gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
21 ist ein Flussdiagramm, das einen Prozess in der Bildsynthetisierungsprozesssubroutine (Betriebsmodus), die in 20 gezeigt ist, zeigt;
22 ist ein Flussdiagramm, das den Prozess in der Überwachungsprozesssubroutine, die in 21 gezeigt ist, zeigt;
23 ist ein Flussdiagramm, das einen Prozess in dem „Einstellungsmodus“ in dem Bildverarbeitungsgerät gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt;
24 ist ein Flussdiagramm, das einen Prozess in der Bildsynthetisierungsprozesssubroutine (Einstellungsmodus), die in 23 gezeigt ist, zeigt; und
25 ist eine Funktionsblockdarstellung, die einen noch detaillierteren Steuerungsaufbau der Folgeeinheit gemäß einer ersten Abwandlung des Ausführungsbeispiels der vorliegenden Erfindung zeigt.

Ausführliche Beschreibung
Nachstehend werden die bevorzugten Ausführungsbeispiele der vorliegenden Erfindung unter Bezugnahme auf die Zeichnungen beschrieben. Die gleichen Bezugszeichen werden für gleiche oder entsprechende Abschnitte in den Fig. vergeben und die diesbezügliche Beschreibung wird nicht wiederholt.
<Aufbau der gesamten Vorrichtung>
1 ist eine schematische Ansicht, die einen Gesamtaufbau eines optischen Sensorsystems 1 umfassend ein Bildverarbeitungsgerät gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt. 2 ist eine schematische Ansicht, die ein Beispiel eines Anordnungszustands des optischen Sensorsystems 1 umfassend das Bildverarbeitungsgerät gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
Unter Bezugsnahme auf 1 ist das optische Sensorsystem 1 typischerweise in eine Fertigungslinie bzw. Fertigungsstrasse und dergleichen aufgenommen, um Defekte und dergleichen bei einem Messstück bzw. Messgegenstand (nachstehend als „Werkstück bzw. Arbeitsstück“ bezeichnet) optisch zu untersuchen bzw. überprüfen und um die Größe davon optisch zu messen. Als Beispiel wird bei dem Ausführungsbeispiel der vorliegenden Erfindung ein Arbeitsstück 2 durch einen Fördermechanismus 6, solch einem wie ein Bandförderer, gefördert, wobei das geförderte Arbeitsstück 2 sequentiell bzw. fortlaufend durch eine Bildgebungseinheit bzw. Bilderfassungseinheit 8 fotografiert wird. Die Bilddaten (hierin nachstehend als „Eingabebilddaten bzw. Eingangsbilddaten“ bezeichnet), die erhalten werden, wenn die Bildgebungseinheit 8 den Fotografierbereich fotografiert, werden an einen Computer 100 übermittelt, welcher ein typisches Beispiel dafür ist, wie das Bildverarbeitungsgerät gemäß der vorliegenden Erfindung verwirklicht wird. Bei Bei dem Ausführungsbeispiel wird ein Prozess der Bearbeitung von Farbeingangsbilddaten hauptsächlich beschrieben.
Wenn das Arbeitsstück 2 den Fotografierbereich der Bildgebungseinheit 8 erreicht, wird dies durch fotoelektrische Sensoren, die an beiden Enden des Fördermechanismus 6 angeordnet sind, erfasst. Im speziellen umfasst jeder fotoelektrische Sensor einen Lichtempfangsabschnitt 4a und einen Lichtabstrahlabschnitt 4b, der an der gleichen optischen Achse angeordnet ist, bei der der Lichtempfangsabschnitt 4a erfasst, dass das Licht, das von dem Lichtabstrahlabschnitt 4b abgestrahlt wird, durch das Arbeitsstück 2 abgeschirmt wird, um dadurch das Eintreffen des Arbeitsstücks 2 zu erfassen. Die Steuerung des Fördermechanismus 6 wird durch einen PLC (PLC = engl. „Programmable Logic Controller“; speicherprogrammierbare Steuereinrichtung bzw. speicherprogrammierbarer Controller) und dergleichen (nicht gezeigt) gesteuert.
Unter Bezugnahme auf 2 ist das optische Sensorsystem 1 gemäß dem vorliegenden Ausführungsbeispiel in einer Fertigungshalle bzw. Fabrikhalle FAC angeordnet. Ein Dachfenster 20 ist an dem Dach der Fabrikhalle FAC angeordnet. Das Sonnenlicht wird in die Fabrik, die das Arbeitsstück 2 umfasst, durch das Dachfenster 20 hereingelassen. Eine zugeordnete Beleuchtung 22 zum Bestrahlen des Arbeitsstücks 2, das mit der Bildgebungseinheit 8 fotografiert wird, mit Licht ist ebenso angeordnet. Eine Innenraumbeleuchtung (nicht gezeigt), solch eine wie eine fluoreszierende Lampe und eine Quecksilberlampe, ist ebenso in der Fabrikhalle FAC angeordnet.
Deshalb erfasst die Bildgebungseinheit 8 Licht (reflektiertes Licht), das durch das Arbeitsstück 2 abgestrahlt wird, bei Empfang des Beleuchtungslichts der zugeordneten Beleuchtung 22 und der Innenraumbeleuchtung sowie des Sonnenlichts als ein Bild.
Erneut Bezug nehmend auf 1 beginnt die Bildgebungseinheit 8 das Arbeitsstück 2 zu fotografieren, wenn das Eintreffen des Arbeitsstücks 2 durch die fotoelektrischen Sensoren erfasst wird. Alternativ kann das Fotografieren sukzessiv ausgeführt werden, wobei die Untersuchungen und Messungen des Arbeitsstücks 2, welche später beschrieben werden, zu einer Zeit begonnen werden können, wenn das Eintreffen des Arbeitsstücks 2 erfasst wird.
Beispielsweise ist die Bildgebungseinheit 8 derart ausgestaltet, dass sie ein Bildgebungselement, das in eine Vielzahl von Pixel unterteilt ist, solch eines wie ein CCD (CCD = engl. „Coupled Charged Device“; ladungsgekoppeltes Gerät) und einen CIS-Sensor (CIS = engl. „Complementary Metal Oxide Semiconductor Image Sensor“; Komplementärmetalloxidhalbleiterbildsensor) zusätzlich zu einem optischen System, solch eines wie eine Linse, umfasst. Das Bildgebungselement hat hinsichtlich jedes Pixels eine oder eine Vielzahl von spektralen Empfindlichkeiten im Hinblick auf das einfallende Licht.
Insbesondere hat das Bildgebungselement der Bildgebungseinheit 8 zum Beispiel eine spektrale Empfindlichkeit für jedes Element aus „Rot“, „Grün“ und „Blau“, basierend auf den drei Primärfarben des Lichts in Bezug auf jeden Pixel. Das Bildgebungselement der Bildgebungseinheit 8 gibt Erfassungswerte (R-Luminanz, G-Luminanz, B-Luminanz) der drei Farben „Rot“, „Grün“ und „Blau“ für jedes einfallende Licht aus. Die R-Luminanz gibt die Größe der Lichtenergie (Lichtintensität) entsprechend der Wellenlängenkomponente, die in der roten Spektralempfindlichkeit des Lichts enthalten ist, das in das Bildgebungselement eintritt, an. Die G-Luminanz und die B-Luminanz geben jeweils die Größe der Lichtenergie entsprechend der jeweiligen Wellenlängenkomponente, die in der entsprechenden Spektralempfindlichkeit enthalten ist, an. In dem vorliegenden Ausführungsbeispiel wird davon ausgegangen, dass die R-Luminanz, die G-Luminanz und die B-Luminanz in dem Bereich von acht Bits (0 bis 255 Farbtöne) definiert sind.
Die spektrale Empfindlichkeit des Bildgebungselements ist nicht auf drei (drei Bänder) beschränkt und das Bildgebungselement kann spektrale Empfindlichkeiten für mehr Farben aufweisen. Eine bildgebende Farbskala kann weiterhin durch Verwendung des Multiband-Bildgebungselements vergrößert werden. Alternativ können die Erfassungswerte (C-Luminanz, M-Luminanz, Y-Luminanz) der drei Farben „Cyan“, „Magenta“ und „Gelb“, welche Komplementärfarben der drei Primärfarben des Lichts sind, als spektrale Empfindlichkeiten zur Verfügung gestellt werden. Wenn ein einziges CCD und dergleichen verwendet wird, haben Pixel oftmals eine Lichtaufnahmeempfindlichkeit im Hinblick auf lediglich eine der Farben „Rot“, „Grün“ und „Blau“. In solch einem Fall können die Eingangsbilddaten, die eine Luminanz für jede der Farben „Rot“, „Grün“ und „Blau“ aufweisen, durch eine Interpolationseinheit (nicht gezeigt) erzeugt werden.
Insbesondere kann die Bildgebungseinheit 8 gemäß dem vorliegenden Ausführungsbeispiel die Belichtungsbedingung (typischerweise die Belichtungszeit) zu der Zeit der Durchführung der Fotografie ändern. Die Belichtungsbedingung ist ein Wert zum Einstellen der Lichtenergie, die in die Bildgebungseinheit bei einer Bildaufnahme eintritt, und wird typischerweise durch einen Öffnungsbetrag des optischen Systems und die mechanische oder elektronische Blendeneinrichtungsgeschwindigkeit eingestellt. In dem vorliegenden Ausführungsbeispiel ist ein Aufbau zum Einstellen der „Belichtungszeit“ als ein typisches Beispiel für die Belichtungsbedingung veranschaulicht, ist aber nicht auf die Belichtungszeit begrenzt, sondern es kann ebenso der Öffnungsbetrag und dergleichen eingestellt werden.
Der Computer 100 umfasst einen Computeraufbau bzw. ein Computergehäuse 101, an dem ein FD-Laufwerk (FD = engl. „Flexible Disk“; Floppy Disk bzw. Diskette) 111 und ein CD-ROM-Laufwerk (CD-ROM = engl. „Compact Disk Read Only Memory“; ) 113 angebracht sind, einen Monitor bzw. Bildschirm 102, eine Tastatur 103 und eine Maus 104. Der Computeraufbau 101 führt ein Programm, das im Voraus gespeichert ist, zum Verwirklichen des Bildverarbeitungsgeräts gemäß dem vorliegenden Ausführungsbeispiel aus.
<Hardware-Aufbau>
3 ist eine schematische Aufbauansicht, die einen Hardware-Aufbau des Computers 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
Unter Bezugnahme auf 3 umfasst der Computeraufbau 101 zusätzlich zu dem FD-Laufwerk 111 und dem CD-ROM-Laufwerk 113, die in 1 gezeigt sind, eine CPU (CPU = engl. „Central Processing U-nit“; Prozessor bzw. Hauptprozessor) 105, einen Speicher 106, eine Festplatte 107, eine Kameraschnittstelleneinheit 109, eine PLC-Schnittstelleneinheit 115 und eine Sensorschnittstelleneinheit 117, welche gemeinsam mit einem Bus verbunden sind.
Eine FD 112 ist in das FD-Laufwerk 111 einlegbar und eine CD-ROM 114 ist in das CD-ROM-Laufwerk 113 einlegbar. Wie oben beschrieben ist, wird das Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel verwirklicht, wenn die CPU 105 ein Programm unter Verwendung der Computer-Hardware, solch einer wie den Speicher 106, ausführt. Solch ein Programm ist im Allgemeinen auf einem Aufzeichnungsmedium, solch eines wie die FD 112 und die CD-ROM 114, gespeichert oder über ein Netzwerk und dergleichen verteilt. Solch ein Programm wird von dem Aufzeichnungsmedium durch das FD-Laufwerk 111 oder das CD-ROM-Laufwerk 113 ausgelesen und einmal auf der Festplatte 107, welche ein Speichergerät ist, gespeichert. Das Programm wird dann von der Festplatte 107 in den Speicher 106 gelesen und durch die CPU 105 ausgeführt.
Die CPU 105 ist eine Berechnungsverarbeitungseinheit zum Ausführen verschiedener Arten von Berechnungen durch sequentielles bzw. fortlaufendes Ausführen der programmierten Anweisungen bzw. der Progammanweisungen. Der Speicher 106 speichert zeitweise verschiedene Arten von Informationen gemäß der Ausführung des Programms in der CPU 105.
Die Kameraschnittstelleneinheit 109 ermöglicht eine Datenkommunikation zwischen dem Computeraufbau 101 und der Bildgebungseinheit 108. Insbesondere umfasst die Kameraschnittstelleneinheit 109 einen Bildpuffer und einen Belichtungszeiteinstellungsabschnitt. Der Bildpuffer akkumuliert einmalig die Eingangsbilddaten, die durch die Bildgebungseinheit 8 fotografiert und sequentiell bzw. fortlaufend übermittelt werden, und überträgt die akkumulierten Daten zu dem Speicher 106 oder zu der Festplatte 107, wenn die Eingangsbilddaten für eine Fotografie akkumuliert sind. Der Belichtungszeiteinstellungsabschnitt überträgt eine Anweisung zu der Bildgebungseinheit 8, bevor eine Fotografie durchgeführt wird, gemäß einer internen Anweisung von der CPU 105 und legt die Belichtungszeit in der Bildgebungseinheit 8 fest.
Die PLC-Schnittstelleneinheit 115 ist ein Gerät zum Ermöglichen einer Datenkommunikation zwischen dem Computeraufbau 101 und einer PLC (nicht gezeigt). Die Sensorschnittstelleneinheit 117 empfängt ein Erfassungssignal von den fotoelektrischen Sensoren und dergleichen und überträgt das Signal zu der CPU 105.
Die Festplatte 107 ist ein nicht flüchtiges Speichermedium zum Speichern von Programmen, die durch die CPU 105 ausgeführt werden, von Eingangsbilddaten und dergleichen.
Der Monitor bzw. Bildschirm 102, der mit dem Computeraufbau 101 verbunden ist, ist eine Anzeigeeinheit zum Anzeigen der Informationen, die durch die CPU 105 ausgegeben werden und wird beispielsweise durch eine LCD (LCD = engl. „Liquid Crystal Display“; Flüssigkristallanzeige), eine CRT (CRT = enlg. „Cathode Ray Tube“; Kathodenstrahlröhre) und dergleichen ausgebildet. Wie später beschrieben wird, zeigt der Monitor 102 gemäß dem vorliegenden Ausführungsbeispiel ein synthetisches Bild bzw. Synthetikbild, das durch Fotografieren des Arbeitsstücks 2 erzeugt wird, eine voraussichtliche Verarbeitungszeit, die für einen Synthetisierungsprozess erforderlicht ist, das Histogramm für die „Helligkeit“ der synthetischen Bilddaten und dergleichen an.
Die Maus 104 nimmt eine Anweisung von dem Benutzer entsprechend den Klick-, Gleitbetätigungen und dergleichen an. Die Tastatur 103 nimmt eine Anweisung von dem Benutzer entsprechend der Eingabetaste an.
Der Computer 100 kann ebenso mit anderen Ausgabegeräten, solche wie einen Drucker, falls erforderlich, verbunden sein.
<Betriebsmodus>
Das optische Sensorsystem 1 gemäß dem vorliegenden Ausführungsbeispiel kann einen „Betriebsmodus“, bei dem Untersuchungen bzw. Überprüfungen und Messungen unter Verwendung der synthetischen Bilddaten, die durch das Fotografieren des Arbeitsstücks 2 erzeugt werden, tatsächlich durchgeführt werden, und einen „Einstellungsmodus“, bei dem die Einstellung hinsichtlich des Synthetisierungsprozesses für das Arbeitsstück 2 durchgeführt wird, auswählen.
In dem „Einstellungsmodus“ legt der Benutzer eine geeignete Fotografierbedingung unter Bezugnahme auf das synthetische Bild basierend auf den synthetischen Bilddaten, die an dem Monitor 102 angezeigt werden, fest. In dem „Betriebsmodus“ werden die synthetischen Bilddaten, die durch Fotografieren des Arbeitsstücks 2 erhalten werden, das tatsächlich die Fertigungslinie durchläuft, erzeugt, wobei Untersuchungen und Messungen an den synthetischen Bilddaten durchgeführt werden.
< Bildsynthetisierungsprozess>
Der Bildsynthetisierungsprozess zum Erzeugen der synthetischen Bilddaten wird nun beschrieben. Der Bildsynthetisierungsprozess gemäß dem vorliegenden Ausführungsbeispiel zielt hauptsächlich darauf ab, den dynamischen Bereich bzw. Dynamikumfang bzw. Dynamikbereich der Bildgebungseinheit 8 zu vergrößern.
Die 4a bis 4c sind Darstellungen, die die Eingangsbilddaten zeigen, wenn die rückseitige Oberfläche einer Uhr als ein Arbeitsstück fotografiert wird. 4a zeigt das fotografierte Bild, das durch einmaliges Fotografieren unter einer Bedingung relativ langer Belichtungszeit erhalten wird, wobei 4b das fotografierte Bild zeigt, das durch einmaliges Fotografieren unter einer Bedingung relativ kurzer Belichtungszeit erhalten wird. Bei den 4a und 4b wird von der gleichen Bedingung bzw. dem gleichen Zustand der Intensität des einfallenden Lichts ausgegangen. Das Arbeitsstück, das in 4 gezeigt ist, umfasst einen Uhrenhauptkörper, der aus Metall hergestellt ist, und ein Band, das aus Leder hergestellt ist. Da sich das Reflexionsvermögen des Uhrenhauptkörpers und des Bands erheblich voneinander unterscheiden, wird ein großer Unterschied in Bezug auf die Lichtleistung (Lichtenergie, die pro Zeiteinheit abgestrahlt wird), die von jedem Teil abgestrahlt wird, erzeugt.
Daher erzeugt der Uhrenhauptkörper, der ein relativ hohes Reflexionsvermögen aufweist, einen Lichthofeffekt (engl. „whiteout“), wenn die Belichtungszeit lang ist, und eine effektive Luminanz kann nicht erhalten werden. Mit anderen Worten können die Buchstaben, mit denen der Uhrenhauptkörper markiert ist, nicht identifiziert werden, wie in 4a gezeigt ist. Wenn die Belichtungszeit kurz ist, kann die Lichtenergie nicht hinreichend von dem Band, das ein relativ niedriges Reflexionsvermögen aufweist, empfangen werden, und eine effektive Luminanz kann nicht erhalten werden. Mit anderen Worten erzeugt das Band eine totale Unterbelichtung, wie in 4b gezeigt ist, und Defekte, solche wie Stiche/Nähte/Maschen, können nicht identifiziert werden.
Das Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel fotografiert daher das gleiche Arbeitsstück 2 mehrfach bei unterschiedlichen Belichtungsbedingungen (Belichtungszeit) und erzeugt synthetische Bilddaten von einer Vielzahl von fotografierten Eingangsbilddaten. Die Eingangsbilddaten umfassen einen Wert bzw. eine Helligkeit (Luminanzverteilung von jeder Farbe), der/die die Verteilung der Lichtenergie, die in die Bildgebungseinheit 8 eintritt, angibt, wobei das Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel die Farbinformationen (nachstehend ebenso als „zusammengesetzte Farbinformation bzw. Kombinationsfarbinformationen“ bezeichnet) und die Luminanz (nachstehend ebenso als „synthetische Luminanz“ bezeichnet) von jedem Pixel der synthetischen Bilddaten basierend auf dem Wert bzw. der Helligkeit (Luminanz von jeder Farbe), der/die die Lichtenergie der Eingangsbilddaten entsprechend jedem Pixel angibt, und der Belichtungsbedingung (Belichtungszeit) zu der Zeit der Durchführung der Fotografie der entsprechenden Eingangsbilddaten berechnet. Die synthetischen Bilddaten werden dann basierend auf den Kombinationsfarbinformationen und der synthetischen Luminanz erzeugt.
Mit anderen Worten ist die synthetische Luminanz äquivalent zu dem Luminanzwert entsprechend der Lichtenergie, die in das Bildgebungselement der Bildgebungseinheit 8 eintritt, und hat eine Luminanzauflösung, die größer oder gleich als ein vorbestimmter Wert innerhalb des dynamischen Bereichs ist, wenn sie basierend auf den Eingangsbilddaten synthetisiert wird, die durch mehrfaches Fotografieren bei unterschiedlichen Belichtungsbedingungen erhalten werden. Darüber hinaus wird die Luminanzwertverteilung entsprechend der Verteilung der Lichtenergie, die in das Bildgebungselement der Bildgebungseinheit 8 eintritt, aus der synthetischen Luminanz berechnet. Das heißt, dass der effektive dynamische Bereich dem Bereich der synthetischen Luminanz entspricht, aus welchem eine Luminanzauflösung, die größer oder gleich einem vorbestimmten Wert ist, aus den fotografierten Eingangsbildern erhalten wird, die durch mehrfaches Fotografieren bei unterschiedlichen Belichtungsbedingungen erhalten werden.
Zusammenfassend wird bei dem Berechnungsprozess der synthetischen Luminanz der Wert bzw. die Helligkeit (Luminanz), der/die die Lichtenergie in jedem der Eingangsbilddaten angibt, mit der Belichtungszeit für jedes Pixel standardisiert bzw. normiert. Das, das eine Größe der normierten Luminanz in einem geeigneten Bereich aufweist, wird vorzugsweise angenommen. Mit anderen Worten ist die synthetische Luminanz von jedem Pixel in den synthetischen Bilddaten, die mit den Informationen des Pixels, die bei der Belichtungszeit entsprechend der Lichtleistung (Lichtenergie, die pro Zeiteinheit eintritt), die von dem Arbeitsstück 2 abgestrahlt wird, fotografiert wird, aus den Informationen des entsprechenden Pixels der Vielzahl von Eingangsbilddaten berechnet wird, die Hauptkomponente. Durch solch einen Prozess können die synthetischen Bilddaten als eine Sammlung von Pixeln, die die Luminanz aufweisen, die zu einer angemessenen Belichtungszeit fotografiert wird, erzeugt werden. 4c ist eine Darstellung, die ein Beispiel der synthetischen Bilddaten zeigt, die durch den Bildsynthetisierungsprozess gemäß dem vorliegenden Ausführungsbeispiel erzeugt werden. Wie in 4c gezeigt ist, können die synthetischen Bilddaten, die keinen Lichthofeffekt (engl. „whiteout“) wie in 4a und keine totale Unterbelichtung wie in 4b umfassen, durch Ausführen des oben beschriebenen Bildsynthetisierungsprozesses erzeugt werden.
Ein nicht lineares Tone-Mapping wird effektiv bzw. wirksam ausgeführt, um einen breiten dynamischen Bereich bei einem Bild, das endliche Farbtöne aufweist, abzubilden. Das Tone-Mapping umfasst verschiedene Verfahren, eine logarithmische Umwandlung, eine Gamma-Korrektur und dergleichen, welche typische Beispiele eines nicht linearen Tone-Mappings sind, das unter Verwendung der Funktion berechnet wird. Alternativ kann das Tone-Mapping von jeglicher Gestalt durch Verwendung einer Suchtabelle, die anstelle der Funktion im Voraus definiert ist, durchgeführt werden. Die Zeitgebung des Anwendens des Tone-Mappings umfasst zwei Verfahren, nämlich die Verarbeitung nach der Durchführung des zusätzlichen Prozesses und die Verarbeitung vor dem zusätzlichen Prozess. Das heißt, dass das Tone-Mapping zahlreiche Variationen hat, wobei die Verarbeitung der Zeitgebung zwei Verfahren aufweist.
In dem vorliegenden Ausführungsbeispiel wird der Aufbau für einen Fall der Ausführung des zusätzlichen Prozesses nach der Ausführung der logarithmischen Umwandlung als ein Beispiel eines solchen Prozesses gezeigt.
Der Bildsynthetisierungsprozess gemäß dem vorliegenden Ausführungsbeispiel wird hauptsächlich durch die folgenden fünf Prozesse erzielt:

(1) Prozess zum sequentiellen bzw. fortlaufenden Fotografieren des Arbeitsstücks 2 bei unterschiedlichen Belichtungszeiten (Fotografierprozess)
(2) Prozess zum Berechnen der synthetischen Luminanz aus der Luminanz der fotografierten Eingangsbllddaten (Luminanzsynthetisierungsprozess)
(3) Prozess zum Berechnen eines Tonwerts bzw. einer Farbhelligkeit aus der berechneten synthetischen Luminanz (Tonwertumwandlungsprozess bzw. Farbheiligkeitsumwandlungsprozess)
(4) Prozess zum Berechnen von Kombinationsfarbinformationen aus den Farbinformationen des fotografierten Eingangsbildes (Farbsynthetisierungsprozess)
(5) Prozess zum Erzeugen der synthetischen Bilddaten aus den Kombinationsfarbinformationen und dem Tonwert bzw. der Farbhelligkeit (Erzeugungsprozess).

Insbesondere führt das Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel einen Helligkeits-Folgeprozess aus. Bei dem Helligkeits-Folgeprozess wird die Übereinstimmungsbeziehung, die in dem (3) Tonwertumwandlungsprozess bzw. Farbhelligkeitsumwandlungsprozess verwendet wird, sequentiell bzw. fortlaufend aktualisiert (nachverfolgt) gemäß einer Änderung der Fotografierumgebung (insbesondere der Beleuchtungsumgebung in Bezug auf das Arbeitsstück 2). Die Übereinstimmungsbeziehung definiert den Bereich derart, dass dieser effektiv als die synthetischen Bilddaten der berechneten synthetischen Luminanz angezeigt wird. Mit anderen Worten fotografiert das Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel das Arbeitsstück 2 mit dem dynamischen Bereich, der den Variationsbereich bzw. Änderungsbereich der Fotografierumgebung umfasst, und ordnet diesen in einem bestimmten Bereich der fotografierten synthetischen Luminanz bei dem Arbeitsstück 2 dem Tonwertbereich bzw. Farbhelligkeitsbereich zu, der als ein Bild ausgedrückt wird. Im Speziellen bringt die Übereinstimmungsbeziehung den bestimmten Bereich und den effektiven Tonwert bzw. die effektive Farbhelligkeit des dynamischen Bereichs der synthetischen Luminanz in Übereinstimmung.
Das Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel ändert den bestimmten Bereich der synthetischen Luminanz, der dem effektiven Tonwertbereich bzw. Farbhelligkeitsbereich zugewiesen wird, basierend auf der Lichtenergie, die in das Bildgebungselement eintritt, dynamisch. Die synthetischen Bilddaten, die die effektiven Bildinformationen umfassen, können daher ohne von der Veränderung der Fotografierumgebung beeinflusst zu werden, erzeugt werden.
Nach der Beschreibung des Überblicks über die Prozesse (1) bis (5) wird der charakteristische Prozess des vorliegenden Ausführungsbeispiels beschrieben.
<Gesamtsteuerungsaufbau>
5 ist eine Funktionsblockdarstellung, die den Gesamtsteuerungsaufbau des Bildverarbeitungsgeräts gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
Unter Bezugnahme auf 5 umfasst das Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel eine Fotografiersteuereinheit 200, eine Auswahleinheit 202, Bildpuffer 204a bis 204h und Bildinformationsextrahierungseinheiten 206a bis 206h als einen Steuerungsaufbau zum Verwirklichen des (1) Fotografierprozesses, eine Luminanzsynthetisierungseinheit 210 und eine Histogrammerzeugungseinheit 218 als einen Steuerungsaufbau zum Verwirklichen des (2) Luminanzsynthetisierungsprozesses, eine Tone-Mapping-Einheit 214 und eine Folgeeinheit 230 als einen Steuerungsaufbau zum Verwirklichen des (3) Tonwertumwandlungsprozesses bzw. Farbhelligkeitsumwandlungsprozesses, eine Farbsynthetisierungseinheit 208 als einen Steuerungsaufbau zum Verwirklichen des (4) Farbsynthetisierungsprozesses, und eine Bilderzeugungseinheit 212 als einen Steuerungsaufbau zum Verwirklichen des (5) Erzeugungsprozesses. Das Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel umfasst ebenso eine Verarbeitungszeitberechnungseinheit 222.
Der Inhalt jedes Prozesses in dem Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel wird untenstehend mit dem Betrieb jedes Funktionsblocks beschrieben.
Fotografierprozess
Unter Bezugnahme auf die Fotografierprozessdarstellung von 5 erlangt die Fotografiersteuereinheit 200 eine Vielzahl von Eingangsbilddaten durch Verursachen, dass die Bildgebungseinheit 8 das gleiche Arbeitsstück 2 mehrfach mit unterschiedlichen Belichtungszeiten fotografiert. Die Fotografiersteuereinheit 200 bestimmt gemäß der Benutzereinstellung, wie die Belichtungszeit zu ändern ist. Insbesondere umfasst die Bildgebungseinheit 8 gemäß dem vorliegenden Ausführungsbeispiel eine elektronische Blendeneinrichtung, deren Blendeneinrichtungsgeschwindigkeit beispielsweise auf beliebige Geschwindigkeit eingestellt werden kann, so dass die Belichtungszeit auf beliebige Zeit geändert werden kann. Die Belichtungszeit, die geändert werden kann, umfasst acht Vorgaben, beispielsweise von „1/10 Sekunde“, „1/20 Sekunde“, „1/40 Sekunde“, „1/80 Sekunde“, „1/160 Sekunde“, „1/320 Sekunde“, „1/640 Sekunde“ und „1/1280 Sekunde“ als Standard. Die Belichtungszeitgruppe, die geändert werden kann, ist derart festgelegt, dass sie fortlaufend um die zweite Potenz mit „1/10 Sekunde“ als eine Referenz (langsamster Wert) schneller ist.
Die Fotografiersteuereinheit 200 stellt sequentiell bzw. fortlaufend die Belichtungszeit der Bildgebungseinheit 8 vor jeder Durchführung einer Fotografie gemäß der im voraus definierten Anzahl von Fotografien und der Belichtungszeit bei jeder Fotografie ein, und fotografiert sequentiell bzw. fortlaufend das Arbeitsstück 2 unter Verwendung der Bildgebungseinheit 8 bei jeder eingestellten Belichtungszeit. Darüber hinaus stellt die Fotografiersteuereinheit 200 eine Auswahlanweisung der Auswahleinheit 102 In Synchronisation mit jeder Durchführung einer Fotografie zur Verfügung und speichert sequentiell bzw. fortlaufend die erzeugten Eingangsbilddaten, wenn die Bildgebungseinheit 8 sequentiell bzw. fortlaufend das Arbeitsstück 2 fotografiert, in den Bildpuffern 204a bis 204h ab.
Die Auswahleinheit 202 ist zwischen der Bildgebungseinheit 8 und den Bildpuffern 204a bis 204h angeordnet und verbindet einen der Bildpuffer 204a bis 204h mit der Bildgebungseinheit 8 im Ansprechen auf die Auswahlanweisung von der Fotografiersteuereinheit 200 elektronisch. Gemäß einem solchen Betrieb werden die Eingangsbilddaten, die erzeugt werden, wenn die Bildgebungseinheit 8 das Arbeitsstück 2 fotografiert, sequentiell bzw. fortlaufend in den Bildpuffern 204a bis 204h gespeichert. Im Folgenden werden die Bildpuffer 204a bis 204h ebenso insgesamt als „Bildpuffer 204“ bezeichnet.
Der Bildpuffer 204 ist in Übereinstimmung mit der Belichtungszeit der Bildgebungseinheit 8 konfiguriert und speichert die Eingangsbilddaten, die mit einer entsprechenden bestimmten Belichtungszeit fotografiert werden, ab. Zum Beispiel speichert der Bildpuffer 204a lediglich die Eingangsbilddaten, die bei einer Bedingung fotografiert werden, bei welcher die Belichtungszeit „1/10 Sekunde“ beträgt, wobei der Bildpuffer 204b lediglich die Eingangsbilddaten speichert, die bei einer Bedingung fotografiert werden, bei welcher die Belichtungszeit „1/20 Sekunde“ beträgt.
Die Bildinformationsextrahierungseinheiten 206a bis 206h sind jeweils den Bildpuffern 204a bis 204h zugeordnet und extrahieren die Farbinformationen und die Luminanz von den Eingangsbilddaten, die in den entsprechenden Bildpuffern 204 gespeichert sind. Typischerweise sind die Eingangsbilddaten aus den Luminanzen der drei Farben (R-Luminanz, G-Luminanz, B-Luminanz) aufgebaut, das heißt dem Wert bzw. der Helligkeit entsprechend der Lichtenergie, die in jedes Pixel eintritt. Die Farbinformationen der Eingangsbilddaten repräsentieren die relative Beziehung (das relative Verhältnis) von jeder Luminanz nach dem Normieren der Luminanzen der drei Farben. Die Luminanz der Eingangsbilddaten repräsentiert umfassend die Lichtenergie, die in jedes Pixel eintritt, und ist äquivalent zu dem Durchschnittswert (oder der Summe) der Luminanzen der drei Farben.
Die Bildinformationsextrahierungseinheiten 206a bis 206h geben dann die extrahierten Farbinformationen zu der Farbsynthetisierungseinheit 208 aus und geben die extrahierte Luminanz zu der Farbsynthetisierungseinheit 208 und der Luminanzsynthetisierungseinheit 210 aus.
Luminanzsynthetisierungsprozess
Nachdem eine Reihe von Durchführungen von Fotografien (alle Durchführungen der Fotografien bei voreingestellten Belichtungszeiten) durch die Bildgebungseinheit 8 abgeschlossen ist, berechnet die Luminanzsynthetisierungseinheit 210 die synthetische Luminanz von jedem Pixel nach der Normierung der Luminanz von jedem der Eingangsbilddaten mit der entsprechenden Belichtungszeit. Wie oben beschrieben ist, schwankt der Bereich der Lichtleistung, die für die Durchführung der Fotografie geeignet ist, durch Ändern der Belichtungszeit in der Bildgebungseinheit 8. Mit anderen Worten ist eine relativ kurze Belichtungszeit für die Durchführung der Fotografie des Bereichs mit der größeren Lichtleistung geeignet und die relativ lange Belichtungszeit ist für die Durchführung der Fotografie des Bereichs mit der kleinen Lichtleistung geeignet.
In der vorliegenden Beschreibung wird ein Index „Helligkeit“ entsprechend der Größe der Lichtenergie, die von dem Arbeitsstück abgestrahlt wird, verwendet. Die „Helligkeit“ ist ein relativer Wert, der von dem Leistungsvermögen der Bildgebungseinheit 8 abhängt, bei dem die tatsächliche Lichtenergie sich selbst dann unterscheidet, wenn die „Helligkeit“ die gleiche ist, falls die Empfindlichkeit des Bildgebungselements, der Öffnungswert des optischen Systems und dergleichen unterschiedlich sind.
Im Allgemeinen wird angenommen, dass die Größe der Lichtenergie, die in die Bildgebungseinheit 8 (Bildgebungselemente) eintritt, proportional zu der Belichtungszeit ist. Daher wird die „Helligkeit“ gemäß der vorliegenden Beschreibung, die durch Teilen der Luminanz, die durch die Bildgebungseinheit 8 erfasst wird, durch die Belichtungszeit und Logarithmieren des Wertes erhalten wird, typischerweise verwendet. Deshalb ist die „Helligkeit“ in der vorliegenden Beschreibung ein Index bzw. eine Maßzahl, die die Größe der Lichtenergie (Lichtleistung) pro Einheit Belichtungszeit angibt. Durch die Verwendung einer solchen „Helligkeit“ kann der Helligkeits-Bereich, der für die Durchführung der Fotografie durch die Bildgebungseinheit 8 geeignet ist, im Voraus in Übereinstimmung mit jeder Belichtungszeit, auf die die Bildgebungseinheit 8 eingestellt werden kann, definiert werden.
Insbesondere kann die Übereinstimmungsbeziehung zwischen jeder Belichtungszeit und der „Helligkeit“, wie in 6, definiert werden, wenn die acht Belichtungszeiten, auf die die Bildgebungseinheit 8 gemäß dem vorliegenden Ausführungsbeispiel eingestellt werden kann, sequentiell fortlaufend mit der zweiten Potenz kürzer werden.
6 ist eine Darstellung, die ein Beispiel einer Beziehung zwischen der Belichtungszeit, die in der Bildgebungseinheit 8 eingestellt ist, und dem Helligkeitsbereich, der für die Durchführung der Fotografie geeignet ist, zeigt.
Unter Bezugnahme auf 6 kann, bei der Einstellung des Helligkeitsbereichs, der für die Durchführung der Fotografie für einen Fall geeignet ist, bei welchem die Belichtungszeit „1/10 Sekunde“ beträgt, auf „10 bis 30“, der Helligkeitsbereich, der für die Durchführung der Fotografie geeignet ist, auf „20 bis 40“, also um „10“ erhöht, eingestellt werden, wenn die Belichtungszeit „1/20 Sekunde“ beträgt, was der Hälfte entspricht. Die Belichtungszeit kann derart eingestellt werden, dass sie den Helligkeitsbereich von 10 bis 100 in Übereinstimmung mit dem Bereich von „1/10 Sekunde“ bis „1/1280 Sekunde“ durch fortlaufendes Einstellen auf solch eine Weise abdeckt.
Darüber hinaus wird eine Konfiguration, bei welcher eine Vielzahl von Belichtungszeiten jeden Helligkeitsbereich abdecken, bevorzugt. In dem Beispiel, das in 6 gezeigt ist, ist die Einstellung derart, dass zumindest zwei Belichtungszeiten den Bereich in dem Bereich, bei dem der Helligkeitsbereich 10 bis 90 beträgt, abdecken. Mit anderen Worten ist die Belichtungszeit, bei der die Helligkeit „50“ entspricht, „1/40 Sekunde“, „1/80 Sekunde“ und „1/160 Sekunde“. Gemäß einer solchen Einstellung kann das mehrfache Durchführen der Fotografie mit unterschiedlichen Belichtungszeiten ausgewählt werden, selbst wenn der obere und untere Helligkeitsgrenzbereich (der später beschrieben wird), der durch die Benutzer angegeben wird, eng ist.
Die Beziehung zwischen der Belichtungszeit und dem Helligkeitsbereich, die in 6 gezeigt ist, ist dergestalt, dass die Durchführung der Fotografie bei jeder der Vielzahl von Belichtungszeiten entsprechend der Einstellung durchgeführt wird, wenn der notwendige Helligkeitsbereich durch den Benutzer des Helligkeitsbereichs eingestellt wird, in welchem die Durchführung der Fotografie mit der Bildgebungseinheit 8 durchgeführt werden kann. Mit anderen Worten kann die Verarbeitungszeit in Bezug auf den Bildsynthetisierungsprozess durch Durchführen von lediglich der Fotografie bei der bestimmten Belichtungszeit anstelle der Durchführung der Fotografie bei sämtlichen Belichtungszeiten, auf die die Bildgebungseinheit 8 eingestellt werden kann, verringert werden.
Insbesondere wird, wenn der Helligkeitsbereich auf „30 bis 60“ durch den Benutzer eingestellt ist, ein dreimaliges Durchführen einer Fotografie pro einem Prozess bei den Belichtungszeiten von „1/20 Sekunde“, „1/40 Sekunde“ und „1/80 Sekunde“, die in solch einem Bereich umfasst sind, durchgeführt. Insbesondere wird bei dem Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel die Durchführung der Fotografie derart ausgeführt, dass der Helligkeitsbereich entsprechend dem Änderungsbereich der Fotografierumgebung abgedeckt werden kann, wie später beschrieben wird.
Erneut Bezug nehmend auf 4 berechnet die Luminanzsynthetisierungseinheit 210 die synthetische Luminanz der Luminanz jedes Pixels des synthetischen Bildes unter Verwendung einer Vielzahl von Eingangsbilddaten, die durch eine Reihe von Durchführungen von Fotografien hinsichtlich des Arbeitsstücks 2 erlangt werden. Insbesondere normiert die Luminanzsynthetisierungseinheit 210 die Luminanz jedes Pixels bei den P Stücken von den Eingangsbilddaten entsprechend jedem Pixel (Koordinatenposition i) der synthetischen Bilddaten mit der Belichtungszeit, um die synthetische Luminanz Ei jedes Pixels zu berechnen. Die Berechnungsformel der synthetischen Luminanz Ei durch die Luminanzsynthetisierungseinheit 210 ist in Gleichung (1) ausgedrückt. $In E_{I} = \frac{\sum_{j = 1}^{P} w (Z_{i, j}) (In g (Z_{i, j}) - In Δ t_{j} + C)}{\sum_{j = 1}^{P} w (Z_{i, j})}$
Dabei sind:

w(Z):: Gewichtsfunktion
g(Z):: Antwortfunktion des Bildgebungselements
Z_i,J:: Luminanzinformationen bei der Koordinatenposition i des j^th Eingangsbildbezugs
Δt_J:: Belichtungszeit des j^th Eingangsbildbezugs

In Gleichung 1 ist der Ausdruck „In(g(Z_i,j) - InΔt_j)“ äquivalent zu dem Wert bzw. der Helligkeit, der/die durch Normieren der Luminanz in jeden Eingangsbilddaten mit der Belichtungszeit und zum Beurteilen als die „Helligkeit“ erhalten wird. Dies basiert auf der technischen Idee, dass, selbst wenn die Luminanz die gleiche „128“ ist, die tatsächliche „Helligkeit“ als ein größerer Wert zu beurteilen ist, wenn die Belichtungszeit relativ kurz ist, und die tatsächliche „Helligkeit“ als ein kleinerer Wert zu beurteilen ist, wenn die Belichtungszeit relativ lang ist. Mit anderen Worten wird die Normierung (= g(Z_i,j)/Δt_j) durch die Belichtungszeit durch Multiplizieren des Koeffizienten 1/Δt_j entsprechend der Belichtungszeit zu der Zeit der Durchführung der Fotografie der entsprechenden Eingangsbilddaten ausgeführt, so dass der Ausdruck als In{g(Z_i,j)/Δt_j} umgewandelt werden kann, wobei die synthetische Luminanz Ei unter Verwendung des normierten Werts bzw. der normierten Helligkeit dann berechnet wird.
Typischerweise wird die synthetische Luminanz Ei als ein Wert in dem Bereich von 0 bis 100 gemäß der Beziehung zwischen jeder Belichtungszeit und dem Helligkeitsbereich berechnet, die in 6 gezeigt ist. Der Erleichterung des Verständnisses halber wird die synthetische Luminanz in dem Bereich von 0 bis 100 ausgedrückt, aber der Tontiefe der „Helligkeit“ des Bildes, das durch die Synthetisierung erhalten wird, wird größer als der Tontiefe (zum Beispiel 8 Bits) des Bildes, das in einer Fotografie erhalten wird, und daher ein Wert ist, der Stellen nach dem Dezimalpunkt als Daten aufweist (zum Beispiel gehandhabt als ein Wert bis zu vier Stellen nach dem Dezimalkomma unter Verwendung von Daten von 16 Bit).
In der obigen Gleichung sind die Gewichtsfunktion w(Z) und die Antwortfunktion g(Z) des Bildgebungselements der Bildgebungseinheit 8 eingeführt worden. Solche Funktionen werden unter Bezugnahme auf 7A und 7B beschrieben.
7A und 7B sind Darstellungen, die ein Beispiel der Eigenschaften der Gewichtsfunktion und der Antwortfunktion zeigen. 7A zeigt die Eigenschaft der Gewichtsfunktion w(Z) und 7B zeigt die Eigenschaft der Antwortfunktion g(Z).
Unter Bezugnahme auf 7A ist die Gewichtsfunktion g(Z) eine Funktion, die die Verlässlichkeit in Übereinstimmung mit dem Wert der Luminanz, die von der Bildgebungseinheit 8 ausgegeben wird, wiedergibt. Mit anderen Worten wird davon ausgegangen, dass der Wert nahe der unteren Grenze (0) oder der oberen Grenze (255) der Luminanz, die von der Bildgebungseinheit 8 bei einer bestimmten Belichtungszeit ausgegeben wird, eine geringe Verlässlichkeit verglichen mit einem Wert nahe eines Zwischenwerts (128) aufweist. Mit anderen Worten wird davon ausgegangen, dass die Luminanz im Wesentlichen der Zwischenwert ist, wenn die Bildgebungseinheit 8 den Messgegenstand, der die geeignetste „Helligkeit“ bei einer bestimmten Belichtungszeit aufweist, fotografiert.
Angesichts solcher Eigenschaften wird eine Funktion, bei welcher der Wert in der Umgebung der unteren Grenze oder der oberen Grenze verglichen mit der Umgebung des Zwischenwerts des Luminanzfarbtonwerts kleiner wird, vorzugsweise für die Gewichtsfunktion w(Z) verwendet. Beispielsweise wird bei dem vorliegenden Ausführungsbeispiel eine Gewichtsfunktion in einer dreiecksförmigen Gestalt, bei welcher der Zwischenwert des Luminanztonwerts ein Maximalwert (128) wird und 0 bei der unteren Grenze und der oberen Grenze wird, verwendet. Von den Eingangsbilddaten für jede Belichtungszeit werden die, die eine Luminanz innerhalb eines vorbestimmten Bereichs aufweisen, vorzugsweise verwendet, um die synthetische Luminanz durch Verwenden der obigen Gewichtsfunktion zu berechnen.
Unter Verwendung der 7B ist die Antwortfunktion g(Z) eine Funktion zum Kompensieren der Nichtlinearität zwischen der Luminanzverteilung, die von der Bildgebungseinheit 8 ausgegeben wird, und der Lichtenergieverteilung, die tatsächlich in die Bildgebungseinheit 8 eingegeben wird. Zum Beispiel ist bei dem Bildgebungselement, solch eines wie das CCD, die Beziehung zwischen der Eingangslichtenergie oder der Lichtquantität und dem Ausgangsspannungssignal nicht linear. Solch eine nichtlineare Eigenschaft wird beispielsweise ebenso als eine Gammacharakteristik bezeichnet. Die Antwortfunktion g(Z) kompensiert solch eine Gammacharakteristik und korrigiert die Luminanz, die von der Bildgebungseinheit 8 ausgegeben wird, derart, dass diese proportional zu der Lichtenergie ist, die tatsächlich in die Bildgebungseinheit 8 eingegeben wird. In 7B ist die Antwortfunktion g(Z) für einen Fall, bei welchem die Luminanz, die von der Bildgebungseinheit 8 ausgegeben wird, in einer Proportionalitätsbeziehung mit der eingegebenen Lichtenergie steht, zur Vereinfachung gezeigt.
Das „C“ des konstanten Ausdrucks in der Gleichung ist ein Ausdruck zum Kompensieren des Versatzes, der auftritt, wenn die Beziehung zwischen jeder Belichtungszeit und dem Helligkeitsbereich wie in 6 definiert ist, und wird geeignet gemäß der Beziehung zwischen jeder Belichtungszeit und dem Helligkeitsbereich eingestellt.
In der Gleichung wird ein natürlicher Logarithmus, der die Napier-Zahl „e“ als die Basis aufweist, verwendet, ist aber nicht notwendigerweise auf „e“ beschränkt, wobei der Logarithmus, der eine „2“ als die Basis aufweist, oder der Zehnerlogarithmus, der die „10“ als die Basis aufweist, verwendet werden kann.
Erneut Bezug nehmend auf 5 gibt die Luminanzsynthetisierungseinheit 210 die berechnete synthetische Luminanz Ei zu der Histogrammerzeugungseinheit 218 aus. Die Histogrammerzeugungseinheit 218 erzeugt das Histogramm für die synthetische Luminanz Ei. Mit anderen Worten erzeugt die Histogrammerzeugungseinheit 218 Verteilungsdaten zum Anzeigen der Verteilung der synthetischen Luminanz Ei an dem Monitor 102. Insbesondere unterteilt die Luminanzsynthetisierungseinheit 210 die synthetische Luminanz Ei von jedem Pixel in Klassen einer vorbestimmten Breite und berechnet dann die Frequenz von jeder Klasse. Dies hilft dem Benutzer, die obere Helligkeitsgrenze und die untere Helligkeitsgrenze unter Bezugnahme auf den Bereich mit relativ hohem Verhältnis der synthetischen Luminanz Ei, die durch die Luminanzsynthetisierungseinheit 210 berechnet wird, anfänglich einzustellen.
Die Histogrammerzeugungseinheit 218 ist konfiguriert, um zu ermöglichen, den Histogrammerzeugungsprozess gemäß der Benutzereinstellung zu unterbrechen oder wieder aufzunehmen.
Tonwertumwandlungsprozess bzw. Farbhelligkeitsumwandlungsprozess
Erneut Bezug nehmend auf 5 wandelt die Tone-Mapping-Einheit 214 die synthetische Luminanz Ei, die in der Luminanzsynthetisierungseinheit 210 berechnet wird, in den Tonwert bzw. die Farbhelligkeit, der/die an dem Monitor 102 anzuzeigen ist, um. Insbesondere bestimmt die Tone-Mapping-Einheit 214 die Konzentration der synthetischen Bilddaten durch Zuordnen der synthetischen Luminanz Ei von jedem Pixel (Luminanzbereich: 0 bis 100; aufweisend Tonwerte größer als 256 Tonwerte) zu dem Tonwert bzw. zu der Farbhelligkeit Yi (zum Beispiel 0 bis 255 Tonwerte) des entsprechenden Pixels der synthetischen Bilddaten. Die Auflösung (dynamischer Bereich) der synthetischen Luminanz Ei von jedem Pixel wird größer als die Eingangsbilddaten und daher können die synthetischen Bilddaten mit höherer Genauigkeit erzeugt werden und durch Aufteilen der Tonwerte der synthetischen Bilddaten noch feiner als der Tonwert der Eingangsbilddaten angezeigt werden.
Die Tone-Mapping-Einheit 214 führt die Umwandlung von der synthetischen Luminanz Ei zu dem Tonwert Yi gemäß der Übereinstimmungsbeziehung, die fortlaufend durch die Folgeeinheit 230 aktualisiert (nachverfolgt) wird, aus. Insbesondere empfängt die Tone-Mapping-Einheit 214 die eingestellten Werte der oberen und unteren Helligkeitsgrenzen, die mit der Zuordnung zu dem Tonwert von der Folgeeinheit 230 durchgeführt werden, und wandelt die synthetische Luminanz Ei in dem relevanten Bereich zu dem entsprechenden Tonwert Yi um. Die Verteilung des Tonwertes bzw. der Farbhelligkeit Yi ist äquivalent zu der Verteilung des definierten Bereichs des Tonwerts bzw. der Farbhelligkeit, der durch die Tonwerte innerhalb des definierten numerischen Bereichs angegeben wird.
8a und 8b sind Darstellungen, die einen Zuordnungsprozess durch die Tone-Mapping-Einheit 214 beschreiben. Unter Bezugnahme auf 8 wird ein Fall, bei dem die Tone-Mapping-Einheit 214 einen linearen Zuordnungsprozess durchführt, veranschaulicht, um die Beschreibung zu vereinfachen. Das einfachste Beispiel umfasst eine Zuordnung zu dem Tonwert innerhalb des Bereichs von 0 bis 255, während die proportionale Beziehung der synthetischen Luminanz Ei, deren Luminanzbereich von 0 bis 100 ist, aufrechterhalten wird. Die Daten, die einen größeren Tonwert als das Anzeigevermögen des Monitors aufweisen, können daher mit dem Tonwert (zum Beispiel eine 8-Bit-Anzeige) angezeigt werden, der das Anzeigevermögen des Monitors erfüllt.
Wie oben beschrieben ist, führt die Tone-Mapping-Einheit 214 eine Zuordnung zu dem Tonwert Yi gemäß der folgenden Gleichung durch, wenn die obere Helligkeitsgrenze Emax und die untere Helligkeitsgrenze Emin festgelegt sind. $Yi = 255 \times (Ei - Emin) / (Emax - Emin)$
Mit anderen Worten wird die Übereinstimmungsbeziehung, die bei der Umwandlung von der synthetischen Luminanz Ei zu dem Tonwert Yi in der Tone-Mapping-Einheit 214 verwendet wird, geeignet aktualisiert, nämlich durch Ändern der oberen Helligkeitsgrenze Emax und der unteren Helligkeitsgrenze Emin.
Die Pixel, die eine synthetische Luminanz Ei aufweisen, die größer als die obere Helligkeitsgrenze Emax ist, werden alle auf einen maximalen Tonwert (zum Beispiel 255) konvertiert und daher gehen die Informationen über eine derartige Helligkeit verloren. Ähnlich werden die Pixel, die eine synthetische Luminanz Ei aufweisen, die kleiner als die untere Helligkeitsgrenze Emin ist, alle zu einem minimalen Tonwert (zum Beispiel 0) konvertiert, und die Informationen über eine derartige Helligkeit gehen daher verloren. Deshalb wird lediglich der Pixel, dessen Wert der synthetischen Luminanz Ei in dem Bereich von der unteren Helligkeitsgrenze Emin bis zu der oberen Helligkeitsgrenze Emax liegt, ein Pixel, das einen effektiven Tonwert an den synthetischen Bilddaten aufweist.
In der folgenden Beschreibung wird der Bereich von der unteren Helligkeitsgrenze Emin zu der oberen Helligkeitsgrenze Emax ebenso als obere und untere Helligkeitsgrenzbereich bezeichnet, wobei der obere und untere Helligkeitsgrenzbereich äquivalent zu einem ersten Bereich der vorliegenden Erfindung ist.
Mit anderen Worten bezieht sich der obere und untere Helligkeitsgrenzbereich auf einen Bereich, der in dem effektiven dynamischen Bereich der synthetischen Luminanz Ei umfasst ist und enger als der effektive dynamische Bereich der synthetischen Luminanz Ei ist. Die synthetische Luminanz Ei in dem oberen und unteren Helligkeitsgrenzbereich wird in Übereinstimmung mit dem Tonwert Yi umgewandelt, das heißt ein Vorgabebereichtonwert, der mit dem Tonwert in einem numerischen Vorgabebereich repräsentiert wird, wobei die Verteilung der synthetischen Luminanz Ei zu der Verteilung des Tonwerts Yi, der äquivalent zu der Vorgabebereichstonwertverteilung ist, umgewandelt wird.
{Berechnungsbeispiel}
Beispielsweise sind in einem Fall, bei dem die Eingangsbilddaten durch Durchführen von Fotografien bei drei Belichtungszeiten von „1/20 Sekunde“, „1/40 Sekunde“ und „1/80 Sekunde“ erhalten werden, die Luminanzen bei der Koordinatenposition i der drei Eingangsbilddaten „190“, „100“ und „50“. In solch einem Fall wird die synthetische Luminanz Ei des Pixels entsprechend der Koordinatenposition i wie untenstehend berechnet. In diesem Fall ist W(190)=65, W(100)=100, W(50)=50. $\begin{array}{l} Ei = 10 \times {65 \times (log190 + log 20 - 8) + 100 \times (log100 + log 40 - \\ 8) + 50 \times (log50 + log80 - 8)} / (65 + 100 + 50) = 40 \end{array}$
Wenn die obere Helligkeitsgrenze Emax auf „60“ und die untere Helligkeitsgrenze Emin auf „30“ durch den Benutzer eingestellt wird, werden die Tonwerte Yi bei der Koordinatenposition i der synthetischen Bilddaten auf die folgende Weise berechnet. $Yi = 255 \times (40 - 30) / (60 - 30) = 85$
Farbsynthetisierungsprozess
Erneut Bezug nehmend auf 5 berechnet die Farbsynthetisierungseinheit 208 die synthetisierten Farbinformationen aus den Farbinformationen einer Vielzahl von Eingangsbilddaten. Wie später beschrieben ist, werden die synthetischen Bilddaten durch Multiplizieren des entsprechenden Tonwerts bzw. einer Helligkeit (Konzentration), der/die durch die Tone-Mapping-Einheit 214 berechnet wird, mit den synthetisierten Farbinformationen von jedem Pixel, die durch die Farbsynthetisierungseinheit 208 erhalten werden, erhalten. Daher nehmen die synthetisierten Farbinformationen, die von der Farbsynthetisierungseinheit 208 ausgegeben werden, einen Wert ein, der ein relatives Verhältnis von „Rot“, „Grün“ und „Blau“ ohne die Informationen über die Konzentration von jedem Pixel angibt.
Ähnlich der obigen Luminanzsynthetisierungseinheit 210 berechnet die Farbsynthetisierungseinheit 208 die synthetisierten Farbinformationen von jedem Pixel basierend auf den Farbinformationen von jedem Pixel in einer Vielzahl von Eingangsbilddaten entsprechend jeder Koordinatenposition. Noch genauer berechnet die Farbsynthetisierungseinheit 208 die synthetisierten Farbinformationen durch kumulatives Addieren des Wertes, der durch Multiplizieren der Farbinformationen von jeden Eingangsbilddaten und des Gewichts entsprechend der Verlässlichkeit davon erhalten wird.
Es sei angenommen, dass die Farbinformationen bei der Koordinatenposition i (0 ≤ i ≤ der Anzahl von Pixeln n) der j^th Eingangsbildreferenz (ri, j, gi, j, bi, j) ist. Die Farbsynthetisierungseinheit 208 normiert die Farbinformationen, die von den Bildinformationsextrahierungseinheiten 206a bis 206h ausgegeben werden, so dass ri, j + gi, j + bi, j = 1 erfüllt ist. Es sei angenommen, dass die Luminanz bei der Koordinatenposition i der j^th Eingangsbildreferenz Zi, j ist. Unter Verwendung der normierten Farbinformationen und der Luminanz wird die Berechnungsformel der synthetisierten Farbinformationen (ri, gi, bi) wie in den Gleichungen (2.1) bis (2.3) ausgedrückt. $r_{i} = \frac{\sum_{j = 1}^{P} w (Z_{i, j}) \cdot r_{i, j}}{\sum_{j = 1}^{P} w (Z_{i, j})}$
$g_{i} = \frac{\sum_{j = 1}^{P} w (Z_{i, j}) \cdot g_{i, j}}{\sum_{j = 1}^{P} w (Z_{i, j})}$
$b_{i} = \frac{\sum_{j = 1}^{P} w (Z_{i, j}) \cdot b_{i, j}}{\sum_{j = 1}^{P} w (Z_{i, j})}$
Hierbei ist:

w(Z): Gewichtsfunktion
P: die Anzahl von Eingangsbilddaten

Die Gewichtsfunktion w(Z) hat eine Eigenschaft ähnlich der in 8A. Mit anderen Worten ist die Gewichtsfunktion w(Z) eine Funktion zum Wiedergeben der Verlässlichkeit entsprechend dem Wert der Luminanz, die von der Bildgebungseinheit 8 ausgegeben wird. Die technische Bedeutung der Gewichtsfunktion w(Z) ist die Gleiche, wie vorstehend beschrieben ist, weshalb eine ausführliche Beschreibung nicht wiederholt wird.
Die Farbsynthetisierungseinheit 208 gibt die berechneten synthetisierten Farbinformationen zu der Bilderzeugungseinheit 212 aus.
Erzeugungsprozess
Die Bilderzeugungseinheit 212 berechnet fortlaufend die Bildinformationen des Pixels bei der Koordinatenposition i durch fortlaufendes Multiplizieren des Tonwerts bzw. der Farbhelligkeit Yi, der/die durch die Luminanzsynthetisierungseinheit 210 und die Tone-Mapping-Einheit 214 berechnet wird, mit den entsprechenden synthetisierten Farbinformationen (ri, gi, bi) und erzeugt die synthetischen Bilddaten.
Mit anderen Worten können die absoluten Farbinformationen (Ri, Gi, Bi) bei der Koordinate der Koordinatenposition i der synthetischen Bilddaten wie folgt ausgedrückt werden. $(Ri, Gi, Bi) = Yi X (ri, gi, bi)$
Die synthetischen Bilddaten werden gemäß dem obigen Verfahren erzeugt.
(Sonstiges)
Die Verarbeitungszeitberechnungseinheit 222 berechnet die voraussichtliche Verarbeitungszeit, die für die Erzeugung von einer synthetischen Bildreferenz bzw. eines synthetischen Bildbezugs erforderlich ist. Insbesondere schätzt die Verarbeitungszeitberechnungseinheit 222 die Verarbeitungszeit in Anbetracht der Anzahl von Fotografien durch die Bildgebungseinheit 8, der Belichtungszeit jeder Fotografie, der Verarbeitungsumfangs des Bildsynthetisierungsprozesses und dergleichen basierend auf den Informationen aus der Fotografiersteuereinheit 200 ein. Die Verarbeitungszeit ist äquivalent zu der Zeit, die zum Erzeugen einer synthetischen Bildreferenz bzw. eines synthetischen Bildbezugs in dem Betriebsmodus notwendig ist, wobei der Benutzer die Einstellung bestimmt, die bei der tatsächlichen Fertigungslinie unter Bezugnahme auf eine derartige Verarbeitungszeit angewandt werden kann.
<Beispiel der Verringerung der Bildqualität der synthetischen Bilddaten wegen einer Veränderung der Fotografierumgebung>
Die 9A und 9B sind Darstellungen, die ein Beispiel der Verringerung der Bildqualität der synthetischen Bilddaten durch Veränderung der Fotografierumgebung zeigen. Die 9A und 9B zeigen ein Bildschirmanzeigebeispiel des Monitors 102, wenn das Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel in dem „Betriebsmodus“ ist. In dem Bildschirmanzeigebeispiel, das in den 9A und 9B gezeigt ist, ändert sich der Bereich, der das Ziel der Zuordnung zu dem effektiven Tonwert der synthetischen Luminanz Ei sein soll, nicht in der Tone-Mapping-Einheit 214, die in 5 gezeigt ist.
9A zeigt einen Zustand, unmittelbar nachdem die anfängliche Einstellung in einer bestimmten Fotografierumgebung abgeschlossen ist, und 9B zeigt einen Zustand, bei dem sich die Fotografierumgebung im Hinblick auf 9A (insbesondere einen Zustand mit stärkerer Beleuchtung) verändert hat. Wie aus dem Vergleich der 9A mit der 9B ersichtlich ist, sind die synthetischen Bilddaten, die in 9B gezeigt sind, als Ganzes „weißlich“ und ein Lichthofeffekt (engl. „whiteout, halation“) wird teilweise erzeugt. Dies rührt daher, dass die Intensität des reflektierten Lichts von dem Arbeitsstück hoch ist.
<Überblick über den Helligkeitsfolgeprozess>
Der Überblick über den Helligkeitsfolgeprozess gemäß dem vorliegenden Ausführungsbeispiel wird unten stehend beschrieben.
Die 10A und 10B sind Darstellungen, die ein Beispiel eines Histogramms entsprechend den synthetischen Bilddaten, die in den 9A und 9B gezeigt sind, zeigen. Das Histogramm, das in 10A gezeigt ist, entspricht den synthetischen Bilddaten, die in 9A gezeigt sind, und das Histogramm, das in 10B gezeigt ist, entspricht den synthetischen Bilddaten, die in 9B gezeigt sind.
Wie in 10A gezeigt ist, wird der obere und untere Helligkeitsgrenzbereich gemäß der Streuung bzw. Verteilung der synthetischen Luminanz Ei unmittelbar nach dem Abschluss der anfänglichen Einstellung festgelegt. Wenn sich die Fotografierumgebung nach einer solchen Einstellung ändert, verlagert sich die Verteilung der synthetischen Luminanz Ei vollständig in der Helligkeitsrichtung. Als Ergebnis passt die Verteilung nicht zu der Verteilung der synthetischen Luminanz Ei, bei der der anfänglich eingestellte obere und untere Helligkeitsgrenzbereich tatsächlich erlangt wird.
Mit anderen Worten können die synthetischen Bilddaten, die die effektiven Bildinformationen umfassen, nicht erzeugt werden, selbst wenn die effektive synthetische Luminanz Ei berechnet wird, wie in den 10A und 10B gezeigt ist. Daher wird der obere und untere Helligkeitsgrenzbereich fortlaufend gemäß der Verlagerung der synthetischen Luminanz Ei aktualisiert.
Insbesondere hält der obere und untere Helligkeitsgrenzbereich die Breite des anfänglich eingestellten oberen und unteren Helligkeitsgrenzbereich aufrecht und verlagert dessen Position um den Betrag entsprechend dem Verlagerungsbetrag der synthetischen Luminanz Ei. Mit anderen Worten ist die Breite des dynamischen Bereichs des oberen und unteren Helligkeitsgrenzbereichs vor der Verlagerung (Aktualisierung) die gleiche Breite wie des dynamischen Bereichs des oberen und unteren Helligkeitsgrenzbereichs nach der Verlagerung (Aktualisierung). Gemäß einem solchen Aktualisierungsprozess können die synthetischen Bilddaten, die die effektiven Bildinformationen umfassen, erzeugt werden, ohne durch die Fotografierumgebung beeinflusst zu werden.
Mit anderen Worten wird der obere und untere Helligkeitsgrenzbereich, der dem Bereich des Tonwerts bzw. der Farbhelligkeit Yi entsprechen soll, das heißt dem Vorgabebereichtonwert, auf einen Bereich aktualisiert, der in dem effektiven dynamischen Bereich der synthetischen Luminanz Ei umfasst ist und enger ist als der effektive dynamische Bereich, gemäß der Veränderung der Lichtenergie, die in das Bildgebungselement der Bildgebungseinheit 8 eintritt. Der obere und untere Helligkeitsgrenzbereich nach der Aktualisierung unterscheidet sich von dem oberen und unteren Helligkeitsgrenzbereich vor der Aktualisierung.
Das Reflexionsvermögen des gleichen Gegenstands (einschließlich des Arbeitsstücks 2 und des Fördermechanismus 6) wird als im Wesentlichen konstant angenommen. Daher kann der Verlagerungsbetrag der synthetischen Luminanz Ei durch Überwachen der temporären Änderung der synthetischen Luminanz Ei im Hinblick auf ein oder mehrere Pixel bestimmt werden. Zum Beispiel, angenommen die Durchschnittswerte der synthetischen Luminanzen Ei bei einer Vielzahl von bestimmten Pixeln ist E0 zu der Zeit der anfänglichen Einstellung, dann entspricht, wenn der Durchschnittswert der synthetischen Luminanz Ei bei der gleichen Vielzahl von Pixeln bei einem bestimmten Zeitpunkt danach sich auf Eave ändert, die Abweichung ΔE = |Eave - E0| dem Verlagerungsbetrag.
Das Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel aktualisiert (verlagert) daher den oberen und unteren Helligkeitsgrenzbereich gemäß einem derartigen Verlagerungsbetrag.
Solche eine Aktualisierung (Verlagerung) des oberen und unteren Helligkeitsgrenzbereichs wird ausgeführt, so dass die Tonwertverteilung, die durch den oberen und unteren Helligkeitsgrenzbereich nach der Aktualisierung erhalten wird, im Wesentlichen die gleiche ist wie die Tonwertverteilung, die durch den oberen und unteren Helligkeitsgrenzbereich vor der Korrektur erhalten wird. Mit anderen Worten wird die Aktualisierung (Verlagerung) des oberen und unteren Helligkeitsgrenzbereichs ausgeführt, so dass die Histogrammgestalt, die den oberen und unteren Helligkeitsgrenzbereich als die Referenz aufweist, die in 10A gezeigt ist, und die Histogrammgestalt, die den oberen und unteren Helligkeitsgrenzbereich als Referenz, die in 10B gezeigt ist, im Wesentlichen zueinander passen.
Wie in den 10A und 10B gezeigt ist, ist es erforderlich, eine Vielzahl von Eingangsbilddaten im Voraus zu erlangen, um die Verteilung der synthetischen Luminanz Ei, die sich durch die Veränderung der Fotografierumgebung verlagert, abzudecken, um den oberen und unteren Helligkeitsgrenzbereich zu aktualisieren. Das heißt, es ist erforderlich, dass das Arbeitsstück 2 mit einem dynamischen Bereich fotografiert wird, der breiter als die Variations- bzw. Veränderungsbreite der Fotografierumgebung ist.
Das Arbeitsstück kann mit einer möglichst großen Anzahl von Fotografien fotografiert werden, um noch weitreichender auf die Veränderung der Fotografierumgebung zu reagieren. Jedoch steigt die Zeit zum Erzeugen einer synthetischen Bildreferenz bzw. eines synthetischen Bildbezugs mit dem Anstieg der Anzahl von Fotografien.
In dem FA-Gebiet und dergleichen ist die Zeit, die der Überprüfung von einem Werkstück zugeordnet werden kann, manchmal wegen der Taktzeit oder dergleichen der gesamten Fertigungslinie begrenzt. Daher kann die Anzahl von Fotografien im Hinblick auf ein Arbeitsstück nicht unbeschränkt erhöht werden. In solch einem Fall wird der Bereich, der auf die Veränderung der Fotografierumgebung reagieren kann, vorzugsweise eingestellt. In der folgenden Beschreibung wird der Bereich, der auf die Veränderung der Fotografierumgebung reagieren kann, als oberer und unterer Helligkeitsfolgegrenzbereich bezeichnet, wobei der obere und untere Helligkeitsfolgegrenzbereich äquivalent zu einem „zweiten Bereich“ der vorliegenden Erfindung ist.
Das heißt, dass die Aktualisierung des oberen und unteren Helligkeitsgrenzbereichs, der äquivalent zu dem „ersten Bereich“ ist, innerhalb des oberen und unteren Helligkeitsfolgegrenzberelchs, der äquivalent zu dem „zweiten Bereich“ ist, zugelassen wird.
Es wird unterbunden, dass sich die Zeit, die zur Erzeugung einer synthetischen Bildreferenz erforderlich ist, mit der Veränderung der Fotografierumgebung verändert, da die Anzahl der Fotografien im Hinblick auf das Arbeitsstück 2 und die Belichtungszeit bei jeder Fotografie durch Einstellen des oberen und unteren Helligkeitsfolgegrenzbereich im voraus definiert werden kann.
<Beispiel der Wirkung des Helligkeitsfolgeprozesses>
Die 11A und 11B sind Darstellungen, die ein Beispiel der Wirkung des Helligkeitsfolgeprozesses gemäß dem vorliegenden Ausführungsbeispiel der Erfindung zeigen. Ähnlich zu 9A zeigt 11A einen Zustand, unmittelbar nachdem eine anfängliche Einstellung in einer bestimmten Fotografierumgebung abgeschlossen ist, und 11B zeigt einen Zustand, bei dem sich die Fotografierumgebung im Hinblick auf die 11A (insbesondere ein Zustand mit stärkerer Beleuchtung) geändert hat. Wie aus einem Vergleich der 11A mit der 11B ersichtlich ist, können die synthetischen Bilddaten, die die effektiven Bildinformationen umfassen, erzeugt werden, ohne durch die Veränderung der Fotografierumgebung beeinflusst zu werden, nämlich durch Verwendung des Helligkeitsfolgeprozesses gemäß dem vorliegenden Ausführungsbeispiel.
<Steuerungsaufbau des Helligkeitsfolgeprozesses>
12 ist eine Funktionsblockdarstellung, die einen ausführlicheren Steuerungsaufbau der Folgeeinheit 230 zeigt, die in 5 gezeigt ist.
Unter Bezugnahme auf 12 umfasst die Folgeeinheit 230 als der Steuerungsaufbau einen Extrahierungsabschnitt 2331, einen Mittelungsabschnitt 2332, einen Abweichungsberechnungsabschnitt 2333, einen Anfangswertspeicherabschnitt 2334, einen Korrekturabschnitt 2335 und einen Überwachungsabschnitt 2336.
Der Extrahierungsabschnitt 2331 lässt die Einstellung des Folgebereichs im Hinblick auf die Eingangsbilddaten zu, wie später beschrieben wird. Der Extrahierungsabschnitt 2331 extrahiert die synthetische Luminanz Ei des Pixels, der innerhalb des eingestellten Folgebereichs der synthetischen Luminanz Ei vorliegt, die sequentiell von der Luminanzsynthetisierungseinheit 210 (5) ausgegeben wird. Der Extrahierungsabschnitt 2331 gibt dann die extrahierte synthetische Luminanz Ei von jedem Pixel zu dem Mittelungsabschnitt 2332 aus.
Der Mittelungsabschnitt 2332 berechnet den repräsentativen Wert der synthetischen Luminanz Ei für den Pixel, der in dem Folgebereich enthalten ist. Insbesondere mittelt der Mittelungsabschnitt 2332 die synthetische Luminanz Ei von jedem Pixel, der von dem Extrahierungsabschnitt 2331 empfangen wird, und berechnet die gemittelte synthetische Luminanz Eave. Der Mittelungsabschnitt 2332 gibt dann die berechnete gemittelte synthetische Luminanz Eave zu dem Abweichungsberechnungsabschnitt 2333 und den Anfangswertspeicherabschnitt 2334 aus. Irgendeine Art von Störung bzw. Beeinträchtigung kann in dem Pixel in dem Folgebereich enthalten sein und daher kann ein Zwischenwertprozess anstelle des Mittelungsprozesses oder zusätzlich zu dem Mittelungsprozess für das Verfahren zum Berechnen des repräsentativen Werts eingesetzt werden.
Der Anfangswertspeicherabschnitt 2334 speichert als die anfängliche synthetische Luminanz E0 die gemittelte synthetische Luminanz Eave, die in dem Mittelungsabschnitt 2332 berechnet wird, ab, unmittelbar nachdem der Folgebereich bezüglich der Eingangsbilddaten festgelegt oder geändert ist. Mit anderen Worten hält der Anfangswertspeicherabschnitt 2334 die gemittelte synthetische Luminanz Eave, unmittelbar nachdem der Folgebereich festgelegt oder geändert ist, als den Referenzwert zum Beurteilen der Veränderung der Fotografierumgebung.
Der Abweichungsberechnungsabschnitt 2333 berechnet fortlaufend die Abweichung ΔE in Bezug auf die anfängliche synthetische Luminanz E0, die von dem Mittelungsabschnitt 2332 der gemittelten synthetischen Luminanz Eave, die fortlaufend durch den Mittelungsabschnitt 2332 berechnet wird, empfangen wird. Mit anderen Worten ist die Abweichung ΔE der Wert, der den Veränderungsbetrag von der Fotografierumgebung zu dem Zeitpunkt angibt, bei dem der Folgebereich festgelegt oder geändert wird. Der Abweichungsberechnungsabschnitt 2333 gibt die Abweichung ΔE an den Korrekturabschnitt 2335 aus.
Der Korrekturabschnitt 2335 aktualisiert (verlagert) den oberen und unteren Helligkeitsgrenzbereich gemäß der Abweichung ΔE, die von dem Abweichungsberechnungsabschnitt 2333 empfangen wird. Der Korrekturabschnitt 2335 nimmt den anfänglichen Wert Emax0 und Emin0 des oberen und unteren Helligkeitsgrenzbereichs (obere Helligkeitsgrenze und untere Helligkeitsgrenze) im Voraus an, wobei die obere Helligkeitsgrenze und die untere Helligkeitsgrenze nach der Aktualisierung (Emax0 + ΔE) und (Emin0 + ΔE) jeweils sind. Der obere und untere Helligkeitsgrenzbereich, der durch den Benutzer eingestellt werden kann, ist innerhalb des effektiven dynamischen Bereichs der synthetischen Luminanz Ei und ist auf innerhalb des oberen und unteren Helligkeitsfolgegrenzbereichs liegend begrenzt.
Der Korrekturabschnitt 2335 fügt die Abweichung ΔE zu der oberen Helligkeitsgrenze und der unteren Helligkeitsgrenze hinzu, die als die Anfangswerte zugelassen sind, um den oberen und unteren Helligkeitsgrenzbereich nach der Aktualisierung auszugeben. Der obere und untere Helligkeitsgrenzbereich nach der Aktualisierung, der durch den Korrekturabschnitt 2335 berechnet ist, wird der Tone-Mapping-Einheit 214 (5) zur Verfügung gestellt. Der Korrekturabschnitt 2335 gibt fortlaufend den oberen und unteren Helligkeitsgrenzbereich nach der Aktualisierung zu dem Überwachungsabschnitt 2336 aus.
Der Überwachungsabschnitt 2336 stellt ein Vorliegen einer Abnormalität des Helligkeitsfolgeprozesses, der Benutzerführung und dergleichen basierend auf dem oberen und unteren Helligkeitsgrenzbereich nach der Aktualisierung, die durch den Korrekturabschnitt 2335 berechnet wird, zur Verfügung.
Beispielsweise speichert der Überwachungsabschnitt 2336 den temporären bzw. zeitlichen Änderungsverlauf des oberen und unteren Helligkeitsgrenzbereichs nach der Aktualisierung ab und zeigt ebenso den Verlauf an dem Monitor 102 an. Der Überwachungsabschnitt 2336 kann den geeigneten oberen und unteren Helligkeitsfolgegrenzbereich festlegen oder den Bereich des Benutzers basierend auf dem temporären Änderungsverlauf des oberen und unteren Helligkeitsgrenzbereichs nach der Aktualisierung melden. Darüber hinaus führt der Überwachungsabschnitt 2336 einen Fehlerprozess aus, solch einen wie das Mitteilen einer Warnung oder das Speichern eines Zustandswerts (log) zu der Zeit, wenn der obere und untere Helligkeitsgrenzbereich nach der Aktualisierung den oberen und unteren Helligkeitsfolgegrenzbereich, der im Voraus festgelegt wird, überschreitet. Mit anderen Worten wird der Fehlerprozess ausgeführt, wenn ein Teil des oberen und unteren Helligkeitsgrenzbereichs auf außerhalb des oberen und unteren Helligkeitsfolgegrenzbereichs liegend aktualisiert wird, das heißt wenn ein Teil des oberen und unteren Helligkeitsgrenzbereichs auf außerhalb des effektiven dynamischen Bereichs liegend aktualisiert wird.
<Betriebsmodusprozess>
Wie oben beschrieben ist, sind bei dem Helligkeitsfolgeprozess gemäß dem vorliegenden Ausführungsbeispiel die Anzahl von Fotografien und die Belichtungszeit bei jeder Fotografie derart definiert, dass sie den oberen und unteren Helligkeitsfolgegrenzbereich, der im Voraus festgelegt wird, abdecken.
13 ist eine Darstellung, die den Betrieb des Steuerungsaufbaus in dem „Betriebsmodus“ des Bildverarbeitungsgeräts gemäß dem Ausführungsbeispiel der vorliegenden Erfindung beschreibt.
Unter Bezugnahme auf 13 führt die Bildgebungseinheit 8 eine Fotografie durch, während diese fortlaufend mit drei entsprechenden Belichtungszeiten eingestellt wird, falls der obere und untere Helligkeitsfolgegrenzbereich beispielsweise mit dreimaligem Fotografieren abgedeckt werden kann. In dem „Betriebsmodus“ wird der Erzeugungsprozess des Histogramms in der Histogrammerzeugungseinheit 218 unterbrochen.
Damit einhergehend werden die Eingangsbilddaten lediglich von drei Bildpuffern 204 der acht Bildpuffer 204 ausgegeben. Daher kann, wenn ausgewählt ist, dass das Histogramm nicht angezeigt wird, die Fotografierzeit und die Verarbeitungszeit durch die Bildgebungseinheit 8 effizient gemacht werden und die gesamte Verarbeitungszeit kann verringert werden.
<Bildschirmanzeigebeispiel>
Die 14 bis 18 sind Darstellungen, die Bildschirmanzeigebeispiele in dem „Einstellungsmodus“, der von dem Monitor 102 des Bildverarbeitungsgeräts gemäß dem Ausführungsbeispiel der vorliegenden Erfindung angezeigt wird, zeigen. Die Einstellungsbildschirme, wie sie in den 14 bis 18 gezeigt sind, können durch zusammenwirkenden Betrieb der CPU 105, der Grafikkarte (nicht gezeigt) und dergleichen angezeigt werden. Solch eine Bildschirmanzeige wird durch ein GUI-Programm (GUI = engl. „Graphical User Interface“; grafische Benutzeroberfläche), das als ein Teil in das OS (OS = engl. „Operating System“; Betriebssystem) eingebunden ist, erhalten, wobei die GUI ebenso eine Umgebung für den Benutzer zur Verfügung stellt, um verschiedene Benutzereinstellungen unter Verwendung eines Cursors bzw. einer Eingabemarkierung, die durch die Tastatur 103 und die Maus 104 betätigt wird, an dem Bildschirm durchzuführen.
Unter Bezugnahme auf 14 wird ein Einstellungsmodusbildschirm 402 angezeigt, wenn der Benutzer eine HDR-Einstellungs-Registerkarte 416 auswählt. Es wird davon ausgegangen, dass andere Anfangseinstellungen (Einstellung der Bildgebungseinheit 8 und dergleichen) abgeschlossen sind.
Der Benutzer legt zuerst den Anfangswert des oberen und unteren Helligkeitsgrenzbereichs (obere Helligkeitsgrenze und untere Helligkeitsgrenze) in dem Einstellungsmodusbildschirm 402 fest.
Insbesondere umfasst der Einstellungsmodusbildschirm 402 einen Bildgebungseinstellungseingabebereich 410, einen Synthetikbildanzeigebereich 412 und einen Anzeigebereich 414 des vollständigen synthetischen Bildes.
Der Bildgebungseinstellungseingabebereich 410 zeigt ein Histogramm 420 über die Helligkeit der synthetischen Bilddaten an und zeigt ebenso Indikatoren bzw. Anzeigeelemente 422 und 424 an, die jeweils die von dem Benutzer eingestellte obere Helligkeitsgrenze und untere Helligkeitsgrenze an der gleichen Achse anzeigen. Das Histogramm 420 wird fortlaufend durch die Histogrammerzeugungseinheit 218 (5) erzeugt.
Der Bildgebungseinstellungseingabebereich 410 zeigt ebenso einen Schieberegler (engl. „slide bar“) 432 zum Einstellen der unteren Helligkeitsgrenze und einen Schieberegler 434 zum Einstellen der oberen Helligkeitsgrenze an. Der obere und untere Helligkeitsgrenzbereich, der durch die Betätigung der Schieberegler 432 und 434 eingestellt wird, wird in die Folgeeinheit 230, die in 5 (insbesondere den Korrekturabschnitt 2335, der in 12 gezeigt ist) gezeigt ist, eingegeben. Der Bildgebungseinstellungseingabebereich 410 zeigt ebenso numerische Eingabefelder (engl. „input boxes“) 426 und 428 zum Annehmen der direkten numerischen Eingabe der unteren Helligkeitsgrenze und der oberen Helligkeitsgrenze an.
Der Benutzer betätigt den Schieberegler 432 oder 434 oder das numerische Eingabefeld 426 oder 428 unter Bezugnahme auf das angezeigte Histogramm 420, um einen gewünschten oberen und unteren Helligkeitsgrenzbereich einzustellen. Der Bereich, der im Wesentlichen das gesamte Histogramm 420 abdecken kann, ist vorzugsweise der obere und untere Helligkeitsgrenzbereich des anfänglichen Werts. Die Anzeigepositionen der Anzeigeelemente 422 und 424 werden gemäß dieser Benutzereinstellung aktualisiert.
In dem Synthetikbildanzeigebereich 412 werden die erzeugten synthetischen Bilddaten gemäß dem von dem Benutzer eingestellten oberen und unteren Helligkeitsgrenzbereich angezeigt. Die synthetischen Bilddaten, die in dem Synthetikbildanzeigebereich 412 angezeigt werden, zeigen die synthetischen Bilddaten an, die in Untersuchungen und Messungen in dem Betriebsmodus verwendet werden, wobei der Benutzer den Beleuchtungszustand, den oberen und unteren Helligkeitsgrenzbereich und dergleichen an dem Arbeitsstück 2 unter Bezugnahme auf die Anzeige des Synthetikbildanzeigebereichs 412 einstellt. Das synthetische Bild, das in dem Synthetikbildanzeigebereich 412 angezeigt wird, wird in Echtzeit aktualisiert und daher werden, wenn der obere und untere Helligkeitsgrenzbereich durch eine Benutzerbetätigung, wie oben beschrieben ist, geändert wird, die synthetischen Bilddaten, die gemäß dem oberen und unteren Helligkeitsgrenzbereich nach der Änderung erzeugt werden, angezeigt.
In dem Synthetikbildanzeigebereich 412 können die synthetischen Bilddaten auf vergrößerte Weise angezeigt werden.
Der Anzeigebereich 414 für das gesamte synthetische Bild zeigt die gesamten synthetischen Bilddaten an, ähnlich dem Synthetikbildanzeigebereich 412. Mit anderen Worten werden die gesamten Synthetikbilddaten in dem Anzeigebereich 414 für das gesamte synthetische Bild angezeigt, selbst wenn die synthetischen Bilddaten auf eine vergrößerte Weise in dem Synthetikbildanzeigebereich 412 angezeigt werden, das heißt selbst wenn ein Teil der synthetischen Bilddaten angezeigt wird. Der Benutzer kann daher den ihn interessierenden Abschnitt (Bereich) vergrößern und betrachten, während er die gesamten synthetischen Bilddaten erfasst.
Die „Anzahl von Fotografien“, die „Synthetisierungszeit“ und dergleichen werden ebenso an dem Einstellungsmodusbildschirm 402 angezeigt. Derartige Informationen werden durch die Verarbeitungszeitberechnungseinheit 222 (5) berechnet.
Wenn die anfängliche Einstellung des oberen und unteren Helligkeitsgrenzbereichs abgeschlossen ist, stellt der Benutzer anschließend den oberen und unteren Helligkeitsfolgegrenzbereich an dem Einstellungsmodusbildschirm 404 ein, der in 15 gezeigt ist.
Wenn der Benutzer die Registerkarte „Helligkeitsfolgeeinstellung“ 418 unter Bezugnahme auf 15 auswählt, wird der Einstellungsmodusbildschirm 404 angezeigt. Der Einstellungsmodusbildschirm 404 umfasst einen Helligkeitsfolgeeinstellungseingabebereich 430, den Synthetikbildanzeigebereich 412 und den Anzeigebereich 414 für das gesamte synthetische Bild.
Der Helligkeitsfolgeeinstellungseingabebereich 430 zeigt ein Histogramm 420 über die „Helligkeit“ der synthetischen Bilddaten sowie die Anzeigeelemente 422 und 424 an, die die anfänglich eingestellte obere Helligkeitsgrenze und untere Helligkeitsgrenze anzeigen. Darüber hinaus werden die Indikatoren bzw. Anzeigeelemente 442 und 444, die die von dem Benutzer eingestellte obere Helligkeitsfolgegrenze und untere Helligkeitsfolgegrenze anzeigen, an der gleichen Achse des Histogramms 420 angezeigt. Mit anderen Worten wird der obere und untere Helligkeitsfolgegrenzbereich, das heißt der „zweite Bereich“, zeitgleich mit dem Histogramm 420, das heißt mit der Verteilung der synthetischen Luminanz Ei, an dem Monitor 102 angezeigt.
Der Helligkeitsfolgeeinstellungseingabebereich 430 zeigt einen Schieberegler 450 zum Einstellen der unteren Helligkeitsfolgegrenze und einen Schieberegler 452 zum Einstellen der oberen Helligkeitsfolgegrenze an. Der obere und untere Helligkeitsfolgegrenzbereich, der durch die Betätigung der Schieberegler 450 und 452 eingestellt wird, wird in die Folgeeinheit 230, die in 5 gezeigt ist (insbesondere den Korrekturabschnitt 2335, der in 12 gezeigt ist), eingegeben. Der Bildgebungseinstellungseingabebereich 410 zeigt ebenso numerische Eingabefelder 446 und 448 zum Annehmen der direkten numerischen Eingabe der unteren Helligkeitsfolgegrenze und der oberen Helligkeitsfolgegrenze an.
Der Benutzer betätigt die Schiebregler 450 oder 452 oder das numerische Eingabefeld 446 oder 448 unter Bezugnahme auf das angezeigte Histogramm 420, um einen gewünschten oberen und unteren Helligkeitsfolgegrenzbereich einzustellen. Die Anzeigepositionen der Anzeigeelemente 442 und 444 werden gemäß dieser Benutzereinstellung aktualisiert.
Der Benutzer betätigt den Schieberegler 450 oder 452 oder das numerische Eingabefeld 446 oder 448 und stellt den gewünschten oberen und unteren Helligkeitsfolgegrenzbereich unter Bezugnahme auf das angezeigte Histogramm 420 und den oberen und unteren Helligkeitsgrenzbereich des bereits eingestellten Anfangswerts ein. Die Benutzereingabe ist derart beschränkt, dass der obere und untere Helligkeitsgrenzbereich lediglich in dem Bereich eingestellt werden kann, der von dem oberen und unteren Helligkeitsfolgegrenzbereich umfasst ist.
Der Helligkeitsfolgeeinstellungseingabebereich 430 zeigt ein Markierungsfeld (engl. „check box“) 456 zum Umschalten zwischen einer Validierung bzw. Bestätigung und einer Aufhebung des Helligkeitsfolgeprozesses und ein numerisches Anzeigefeld 454 an, das den Mittelwert E0 der synthetischen Luminanz Ei in dem oberen und unteren Helligkeitsfolgegrenzbereich, der später beschreiben wird, anzeigt. Darüber hinaus zeigt der Helligkeitsfolgeeinstellungseingabebereich 430 eine Schaltfläche 460 zum Ändern oder Einstellen des Folgebereichs und eine Schaltfläche 458 zum automatischen Einstellen des oberen und unteren Helligkeitsgrenzbereichs an.
Der Synthetikbildanzeigebereich 412 und der Anzeigebereich 414 für das gesamte synthetische Bild zeigen die synthetischen Bilddaten ähnlich zu 14 an.
Wenn die anfängliche Einstellung des oberen und unteren Helligkeitsfolgegrenzbereichs abgeschlossen ist, stellt der Benutzer den oberen und unteren Helligkeitsfolgegrenzbereich an dem Einstellungsmodusbildschirm 406, der in 16 gezeigt ist, ein.
Wenn der Benutzer die Schaltfläche 460 (15) auf dem Einstellungsmodusbildschirm 404, der in 15 gezeigt ist, auswählt, wird der Einstellungsmodusbildschirm 406, wie er in 16 gezeigt ist, angezeigt. Der Einstellungsmodusbildschirm 406 zeigt eine Icongruppe 468 zum Auswählen der Gestalt des Folgebereichs an. Wenn der Benutzer ein beliebiges Icon der Icongruppe 468 auswählt, wird der Folgebereich 416 der ausgewählten Gestalt den Synthetikbildanzeigebereich 412 überdeckend angezeigt. Die Gestalt des Folgebereichs 416 kann grundsätzlich nur ein Rechteck sein.
Die Größe und die Position des Folgebereichs 416, der in dem Synthetikbildanzeigebereich 412 angezeigt wird, kann durch Mausbetätigungen (zum Beispiel durch Klicken, Ziehen und dergleichen) durch den Benutzer geändert werden.
Darüber hinaus werden numerische Eingabefelder 462, 464, 472 und 474 zum Annehmen der Koordinatenposition (numerischer Wert) des Folgebereichs 416 und Kreuzschaltflächen 466 und 467 zum Ändern der Koordinatenposition des Folgebereichs 416 in dem Einstellungsmodusbildschirm 406 angezeigt. Insbesondere werden die numerischen Eingabefelder 462 und 464 sowie die Kreuzschaltflächen 466 und 467 für die Koordinatenwerteinstellung der linken Ecke des Folgebereichs 416 verwendet. Ähnlich werden die numerischen Eingabefelder 472 und 474 sowie die Kreuzschaltfläche 476 für die Koordinatenwerteinstellung der unteren rechten Ecke des Folgebereichs 416 verwendet. Die Anzeigeposition des Folgebereichs 416 wird gemäß der Benutzereinstellung aktualisiert.
Der Benutzer legt den Folgebereich 416 auf eine angemessene Position unter Bezugnahme auf die synthetischen Bilddaten, die an dem Synthetikbildanzeigebereich 412 angezeigt werden, fest. Der Folgebereich 416 ist ein Bereich zum Beurteilen der Variation bzw. Veränderung der Fotografierumgebung hinsichtlich des Arbeitsstücks und wird vorzugsweise auf eine Position eingestellt, die nicht dem mit dem Betrieb der Fertigungslinie einhergehendem Einfluss ausgesetzt ist. Zum Beispiel kann ein Teil des Fördermechanismus 6, wenn der Fördermechanismus 6 eine konstante Lagebeziehung ungeachtet der Förderposition aufrechterhält, als der Folgebereich 416 festgelegt werden, oder wenn das Arbeitsstück 2 gleichbleibend zur im Wesentlichen gleichen Position des Fotografierbereichs der Bildgebungseinheit 8 gefördert wird, kann ein Teil des Arbeitsstücks 2 als der Folgebereich 416 festgelegt werden. Alternativ können die gesamten Eingangsbilddaten, die mit der Bildgebungseinheit 8 fotografiert werden, als der Folgebereich 416 festgelegt werden. In diesem Fall werden die Luminanzen von allen Pixeln, die in den Eingangsbilddaten enthalten sind, der Maßstab zur Beurteilung der Variation bzw. Veränderung der Fotografierumgebung.
Der Einstellungsbetrieb des Helligkeitsfolgeprozesses gemäß dem vorliegenden Ausführungsbeispiel wird durch die obige Bedienung abgeschlossen.
Die 17 und 18 zeigen Bildschirmanzeigebeispiele für einen Fall, bei welchem die Variation bzw. Veränderung der Fotografierumgebung in einem Fall auftritt, bei dem das Bildverarbeitungsgerät gemäß dem vorliegenden Ausführungsbeispiel in dem „Einstellungsmodus“ ist.
Wie in 17 gezeigt ist, sei angenommen, dass sich die Fotografierumgebung heller geändert hat, nachdem der obere und untere Helligkeitsgrenzbereich und der obere und untere Helligkeitsfolgegrenzbereich eingestellt sind. Der angezeigte Einstellungsmodusbildschirm ändert sich dann so wie in 18 gezeigt ist.
In dem Einstellungsmodusbildschirm, der in 18 gezeigt ist, bewegt sich das Histogramm 420 in Bezug auf die „Helligkeit“ vollständig zu der rechten Seite („hellere“ Seite), wobei sich der obere und untere Helligkeitsgrenzbereich ebenso zu der rechten Seite mitverlagert. Als Ergebnis ist ersichtlich, dass die synthetischen Bilddaten, die in dem Synthetikbildanzeigebereich 412 angezeigt werden, im Wesentlichen die gleiche Bildqualität wie die synthetischen Bilddaten, die in 17 angezeigt sind, aufrechterhalten.
<Überwachungsfunktion>
Der Überwachungsabschnitt 2336, der in 12 gezeigt ist, führt Überwachungsfunktionen, solche wie (1) Speichern und Anzeigen des temporären Änderungsverlaufs des oberen und unteren Helligkeitsgrenzbereichs, (2) automatisches Einstellen des oberen und unteren Helligkeitsgrenzbereichs basierend auf dem temporären bzw. zeitlichen Änderungsverlauf des oberen und unteren Helligkeitsgrenzbereichs und (3) Ausführen des Fehlerprozesses, wenn der obere und untere Helligkeitsgrenzbereich den oberen und unteren Helligkeitsfolgegrenzbereich überschreitet, aus.
19 ist eine Darstellung, die ein Beispiel des zeitlichen Änderungsverlaufs des oberen und unteren Helligkeitsgrenzbereichs, der in dem Überwachungsabschnitt 2336, der in 12 gezeigt ist, gespeichert ist.
Unter Bezugnahme auf 19 fluktuiert bzw. schwankt, wenn die gemittelte synthetische Luminanz Eave, die basierend auf der synthetischen Luminanz Ei des Pixels, der in dem Folgebereich enthalten ist, zeitweise fluktuiert bzw. schwankt, ebenso der obere und untere Helligkeitsgrenzbereich mit. Die Validität bzw. Gültigkeit oder dergleichen des Ausmaßes der Fotografierumgebung, des eingestellten oberen und unteren Heiligkeitsfolgegrenzbereichs und dergleichen kann durch Speichern des zeitlichen Änderungsverlaufs des oberen und unteren Helligkeitsgrenzbereichs über eine vorbestimmte Zeitspanne (zum Beispiel ein Tag, eine Woche oder dergleichen) verifiziert werden. Die Prozesse, solche wie die Verbesserung der Beleuchtungseinrichtung der Fertigungslinie und der Einstellungsänderung des oberen und unteren Helligkeitsfolgegrenzbereichs, können basierend auf solch einer Verifikation durchgeführt werden. Daher kann der Helligkeitsfolgeprozess geeignet ausgeführt werden und das Auftreten von Messfehlern und dergleichen aufgrund der Veränderung der Fotografierumgebung kann unterdrückt werden. Der zeitliche Änderungsverlauf des oberen und unteren Helligkeitsgrenzbereichs, wie in 19 gezeigt ist, kann an dem Monitor 102 entsprechend der Benutzerdienung angezeigt werden. Darüber hinaus können derartige Daten einem portablen Medium oder einem externen Gerät (nicht gezeigt) übermittelt werden.
Wenn der temporäre Änderungsverlauf des oberen und unteren Helligkeitsgrenzbereichs, wie in 19 gezeigt ist, gespeichert ist, werden, wenn die Schaltfläche 458 zum automatischen Einstellen des oberen und unteren Helligkeitsgrenzbereichs in dem Einstellungsmodusbildschirm 404, der in 15 gezeigt ist, ausgewählt wird, der Maximalwert und der Minimalwert des oberen und unteren Helligkeitsgrenzbereich extrahiert und dann der obere und untere Helligkeitsfolgegrenzbereich automatisch eingestellt.
Darüber hinaus führt der Überwachungsabschnitt 2336 den Fehlerprozess aus, wenn der obere und untere Helligkeitsgrenzbereich von dem oberen und unteren Helligkeitsfolgegrenzbereich abweicht, das heißt wenn die obere Helligkeitsgrenze größer als die obere Helligkeitsfolgegrenze wird oder die untere Helligkeitsgrenze kleiner als die untere Helligkeitsfolgegrenze wird.
Ein bestimmtes Beispiel des Fehlerprozesses in dem „Betriebsmodus“ umfasst Prozesse, solche wie ein Bereitstellen von NG für das Untersuchungsergebnis an dem Arbeitsstück zu diesem Zeitpunkt, ein Ausgeben eines Fehlersignals zu einem verbundenen PLC und dergleichen, und ein Abspeichern der Eingangsbilddaten von diesem Zeitpunkt.
Es ist für den Benutzer ersichtlich, dass der Helligkeitsfolgeprozess nicht angemessen durch Ausführung eines solchen Fehlerprozesses ausgeführt werden kann. Der Benutzer kann ebenso erkennen, dass Prozesse, solche wie die Verbesserung der Beleuchtungseinrichtung der Fertigungslinie und die Einstellungsänderung des oberen und unteren Helligkeitsfolgegrenzbereichs notwendig sind.
<Verarbeitungsprozedur>
20 ist ein Flussdiagramm, das einen Gesamtprozess in dem Bildverarbeitungsgerät gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt. Das Flussdiagramm, das in 20 gezeigt ist, wird ausgeführt, wenn die CPU 105 das Programm, das auf der Festplatte 107 und dergleichen im Voraus gespeichert ist, in den Speicher 106 ausliest und das Programm ausführt. Der Anfangsmodus ist der „Betriebsmodus“.
Unter Bezugnahme auf 20 bestimmt die CPU 105, ob eine Anweisung zum Umschalten von Betriebsweisen bzw. Modi zur Verfügung gestellt wird oder nicht (Schritt S100). Wenn die Anweisung zum Umschalten der Modi nicht zur Verfügung gestellt wird (Nein in Schritt S100), führt die CPU 105 einen Untersuchungsmessprozess von Schritt S102 bis Schritt S116 aus.
Mit anderen Worten bestimmt die CPU 105, ob das Eintreffen des Arbeitsstücks 2 durch die fotoelektrischen Sensoren erfasst wird oder nicht (Schritt S102). Wenn das Eintreffen des Arbeitsstücks nicht erfasst wird (Nein in Schritt S102), wird der Prozess von Schritt S102 wiederholt.
Wenn das Eintreffen des Arbeitsstücks 2 erfasst wird (Ja in Schritt S102), fotografiert die CPU 105 das Arbeitsstück 2 mit einer vorbestimmten Belichtungszeit und der Anzahl der Fotografien entsprechend dem oberen und unteren Helligkeitsfolgegrenzbereich, den der Benutzer in dem Einstellungsmodus eingestellt hat (Schritt S104). Die Belichtungszeit und die Anzahl der Aufnahmen werden im Voraus eingestellt, um die „Helligkeit“ des oberen und unteren Helligkeitsfolgegrenzbereichs abzudecken. Die CPU 105 bestimmt dann, ob die Durchführung der Fotografien entsprechend der festgelegten Anzahl abgeschlossen ist oder nicht (Schritt S106). Wenn die Durchführung der Fotografien entsprechend der festgelegten Anzahl nicht abgeschlossen ist (Nein in Schritt S106), wiederholt die CPU 105 den Prozess von Schritt S104.
Wenn die Durchführung der Fotografien entsprechend der festgelegten Anzahl abgeschlossen ist (Ja in Schritt S106), führt die CPU 105 eine Bildsynthetisierungsprozesssubroutine (Betriebsmodus) (Schritt S108) aus. Die synthetisierten Bilddaten werden aus den fotografierten Eingangsbilddaten durch die Ausführung der Bildsynthetisierungsprozesssubroutine (Betriebsmodus) erzeugt. Die CPU 105 zeigt dann die erzeugten synthetischen Bilddaten an dem Monitor 102 und dergleichen an (Schritt S110).
Danach führt die CPU 105 den Untersuchungsmessprozess basierend auf den erzeugten synthetischen Bilddaten aus (Schritt S112). Beispiele des Untersuchungsmessprozesses umfassen einen Suchprozess zum Suchen eines Abschnitts, der zu den Bildmustern, die im Voraus registriert sind, passt und einen Rand- bzw. Kantenabtastprozess zum Erfassen des Randes/der Kanten des Arbeitsstücks und Messen der Distanz zwischen den Rändern/Kanten.
Schließlich zeigt die CPU 105 das Ergebnis des Untersuchungsmessprozesses an dem Monitor 102 und dergleichen an (Schritt S114) und gibt das Ergebnis an das externe Gerät, solch eines wie einen PLC, aus (Schritt S116). Die Abfolge der Prozesse wird dadurch beendet. Die Abfolge der Prozesse nach Schritt S100 wird wiederholt innerhalb einer vorbestimmten Zeitspanne ausgeführt.
Wenn die Anweisung zum Umschalten von Betriebsweisen bzw. Modi zur Verfügung gestellt wird (Ja in Schritt S100), geht die CPU 105 zu dem „Einstellungsmodus“ über (Schritt S118). Der Prozess, der in 23 gezeigt ist, wird dann ausgeführt.
(Bildsynthetisierungsprozesssubroutine (Betriebsmodus))
21 ist ein Flussdiagramm, das einen Prozess in der Bildsynthetisierungsprozesssubroutine (Betriebsmodus), wie in 20 gezeigt ist, zeigt. Das Flussdiagramm, das in 21 gezeigt ist, wird ausgeführt, wenn die CPU 105 das Programm, das auf der Festplatte 107 oder dergleichen im Voraus gespeichert ist, in den Speicher 106 ausliest und das Programm ausführt.
Unter Bezugnahme auf 21 legt die CPU 105 die Koordinatenposition i auf einen Anfangswert (i = 1) fest (Schritt S200) und erlangt die Farbinformationen und die Luminanz von jedem Pixel entsprechend der Koordinatenposition i von einer Vielzahl von fotografierten Eingangsbilddaten (Schritt S202).
Danach berechnet die CPU 105 die synthetische Luminanz Ei bei der Koordinatenposition i basierend auf jeder der Luminanzen der Pixel entsprechend der Koordinatenposition i von einer Vielzahl von Eingangsbilddaten (Schritt S204). Auf ähnliche Weise berechnet die CPU 105 die synthetischen Farbinformationen (ri, gi, bi) bei der Koordinatenposition i basierend auf der synthetischen Luminanz und den Farbinformationen der Pixel entsprechend der Koordinatenposition i von einer Vielzahl von Eingangsbilddaten (Schritt S206).
Die CPU 105 bestimmt dann, ob die Koordinatenposition i die letzte Koordinate, die in den Eingangsbilddaten enthalten ist, ist oder nicht (Schritt S208). Wenn die Koordinatenposition i nicht die letzte Koordinate, die in den Eingangsbilddaten enthalten ist, ist (Nein in Schritt S208), fügt die CPU 105 „1“ zu der derzeitigen Koordinatenposition i hinzu (Schritt S210) und wiederholt die Prozesse nach dem Schritt S202.
Wenn die Koordinatenposition i die letzte Koordinate, die in den Eingangsbilddaten enthalten ist, ist (Ja in Schritt S208), extrahiert die CPU 105 die synthetische Luminanz Ei des Pixels, das in dem Folgebereich enthalten ist (Schritt S212) und berechnet die gemittelte synthetische Luminanz Eave für die synthetische Luminanz Ei des extrahierten Pixels (Schritt S214).
Danach berechnet die CPU 105 die Abweichung ΔE bezüglich der anfänglichen synthetischen Luminanz E0, die im Voraus in dem Einstellungsmodus der gemittelten synthetischen Luminanz Eave erlangt wird (Schritt S216). Darüber hinaus berechnet die CPU 105 den oberen und unteren Helligkeitsgrenzbereich nach der Aktualisierung (Schritt S218). Insbesondere führt die CPU 105 die folgenden Berechnungen mit der oberen Helligkeitsgrenze Emax und der unteren Helligkeitsgrenze Emin nach der Aktualisierung durch. $Emax = Emax0 + Δ E$
$Emin = Emin0 + Δ E$
Die CPU 105 führt dann die Überwachungsprozesssubroutine durch (Schritt S220).
Nach der Durchführung der Überwachungsprozesssubroutine legt die CPU 105 die Koordinatenposition i auf einen Anfangswert (i = 1) fest (Schritt S222) und berechnet den Tonwert bzw. die Farbhelligkeit Yi aus der synthetischen Luminanz Ei der Koordinatenposition i basierend auf der oberen Helligkeitsgrenze Emax und der unteren Helligkeitsgrenze Emin nach der Aktualisierung (Schritt S224). Darüber hinaus berechnet die CPU 105 die absoluten Farbinformationen (Ri, Gi, Bi) bei der Koordinate der Koordinatenposition i der synthetischen Bilddaten durch Multiplizieren des berechneten Tonwerts bzw. der berechneten Farbhelligkeit Yi mit den synthetischen Farbinformationen (ri, gi, bi) bei der Koordinatenposition i (Schritt S226).
Die CPU 105 bestimmt dann, ob die Koordinatenposition i die letzte Koordinate, die in den Eingangsbilddaten enthalten ist, ist oder nicht (Schritt S228). Wenn die Koordinatenposition i nicht die letzte Koordinate, die in den Eingangsbilddaten enthalten ist, ist (Nein in Schritt S228), fügt die CPU 105 „1“ zu der derzeitigen Koordinatenposition i hinzu (Schritt S230) und wiederholt die Prozesse nach dem Schritt S224.
Wenn die Koordinatenposition i die letzte Koordinate, die in den Eingangsbilddaten enthalten ist, ist (Ja in Schritt S228), gibt die CPU 105 die synthetischen Bilddaten einschließlich der absoluten Farbinformationen (Ri, Gi, Bi) bei jeder Koordinatenposition aus (Schritt S232). Der Prozess springt dann zurück.
(Überwachungsprozesssubroutine)
22 ist ein Flussdiagramm, das den Prozess in der Überwachungsprozesssubroutine, die in 21 gezeigt ist, zeigt. Das Flussdiagramm in 22 wird ausgeführt, wenn die CPU 105 das Programm, das im Voraus auf der Festplatte 107 und dergleichen gespeichert ist, in den Speicher 106 ausliest und das Programm ausführt.
Unter Bezugnahme auf 22 speichert die CPU 105 die obere Helligkeitsgrenze Emax und die untere Helligkeitsgrenze Emin nach der Aktualisierung, die in Schritt S218 von 21 berechnet wird, in Verbindung mit der Zeit (oder Stunde) ab (Schritt S300).
Danach bestimmt die CPU 105, ob die obere Helligkeitsgrenze Emax nach der Aktualisierung größer als die obere Helligkeitsfolgegrenze ist oder nicht (Schritt S302). Wenn die obere Helligkeitsgrenze Emax nach der Aktualisierung nicht größer als die obere Helligkeitsfolgegrenze ist (Nein in Schritt S302), bestimmt die CPU 105, ob die untere Helligkeitsgrenze Emin nach der Aktualisierung kleiner ist als die untere Helligkeitsfolgegrenze (Schritt S304).
Wenn die obere Helligkeitsgrenze Emax nach der Aktualisierung größer als die obere Helligkeitsfolgegrenze ist (Ja in Schritt S302) oder wenn die untere Helligkeitsgrenze Emin nach der Aktualisierung kleiner als die untere Helligkeitsfolgegrenze ist (Ja in Schritt S304), speichert die CPU 105 die derzeitige obere Helligkeitsgrenze Emax und die derzeitige untere Helligkeitsgrenze Emin nach der Aktualisierung sowie die gemittelte synthetische Luminanz Eave.
Danach führt die CPU 105 den Fehlerprozess aus (Schritt S308). Der Fehlerprozess von Schritt S308 umfasst (1) ein auf einen „AN“-Zustand Setzen eines NG-Merkers (NG flag) für das Untersuchungsergebnis bezüglich des derzeitigen Arbeitsstücks, (2) ein Ausgeben eines Fehlersignals hinsichtlich des verbundenen PLC und dergleichen und (3) ein Abspeichern der derzeitigen Eingangsbilddaten. Der Prozess springt dann zurück.
Wenn die obere Helligkeitsgrenze Emax nach der Aktualisierung nicht größer als die obere Helligkeitsfolgegrenze ist (Nein in Schritt S302), springt der Prozess ohne die Ausführung anderer Prozesse zurück.
(Einstellungsmodus)
23 ist ein Flussdiagramm, das einen Prozess in dem „Einstellungsmodus“ in dem Bildverarbeitungsgerät gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt. Das Flussdiagramm, das in 23 gezeigt ist, wird ausgeführt, wenn die CPU 105 das Programm, das im Voraus auf der Festplatte 107 und dergleichen gespeichert ist, in den Speicher 106 ausliest und das Programm ausführt.
Unter Bezugnahme auf 23 bewirkt die CPU 105, dass die Bildgebungseinheit 8 das Arbeitsstück 2 mit allen Belichtungszeiten und entsprechend der Anzahl von Fotografien fotografiert, die bei der Bildgebungseinheit 8 eingestellt werden kann (Schritt S400). Die CPU 105 bestimmt dann, ob die Durchführung der Fotografien entsprechend der notwendigen Anzahl abgeschlossen ist oder nicht (Schritt S402). Wenn die Durchführung der Fotografien entsprechend der notwendigen Anzahl nicht abgeschlossen ist (Nein in Schritt S402), wiederholt die CPU 105 den Prozess von Schritt S402.
Wenn die Durchführung der Fotografien entsprechend der notwendigen Anzahl abgeschlossen ist (Ja in Schritt S402), führt die CPU 105 die Bildsynthetisierungsprozesssubroutine (Einstellungsmodus) aus (Schritt S404). Die synthetischen Bilddaten werden aus den fotografierten Eingangsbilddaten durch Ausführung der Bildsynthetisierungsprozesssubroutine (Betriebsmodus) erzeugt. Die CPU 105 zeigt dann die erzeugten synthetischen Bilddaten an dem Monitor 102 und dergleichen an (Schritt S406).
Die CPU 105 erzeugt dann ein Histogramm basierend auf der synthetischen Luminanz Ei, die in den erzeugten synthetischen Bilddaten enthalten ist (Schritt S408).
Die CPU 105 bestimmt dann, ob die Einstellung des oberen und unteren Helligkeitsgrenzbereichs durch den Benutzer verändert ist oder nicht (Schritt S410). Wenn die Einstellung des oberen und unteren Helligkeitsgrenzbereich nicht verändert ist (Nein in Schritt S410), bestimmt die CPU 105, ob die Einstellung des oberen und unteren Helligkeitsfolgegrenzbereichs geändert ist oder nicht (Schritt S412).
Wenn die Einstellung des oberen und unteren Helligkeitsgrenzbereichs geändert ist (Ja in Schritt S410) oder wenn die Einstellung des oberen und unteren Helligkeitsfolgegrenzbereichs geändert ist (Ja in Schritt S412), bestimmt die CPU 105, ob der obere und untere Helligkeitsgrenzbereich innerhalb des Bereichs des oberen und unteren Helligkeitsfolgegrenzbereichs nach der Änderung ist oder nicht (Schritt S414). Wenn der obere und untere Helligkeitsgrenzbereich innerhalb des Bereichs des oberen und unteren Helligkeitsfolgebereichs nach der Änderung ist (Nein in Schritt S414), wird die Annahme der Einstellungsänderung zurückgewiesen (Schritt S416). Wenn der obere und untere Helligkeitsgrenzbereich innerhalb des oberen und unteren Helligkeitsfolgegrenzbereichs nach der Änderung ist (Ja in Schritt S414), wird die Einstellungsänderung effektiv bzw. wirksam angenommen (Schritt S418). Darüber hinaus bestimmt die CPU 105 die Belichtungszeit und die Anzahl von Fotografien (für den „Betriebsmodus“) durch die Bildgebungseinheit 108, um den Helligkeitsbereich des oberen und unteren Helligkeitsfolgegrenzbereichs abzudecken (Schritt S420).
Wenn die Einstellung des oberen und unteren Helligkeitsfolgegrenzbereichs nicht geändert ist (Nein in Schritt S412) oder nach der Durchführung des Schritts S416 oder S420, bestimmt die CPU 105, ob die Einstellung des Folgebereichs durch den Benutzer geändert ist oder nicht (Schritt S422). Wenn die Einstellung des Folgebereichs geändert ist (Ja in Schritt S422), mittelt die CPU 105 die synthetische Luminanz Ei von jedem Pixel, das in dem Folgebereich enthalten ist, und berechnet die gemittelte synthetische Luminanz Eave (Schritt S424). Die CPU 105 speichert dann die gespeicherte gemittelte synthetische Luminanz Eave ab (Schritt S426).
Die CPU 105 bestimmt dann, ob eine Anweisung zum Umschalten der Betriebsweise bzw. Modi zur Verfügung gestellt ist oder nicht (Schritt S428). Wenn die Anweisung zum Umschalten von Modi nicht zur Verfügung gestellt ist (Nein in Schritt S428), führt die CPU 105 wiederholt die Prozesse nach dem Schritt S400 aus.
Wenn die Anweisung zum Umschalten von Modi zur Verfügung gestellt wird (Ja in Schritt S428), geht die CPU 105 zu dem „Betriebsmodus“ über (Schritt S430). Der Prozess, der in 20 gezeigt ist, wird dann ausgeführt.
ζBildsynthetisierungsprozesssubroutine (Einstellungsmodus))
24 ist ein Flussdiagramm, das die Verarbeitung in der Bildsynthetisierungsprozesssubroutine (Einstellungsmodus) zeigt. Das Flussdiagramm, das in 24 gezeigt ist, wird durch die CPU 105 umgesetzt, die das Programm, das im Voraus auf der Festplatte 107 und dergleichen gespeichert ist, in den Speicher 106 ausliest und das Programm ausführt.
Unter Bezugnahme auf 24 legt die CPU 105 die Koordinatenposition i auf den Anfangswert (i = 1) fest (Schritt S500) und erlangt die Farbinformationen und die Luminanz von jedem Pixel entsprechend der Koordinatenposition i von einer Vielzahl von Eingangsbilddaten (Schritt S502).
Die CPU 105 berechnet dann die synthetische Luminanz Ei bei der Koordinatenposition i basierend auf jeder der Luminanzen der Pixel entsprechend der Koordinatenposition i von einer Vielzahl von Eingangsbilddaten (Schritt S504) und berechnet ebenso den Tonwert bzw. die Farbhelligkeit Yi aus der synthetischen Luminanz Ei basierend auf den Anfangswerten Emax0 und Emin0 des vom Benutzer eingestellten oberen und unteren Helligkeitsgrenzbereichs (Schritt S506).
Auf ähnliche Weise berechnet die CPU 105 die synthetischen Farbinformationen (ri, gi, bi) der Koordinatenposition i basierend auf der Luminanz und den Farbinformationen von jedem Pixel entsprechend der Koordinatenposition i von einer Vielzahl von Eingangsbilddaten (Schritt S508).
Die CPU 105 berechnet ebenso die absoluten Farbinformationen (Ri, Gi, Bi) bei der Koordinate der Koordinatenposition i der synthetischen Bilddaten durch Multiplizieren des berechneten Tonwerts bzw. der berechneten Farbhelligkeit Yi mit den synthetischen Farbinformationen (ri, gi, bi) der Koordinatenposition i (Schritt S510).
Die CPU 105 bestimmt dann, ob die Koordinatenposition i die letzte Koordinate, die in den Eingangsbilddaten enthalten ist, ist (Schritt S512). Wenn die Koordinatenposition i nicht die letzte Koordinate, die in den Eingangsbilddaten enthalten ist, ist (Nein in Schritt S512), fügt die CPU 105 „1“ zu der derzeitigen Koordinatenposition i hinzu (Schritt S514) und springt zu dem Prozess folgend zu Schritt S502 zurück.
Wenn die Koordinatenposition i die letzte Koordinate, die in den Eingangsbilddaten enthalten ist, ist (Ja in Schritt S512), gibt die CPU 105 die synthetischen Bilddaten einschließlich der absoluten Farbinformationen (Ri, Gi, Bi) bei jeder Koordinatenposition aus (Schritt S516). Der Prozess springt dann zurück.
<Wirkungen des vorliegenden Ausführungsbeispiels>
Gemäß dem Ausführungsbeispiel der vorliegenden Erfindung wird der Messgegenstand (Arbeitsstück) mit der Belichtungszeit und entsprechend der Anzahl von Fotografien entsprechend dem oberen und unteren Helligkeitsfolgegrenzbereich, der breiter ist als der von dem Benutzer eingestellte obere und untere Helligkeitsgrenzbereich, fotografiert. Daher wird der Messgegenstand in dem dynamischen Bereich entsprechend dem oberen und unteren Helligkeitsfolgegrenzbereich fotografiert. Da die Luminanz in dem oberen und unteren Helligkeitsgrenzbereich in den effektiven Tonwert bzw. die effektive Farbhelligkeit von solchen fotografierten Daten umgewandelt wird, werden die Daten als synthetische Bilddaten erzeugt.
Selbst wenn die Fotografierumgebung (insbesondere Beleuchtungsumgebung) variiert, kann der Messgegenstand effektiv fotografiert werden, wenn solche eine Variation innerhalb des oberen und unteren Helligkeitsfolgegrenzbereichs ist. Die Übereinstimmungsbeziehung, anhand derer der Luminanzbereich zu dem effektiven Tonwert konvertiert wird, wird sequentiell gemäß der Fotografierumgebung aktualisiert, so dass der Einfluss der Fotografierumgebung in dem schließlich erzeugten synthetischen Bilddaten ausgeschlossen werden kann.
Deshalb können die synthetischen Bilddaten einschließlich der effektiven Bildinformationen erzeugt werden, ohne dem Einfluss der Variation bzw. Veränderung der Fotografierumgebung ausgesetzt zu sein.
Gemäß dem Ausführungsbeispiel der vorliegenden Erfindung wird der zeitliche Änderungsverlauf des oberen und unteren Helligkeitsgrenzbereichs überwacht. Daher kann der Benutzer die Validität bzw. Gültigkeit und dergleichen des Ausmaßes der Fotografierumgebung und des eingestellten oberen und unteren Helligkeitsfolgegrenzbereichs durch Bezugnahme auf den zeitlichen Änderungsverlauf des oberen und unteren Helligkeitsgrenzbereich verifizieren. Darüber hinaus können die Prozesse, solche wie das Verbessern der Beleuchtungseinrichtung der Fertigungslinie und der Änderung der Einstellung des oberen und unteren Helligkeitsfolgegrenzbereichs basierend auf solch einer Verifikation ausgeführt werden.
Der Helligkeitsfolgeprozess kann daher geeignet ausgeführt werden und das Auftreten von einem Messfehler und dergleichen durch die Änderung der Fotografierumgebung kann unterdrückt werden.
Der Fehlerprozess wird ausgeführt, wenn der obere und untere Helligkeitsgrenzbereich von dem oberen und unteren Helligkeitsfolgegrenzbereich abweicht. Für den Benutzer kann es daher ersichtlich sein, dass der Helligkeitsfolgeprozess nicht angemessen durch Ausführung eines solchen Fehlerprozesses ausgeführt wird. Der Benutzer kann ebenso erkennen, dass Prozesse, solche wie das Verbessern der Beleuchtungseinrichtung der Fertigungslinie und der Änderung der Einstellung des oberen und unteren Helligkeitsfolgegrenzbereichs, notwendig sind.
[Erste Abwandlung des Ausführungsbeispiels]
Bei dem Bildverarbeitungsgerät gemäß dem oben beschriebenen Ausführungsbeispiel wurde ein Aufbau bzw. eine Konfiguration zum Verändern des Bereichs der synthetischen Luminanz Ei veranschaulicht, die zu einem effektiven Tonwert umgewandelt wird, nämlich durch Aktualisieren des oberen und unteren Helligkeitsgrenzbereichs gemäß der Schwankung der „Helligkeit“ durch die Variation bzw. Veränderung der Fotografierumgebung. Bei der ersten Abwandlung wird ein Aufbau bzw. eine Konfiguration zum Erhalten ähnlicher Wirkungen durch Korrigieren der berechneten synthetischen Luminanz Ei selbst veranschaulicht.
Der Gesamtsteuerungsaufbau eines Bildverarbeitungsgeräts gemäß der ersten Abwandlung ist ähnlich zu 5, anders als die Steuerungsstruktur der Folgeeinheit, und daher wird die diesbezügliche ausführliche Beschreibung nicht wiederholt.
Die 25 ist eine Funktionsblockdarstellung, die eine ausführliche Steuerungsstruktur einer Folgeeinheit 230A gemäß der ersten Abwandlung des Ausführungsbeispiels der vorliegenden Erfindung zeigt.
Unter Bezugnahme auf 25 umfasst die Folgeeinheit 230A gemäß der ersten Abwandlung den Extrahierungsabschnitt 2331, den Mittelungsabschnitt 2332, den Abweichungsberechnungsabschnitt 2333, den Anfangswertspeicherabschnitt 2334, einen Korrekturabschnitt 2335A und einen Überwachungsabschnitt 2336A. Der Extrahierungsabschnitt 2331, der Mittelungsabschnitt 2332, der Abweichungsberechnungsabschnitt 2333 und der Anfangswertspeicherabschnitt 2334 sind ähnlich zu denen der Folgeeinheit 230, die in 12 gezeigt ist, weshalb eine diesbezügliche ausführliche Beschreibung nicht wiederholt wird.
Der Korrekturabschnitt 2335A der Folgeeinheit 230A gemäß der ersten Abwandlung korrigiert (verlagert) die synthetische Luminanz Ei von jedem Pixel, das in der Luminanzsynthetisierungseinheit 210 ( 5) berechnet wird, basierend auf der Abweichung ΔE hinsichtlich der anfänglichen synthetischen Luminanz E0 der gemittelten synthetischen Luminanz Eave. Mit anderen Worten substrahiert der Korrekturabschnitt 2335A die Abweichung ΔE entsprechend dem Betrag der Verlagerung von der synthetischen Luminanz Ei, um die Verlagerung der Verteilung der synthetischen Luminanz Ei, wie sie in 10 gezeigt ist, zu der Ursprungsposition zurückzuführen. Insbesondere berechnet der Korrekturabschnitt 2335A die synthetische Luminanz (nach der Korrektur) #Ei gemäß der folgenden mathematischen Gleichung. $\begin{array}{l} Synthetische Luminanz (nach der Korrektur) #Ei = synthetische Lumi - \\ nanz Ei - Abweichung Δ E \end{array}$
Die Tone-Mapping-Einheit 214 (5) berechnet den entsprechenden Tonwert Yi bezüglich der synthetischen Luminanz (nach der Korrektur). In diesem Fall wird der obere und untere Helligkeitsgrenzbereich, der in der Tone-Mapping-Einheit 214 (5) verwendet wird, als der anfänglich eingestellte obere und untere Helligkeitsgrenzbereich aufrechterhalten.
Der Überwachungsabschnitt 2336A stellt ein Vorliegen einer Abnormalität des Helligkeitsfolgeprozesses, der Benutzerführung und der gleichen basierend auf der Größe der Abweichung ΔE zur Verfügung. Der Inhalt des bestimmten Prozesses ist ähnlich dem Überwachungsabschnitt 2336, der oben beschrieben ist, weshalb die diesbezügliche ausführliche Beschreibung nicht wiederholt wird.
Andere Steuerungsstrukturen, Verarbeitungsprozeduren und dergleichen sind ähnlich zu dem oben beschriebenen Ausführungsbeispiel, weshalb die ausführliche Beschreibung davon nicht wiederholt wird.
[Zweite Abwandlung des Ausführungsbeispiels]
In dem Bildverarbeitungsgerät gemäß dem oben beschriebenen Ausführungsbeispiel wurde ein Beispiel zum Berechnen der synthetischen Luminanz Ei von jedem Pixel basierend auf dem Logarithmus des Wertes (= g(Z_i,j)/Δt_j), der durch Normieren der Luminanz von jedem Pixel, wie in Gleichung (1) gezeigt ist, erhalten wird, beschrieben. Anstelle eines solchen Berechnungsverfahrens kann eine gewichtete Mittelung mit Gewicht (zusätzliche Berechnung) für den Wert, der durch die Normierung der Luminanz von jedem Pixel erhalten wird, berechnet werden, wobei dann zum Berechnen der synthetischen Luminanz Ei von dem Pixel logarithmiert werden kann. Ein Fall, bei dem ein solches Berechnungsverfahren verwendet wird, ist untenstehend beschrieben.
Insbesondere wird die Berechnungsformel der synthetischen Luminanz Ei von jedem Pixel gemäß der zweiten Abwandlung mit der Gleichung (3) ausgedrückt. $In E_{i} = In (\frac{\sum_{i = j}^{P} w (Z_{i, j}) \cdot \frac{g (Z_{i, j})}{Δ t_{j}} \cdot C}{\sum_{j = 1}^{P} w (Z_{i, j})})$
Dabei ist:

w(Z): Gewichtsfunktion
g(Z): Antwortfunktion des Bildgebungselements
Z_i,J: Luminanzinformationen bei der Koordinatenposition i des j^th Eingangsbildbezugs
Δt_J: Belichtungszeit des j^th Eingangsbildbezugs

In Gleichung (3) ist der Ausdruck „(g(Z_i,j)/Δt_j)“ äquivalent zu dem Wert, der durch die Normierung der Luminanz von jedem Pixel in jedem der Eingangsbilddaten mit der Belichtungszeit und der Beurteilung als „Helligkeit“ erhalten wird. Der Logarithmus wird nach der Berechnung (zusätzlicher Prozess) der gewichteten Mittelung mit Gewicht hinsichtlich des normierten Werts berechnet.
[Dritte Abwandlung des Ausführungsbeispiels]
In dem Bildverarbeitungsgerät gemäß dem oben beschriebenen Ausführungsbeispiel wurde ein Beispiel zum Berechnen der synthetischen Luminanz Ei von jedem Pixel basierend auf dem Logarithmus des Werts (= g(Z_i,j)/Δt_j), der durch Normieren der Luminanz jedes Pixels erhalten wird, beschrieben, wie in Gleichung (1) gezeigt ist. Anstelle eines solchen Berechnungsverfahrens kann eine gewichtete Mittelung mit Gewicht (zusätzliche Berechnung) für den Wert, der durch Normieren der Luminanz von jedem Pixel erhalten wird, berechnet werden, wobei dann die Gammakorrektur (γ-Leistung) durchgeführt werden kann, um die synthetische Luminanz Ei von jedem Pixel zu berechnen. Ein Fall, bei dem ein solches Berechnungsverfahren verwendet wird, ist untenstehend veranschaulicht.
Insbesondere wird die Berechnungsformel der synthetischen Luminanz Oi nach der Gammakorrektur von jedem Pixel gemäß der dritten Abwandlung mit der Gleichung (4.1) ausgedrückt, wobei die Berechnungsformel der synthetischen Luminanz Ei mit der Gleichung (4.2) ausgedrückt wird. $O_{i} = a \cdot E_{l}^{Y} + b$
$E_{i} = \frac{\sum_{i = j}^{P} w (Z_{i, j}) \cdot \frac{g (Z_{i, j})}{Δ t_{j}} \cdot C}{\sum_{j = 1}^{P} w (Z_{i, j})}$
Dabei ist:

In Gleichung (4.1) ist γ eine Variable zum Einstellen des Gammakorrekturbetrags und a und b sind Konstanten, die auf irgendeinen Wert festgelegt werden können. Die Gammakorrektur zeigt eine Zwischenkorrektureigenschaft der logarithmischen Umwandlung und der linearen Umwandlung, wie bei der zweiten Abwandlung gezeigt ist, deren Korrekturbetrag durch die Größe von γ bestimmt wird. Mit anderen Worten wird, wenn γ = 1, die lineare Umwandlung (gewichtete Mittelung mit Gewicht) gezeigt, und wenn γ → 0, wird die Korrekturcharakteristik annähernd zu der logarithmischen Umwandlung gezeigt. Wenn 0 < γ < 1, wird eine Zwischenkorrektureigenschaft der linearen Umwandlung und der logarithmischen Umwandlung gezeigt.
In Gleichung (4.2) ist der Ausdruck „(g(Z₁,_j)/At,)“ äquivalent zu dem Wert, der durch die Normierung der Luminanz von jedem Pixel in jeden der Eingangsbilddaten mit der Belichtungszeit und der Beurteilung als „Helligkeit“ erhalten wird. Die gewichtete Mittelung mit Gewicht wird in Bezug auf den normierten Wert berechnet.
[Andere Ausführungsbeispiele]
Das Programm gemäß der vorliegenden Erfindung kann ein Aufrufen eines notwendigen Moduls von den Programmmodulen, die als Teil des Betriebssystems (OS) des Computers zur Verfügung gestellt werden, mit einem vorbestimmten Array und einer vorbestimmten Zeitgebung und ein Ausführen des Prozesses umfassen. In solch einem Fall ist das Modul nicht in dem Programm selbst enthalten, wobei der Prozess in Zusammenwirkung mit dem OS ausgeführt wird. Das Programm, das nicht das Modul umfasst, wird ebenso von dem Programm der vorliegenden Erfindung umfasst.
Das Programm gemäß der vorliegenden Erfindung kann durch Aufnahme in einem Teil eines anderen Programms zur Verfügung gestellt werden. In solch einem Fall umfasst das Programm selbst das Modul ebenso nicht, das in anderen Programmen enthalten ist, wobei der Prozess in Zusammenwirkung mit anderen Programmen ausgeführt wird. Das Programm, das in solchen anderen Programmen aufgenommen ist, wird von dem Programm der vorliegenden Erfindung ebenso umfasst.
Das zur Verfügung zu stellende Programmprodukt wird durch Installieren in einer Programmspeichereinheit, solch einer wie einer Festplatte, ausgeführt. Das Programmprodukt umfasst das Programm selbst und das Aufzeichnungsmedium, auf welchem das Programm gespeichert ist.
Einige oder alle der Funktionen, die durch das Programm der vorliegenden Erfindung ausgeführt werden, können als dedizierte Hardware ausgestaltet sein.
Die Ausführungsbeispiele, die hierin offenbart sind, sind in all ihren Aspekten illustrativ und sollten nicht derart ausgelegt werden, dass diese einschränkend sind. Der Schutzumfang der Erfindung wird vielmehr durch die Ansprüche als durch die obige Beschreibung definiert, wobei beabsichtigt ist, dass sämtliche Modifikationen, die äquivalent zu der Bedeutung der Ansprüche sind und innerhalb des Schutzumfangs liegen, von der Erfindung umfasst werden.

Claims

Bildverarbeitungsgerät, das mit einer Bildgebungseinheit (8) und einer Anzeigeeinheit (102) verbunden ist, wobei die Bildgebungseinheit (8) ein Bildgebungselement umfasst, das in eine Vielzahl von Pixel unterteilt ist und eine veränderbaren Belichtungsbedingung aufweist, wobei die Bildverarbeitungseinheit aufweist: eine Erlangungseinheit (200) zum Erlangen einer Vielzahl von Bilddaten zur Erzeugung eines synthetischen Bildes welches in einem Tonbereich ausgedrückt wird der größer als ein Anzeigevermögen der Anzeigeeinheit (102) ist durch Bewirken, dass die Bildgebungseinheit (8) einen Fotografierbereich mehrfach unter unterschiedlichen Belichtungsbedingungen fotografiert; eine Berechnungseinheit (210) zum Berechnen einer Luminanzverteilung entsprechend einer Verteilung einer Lichtenergie, die in das Bildgebungselement eintritt, basierend auf der Vielzahl der Bilddaten und der Belichtungsbedingung entsprechend der einzelnen Bilddaten; eine Umwandlungseinheit (214) zum Umwandeln der Luminanzverteilung in eine Verteilung eines Tonwerts in einem numerischen Vorgabebereich, der an der Anzeigeeinheit (102) angezeigt wird, wobei die Umwandlungseinheit (214) dazu eingerichtet ist, die Umwandlung durch Zuordnen eines Luminanzwerts innerhalb eines ersten Luminanzbereichs entsprechend dem Tonwert in dem Tonbereich der Anzeigeeinheit (102) durchzuführen, wobei der erste Luminanzbereich auf einen Luminanzbereich eingestellt wird, der in der Luminanzverteilung ausgedrückt werden soll; eine Einstelleinheit (430) zum Annehmen eines zweiten Luminanzbereichs, in dem die Aktualisierung des ersten Luminanzbereichs zugelassen wird, in der Luminanzverteilung; und eine Aktualisierungseinheit (105) zum Aktualisieren einer Position des ersten Luminanzbereichs in dem zweiten Luminanzbereich basierend auf einer Änderung der Fotografierumgebung und zum Bestimmen der Änderung der Fotografierumgebung basierend auf der Lichtenergie, die in das Bildgebungselement eintritt.
Bildverarbeitungsgerät gemäß Anspruch 1, weiterhin aufweisend eine Darstellungseinheit zum Bewirken, dass die Anzeigeeinheit (102) die Luminanzverteilung darstellt, wobei die Aktualisierungseinheit (105) den eingestellten zweiten Luminanzbereich mit der Luminanzverteilung zeitgleich anzeigt.
Bildverarbeitungsgerät gemäß Anspruch 1, wobei die Aktualisierungseinheit (105) weiterhin aufweist eine Einheit (402) zum Annehmen einer Bereichseinstellung in Bezug auf die Bilddaten, die durch die Bildgebungseinheit (8) aufgenommen werden, und eine Einheit zum Verlagern einer Position unter Aufrechterhaltung einer Breite des ersten Luminanzbereichs basierend auf der Luminanz von einem Pixel, für welches die Bereichseinstellung durchgeführt wurde.
Bildverarbeitungsgerät gemäß Anspruch 3, wobei die Aktualisierungseinheit (105) weiterhin eine Einheit (2336) zum Ausführen eines Fehlerprozesses aufweist, wenn ein Teil des ersten Luminanzbereichs auf außerhalb des zweiten Luminanzbereichs liegend aktualisiert wird.
Bildverarbeitungsgerät gemäß Anspruch 3, wobei die Aktualisierungseinheit (105) weiterhin eine Einheit (404) zum Anzeigen eines zeitlichen Änderungsverlaufs des ersten Luminanzbereichs an der Anzeigeeinheit aufweist.
Bildverarbeitungsgerät gemäß Anspruch 5, wobei die Aktualisierungseinheit (105) weiterhin eine Einheit zum Einstellen des zweiten Luminanzbereichs basierend auf dem zeitlichen Änderungsverlauf des ersten Luminanzbereichs aufweist.
Bildverarbeitungsgerät gemäß Anspruch 1, wobei die Aktualisierungseinheit (105) weiterhin eine Einheit zum Annehmen eines Anfangswerts des ersten Luminanzbereichs aufweist, wobei ein einstellbarer Bereich des Anfangswerts des ersten Luminanzbereichs auf innerhalb des zweiten Luminanzbereichs liegend begrenzt ist.
Bildverarbeitungsgerät gemäß Anspruch 1, weiterhin aufweisend eine Erzeugungseinheit (212) zum Erzeugen von synthetischen Bilddaten basierend auf Farbinformationen, die in der Vielzahl von Bilddaten enthalten sind, und dem Tonwert des entsprechenden Pixels.
Bildverarbeitungsgerät gemäß Anspruch 1, wobei die Berechnungseinheit (210) die Luminanzwertverteilung entsprechend der Verteilung der Lichtenergie, die in das Bildgebungselement eintritt, durch Berechnen eines Luminanzwerts, der der Lichtenergie, die in das Bildgebungselement eintritt, entspricht und basierend auf der Vielzahl von Bilddaten und der Belichtungsbedingung entsprechend der einzelnen Bilddaten erhalten wird, wobei der Luminanzwert eine konstante oder größere Luminanzauflösung innerhalb eines effektiven dynamischen Bereichs aufweist, berechnet, wobei der erste Luminanzbereich ein Bereich ist, der kleiner als der effektive dynamische Bereich ist, und wobei die Aktualisierungseinheit (105) den ersten Luminanzbereich, der dem Tonwert in der Umwandlungseinheit (214) entspricht, zu einem aktualisierten Bereich als einem aktualisierten ersten Luminanzbereich, der in dem effektiven dynamischen Bereich umfasst ist und zusätzlich kleiner als der effektive dynamische Bereich ist und der sich von dem ersten Luminanzbereich unterscheidet, gemäß der Variation der Lichtenergie, die in das Bildgebungselement eintritt, aktualisiert.
Bildverarbeitungsgerät gemäß Anspruch 9, weiterhin aufweisend eine Anzeigeeinheit (102) zum Anzeigen einer Vorgabebereichtonwertverteilung.
Bildverarbeitungsgerät gemäß Anspruch 9, weiterhin aufweisend: eine Einheit (402) zum Annehmen einer Bereichseinstellung in Bezug auf die Bilddaten, die durch die Bildgebungseinheit (8) aufgenommen werden, wobei die Aktualisierungseinheit (105) den ersten Luminanzbereich zu dem aktualisierten ersten Luminanzbereich derart aktualisiert, dass eine Tonwertverteilung in der Bereichseinstellung, die durch Umwandlung durch die Umwandlungseinheit (214) erhalten wird, nach der Aktualisierung im Wesentlichen die gleiche wie die Tonwertverteilung vor der Aktualisierung ist.
Bildverarbeitungsgerät gemäß Anspruch 11, wobei die Aktualisierungseinheit (105) eine Aktualisierung des aktualisierten ersten Luminanzbereichs, der eine Breite eines dynamischen Bereichs, die gleich einer Breite des dynamischen Bereichs des ersten Luminanzbereichs ist, aufweist, durchführt.
Bildverarbeitungsgerät gemäß Anspruch 9, wobei die Aktualisierungseinheit (105) eine Einheit zum Annehmen des zweiten Luminanzbereichs umfasst.
Bildverarbeitungsgerät gemäß Anspruch 13, weiterhin aufweisend eine Anzeigeeinheit (102) zum zeitgleichen Anzeigen des Luminanzwerts des zweiten Luminanzbereichs mit dem Luminanzwert des effektiven dynamischen Bereichs.
Bildverarbeitungsgerät gemäß Anspruch 9, wobei die Aktualisierungseinheit (105) weiterhin eine Einheit (2336) zum Ausführen eines Fehlerprozesses aufweist, wenn ein Teil des aktualisierten ersten Luminanzbereichs auf außerhalb des effektiven dynamischen Bereichs liegend aktualisiert wird.
Bildverarbeitungsgerät gemäß Anspruch 9, wobei die Aktualisierungseinheit (105) weiterhin eine Einheit zum Annehmen eines Anfangswerts des ersten Luminanzbereichs aufweist, und wobei ein einstellbarer Bereich des Anfangswerts des ersten Luminanzbereichs auf innerhalb des effektiven dynamischen Bereichs liegend begrenzt ist.
Bildverarbeitungsverfahren in einem Gerät, das mit einer Bildgebungseinheit (8) und einer Anzeigeeinheit (102) verbunden ist, wobei die Bildgebungseinheit (8) ein Bildgebungselement umfasst, das in eine Vielzahl von Pixel unterteilt ist, wobei das Verfahren die folgenden Schritte aufweist: Annehmen eines ersten Luminanzbereichs über eine Luminanz, wobei der erste Luminanzbereich ein Luminanzbereich ist, der in der Anzeigeeinheit (102) ausgedrückt werden soll; Annehmen eines zweiten Luminanzbereichs, der den ersten Luminanzbereich umfasst; Erlangen einer Vielzahl von Bilddaten zur Erzeugung eines synthetischen Bildes welches in einem Tonbereich ausgedrückt wird der größer als ein Anzeigevermögen der Anzeigeeinheit (102) ist durch Bewirken, dass die Bildgebungseinheit (8) einen Fotografierbereich mehrfach unter unterschiedlichen Belichtungsbedingungen fotografiert; Berechnen einer Luminanzverteilung entsprechend einer Verteilung einer Lichtenergie, die in das Bildgebungselement eintritt, basierend auf der Vielzahl von Bilddaten; Bestimmen einer Änderung der Fotografierumgebung basierend auf der Lichtenergie, die in das Bildgebungselement eintritt; Aktualisierung einer Position des ersten Luminanzbereichs in dem zweiten Luminanzbereich basierend auf der Änderung der Fotografierumgebung; und Umwandeln der Luminanzverteilung in eine Verteilung eines Tonwerts, der an der Anzeigeeinheit (102) angezeigt wird durch Zuordnen eines Luminanzwerts innerhalb des aktualisierten ersten Luminanzbereichs entsprechend dem Tonwert in dem Tonbereich der Anzeigeeinheit (102) nach der Aktualisierung.