DE112021002004T5

DE112021002004T5 - Bildverarbeitungseinrichtung, Bildverarbeitungsverfahren und Generierungsverfahren von 3D-Modell-Daten

Info

Publication number: DE112021002004T5
Application number: DE112021002004.8T
Authority: DE
Inventors: Yuichi Araki
Original assignee: Sony Group Corp
Current assignee: Sony Group Corp
Priority date: 2020-03-30
Filing date: 2021-03-17
Publication date: 2023-03-02
Also published as: WO2021200143A1; US20230087663A1; JPWO2021200143A1

Abstract

Die vorliegende Offenbarung betrifft eine Bildverarbeitungseinrichtung, ein Bildverarbeitungsverfahren und ein Generierungsverfahren von 3D-Modell-Daten, die die Anpassung der Bildaufnahmeumgebung ermöglichen. Die Bildverarbeitungseinrichtung ist mit einer Anpassungseinheit bereitgestellt, die Kameraparameter auf der Grundlage des Ergebnisses eines Vergleichs zwischen einem Referenzbild, das auf Bildern eines gegebenen Subjekts, die zu unterschiedlichen Zeitpunkten aufgenommen wurden, basiert, und einem aufgenommenen Bild des gleichen Subjekts, das in der momentanen Umgebung aufgenommen wurde, anpasst. Die vorliegende Offenbarung ist auf Bildverarbeitungssysteme anwendbar, einschließlich solcher für eine Bildgebung zur 3D-Modell-Generierung.

Description

TECHNISCHES GEBIET
Die vorliegende Offenbarung betrifft eine Bildverarbeitungseinrichtung, ein Bildverarbeitungsverfahren und ein Generierungsverfahren von 3D-Modell-Daten und insbesondere eine Bildverarbeitungseinrichtung, ein Bildverarbeitungsverfahren und ein Generierungsverfahren von 3D-Modell-Daten, die in der Lage sind, eine Bildaufnahmeumgebung leicht anzupassen.
STAND DER TECHNIK
Es gibt eine Technik des Generierens eines 3D-Modells eines Subjekts aus einem bewegten Bild, das von mehreren Blickwinkeln aus aufgenommen wurde, das ein Bild des 3D-Modells aus einem virtuellen Blickwinkel generiert, das mit einer beliebigen Betrachtungsposition übereinstimmt, und dadurch ein Bild aus einem freien Blickwinkel bereitstellt. Diese Technik wird auch als volumetrische Aufnahme oder dergleichen bezeichnet.
Gemäß der volumetrischen Aufnahme ist es möglich, beispielsweise 3D-Modelle in Einheiten von Objekten, wie etwa Personen, zu generieren, und Bilder aus virtuellen Blickwinkeln zu generieren, die zu unterschiedlichen Zeitpunkten generiert wurden und eine Vielzahl von Objekten aufweisen. In einem solchen Fall gibt es eine Anforderung zum Abgleichen jeweiliger Bildaufnahmeumgebungen, in denen eine Vielzahl von Objekten generiert wird.
Es wurde beispielsweise ein System vorgeschlagen, das eine Steuerung derart durchführt, dass eine Beleuchtungssituation zu einem Zeitpunkt, in dem vorher ein Hintergrundbild im Freien aufgenommen wurde, wiedergegeben werden kann, wenn ein Vordergrundbild aufgenommen wird (siehe beispielsweise Patentschrift 1.).
ZITIERTE LITERATUR
PATENTSCHRIFT
Patentschrift 1: Japanische ungeprüfte Offenlegungsschrift Nr. 2012-175128
KURZFASSUNG DER ERFINDUNG
DURCH DIE ERFINDUNG ZU LÖSENDE AUFGABEN
Während der Bildaufnahme zu einem Zeitpunkt der Generierung eines 3D-Modells werden Bilder eines Subjekts von unterschiedlichen Blickwinkeln aus unter Verwendung mehrerer Bildaufnahmeeinrichtungen aufgenommen und deshalb ist ein Vorgang zum Abgleichen von Bildaufnahmeumgebungen schwierig.
Die vorliegende Offenbarung wurde im Hinblick auf eine solche Situation erstellt und ermöglicht es, eine Bildaufnahmeumgebung leicht anzupassen.
LÖSUNGEN DER AUFGABEN
Eine Bildverarbeitungseinrichtung gemäß einem Aspekt der vorliegenden Offenbarung weist eine Anpassungseinheit auf, die Kameraparameter auf Grundlage eines Vergleichsergebnisses zwischen einem Referenzbild, das auf Bildern basiert, die durch Aufnehmen von Bildern eines vorgegebenen Subjekts zu unterschiedlichen Zeitpunkten erhalten werden, und einem aufgenommenen Bild, das durch Aufnehmen eines Bilds des gleichen Subjekts in einer momentanen Umgebung erhalten wird, anpasst.
Ein Bildverarbeitungsverfahren gemäß einem Aspekt der vorliegenden Offenbarung weist Anpassen von Kameraparametern auf Grundlage eines Vergleichsergebnisses zwischen einem Referenzbild, das auf Bildern basiert, die durch Aufnehmen von Bildern eines vorgegebenen Subjekts zu unterschiedlichen Zeitpunkten erhalten werden, und einem aufgenommenen Bild, das durch Aufnehmen eines Bilds des gleichen Subjekts in einer momentanen Umgebung erhalten wird, auf.
Ein Generierungsverfahren von 3D-Modell-Daten gemäß einem Aspekt der vorliegenden Offenbarung weist Folgendes auf: Generieren eines 3D-Modells eines zweiten Subjekts aus einer Vielzahl von zweiten aufgenommenen Bildern und Generieren eines Bilds aus einem virtuellen Blickwinkel, das das generierte 3D-Modell des zweiten Subjekts aus einem vorgegebenen Blickwinkel betrachtet, wobei die Vielzahl von zweiten aufgenommenen Bildern, die durch Aufnehmen von Bildern des zweiten Subjekts durch eine Vielzahl von Bildaufnahmeeinrichtungen erhalten wird, die Kameraparameter verwenden, die auf Grundlage eines Vergleichsergebnisses zwischen einem Referenzbild, das auf Bildern basiert, die durch Aufnehmen von Bildern eines ersten Subjekts zu unterschiedlichen Zeitpunkten erhalten werden, und einem ersten aufgenommenen Bild, das durch Aufnehmen eines Bilds des ersten Subjekts in einer momentanen Umgebung erhalten wird, erhalten werden, angepasst werden.
Gemäß einem Aspekt der vorliegenden Offenbarung werden die Kameraparameter auf der Grundlage des Vergleichsergebnisses zwischen dem Referenzbild, das auf den Bildern basiert, die durch Aufnehmen der Bilder des vorgegebenen Subjekts zu den unterschiedlichen Zeitpunkten erhalten werden, und dem aufgenommenen Bild, das durch Aufnehmen des Bilds des gleichen Subjekts in der momentanen Umgebung erhalten wird, angepasst.
Es wird angemerkt, dass die Bildverarbeitungseinrichtung gemäß einem Aspekt der vorliegenden Offenbarung verwirklicht werden kann, indem bewirkt wird, dass ein Computer ein Programm ausführt. Um die Bildverarbeitungseinrichtung zu verwirklichen, kann das von dem Computer ausgeführte Programm bereitgestellt werden, indem es über ein Übertragungsmedium übertragen wird oder indem es auf einem Aufzeichnungsmedium aufgezeichnet wird.
Bei der Bildverarbeitungseinrichtung kann es sich um eine unabhängige Einrichtung oder um einen internen Block, der eine Einrichtung bildet, handeln.
Figurenliste

1 ist eine Ansicht zum Beschreiben der Generierung eines 3D-Modells eines Subjekts und der Anzeige eines Bilds aus einem freien Blickwinkel.
2 ist eine Ansicht, die ein Beispiel für ein Datenformat von 3D-Modell-Daten veranschaulicht.
3 ist eine Ansicht zum Erläutern der Anpassung einer Bildaufnahmeumgebung.
4 ist ein Blockdiagramm, das eine erste Ausführungsform eines Bildverarbeitungssystems, auf das die vorliegende Offenbarung angewandt wird, veranschaulicht.
5 ist eine Ansicht, die ein Beispiel für Bildaufnahmeumgebungsdaten, die in einer Referenzkamerabild-DB gespeichert sind, veranschaulicht.
6 ist eine Ansicht zum Erläutern eines Ablaufs einer Verarbeitung zur Anpassung, die durch eine Bildverarbeitungseinrichtung ausgeführt wird.
7 ist ein Flussdiagramm, das die Verarbeitung des gesamten Bildverarbeitungssystems gemäß der ersten Ausführungsform veranschaulicht.
8 ist ein ausführliches Flussdiagramm einer Verarbeitung zur Auswahl der Referenzbildaufnahmeumgebung bei Schritt S1 in 7.
9 ist ein ausführliches Flussdiagramm der Verarbeitung zur Einstellung der Ausgangsbildaufnahmeumgebung bei Schritt S2 in 7.
10 ist ein ausführliches Flussdiagramm der Verarbeitung zur Anpassung der Bildaufnahmeumgebung bei Schritt S3 in 7.
11 ist ein ausführliches Flussdiagramm der Verarbeitung zur Anpassung der Kameraparameter bei Schritt S63 in 10.
12 ist ein ausführliches Flussdiagramm der Verarbeitung zur Registrierung der Bildaufnahmeumgebung bei Schritt S4 in 7.
13 ist ein Blockdiagramm, das eine zweite Ausführungsform eines Bildverarbeitungssystems, auf das die vorliegende Offenbarung angewandt wird, veranschaulicht.
14 ist eine Ansicht zum Erläutern der Verarbeitung zur Anpassung der Bildaufnahmeumgebung, die durch eine Anpassungseinheit für die Bildaufnahmeumgebung gemäß der zweiten Ausführungsform ausgeführt wird.
15 ist ein Flussdiagramm, das die Verarbeitung des gesamten Bildverarbeitungssystems gemäß der zweiten Ausführungsform veranschaulicht.
16 ist ein ausführliches Flussdiagramm der Verarbeitung zur Generierung eines Referenzbilds aus einem virtuellen Blickwinkel bei Schritt S153 in 15.
17 ist ein ausführliches Flussdiagramm der Verarbeitung zur Anpassung der Bildaufnahmeumgebung bei Schritt S154 in 15.
18 ist ein ausführliches Flussdiagramm der Verarbeitung zur Anpassung der Kameraparameter bei Schritt S193 in 17.
19 ist ein Blockdiagramm, das ein Konfigurationsbeispiel in einem Fall veranschaulicht, in dem die Bildverarbeitungseinrichtung eine Funktion als eine Anzeigeeinrichtung zur Wiedergabe des 3D-Modells ausführt.
20 ist ein Blockdiagramm, das ein Konfigurationsbeispiel einer Ausführungsform eines Computers veranschaulicht, auf das die vorliegende Offenbarung angewandt ist.

FUNKTIONSWEISE ZUM AUSFÜHREN DER ERFINDUNG
Im Folgenden werden Funktionsweisen zum Ausführen der vorliegenden Offenbarung (nachstehend als Ausführungsformen bezeichnet) Bezug nehmend auf die begleitenden Zeichnungen beschrieben. Es wird angemerkt, dass Komponenten, die in dieser Beschreibung und den Zeichnungen im Wesentlichen die gleiche funktionale Konfigurierung aufweisen, die gleichen Bezugszeichen zugewiesen werden, und auf eine redundante Beschreibung verzichtet wird. Die Beschreibung wird in der folgenden Reihenfolge gegeben.

1. Überblick über die volumetrische Aufnahme
2. Anpassung der Bildaufnahmeumgebung
3. Erste Ausführungsform des Bildverarbeitungssystems
4. Verarbeitung des Bildverarbeitungssystems gemäß der ersten Ausführungsform
5. Zweite Ausführungsform des Bildverarbeitungssystems
6. Verarbeitung des Bildverarbeitungssystems gemäß der zweiten Ausführungsform
7. Konfigurierung der Anzeigeeinrichtung zur Wiedergabe des 3D-Modells
8. Computerkonfigurationsbeispiel

<1. Überblick über die volumetrische Aufnahme>
Das Bildverarbeitungssystem gemäß der vorliegenden Offenbarung betrifft eine volumetrische Aufnahme, die ein 3D-Modell eines Subjekts aus bewegten Bildern generiert, das aus mehreren Blickwinkeln aufgenommen wurde, wodurch ein Bild aus einem virtuellen Blickwinkel des 3D-Modells generiert wird, das mit einer beliebigen Betrachtungsposition übereinstimmt und dadurch ein Bild aus einem freien Blickwinkel (Bild aus einem freien Blickwinkel) bereitstellt.
Deshalb wird die Generierung eines 3D-Modells eines Subjekts und die Anzeige eines Bilds aus einem freien Blickwinkel, welches das 3D-Modell verwendet, zuerst Bezug nehmend auf 1 kurz beschrieben.
Eine Vielzahl von aufgenommenen Bildern kann beispielsweise dadurch erhalten werden, dass man eine Vielzahl von Bildaufnahmeeinrichtungen einen vorgegebenen Bildaufnahmeraum abbilden lässt, in dem ein Subjekt, wie etwa eine Person, vom äußeren Rand des vorgegebenen Aufnahmeraums aus angeordnet wird. Die aufgenommenen Bilder weisen beispielsweise bewegte Bilder auf. Obwohl in dem Beispiel in 1 drei Bildaufnahmeeinrichtungen CAM1 bis CAM3 angeordnet sind, um ein Subjekt #Ob1 zu umgeben, ist die Anzahl der Bildaufnahmeeinrichtungen CAMs nicht auf drei beschränkt, sondern beliebig. Die Anzahl der Bildaufnahmeeinrichtungen CAM zu einem Zeitpunkt der Bildaufnahme ist eine bekannte Anzahl von Blickwinkeln zu einem Zeitpunkt, an dem ein Bild aus einem freien Blickwinkel generiert wird, und daher kann, wenn die Anzahl größer ist, das Bild aus einem freien Blickwinkel mit einer höheren Genauigkeit ausgedrückt werden. Das Subjekt #Ob1 ist eine Person, die eine vorgegebene Bewegung ausführt.
Aufgenommene Bilder, die von einer Vielzahl von Bildaufnahmeeinrichtungen CAM in unterschiedlichen Richtungen erhalten wurden, werden zum Generieren eines 3D-Objekts MO1 verwendet, das ein 3D-Modell des Subjekts #Ob1 ist, bei dem es sich um ein Anzeigeziel im Bildaufnahmeraum (3D-Modellierung) handelt. Es wird beispielsweise ein Verfahren, wie etwa Visual Hull, das eine dreidimensionale Form eines Subjekts ausschneidet, indem es aufgenommene Bilder in unterschiedlichen Richtungen verwendet, zum Generieren des 3D-Objekts MO1 verwendet.
Danach werden Daten (auch als 3D-Modell-Daten bezeichnet) eines oder mehrerer 3D-Objekte unter einem oder mehreren 3D-Objekten, die im Bildaufnahmeraum vorhanden sind, an eine wiedergabeseitige Einrichtung übertragen und wiedergegeben. Das heißt, die wiedergabeseitige Einrichtung gibt die 3D-Objekte auf der Grundlage der erhaltenen Daten der 3D-Objekte wieder und danach zeigt eine Betrachtungsvorrichtung eines Betrachters ein Videobild in 3D-Form an. 1 veranschaulicht ein Beispiel, in dem die Betrachtungsvorrichtung eine Anzeige D1 oder ein Head-Mounted Display (HMD) D2 ist.
Die Wiedergabeseite kann nur ein 3D-Betrachtungszielobjekt von dem einen oder den mehreren 3D-Objekten anfordern, die in dem Bildaufnahmeraum vorhanden sind, und bewirken, dass die Betrachtungsvorrichtung ein 3D-Betrachtungszielobjekt anzeigt. Die Wiedergabeseite setzt beispielsweise eine virtuelle Kamera voraus, deren Bildaufnahmebereich ein Betrachtungsbereich des Betrachters ist, fordert unter den mehreren im Bildaufnahmeraum vorhandenen 3D-Objekten nur ein von der virtuellen Kamera aufgenommenes 3D-Objekt an und bewirkt, dass die Betrachtungsvorrichtung das 3D-Objekt anzeigt. Der Blickwinkel (virtuelle Blickwinkel) der virtuellen Kamera kann an einer beliebigen Position derart eingestellt werden, dass der Betrachter das Subjekt in der realen Welt von einem beliebigen Blickwinkel aus sehen kann. Das 3D-Objekt kann zweckmäßig mit einem Videobild eines Hintergrunds synthetisiert werden, das einen vorgegebenen Raum darstellt.
2 veranschaulicht ein Beispiel für ein Datenformat von allgemeinen 3D-Modell-Daten.
Die 3D-Modell-Daten werden im Allgemeinen durch 3D-Form-Daten ausgedrückt, die eine 3D-Form (geometrische Informationen) eines Subjekts darstellen, und durch Texturdaten, die Farbinformationen des Subjekts darstellen.
Die 3D-Form-Daten werden beispielsweise in einem Punktwolkenformat ausgedrückt, das eine dreidimensionale Position eines Subjekts durch einen Satz von Punkten ausdrückt, einem 3D-Netz-Format, das die dreidimensionale Position als Verbindung zwischen einem Vertex und einem Vertex, das als Polygonnetz bezeichnet wird, ausdrückt, und einem Voxelformat, das die dreidimensionale Position als einen Satz von Kuben, die als Voxel bezeichnet werden, ausdrückt.
Texturdaten weisen beispielsweise ein Mehrfachtexturformat auf, das ein aufgenommenes Bild (zweidimensionales Texturbild), das von jeder Bildaufnahmeeinrichtung CAM aufgenommen wurde, speichert, und ein UV-Mapping-Format, das ein an jedem Punkt angebrachtes zweidimensionales Texturbild oder jedes Polygonnetz, das 3D-Form-Daten sind, speichert und als UV-Koordinatensystem ausdrückt.
Wie im oberen Teil in 2 veranschaulicht, ist ein Format, das 3D-Modell-Daten als 3D-Form-Daten beschreibt, und ein Mehrfachtexturformat, das eine Vielzahl von aufgenommenen Bildern P1 bis P8, die von den jeweiligen Bildaufnahmeeinrichtungen CAM aufgenommen wurden, speichert, ein betrachtungsabhängiges Format, bei dem sich Farbinformationen abhängig von einem virtuellen Blickwinkel (virtuelle Kameraposition) ändern können.
Im Gegensatz dazu, wie im unteren Teil in 2 veranschaulicht, ist ein Format, das 3D-Modell-Daten als 3D-Form-Daten beschreibt, und ein UV-Mapping-Format, das Texturinformationen eines Subjekts auf einem UV-Koordinatensystem zuordnet, ein betrachtungsunabhängiges Format, bei dem die Farbinformationen abhängig von dem virtuellen Blickwinkel (virtuelle Kameraposition) gleich sind.
<2. Anpassung der Bildaufnahmeumgebung>
Das 3D-Modell (3D-Objekt) des Subjekts, das durch das Verfahren, wie Bezug nehmend auf 1 beschrieben, generiert wird, kann auch eine Vielzahl von zu unterschiedlichen Zeitpunkten in demselben Raum generierten 3D-Modellen anordnen und eine Vielzahl von 3D-Modellen anzeigen (wiedergeben) oder nur ein 3D-Modell unter einer Vielzahl von gleichzeitig aufgenommenen und in demselben Bildaufnahmeraum generierten 3D-Modellen anzeigen (wiedergeben).
Wie in 3 veranschaulicht, wird beispielsweise angenommen, dass Bilder von drei Personen A, B und C während der ersten Bildaufnahme aufgenommen werden und entsprechende 3D-Objekte MO11 bis MO13 generiert werden. Danach ist es in einem Fall, in dem die Kleidung der Person B verändert werden muss, oder in einem Fall, in dem die Person B in eine Person D verändert werden muss, nicht notwendig, Bilder der drei Personen A, B und C erneut zu erheben und aufzunehmen, sondern es ist nur notwendig, ein Bild nur von Person B, deren Kleidung verändert wurde, erneut aufzunehmen, oder es ist nur notwendig, ein Bild nur von Person D erneut aufzunehmen.
In einem Fall jedoch, in dem die Beleuchtungsstärke nicht übereinstimmt oder eine Einstellung eines Fokus zwischen einem Zeitpunkt der ersten Bildaufnahme und einem Zeitpunkt einer zweiten Bildaufnahme der Person B, deren Kleidung verändert wurde, oder einem Zeitpunkt der zweiten Bildaufnahme von nur der Person D unterschiedlich ist, wird die Qualität des Inhalts vor und nach dem Austausch des 3D-Objekts verändert.
Deshalb, obwohl es notwendig ist, eine Bildaufnahmeumgebung zum Zeitpunkt der ersten Bildaufnahme und eine Bildaufnahmeumgebung zum Zeitpunkt der zweiten Bildaufnahme so weit wie möglich abzugleichen, werden Bilder eines Subjekts durch Verwenden mehrerer Bildaufnahmeeinrichtungen während der Bildaufnahme zum Zeitpunkt der Generierung eines 3D-Modells von unterschiedlichen Blickwinkeln aus aufgenommen, und deshalb ist ein Vorgang zum Abgleichen der Bildaufnahmeumgebungen kompliziert.
Deshalb ist das Bildverarbeitungssystem gemäß der vorliegenden Offenbarung ein System, das eine Bildaufnahmeumgebung leicht anpassen kann, sodass eine Vielzahl von zu unterschiedlichen Zeitpunkten aufgenommenen Bildaufnahmeumgebungen während der Bildaufnahme zum Zeitpunkt der Generierung eines 3D-Modells abgeglichen werden kann.
Im Folgenden wird eine ausführliche Konfigurierung des Bildverarbeitungssystems gemäß der vorliegenden Offenbarung beschrieben.
<3. Erste Ausführungsform des Bildverarbeitungssystems>
4 ist ein Blockdiagramm, das eine erste Ausführungsform des Bildverarbeitungssystems, auf das die vorliegende Offenbarung angewandt ist, veranschaulicht.
Ein Bildverarbeitungssystem 10 in 4 weist N (N > 2) Bildaufnahmeeinrichtungen 11-1 bis 11-N, M (M > 0) Beleuchtungseinrichtungen 12-1 bis 12-M und eine Bildverarbeitungseinrichtung 13 auf. Die Bildverarbeitungseinrichtung 13 und die Bildaufnahmeeinrichtungen 11-1 bis 11-N und die Beleuchtungseinrichtungen 12-1 bis 12-M sind durch beispielsweise ein vorgegebenes Kommunikationskabel oder ein Netzwerk, wie etwa ein lokales Netzwerk (local area network - LAN), verbunden. Ferner kann jede Einrichtung nicht nur über drahtgebundene Kommunikation, sondern auch über drahtlose Kommunikation verbunden sein.
Es wird angemerkt, dass in der folgenden Beschreibung die N Bildaufnahmeeinrichtungen 11-1 bis 11-N einfach als die Bildaufnahmeeinrichtung 11 bezeichnet werden, sofern nicht anderweitig spezifisch abgegrenzt, und die M Beleuchtungseinrichtungen 12-1 bis 12-M einfach als die Beleuchtungseinrichtung 12 bezeichnet werden, sofern nicht anderweitig spezifisch abgegrenzt. Den N Bildaufnahmeeinrichtungen 11 sind Zahlen in einer vorgegebenen Reihenfolge zugewiesen.
Die N Bildaufnahmeeinrichtungen 11-1 bis 11-N sind in einem vorgegebenen Bildaufnahmeraum angeordnet, um das Subjekt so zu umgeben, dass Bilder des Subjekts aus unterschiedlichen Richtungen aufgenommen werden. Die Bildaufnahmeeinrichtung 11 führt eine Bildaufnahme zum Generieren eines 3D-Modells (3D-Objekts) eines Subjekts durch. Der Start- und der Endzeitpunkt der Bildaufnahme werden durch die Bildverarbeitungseinrichtung 13 gesteuert und durch die Bildaufnahme erhaltene Bilddaten eines Standbilds oder eines bewegten Bilds werden ebenfalls an die Bildverarbeitungseinrichtung 13 zugeführt.
Die M Beleuchtungseinrichtungen 12-1 bis 12-M sind in einem vorgegebenen Bildaufnahmeraum angeordnet, um das Subjekt so zu umgeben, dass das Subjekt mit Licht aus unterschiedlichen Richtungen angestrahlt wird. Die Beleuchtungseinrichtung 12 strahlt das Subjekt mit Licht an, wenn ein Bild des Subjekts aufgenommen wird. Ein Beleuchtungszeitpunkt und Beleuchtungsbedingungen der Beleuchtungseinrichtung 12 werden durch die Bildverarbeitungseinrichtung 13 gesteuert.
Ein Subjekt wird an der Mitte des Bildaufnahmeraums angeordnet, umgeben von den N Bildaufnahmeeinrichtungen 11 und den M Beleuchtungseinrichtungen 12. Als Subjekt zum Abgleichen einer momentanen Bildaufnahmeumgebung und einer vergangenen Bildaufnahmeumgebung wird beispielsweise ein Objekt, wie etwa eine Figur, dessen Zustand sich nicht verändert, verwendet.
Die Bildverarbeitungseinrichtung 13 weist Folgendes auf: eine Referenzkamerabild-DB 21, eine Auswahleinheit für die Referenzbildaufnahmeumgebung 22, eine Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23, eine Anpassungseinheit für die Bildaufnahmeumgebung 24 und eine Registriereinheit für die Bildaufnahmeumgebung 25.
Es wird angemerkt, dass die Bildverarbeitungseinrichtung 13 gemäß der ersten Ausführungsform eine Konfigurierung einsetzt, die einen Fall unterstützt, in dem der Bildaufnahmeraum, in dem die Bildaufnahme dieses Mal durchgeführt wird, und ein vergangener Bildaufnahmeraum, für den eine Bildaufnahmeumgebung abgeglichen werden muss, gleich sind, und sich die Anzahl der Bildaufnahmeeinrichtungen 11, eine durch (x, y, z) spezifizierte dreidimensionale Position der Bildaufnahmeeinrichtung 11 und das durch (Gieren, Nicken, Rollen) spezifizierte Rollen der Ausrichtung der Bildaufnahmeeinrichtung 11 nicht geändert haben.
Die Bildverarbeitungseinrichtung 13 führt eine Verarbeitung des Anpassens einer Bildaufnahmeumgebung zu einem Zeitpunkt der Bildaufnahme zum Generieren eines 3D-Modells (3D-Objekts) eines Subjekts durch. Konkret passt die Bildverarbeitungseinrichtung 13 eine dreidimensionale Position (x, y, z) und Ausrichtung (Gieren, Nicken, Rollen) der Bildaufnahmeeinrichtung 11 und eines Fokus (Fokusposition), eine Belichtungszeit und eine Verstärkung zu einem Zeitpunkt der Bildaufnahme für jede Bildaufnahmeeinrichtung 11 an und passt einen Beleuchtungsstärkewert und eine Farbtemperatur zu einem Zeitpunkt der Beleuchtung für jede Beleuchtungseinrichtung 12 an. Hier sind die numerisch einstellbaren Parameter die Belichtungszeit und die Verstärkung der Bildaufnahmeeinrichtung 11 und die Beleuchtungsstärke und die Farbtemperatur der Beleuchtungseinrichtung 12. Jedoch wurden aufgrund der Voraussetzung die dreidimensionale Position (x, y, z) sowie das Rollen der Bildaufnahmeeinrichtung 11 nicht von jenen zum Zeitpunkt einer vergangenen abzugleichenden Bildaufnahme verändert.
Die Referenzkamerabild-DB 21 speichert Daten (auch als Bildaufnahmeumgebungsdaten bezeichnet) zum Spezifizieren einer Bildaufnahmeumgebung zu einem Zeitpunkt, an dem die Bildaufnahme zur Generierung eines 3D-Modells zuvor vorgenommen wurde, wie etwa jeden Parameter der vorstehenden durch die Bildverarbeitungseinrichtung 13 gesteuerten Bildaufnahmeeinrichtung 11 und Beleuchtungseinrichtung 12, und führt die Daten an jede Einheit in der Einrichtung nach Bedarf zu.
5 ist eine Ansicht, die ein Beispiel für in der Referenzkamerabild-DB 21 gespeicherte Bildaufnahmeumgebungsdaten veranschaulicht.
Das Referenzkamerabild-DB 21 speichert Bildaufnahmeumgebungs-IDs, Bildaufnahmedaten, Beleuchtungsstärken der Beleuchtungseinrichtungen 12, Farbtemperaturen der Beleuchtungseinrichtungen 12, Bildaufnahmeeinrichtungsanordnungs-IDs, die Anzahl der Bildaufnahmeeinrichtungen 11 sowie Parameter und Kamerabilder einer Anzahl von Bildaufnahmeeinrichtungen 11 pro Bildaufnahmeeinrichtung 11.
Die Bildaufnahme-ID sind Identifikationsinformationen zum Identifizieren aller in der Referenzkamerabild-DB 21 gespeicherten Bildaufnahmeumgebungsdaten. Bei dem Bildaufnahmedatum handelt es sich um Informationen, die einen Tag und einen Zeitpunkt der Bildaufnahme angeben.
Eine Beleuchtungsstärke einer Beleuchtungseinrichtung und eine Farbtemperatur einer Beleuchtungseinrichtung stellen Einstellwerte der Beleuchtungsstärke und der Farbtemperatur der Beleuchtungseinrichtung 12 zu einem Zeitpunkt dar, an dem die Bildaufnahme durchgeführt wird. Die Beleuchtungsstärke und die Farbtemperatur konfigurieren Beleuchtungsparameter der Beleuchtungseinrichtung 12.
Bei der Bildaufnahmeeinrichtungsanordnungs-ID handelt es sich um Informationen zum Identifizieren eines Anordnungsverfahrens der Bildaufnahmeeinrichtung 11. Zum Beispiel gibt ID = 1 ein Anordnungsverfahren an, bei dem die vier Bildaufnahmeeinrichtungen 11 an vier Ecken angeordnet sind, und ID = 2 gibt ein Anordnungsverfahren an, bei dem die 16 Bildaufnahmeeinrichtungen 11 acht Bildaufnahmeeinrichtungen 11 aufweisen, die um eine horizontale Richtung herum angeordnet sind, vier Bildaufnahmeeinrichtungen 11 um eine obere Seite schrägstehend angeordnet sind und vier Bildaufnahmeeinrichtungen 11 um eine untere Seite schrägstehend angeordnet sind, das heißt, das Anordnungsverfahren wird auf der Grundlage des Werts der ID bestimmt.
Die Anzahl der Bildaufnahmeeinrichtungen stellt die Anzahl der zur Bildaufnahme verwendeten Bildaufnahmeeinrichtungen 11 dar.
Als Parameter (Kameraparameter) der Bildaufnahmeeinrichtung 11 werden eine Belichtungszeit, eine Verstärkung, interne Parameter und externe Parameter gespeichert. Die internen Parameter sind optische Mittelpunktkoordinaten (cx, cy) und eine Brennweite (fx, fy) der Bildaufnahmeeinrichtung 11 und die externen Parameter sind eine dreidimensionale Position (x, y, z) und eine Ausrichtung (Gieren, Nicken und Rollen).
Das Kamerabild ist ein Bild, das durch Aufnehmen eines Bilds des Subjekts durch die Bildaufnahmeeinrichtung 11 erhalten wird, wenn diese Bildaufnahmeeinrichtung 11 zuvor eine Bildaufnahme durchgeführt hat, und ist ein Bild, das während der anschließenden Bildaufnahme als Referenzbild verglichen werden kann. Das Kamerabild ist ein Standbild, es kann aber auch ein bewegtes Bild sein.
Wie vorstehend beschrieben, speichert die Referenzkamerabild-DB 21 Kameraparameter und Beleuchtungsparameter zum vorherigen Aufnehmen von Bildern eines vorgegebenen Subjekts (zu unterschiedlichen Zeitpunkten) sowie Kamerabilder. Die Beschreibung kehrt zurück zu 4.
Die Auswahleinheit für die Referenzbildaufnahmeumgebung 22 erhält eine Bildaufnahmeumgebungsliste, die eine Liste von Elementen von in der Referenzkamerabild-DB 21 gespeicherten Bildaufnahmeumgebungsdaten ist, und zeigt die Bildaufnahmeumgebungsliste dem Benutzer, indem sie die Bildaufnahmeumgebungsliste beispielsweise auf einer Anzeige anzeigt. Dann bewirkt die Auswahleinheit für die Referenzbildaufnahmeumgebung 22, dass der Benutzer eine gewünschte Bildaufnahmeumgebungs-ID auswählt, und bewirkt dadurch, dass der Benutzer eine vorgegebene Bildaufnahmeumgebung aus der Bildaufnahmeumgebungsliste auswählt. Die durch den Benutzer ausgewählte Bildaufnahmeumgebungs-ID wird als eine Bildaufnahmeumgebungs-IDr, auf die für eine momentane Bildaufnahme zu verweisen ist, an die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 zugeführt.
Die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 erhält Umgebungsparameter der Bildaufnahmeumgebungs-IDr aus der Referenzkamerabild-DB 21 auf der Grundlage der von der Auswahleinheit für die Referenzbildaufnahmeumgebung 22 zugeführten Bildaufnahmeumgebungs-IDr. Die Umgebungsparameter entsprechen den Kameraparametern der Bildaufnahmeeinrichtung 11 und den Beleuchtungsstärkeparametern der Beleuchtungseinrichtung 12 unter den Bildaufnahmeumgebungsdaten.
Ferner stellt die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 jeden Parameter der Bildaufnahmeeinrichtung 11 und der Beleuchtungseinrichtung 12 so ein, dass sie gleich den aus der Referenzkamerabild-DB 21 erhaltenen Umgebungsparametern sind. Das heißt, die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 stellt die gleiche Bildaufnahmeumgebung wie die der Bildaufnahmeumgebungs-IDr als eine Ausgangsbildaufnahmeumgebung ein.
Ferner sichert die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 einen neuen Aufzeichnungsbereich zum Registrieren der Bildaufnahmeumgebungsdaten der momentanen Bildaufnahmeumgebung in der Referenzkamerabild-DB 21 und stellt diese Bildaufnahmeumgebungs-ID als eine Bildaufnahmeumgebungs-IDx ein. Die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 führt der Anpassungseinheit für die Bildaufnahmeumgebung 24 die Bildaufnahmeumgebungs-IDr zu.
Die Anpassungseinheit für die Bildaufnahmeumgebung 24 erhält Kamerabilder aller der in der Bildaufnahmeumgebungs-IDr gespeicherten Bildaufnahmeeinrichtungen 11 als Referenzbilder aus der Referenzkamerabild-DB 21 auf der Grundlage der von der Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 zugeführten Bildaufnahmeumgebungs-IDr.
Ferner nimmt jede Bildaufnahmeeinrichtung 11 ein Bild des Subjekts auf und die Anpassungseinheit für die Bildaufnahmeumgebung 24 vergleicht das aufgenommene Bild, das als Ergebnis der Bildaufnahme erhalten wurde, und das Kamerabild, das als das Referenzbild aus der Referenzkamerabild-DB 21 erhalten wurde, und passt die Kameraparameter der Bildaufnahmeeinrichtung 11 für die Anzahl der Bildaufnahmeeinrichtungen 11 an. Die Anpassungseinheit für die Bildaufnahmeumgebung 24 führt die Bildaufnahmeumgebungs-IDr an die Registriereinheit für die Bildaufnahmeumgebung 25 zu.
Die Registriereinheit für die Bildaufnahmeumgebung 25 erhält die Kameraparameter des Endzustands, nachdem die Anpassungseinheit für die Bildaufnahmeumgebung 24 die Anpassung vorgenommen hat, sowie das aufgenommene Bild und speichert (registriert) die erhaltenen Kameraparameter und das aufgenommene Bild in der Referenzkamerabild-DB 21. Konkret schätzt die Registriereinheit für die Bildaufnahmeumgebung 25 die internen Parameter und die externen Parameter der Bildaufnahmeeinrichtung 11 im Endzustand, nachdem die Anpassung durchgeführt worden ist, nimmt das Bild des Subjekts auf und erhält das aufgenommene Bild. Danach speichert die Registriereinheit für die Bildaufnahmeumgebung 25 die Kameraparameter und das aufgenommene Bild im Aufzeichnungsbereich der Bildaufnahmeumgebungs-IDx in der Referenzkamerabild-DB 21, der für die Bildaufnahmeumgebungsdaten der momentanen Bildaufnahmeumgebung gesichert wurde. Das durch Aufnehmen eines Bilds des Subjekts erhaltene aufgenommene Bild wird als Referenzkamerabild gespeichert.
Das Bildverarbeitungssystem 10 gemäß der ersten Ausführungsform ist wie vorstehend beschrieben konfiguriert.
6 ist eine Ansicht, die einfach einen Ablauf der Verarbeitung zur Anpassung der Bildaufnahmeumgebung veranschaulicht, die von der Bildverarbeitungseinrichtung 13 gemäß der ersten Ausführungsform ausgeführt wird.
Zuerst stellt die Bildverarbeitungseinrichtung 13 die Beleuchtungsparameter der Beleuchtungseinrichtung 12 und die Belichtungszeit und die Verstärkung der Bildaufnahmeeinrichtung 11 ein, die numerisch einstellbare Parameter unter den Umgebungsparametern der von dem Benutzer ausgewählten Bildaufnahmeumgebungs-IDr sind, führt dann eine erste Bildaufnahme durch und erhält das aufgenommene Bild.
Beim Vergleichen des aufgenommenen Bilds, das durch die erste Bildaufnahme erhalten wurde, mit einem Kamerabild der gleichen Bildaufnahmeposition wie der der Bildaufnahmeumgebungs-IDr, stimmen die Ausrichtung und der Fokus der Bildaufnahmeeinrichtung 11 nicht überein.
Deshalb detektiert die Bildverarbeitungseinrichtung 13 die Nichtübereinstimmung der Ausrichtung der Bildaufnahmeeinrichtung 11 und passt sie an (steuert sie) durch Verwenden des aufgenommenen Bilds der ersten Bildaufnahme, führt dann eine zweite Bildaufnahme durch und erhält das aufgenommene Bild. Die Nichtübereinstimmung der hier beschriebenen Ausrichtung entspricht einer Nichtübereinstimmung des Gierens und Nickens, da angenommen wird, dass das Rollen nicht verändert wurde.
In dem durch die zweite Bildaufnahme erhaltenen aufgenommenen Bild stimmt die Ausrichtung der Bildaufnahmeeinrichtung 11 überein, doch der Fokus stimmt noch nicht überein.
Danach detektiert die Bildverarbeitungseinrichtung 13 die Nichtübereinstimmung des Fokus der Bildaufnahmeeinrichtung 11 und passt sie an (steuert sie) durch Verwenden des aufgenommenen Bilds von der zweiten Bildaufnahme, führt danach eine dritte Bildaufnahme durch und erhält das aufgenommene Bild. Das aufgenommene Bild der dritten Bildaufnahme ist dem Kamerabild der gleichen Bildaufnahmeposition wie jenem der Bildaufnahmeumgebungs-IDr gleichwertig.
Wie vorstehend beschrieben, passt die Anpassungseinheit für die Bildaufnahmeumgebung 24 der Bildverarbeitungseinrichtung 13 die Kameraparameter auf der Grundlage eines Vergleichsergebnisses an, das durch Vergleichen von Kamerabildern erhalten wird, die durch Aufnehmen von Bildern von einem vorgegebenen Subjekt zu vergangenen Zeitpunkten erhalten wurden, die andere Zeitpunkte sind als das Referenzbild, wobei das aufgenommene Bild durch Aufnehmen des Bilds des gleichen Subjekts in der momentanen Umgebung erhalten wurde.
<4. Verarbeitung des Bildverarbeitungssystems gemäß der ersten Ausführungsform>
7 ist ein Flussdiagramm, das die Verarbeitung des gesamten Bildverarbeitungssystems 10 gemäß der ersten Ausführungsform veranschaulicht. Diese Verarbeitung wird begonnen, wenn beispielsweise eine nicht veranschaulichte Funktionseinheit der Bildverarbeitungseinrichtung 13 einen Vorgang des Anweisens zum Beginnen der Anpassung der Bildaufnahmeumgebung durchführt.
Bei Schritt S1 führt die Auswahleinheit für die Referenzbildaufnahmeumgebung 22 zuerst die Verarbeitung zur Auswahl der Referenzbildaufnahmeumgebung durch: Bewirken, dass der Benutzer eine vergangene Bildaufnahmeumgebung auswählt, auf die für eine momentane Bildaufnahme aus der in der Referenzkamerabild-DB 21 gespeicherten Bildaufnahmeumgebungsliste verwiesen werden kann.
8 ist ein Flussdiagramm, das Einzelheiten der bei Schritt S1 in 7 ausgeführten Verarbeitung zur Auswahl der Referenzbildaufnahmeumgebung veranschaulicht.
Gemäß der Verarbeitung zur Auswahl der Referenzbildaufnahmeumgebung erhält die Auswahleinheit für die Referenzbildaufnahmeumgebung 22 bei Schritt S21 zuerst die Bildaufnahmeumgebungsliste, die eine Liste von Bildaufnahmeumgebungsdaten aus der Referenzkamerabild-DB 21 ist, zeigt die Bildaufnahmeumgebungsliste auf der Anzeige an und bewirkt, dass der Benutzer die Bildaufnahmeumgebung auswählt. Zum Beispiel führt der Benutzer einen Vorgang des Spezifizierens einer Bildaufnahmeumgebungs-ID durch, deren Bildaufnahmeumgebung für die momentane Bildaufnahme abgeglichen werden soll.
Bei Schritt S22 erhält die Auswahleinheit für die Referenzbildaufnahmeumgebung 22 die von dem Benutzer ausgewählte Bildaufnahmeumgebungs-ID und stellt die Bildaufnahmeumgebungs-ID als die Bildaufnahmeumgebungs-IDr ein, auf die für die momentane Bildaufnahme verwiesen werden soll.
Bei Schritt S23 führt die Auswahleinheit für die Referenzbildaufnahmeumgebung 22 die Bildaufnahmeumgebungs-IDr an die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 zu.
Die Verarbeitung zur Auswahl der Referenzbildaufnahmeumgebung endet wie vorstehend beschrieben und die Verarbeitung kehrt zurück zu 7 und geht weiter zu Schritt S2.
Bei Schritt S2 in 7 führt die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 eine Verarbeitung zur Einstellung der Ausgangsbildaufnahmeumgebung durch: Einstellen der gleichen Bildaufnahmeumgebung wie jener der Bildaufnahmeumgebungs-IDr, die von der Auswahleinheit für die Referenzbildaufnahmeumgebung 22 als eine Ausgangsbildaufnahmeumgebung zugeführt wurde.
9 ist ein Flussdiagramm, das Einzelheiten der Verarbeitung zur Einstellung der bei Schritt S2 in 7 ausgeführten Ausgangsbildaufnahmeumgebung veranschaulicht.
Gemäß der Verarbeitung zur Einstellung der Ausgangsbildaufnahmeumgebung sichert die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 bei Schritt S41 zuerst einen neuen Aufzeichnungsbereich zum Registrieren der Bildaufnahmeumgebungsdaten der momentanen Bildaufnahmeumgebung in der Referenzkamerabild-DB 21 und stellt die Bildaufnahmeumgebungs-ID als die Bildaufnahmeumgebungs-IDx ein.
Bei Schritt S42 erhält die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 die Bildaufnahmeumgebungsdaten der Bildaufnahmeumgebungs-IDr aus der Referenzkamerabild-DB 21 und kopiert die Bildaufnahmeumgebungsdaten in den Aufzeichnungsbereich der Bildaufnahmeumgebungs-IDx. Es wird angemerkt, dass das momentane Datum als das Bildaufnahmedatum der Bildaufnahmeumgebungs-IDx aufgezeichnet wird.
Bei Schritt S43 stellt die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 die Beleuchtungsstärke und die Farbtemperatur der Beleuchtungseinrichtung 12 auf der Grundlage der Bildaufnahmeumgebungsdaten der von der Auswahleinheit für die Referenzbildaufnahmeumgebung 22 erhaltenen Bildaufnahmeumgebungs-IDr ein und stellt Belichtungszeiten und Verstärkungen für alle Bildaufnahmeeinrichtungen 11 ein.
Bei Schritt S44 führt die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 eine Kamerakalibrierung durch und bestimmt (schätzt) die internen Parameter und die externen Parameter aller Bildaufnahmeeinrichtungen 11. Bei der Kamerakalibrierung handelt es sich beispielsweise um eine Verarbeitung des Aufnehmens eines Bilds eines bekannten Kalibrierungsmusters, wie etwa eines Schachbretts, und um Bestimmen (Schätzen) der internen Parameter und der externen Parameter aus dem aufgenommenen Bild.
Bei Schritt S45 führt die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 die Bildaufnahmeumgebungs-IDr an die Anpassungseinheit für die Bildaufnahmeumgebung 24 zu.
Die Verarbeitung zur Einstellung der Ausgangsbildaufnahmeumgebung endet wie vorstehend beschrieben und die Verarbeitung kehrt zurück zu 7 und geht weiter zu Schritt S3.
Bei Schritt S3 in 7 führt die Anpassungseinheit für die Bildaufnahmeumgebung 24 eine Verarbeitung zur Anpassung der Bildaufnahmeumgebung durch: Anpassen der Kameraparameter jeder Bildaufnahmeeinrichtung 11 durch Vergleichen des aufgenommenen Bilds, das durch Aufnehmen eines Bilds des Subjekts durch jede Bildaufnahmeeinrichtung 11 erhalten wurde, mit dem Kamerabild der Bildaufnahmeumgebungs-IDr als dem Referenzbild.
10 ist ein Flussdiagramm, das Einzelheiten der bei Schritt S3 in 7 ausgeführten Verarbeitung zur Anpassung der Bildaufnahmeumgebung veranschaulicht.
Gemäß der Verarbeitung zur Anpassung der Bildaufnahmeumgebung erhält die Anpassungseinheit für die Bildaufnahmeumgebung 24 bei Schritt S61 zuerst die Kamerabilder aller Bildaufnahmeeinrichtungen 11, die in der Bildaufnahmeumgebungs-IDr als die Referenzbilder aus der Referenzkamerabild-DB 21 auf der Grundlage der von der Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 zugeführten Bildaufnahmeumgebungs-IDr gespeichert sind.
Bei Schritt S62 stellt die Anpassungseinheit für die Bildaufnahmeumgebung 24 1 als einen Ausgangswert für eine Variable i ein, die die vorgegebene Bildaufnahmeeinrichtung 11 unter den N Bildaufnahmeeinrichtungen 11 spezifiziert.
Bei Schritt S63 führt die Anpassungseinheit für die Bildaufnahmeumgebung 24 eine Verarbeitung zur Anpassung der Kameraparameter durch: Anpassen einer Ausrichtung (Gieren und Nicken) und eines Fokus der i-ten Bildaufnahmeeinrichtung 11 durch Vergleichen des von der i-ten Bildaufnahmeeinrichtung 11 aufgenommenen Bilds und des entsprechenden Kamerabilds, das als das Referenzbild aus der Bildaufnahmeumgebungs-IDr erhalten wurde.
11 ist ein Flussdiagramm, das Einzelheiten der bei Schritt S63 in 10 ausgeführten Verarbeitung zur Anpassung der Kameraparameter veranschaulicht.
Gemäß der Verarbeitung zur Anpassung der Kameraparameter nimmt die i-te Bildaufnahmeeinrichtung 11 bei Schritt S81 zuerst ein Bild des Subjekts auf und die Anpassungseinheit für die Bildaufnahmeumgebung 24 erhält das aufgenommene Bild. Das Subjekt, dessen Bild hier aufgenommen wird, ist ein Objekt, wie etwa eine Figur, dessen Zustand sich nicht verändert, und ist das gleiche Objekt wie das in dem Kamerabild der Bildaufnahmeumgebungs-IDr erscheinende Subjekt.
Anschließend vergleicht die Anpassungseinheit für die Bildaufnahmeumgebung 24 bei Schritt S82 das erhaltene aufgenommene Bild und das Kamerabild, das ein i-tes Referenzbild ist, und berechnet eine Nichtübereinstimmung des Subjekts in dem zweidimensionalen Bild. Zum Beispiel berechnet die Anpassungseinheit für die Bildaufnahmeumgebung 24 einen optischen Ablauf zum Suchen, von wo bis wo entsprechende Punkte (vorgegebene Abschnitte des Subjekts) der beiden Bilder bewegt wurden, und berechnet die Nichtübereinstimmung des Subjekts aus einer Größenordnung eines Vektors.
Bei Schritt S83 bestimmt die Anpassungseinheit für die Bildaufnahmeumgebung 24, ob die berechnete Nichtübereinstimmung des Subjekts innerhalb eines vorgegebenen Grenzwerts Th1 liegt oder nicht.
In einem Fall, in dem bei Schritt S83 bestimmt wird, dass die berechnete Nichtübereinstimmung des Subjekts nicht innerhalb des vorgegebenen Grenzwerts Th1 liegt (die berechnete Nichtübereinstimmung ist größer als der vorgegebene Grenzwert Th1), geht die Verarbeitung weiter zu Schritt S84 und die Anpassungseinheit für die Bildaufnahmeumgebung 24 passt die Ausrichtung der i-ten Bildaufnahmeeinrichtung 11 auf der Grundlage der berechneten Nichtübereinstimmung des Subjekts an. Zum Beispiel wird ein Steuerbefehl zum Korrigieren einer Nichtübereinstimmung des Gierens und Nickens der i-ten Bildaufnahmeeinrichtung 11 an die i-te Bildaufnahmeeinrichtung 11 übertragen.
Nach Schritt S84 kehrt die Verarbeitung zurück zu Schritt S81 und die vorstehend beschriebenen Schritte S81 bis S83 werden erneut ausgeführt.
Andererseits geht in einem Fall, in dem bei Schritt S83 bestimmt wird, dass die berechnete Nichtübereinstimmung des Subjekts innerhalb des vorgegebenen Grenzwerts Th1 liegt, die Verarbeitung weiter zu Schritt S85, die i-te Bildaufnahmeeinrichtung 11 nimmt ein Bild des Subjekts auf und die Anpassungseinheit für die Bildaufnahmeumgebung 24 erhält das aufgenommene Bild.
Anschließend vergleicht die Anpassungseinheit für die Bildaufnahmeumgebung 24 bei Schritt S86 das aufgenommene Bild mit dem Kamerabild, das das i-te Referenzbild ist, und berechnet den Grad der Nichtübereinstimmung des Fokus (Fokusposition). Zum Beispiel berechnet die Anpassungseinheit für die Bildaufnahmeumgebung 24 einen Unterschied zwischen Frequenzkomponenten der beiden jeweiligen Bilder als den Grad der Nichtübereinstimmung des Fokus oder berechnet einen Unterschied zwischen Differentialbildern der beiden jeweiligen Bilder als den Grad der Nichtübereinstimmung des Fokus. Der Grad der Nichtübereinstimmung des Fokus kann durch ein beliebiges Verfahren in numerische Werte umgewandelt und verglichen werden.
Bei Schritt S87 bestimmt die Anpassungseinheit für die Bildaufnahmeumgebung 24, ob der berechnete Grad der Nichtübereinstimmung des Fokus innerhalb eines vorgegebenen Grenzwerts Th2 liegt oder nicht.
In einem Fall, in dem bei Schritt S87 bestimmt wird, dass der berechnete Grad der Nichtübereinstimmung des Fokus nicht innerhalb des vorgegebenen Grenzwerts Th2 liegt (der berechnete Grad der Nichtübereinstimmung des Fokus ist größer als der vorgegebene Grenzwert Th2), geht die Verarbeitung weiter zu Schritt S88 und die Anpassungseinheit für die Bildaufnahmeumgebung 24 passt den Fokus auf der Grundlage des berechneten Grads der Nichtübereinstimmung des Fokus an. Zum Beispiel wird ein Steuerbefehl zum Korrigieren einer Fokusposition der i-ten Bildaufnahmeeinrichtung 11 an die i-te Bildaufnahmeeinrichtung 11 übertragen.
Andererseits endet in einem Fall, in dem bei Schritt S87 bestimmt wird, dass der berechnete Grad der Nichtübereinstimmung des Fokus innerhalb des vorgegebenen Grenzwerts Th2 liegt, die Verarbeitung zur Anpassung der Kameraparameter und die Verarbeitung kehrt zurück zu 10 und geht weiter zu Schritt S64.
Bei Schritt S64 bestimmt die Anpassungseinheit für die Bildaufnahmeumgebung 24, ob die Verarbeitung zur Anpassung der Kameraparameter an allen Bildaufnahmeeinrichtungen 11, das heißt, den N Bildaufnahmeeinrichtungen 11, durchgeführt worden ist oder nicht.
In einem Fall, in dem bei Schritt S64 bestimmt wird, dass die Verarbeitung zur Anpassung der Kameraparameter noch nicht an allen Bildaufnahmeeinrichtungen 11 durchgeführt worden ist, geht die Verarbeitung weiter zu Schritt S65 und die Anpassungseinheit für die Bildaufnahmeumgebung 24 inkrementiert die Variable i um 1 und führt dann die Verarbeitung zurück zu Schritt S63. Deshalb wird die Verarbeitung zur Anpassung der Kameraparameter für die nächste Bildaufnahmeeinrichtung 11 ausgeführt.
Andererseits endet in einem Fall, in dem bei Schritt S64 bestimmt wird, dass die Verarbeitung zur Anpassung der Kameraparameter an allen Bildaufnahmeeinrichtungen 11 durchgeführt worden ist, die Verarbeitung zur Anpassung der Bildaufnahmeumgebung und die Verarbeitung kehrt zurück zu 7 und geht weiter zu Schritt S4.
Bei Schritt S4 in 7 führt die Registriereinheit für die Bildaufnahmeumgebung 25 die Verarbeitung zur Registrierung der Bildaufnahmeumgebung durch: Registrieren, in der Referenzkamerabild-DB 21, der Bildaufnahmeumgebungsdaten des Endzustands, nachdem die Anpassungseinheit für die Bildaufnahmeumgebung 24 die Anpassung durchgeführt hat.
12 ist ein Flussdiagramm, das Einzelheiten der bei Schritt S4 in 7 ausgeführten Verarbeitung zur Registrierung der Bildaufnahmeumgebung veranschaulicht.
Gemäß der Verarbeitung zur Registrierung der Bildaufnahmeumgebung führt die Registriereinheit für die Bildaufnahmeumgebung 25 bei Schritt S101 zuerst eine Kamerakalibrierung aus und bestimmt (schätzt) die internen Parameter und die externen Parameter aller Bildaufnahmeeinrichtungen 11. Diese Verarbeitung ist ähnlich der Verarbeitung, die bei Schritt S44 ausgeführt wurde, der Verarbeitung zur Einstellung der Ausgangsbildaufnahmeumgebung in 9.
Anschließend nehmen bei Schritt S102 alle Bildaufnahmeeinrichtungen 11 die Bilder des Subjekts auf und die Registriereinheit für die Bildaufnahmeumgebung 25 erhält die aufgenommenen Bilder.
Bei Schritt S103 speichert die Registriereinheit für die Bildaufnahmeumgebung 25 die internen Parameter, die externen Parameter und die aufgenommenen Bilder aller Bildaufnahmeeinrichtungen 11 in einem Aufzeichnungsbereich der Bildaufnahmeumgebungs-IDx in der Referenzkamerabild-DB 21. Die Beleuchtungsstärke und die Farbtemperatur der anderen Beleuchtungseinrichtung 12, die Bildaufnahmeeinrichtungsanordnungs-IDs, die Anzahl von Bildaufnahmeeinrichtungen 11, die Belichtungszeiten und die Verstärkungen sind bereits durch die Verarbeitung bei Schritt S42, der Verarbeitung zur Einstellung der Ausgangsbildaufnahmeumgebung in 9, gespeichert worden.
Die Verarbeitung zur Registrierung der Bildaufnahmeumgebung endet wie vorstehend beschrieben, die Verarbeitung kehrt zurück zu 7 und die Verarbeitung in 7 selbst endet ebenfalls.
Gemäß der ersten Ausführungsform des Bildverarbeitungssystems 10, das die vorstehend beschriebene Verarbeitung zur Anpassung unter den Bedingungen ausführt, dass die dreidimensionale Position und Rollen der Bildaufnahmeeinrichtung 11 nicht verändert wurden, kann die Bildverarbeitungseinrichtung 13 die Beleuchtungsparameter (die Beleuchtungsstärke und die Farbtemperatur) jeder Beleuchtungseinrichtung 12 und die Ausrichtung (Gieren und Nicken), den Fokus (Fokusposition), die Belichtungszeit und die Verstärkung jeder Bildaufnahmeeinrichtung 11 mit denen einer vergangenen Bildaufnahmeumgebung automatisch abgleichen. Verglichen mit einem herkömmlichen Verfahren, bei dem der Benutzer das aufgenommene Bild manuell anpasst, während er das aufgenommene Bild betrachtet, ist es deshalb möglich, die Bildaufnahmeumgebung leicht anzupassen und Betriebskosten zu reduzieren.
<5. Zweite Ausführungsform des Bildverarbeitungssystems>
13 ist ein Blockdiagramm, das eine zweite Ausführungsform eines Bildverarbeitungssystems, auf das die vorliegende Offenbarung angewandt ist, veranschaulicht.
In der zweiten Ausführungsform in 13 werden Komponenten, die denen der in 4 veranschaulichten ersten Ausführungsform entsprechen, die gleichen Bezugszeichen zugewiesen und es wird zweckmäßig auf die Beschreibung der Komponenten verzichtet.
Ein Bildverarbeitungssystem 10 in 13 weist N Bildaufnahmeeinrichtungen 11-1 bis 11-N, M Beleuchtungseinrichtungen 12-1 bis 12-M und eine Bildverarbeitungseinrichtung 13 auf.
Obwohl die vorstehend beschriebene erste Ausführungsform eine Konfigurierung einsetzt, bei der in einem Fall, in dem eine dreidimensionale Position und ein Rollen der momentanen Bildaufnahmeeinrichtung 11 nicht verändert wurden, die momentane Bildaufnahmeumgebung mit einer vergangenen Bildaufnahmeumgebung abgeglichen wird, setzt die zweite Ausführungsform eine Konfigurierung ein, die einen Fall unterstützt, in dem auch die dreidimensionale Position und ein Rollen der Bildaufnahmeeinrichtung 11 verändert werden. Es wird zum Beispiel ein Fall angenommen, in dem die Anordnung der N Bildaufnahmeeinrichtungen 11-1 bis 11-N verändert wird, ein Fall, in dem ein Bildaufnahmestudio (Bildaufnahmeraum) anders ist, oder dergleichen.
Die Bildverarbeitungseinrichtung 13 weist eine Referenzkamerabild-DB 21, eine Auswahleinheit für die Referenzbildaufnahmeumgebung 22, eine Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23, eine Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51, eine Anpassungseinheit für die Bildaufnahmeumgebung 24A und eine Registriereinheit für die Bildaufnahmeumgebung 25 auf.
Deshalb wird beim Vergleich mit der ersten Ausführungsform bei der Bildverarbeitungseinrichtung 13 der zweiten Ausführungsform eine Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51 neu hinzugefügt und eine Anpassungseinheit für die Bildaufnahmeumgebung 24 wird in die Anpassungseinheit für die Bildaufnahmeumgebung 24A geändert. Die anderen Komponenten der Bildverarbeitungseinrichtung 13 sind denen der ersten Ausführungsform ähnlich.
Die Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51 erhält eine Bildaufnahmeumgebungs-IDr von der Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23. Ferner generiert die Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51 ein 3D-Modell eines Subjekts durch Verwenden von internen Parametern, externen Parametern und dem Kamerabild jeder in der Bildaufnahmeumgebungs-IDr gespeicherten Bildaufnahmeeinrichtungen 1 bis N. Ferner generiert die Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51 ein Bild aus einem virtuellen Blickwinkel, das das generierte 3D-Modell des Subjekts von demselben Blickwinkel aus betrachtet wie dem jeder momentanen Bildaufnahmeeinrichtung 11, als ein Referenzbild aus einem virtuellen Blickwinkel und führt das Referenzbild aus einem virtuellen Blickwinkel zusammen mit der Bildaufnahmeumgebungs-IDr an die Anpassungseinheit für die Bildaufnahmeumgebung 24A zu.
Die Anpassungseinheit für die Bildaufnahmeumgebung 24A erhält Beleuchtungsparameter (eine Beleuchtungsstärke und eine Farbtemperatur), die in der Bildaufnahmeumgebungs-IDr gespeichert sind, aus der Referenzkamerabild-DB 21 auf der Grundlage der von der Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51 zugeführten Bildaufnahmeumgebungs-IDr. Ferner passt die Anpassungseinheit für die Bildaufnahmeumgebung 24A die Einstellwerte der Beleuchtungseinrichtung 12 an die Beleuchtungsstärke und die Farbtemperatur der Bildaufnahmeumgebungs-IDr an. Ferner vergleicht die Anpassungseinheit für die Bildaufnahmeumgebung 24A ein Referenzbild aus einem virtuellen Blickwinkel, das von der Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51 zugeführt wurde und jedem von der Bildaufnahmeeinrichtung 11 und dem von der Bildaufnahmeeinrichtung 11 aufgenommenen Bild entspricht, und passt die Kameraparameter der Bildaufnahmeeinrichtung 11 an.
Das Bildverarbeitungssystem 10 gemäß der zweiten Ausführungsform ist wie vorstehend beschrieben konfiguriert.
14 ist eine Ansicht zum Erläutern einer Verarbeitung zur Anpassung der Bildaufnahmeumgebung, die durch die Anpassungseinheit für die Bildaufnahmeumgebung 24A gemäß der zweiten Ausführungsform ausgeführt wird.
Die zweite Ausführungsform nimmt an, dass die Anordnung der Bildaufnahmeeinrichtung 11 von der Anordnung zu einem Zeitpunkt einer vergangenen Bildaufnahme verschieden ist, und nimmt deshalb an, dass ein Blickwinkel eines Kamerabilds der Bildaufnahmeumgebungs-IDr, das von der Referenzkamerabild-DB 21 erhalten wurde, von einem Blickwinkel der Bildaufnahmeeinrichtung 11 verschieden ist. Deshalb ist es zuerst notwendig, den Blickwinkel des Referenzbilds und den Blickwinkel der Bildaufnahmeeinrichtung 11 abzugleichen.
Deshalb generiert die Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51 ein 3D-Modell des Subjekts aus den internen Parametern, den externen Parametern und dem Kamerabild einer jeden der Bildaufnahmeeinrichtungen 1 bis N der Bildaufnahmeumgebungs-IDr, die aus der Referenzkamerabild-DB 21 erhalten wurde, und generiert als Referenzbild ein Bild aus einem virtuellen Blickwinkel, das das generierte 3D-Modell von dem Blickwinkel jeder Bildaufnahmeeinrichtung 11 aus, der eine momentane Umgebung ist, betrachtet. Deshalb ist das generierte Bild aus einem virtuellen Blickwinkel ein Bild, das den gleichen Blickwinkel wie den einer der Aufnahmeeinrichtungen für ein momentanes Bild 11 aufweist, sodass die Anpassungseinheit für die Bildaufnahmeumgebung 24A das generierte Bild aus einem virtuellen Blickwinkel und das aufgenommene Bild, das durch Aufnehmen des Bilds des Subjekts durch die Bildaufnahmeeinrichtung 11 erhalten wird, das den gleichen Blickwinkel aufweist wie den des generierten Bilds aus einem virtuellen Blickwinkel, vergleichen und die Kameraparameter auf der Grundlage des Vergleichsergebnisses anpassen kann.
Ferner nimmt die zweite Ausführungsform an, dass ein Unterschied bei der Anordnung der Bildaufnahmeeinrichtungen 11 einen Unterschied bei einer Helligkeit erzeugt, und deshalb passt die Anpassungseinheit für die Bildaufnahmeumgebung 24A auch die Beleuchtungsparameter an. Andere Anpassungen der Anpassungseinheit für die Bildaufnahmeumgebung 24A sind ähnlich denen der Anpassungseinheit für die Bildaufnahmeumgebung 24 gemäß der ersten Ausführungsform.
<6. Verarbeitung des Bildverarbeitungssystems gemäß der zweiten Ausführungsform>
15 ist ein Flussdiagramm, das die Verarbeitung des gesamten Bildverarbeitungssystems 10 gemäß der zweiten Ausführungsform veranschaulicht. Diese Verarbeitung wird begonnen, wenn beispielsweise eine nicht veranschaulichte Funktionseinheit der Bildverarbeitungseinrichtung 13 einen Vorgang des Anweisens zum Starten der Anpassung der Bildaufnahmeumgebung durchführt.
Zuerst führt die Auswahleinheit für die Referenzbildaufnahmeumgebung 22 bei Schritt S151 eine Verarbeitung zur Auswahl der Referenzbildaufnahmeumgebung aus: Bewirken, dass der Benutzer eine vergangene Bildaufnahmeumgebung auswählt, auf die für die momentane Bildaufnahme aus der in der Referenzkamerabild-DB 21 gespeicherten Bildaufnahmeumgebungsliste verwiesen werden soll. Einzelheiten dieser Verarbeitung sind ähnlich denen der Bezug nehmend auf das Flussdiagramm in 8 beschriebenen Verarbeitung.
Bei Schritt S152 führt die Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 eine Verarbeitung zur Einstellung der Ausgangsbildaufnahmeumgebung aus: Einstellen der gleichen Bildaufnahmeumgebung wie jener der Bildaufnahmeumgebungs-IDr, die von der Auswahleinheit für die Referenzbildaufnahmeumgebung 22 als Ausgangsbildaufnahmeumgebung zugeführt wurde. Einzelheiten dieser Verarbeitung sind ähnlich denen der Bezug nehmend auf das Flussdiagramm in 9 beschriebenen Verarbeitung.
Bei Schritt S153 führt die Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51 eine Verarbeitung zur Generierung eines Referenzbilds aus einem virtuellen Blickwinkel durch: Generieren eines 3D-Modells aus in der Bildaufnahmeumgebungs-IDr gespeicherten Bildaufnahmeumgebungsdaten und Generieren eines erhaltenen Bilds aus einem virtuellen Blickwinkel, das das generierte 3D-Modell von einem Blickwinkel jeder Aufnahmeeinrichtung für ein momentanes Bild 11 aus betrachtet, als Referenzbild aus einem virtuellen Blickwinkel. Einzelheiten dieser Verarbeitung werden später, Bezug nehmend auf 16, beschrieben.
Bei Schritt S154 führt die Anpassungseinheit für die Bildaufnahmeumgebung 24A eine Verarbeitung zur Anpassung der Bildaufnahmeumgebung aus: Anpassen der Kameraparameter jeder Bildaufnahmeeinrichtung 11 durch Vergleichen des aufgenommenen Bilds, das durch Aufnehmen eines Bilds des Subjekts durch jede Bildaufnahmeeinrichtung 11 erhalten wurde, mit dem Referenzbild aus einem virtuellen Blickwinkel der Bildaufnahmeumgebungs-IDr als dem Referenzbild. Einzelheiten dieser Verarbeitung werden später, Bezug nehmend auf 17 und 18, beschrieben.
Bei Schritt S155 führt die Registriereinheit für die Bildaufnahmeumgebung 25 eine Verarbeitung zur Registrierung der Bildaufnahmeumgebung durch: Registrieren der Bildaufnahmeumgebungsdaten eines Endzustands in der Referenzkamerabild-DB 21, nachdem die Anpassungseinheit für die Bildaufnahmeumgebung 24 die Anpassung durchgeführt hat.
16 ist ein Flussdiagramm, das Einzelheiten der Verarbeitung der bei Schritt S153 in 15 ausgeführten Generierung eines Referenzbilds aus einem virtuellen Blickwinkel veranschaulicht.
Bei Schritt S171 generiert die Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51 zuerst ein 3D-Modell eines Subjekts durch Verwenden der internen Parameter, der externen Parameter und des Kamerabilds einer jeden der Bildaufnahmeeinrichtungen 1 bis N, die in der von der Einstelleinheit für die Ausgangsbildaufnahmeumgebung 23 zugeführten Bildaufnahmeumgebungs-IDr gespeichert sind.
Bei Schritt S172 generiert die Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51 ein Bild aus einem virtuellen Blickwinkel, das das generierte 3D-Modell des Subjekts von dem Blickwinkel jeder Aufnahmeeinrichtung für ein momentanes Bild 11 aus betrachtet, als Referenzbild aus einem virtuellen Blickwinkel und führt das Referenzbild aus einem virtuellen Blickwinkel zusammen mit der Bildaufnahmeumgebungs-IDr an die Anpassungseinheit für die Bildaufnahmeumgebung 24A zu.
Die Verarbeitung zur Generierung eines Referenzbilds aus einem virtuellen Blickwinkel endet wie vorstehend beschrieben und die Verarbeitung kehrt zurück zu 15 und geht weiter zu Schritt S154.
17 ist ein Flussdiagramm, das Einzelheiten der bei Schritt S154 in 15 ausgeführten Verarbeitung zur Anpassung der Bildaufnahmeumgebung veranschaulicht.
Bei Schritt S191 erhält die Anpassungseinheit für die Bildaufnahmeumgebung 24A zuerst Beleuchtungsparameter (eine Beleuchtungsstärke und eine Farbtemperatur), die in der Bildaufnahmeumgebungs-IDr gespeichert sind, aus der Referenzkamerabild-DB 21 auf der Grundlage der von der Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51 zugeführten Bildaufnahmeumgebungs-IDr und passt Einstellwerte der Beleuchtungseinrichtung 12 an die Beleuchtungsstärke und die Farbtemperatur der Bildaufnahmeumgebungs-IDr an.
Bei Schritt S192 stellt die Anpassungseinheit für die Bildaufnahmeumgebung 24A 1 als einen Ausgangswert auf eine Variable i ein, der die vorgegebene Bildaufnahmeeinrichtung 11 unter den N Bildaufnahmeeinrichtungen 11 spezifiziert.
Bei Schritt S193 führt die Anpassungseinheit für die Bildaufnahmeumgebung 24A eine Verarbeitung zur Anpassung der Kameraparameter aus: Anpassen der Kameraparameter einer i-ten Bildaufnahmeeinrichtung 11 durch Vergleichen des aufgenommenen Bilds, das von der i-ten Bildaufnahmeeinrichtung 11 aufgenommen wurde, und eines entsprechenden Referenzbilds aus einem virtuellen Blickwinkel, das durch die Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel 51 generiert wurde. Einzelheiten dieser Verarbeitung werden später, Bezug nehmend auf 18, beschrieben.
Bei Schritt S194 bestimmt die Anpassungseinheit für die Bildaufnahmeumgebung 24A, ob die Verarbeitung zur Anpassung der Kameraparameter an allen Bildaufnahmeeinrichtungen 11, das heißt, den N Bildaufnahmeeinrichtungen 11, durchgeführt worden ist oder nicht.
In einem Fall, in dem bei Schritt S194 bestimmt wird, dass die Verarbeitung zur Anpassung der Kameraparameter nicht an allen Bildaufnahmeeinrichtungen 11 durchgeführt worden ist, geht die Verarbeitung weiter zu Schritt S195 und die Anpassungseinheit für die Bildaufnahmeumgebung 24A inkrementiert die Variable i um 1 und führt dann die Verarbeitung zu Schritt S193 zurück. Deshalb wird die Verarbeitung zur Anpassung der Kameraparameter für die nächste Bildaufnahmeeinrichtung 11 ausgeführt.
Andererseits endet in einem Fall, in dem bei Schritt S194 bestimmt wird, dass die Verarbeitung zur Anpassung der Kameraparameter an allen Bildaufnahmeeinrichtungen 11 durchgeführt worden ist, die Verarbeitung zur Anpassung der Bildaufnahmeumgebung und die Verarbeitung kehrt zurück zu 15 und geht weiter zu Schritt S155.
18 ist ein Flussdiagramm, das Einzelheiten der bei Schritt S193 in 17 ausgeführten Verarbeitung zur Anpassung der Kameraparameter veranschaulicht.
Gemäß der Verarbeitung zur Anpassung der Kameraparameter nimmt die i-te Bildaufnahmeeinrichtung 11 bei Schritt S211 zuerst ein Bild des Subjekts auf und die Anpassungseinheit für die Bildaufnahmeumgebung 24A erhält die aufgenommenen Bilder. Das Subjekt, dessen Bild hier aufgenommen wird, ist ein Objekt, wie etwa eine Figur, dessen Zustand sich nicht verändert, und ist das gleiche Objekt wie das im Kamerabild der Bildaufnahmeumgebungs-IDr erscheinende Subjekt.
Anschließend vergleicht die Anpassungseinheit für die Bildaufnahmeumgebung 24A bei Schritt S212 das erhaltene aufgenommene Bild und das entsprechende Referenzbild aus einem virtuellen Blickwinkel und berechnet eine Nichtübereinstimmung einer Helligkeit des Subjekts in dem zweidimensionalen Bild. Zum Beispiel berechnet die Anpassungseinheit für die Bildaufnahmeumgebung 24A einen Unterschied zwischen Leuchtdichtewerten, die aus RGB-Werten der entsprechenden Punkte (vorgegebenen Abschnitten des Subjekts) der beiden Bilder konvertiert wurden, als Nichtübereinstimmung der Helligkeit.
Bei Schritt S213 bestimmt die Anpassungseinheit für die Bildaufnahmeumgebung 24A, ob die berechnete Nichtübereinstimmung der Helligkeit des Subjekts innerhalb eines vorgegebenen Grenzwerts Th3 liegt oder nicht.
In einem Fall, in dem bei Schritt S213 bestimmt wurde, dass die berechnete Nichtübereinstimmung der Helligkeit des Subjekts nicht innerhalb des vorgegebenen Grenzwerts Th3 liegt (die berechnete Nichtübereinstimmung der Helligkeit ist größer als der vorgegebene Grenzwert Th3), geht die Verarbeitung weiter zu Schritt S214 und die Anpassungseinheit für die Bildaufnahmeumgebung 24A passt die Belichtungszeit und/oder die Verstärkung der i-ten Bildaufnahmeeinrichtung 11 auf der Grundlage der berechneten Nichtübereinstimmung der Helligkeit des Subjekts an. Zum Beispiel wird ein Steuerbefehl zum Ändern einer Verstärkung der i-ten Bildaufnahmeeinrichtung 11 an die i-te Bildaufnahmeeinrichtung 11 übertragen.
Nach Schritt S214 kehrt die Verarbeitung zurück zu Schritt S211 und die vorstehend beschriebenen Schritte S211 bis S213 werden erneut ausgeführt.
Andererseits geht in einem Fall, in dem bei Schritt S213 bestimmt wird, dass die berechnete Nichtübereinstimmung der Helligkeit des Subjekts innerhalb des vorgegebenen Grenzwerts Th3 liegt, die Verarbeitung weiter zu Schritt S215, die i-te Bildaufnahmeeinrichtung 11 nimmt ein Bild des Subjekts auf und die Anpassungseinheit für die Bildaufnahmeumgebung 24A erhält das aufgenommene Bild.
Anschließend vergleicht die Anpassungseinheit für die Bildaufnahmeumgebung 24A bei Schritt S216 das erhaltene aufgenommene Bild und das entsprechende Referenzbild aus einem virtuellen Blickwinkel und berechnet den Grad der Nichtübereinstimmung des Fokus (Fokusposition). Diese Verarbeitung ist ähnlich zu Schritt S86 in 11 gemäß der ersten Ausführungsform.
Bei Schritt S217 bestimmt die Anpassungseinheit für die Bildaufnahmeumgebung 24A, ob der berechnete Grad der Nichtübereinstimmung des Fokus innerhalb eines vorgegebenen Grenzwerts Th4 liegt oder nicht.
In einem Fall, in dem bei Schritt S217 bestimmt wird, dass der berechnete Grad der Nichtübereinstimmung des Fokus nicht innerhalb des vorgegebenen Grenzwerts Th4 liegt, geht die Verarbeitung weiter zu Schritt S218 und die Anpassungseinheit für die Bildaufnahmeumgebung 24A passt den Fokus auf der Grundlage des berechneten Grads der Nichtübereinstimmung des Fokus an. Diese Verarbeitung ist ähnlich zu Schritt S88 in 11 gemäß der ersten Ausführungsform.
Andererseits endet in einem Fall, in dem bei Schritt S217 bestimmt wird, dass der berechnete Grad der Nichtübereinstimmung des Fokus innerhalb des vorgegebenen Grenzwerts Th4 liegt, die Verarbeitung zur Anpassung der Kameraparameter und die Verarbeitung kehrt zurück zu 17 und geht weiter zu Schritt S194.
Die Verarbeitung des Bildverarbeitungssystems 10 gemäß der zweiten Ausführungsform wird wie vorstehend beschrieben ausgeführt.
Gemäß der zweiten Ausführungsform des Bildverarbeitungssystems 10 kann selbst in einem Fall, in dem beispielsweise die dreidimensionale Position der Bildaufnahmeeinrichtung 11 verändert wird, die Bildverarbeitungseinrichtung 13 die Beleuchtungsparameter (die Beleuchtungsstärke und die Farbtemperatur) jeder Beleuchtungseinrichtung 12 und den Fokus (Fokusposition), die Belichtungszeit und die Verstärkung jeder Bildaufnahmeeinrichtung 11 automatisch mit jenen der vergangenen Bildaufnahmeumgebung abgleichen. Deshalb ist es möglich, verglichen mit einem herkömmlichen Verfahren, in dem der Benutzer das aufgenommene Bild manuell anpasst, während er das aufgenommene Bild betrachtet, die Bildaufnahmeumgebung leicht anzupassen und Betriebskosten zu reduzieren.
Die Bildverarbeitungseinrichtung 13 weist sowohl die vorstehend beschriebene Konfigurierung gemäß der ersten Ausführungsform als auch die Konfigurierung gemäß der zweiten Ausführungsform auf und kann eine der Verarbeitungen zur Anpassung auswählen und ausführen, beispielsweise durch Spezifizieren, ob die dreidimensionale Position der Aufnahmeeinrichtung für ein momentanes Bild 11 gleich jener der vergangenen abzugleichenden Bildaufnahmeumgebung ist oder nicht.
<7. Konfigurierung einer Anzeigeeinrichtung zur Wiedergabe eines 3D-Modells>
Das Bildverarbeitungseinrichtung 13 des Bildverarbeitungssystems 10 weist auch eine Funktion als eine Anzeigeeinrichtung zur Wiedergabe des 3D-Modells auf, die nicht nur eine Verarbeitung des Anpassens einer Bildaufnahmeumgebung durchführt, sondern auch eine Verarbeitung des Steuerns der Bildaufnahmeeinrichtung 11 und der Beleuchtungseinrichtung 12, nachdem die Bildaufnahmeumgebung angepasst worden ist, Aufnehmen eines Bilds eines Subjekts, das ein 3D-Modell-Generierungsziel ist, das nicht zur Anpassung ist, Erhalten von Bewegtbilddaten und Generieren eines 3D-Modells, und Anzeigen der Verarbeitung des Generierens eines Bilds aus einem virtuellen Blickwinkel, der das generierte 3D-Modell, betrachtet aus einem beliebigen virtuellen Blickwinkel, betrachtet und bewirkt, dass eine vorgegebene Anzeigeeinrichtung das Bild aus einem virtuellen Blickwinkel anzeigt.
19 ist ein Blockdiagramm, das ein Konfigurationsbeispiel in einem Fall veranschaulicht, in dem die Bildverarbeitungseinrichtung 13 die Funktion als die Anzeigeeinrichtung zur Wiedergabe des 3D-Modells ausführt.
Die Bildverarbeitungseinrichtung 13 weist eine Bilderhaltungseinheit 71, eine 3D-Modell-Generierungseinheit 72, eine 3D-Modell-DB 73, eine Wiedergabeeinheit 74 und eine Referenzkamerabild-DB 21 auf.
Die Bilderhaltungseinheit 71 erhält aufgenommene Bilder (bewegte Bilder), die durch Aufnehmen von Bildern des Subjekts erhalten und von jeder der N Bildaufnahmeeinrichtungen 11-1 bis 11-N zugeführt wurden, und führt die aufgenommenen Bilder an die 3D-Modell-Generierungseinheit 72 zu.
Die 3D-Modell-Generierungseinheit 72 erhält die Kameraparameter der Bildaufnahmeeinrichtungen 1 bis N in der momentanen Bildaufnahmeumgebung aus der Referenzkamerabild-DB 21. Die Kameraparameter weisen zumindest die externen Parameter und die internen Parameter auf.
Die 3D-Modell-Generierungseinheit 72 generiert ein 3D-Modell des Subjekts auf der Grundlage der aufgenommenen Bilder, die von den N Bildaufnahmeeinrichtungen 11-1 bis 11-N aufgenommen wurden, sowie der Kameraparameter und veranlasst, dass die 3D-Modell-DB 73 Bewegtbilddaten (3D-Modell-Daten) des generierten 3D-Modells speichert.
Das 3D-Modell-DB 73 speichert die 3D-Modell-Daten, die durch die 3D-Modell-Generierungseinheit 72 generiert wurden, und führt die 3D-Modell-Daten in Reaktion auf eine Anforderung von der Wiedergabeeinheit 74 an die Wiedergabeeinheit 74 zu. Die 3D-Modell-DB 73 und die Referenzkamerabild-DB 21 können das gleiche Speichermedium sein oder können getrennte Speichermedien sein.
Die Wiedergabeeinheit 74 erhält aus der 3D-Modell-DB 73 Bewegtbilddaten (3D-Modell-Daten) eines 3D-Modells, die durch den Betrachter spezifiziert werden, der ein Wiedergabebild des 3D-Modells betrachtet. Danach generiert die Wiedergabeeinheit 74 ein zweidimensionales Bild (gibt es wieder), das das 3D-Modell aus einer Betrachtungsposition des Betrachters sieht, das von der nicht veranschaulichten Funktionseinheit zugeführt wird, und führt das zweidimensionale Bild an die Anzeigeeinrichtung 81 zu. Die Wiedergabeeinheit 74 nimmt eine virtuelle Kamera an, deren Bildaufnahmebereich ein Betrachtungsbereich des Betrachters ist, generiert ein zweidimensionales Bild eines von der virtuellen Kamera aufgenommenen 3D-Objekts und veranlasst, dass die Anzeigeeinrichtung 81 das zweidimensionale Bild anzeigt. Die Anzeigeeinrichtung 81 weist eine Anzeige D1, wie in 1 veranschaulicht, ein Head-Mounted Display (HMD) D2 und dergleichen auf.
<8. Computerkonfigurationsbeispiel>
Die vorstehend beschriebene Verarbeitungsreihe kann durch Hardware ausgeführt werden oder kann durch Software ausgeführt werden. In einem Fall, in dem die Verarbeitungsreihe durch Software ausgeführt wird, wird ein Programm, das diese Software konfiguriert, auf einem Computer installiert. Hier weist der Computer beispielsweise einen Mikrocomputer, der in dedizierter Hardware eingebunden ist, und einen Allzweck-Personal Computer, der durch Installieren verschiedener Programme verschiedene Funktionen ausführen kann, auf.
20 ist ein Blockdiagramm, das ein Konfigurationsbeispiel für Hardware des Computers, der die vorstehend beschriebene Verarbeitungsreihe durch das Programm ausführt, veranschaulicht.
In dem Computer sind eine zentrale Verarbeitungseinheit (CPU - central processing unit) 101, ein Festwertspeicher (ROM - read only memory) 102 und ein Direktzugriffsspeicher (RAM - random access memory) 103 durch einen Bus 104 miteinander verbunden.
Der Bus 104 ist ferner mit einer Eingabe-/Ausgabe-Schnittstelle 105 verbunden. Die Eingabe-/Ausgabe-Schnittstelle 105 ist mit einer Eingabeeinheit 106, einer Ausgabeeinheit 107, einer Speichereinheit 108, einer Kommunikationseinheit 109 und einem Treiber 110 verbunden.
Die Eingabeeinheit 106 weist eine Tastatur, eine Maus, ein Mikrofon, ein berührungsempfindliches Bedienfeld, einen Eingabeanschluss und dergleichen auf. Die Ausgabeeinheit 107 weist eine Anzeige, einen Lautsprecher, einen Ausgabeanschluss und dergleichen auf. Die Speichereinheit 108 weist eine Festplatte, einen RAM-Datenträger, einen nichtflüchtigen Speicher und dergleichen auf. Die Kommunikationseinheit 109 weist eine Netzwerkschnittstelle und dergleichen auf. Der Treiber 110 treibt ein entnehmbares Aufzeichnungsmedium 111, wie etwa einen magnetischen Datenträger, einen optischen Datenträger, einen magneto-optischen Datenträger oder einen Halbleiterspeicher.
Der wie vorstehend beschrieben konfigurierte Computer, beispielsweise die CPU 101, lädt ein in der Speichereinheit 108 gespeichertes Programm über die Eingabe-/Ausgabe-Schnittstelle 105 und den Bus 104 in den RAM 103, führt das Programm aus und führt dadurch die vorstehend beschriebene Verarbeitungsreihe durch. Der RAM 103 speichert auch zweckmäßig Daten und dergleichen, die für die CPU 101 zum Ausführen diverser Arten von Verarbeitung notwendig sind.
Das durch den Computer (CPU 101) ausgeführte Programm kann auf dem entnehmbaren Aufzeichnungsmedium 111 als Paketmedium oder dergleichen aufgezeichnet und bereitgestellt werden. Ferner kann das Programm über ein drahtgebundenes oder drahtloses Übertragungsmedium, wie etwa ein lokales Netzwerk, das Internet oder digitale Satellitenübertragung, bereitgestellt werden.
In dieser Beschreibung werden die in den Flussdiagrammen beschriebenen Schritte natürlich in chronologischer Reihenfolge in der beschriebenen Reihenfolge durchgeführt, brauchen nicht notwendigerweise in chronologischer Reihenfolge verarbeitet zu werden oder können parallel oder zum notwendigen Zeitpunkt, wie etwa zu einem Zeitpunkt, zu dem sie aufgerufen werden, ausgeführt werden.
In dieser Beschreibung bedeutet ein System einen Satz aus einer Vielzahl von Komponenten (z. B. Einrichtungen und Module (Teile)) und es ist unwichtig, ob sich alle Komponenten in demselben Gehäuse befinden oder nicht. Deshalb sind eine Vielzahl von Einrichtungen, die in getrennten Gehäusen untergebracht und über ein Netzwerk verbunden ist, und eine Einrichtung, bei der eine Vielzahl von Modulen in einem Gehäuse untergebracht ist, jeweils das System.
Die Ausführungsformen der vorliegenden Offenbarung sind nicht auf die vorstehend beschriebenen Ausführungsformen beschränkt und verschiedene Modifikationen können vorgenommen werden, ohne von der Kernaussage der vorliegenden Offenbarung abzuweichen.
Zum Beispiel kann ein Aspekt, der durch Kombinieren aller oder eines Teils einer Vielzahl von vorstehend beschriebenen Ausführungsformen erhalten wird, angewendet werden.
Zum Beispiel kann die vorliegende Offenbarung eine Cloud-Computing-Konfigurierung einsetzen, bei der eine Funktion in Zusammenarbeit von einer Vielzahl von Einrichtungen über ein Netzwerk gemeinsam genutzt und verarbeitet wird.
Ferner kann jeder Schritt, der Bezug nehmend auf das vorstehend beschriebene Flussdiagramm beschrieben wurde, durch eine Einrichtung ausgeführt werden und kann außerdem durch eine Vielzahl von Einrichtungen gemeinsam genutzt und ausgeführt werden.
Ferner kann in einem Fall, in dem ein Schritt eine Vielzahl von Verarbeitung aufweist, eine in diesem einen Schritt beinhaltete Vielzahl von Verarbeitung durch eine Einrichtung ausgeführt werden und kann außerdem von einer Vielzahl von Einrichtungen gemeinsam genutzt und ausgeführt werden.
Es wird angemerkt, dass die in dieser Beschreibung beschriebenen Wirkungen lediglich Beispiele sind und nicht eingeschränkt sind, und dass sie Wirkungen sein können, die von denen in dieser Beschreibung beschriebenen verschieden sind.
Es wird angemerkt, dass die vorliegende Offenbarung die folgenden Konfigurierungen einsetzen kann.

(1) Bildverarbeitungseinrichtung, die Folgendes aufweist eine Anpassungseinheit, die Kameraparameter auf der Grundlage eines Vergleichsergebnisses zwischen einem Referenzbild, das auf Bildern basiert, die durch Aufnehmen von Bildern eines vorgegebenen Subjekts zu unterschiedlichen Zeitpunkten erhalten werden, und einem aufgenommenen Bild, das durch Aufnehmen eines Bilds des gleichen Subjekts in einer momentanen Umgebung erhalten wird, anpasst.
(2) Bildverarbeitungseinrichtung, beschrieben in (1), bei der die Anpassungseinheit die Bilder, die durch Aufnehmen der Bilder des vorgegebenen Subjekts zu den unterschiedlichen Zeitpunkten als Referenzbild erhalten werden, mit dem aufgenommenen Bild vergleicht und die Kameraparameter anpasst.
(3) Bildverarbeitungseinrichtung, beschrieben in (1) oder (2), ferner aufweisend eine Generierungseinheit für ein Referenzbild, die ein 3D-Modell des Subjekts aus einer Vielzahl der Bilder, die durch Aufnehmen der Bilder des vorgegebenen Subjekts zu den unterschiedlichen Zeitpunkten erhalten werden, generiert und ein Bild aus einem virtuellen Blickwinkel, das das generierte 3D-Modell von einem Blickwinkel der momentanen Umgebung aus betrachtet, als Referenzbild generiert, wobei die Anpassungseinheit das Bild aus einem virtuellen Blickwinkel als Referenzbild und das aufgenommene Bild vergleicht und die Kameraparameter anpasst.
(4) Bildverarbeitungseinrichtung, beschrieben in einem von (1) bis (3), ferner Folgendes aufweisend:
- eine Speichereinheit, die die Bilder, die durch Aufnehmen der Bilder des vorgegebenen Subjekts zu den unterschiedlichen Zeitpunkten für eine oder mehrere Umgebungen erhalten wird, speichert; und
- eine Auswahleinheit, die bewirkt, dass ein Benutzer eine vorgegebene der einen oder der mehreren in der Speichereinheit gespeicherten Umgebungen auswählt,
- wobei die Anpassungseinheit die Kameraparameter auf der Grundlage eines Vergleichsergebnisses zwischen einem Referenzbild basierend auf dem Bild der von dem Benutzer ausgewählten Umgebung und dem aufgenommenen Bild anpasst.
(5) Bildverarbeitungseinrichtung, beschrieben in einem von (1) bis (4), wobei die Anpassungseinheit eine Belichtungszeit und/oder eine Verstärkung als Kameraparameter anpasst.
(6) Bildverarbeitungseinrichtung, beschrieben in einem von (1) bis (5), wobei die Anpassungseinheit einen internen Parameter und/oder einen externen Parameter einer Bildaufnahmeeinrichtung als Kameraparameter anpasst.
(7) Bildverarbeitungseinrichtung, beschrieben in einem von (1) bis (6), wobei die Anpassungseinheit zusätzlich zu den Kameraparametern auch Parameter einer Beleuchtungseinrichtung anpasst.
(8) Bildverarbeitungseinrichtung, beschrieben in (7), wobei die Parameter der Beleuchtungseinrichtung eine Beleuchtungsstärke und eine Farbtemperatur sind.
(9) Bildverarbeitungsverfahren, aufweisend Anpassen von Kameraparametern auf der Grundlage eines Vergleichsergebnisses zwischen einem Referenzbild, das auf Bildern basiert, die durch Aufnehmen von Bildern eines vorgegebenen Subjekts zu unterschiedlichen Zeitpunkten erhalten wurden, und einem aufgenommenen Bild, das durch Aufnehmen eines Bilds des gleichen Subjekts in einer momentanen Umgebung erhalten wurde.
(10) Generierungsverfahren von 3D-Modell-Daten, aufweisend Generieren eines 3D-Modells eines zweiten Subjekts aus einer Vielzahl von zweiten aufgenommenen Bildern und Generieren eines Bilds aus einem virtuellen Blickwinkel, der das generierte 3D-Modell des zweiten Subjekts von einem vorgegebenen Blickwinkel aus betrachtet, wobei die Vielzahl von zweiten aufgenommenen Bildern durch Aufnehmen von Bildern des zweiten Subjekts durch eine Vielzahl von Bildaufnahmeeinrichtungen erhalten wird, die Kameraparameter verwenden, die auf der Grundlage eines Vergleichsergebnisses zwischen einem Referenzbild, das auf Bildern basiert, die durch Aufnehmen von Bildern eines ersten Subjekts zu unterschiedlichen Zeitpunkten erhalten wurden, und einem ersten aufgenommenen Bild, das durch Aufnehmen eines Bilds des ersten Subjekts in einer momentanen Umgebung erhalten wurde, angepasst werden.

Bezugszeichenliste

10: Bildverarbeitungssystem
11-1 bis 11-N: Bildaufnahmeeinrichtung
12-1 bis 12-M: Beleuchtungseinrichtung
13: Bildverarbeitungseinrichtung
21: Referenzkamerabild-DB
22: Auswahleinheit für die Referenzbildaufnahmeumgebung
23: Einstelleinheit für die Ausgangsbildaufnahmeumgebung
24, 24A: Anpassungseinheit für die Bildaufnahmeumgebung
25: Registriereinheit für die Bildaufnahmeumgebung
51: Generierungseinheit für ein Referenzbild aus einem virtuellen Blickwinkel
71: Bilderhaltungseinheit
72: 3D-Modell-Generierungseinheit
73: 3D-Modell-DB
74: Wiedergabeeinheit
81: Anzeigeeinrichtung
101: CPU
102: ROM
103: RAM
106: Eingabeeinheit
107: Ausgabeeinheit
108: Speichereinheit
109: Kommunikationseinheit
110: Treiber

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2012175128 [0005]

Claims

Bildverarbeitungseinrichtung, umfassend eine Anpassungseinheit, die Kameraparameter auf Grundlage eines Vergleichsergebnisses zwischen einem Referenzbild, das auf Bildern basiert, die durch Aufnehmen von Bildern eines vorgegebenen Subjekts zu unterschiedlichen Zeitpunkten erhalten wurden, und einem aufgenommenen Bild, das durch Aufnehmen eines Bilds des gleichen Subjekts in einer momentanen Umgebung erhalten wurde, anpasst.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei die Anpassungseinheit die Bilder, die durch Aufnehmen der Bilder des vorgegebenen Subjekts zu den unterschiedlichen Zeitpunkten als Referenzbilder erhalten wurden, mit dem aufgenommenen Bild vergleicht und die Kameraparameter anpasst.
Bildverarbeitungseinrichtung nach Anspruch 1, ferner umfassend eine Generierungseinheit für ein Referenzbild, die ein 3D-Modell des Subjekts aus einer Vielzahl der Bilder, die durch Aufnehmen der Bilder des vorgegebenen Subjekts zu den unterschiedlichen Zeitpunkten erhalten wurden, generiert und ein Bild aus einem virtuellen Blickwinkel, das das generierte 3D-Modell von einem Blickwinkel der momentanen Umgebung aus betrachtet, als Referenzbild generiert, wobei die Anpassungseinheit das Bild aus einem virtuellen Blickwinkel als Referenzbild und das aufgenommene Bild vergleicht und die Kameraparameter anpasst.
Bildverarbeitungseinrichtung nach Anspruch 1, ferner umfassend: eine Speichereinheit, die die Bilder, die durch Aufnehmen der Bilder des vorgegebenen Subjekts zu den unterschiedlichen Zeitpunkten für eine oder mehrere Umgebungen erhalten wurden, speichert; und eine Auswahleinheit, die bewirkt, dass ein Benutzer eine vorgegebene der einen oder der mehreren in der Speichereinheit gespeicherten Umgebungen auswählt, wobei die Anpassungseinheit die Kameraparameter auf der Grundlage eines Vergleichsergebnisses zwischen einem Referenzbild basierend auf dem Bild der von dem Benutzer ausgewählten Umgebung und dem aufgenommenen Bild anpasst.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei die Anpassungseinheit eine Belichtungszeit und/oder eine Verstärkung als Kameraparameter anpasst.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei die Anpassungseinheit einen internen Parameter und/oder einen externen Parameter einer Bildaufnahmeeinrichtung als Kameraparameter anpasst.
Bildverarbeitungseinrichtung nach Anspruch 1, wobei die Anpassungseinheit zusätzlich zu den Kameraparametern auch Parameter einer Beleuchtungseinrichtung anpasst.
Bildverarbeitungseinrichtung nach Anspruch 7, wobei die Parameter der Beleuchtungseinrichtung eine Beleuchtungsstärke und eine Farbtemperatur sind.
Bildverarbeitungsverfahren, umfassend Anpassen von Kameraparametern auf der Grundlage eines Vergleichsergebnisses zwischen einem Referenzbild, das auf Bildern basiert, die durch Aufnehmen von Bildern eines vorgegebenen Subjekts zu unterschiedlichen Zeitpunkten erhalten wurden, und einem aufgenommenen Bild, das durch Aufnehmen eines Bilds des gleichen Subjekts in einer momentanen Umgebung erhalten wurde.
Generierungsverfahren von 3D-Modell-Daten, umfassend Generieren eines 3D-Modells eines zweiten Subjekts aus einer Vielzahl von zweiten aufgenommenen Bildern und Generieren eines Bilds aus einem virtuellen Blickwinkel, der das generierte 3D-Modell des zweiten Subjekts von einem vorgegebenen Blickwinkel aus betrachtet, wobei die Vielzahl von zweiten aufgenommenen Bildern durch Aufnehmen von Bildern des zweiten Subjekts durch eine Vielzahl von Bildaufnahmeeinrichtungen erhalten wird, die Kameraparameter verwenden, die auf der Grundlage eines Vergleichsergebnisses zwischen einem Referenzbild, das auf Bildern basiert, die durch Aufnehmen von Bildern eines ersten Subjekts zu unterschiedlichen Zeitpunkten erhalten wurden, und einem ersten aufgenommenen Bild, das durch Aufnehmen eines Bilds des ersten Subjekts in einer momentanen Umgebung erhalten wurde, angepasst werden.