DE102013226164B4

DE102013226164B4 - Bildverarbeitungsvorrichtung, Bildaufnahmevorrichtung, Bildverarbeitungsverfahren, Programm und Speichermedium

Info

Publication number: DE102013226164B4
Application number: DE102013226164.0A
Authority: DE
Inventors: Yusuke Tamura; Kodama Yasunobu
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2012-12-26
Filing date: 2013-12-17
Publication date: 2022-04-28
Anticipated expiration: 2033-12-18
Also published as: GB2511194A; JP2014143673A; GB201423310D0; DE102013226164A1; CN103905700B; GB2511194B; JP5882975B2; RU2013157873A; GB201322770D0; CN103905700A; US10115178B2; US20140176612A1; RU2587410C2; GB2529734A; GB2529734B

Abstract

Bildverarbeitungsvorrichtung mit:einer Festlegungseinrichtung zum Festlegen von Objektbereichen von einem Bild;einer Einstelleinrichtung zum Einstellen einer Vielzahl von Schnittbereichskandidaten für jeden der durch die Festlegungseinrichtung festgelegten Objektbereiche;einer Bewertungseinrichtung zum Erhalten von Bewertungswerten der Vielzahl von durch die Einstelleinrichtung eingestellten Schnittbereichskandidaten; einer Auswahleinrichtung zum Auswählen einer vorbestimmten Anzahl von Schnittbereichen aus der Vielzahl von Schnittbereichskandidaten; undeiner Erzeugungseinrichtung zum Extrahieren von Bildern von Bereichen, die durch die durch die Auswahleinrichtung ausgewählten Schnittbereiche definiert sind, aus dem Bild, und zum Ausgeben der extrahierten Bilder, wobeidie Auswahleinrichtung die vorbestimmte Anzahl von Schnittbereichen aus der Vielzahl von Schnittbereichskandidaten in einer Reihenfolge beginnend mit dem höchsten Bewertungswert, unter Auslassung von Schnittbereichskandidaten, die als ähnlich zu einem Schnittbereich bestimmt werden, der früher ausgewählt wurde, auswählt.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung, eine Bildaufnahmevorrichtung, ein Bildverarbeitungsverfahren, ein Programm und ein Speichermedium, und insbesondere auf eine Bildzuschneidetechnik.
Beschreibung der verwandten Technik
In den letzten Jahren wird ein spezielles Objekt, wie etwa eine Person, aus/in einem Bild nicht nur durch Verwendung von Bildaufnahmevorrichtungen, wie etwa Digitalkameras, erfasst, sondern auch durch Verwendung von Bildverwaltungsanwendungen und dergleichen. Das japanische Patent Nr. 4625356 ( JP 4 625 356 B ) offenbart eine Technik zum Zuschneiden eines Bilds im Einklang mit einem speziellen Objekt, das erfasst wurde.
Gemäß diesem japanischen Patent Nr. 4625356 ( JP 4 625 356 B ) wird eine Schnitt- bzw. Zuschneideposition derart bestimmt, dass sich ein Objekt an einer vorbestimmten Position in einem zugeschnittenen Bild befindet. Die Verwendung des in dem japanischen Patent Nr. 4625356 ( JP 4 625 356 B ) offenbarten Verfahrens für ein eine Vielzahl von Objekten umfassendes Bild kann jedoch zu der Ausführung des folgenden ungewünschten Schnitt- bzw. Zuschneidevorgangs führen.
Zum Beispiel sei der Fall angenommen, in dem eine bevorzugte Ein-/Rahmung bzw. Bildeinstellung eines zugeschnittenen Bilds derart eingestellt ist, dass ein Objekt auf geraden Linien liegt, die das zugeschnittene Bild in der horizontalen Richtung dreiteilen. In dem Fall, in dem nur eine Person (ein Objekt) 1201 in einem Bild 1200 vorhanden ist, wie es in 16A gezeigt ist, passt ein resultierendes zugeschnittenes Bild 1202 mit der eingestellten bevorzugten Ein-/ Rahmung bzw. Bildeinstellung zusammen. Andererseits sei der Fall angenommen, in dem zwei Menschen in einem Bild 1210 vorhanden sind, wie es in 16B gezeigt ist. In diesem Fall kann, falls das Bild so zugeschnitten wird, dass eine Person 1211 in der bevorzugten Ein-/Rahmung bzw. Bildeinstellung enthalten ist, ein Teil einer Person 1212 nicht in der bevorzugten Ein-/Rahmung bzw. Bildeinstellung enthalten sein, wie es in einem resultierenden zugeschnittenen Bild 1213 gezeigt ist.
Indessen offenbart die japanische Patentoffenlegungsschrift Nr. 2007-19893 ( JP 2007 019 893 A ) eine Technik zum Einstellen einer Vielzahl von Schnitt- bzw. Zuschneidebereichen für ein Bild im Einklang mit vorbestimmten Bedingungen, die voreingestellt wurden, und zum Erzeugen einer Vielzahl von Schnittbildern aus diesem Bild basierend auf den eingestellten Schnitt- bzw. Zuschneidebereichen.
Falls Schnittbilder im Einklang mit einer Vielzahl von Schnitt- bzw. Zuschneidebereichen erzeugt werden, die eingestellt wurden, wie es in der japanischen Patentoffenlegungsschrift Nr. 2007-19893 ( JP 2007 019 893 A ) beschrieben ist, kann jedoch eine Vielzahl von ähnlichen Schnittbildern erzeugt werden.
KURZFASSUNG DER ERFINDUNG
Die vorliegende Erfindung wurde in Anbetracht derartiger Probleme in der herkömmlichen Technik gemacht. Die vorliegende Erfindung stellt eine Bildverarbeitungsvorrichtung, eine Bildaufnahmevorrichtung, ein Bildverarbeitungsverfahren, ein Programm und ein Speichermedium bereit, die bevorzugte Schnittbilder erzeugen.
Die vorliegende Erfindung in ihrem ersten Aspekt stellt eine Bildverarbeitungsvorrichtung bereit, wie sie in Patentansprüchen 1 bis 5 definiert ist.
Die vorliegende Erfindung in ihrem zweiten Aspekt stellt eine Bildverarbeitungsvorrichtung bereit, wie sie in Patentansprüchen 6 bis 9 definiert ist.
Die vorliegende Erfindung in ihrem dritten Aspekt stellt eine Bildaufnahmevorrichtung bereit, wie sie in Patentanspruch 10 definiert ist.
Die vorliegende Erfindung in ihrem vierten Aspekt stellt ein Bildverarbeitungsverfahren bereit, wie es in Patentanspruch 11 definiert ist.
Die vorliegende Erfindung in ihrem fünften Aspekt stellt ein Bildverarbeitungsverfahren bereit, wie es in Patentanspruch 12 definiert ist.
Die vorliegende Erfindung in ihrem sechsten Aspekt stellt ein Programm und ein Speichermedium bereit, wie sie in Patentansprüchen 13 und 14 definiert sind.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von beispielhaften Ausführungsbeispielen (unter Bezugnahme auf die begleitende Zeichnung) deutlich.
Figurenliste

1 ist ein Blockschaltbild, das eine funktionale Konfiguration einer Digitalkamera 100 gemäß einem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
2 ist ein Blockschaltbild, das eine innere Konfiguration zeigt, die für eine durch eine Bildverarbeitungseinheit 105 ausgeführte Schnittverarbeitung verwendet wird.
3 zeigt Beispiele von Seitenverhältnissen und Größen von Schnittbereichskandidaten.
4 ist ein Ablaufdiagramm, das ein Beispiel einer Verarbeitung zum Einstellen von Prioritäten von Objektbereichskandidaten zeigt.
5A zeigt ein Beispiel einer Berechnung eines Bewertungswerts entsprechend einer Fläche eines Objektbereichskandidaten, und 5B zeigt ein Beispiel einer Berechnung eines Bewertungswerts entsprechend einem Abstand von der Mitte eines Bilds zu einem Objektbereichskandidaten.
6 ist ein Ablaufdiagramm, das ein Beispiel einer Schnittbereichskandidaten-Bestimmungsverarbeitung zeigt.
7A zeigt eine Größe eines Gesichtsbereichs, 7B zeigt eine Größe eines Körperbereichs, der aus einer Größe eines Gesichtsbereichs geschätzt wird, 7C zeigt ein Beispiel, bei dem zumindest einer eines Gesichtsbereichs und eines Körperbereichs eines Objekts von Interesse einen Gesichtsbereich oder einen Körperbereich eines anderen Objekts überlappt, und 7D zeigt ein Beispiel, bei dem zumindest einer eines Gesichtsbereichs und eines Körperbereichs eines Objekts von Interesse einen Gesichtsbereich oder einen Körperbereich eines anderen Objekts nicht überlappt.
8 zeigt Darstellungen zur Beschreibung von bevorzugten Anordnungen eines Gesichtsbereichs von Interesse bei einem unabhängigen Schnittvorgang.
9 ist ein Ablaufdiagramm, das ein Beispiel einer Bewertungsverarbeitung für einen unabhängigen Schnittvorgang zeigt.
10A zeigt ein Beispiel, bei dem ein Überstandsbetrag eines Zielobjektbereichskandidaten außerhalb des Zielbilds groß ist, und 10B zeigt ein Beispiel, bei dem ein Überstandsbetrag eines Zielobjektbereichskandidaten außerhalb eines Zielbilds klein ist.
11A, 11B und 11C zeigen Darstellungen zur Beschreibung von Verfahren zum Berechnen eines Bewertungswerts bei einer Bewertungsverarbeitung für einen unabhängigen Schnittvorgang.
12 zeigt Darstellungen zur Beschreibung von bevorzugten Anordnungen eines Gesichtsbereichs bei einem mehrfachen Schnittvorgang.
13 ist ein Ablaufdiagramm, das ein Beispiel einer Bewertungsverarbeitung für einen mehrfachen Schnittvorgang zeigt.
14 zeigt Darstellungen zur Beschreibung einer Verarbeitung für den Fall, in dem ein Gesichtsbereich außerhalb eines Schnittbereichskandidaten vorhanden ist.
15 ist ein Ablaufdiagramm, das ein Beispiel einer Verarbeitung zum Auswählen eines Schnittbereichs für jeden Objektbereich zeigt.
16A und 16B sind Darstellungen zur Beschreibung eines Problems einer herkömmlichen Schnitttechnik.

BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
[Ausführungsbeispiel]
Unter Bezugnahme auf die Zeichnung wird nun ein veranschaulichendes Ausführungsbeispiel der vorliegenden Erfindung ausführlich beschrieben. Es sollte beachtet werden, dass bei einem nachstehend beschriebenen Ausführungsbeispiel die vorliegende Erfindung auf eine Digitalkamera angewandt wird, die zum Erzeugen eines Bilds durch Zu-/Be-/Schneiden eines beliebigen Bereichs aus einem Zielbild im Stande ist, wobei die Digitalkamera als ein Beispiel einer Bildverarbeitungsvorrichtung dient. Die vorliegende Erfindung ist jedoch auf jede beliebige Vorrichtung anwendbar, die zum Einstellen eines Schnitt- bzw. Zuschneidebereichs für ein Zielbild im Stande ist.
<<Konfiguration von Digitalkamera 100>>
1 ist ein Blockschaltbild, das eine funktionale Konfiguration einer Digitalkamera 100 gemäß dem Ausführungsbeispiel der vorliegenden Erfindung zeigt.
Eine Steuereinheit 101 ist zum Beispiel eine CPU und steuert die Betriebsvorgänge von in der Digitalkamera 100 umfassten Blöcken. Im Speziellen steuert die Steuereinheit 100 die Betriebsvorgänge der Blöcke durch Lesen von Betriebsprogrammen für die Blöcke, die in einem ROM 102 gespeichert sind, Laden der gelesenen Betriebsprogramme in einen RAM 103, und Ausführen der Betriebsprogramme.
Der ROM 102 ist zum Beispiel ein wiederbeschreibbarer nichtflüchtiger Speicher. Der ROM 102 speichert Informationen von Parametern und dergleichen, die für die Betriebsvorgänge der Blöcke notwendig sind, zusätzlich zu den Betriebsprogrammen für die in der Digitalkamera 100 umfassten Blöcke. Der RAM 103 ist ein flüchtiger Speicher. Der RAM 103 wird nicht nur als ein Bereich verwendet, in den die Betriebsprogramme der Blöcke geladen werden, sondern auch als ein Speicherbereich zum vorübergehenden Speichern von Zwischendaten bzw. -ergebnissen, die in den Betriebsvorgängen der Blöcke ausgegeben werden.
Eine Bildsignalerfassungseinheit 104 gibt digitale Bildsignale aus. Die Bildsignalerfassungseinheit 104 ist zum Beispiel ein Bildsensor, wie etwa ein CCD- oder CMOS-Sensor. Die Bildsignalerfassungseinheit 104 erfasst analoge Bildsignale durch fotoelektrisches Wandeln eines optischen Bilds, das über eine Bildaufnahme durch ein optisches System, das in der Zeichnung nicht gezeigt ist, auf einer Bildgebungsfläche ausgebildet wird. Die Bildsignalerfassungseinheit 104 wendet auch eine vorbestimmte Bildverarbeitung, wie etwa eine Abtastverarbeitung, eine Verstärkungsanpassungsverarbeitung und eine A/D-Wandlungsverarbeitung, auf die erfassten analogen Bildsignale an und gibt digitale Bildsignale aus. Die Bildsignalerfassungseinheit 104 kann konfiguriert sein, um ein beliebiges Bildsignal über ein externes Aufzeichnungsmedium und ein Netzwerk zu empfangen und auszugeben.
Eine Bildverarbeitungseinheit 105 wendet eine Bildverarbeitung, wie etwa eine Farbwandlungsverarbeitung und eine Vergrößerungs-/Verkleinerungsverarbeitung, auf die digitalen Bildsignale an (die hierin nachstehend einfach als ein Bild bezeichnet werden). Die Bildverarbeitungseinheit 105 führt auch eine Schnitt- bzw. Zu-/Be-/Schneideverarbeitung zum Extrahieren eines beliebigen Bereichs aus einem eingegebenen Bild aus.
<Spezielle Konfiguration von Bildverarbeitungseinheit 105>
Unter Bezugnahme auf 2 wird im Folgenden eine weitergehende Beschreibung einer funktionalen Konfiguration einer Verarbeitungslinie bereitgestellt, die mit einer Schnitt- bzw. Zuschneideverarbeitung in Zusammenhang steht, die durch die Bildverarbeitungseinheit 105 gemäß dem vorliegenden Ausführungsbeispiel ausgeführt wird.
Eine Objektbereich-Extraktionseinheit 111 erfasst einen Objektbereich, der einem speziellen Objekt entspricht, das in einem eingegebenen Bild (Ziel) umfasst ist. In der folgenden Beschreibung des vorliegenden Ausführungsbeispiels erfasst die Objektbereich-Extraktionseinheit 111 einen Gesichtsbereich, der einem Gesicht einer Person entspricht, die in einem Zielbild umfasst ist, als einen Objektbereich. Ausführungsbeispiele der vorliegenden Erfindung sind jedoch nicht auf diese Weise beschränkt. Zum Beispiel können Typen eines Objektbereichs ein Gesicht eines Tieres anstatt einer Person und ein Objekt, das ein äußeres Erscheinungsbild mit einem speziellen Muster aufweist, umfassen. Außerdem erfasst bei der folgenden Beschreibung des vorliegenden Ausführungsbeispiels die Objektbereich-Extraktionseinheit 111 einen Objektbereich aus einem Helligkeitsbild, das einem an die Bildverarbeitungseinheit 105 eingegebenen Zielbild entspricht. Ein Objektbereich ist jedoch nicht darauf beschränkt, dass er aus einem Helligkeitsbild erfasst wird. Wahlweise kann ein Objektbereich aus Farbdifferenzsignalen erfasst werden, die einem Zielbild entsprechen. Zum Beispiel gibt die Objektbereich-Extraktionseinheit 111 Informationen der mittigen Koordinaten eines erfassten Gesichtsbereichs in einem Zielbild und der Größe des erfassten Gesichtsbereichs als ein Ergebnis einer Erfassung eines Objektbereichs aus.
Außerdem, falls ein Gesichtsbereich aus einem eingegebenen Bild nicht erfasst werden kann, teilt die Objektbereich-Extraktionseinheit 111 das Bild in eine Vielzahl von Blöcken, und erhält sie einen Farbton von jedem Block, um ein anderes Objekt als einen Gesichtsbereich zu erfassen. Dann werden durch einen Farbton gruppierte Bereiche durch Kombination von benachbarten Blöcken mit ähnlichen Farbtönen als das gleiche Objekt extrahiert. Daraufhin werden aus diesen durch einen Farbton gruppierten Bereichen Bereiche, die nicht an die Kanten bzw. Ränder des Bilds angrenzen und eine Größe aufweisen, die gleich oder größer einer vorbestimmten Größe ist, als Kandidaten für einen Objektbereich (Objektbereichskandidaten) eingestellt und ausgegeben.
Wenn die Objektbereich-Extraktionseinheit 111 eine Vielzahl von Objektbereichskandidaten eingestellt hat, die nicht Gesichtsbereiche sind, führt eine Bereichspriorität-Einstelleinheit 112 eine Berechnung durch, um Bereichsprioritätsordnungen bzw. -ordnungszahlen mit Bezug auf die Vielzahl von erfassten Objektbereichskandidaten zu bestimmen. Die Bereichspriorität-Einstelleinheit 112 berechnet Bewertungswerte der Objektbereichskandidaten zum Beispiel basierend auf den Positionen, den Größen und den Abstandsinformationen der Objektbereichskandidaten in dem Bild, und sie stellt eine höhere Prioritätsordnung bzw. - ordnungszahl für einen Bereich ein, der einen größeren berechneten Bewertungswert aufweist. Zum Beispiel, falls die Bewertungswerte basierend auf den Positionen berechnet werden, ist der positionsbasierte Bewertungswert umso höher, je näher die baryzentrischen bzw. Schwerpunktkoordinaten eines Objektbereichskandidaten an den mittigen Koordinaten des Bilds liegen. Ein Bereichskandidat mit einem Bewertungswert, der nicht kleiner ist als ein Schwellenwert, und mit einer Prioritätsordnung bzw. -ordnungszahl innerhalb eines vorbestimmten Intervalls (zum Beispiel der höchsten oder der zweithöchsten Prioritätsordnung bzw. -ordnungszahl) wird als ein Objektbereich bestimmt. Dieses Verfahren zum Einstellen der Prioritäten für Bereiche wird nachstehend unter Bezugnahme auf 4 beschrieben.
Eine Schnittbereichskandidaten-Einstelleinheit 113 stellt Schnittbereichskandidaten ein, die Kandidaten für Bereiche sind, die in einer Schnittverarbeitung auszuschneiden sind. Die Bildverarbeitungseinheit 105 gemäß dem vorliegenden Ausführungsbeispiel führt eine Schnittverarbeitung aus, um aus einem über eine Bildaufnahme erfassten Zielbild Bilder von Bereichen auszuschneiden, die jeweils eine Ein-/Rahmung bzw. Bildeinstellung (nachstehend einfach als Rahmung bezeichnet) aufweisen, in der ein Objektbereich in einer vorbestimmten Art und Weise angeordnet ist. Aus diesem Grund stellt die Schnittbereichskandidaten-Einstelleinheit 113 für jeden der durch die Objektbereich-Extraktionseinheit 111 erfassten Objektbereiche eine Vielzahl von Schnittbereichskandidaten ein, die Bedingungen hinsichtlich der Anordnung des Objektbereichs erfüllen. Wahlweise kann die Schnittbereichskandidaten-Einstelleinheit 113 Objektbereiche aus den Objektbereichskandidaten, die durch die Objektbereich-Extraktionseinheit 111 eingestellt werden, basierend auf Informationen von Bewertungswerten und Prioritätsordnungen bzw. -ordnungszahlen, die von der Bereichspriorität-Einstelleinheit 112 geliefert werden, bestimmen und eine Vielzahl von Schnittbereichskandidaten für jeden der bestimmten Objektbereiche einstellen. Bei dem vorliegenden Ausführungsbeispiel stellt die Schnittbereichskandidaten-Einstelleinheit 113 rechteckige Bereiche der Seitenverhältnisse und Größen (Anzahl von Bildelementen bzw. Pixeln), die in 3 gezeigt sind, als Schnittbereichskandidaten ein.
Eine Schnittbereich-Bewertungseinheit 114 berechnet einen Bewertungswert für jeden der durch die Schnittbereichskandidaten-Einstelleinheit 113 eingestellten Schnittbereichskandidaten auf Grundlage der Positionen der Objektbereiche in den Schnittbereichskandidaten. Ein Verfahren zum Berechnen der Bewertungswerte von Schnittbereichskandidaten in der Schnittbereich-Bewertungseinheit 114 wird in einer Beschreibung einer Verarbeitung zum Bestimmen eines Schnittbereichs nachstehend näher ausgeführt.
Eine Schnittbereich-Auswahleinheit 115 wählt einen Schnittbereich aus den durch die Schnittbereichskandidaten-Einstelleinheit 113 eingestellten Schnittbereichskandidaten auf Grundlage der durch die Schnittbereich-Bewertungseinheit 114 berechneten Bewertungswerte aus. Zum Beispiel wählt die Schnittbereich-Auswahleinheit 115 in dem Fall, in dem ein Schnittbild aus einem Bild zu erzeugen ist, einen Schnittbereichskandidaten, für den die Schnittbereich-Bewertungseinheit 114 den höchsten Bewertungswert berechnet hat, als einen Schnittbereich aus. Andererseits bestimmt die Schnittbereich-Auswahleinheit 115 in dem Fall, in dem eine Vielzahl von Schnittbildern aus einem Bild zu erzeugen ist, Schnittbereiche, die in ihrer Anzahl den zu erzeugenden Schnittbildern entsprechen, aus der Vielzahl von Schnittbereichskandidaten in Kooperation mit einer nachstehend beschriebenen Ähnlichkeitsbestimmungseinheit 116.
In dem Fall, in dem eine Vielzahl von Schnittbildern aus einem Bild zu erzeugen ist, bestimmt die Ähnlichkeitsbestimmungseinheit 116 Ähnlichkeiten der Schnittbereichskandidaten, und gibt sie das Bestimmungsergebnis an die Schnittbereich-Auswahleinheit 115 zurück, um so zu verhindern, dass die Schnittbereich-Auswahleinheit 115 Schnittbereiche mit einer ähnlichen Rahmung auswählt. Zum Beispiel empfängt die Ähnlichkeitsbestimmungseinheit 116 nacheinander die Schnittbereichskandidaten von der Schnittbereich-Auswahleinheit 115 in einer Reihenfolge beginnend mit dem höchsten Bewertungswert, und bestimmt sie eine Ähnlichkeit zwischen jedem empfangenen Kandidaten und Schnittbereichen, die bereits bestimmt wurden. Falls das Bestimmungsergebnis eine Ähnlichkeit bezeichnet, stellt die Schnittbereich-Auswahleinheit 115 den entsprechenden Schnittbereichskandidaten nicht als einen Schnittbereich ein, und lässt sie diesen aus den Kandidaten weg. Andererseits, falls das Bestimmungsergebnis keine Ähnlichkeit bezeichnet, stellt die Schnittbereich-Auswahleinheit 115 den entsprechenden Schnittbereichskandidaten als einen Schnittbereich ein. Bis die Anzahl von Schnittbereichskandidaten, die als Schnittbereiche ausgewählt wurden, die Anzahl von auszugebenden Schnittbildern erreicht, gibt die Schnittbereich-Auswahleinheit 115 wiederholt Schnittbereichskandidaten zur Bestimmung von Ähnlichkeiten durch die Ähnlichkeitsbestimmungseinheit 116 aus, und führt sie eine Auswahl/Bestimmung basierend auf Ähnlichkeiten durch. Nachstehend wird unter Bezugnahme auf 15 ein Verfahren zum Bestimmen von Ähnlichkeiten und Schnittbereichen beschrieben.
Es sollte beachtet werden, dass in dem Fall, in dem ein Schnittbild aus einem Bild zu erzeugen ist, die Schnittbereich-Auswahleinheit 115 nur einen Schnittbereich auswählen sollte und daher die Verarbeitung der Ähnlichkeitsbestimmungseinheit 116 nicht ausgeführt werden muss.
Eine Schnittbereich-Extraktionsergebnis-Ausgabeeinheit 117 erzeugt ein Schnittbild durch Zu-/Be-/Schneiden des Zielbilds basierend auf Informationen eines durch die Schnittbereich-Auswahleinheit 115 ausgewählten Schnittbereichs oder auf Informationen eines Bereichs, der durch die Ähnlichkeitsbestimmungseinheit 116 als ein endgültiger Schnittbereich bestimmt wurde, und sie gibt dann das erzeugte Schnittbild aus.
Eine Anzeigeeinheit 106 der Digitalkamera 100 ist eine Anzeigevorrichtung, wie etwa ein LCD, die in der Digitalkamera 100 bereitgestellt ist. Die Anzeigeeinheit 106 zeigt zum Beispiel Bilder, die über eine durch die Bildsignalerfassungseinheit 104 durchgeführte Bildaufnahme und über eine durch die Bildverarbeitungseinheit 105 ausgeführte Schnittverarbeitung erfasst werden, oder in einem Aufzeichnungsmedium 107 aufgezeichnete Bilder an.
Das Aufzeichnungsmedium 107 ist eine Aufzeichnungsvorrichtung, wie etwa ein eingebauter Speicher, der in der Digitalkamera 100 bereitgestellt ist, oder eine Aufzeichnungsvorrichtung, die mit der Digitalkamera 100 in einer ansteckbaren/abtrennbaren Art und Weise verbunden ist, wie etwa eine Speicherkarte und eine HDD. Bilder, die über eine durch die Bildsignalerfassungseinheit 104 durchgeführte Bildaufnahme und über eine durch die Bildverarbeitungseinheit 105 ausgeführte Schnittverarbeitung erfasst werden, werden in dem Aufzeichnungsmedium 107 aufgezeichnet.
Während das vorliegende Ausführungsbeispiel unter der Annahme beschrieben ist, dass die in der Digitalkamera 100 umfassten Blöcken eine Verarbeitung durch Hardware realisieren, sind Ausführungsbeispiele der vorliegenden Erfindung nicht auf diese Weise beschränkt; wahlweise kann eine Verarbeitung der Blöcke durch Programme realisiert werden, die eine ähnliche Verarbeitung ausführen.
<Verarbeitung zum Einstellen von Bereichsprioritäten>
Unter Bezugnahme auf ein Ablaufdiagramm gemäß 4 wird im Folgenden eine spezielle Verarbeitung beschrieben, die auf ein Verfahren zum Einstellen von Prioritäten für eine Vielzahl von Kandidaten für Objektbereiche (Objektbereichskandidaten) in der Bereichspriorität-Einstelleinheit 112 bezogen ist. Es sollte beachtet werden, dass das vorliegende Ablaufdiagramm zum Beispiel gestartet wird, wenn die Objektbereich-Extraktionseinheit 111 keinen Gesichtsbereich erfasst hat und daher eine Vielzahl von Objektbereichskandidaten basierend auf Farbtönen eingestellt hat.
Zunächst bestimmt die Bereichspriorität-Einstelleinheit 112 in Schritt S200, ob eine Berechnung eines Gesamtbewertungswerts mit Bezug auf alle der erfassten Objektbereichskandidaten abgeschlossen wurde. Die Bereichspriorität-Einstelleinheit 112 schreitet zu dem Prozess von Schritt S201 voran, falls die Berechnung nicht abgeschlossen wurde, und zu dem Prozess von Schritt S206, falls die Berechnung abgeschlossen wurde.
In Schritt S201 wählt die Bereichspriorität-Einstelleinheit 112 aus den erfassten Objektbereichskandidaten einen Objektbereichskandidaten (Zielobjektbereichskandidaten) aus, für den der Gesamtbewertungswert noch nicht berechnet wurde, und erfasst sie die Fläche des Zielobjektbereichskandidaten. Bei dem vorliegenden Ausführungsbeispiel erfasst die Bereichspriorität-Einstelleinheit 112 die Anzahl von Blöcken, die zur Einstellung des Zielobjektbereichskandidaten verwendet werden, als die Fläche. Als Nächstes berechnet die Bereichspriorität-Einstelleinheit 112 basierend auf der Anzahl von Blöcken, die in Schritt S201 erfasst wird, einen Bewertungswert mit Bezug auf die Fläche des Zielobjektbereichskandidaten (Schritt S202). 5A zeigt ein Beispiel einer Berechnung eines Bewertungswerts mit Bezug auf die Fläche eines Zielobjektbereichskandidaten. Im Speziellen zeigt 5A eine Beziehung zwischen einem Verhältnis der Fläche eines Zielobjektbereichskandidaten zu dem Gesamtbild, nämlich ein Verhältnis der Anzahl von Blöcken, die mit einem Zielobjektbereichskandidaten in Zusammenhang stehen, zu der Gesamtzahl von Blöcken, und einem Bewertungswert mit Bezug auf die Fläche. Wie es in 5A gezeigt ist, ist es ausreichend, einen Bewertungswert mit Bezug auf die Fläche eines Zielobjektbereichskandidaten derart einzustellen, dass der Bewertungswert umso höher ist, je größer die Fläche des Zielobjektbereichskandidaten ist.
Daraufhin berechnet die Bereichspriorität-Einstelleinheit 112 in Schritt S203 einen Abstand von der Mitte des Bilds zu dem Zielobjektbereichskandidaten. Im Speziellen berechnet die Bereichspriorität-Einstelleinheit 112 zunächst Abstände von der Mitte des Bilds zu den Blöcken, die den Zielobjektbereichskandidaten bilden. Dann wird ein Durchschnitts- bzw. Mittelwert der berechneten Abstände von der Mitte des Bilds zu allen Blöcken, die den Zielobjektbereichskandidaten bilden, als der Abstand von der Mitte des Bilds zu dem Zielobjektbereichskandidaten verwendet. Als Nächstes berechnet die Bereichspriorität-Einstelleinheit 112 in Schritt S204 basierend auf dem in Schritt S203 berechneten Abstand von der Mitte des Bilds einen Bewertungswert mit Bezug auf den Abstand von der Mitte des Bilds zu dem Zielobjektbereichskandidaten. 5B zeigt ein Beispiel einer Berechnung eines Bewertungswerts mit Bezug auf einen Abstand von der Mitte eines Bilds. Wie es in 5B gezeigt ist, ist es ausreichend, einen Bewertungswert mit Bezug auf einen Abstand von der Mitte eines Bilds zu einem Zielobjektbereichskandidaten derart einzustellen, dass der Bewertungswert umso kleiner ist, je größer der Abstand von der Mitte des Bilds zu dem Zielobjektbereichskandidaten ist.
Anschließend berechnet die Bereichspriorität-Einstelleinheit 112 in Schritt S205 einen Gesamtbewertungswert des Zielobjektbereichskandidaten basierend auf den zwei Typen von Bewertungswerten, die in Schritten S202 und S204 berechnet werden. Es ist ausreichend, den Gesamtbewertungswert zum Beispiel durch Multiplikation der zwei Typen von Bewertungswerten, die in Schritten S202 und S204 berechnet werden, zu berechnen. Nach dem Prozess von Schritt S205 kehrt die Bereichspriorität-Einstelleinheit 112 zu dem Prozess von Schritt S200 zurück, und bestimmt sie erneut, ob die Berechnung des Gesamtbewertungswerts für alle Objektbereichskandidaten abgeschlossen wurde oder nicht, und wiederholt sie den vorstehend beschriebenen Prozess für den nächsten Objektbereichskandidaten, falls die Berechnung nicht abgeschlossen ist.
Falls die Berechnung des Gesamtbewertungswerts für alle Objektbereichskandidaten abgeschlossen ist (der JA-Zweig von Schritt S200), weist die Bereichspriorität-Einstelleinheit 112 den Objektbereichskandidaten Prioritätsordnungen bzw. -ordnungszahlen in einer Reihenfolge beginnend mit dem höchsten Gesamtbewertungswert in Schritt S206 zu.
<<Schnittbereichskandidaten-Bestimmungsverarbeitung>>
Unter Bezugnahme auf ein Ablaufdiagramm gemäß 6 sind im Folgenden Einzelheiten einer Schnittbereichskandidaten-Bestimmungsverarbeitung beschrieben, die in dem Fall ausgeführt wird, in dem die Objektbereich-Extraktionseinheit 111 Gesichtsbereiche als Objektbereiche ausgegeben hat. Die diesem Ablaufdiagramm entsprechende Verarbeitung wird durch die Schnittbereichskandidaten-Einstelleinheit 113 und durch die Schnittbereich-Bewertungseinheit 114 unter Steuerung durch die Steuereinheit 101 realisiert. Es sollte beachtet werden, dass die vorliegende Schnittbereichskandidaten-Bestimmungsverarbeitung unter der Annahme beschrieben wird, dass diese zum Beispiel gestartet wird, wenn die Objektbereich-Extraktionseinheit 111 einen Objektbereich erfasst, nachdem ein Zielbild eingestellt wurde, auf das eine automatische Schnittverarbeitung anzuwenden ist. Es wird auch angenommen, dass bei der vorliegenden Schnittbereichskandidaten-Bestimmungsverarbeitung zumindest ein Gesichtsbereich in dem Zielbild umfasst ist.
In Schritt S301 erfasst die Schnittbereichskandidaten-Einstelleinheit 113 Informationen der Position und der Größe eines Gesichtsbereichs (Objektbereichs), der durch die Objektbereich-Extraktionseinheit 111 erfasst wird.
In Schritt S302 bestimmt die Schnittbereichskandidaten-Einstelleinheit 113, ob die Anzahl von in dem Zielbild umfassten Gesichtsbereichen gleich oder größer einer vorbestimmten Anzahl ist oder nicht. Bei der Digitalkamera 100 gemäß dem vorliegenden Ausführungsbeispiel bestimmt die Schnittbereichskandidaten-Einstelleinheit 113, dass das Zielbild ein Gruppenfoto ist, falls die Anzahl von Gesichtsbereichen, die in dem Zielbild umfasst sind, gleich oder größer der vorbestimmten Anzahl ist. Das heißt, dass in dem Fall eines Gruppenfotos selbst dann, wenn ein Schnittbereich (eine Rahmung) so bestimmt wird, um einen Gesichtsbereich an einer vorbestimmten Position in einem zugeschnittenen Bild anzuordnen, eine große Anzahl von Gesichtsbereichen vorliegen kann, die nicht an bevorzugten Positionen angeordnet sind. Aus diesem Grund bestimmt die Schnittbereichskandidaten-Einstelleinheit 113 bei dem vorliegenden Ausführungsbeispiel einen Schnittbereich nicht auf Grundlage der Anordnung eines Gesichtsbereichs, falls bestimmt wird, dass ein Gruppenfoto aufgenommen wurde, das heißt, falls die Anzahl von Gesichtsbereichen, die in einem Zielbild umfasst sind, gleich oder größer der vorbestimmten Anzahl ist.
Während das vorliegende Ausführungsbeispiel unter der Annahme beschrieben ist, dass ein aufgenommenes Zielbild als ein Gruppenfoto bestimmt wird, falls die Anzahl von Gesichtsbereichen, die in dem Zielbild umfasst sind, gleich oder größer der vorbestimmten Anzahl ist, kann basierend auf einer Kombination der Größe von Gesichtsbereichen und anderen Bedingungen bestimmt werden, ob das Zielbild ein Gruppenfoto ist oder nicht. Zum Beispiel, falls ein aufgenommenes Zielbild eine irrelevante Person umfasst, die während einer Bildaufnahme aufgetaucht ist, ist es unpassend, einen Gesichtsbereich dieser Person als ein Objekt eines Gruppenfotos zu bestimmen. In Anbetracht dessen kann zum Beispiel ein Intervall für die Größe eines Gesichtsbereichs eingestellt werden und können nur Gesichtsbereiche mit einer Größe, die in das eingestellte Intervall fällt, für/als Gesichtsbereiche gezählt werden, die bei einer Bestimmung verwendet werden, ob das Zielbild ein Gruppenfoto ist oder nicht.
Die Schnittbereichskandidaten-Einstelleinheit 113 schreitet zu dem Prozess von Schritt S309 voran, falls sie bestimmt, dass die Anzahl von Gesichtsbereichen, die in dem Zielbild umfasst sind, gleich oder größer der vorbestimmten Anzahl ist, und sie schreitet zu dem Prozess von Schritt S303 voran, falls sie bestimmt, dass die Anzahl von Gesichtsbereichen, die in dem Zielbild umfasst sind, kleiner als die vorbestimmte Anzahl ist.
In Schritt S303 bestimmt die Schnittbereichskandidaten-Einstelleinheit 113, ob nur ein Gesichtsbereich in dem Zielbild umfasst ist oder nicht. Bei dem vorliegenden Ausführungsbeispiel verwendet die Schnittbereich-Bewertungseinheit 114 unterschiedliche Bewertungsverfahren abhängig davon, ob eine Vielzahl von Gesichtsbereichen in einem für eine Schnittverarbeitung eingestellten Schnittbereichskandidaten umfasst bzw. zu umfassen ist oder nicht. Aus diesem Grund verwendet die Schnittbereichskandidaten-Einstelleinheit 113 in dem vorliegenden Schritt ein Bewertungsverfahren, das eine Bedingung anwendet, dass die Anzahl von Gesichtsbereichen, die in einem Schnittbereichskandidaten umfasst sein kann, sicher Eins ist. Die Schnittbereichskandidaten-Einstelleinheit 113 schreitet zu dem Prozess von Schritt S305 voran, falls sie bestimmt, dass nur ein Gesichtsbereich in dem Zielbild umfasst ist, und sie schreitet zu dem Prozess von Schritt S304 voran, falls sie bestimmt, dass eine Vielzahl von Gesichtsbereichen in dem Zielbild umfasst ist.
In Schritt S304 bestimmt die Schnittbereichskandidaten-Einstelleinheit 113 die Anordnungen der Vielzahl von Objekten, im Speziellen, ob aufgenommene Objekte, die den Gesichtsbereichen entsprechen, in dem Zielbild überlappen oder nicht. Genauer gesagt schätzt die Steuereinheit 101 für die den erfassten Gesichtsbereichen entsprechende Objekte Bereiche von Körpern (Körperbereiche), die mutmaßlich an die unteren Kanten bzw. Ränder der erfassten Gesichtsbereiche angrenzen, und bestimmt sie, ob diese Körperbereiche mit Körperbereichen oder Gesichtsbereichen von anderen Objekten mit einem vorbestimmten Verhältnis oder mehr überlappen oder nicht.
Zum Beispiel ist es in dem Fall eines in 7A gezeigten Gesichtsbereichs ausreichend, einen Körperbereich durch Multiplikation der Breite und der Höhe des Gesichtsbereichs mit voreingestellten Koeffizienten zu schätzen, wie es in 7B gezeigt ist. Falls zumindest einer eines Gesichtsbereichs und eines Körperbereichs eines Objekts von Interesse einen Gesichtsbereich oder einen Körperbereich eines anderen Objekts überlappt, wie es in 7C gezeigt ist, bestimmt die Schnittbereichskandidaten-Einstelleinheit 113, dass diese Gesichtsbereiche nicht in unterschiedliche Schnittbereichskandidaten separiert werden sollten. Andererseits, falls weder ein Gesichtsbereich noch ein Körperbereich eines Objekts von Interesse einen Gesichtsbereich oder einen Körperbereich eines anderen Objekts überlappt, wie es in 7D gezeigt ist, wird bestimmt, dass eine bevorzugte Rahmung erreicht wird, indem die diesen Objekten entsprechende Gesichtsbereiche in unterschiedliche Schnittbereichskandidaten separiert werden.
Während das Verfahren zum Einstellen eines Körperbereichs bei dem vorliegenden Ausführungsbeispiel unter der Annahme beschrieben wurde, dass ein Körperbereich an die untere Kante bzw. den unteren Rand eines Gesichtsbereichs angrenzt, ist das vorliegende Ausführungsbeispiel nicht auf diese Weise beschränkt. Zum Beispiel kann ein Körperbereich gemäß der Ausrichtung eines Gesichts eingestellt werden, die aus einem Gesichtsbereich berechnet wird. Wahlweise kann ein Körperbereich, falls die Digitalkamera 100 zum Erfassen der Lotrichtung im Stande ist, unter der Annahme eingestellt werden, dass er vertikal unterhalb eines Gesichtsbereichs liegt. Wahlweise kann basierend auf dem Abstand zwischen Gesichtsbereichen bestimmt werden, ob aufgenommene Objekte in einem Zielbild überlappen oder nicht, ohne Körperbereiche zu erhalten.
Die Schnittbereichskandidaten-Einstelleinheit 113 schreitet zu dem Prozess von Schritt S307 voran, falls sie bestimmt, dass aufgenommene Objekte, die Gesichtsbereichen entsprechen, in dem Zielbild überlappen, und sie schreitet zu dem Prozess von Schritt S305 voran, falls sie bestimmt, dass aufgenommene Objekte, die Gesichtsbereichen entsprechen, in dem Zielbild nicht überlappen. Es sollte beachtet werden, dass der Prozess des vorliegenden Schritts für jeden erfassten Gesichtsbereich ausgeführt werden kann. Im Speziellen kann eine Steuerung derart durchgeführt werden, dass die Schnittbereichskandidaten-Einstelleinheit 113 die Bewertungsverarbeitung in Schritt S305 nur auf einen Gesichtsbereich anwendet, für den bestimmt wurde, dass er mit keinem der anderen Objekte überlappt, die in dem Zielbild umfassten Gesichtsbereichen entsprechen. In diesem Fall ist es für die Steuereinheit 101 ausreichend, eine Steuerung derart durchzuführen, dass die Bewertungsverarbeitung in Schritt S307 auf einen Gesichtsbereich angewandt wird, für den bestimmt wurde, dass er mit einem beliebigen der anderen Objekte überlappt, die Gesichtsbereichen entsprechen.
In Schritt S305 stellt die Schnittbereichskandidaten-Einstelleinheit 113 Schnittbereichskandidaten für einen Gesichtsbereich ein, der unabhängig aus dem Zielbild auszuschneiden ist. Im Speziellen wählt die Schnittbereichskandidaten-Einstelleinheit 113 sequentiell Gesichtsbereiche (Gesichtsbereiche von Interesse) aus, die unabhängig auszuschneiden sind, und stellt sie eine Vielzahl von Mustern von Schnittbereichskandidaten für jeden der ausgewählten Gesichtsbereiche ein. Die Schnittbereichskandidaten-Einstelleinheit 113 stellt jeden Schnittbereichskandidaten derart ein, dass ein Gesichtsbereich von Interesse an einer voreingestellten Position in dem eingestellten Schnittbereichskandidaten angeordnet ist. Bei dem vorliegenden Ausführungsbeispiel, wie es in 8 gezeigt ist, werden sechs Typen von Schnittbereichskandidaten eingestellt, bei denen ein Gesichtsbereich von Interesse auf Grundlage von Liniensegmenten positioniert ist/wird, die die Schnittbereichskandidaten in der horizontalen und der vertikalen Richtung dreiteilen, um so eine Rahmung zu erreichen, die experimentell als bevorzugt erachtet wird. Wie vorstehend erwähnt sind Schnittbereichskandidaten, die durch die Schnittbereichskandidaten-Einstelleinheit 113 gemäß dem vorliegenden Ausführungsbeispiel eingestellt werden, rechteckige Bereiche, die fünf Typen von Seitenverhältnissen und drei Größen für jedes Seitenverhältnis genügen. Daher werden 5 × 3 × 6 = 90 Typen von Schnittbereichskandidaten für einen Gesichtsbereich von Interesse eingestellt. Es sollte beachtet werden, dass die vorgenannten sechs Rahmungstypen lediglich veranschaulichend sind und andere Rahmungstypen verwendet werden können, wie etwa eine Rahmung, bei der ein Gesichtsbereich in der Mitte angeordnet ist, und eine Rahmung, bei der ein Gesichtsbereich in der Mitte oben angeordnet ist.
In Schritt S306 wendet die Schnittbereich-Bewertungseinheit 114 eine Bewertungsverarbeitung für ein unabhängiges Zuschneiden auf alle in Schritt S305 eingestellten Schnittbereichskandidaten an, um so Bewertungswerte der Schnittbereichskandidaten zu erfassen.
<Bewertungsverarbeitung (unabhängig)>
Unter Bezugnahme auf ein Ablaufdiagramm gemäß 9 werden im Folgenden Einzelheiten einer Bewertungsverarbeitung für ein unabhängiges Zuschneiden beschrieben, das in dem vorliegenden Schritt ausgeführt wird. Im Folgenden wird ein für die vorliegende Bewertungsverarbeitung bestimmter Schnittbereichskandidat als ein „Zielbereichskandidat“ bezeichnet.
In Schritt S601 bestimmt die Schnittbereich-Bewertungseinheit 114, ob sich ein Teil eines Zielbereichskandidaten auf einen Bereich außerhalb des Zielbilds bezieht oder nicht. Im Speziellen, wie es in 10A gezeigt ist, bestimmt die Schnittbereich-Bewertungseinheit 114 in dem vorliegenden Schritt, ob ein durch eine gestrichelte Linie angedeuteter Zielbereichskandidat einen Bereich, der nach außerhalb des Bereichs des durch eine durchgezogene Linie angedeuteten Zielbilds übersteht bzw. herausragt, in einen Schnittbereich einbezieht oder nicht. Falls die Schnittbereich-Bewertungseinheit 114 bestimmt, dass sich der Zielbereichskandidat auf einen Bereich außerhalb des Zielbilds bezieht, schreitet die Steuereinheit 101 zu dem Prozess von Schritt S602 voran. Falls die Schnittbereich-Bewertungseinheit 114 bestimmt, dass sich der Zielbereichskandidat auf einen Bereich innerhalb des Zielbilds bezieht, schreitet die Steuereinheit 101 zu dem Prozess von Schritt S604 voran.
In Schritt S602 bestimmt die Schnittbereich-Bewertungseinheit 114, ob die Beträge, mit denen bzw. um die der Zielbereichskandidat nach außerhalb des Zielbilds übersteht bzw. herausragt, gleich oder kleiner einem voreingestellten Schwellenwert sind oder nicht. In dem vorliegenden Schritt erfasst die Schnittbereich-Bewertungseinheit 114 die Beträge (Überstandsbeträge), mit denen bzw. um die der Zielbereichskandidat nach außerhalb des Zielbilds übersteht bzw. herausragt, mit Bezug auf die horizontale und die vertikale Richtung, und bestimmt sie, ob die Überstandsbeträge gleich oder kleiner einem Schwellenwert sind, der eine Feinabstimmung des Zielbereichskandidaten erlaubt. Bei dem Beispiel gemäß 10A, da der Zielbereichskandidat nur in der vertikalen Richtung nach außerhalb des Zielbilds übersteht, wird die Bestimmung auf Grundlage des Überstandsbetrags Δ von diesem in der vertikalen Richtung vorgenommen. Die Steuereinheit 101 schreitet zu dem Prozess von Schritt S603 voran, falls die Schnittbereich-Bewertungseinheit 114 bestimmt, dass die Überstandsbeträge kleiner oder gleich dem voreingestellten Schwellenwert sind, und zu dem Prozess von Schritt S605, falls sie bestimmt, dass die Überstandsbeträge den voreingestellten Schwellenwert überschreiten.
In Schritt S603 aktualisiert die Schnittbereichskandidaten-Einstelleinheit 113 unter Steuerung durch die Steuereinheit 101 ein Referenzintervall gemäß Informationen der in Schritt S602 erfassten Überstandsbeträge derart, dass der Zielbereichskandidat in das Zielbild hineinpasst. Zum Beispiel, falls ein Überstandsbetrag Δ gleich oder kleiner dem Schwellenwert ist, der eine Feinabstimmung erlaubt, wie es in 10B gezeigt ist, ist es ausreichend, den Zielbereichskandidaten zu aktualisieren, indem der Zielbereichskandidat nur um Δ in der Überstandsrichtung, nämlich der vertikalen Richtung, verschoben wird.
In Schritt S604 berechnet die Schnittbereich-Bewertungseinheit 114 einen Bewertungswert des Zielbereichskandidaten. Bei dem vorliegenden Ausführungsbeispiel wird ein Bewertungswert E eines Zielbereichskandidaten durch Multiplikation der folgenden vier Werte (E₁, E₂, E₃, E₄) berechnet.

1. Bewertungswert E₁, der mit Bezug auf einen Anteil der Fläche eines Gesichtsbereichs von Interesse in dem Zielbereichskandidaten bestimmt wird.
2. Bewertungswert E₂, der mit Bezug auf die Anordnungsposition des Gesichtsbereichs von Interesse bestimmt wird.
3. Bewertungswert E₃, der mit Bezug auf ein Seitenverhältnis bestimmt wird.
4. Zufallswert E₄, der eine Tendenz bzw. Verzerrung in dem Bewertungsergebnis unterdrückt.

Zum Beispiel, wie es in 11A gezeigt ist, wird ein Wert in einem Intervall von Val 1 bis Val 2 als der Bewertungswert E₁ gemäß einem Anteil (einer Belegung) der Fläche des Gesichtsbereichs von Interesse in dem Zielbereichskandidaten eingestellt. Bei dem Beispiel gemäß 11A nimmt der Bewertungswert E₁ den Maximalwert Val 2 in einem Intervall R2 ≤ R < 3 ein, das als ein bevorzugtes Intervall der Belegung R des Gesichtsbereichs von Interesse bestimmt ist. Der Bewertungswert E₁ nimmt den Minimalwert Val 1 in einem Intervall R < R1 und einem Intervall R ≥ R4 ein, die als zu klein oder zu groß bestimmt sind. Außerdem nimmt der Bewertungswert E₁ einen Zwischenwert zwischen dem Maximalwert und dem Minimalwert gemäß dem Anteil in den Zwischenintervallen R1 ≤ R < R2 und R3 ≤ R < R4 zwischen den vorgenannten Intervallen an.
Während der Bewertungswert E₁, der bei dem vorliegenden Ausführungsbeispiel beschrieben ist, eingestellt wird, wie es in 11A gezeigt ist, sind Ausführungsbeispiele der vorliegenden Erfindung nicht auf diese Weise beschränkt. Zum Beispiel, falls ein Hintergrundbereich hinter einer Person eine große Anzahl von Bildelementen bzw. Pixeln mit ausgelöschten Glanz-/Spitzlichtern bzw. Spitzenhelligkeiten infolge einer Bildaufnahme mit Überbelichtung umfasst, wird ein Schnittbereich, der Bereiche mit ausgelöschten Glanz-/Spitzlichtern bzw. Spitzenhelligkeiten umfasst, nicht als eine bevorzugte Rahmung betrachtet. In dem Fall, in dem ein anderer Bereich als ein Bereich, der dem Objekt entspricht, Bildelemente bzw. Pixel mit Helligkeitswerten umfasst, die höher sind als ein vorbestimmter Helligkeitswert, und ein Anteil von solchen Bildelementen bzw. Pixeln einen vorbestimmten Wert überschreitet, kann der Bewertungswert E₁ derart eingestellt werden, dass der Bewertungswert E₁ umso höher ist, je höher die Belegung des Gesichtsbereichs von Interesse ist. Andererseits ist es zum Beispiel in dem Fall, in dem das Zielbild als Ganzes infolge einer Bildaufnahme mit Unterbelichtung eine Atmosphäre niedriger Helligkeit aufweist, falls der Gesichtsbereich von Interesse zu groß ist, weniger wahrscheinlich, dass die Atmosphäre des Zielbilds einschließlich des Hintergrunds in einem zugeschnittenen Bild noch vorhanden ist. In diesem Fall kann der Bewertungswert E₁ zum Beispiel derart eingestellt werden, dass der Bewertungswert E₁ umso höher ist, je niedriger die Belegung des Gesichtsbereichs von Interesse ist.
Der Bewertungswert E₂ wird zum Beispiel eingestellt, wie es in 11B mit Bezug auf die Position gezeigt ist, an der der Gesichtsbereich von Interesse in dem Schnittbereichskandidaten angeordnet ist. Im Speziellen wird ein höherer Bewertungswert E₂ für einen Schnittbereichskandidaten eingestellt, in dem der Gesichtsbereich von Interesse auf der oberen Linie aus den Linien, die den Schnittbereichskandidaten in der vertikalen Richtung dreiteilen, und auf den Linien, die den Schnittbereichskandidaten in der horizontalen Richtung dreiteilen, angeordnet ist, wobei die dreiteilenden Linien eine Rahmung bereitstellen, die experimentell als bevorzugt betrachtet wird. Es sollte beachtet werden, dass die Verteilung des Bewertungswerts E₂ nicht auf diese Weise beschränkt ist, und derart geändert werden kann, dass eine hohe Bewertung für eine bevorzugte Rahmung gegeben wird, die gemäß dem Ergebnis einer Bestimmung einer aufgenommenen Szene, eines Bildaufnahmemodus, der zur Zeit einer Bildaufnahme eingestellt war, und dergleichen bestimmt wird.
Der Bewertungswert E₃ wird gemäß einem Seitenverhältnis des Zielbilds derart bestimmt, dass ein hoher Bewertungswert für ein Seitenverhältnis gegeben wird, das für einen Schnittbereichskandidaten bevorzugt ist. Die Schnittbereich-Bewertungseinheit 114 berechnen eine Höhe Hobj und eine Breite Bobj eines minimalen rechteckigen Bereichs, der einen Gesichtsbereich und einen Körperbereich in dem Zielbild enthält, und sie erhält das Seitenverhältnis dieses rechteckigen Bereichs, das heißt Bobj/Hobj. Unter der Annahme, dass die Seitenverhältnisse von Schnittbereichskandidaten, die in 3 gezeigt sind, ausgedrückt werden als Btri:Htri, erhält die Schnittbereich-Bewertungseinheit 114 einen Ähnlichkeitswert zwischen zwei Seitenverhältnissen unter Verwendung der folgenden Ausdrücke.

(i) Im Fall von Bobj/Hobj < Btri/Htri: Seiten-/Formatähnlichkeitswert = (Bobj/Hobj)/(Btri/Htri)
(ii) Im Fall von Bobj/Hobj ≥ Btri/Htri: Seiten-/Formatähnlichkeitswert = (Btri/Htri)/(Bobj/Hobj)

Wie es in 11C gezeigt ist, stellt die Schnittbereich-Bewertungseinheit 114 einen höheren Bewertungswert E₃ für einen Schnittbereichskandidaten mit einem Seiten-/Formatähnlichkeitswert ein, der näher bei Eins ist. Wahlweise kann die Schnittbereich-Bewertungseinheit 114 den Bewertungswert E₃ eines Schnittbereichskandidaten aus einem Ähnlichkeitswert basierend auf dem Seitenverhältnis des Zielbilds und dem Seitenverhältnis des Schnittbereichskandidaten anstelle des Seitenverhältnisses des minimalen rechteckigen Bereichs, der den Gesichtsbereich und den Körperbereich enthält, einstellen.
Der Zufallswert E₄ wird verwendet, um das Bewertungsergebnis derart zu variieren, dass automatisch eingestellte Schnittbereiche nicht jedes Mal die gleiche Rahmung aufweisen. Es ist wünschenswert, dass der Zufallswert E₄ auf einen Wert eingestellt wird, der einen geringen Einfluss auf andere Bewertungswerte hat, zum Beispiel in einem Intervall von 0,9 bis 1,1, um so eine erhebliche Änderung in dem Bewertungsergebnis zu verhindern, die zu einer Auswahl einer ungewünschten Rahmung als ein Schnittbereich führt.
Nach Berechnung des Bewertungswerts E durch Multiplikation der vier Werte, die in der vorstehend beschriebenen Art und Weise für den Zielbereichskandidaten erfasst werden, schließt die Schnittbereich-Bewertungseinheit 114 die vorliegende Bewertungsverarbeitung ab.
Falls die Schnittbereich-Bewertungseinheit 114 in Schritt S602 bestimmt, dass die Überstandsbeträge den voreingestellten Schwellenwert überschreiten, weist sie in Schritt S605 dem Zielbereichskandidaten einen Bewertungswert von Null (niedrige Bewertung) zu, und schließt sie dann die vorliegende Bewertungsverarbeitung ab.
Andererseits, falls es wünschenswert ist, ein Zuschneiden so durchzuführen, dass eine Vielzahl von Gesichtsbereichen umfasst ist, stellt die Schnittbereichskandidaten-Einstelleinheit 113 Schnittbereichskandidaten unter Steuerung durch die Steuereinheit 101 ein. Im Speziellen betrachtet die Schnittbereichskandidaten-Einstelleinheit 113 alle Gesichtsbereiche, die dahingehend bestimmt wurden, dass sie einander überlappen, als eine Gruppe. Dann stellt die Schnittbereichskandidaten-Einstelleinheit 113 die Schnittbereichskandidaten derart ein, dass der Gesichtsbereich ganz links und der Gesichtsbereich ganz rechts in der Gruppe an voreingestellten Positionen angeordnet sind.
Bedingungen hinsichtlich des ganz linken Gesichtsbereichs und des ganz rechten Gesichtsbereichs können so sein, wie es in 12 gezeigt ist. 12 zeigt Beispiele von Bedingungen hinsichtlich der Anordnungspositionen für den Fall, in dem das Zielbild zwei Gesichtsbereiche umfasst. Im Speziellen werden die Schnittbereichskandidaten derart eingestellt, dass der ganz linke Gesichtsbereich auf der linken Linie aus den Linien, die die Schnittbereichskandidaten in der horizontalen Richtung dreiteilen, und auf einer von (i) der oberen Linie aus den Linien, die die Schnittbereichskandidaten in der vertikalen Richtung dreiteilen, (ii) dem mittleren Abschnitt zwischen den Linien, die die Schnittbereichskandidaten in der vertikalen Richtung dreiteilen, und (iii) der unteren Linie aus den Linien, die die Schnittbereichskandidaten in der vertikalen Richtung dreiteilen, angeordnet ist. Auch werden die Schnittbereichskandidaten derart eingestellt, dass der ganz rechte Gesichtsbereich auf der rechten Linie aus den Linien, die die Schnittbereichskandidaten in der horizontalen Richtung dreiteilen, und auf einer von (i) der oberen Linie aus den Linien, die die Schnittbereichskandidaten in der vertikalen Richtung dreiteilen, (ii) dem mittleren Abschnitt zwischen den Linien, die die Schnittbereichskandidaten in der vertikalen Richtung dreiteilen, und (iii) der unteren Linie aus den Linien, die die Schnittbereichskandidaten in der vertikalen Richtung dreiteilen, angeordnet ist.
Daher werden in dem vorliegenden Schritt 5 × 3 × 6 = 90 Typen von Schnittbereichskandidaten mit Bezug auf „alle“ Zielgesichtsbereiche eingestellt.
In Schritt S308 wendet die Schnittbereich-Bewertungseinheit 114 unter Steuerung durch die Steuereinheit 101 eine Bewertungsverarbeitung für ein mehrfaches Zuschneiden auf alle der in Schritt S307 eingestellten Schnittbereichskandidaten an, um so Bewertungswerte dieser Schnittbereichskandidaten zu erfassen.
<Bewertungsverarbeitung (mehrfach)>
Unter Bezugnahme auf ein Ablaufdiagramm gemäß 13 werden im Folgenden Einzelheiten einer Bewertungsverarbeitung für ein mehrfaches Zuschneiden beschrieben, das in dem vorliegenden Schritt ausgeführt wird. In der folgenden Beschreibung sind Schritten, die Prozesse umfassen, die ähnlich zu denjenigen in der vorstehend dargelegten Bewertungsverarbeitung für ein unabhängiges Zuschneiden sind, die gleichen Bezugszeichen zugeteilt, und wird eine Beschreibung von diesen ausgelassen.
Nach den Prozessen bis zu Schritt S603 betreffend eine Beziehung zwischen dem Zielbereichskandidaten und dem Zielbild bestimmt die Schnittbereich-Bewertungseinheit 114 in Schritt S1001, ob alle Gesichtsbereiche der Gruppe in dem Zielbereichskandidaten umfasst sind oder nicht. Die Steuereinheit 101 schreitet zu dem Prozess von Schritt S1004 voran, falls die Schnittbereich-Bewertungseinheit 114 bestimmt, dass alle Gesichtsbereiche in dem Zielbereichskandidaten umfasst sind, und zu dem Prozess von Schritt S1002, falls sie bestimmt, dass nicht alle Gesichtsbereiche in dem Zielbereichskandidaten umfasst sind.
Die Schnittbereich-Bewertungseinheit 114 bestimmt, ob die Beträge, mit denen bzw. um die ein minimaler rechteckiger Bereich, der so definiert ist, dass er alle Gesichtsbereiche der Gruppe umfasst, nach außerhalb des Zielbereichskandidaten übersteht bzw. herausragt, gleich oder kleiner einem voreingestellten Schwellenwert sind oder nicht. In dem vorliegenden Schritt erfasst die Schnittbereich-Bewertungseinheit 114 die Überstandsbeträge, mit denen bzw. um die Gesichtsbereiche nach außerhalb des Zielbereichskandidaten überstehen bzw. herausragen, mit Bezug auf die horizontale und die vertikale Richtung, und bestimmt sie, ob die Überstandsbeträge gleich oder kleiner einem Schwellenwert sind, der eine Feinabstimmung des Zielbereichskandidaten erlaubt. Im Speziellen werden aus den Gesichtsbereichen der Gruppe die Überstandsbeträge der Gesichtsbereiche ganz oben, ganz unten, ganz links und ganz rechts nach außerhalb des Zielbereichskandidaten erfasst und bei der Bestimmung verwendet. Die Steuereinheit 101 schreitet zu dem Prozess von Schritt S1003 voran, falls die Schnittbereich-Bewertungseinheit 114 bestimmt, dass die Überstandsbeträge kleiner oder gleich dem voreingestellten Schwellenwert sind, und sie schreitet zu dem Prozess von Schritt S605 voran, falls sie bestimmt, dass die Überstandsbeträge den voreingestellten Schwellenwert überschreiten.
In Schritt S1003 aktualisiert die Schnittbereichskandidaten-Einstelleinheit 113 unter Steuerung durch die Steuereinheit 101 ein Referenzintervall gemäß Informationen der in Schritt S1002 erfassten Überstandsbeträge derart, dass alle Gesichtsbereiche der Gruppe in den Zielbereichskandidaten hineinpassen. Zum Beispiel, falls ein Überstandsbetrag Δ in der vertikalen Richtung gleich oder kleiner dem Schwellenwert ist, der eine Feinabstimmung erlaubt, wie es in 14 gezeigt ist, ist es ausreichend, den Zielbereichskandidaten zu aktualisieren, indem der Zielbereichskandidat nur um Δ in der vertikalen Richtung verschoben wird. Falls selbst mit der Aktualisierung der Position des Zielbereichskandidaten in dem vorliegenden Schritt nicht alle Gesichtsbereiche in der Gruppe in den Zielbereichskandidaten hineinpassen, geht die Verarbeitung zu Schritt S605. Wahlweise kann ein Bewertungswert in einem nachstehend beschriebenen Schritt S1004 in dem Zustand berechnet werden, in dem nicht alle Gesichtsbereiche in den Zielbereichskandidaten hineinpassen, und kann ein Wert, der durch Multiplikation des berechneten Bewertungswerts mit einem Koeffizienten kleiner 1 (z.B. 0,8) erhalten wird, als ein neuer Bewertungswert verwendet werden.
Sobald der Zielbereichskandidat in der vorstehend beschriebenen Art und Weise eingestellt wurde, berechnet die Schnittbereich-Bewertungseinheit 114 einen Bewertungswert des Zielbereichskandidaten in Schritt S1004, ähnlich zu Schritt S604 der Bewertungsverarbeitung für ein unabhängiges Zuschneiden, und schließt sie dann die vorliegende Bewertungsverarbeitung ab. Das Bewertungsverfahren, das in dem vorliegenden Schritt verwendet wird, kann ähnlich zu oder verschieden von dem Bewertungsverfahren sein, das für den Fall eines unabhängigen Zuschneidens verwendet wird. Bei Verwendung eines Verfahrens, das ähnlich zu dem Verfahren ist, das für den Fall eines unabhängigen Zuschneidens verwendet wird, ist es ausreichend, einen Durchschnitts- bzw. Mittelwert von Belegungen, die für alle Gesichtsbereiche in dem Zielbereichskandidaten berechnet werden, als den Bewertungswert E₁ zu verwenden, und eine Gesamtsumme von Bewertungswerten für die Anordnungspositionen von allen Gesichtsbereichen als den Bewertungswert E₂ zu verwenden. Der Bewertungswert E₂ kann einfach derart eingestellt werden, dass der Bewertungswert E₂ umso größer ist, je länger der Abstand zwischen dem Gesichtsbereich ganz unten in der Gruppe und der unteren Kante bzw. dem unteren Rand des Zielbereichskandidaten ist.
Andererseits, falls die Steuereinheit 101 in Schritt S302 der Schnittbereichskandidaten-Bestimmungsverarbeitung bestimmt, dass die Anzahl von Gesichtsbereichen, die in dem Zielbild umfasst sind, gleich oder größer der vorbestimmten Anzahl ist, stellt die Schnittbereichskandidaten-Einstelleinheit 113 in Schritt S309 Schnittbereichskandidaten für ein Gruppenfoto ein. Im Speziellen stellt die Schnittbereichskandidaten-Einstelleinheit 113 die Schnittbereichskandidaten ein, wobei die baryzentrische bzw. Schwerpunktsposition von allen Gesichtsbereichen in dem Zielbild als die Mitte dient. Wie es vorstehend erwähnt ist, werden bei dem vorliegenden Ausführungsbeispiel Zielbereichskandidaten so voreingestellt, dass sie fünf Typen von Seitenverhältnissen und drei Größen für jedes Seitenverhältnis genügen, und daher werden 5 × 3 = 15 Typen von Schnittbereichskandidaten in dem vorliegenden Schritt eingestellt.
In Schritt S310 berechnet die Schnittbereich-Bewertungseinheit 114 unter Steuerung durch die Steuereinheit 101 Bewertungswerte von allen Schnittbereichskandidaten, die in Schritt S309 eingestellt werden. Während Einzelheiten einer Bewertungsverarbeitung zum Zuschneiden eines Gruppenfotos hierin nicht beschrieben werden, soll die Bewertung unter der Prämisse durchgeführt werden, dass alle Gesichtsbereiche umfasst sind.
Dies schließt die Beschreibung des Verfahrens zum Bestimmen von Zielbereichskandidaten für den Fall ab, in dem das Zielbild zumindest einen Gesichtsbereich umfasst.
Während in der vorstehenden Beschreibung das Bewertungsverfahren abhängig von der Anzahl von erfassten Gesichtsbereichen geändert wird, sind Ausführungsbeispiele der vorliegenden Erfindung nicht auf diese Weise beschränkt. Das heißt, dass es einfach vorherzusehen ist, dass es bei Anwendung der vorstehend dargelegten Bewertungsverarbeitung für ein mehrfaches Zuschneiden kein Problem dabei geben sollte, Schnittbereichskandidaten auszuschneiden, die für ein Zielbild eingestellt sind/werden, das nur einen Gesichtsbereich umfasst.
Es wird nun eine Beschreibung eines Verfahrens zum Bestimmen von Schnittbereichskandidaten für den Fall gegeben, in dem die Objektbereich-Extraktionseinheit 111 Objektbereichskandidaten ausgegeben hat, das heißt für den Fall, in dem das Zielbild keine Gesichtsbereiche umfasst. Wie es vorstehend beschrieben ist, werden in dem Fall, in dem das Zielbild keinen Gesichtsbereich umfasst, Objektbereiche basierend auf den Bewertungswerten und den Prioritätsordnungen bzw. -ordnungszahlen bestimmt, die durch die Bereichspriorität-Einstelleinheit 112 berechnet werden.
Mit Bezug auf Gesichtsbereiche bestimmt die Schnittbereichskandidaten-Einstelleinheit 113, ob aufgenommene Objekte, die Gesichtsbereichen entsprechen, in dem Zielbild überlappen oder nicht; wohingegen, im Hinblick auf auf Objektbereiche, die keine Gesichtsbereiche sind, diese Bestimmung nicht durchgeführt wird. Dies ist deshalb so, da erachtet wird, dass ein Nutzer durch ein Überstehen eines anderen Objekts als einem Gesicht nach außerhalb eines Schnittbereichs nicht gestört würde. In dem Fall, in dem das Zielbild keinen Gesichtsbereich umfasst, ist es daher ausreichend, Schnittbereichskandidaten für jeden Objektbereich unter Verwendung eines Verfahrens einzustellen, das ähnlich zu dem Verfahren ist, das für den Fall verwendet wird, in dem ein Gesichtsbereich erfasst wurde.
Im Speziellen positioniert die Schnittbereichskandidaten-Einstelleinheit 113 auf Erfassung von Informationen der Position und der Größe eines Objektbereichs hin, der kein Gesichtsbereich ist, den Objektbereich auf Grundlage von Liniensegmenten, die den Zielbereichskandidaten in der horizontalen und der vertikalen Richtung dreiteilen. Wahlweise können die Schnittbereichskandidaten derart eingestellt werden, dass ein Objektbereich, der kein Gesichtsbereich ist, in der Mitte positioniert wird, oder können die Schnittbereichskandidaten nur einen Teil eines Objektbereichs umfassen, der kein Gesichtsbereich ist. In diesen Fällen sollte der Objektbereich zumindest 50 Prozent von jedem Schnittbereichskandidaten belegen und sollten die Schnittbereichskandidaten derart eingestellt werden, dass beide Kanten bzw. Ränder des Objektbereichs in der horizontalen oder der vertikalen Richtung nicht nach außerhalb der Schnittbereichskandidaten überstehen bzw. herausragen.
Dann wendet die Schnittbereich-Bewertungseinheit 114 eine Bewertungsverarbeitung zum unabhängigen Zuschneiden auf alle Schnittbereichskandidaten an, die eingestellt wurden, um so Bewertungswerte der Schnittbereichskandidaten zu erfassen. Zu dieser Zeit ist es ausreichend, eine Verarbeitung auszuführen, die ähnlich zu der Bewertungsverarbeitung für Gesichtsbereiche ist.
<Verfahren zum Auswählen von Schnittbereich und Bestimmen einer Ähnlichkeit>
Als Nächstes wird eine Beschreibung eines Verfahrens zum Auswählen eines Schnittbereichs in der Ähnlichkeitsbestimmungseinheit 116 und der Schnittbereich-Auswahleinheit 115 gegeben.
15 ist ein Ablaufdiagramm eines Verfahrens zum Bestimmen eines Schnittbereichs aus Schnittbereichskandidaten, die für einen Objektbereich eingestellt wurden, basierend auf Bewertungswerten, die für die Schnittbereichskandidaten berechnet werden, gemäß dem vorliegenden Ausführungsbeispiel. Eine Verarbeitung des vorliegenden Ablaufdiagramms wird jedes Mal dann abgeschlossen, wenn ein Schnittbereich bestimmt wird, aber wird wiederholt ausgeführt, bis die Anzahl von Schnittbereichen, die für einen Objektbereich voreingestellt ist (die Anzahl von zu erzeugenden Schnittbildern), ausgewählt ist. Außerdem, falls das Zielbild eine Vielzahl von Objektbereichen umfasst, wählt diese Verarbeitung erfasste Objektbereiche in einer Reihenfolge beginnend mit der höchsten Priorität aus, und wird sie ausgeführt, bis eine vorbestimmte Anzahl von Schnittbereichen für jeden Objektbereich eingestellt ist.
Zunächst wählt die Schnittbereich-Auswahleinheit 115 in Schritt S1501 aus den Schnittbereichskandidaten, die eingestellt wurden, einen Schnittbereichskandidaten, für den der größte Bewertungswert berechnet wurde, als einen Bestimmungszielkandidaten aus. Die Schnittbereich-Auswahleinheit 115 gibt dann Informationen des ausgewählten Bestimmungszielkandidaten an die Ähnlichkeitsbestimmungseinheit 116 aus.
In Schritt S1502 bestimmt die Ähnlichkeitsbestimmungseinheit 116 gemäß den empfangenen Informationen des Bestimmungszielkandidaten eine Ähnlichkeit zwischen dem als Bestimmungsziel ausgewählten Schnittbereichskandidaten (Bestimmungszielkandidaten) und Schnittbereichen, die bereits für den gleichen Objektbereich bestimmt wurden, im Hinblick auf Seitenverhältnis. Im Speziellen vergleicht die Ähnlichkeitsbestimmungseinheit 116 die Seitenverhältnisse von allen Schnittbereichen, die bereits bestimmt wurden, mit dem Seitenverhältnis des Bestimmungszielkandidaten; falls eine Differenz zwischen diesen in ein vorbestimmtes Intervall fällt, schreitet sie zu dem Prozess von Schritt S1503 voran. Andererseits, falls die Differenz zwischen diesen nicht in das vorbestimmte Intervall fällt, gibt die Ähnlichkeitsbestimmungseinheit 116 an die Schnittbereich-Auswahleinheit 115 ein Bestimmungsergebnis aus, das keine Ähnlichkeit bezeichnet, und schreitet sie zu dem Prozess von Schritt S1506 voran. Dann bestimmt die Schnittbereich-Auswahleinheit 115 in Schritt S1506 den Bestimmungszielkandidaten als einen von Schnittbereichen für den Objektbereich in Verarbeitung, und schließt sie die vorliegende Auswahlverarbeitung ab.
In Schritt S1503 bestimmt die Ähnlichkeitsbestimmungseinheit 116 eine Ähnlichkeit zwischen dem Bestimmungszielkandidaten und Schnittbereichen, die bereits für den gleichen Objektbereich bestimmt wurden, im Hinblick auf Größe. Die Ähnlichkeitsbestimmungseinheit 116 vergleicht die Größen von allen Schnittbereichen, die bereits bestimmt wurden, mit der Größe des Bestimmungszielkandidaten; falls eine Differenz zwischen diesen in ein vorbestimmtes Intervall fällt, schreitet sie zu dem Prozess von Schritt S1504 voran. Andererseits, falls die Differenz zwischen diesen nicht in das vorbestimmte Intervall fällt, gibt die Ähnlichkeitsbestimmungseinheit 116 an die Schnittbereich-Auswahleinheit 115 ein Bestimmungsergebnis aus, das keine Ähnlichkeit bezeichnet, und schreitet sie zu dem Prozess von Schritt S1506 voran.
In Schritt S1504 bestimmt die Ähnlichkeitsbestimmungseinheit 116 eine Ähnlichkeit zwischen dem Bestimmungszielkandidaten und Schnittbereichen, die bereits für den gleichen Objektbereich bestimmt wurden, im Hinblick auf Schnittumfang. Zunächst erfasst die Ähnlichkeitsbestimmungseinheit 116 Bereichsanfangskoordinaten für alle Schnittbereiche und den Bestimmungszielkandidaten (zum Beispiel Koordinaten der oberen linken Ecken der Bereiche). Dann berechnet die Ähnlichkeitsbestimmungseinheit 116 Differenzen zwischen den Bereichsanfangskoordinaten der Schnittbereiche und den Bereichsanfangskoordinaten des Bestimmungszielkandidaten in der horizontalen und der vertikalen Richtung; falls eine der Differenzen beide der nachstehend dargelegten Bedingungsausdrücke erfüllt, gibt sie an die Schnittbereich-Auswahleinheit 115 ein Bestimmungsergebnis aus, das eine Ähnlichkeit bezeichnet, und schreitet sie zu dem Prozess von Schritt S1505 voran. Falls keine der Differenzen zumindest einen der Bedingungsausdrücke erfüllt, gibt die Ähnlichkeitsbestimmungseinheit 116 an die Schnittbereich-Auswahleinheit 115 ein Bestimmungsergebnis aus, das keine Ähnlichkeit bezeichnet, und schreitet sie zu dem Prozess von Schritt S1506 voran. $\begin{array}{l} (Differenz zwischen Bereichsanfangskoordinaten in der horizontalen Richtung) / \\ (Anzahl von Bildelementen bzw . Pixeln in Schnittbereich in der horozontalen Rich- \\ tung) < 1 / 2 \end{array}$
$\begin{array}{l} (Differenz zwischen Bereichsanfangskoordinaten in der vertikalen Richtung) / \\ (Anzahl von Bildelementen bzw . Pixeln in Schnittbereich in der vertikalen Rich- \\ tung) < 1 / 2 \end{array}$
In Schritt S1505 bestimmt die Schnittbereich-Auswahleinheit 115 basierend auf dem empfangenen Bestimmungsergebnis den Bestimmungszielkandidaten nicht als einen Schnittbereich, und lässt sie den Bestimmungszielkandidaten aus den Schnittbereichskandidaten weg. Dann wählt die Schnittbereich-Auswahleinheit 115 einen Schnittbereichskandidaten mit dem zweithöchsten Bewertungswert nach dem Bestimmungszielkandidaten, für den die Bestimmung bis dahin durchgeführt wurde, als einen neuen Bestimmungszielkandidaten aus, gibt sie Informationen des neuen Bestimmungszielkandidaten an die Ähnlichkeitsbestimmungseinheit 116 aus, und kehrt sie zu dem Prozess von Schritt S1502 zurück.
In dem Fall, in dem eine Vielzahl von Schnittbildern für einen Objektbereich zu erzeugen ist, kann die vorstehende Verarbeitung ein Einstellen von Schnittbereichen mit einer ähnlichen Rahmung unterlassen.
Informationen von Schnittbereichen, die auf diese Weise bestimmt werden, werden an die Schnittbereich-Extraktionsergebnis-Ausgabeeinheit 117 übermittelt. Die Schnittbereich-Extraktionsergebnis-Ausgabeeinheit 117 wendet eine Schnittverarbeitung auf das Zielbild gemäß den übermittelten Informationen an, und gibt die resultierenden Schnittbilder aus.
Wie vorstehend beschrieben erfasst die Bildverarbeitungsvorrichtung gemäß dem vorliegenden Ausführungsbeispiel ein spezielles Objekt, das in einem erhaltenen Zielbild umfasst ist, auf das ein Zu-/Be-/Schneiden anzuwenden ist. Mit Bezug auf dieses Zielbild stellt die Bildverarbeitungsvorrichtung einen oder mehrere Zielbereichskandidaten ein, mit denen ein erfasstes Objekt an einer Position, die vorbestimmte Bedingungen erfüllt, in einem zugeschnittenen Bereich angeordnet wird, und bewertet sie diese.
Dies macht es möglich, nicht nur Anordnungspositionen von Objekten in einem Schnittbereich einzustellen, sondern auch einen Schnittbereich mit einer bevorzugten Ein-/Rahmung bzw. Bildeinstellung einzustellen, der alle speziellen Objekte umfasst.
Außerdem, falls ein Schnittbereichskandidat mit einem großen Bewertungswert ähnlich zu anderen Schnittbereichen ist, die bereits für den gleichen Objektbereich ausgewählt wurden, wird dieser Schnittbereichskandidat nicht als ein Schnittbereich ausgewählt; demzufolge kann eine Erzeugung von einer Vielzahl von ähnlichen Schnittbildern unterdrückt werden.
Weitere Ausführungsbeispiele
Ausführungsbeispiele der vorliegenden Erfindung können auch realisiert werden durch einen Computer eines Systems oder einer Vorrichtung, der auf einem Speichermedium (z.B. einem nicht-vorübergehenden computerlesbaren Speichermedium) aufgezeichnete computerausführbare Anweisungen ausliest und ausführt, um die Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispiele der vorliegenden Erfindung durchzuführen, sowie durch ein Verfahren, das durch den Computer des Systems oder der Vorrichtung durchgeführt wird, indem zum Beispiel computerausführbare Anweisungen aus dem Speichermedium ausgelesen und ausgeführt werden, um die Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispiele durchzuführen. Der Computer kann eine oder mehrere einer Zentralverarbeitungseinheit (CPU), einer Mikroverarbeitungseinheit (MPU) oder einer anderen Schaltung aufweisen, und er kann ein Netzwerk von separaten Computern oder separaten Computerprozessoren umfassen. Die computerausführbaren Anweisungen können an den Computer zum Beispiel von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann zum Beispiel eines oder mehreres von einer Festplatte, einem Direktzugriffsspeicher (RAM), einem Festwertspeicher (ROM), einem Speicher von verteilten Rechensystemen, einer optischen Platte (wie etwa einer Compact Disc (CD), einer Digital Versatile Disc (DVD) oder einer Blue-ray Disc (BD)™), einer Flash-Speichervorrichtung, einer Speicherkarte und dergleichen umfassen.
Während die vorliegende Erfindung unter Bezugnahme auf beispielhafte Ausführungsbeispiele beschrieben wurde, ist es selbstverständlich, dass die Erfindung nicht auf die offenbarten beispielhaften Ausführungsbeispiele beschränkt ist. Dem Umfang der folgenden Patentansprüche ist die breiteste Auslegung zuzugestehen, so dass alle derartigen Modifikationen und äquivalente Strukturen und Funktionen umfasst sind.
Es ist eine Bildverarbeitungsvorrichtung bereitgestellt, die Schnittpositionen für ein Bild, das eine Vielzahl von Objekten umfasst, in einer bevorzugten Art und Weise bestimmt. Diese Bildverarbeitungsvorrichtung legt Objektbereiche von dem Bild fest und stellt eine Vielzahl von Schnittbereichskandidaten für jeden der festgelegten Objektbereiche ein. Die Bildverarbeitungsvorrichtung wählt eine vorbestimmte Anzahl von Schnittbereichen aus der Vielzahl von Schnittbereichskandidaten basierend auf Bewertungswerten, die für die Vielzahl von Schnittbereichskandidaten erhalten werden, und Ähnlichkeiten zwischen der Vielzahl von Schnittbereichskandidaten aus.

Claims

Bildverarbeitungsvorrichtung mit: einer Festlegungseinrichtung zum Festlegen von Objektbereichen von einem Bild; einer Einstelleinrichtung zum Einstellen einer Vielzahl von Schnittbereichskandidaten für jeden der durch die Festlegungseinrichtung festgelegten Objektbereiche; einer Bewertungseinrichtung zum Erhalten von Bewertungswerten der Vielzahl von durch die Einstelleinrichtung eingestellten Schnittbereichskandidaten; einer Auswahleinrichtung zum Auswählen einer vorbestimmten Anzahl von Schnittbereichen aus der Vielzahl von Schnittbereichskandidaten; und einer Erzeugungseinrichtung zum Extrahieren von Bildern von Bereichen, die durch die durch die Auswahleinrichtung ausgewählten Schnittbereiche definiert sind, aus dem Bild, und zum Ausgeben der extrahierten Bilder, wobei die Auswahleinrichtung die vorbestimmte Anzahl von Schnittbereichen aus der Vielzahl von Schnittbereichskandidaten in einer Reihenfolge beginnend mit dem höchsten Bewertungswert, unter Auslassung von Schnittbereichskandidaten, die als ähnlich zu einem Schnittbereich bestimmt werden, der früher ausgewählt wurde, auswählt.
Bildverarbeitungsvorrichtung gemäß Anspruch 1, wobei die Auswahleinrichtung die vorbestimmte Anzahl von Schnittbereichen aus Schnittbereichskandidaten auswählt, die eine Bedingung erfüllen, dass eine Differenz zwischen einem Seitenverhältnis von diesen und einem Seitenverhältnis von jedem Schnittbereich, der früher ausgewählt wurde, aus einem voreingestellten Intervall herausfällt.
Bildverarbeitungsvorrichtung gemäß Anspruch 1 oder 2, wobei die Auswahleinrichtung die vorbestimmte Anzahl von Schnittbereichen aus Schnittbereichskandidaten auswählt, die eine Bedingung erfüllen, dass eine Differenz zwischen einer Größe von diesen und einer Größe von jedem Schnittbereich, der früher ausgewählt wurde, aus einem voreingestellten Intervall herausfällt.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Auswahleinrichtung die vorbestimmte Anzahl von Schnittbereichen aus Schnittbereichskandidaten auswählt, die eine Bedingung erfüllen, dass eine Differenz zwischen Bereichsanfangskoordinaten von diesen und Bereichsanfangskoordinaten von jedem Schnittbereich, der früher ausgewählt wurde, aus einem Intervall herausfällt, das mit Bezug auf eine Breite und eine Höhe des Schnittbereichs voreingestellt wurde, der früher ausgewählt wurde.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 4, wobei die Bewertungseinrichtung die Bewertungswerte der Vielzahl von Schnittbereichskandidaten basierend auf Flächen und Abständen von einer Bildmitte erhält.
Bildverarbeitungsvorrichtung mit: einer Festlegungseinrichtung zum Festlegen von einer Vielzahl von Objektbereichen von einem Bild; und einer Erzeugungseinrichtung zum Erzeugen eines ausgeschnittenen Bilds, das zumindest einen von der festgelegten Vielzahl von Objektbereichen umfasst, basierend darauf, ob die festgelegte Vielzahl von Objektbereichen eine vorbestimmte Bedingung erfüllen, wobei die vorbestimmte Bedingung auf zumindest einem von Abständen zwischen der festgelegten Vielzahl von Objektbereichen basiert oder darauf basiert, ob die festgelegte Vielzahl von Objektbereichen einander überlappen, das erzeugte ausgeschnittene Bild nur einen von der festgelegten Vielzahl von Objektbereichen umfasst, wenn die festgelegte Vielzahl von Objektbereichen die vorbestimmte Bedingung erfüllen, und das erzeugte ausgeschnittene Bild die festgelegte Vielzahl von Objektbereichen umfasst, wenn die festgelegte Vielzahl von Objektbereichen die vorbestimmte Bedingung nicht erfüllen.
Bildverarbeitungsvorrichtung gemäß Anspruch 6, wobei wenn die festgelegte Vielzahl von Objektbereichen eine vorbestimmte Anzahl von Objektbereichen oder mehr umfassen, die Erzeugungseinrichtung das ausgeschnittene Bild erzeugt, das die vorbestimmte Anzahl oder mehr der festgelegten Vielzahl von Objektbereichen umfasst.
Bildverarbeitungsvorrichtung gemäß Anspruch 6 oder 7, wobei die Erzeugungseinrichtung eine Vielzahl von ausgeschnittenen Bildern mit unterschiedlichen Zahlen von Bildelementen und unterschiedlichen Seitenverhältnissen für die festgelegte Vielzahl von Objektbereichen erzeugt.
Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 6 bis 8, wobei wenn die Erzeugungseinrichtung das ausgeschnittene Bild nicht derart erzeugen kann, dass die festgelegte Vielzahl von Objektbereichen an vorbestimmten Positionen angeordnet sind, die Erzeugungseinrichtung das ausgeschnittene Bild derart erzeugt, dass die festgelegte Vielzahl von Objektbereichen an Positionen angeordnet sind, die gegenüber den vorbestimmten Positionen verschoben sind.
Bildaufnahmevorrichtung mit: der Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 9; und einer Bildaufnahmeeinrichtung zum Aufnehmen des Bilds.
Bildverarbeitungsverfahren mit: einem Festlegungsschritt des Festlegens von Objektbereichen von einem Bild; einem Einstellschritt des Einstellens einer Vielzahl von Schnittbereichskandidaten für jeden der in dem Festlegungsschritt festgelegten Objektbereiche; einem Bewertungsschritt des Erhaltens von Bewertungswerten der Vielzahl von in dem Einstellschritt eingestellten Schnittbereichskandidaten; einem Auswahlschritt des Auswählens einer vorbestimmten Anzahl von Schnittbereichen aus der Vielzahl von Schnittbereichskandidaten; und einem Erzeugungsschritt des Extrahierens von Bildern von Bereichen, die durch die in dem Auswahlschritt ausgewählten Schnittbereiche definiert sind, aus dem Bild, und Ausgebens der extrahierten Bilder, wobei in dem Auswahlschritt die Schnittbereiche aus der Vielzahl von Schnittbereichskandidaten in einer Reihenfolge beginnend mit dem höchsten Bewertungswert, unter Auslassung von Schnittbereichskandidaten, die als ähnlich zu einem Schnittbereich bestimmt werden, der früher ausgewählt wurde, ausgewählt werden.
Bildverarbeitungsverfahren mit: einem Festlegungsschritt des Festlegens von einer Vielzahl von Objektbereichen von einem Bild; und einem Erzeugungsschritt des Erzeugens eines ausgeschnittenen Bilds, das zumindest einen von der festgelegten Vielzahl von Objektbereichen umfasst, basierend darauf, ob die festgelegte Vielzahl von Objektbereichen eine vorbestimmte Bedingung erfüllen, wobei die vorbestimmte Bedingung auf zumindest einem von Abständen zwischen der festgelegten Vielzahl von Objektbereichen basiert oder darauf basiert, ob die festgelegte Vielzahl von Objektbereichen einander überlappen, das erzeugte ausgeschnittene Bild nur einen von der festgelegten Vielzahl von Objektbereichen umfasst, wenn die festgelegte Vielzahl von Objektbereichen die vorbestimmte Bedingung erfüllen, und das erzeugte ausgeschnittene Bild die festgelegte Vielzahl von Objektbereichen umfasst, wenn die festgelegte Vielzahl von Objektbereichen die vorbestimmte Bedingung nicht erfüllen.
Programm zum Veranlassen eines Computers zum Arbeiten als jeweilige Einrichtungen der Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 9.
Computerlesbares Speichermedium, das ein Programm zum Steuern eines Computers gespeichert hat, damit dieser als jeweilige Einrichtungen der Bildverarbeitungsvorrichtung gemäß einem der Ansprüche 1 bis 9 arbeitet.