DE102018133328A1

DE102018133328A1 - Bildaufnahmevorrichtung, Verfahren zum Steuern der Bildaufnahmevorrichtung, und Speichermedium

Info

Publication number: DE102018133328A1
Application number: DE102018133328.5A
Authority: DE
Inventors: Hideki Kadoi
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-12-26
Filing date: 2018-12-21
Publication date: 2019-06-27
Also published as: US10893191B2; CN109981976A; GB2570792A; GB201820576D0; US20210092287A1; US11405546B2; US20190199917A1; CN109981976B; GB2570792B

Abstract

Eine Bildaufnahmevorrichtung umfasst eine Beschaffungseinheit, die dazu konfiguriert ist, Daten betreffend ein aufgenommenes Bild, das durch eine Bildaufnahmeeinheit aufgenommen wird, zu beschaffen, eine Lerneinheit, die dazu konfiguriert ist, eine Bedingung eines Bildes, das ein Benutzer mag, zu lernen, basierend auf überwachten Daten, eine Steuerungsschaltung, die dazu konfiguriert ist, eine automatische Bildaufnahme durch die Bildaufnahmeeinheit zu entscheiden, basierend auf der Bedingung, die durch die Lerneinheit gelernt wird, und eine Registrierungseinheit, die dazu konfiguriert ist, als die überwachten Daten, Daten zu registrieren, die durch die Beschaffungseinheit für ein aufgenommenes Bild, das durch eine Bildaufnahme erhalten wird, die basierend auf einer Anweisung des Benutzers durchgeführt wird, beschafft werden, und Daten, die durch die Beschaffungseinheit für aufgenommene Bilder zum Lernen, die vor und/oder nach der Bildaufnahme, die basierend auf einer Anweisung des Benutzers durchgeführt wird, aufgenommen werden, beschafft werden, zu registrieren.

Description

HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
Die vorliegende Erfindung betrifft eine Automatikbildaufnahmetechnologie in einer Bildaufnahmevorrichtung.
Beschreibung des Standes der Technik
Beim Aufnehmen eines Standbildes/Bewegtbildes durch eine Bildaufnahmevorrichtung, wie etwa eine Kamera, bestimmt normalerweise ein Benutzer ein aufzunehmendes Subjekt durch einen Sucher oder ähnliches, bestätigt den Bildaufnahmezustand selbst, passt die Einrahmung bzw. Bildeinstellung eines aufgenommenen Bildes an und nimmt dadurch ein Bild auf. Solch eine Bildaufnahmevorrichtung besitzt eine Funktion des Erfassens eines Operationsfehlers des Benutzers und ein Informieren des Benutzers darüber, oder eines Erfassens der externen Umgebung, und, wenn die Umgebung zur Bildaufnahme nicht geeignet ist, ein Informieren des Nutzers darüber. Zusätzlich gibt es herkömmlicherweise einen Mechanismus zum Steuern der Kamera, um einen Zustand zu erhalten, der für die Bildaufnahme geeignet ist.
Zusätzlich zu der Bildaufnahmevorrichtung, die eine Bildaufnahme durch eine Benutzeroperation ausführt, gibt es eine Lebensdokumentationskamera, die periodisch und kontinuierlich eine Bildaufnahme durchführt, ohne eine Bildaufnahmeanweisung, die durch einen Benutzer gegeben wird (Japanische Patentoffenlegungsschrift Nr. 2016-536868). Die Lebensdokumentationskamera wird in einem Zustand verwendet, in dem der Benutzer diese unter Verwendung einer Halterung oder ähnlichem am Körper trägt, und nimmt eine Szene, die der Benutzer im täglichen Leben sieht, als ein Video zu einem vorbestimmten Zeitintervall auf. Da eine Bildaufnahme durch die Lebensdokumentationskamera nicht zu einem gewünschten Zeitpunkt durchgeführt wird, wie etwa bei einer Verschlussfreigabe durch den Benutzer, sondern zu einem vorbestimmten Zeitintervall, kann ein unerwarteter Moment, der üblicherweise nicht aufgenommen wird, als ein Video aufgezeichnet werden.
Wenn jedoch eine automatische Bildaufnahme in einem Zustand, in dem der Benutzer die Lebensdokumentationskamera trägt, periodisch durchgeführt, wird in manchen Fällen ein Video, das der Benutzer nicht will, erlangt, und kann ein Video eines tatsächlich gewünschten Moments nicht erlangt werden.
Zusätzlich, auch wenn die Lebensdokumentationskamera eine Lernfunktion aufweist und einen Moment, den der Benutzer tatsächlich aufnehmen will, und ein Durchführen der automatischen Bildaufnahme lernen kann, ist eine enorme Menge von überwachten Daten für das Lernen notwendig. Die japanische Patentoffenlegungsschrift Nr. 2004-354251 offenbart eine Technik des Erzeugens eines künstlichen defekten Bildes eines Objekts, das zu inspizieren ist, durch eine Bildverarbeitung und des Kompensierens eines Mangels von Lernmustern in einer Defektinspektionsvorrichtung zum Inspizieren des Vorhandenseins/Nichtvorhandenseins eines Defekts in dem Objekt unter Verwendung eines neuronalen Netzwerks. Im Gegensatz zu einer Defektinspektion für begrenzte Arten von Objekten sind jedoch die Arten von Objekten für die Lebensdokumentationskamera unendlich und ist es schwierig, einen Mangel an Lernmuster durch eine Bildverarbeitung zu kompensieren.
KURZFASSUNG DER ERFINDUNG
Die vorliegende Erfindung wurde unter Berücksichtigung des vorstehend beschriebenen Problems vorgenommen und stellt eine Bildaufnahmevorrichtung bereit, die dazu in der Lage ist, ein Video zu beschaffen, das für einen Benutzer geeignet ist, ohne eine spezielle Operation durch den Benutzer durchzuführen.
Gemäß einem ersten Aspekt der vorliegenden Erfindung ist eine Bildaufnahmevorrichtung bereitgestellt, mit: einer Beschaffungseinrichtung, die dazu konfiguriert ist, Daten betreffend ein aufgenommenes Bild, das durch eine Bildaufnahmeeinrichtung aufgenommen wird, zu beschaffen; einer Lerneinrichtung, die dazu konfiguriert ist, eine Bedingung eines Bildes, das ein Benutzer mag, zu lernen, basierend auf überwachten Daten; einer Steuerungseinrichtung, die dazu konfiguriert ist, eine automatische Bildaufnahme durch die Bildaufnahmeeinrichtung zu entscheiden, basierend auf der Bedingung, die durch die Lerneinrichtung gelernt wird; und einer Registrierungseinrichtung, die dazu konfiguriert ist, als die überwachten Daten, Daten, die durch die Beschaffungseinrichtung für ein aufgenommenes Bild, das durch die Bildaufnahme, die basierend auf einer Anweisung des Benutzers durchgeführt wird, erhalten wird, beschafft werden, und Daten, die durch die Beschaffungseinrichtung für aufgenommene Bilder zum Lernen, die vor und/oder nach der Bildaufnahme, die basierend auf einer Anweisung des Benutzers durchgeführt wird, aufgenommen werden, beschafft werden, zu registrieren.
Gemäß einem zweiten Aspekt der vorliegenden Erfindung ist ein Verfahren des Steuerns einer Bildaufnahmevorrichtung bereitgestellt, mit: Beschaffen von Daten bezüglich eines aufgenommenen Bildes, das durch eine Bildaufnahmeeinrichtung aufgenommen wird; Lernen einer Bedingung eines Bildes, das ein Benutzer mag, basierend auf überwachten Daten; Entscheiden einer automatischen Bildaufnahme durch die Bildaufnahmeeinrichtung basierend auf der Bedingung, die beim Lernen gelernt wird; und Registrieren, als die überwachten Daten, von Daten, die in der Beschaffung für ein aufgenommenes Bild, das durch eine Bildaufnahme, die basierend auf einer Anweisung des Benutzers durchgeführt wird, erhalten wird, beschafft werden, und von Daten, die in der Beschaffung für aufgenommene Bilder zum Lernen, die vor und/oder nach der Bildaufnahme, die basierend auf einer Anweisung des Benutzers durchgeführt wird, aufgenommen werden, beschafft werden.
Gemäß einem dritten Aspekt der vorliegenden Erfindung ist ein computerlesbares Speichermedium bereitgestellt, das ein Computerprogramm speichert, das dazu konfiguriert ist, einen Computer zu veranlassen, Schritte eines Verfahrens des Steuerns einer Bildaufnahmevorrichtung auszuführen, wobei das Verfahren aufweist: Beschaffen von Daten bezüglich eines aufgenommenen Bildes, das durch eine Bildaufnahmeeinrichtung aufgenommen wird; Lernen einer Bedingung eines Bildes, das ein Benutzer mag, basierend auf überwachten Daten; Entscheiden einer automatischen Bildaufnahme durch die Bildaufnahmeeinrichtung basierend auf der Bedingung, die beim Lernen gelernt wird; und Registrieren, als die überwachten Daten, von Daten, die in der Beschaffung für ein aufgenommenes Bild, das durch eine Bildaufnahme, die basierend auf einer Anweisung des Benutzers durchgeführt wird, erhalten wird, beschafft werden, und von Daten, die in der Beschaffung für aufgenommene Bilder zum Lernen, die vor und/oder nach der Bildaufnahme, die basierend auf einer Anweisung des Benutzers durchgeführt wird, aufgenommen werden, beschafft werden.
Weitere Merkmale der vorliegenden Erfindung werden aus der folgenden Beschreibung von beispielhaften Ausführungsbeispielen mit Bezug auf die anhängigen Zeichnungen ersichtlich.
Figurenliste

1A und 1B sind Ansichten, die schematisch eine Bildaufnahmevorrichtung zeigen;
2 ist ein Blockdiagramm, das die Anordnung der Bildaufnahmevorrichtung zeigt;
3 ist eine Ansicht, die die Anordnung der Bildaufnahmevorrichtung und einer externen Einrichtung zeigt;
4 ist ein Blockdiagramm, das die Anordnung der externen Einrichtung zeigt;
5 ist eine Ansicht, die die Anordnung der Bildaufnahmevorrichtung und einer externen Einrichtung zeigt;
6 ist ein Blockdiagramm, das die Anordnung der externen Einrichtung zeigt;
7 ist ein Ablaufdiagramm zum Erklären einer ersten Steuerungsschaltung;
8 ist ein Ablaufdiagramm zum Erklären einer zweiten Steuerungsschaltung;
9 ist ein Ablaufdiagramm zum Erklären einer Bildaufnahmebetriebsartverarbeitung;
10 ist eine Ansicht zum Erklären eines neuronalen Netzwerks;
11A bis 11D sind Ansichten zum Erklären einer Bereichsaufteilung in einem aufgenommenen Bild;
12 ist ein Ablaufdiagramm zum Erklären einer Lernbetriebsartentscheidung;
13 ist ein Ablaufdiagramm zum Erklären einer Lernverarbeitung; und
14 ist eine Ansicht zum Erklären einer Anzeigeverarbeitung gemäß diesem Ausfü h ru ngsbeispiel.

BESCHREIBUNG DER AUSFÜHRUNGSBEISPIELE
[Erstes Ausführungsbeispiel]
<Anordnung der Bildaufnahmevorrichtung>
1A ist eine Ansicht, die schematisch eine Bildaufnahmevorrichtung gemäß dem ersten Ausführungsbeispiel zeigt.
Eine Bildaufnahmevorrichtung 101, die in 1A gezeigt ist, ist mit einem Operationselement (nachstehend als eine Leistungstaste bezeichnet, aber die Operation kann ein Berühren, Schnippen, Wischen oder ähnliches auf einem berührungsempfindlichen Feld sein) ausgestattet, das dazu in der Lage ist, eine Operation bezüglich eines Leistungsschalters durchzuführen. Ein Objektivtubus 102, der ein Gehäuse ist, der eine Bildaufnahmelinsengruppe und einen Bildsensor zum Durchführen einer Bildaufnahme umfasst, ist an der Bildaufnahmevorrichtung 101 angebracht, und ein Rotationsmechanismus, der dazu in der Lage ist, den Objektivtubus 102 mit Bezug auf einen festen Abschnitt 103 drehend anzutreiben, ist bereitgestellt. Eine Neigungsrotationseinheit 104 ist ein Motorantriebsmechanismus, der dazu in der Lage ist, den Objektivtubus 102 in einer Nickrichtung, die in 1B gezeigt ist, zu drehen, und eine Schwenkrotationseinheit 105 ist ein Motorantriebsmechanismus, der dazu in der Lage ist, den Objektivtubus 102 in eine Gierrichtung zu drehen. Folglich kann sich der Objektivtubus 102 in eine oder mehrere axiale Richtungen drehen. 1B zeigt die Achsendefinition an der Position des festen Abschnitts 103. Sowohl ein Winkelbeschleunigungsmesser 106 als auch ein Beschleunigungsmesser 107 sind an dem festen Abschnitt 103 der Bildaufnahmevorrichtung 101 angebracht. Eine Vibration der Bildaufnahmevorrichtung 101 wird basierend auf dem Winkelgeschwindigkeitsmesser 106 oder dem Beschleunigungsmesser 107 erfasst und die Neigungsrotationseinheit und die Schwenkrotationseinheit werden basierend auf dem erfassten Erschütterungswinkel drehend angetrieben. Dementsprechend wird ein Wackeln des Objektivtubus 102, der ein bewegbarer Abschnitt ist, korrigiert, oder wird eine Neigung korrigiert.
2 ist ein Blockdiagramm, das die Anordnung der Bildaufnahmevorrichtung gemäß diesem Ausführungsbeispiel zeigt.
Bezugnehmend auf 2 wird eine erste Steuerungsschaltung 223 durch einen Prozessor (zum Beispiel eine CPU, eine GPU, ein Mikroprozessor, eine MPU oder ähnliches) und einen Speicher (zum Beispiel ein DRAM, ein SRAM, oder ähnliches) gebildet. Diese führt verschiedene Arten einer Verarbeitung durch und steuert die Blöcke der Bildverarbeitungsvorrichtung 101 oder steuert einen Datentransfer zwischen den Blöcken. Ein nichtflüchtiger Speicher (EEPROM) 216 ist ein elektrisch löschbarer/beschreibbarer Speicher und speichert Konstanten, Programme, und ähnliches für den Betrieb der ersten Steuerungsschaltung 223.
Bezugnehmend auf 2 umfasst eine Zoom-Einheit 201 eine Zoom-Linse, die die Leistung ändert. Eine Zoom-Antriebssteuerungseinheit 202 treibt die Zoom-Einheit 201 an und steuert diese. Eine Fokuseinheit 203 umfasst eine Linse, die einen Fokus anpasst. Eine Fokusantriebssteuerungsschaltung 204 treibt die Fokuseinheit 203 an und steuert diese.
Eine Bildaufnahmeeinheit 206 umfasst einen Bildsensor und einen A/D-Wandler. Der Bildsensor empfängt Licht, das über die Linsen eintritt und gibt die Informationen von Ladungen gemäß dem Lichtbetrag als analoge Bilddaten an die Bildverarbeitungsschaltung 207 aus. Die Bildverarbeitungsschaltung 207 ist eine arithmetische Schaltung, die eine Vielzahl von ALUs (Arithmetik- und Logikeinheiten, arithmetic and logic units“) aufweist. Die Bildverarbeitungsschaltung 207 wendet eine Bildverarbeitung, wie etwa eine Verzerrungskorrektur, einen Weißabgleich, und eine Farbinterpolationsverarbeitung auf digitale Daten an, die durch eine A/D-Wandlung ausgegeben werden, und gibt die digitalen Daten nach der Anwendung aus. Die digitalen Bilddaten, die von der Bildverarbeitungsschaltung 207 ausgegeben werden, werden in ein Aufzeichnungsformat, wie etwa JPEG, durch eine Bildaufzeichnungsschaltung 208 umgewandelt und an einen Speicher 215 oder eine Videoausgabeschaltung 217, die später beschrieben werden, übertragen.
Eine Objektivtubusrotationsantriebsschaltung 205 treibt die Neigungsrotationseinheit 104 und die Schwenkrotationseinheit 105 an, um den Objektivtubus 102 in die Neigungsrichtung und in die Schwenkrichtung anzutreiben.
Eine Einrichtungserschütterungserfassungsschaltung 209 umfasst zum Beispiel den Winkelgeschwindigkeitsmesser (Gyrosensor) 106, der die Winkelgeschwindigkeiten in die drei Achsenrichtungen der Bildaufnahmevorrichtung 101 erfasst, und den Beschleunigungsmesser (Beschleunigungssensor) 107, der die Beschleunigungen in die drei Achsenrichtungen der Vorrichtung erfasst. Die Einrichtungserschütterungserfassungsschaltung 209 berechnet den Rotationswinkel der Vorrichtung und den Verschiebebetrag der Vorrichtung basierend auf den erfassten Signalen.
Eine Spracheingabeschaltung 213 beschafft ein Sprachsignal um die Bildaufnahmevorrichtung 101 von einem Mikrofon, das an der Bildaufnahmevorrichtung 101 bereitgestellt ist, führt eine Analog/Digitalwandlung durch, und überträgt das Sprachsignal an eine Sprachverarbeitungsschaltung 214. Die Sprachverarbeitungsschaltung 214 führt eine Verarbeitung bezüglich einer Sprache, wie etwa eine Optimierungsverarbeitung der eingegebenen digitalen Sprachdaten durch. Das Sprachsignal, das durch die Sprachverarbeitungsschaltung 214 verarbeitet wird, wird durch die erste Steuerungsschaltung 223 an einen Speicher 215 übertragen. Der Speicher 215 speichert vorübergehend das Bildsignal und das Sprachsignal, die durch die Bildverarbeitungsschaltung 207 und die Sprachverarbeitungsschaltung 214 erhalten werden.
Die Bildverarbeitungsschaltung 207 und die Sprachverarbeitungsschaltung 214 lesen das Bildsignal und das Sprachsignal, die vorübergehend in dem Speicher 215 gespeichert werden, aus, und führen ein Kodieren des Bildsignals und ein Kodieren des Sprachsignals durch, wodurch ein komprimiertes Bildsignal und ein komprimiertes Sprachsignal erzeugt werden. Die erste Steuerungsschaltung 223 überträgt das komprimierte Bildsignal und das komprimierte Sprachsignal an eine Aufzeichnungs-/Reproduktions-Schaltung 220.
Die Aufzeichnungs-/Reproduktions-Schaltung 220 zeichnet das komprimierte Bildsignal und das komprimierte Sprachsignal, die durch die Bildverarbeitungsschaltung 207 und die Sprachverarbeitungsschaltung 214 erzeugt werden, sowie andere Steuerungsdaten bezüglich einer Bildaufnahme und ähnliches in einem Aufzeichnungsmedium 221 auf. Wenn eine Komprimierungskodierung für das Sprachsignal nicht durchgeführt wird, überträgt die erste Steuerungsschaltung 223 das Sprachsignal, das durch die Sprachverarbeitungsschaltung 214 erzeugt wird, und das komprimierte Bildsignal, das durch die Bildverarbeitungsschaltung 207 erzeugt wird, an die Aufzeichnungs-/Reproduktions-Schaltung 220 und veranlasst diese, die Signale in dem Aufzeichnungsmedium 221 aufzuzeichnen.
Das Aufzeichnungsmedium 221 kann entweder ein Aufzeichnungsmedium, das in der Bildaufnahmevorrichtung 101 enthalten ist, oder ein entfernbares Aufzeichnungsmedium sein. Das Aufzeichnungsmedium 221 kann verschiedene Arten von Daten, wie etwa das komprimierte Bildsignal, das komprimierte Sprachsignal, und das Sprachsignal, das durch die Bildaufnahmevorrichtung 101 erzeugt wird, aufzeichnen, und üblicherweise wird ein Medium verwendet, das eine Kapazität aufweist, die größer als die des nichtflüchtigen Speichers ist. Zum Beispiel umfasst das Aufzeichnungsmedium 221 Aufzeichnungsmedien von allen Formaten, wie etwa eine Festplatte, eine optische Scheibe, eine magnetisch optische Scheibe, eine CD-R, eine DVD-R, ein Magnetband, einen nichtflüchtigen Halbleiterspeicher, und einen Flashspeicher.
Die Aufzeichnungs-/Reproduktions-Schaltung 220 liest das komprimierte Bildsignal, das komprimierte Sprachsignal, das Sprachsignal, die verschiedenen Arten von Daten und die Programme, die in dem Aufzeichnungsmedium 221 aufgezeichnet sind, aus (reproduziert diese). Die erste Steuerungsschaltung 223 überträgt das komprimierte Bildsignal und das komprimierte Sprachsignal, die ausgelesen werden, an die Bildverarbeitungsschaltung 207 und die Sprachverarbeitungsschaltung 214. Die Bildverarbeitungsschaltung 207 und die Sprachverarbeitungsschaltung 214 speichern vorübergehend das komprimierte Bildsignal und das komprimierte Sprachsignal in dem Speicher 215, dekodieren diese gemäß einer vorbestimmten Prozedur und übertragen die dekodierten Signale an die Videoausgabeschaltung 217 und die Sprachausgabeschaltung 218.
Die Spracheingabeschaltung 213 umfasst eine Vielzahl von Mikrofonen, die an der Bildaufnahmevorrichtung 101 angebracht sind, und die Sprachverarbeitungsschaltung 214 kann die Richtung eines Geräuschs auf einer Ebene, auf der die Vielzahl von Mikrofonen installiert ist, erfassen, was für eine Suche oder eine automatische Bildaufnahme, die später beschrieben werden, verwendet wird. Zusätzlich erfasst die Sprachverarbeitungsschaltung 214 eine spezifische Sprachanweisung. Als die Sprachanweisung können mehrere Anweisungen, die im Voraus registriert sind, verwendet werden, oder es kann dem Benutzer erlaubt sein, eine spezifische Sprache in der Bildverarbeitungsvorrichtung zu registrieren. Eine Geräuschszenenerkennung wird ebenso durchgeführt. Bei der Geräuschszenenerkennung wird eine Geräuschszenenentscheidung durch ein Netzwerk durchgeführt, das im Voraus durch ein Maschinenlernen basierend auf einer großen Menge von Sprachdaten gelernt hat. Zum Beispiel ist ein Netzwerk, das dazu konfiguriert ist, eine spezifische Szene, wie etwa ein „Schreien vor Freude“, „Händeklatschen“, oder „Sprachausdruck“ bzw. „Sprachäußerung“ in der Sprachverarbeitungsschaltung 214 eingestellt. Nach einem Erfassen einer spezifischen Geräuschszene oder einer spezifischen Sprachanweisung gibt die Sprachverarbeitungsschaltung 214 ein Erfassungsauslösesignal an die erste Steuerungsschaltung 223 oder die zweite Steuerungsschaltung 211 aus.
Die zweite Steuerungsschaltung 211, die unabhängig von der ersten Steuerungsschaltung 223 bereitgestellt ist, die dazu konfiguriert ist, das gesamte Hauptsystem der Bildaufnahmevorrichtung 101 zu steuern, steuert die zugeführte Leistung der ersten Steuerungsschaltung 223.
Eine erste Leistungsversorgungsschaltung 210 und eine zweite Leistungsversorgungsschaltung 212 führen entsprechend eine Leistung zum Betreiben der ersten Steuerungsschaltung 223 und der zweiten Steuerungsschaltung 211 zu. Wenn eine Leistungstaste, die auf der Bildaufnahmevorrichtung 101 bereitgestellt ist, gedrückt wird, wird die Leistung zuerst zu beiden der ersten Steuerungsschaltung 223 und der zweiten Steuerungsschaltung 211 zugeführt. Die erste Steuerungsschaltung 223 steuert die erste Leistungsversorgungsschaltung 210, um die Leistungsversorgung zu sich selbst auszuschalten, was nachstehend beschrieben wird. Die zweite Steuerungsschaltung 211 arbeitet auch während der Zeit, wenn die erste Steuerungsschaltung 223 nicht in Betrieb ist, und Informationen von der Einrichtungserschütterungserfassungsschaltung 209 oder der Sprachverarbeitungsschaltung 214 werden eingegeben. Basierend auf verschiedenen Arten von eingegebenen Informationen führt die zweite Steuerungsschaltung eine Entscheidungsverarbeitung zum Entscheiden, ob die erste Steuerungsschaltung 223 zu aktivieren ist, durch. Nach einer Entscheidung zur Aktivierung weist die zweite Steuerungsschaltung die erste Leistungsversorgungsschaltung an, eine Leistung zuzuführen.
Die Sprachausgabeschaltung 218 gibt ein voreingestelltes Sprachmuster von einem Lautsprecher, der in der Bildaufnahmevorrichtung 101 umfasst ist, zur der Zeit von zum Beispiel einer Bildaufnahme aus.
Eine LED-Steuerungsschaltung 224 steuert eine LED, die an der Bildaufnahmevorrichtung 101 bereitgestellt ist, basierend auf einem voreingestellten Leucht-/ Blink-Muster zur der Zeit von zum Beispiel einer Bildaufnahme.
Die Videoausgabeschaltung 217 wird zum Beispiel durch einen Videoausgabeanschluss gebildet und überträgt ein Bildsignal an eine verbundene externe Anzeige oder ähnliches, um ein Video anzuzeigen. Zusätzlich können die Sprachausgabeschaltung 218 und die Videoausgabeschaltung 217 ein angeschlossenes Endgerät sein, zum Beispiel ein Endgerät, wie etwa ein HDMI-Endgerät (HDMI, „High-Definition Multimedia Interface“).
Eine Kommunikationsschaltung 222 führt eine Kommunikation zwischen der Bildaufnahmevorrichtung 101 und einer externen Vorrichtung durch und überträgt oder empfängt zum Beispiel Daten, wie etwa ein Sprachsignal, ein Bildsignal, ein komprimiertes Sprachsignal oder ein komprimiertes Bildsignal. Die Kommunikationsschaltung 222 empfängt ebenso eine Bildaufnahmestartanweisung oder eine Bildaufnahmebeendigungsanweisung oder ein Steuerungssignal bezüglich einer Bildaufnahme, wie etwa Schwenken/Neigen oder ein Antreiben des Zooms, und steuert die Bildaufnahmevorrichtung 101 gemäß einer Anweisung von einer externen Einrichtung an, die dazu in der Lage ist, mit der Bildaufnahmevorrichtung 101 zu kommunizieren. Die Kommunikationsschaltung 222 überträgt und empfängt ebenso Informationen, wie etwa verschiedene Arten von Parametern bezüglich eines Lernens, die durch die später beschriebene Lernverarbeitungsschaltung 219 verarbeitet werden, zwischen der Bildaufnahmevorrichtung 101 und der externen Vorrichtung. Die Kommunikationsschaltung 222 ist zum Beispiel an ein drahtloses Kommunikationsmodul, wie etwa ein Infrarotkommunikationsmodul, ein Bluetooth@-Kommunikationsmodul, ein Drahtlos-LAN-Kommunikationsmodul, drahtloses USB, oder ein GPS Empfänger.
<Anordnung zur externen Kommunikationseinrichtung>
3 ist eine Ansicht, die ein Beispiel der Anordnung eines drahtlosen Kommunikationssystems zwischen der Bildaufnahmevorrichtung 101 und einer externen Vorrichtung 301 zeigt. Die Bildaufnahmevorrichtung 101 ist eine digitale Kamera mit einer Bildaufnahmefunktion und die externe Vorrichtung 301 ist eine intelligente Einrichtung mit einem Bluetooth-Kommunikationsmodul und einem Drahtlos- LAN- Kommunikationsmodul.
Die Bildaufnahmevorrichtung 101 und die intelligente Einrichtung 301 können durch eine Kommunikation 302 durch ein drahtloses LAN, das zum Beispiel mit der Serie des IEEE 802.11 Standards konform ist, und eine Kommunikation 303 mit einer Master-Slave-Beziehung zwischen einer Steuerungsstation und einer Slave-Station, zum Beispiel Bluetooth Low Energy (nachstehend als „BLE“ bezeichnet), kommunizieren. Es sei angemerkt, dass drahtloses LAN und BLE Beispiele eines Kommunikationsverfahrens sind. Jede Kommunikationsvorrichtung hat zwei oder mehr Kommunikationsfunktionen. Ein anderes Kommunikationsverfahren kann verwendet werden, solange eine Kommunikationsfunktion des Durchführens einer Kommunikation in der Beziehung zwischen, zum Beispiel, der Steuerungsstation und der Slave-Station die andere Kommunikationsfunktion steuern kann. Ohne eine Allgemeingültigkeit zu verlieren, kann die erste Kommunikation, wie etwa drahtloses LAN eine Kommunikation mit einer höheren Geschwindigkeit als der der zweiten Kommunikation, wie etwa BLE, durchführen und ist zumindest ein Leistungsverbrauch oder ein Kommunikationsbereich der zweiten Kommunikation kleiner als der der ersten Kommunikation.
Die Anordnung der intelligenten Einrichtung 301 wird mit Bezug auf 4 beschrieben.
Die intelligente Einrichtung 301 umfasst zum Beispiel eine Steuerungsschaltung 406 für ein öffentliches Netzwerk für eine öffentliche drahtlose Kommunikation zusätzlich zu einer Drahtlos-LAN-Steuerungsschaltung 401 für ein drahtloses LAN und einer BLE-Steuerungsschaltung 402 für BLE. Die intelligente Einrichtung 301 umfasst ebenso eine Paketübertragungs-/Empfangsschaltung 403. Die Drahtlos-LAN-Steuerungsschaltung 401 führt eine RF-Steuerung des drahtlosen LAN, eine Kommunikationsverarbeitung und eine Protokollverarbeitung bezüglich eines Treibers, der verschiedene Arten einer Steuerung der Kommunikation durch das drahtlose LAN, das mit der Serie des IEEE 802.11 Standards konform ist, oder eine Kommunikation durch das drahtlose LAN durchführt, durch. Die BLE-Steuerungsschaltung 402 führt eine RF-Steuerung des BLE, eine Kommunikationsverarbeitung und eine Protokollverarbeitung bezüglich eines Treibers, der verschiedene Arten einer Steuerung einer Kommunikation durch das BLE oder eine Kommunikation durch das BLE durchführt, durch. Die Steuerungsschaltung 406 für ein öffentliches Netzwerk führt eine RF-Steuerung der öffentlichen drahtlosen Kommunikation, eine Kommunikationsverarbeitung und eine Protokollverarbeitung bezüglich eines Treibers, der verschiedene Arten einer Steuerung einer öffentlichen drahtlosen Kommunikation oder eine öffentliche drahtlose Kommunikation durchführt, durch. Die öffentliche drahtlose Kommunikation ist zum Beispiel mit dem IMT-Standard (IMT, „International Multimedia Telecommunications“) oder LTE-Standard (LTE, „Long Term Evolution“) konform. Die Paketübertragungs-/Empfangsschaltung 403 führt eine Verarbeitung zum Ausführen von zumindest einem einer Übertragung und eines Empfangs eines Pakets bezüglich einer Kommunikation durch das drahtlose LAN und BLE und eine öffentliche drahtlose Kommunikation durch. Es sei angemerkt, dass in diesem Beispiel die intelligente Einrichtung 301 als eine Einrichtung beschrieben wird, die zumindest eines einer Übertragung und eines Empfangs eines Paketes in einer Kommunikation durchführt. Jedoch kann ein anderes Kommunikationsverfahren als ein Paketaustausch, zum Beispiel Leitungsvermittlung, verwendet werden.
Die intelligente Einrichtung 301 umfasst weiterhin zum Beispiel eine Steuerungsschaltung 411, eine Speicherschaltung 404, ein GPS („Global Positioning System“) 405, eine Anzeigeeinrichtung 407, ein Operationselement 408, eine Spracheingabe-/Sprachverarbeitungsschaltung 409 und eine Leistungsversorgungsschaltung 410. Die Steuerungsschaltung 411 führt zum Beispiel ein Steuerungsprogramm aus, das in der Speicherschaltung 404 gespeichert ist, wodurch die gesamte intelligente Einrichtung 301 gesteuert wird. Die Speicherschaltung 404 speichert zum Beispiel das Steuerungsprogramm, das durch die Steuerungsschaltung 411 ausgeführt wird, und verschiedene Arten von Informationen, wie etwa Parameter, die für eine Kommunikation notwendig sind. Verschiedene Arten von Operationen, die nachstehend beschrieben werden, werden durch Ausführen des Steuerungsprogramms, das in der Speicherschaltung 404 gespeichert ist, durch die Steuerungsschaltung 411 implementiert.
Die Leistungsversorgungsschaltung 410 führt eine Leistung an die intelligente Einrichtung 301 zu. Die Anzeigeeinrichtung 407 besitzt eine Funktion des Ausgebens von visuell erkennbaren Informationen, zum Beispiel eine LCD oder eine LED oder eine Funktion zum Ausgeben eines Tons, wie etwa einen Lautsprecher, und zeigt verschiedene Arten von Informationen an. Das Operationselement 408 umfasst zum Beispiel eine Taste, die dazu konfiguriert ist, eine Operation durch den Benutzer auf der intelligenten Einrichtung 301 zu empfangen. Es sei angemerkt, dass die Anzeigeeinrichtung 407 und das Operationselement 408 zum Beispiel durch ein gemeinsames Element, wie etwa ein berührungsempfindliches Feld bzw. Anzeige, gebildet sein können.
Die Spracheingabe-/Sprachverarbeitungsschaltung 409 kann zum Beispiel dazu konfiguriert sein, um eine Sprache, die von einem Benutzer von sich gegeben wurde, von einem Allzweckmikrofon, das in der intelligenten Einrichtung 301 enthalten ist, zu beschaffen, und eine Benutzeroperation durch eine Spracherkennungsverarbeitung zu beschaffen.
Zusätzlich beschafft die Spracheingabe-/Sprachverarbeitungsschaltung 409 eine Sprachanweisung durch die Äußerung des Benutzers über eine deditierte Anwendung in der intelligenten Einrichtung. Die Sprachanweisung kann ebenso als eine spezifische Sprachanweisung, die durch die Sprachverarbeitungsschaltung 214 der Bildaufnahmevorrichtung 101 zu erkennen ist, über die Kommunikation 302 durch das drahtlose LAN registriert werden.
Das GPS 405 empfängt ein GPS-Signal, das von einem Satelliten mitgeteilt wird, analysiert das GPS-Signal und schätzt die momentane Position (Breitengrad/Längengrad-Informationen) der intelligenten Einrichtung 301. Alternativ kann als die Positionsschätzung die momentane Position der intelligenten Einrichtung 301 basierend auf den Informationen eines drahtlosen Netzwerks, das in der Peripherie vorhanden ist, unter Verwendung von WPS („Wi-Fi Positioning System“) oder ähnlichem geschätzt werden. Wenn sich die beschafften momentanen GPS-Positionsinformationen innerhalb eines voreingestellten Positionsbereichs (innerhalb des Bereichs eines vorbestimmten Radius) befinden, werden Bewegungsinformationen der Bildaufnahmevorrichtung 101 über die BLE-Steuerungsschaltung 402 mitgeteilt und als ein Parameter zur automatischen Bildaufnahme, die später beschrieben wird, oder zur automatischen Bearbeitung verwendet. Zusätzlich, wenn eine Positionsänderung eines vorbestimmten Levels oder mehr in den GPS-Positionsinformationen vorkommt, werden Bewegungsinformationen der Bildaufnahmevorrichtung 101 über die BLE-Steuerungsschaltung 402 mitgeteilt und als ein Parameter für eine automatische Bildaufnahme, die nachstehend beschrieben wird, oder zur automatischen Bearbeitung verwendet.
Wie vorstehend beschrieben tauschen die Bildaufnahmevorrichtung 101 und die intelligente Einrichtung 301 Daten durch eine Kommunikation unter Verwendung der Drahtlos-LAN-Steuerungsschaltung 401 und der BLE-Steuerungsschaltung 402 aus. Zum Beispiel werden Daten, wie etwa ein Sprachsignal, ein Bildsignal, ein komprimiertes Sprachsignal oder ein komprimiertes Bildsignal ausgetauscht. Zusätzlich überträgt die intelligente Einrichtung eine Operationsanweisung für eine Bildaufnahme der Bildaufnahmevorrichtung 101 oder ähnliches oder Sprachanweisungsregistrierungsdaten oder überträgt eine vorbestimmte Positionserfassungsmitteilung oder eine Positionsbewegungsmitteilung basierend auf den GPS-Positionsinformationen. Zusätzlich werden Lerndaten über eine dedizierte Anwendung in der intelligenten Einrichtung übertragen/empfangen.
<Anordnung von Zubehör>
5 ist eine Ansicht, die ein Beispiel einer Anordnung zu einer externen Vorrichtung 501 zeigt, die dazu in der Lage ist, mit der Bildaufnahmevorrichtung 101 zu kommunizieren. Die Bildaufnahmevorrichtung 101 ist eine digitale Kamera mit einer Bildaufnahmefunktion und die externe Vorrichtung 501 ist eine tragbare Einrichtung („wearable device“) inklusive verschiedenen Arten von Erfassungseinheiten, die dazu in Lage sind, mit der Bildaufnahmevorrichtung 101 über zum Beispiel ein Bluetooth-Kommunikationsmodul zu kommunizieren.
Die tragbare Einrichtung 501 ist dazu konfiguriert, um zum Beispiel an einem Arm eines Benutzers angebracht zu werden, und umfasst Sensoren, die dazu konfiguriert sind, biologische Informationen, wie etwa Puls, Herzschlag und Blutfluss des Benutzers zu einer vorbestimmten Periode zu erfassen, einen Beschleunigungssensor, der dazu in der Lage ist, einen Bewegungszustand des Benutzers zu erfassen, und ähnliches.
Eine Erfassungsschaltung 502 für biologische Informationen umfasst zum Beispiel einen Pulssensor, der dazu konfiguriert ist, einen Puls zu erfassen, einen Herzschlag-sensor, der dazu konfiguriert ist, einen Herzschlag zu erfassen, einen Blutflusssensor, der dazu konfiguriert ist, einen Blutfluss zu erfassen, und einen Sensor, der dazu konfiguriert ist, zu erfassen, dass eine Änderung in einem Potential durch einen Hautkontakt mit einem leitenden Polymer erfasst wird. In diesem Ausführungsbeispiel wird eine Beschreibung unter Verwendung eines Herzschlagsensors als die Erfassungsschaltung 502 für biologische Informationen vorgenommen. Der Herzschlagsensor bestrahlt zum Beispiel eine Haut mit Infrarotlicht unter Verwendung einer LED oder ähnlichem, erfasst das Infrarotlicht, das durch Körpergewebe übertragen wird, durch einen Lichtempfangssensor, und führt eine Signalverarbeitung durch, wodurch der Herzschlag des Benutzers erfasst wird. Die Erfassungsschaltung 502 für biologische Informationen gibt die erfassten biologischen Informationen als ein Signal an die Steuerungsschaltung 607, die nachstehend beschrieben wird, aus.
Eine Erschütterungserfassungsschaltung 503, die dazu konfiguriert ist, den Bewegungszustand des Benutzers zu erfassen, umfasst zum Beispiel einen Beschleunigungssensor oder einen Gyrosensor und kann basierend auf den Informationen der Beschleunigung eine Bewegung erfassen, die darstellt, ob der Benutzer eine Bewegung macht oder eine Aktion durch ein Schwingen des Arms vornimmt.
Die tragbare Einrichtung 501 umfasst ebenso ein Operationselement 505, das eine Operation bezüglich der tragbaren Einrichtung 501 durch den Benutzer empfängt, und eine Anzeigeeinrichtung 504, wie etwa eine LCD oder eine LED, die visuell erkennbare Informationen ausgibt.
Die Anordnung der tragbaren Einrichtung 501 wird mit Bezug auf 6 beschrieben.
Die tragbare Einrichtung 501 umfasst zum Beispiel die Steuerungsschaltung 607, eine Kommunikationsschaltung 601, die Erfassungsschaltung 502 für biologische Informationen, die Erschütterungserfassungsschaltung 503, die Anzeigeeinrichtung 504, das Operationselement 505, eine Leistungsversorgungsschaltung 606, und eine Speicherschaltung 608.
Die Steuerungsschaltung 607 führt zum Beispiel ein Steuerungsprogramm, das in der Speicherschaltung 608 gespeichert ist, aus, wodurch die gesamte tragbare Einrichtung 501 gesteuert wird. Die Speicherschaltung 608 speichert zum Beispiel das Steuerungsprogramm, das durch die Steuerungsschaltung 607 ausgeführt wird, und verschiedene Arten von Informationen, wie etwa Parameter, die zur Kommunikation notwendig sind. Verschiedene Arten von Operationen, die nachstehend beschrieben werden, werden zum Beispiel durch Ausführen des Steuerungsprogramms, das in der Speicherschaltung 608 gespeichert ist, durch die Steuerungsschaltung 607 implementiert.
Die Leistungsversorgungsschaltung 606 führt eine Leistung an die tragbare Einrichtung 501 zu. Die Anzeigeeinrichtung 504 besitzt eine Funktion des Ausgebens von visuell erkennbaren Informationen, wie zum Beispiel eine LCD oder eine LED oder eine Funktion des Ausgebens eines Tons, wie etwa einen Lautsprecher, und zeigt verschiedene Arten von Informationen an. Das Operationselement 505 umfasst zum Beispiel eine Taste, die dazu konfiguriert ist, eine Operation auf der tragbaren Einrichtung 501 durch den Benutzer zu empfangen. Es sei angemerkt, dass die Anzeigeeinrichtung 504 und das Operationselement 505 zum Beispiel durch ein gemeinsames Element, wie etwa ein berührungsempfindliches Feld, gebildet sein können.
Zusätzlich kann das Operationselement zum Beispiel dazu konfiguriert sein, eine Sprache, die von dem Benutzer ausgesprochen wird, von einem Allzweckmikrofon zu beschaffen, das in der tragbaren Einrichtung 501 enthalten ist und eine Benutzeroperationsanweisung durch eine Spracherkennungsverarbeitung zu beschaffen.
Verschiedene Arten von Erfassungsinformationen, die durch die Steuerungsschaltung 607 verarbeitet werden, von der Erfassungsschaltung 502 für biologische Informationen oder der Erschütterungserfassungsschaltung 503, werden durch die Kommunikationsschaltung 601 an die Bildaufnahmevorrichtung 101 übertragen.
Zum Beispiel überträgt die Kommunikationsschaltung 601 die Erfassungsinformationen an die Bildaufnahmevorrichtung 101 zu einem Zeitpunkt des Erfassens einer Änderung in dem Herzschlag des Benutzers oder überträgt die Erfassungsinformationen zu dem Zeitpunkt einer Änderung in dem Bewegungszustand, wie etwa einer Gehbewegung/Laufbewegung/Stopp. Zusätzlich überträgt die Kommunikationsschaltung 601 zum Beispiel die Erfassungsinformationen zu einem Zeitpunkt des Erfassens einer voreingestellten Armschwingungsbewegung oder überträgt die Erfassungsinformationen zu einem Zeitpunkt des Erfassens einer Bewegung um eine voreingestellte Entfernung.
<Ablauf einer Bildaufnahmeoperation>
7 ist ein Ablaufdiagramm zum Erklären eines Beispiels der Operation, die durch die erste Steuerungsschaltung 223 der Bildaufnahmevorrichtung 101 gemäß diesem Ausführungsbeispiel durchgeführt wird.
Wenn der Benutzer die Leistungstaste, die auf der Bildaufnahmevorrichtung 101 bereitgestellt ist, betätigt, veranlasst die erste Leistungsversorgungsschaltung 210 eine Leistungsversorgungseinheit, eine Leistung an die erste Steuerungsschaltung 223 und an jeden Block der Bildaufnahmevorrichtung 101 zuzuführen.
Auch in der zweiten Steuerungsschaltung 211 veranlasst die zweite Leistungsversorgungschaltung 212, dass eine Leistungsversorgungseinheit eine Leistung an die zweite Steuerungsschaltung 211 zuführt. Details der Operation der zweiten Steuerungsschaltung werden mit Bezug auf das Ablaufdiagramm von 8 erklärt, was später beschrieben wird.
Wenn die Leistung zugeführt wird, startet die in 7 gezeigte Verarbeitung. In Schritt S701 („Schritt“ wird nachstehend einfach als „S“ abgekürzt), wird eine Aktivierungsbedingung geladen.
In diesem Ausführungsbeispiel sind die Aktivierungsbedingungen wie folgt.

(1) Eine Leistungsversorgung wird manuell durch Drücken der Leistungstaste gestartet.
(2) Eine Leistungsversorgung wird gemäß einer Anweisung durch eine externe Kommunikation (zum Beispiel eine BLE-Kommunikation) von einer externen Einrichtung (zum Beispiel der intelligenten Einrichtung 301) gestartet.
(3) Eine Leistungsversorgung wird von einem Unterprozessor (zweite Steuerungsschaltung 211) gestartet.

Hier, in dem Fall von (3) wird eine Leistungsversorgung von einem Unterprozessor gestartet und wird eine Aktivierungsbedingung, die in dem Unterprozessor berechnet wird, geladen. Details werden mit Bezug auf 8, die nachstehend beschrieben wird, erklärt.
Zusätzlich wird die hier geladene Aktivierungsbedingung als ein Parameterelement in einer Objektsuche oder einer automatischen Bildaufnahme verwendet, was nachstehend beschrieben wird. Wenn das Laden der Aktivierungsbedingung endet, geht der Prozess über zu S702.
In S702 werden verschiedene Arten von Sensoren gelesen. Die hier gelesenen Sensoren sind Sensoren, die dazu konfiguriert sind, eine Vibration zu erfassen, wie etwa der Gyrosensor und der Beschleunigungssensor von der Einrichtungserschütterungserfassungsschaltung 209. Zusätzlich wird die Rotationsposition der Neigungsrotationseinheit 104 oder der Schwenkrotationseinheit 105 gelesen. Weiterhin werden ein Sprachlevel, das durch die Sprachverarbeitungsschaltung 214 erfasst wird, der Erfassungsauslöser einer spezifischen Spracherkennung oder eine Geräuschrichtung erfasst.
Obwohl es in 1A bis 6 nicht dargestellt ist, beschaffen Sensoren, die dazu konfiguriert sind, Umgebungsinformationen zu erfassen, ebenso Informationen.
Zum Beispiel gibt es einen Temperatursensor, der dazu konfiguriert ist, eine Temperatur um die Bildaufnahmevorrichtung 101 herum zu einer vorbestimmten Periode zu erfassen, und einen Atmosphärendrucksensor, der dazu konfiguriert ist, eine Änderung in dem Atmosphärendruck um die Bildaufnahmevorrichtung 101 herum zu erfassen. Zusätzlich können ein Beleuchtungssensor, der dazu konfiguriert ist, die Helligkeit um die Bildaufnahmevorrichtung 101 herum zu erfassen, ein Feuchtigkeitssensor, der dazu konfiguriert ist, die Feuchtigkeit um die Bildaufnahmevorrichtung 101 herum zu erfassen, ein UV-Sensor, der dazu konfiguriert ist, einen UV-Lichtbetrag um die Bildaufnahmevorrichtung 101 herum zu erfassen, und ähnliches bereitgestellt sein. Zusätzlich zu den erfassten Temperaturinformationen, den Atmosphärendruckinformationen, den Helligkeitsinformationen, den Feuchtigkeitsinformationen und den UV-Informationen werden ebenso ein Temperaturänderungsbetrag, ein Atmosphärendruckänderungsbetrag, ein Helligkeitsänderungsbetrag, ein Feuchtigkeitsänderungsbetrag, ein UV-Änderungsbetrag, und ähnliches, die durch Berechnen einer Änderungsrate zu einem vorbestimmten Zeitintervall von den verschiedenen Arten von Erfassungsinformationen erhalten werden, zur Entscheidung bei einer automatischen Bildaufnahme oder ähnlichem verwendet, was nachstehend beschrieben wird.
Wenn die verschiedenen Arten von Sensoren in S702 gelesen sind, geht der Prozess über zu S703.
In S703 wird erfasst, ob eine Kommunikation von einer externen Einrichtung angewiesen wird. Wenn eine Kommunikationsanweisung empfangen wird, wird eine Kommunikation mit der externen Einrichtung durchgeführt.
Zum Beispiel werden eine Fernoperation oder Daten, wie etwa ein Sprachsignal, ein Bildsignal, ein komprimiertes Sprachsignal oder ein komprimiertes Bildsignal an die intelligente Einrichtung 301 über ein drahtloses LAN oder BLE übertragen oder von dieser empfangen. Zusätzlich wird ein Laden durchgeführt, um zu bestimmen, ob die intelligente Einrichtung 301 eine Operationsanweisung für eine Bildaufnahme der Bildaufnahmevorrichtung 101 oder ähnliches, Sprachanweisungsregistrierungsdaten, eine vorbestimmte Positionserfassungsmitteilung oder eine Positionsbewegungsmitteilung basierend auf GPS-Positionsinformationen, oder eine Lerndatenübertragungs-/Empfangsanweisung übertragen hat.
Zusätzlich wird zum Beispiel dann, wenn die Bewegungsinformationen des Benutzers, die Aktionsinformationen des Arms, oder die biologischen Informationen, wie etwa ein Herzschlag, von der tragbaren Einrichtung 501 aktualisiert werden, ein Laden von Informationen über BLE durchgeführt. Des Weiteren können die verschiedenen Arten von Sensoren, die dazu konfiguriert sind, die vorstehend beschriebenen Umgebungsinformationen zu erfassen, an der Bildaufnahmevorrichtung 101 angebracht sein. Jedoch können diese in der intelligenten Einrichtung 301 oder der tragbaren Einrichtung 501 angebracht sein. In diesem Fall wird ein Laden der Umgebungsdaten über BLE ebenso durchgeführt. Wenn eine Kommunikationsladung von der externen Einrichtung in S703 vorgenommen wurde, geht der Prozess über zu S704.
In S704 wird eine Betriebsarteinstellungsentscheidung durchgeführt. Die Betriebsart, die in S704 eingestellt wird, wird von den folgenden Betriebsarten entschieden und ausgewählt.
Automatikbildaufnahmebetriebsart
[Betriebsartentscheidungsbedingung]
Wenn basierend auf den Elementen der Erfassungsinformationen (Bild, Geräusch, Zeit, Vibration, Ort, Änderung des Körpers und Änderung der Umgebung), die durch Lernen eingestellt sind, was nachstehend beschrieben wird, der Zeit, die von dem Übergang zu der Automatikbildaufnahmebetriebsart abgelaufen ist, vergangenen Bildaufnahmeinformationen und ähnlichem entschieden ist, dass eine Automatikbildaufnahme durchgeführt werden sollte, wird die Betriebsart auf die Automatikbildaufnahmebetriebsart eingestellt.
[Intra-Betriebsart-Verarbeitung]
In einer Automatikbildaufnahmebetriebsartverarbeitung (S710) wird automatisch durch Schwenken/Neigen oder ein Ansteuern des Zooms nach einem Objekt gesucht, basierend auf den Elementen der Erfassungsinformationen (Bild, Geräusch, Zeit, Vibration, Ort, Änderung des Körpers und Änderung der Umgebung). Nach einem Entscheiden, dass es ein Zeitpunkt ist, in dem es möglich ist, eine Bildaufnahme gemäß der Präferenz eines Benutzers durchzuführen, wird das Bildaufnahmeverfahren von verschiedenen Bildaufnahmeverfahren wie etwa einer Einzelstandbildbildaufnahme, einer kontinuierlichen Standbildaufnahme, einer Bewegtbildaufnahme, einer Panoramabildaufnahme und einer Zeitrafferbildaufnahme bestimmt, und wird eine Bildaufnahme automatisch durchgeführt.
Lernbetriebsart
[Betriebsartentscheidungsbedingung]
Wenn basierend auf der abgelaufenen Zeit von der vorhergehenden Lernverarbeitung, der Anzahl von Informationen oder von Lerndaten, die mit Bildern verknüpft sind, die zum Lernen verwendbar sind, und ähnlichem entschieden ist, dass ein automatisches Lernen durchgeführt werden sollte, wird die Betriebsart auf die Automatiklernbetriebsart eingestellt. Diese Betriebsart wird auch eingestellt, wenn eine Anweisung zum Einstellen von Lerndaten über eine Kommunikation von der intelligenten Einrichtung 301 empfangen wird.
[Intra-Betriebsart-Verarbeitung]
In der Automatiklernbetriebsartverarbeitung (S712) wird ein Lernen gemäß der Präferenz des Benutzers durchgeführt. Das Lernen gemäß der Präferenz des Benutzers wird unter Verwendung eines neuronalen Netzwerks basierend auf den Informationen von Operationen auf der intelligenten Einrichtung 301, einer Lerninformationsmitteilung von der intelligenten Einrichtung 301 und ähnlichem durchgeführt. Als die Informationen der Operationen auf der intelligenten Einrichtung 301 gibt es zum Beispiel Bildbeschaffungsinformationen von der Bildaufnahmevorrichtung, Informationen, für die eine manuelle Bearbeitungsanweisung über eine dedizierte Anwendung vorgenommen wird, und Entscheidungswertinformationen, die durch den Benutzer zu einem Bild in der Bildverarbeitungsvorrichtung eingegeben werden.
Es sei angemerkt, dass Details der Automatikbildaufnahmebetriebsartverarbeitung und der Lernbetriebsartverarbeitung später beschrieben werden.
In S705 wird entschieden, ob die Betriebsarteinstellungsentscheidung in S704 auf eine Niedrigleistungsverbrauchsbetriebsart eingestellt ist. In der Niedrigleistungsverbrauchsbetriebsartentscheidung, wenn die Entscheidungsbedingung weder eine Entscheidungsbedingung von „Automatikbildaufnahmebetriebsart“ noch eine Entscheidungsbedingung von „Lernbetriebsart“ ist, was später beschrieben wird, wird entschieden, dass eine Niedrigleistungsverbrauchsbetriebsart eingestellt wird. Wenn die Entscheidungsverarbeitung durchgeführt wird, geht der Prozess über zu S705.
Nach einer Entscheidung in S705, dass die Bedingung die Niedrigleistungsverbrauchsbetriebsartbedingung ist, geht der Prozess über zu S706.
In S706 wird der Unterprozessor (zweite Steuerungsschaltung 211) über verschiedene Arten von Parametern (ein Erschütterungserfassungsentscheidungsparameter, ein Geräuscherfassungsparameter und ein Zeitablauferfassungsparameter) bezüglich eines Aktivierungsfaktors, der in dem Unterprozessor zu entscheiden ist, informiert. Die Werte der verschiedenen Arten von Parametern ändern sich, wenn diese in der Lernverarbeitung, die später beschrieben wird, gelernt werden. Wenn der Prozess von S706 endet, geht der Prozess über zu S707, um den Hauptprozessor (erste Steuerungsschaltung 223) auszuschalten, und die Verarbeitung endet.
Andererseits, nach einem Entscheiden in S705, dass die Betriebsart nicht die Niedrigleistungsverbrauchsbetriebsart ist, geht der Prozess über zu S709, um zu entscheiden, ob die Betriebsarteinstellung die Automatikbildaufnahmebetriebsart ist. Wenn die Betriebsart die Automatikbildaufnahmebetriebsart ist, geht der Prozess über zu S710, um eine Automatikbildaufnahmebetriebsartverarbeitung durchzuführen. Wenn die Verarbeitung endet, kehrt der Prozess zurück zu S702, um die Verarbeitung zu wiederholen. Wenn in S709 entschieden ist, dass die Betriebsart nicht die Automatikbildaufnahmebetriebsart ist, geht der Prozess über zu S711.
In S711 wird entschieden, ob die Betriebsarteinstellung die Lernbetriebsart ist. Wenn die Betriebsart die Lernbetriebsart ist, geht der Prozess über zu S712, um die Lernbetriebsartverarbeitung durchzuführen. Wenn die Verarbeitung endet, kehrt der Prozess zurück zu S702, um die Verarbeitung zu wiederholen. Wenn in S711 entschieden ist, dass die Betriebsart nicht die Lernbetriebsart ist, kehrt der Prozess zurück zu S702, um die Verarbeitung zu wiederholen.
8 ist ein Ablaufdiagramm zum Erklären eines Beispiels der Operation, die durch die zweite Steuerungsschaltung 211 der Bildaufnahmevorrichtung 101 gemäß diesem Ausführungsbeispiel durchgeführt wird.
Wenn der Benutzer die Leistungstaste, die auf der Bildaufnahmevorrichtung 101 bereitgestellt ist, betätigt, veranlasst die erste Leistungsversorgungsschaltung 210 die Leistungsversorgungseinheit, eine Leistung an die erste Steuerungsschaltung 223 zuzuführen. Auch in der zweiten Steuerungsschaltung 211 veranlasst die zweite Leistungsversorgungsschaltung 212 die Leistungsversorgungseinheit, eine Leistung an die zweite Steuerungsschaltung 211 zuzuführen. Wenn die Leistung zugeführt wird, wird der Unterprozessor (zweite Steuerungsschaltung 211) aktiviert und die in 8 gezeigte Verarbeitung startet.
In S801 wird entschieden, ob eine vorbestimmte Periode, die als die Periode einer Abtastung dient, abgelaufen ist. Wenn zum Beispiel die Periode auf 10 Millisekunden eingestellt ist, geht der Prozess bei einer Periode von 10 Millisekunden zu S802 über. Nach einem Entscheiden, dass die vorbestimmte Periode nicht abgelaufen ist, kehrt der Unterprozessor zurück zu S801 ohne irgendeine Verarbeitung durchzuführen und wartet auf den Ablauf der vorbestimmten Periode.
In S802 wird ein Erschütterungserfassungswert beschafft. Der Erschütterungserfassungswert ist ein Wert, der von einem Sensor ausgegeben wird, der dazu konfiguriert ist, eine Vibration zu erfassen, wie etwa der Gyrosensor oder der Beschleunigungssensor von der Einrichtungserschütterungserfassungsschaltung 209.
Wenn der Erschütterungserfassungswert in S802 beschafft wird, geht der Prozess über zu S803, um eine voreingestellte Erschütterungszustandserfassungsverarbeitung durchzuführen. Mehrere Beispiele werden beschrieben.
Berührungserfassung
Ein Zustand (Berührungszustand), in dem der Benutzer die Bildaufnahmevorrichtung 101 durch zum Beispiel eine Fingerspitze oder ähnliches berührt bzw. auf die Bildaufnahmevorrichtung tippt, kann basierend auf dem Ausgabewert eines Beschleunigungssensors, der an der Bildaufnahmevorrichtung 101 angebracht ist, erfasst werden. Wenn die Ausgabe eines Dreiachsenbeschleunigungssensors bei einer vorbestimmten Abtastperiode durch einen Bandpassfilter (BPF), der auf eine spezifische Frequenzdomäne eingestellt ist, geleitet wird, kann der Signalbereich einer Beschleunigungsänderung, die durch die Berührung verursacht wird, extrahiert werden. Eine Berührungserfassung wird basierend darauf vorgenommen, ob die Anzahl, wie oft das Beschleunigungssignal nach der BPF einen vorbestimmten Schwellenwert TreshA innerhalb einer vorbestimmten Zeit ZeitA überschritten hat, ein vorbestimmter Zählwert CountA ist. In einem Fall einer doppelten Berührung wird CountA auf 2 eingestellt. Im Fall einer dreifachen Berührung wird CountA auf 3 eingestellt.
Erfassung eines Erschütterungszustandes
Ein Erschütterungszustand der Bildaufnahmevorrichtung 101 kann basierend auf dem Ausgabewert des Gyrosensors oder des Beschleunigungssensors, die an der Bildaufnahmevorrichtung 101 angebracht sind, erfasst werden. Nachdem die Hochfrequenzkomponente der Ausgabe des Gyrosensors oder des Beschleunigungssensors durch einen HPF abgeschnitten wird und die Niedrigfrequenzkomponente durch einen LPF abgeschnitten wird, wird eine Absolutwertumwandlung durchgeführt. Eine Vibrationserfassung wird basierend darauf vorgenommen, ob die Anzahl, wie oft der berechnete Absolutwert einen vorbestimmten Schwellenwert TreshB innerhalb einer vorbestimmten Zeit ZeitB überschritten hat, ein vorbestimmter Zählwert CountB oder mehr ist. Zum Beispiel kann entschieden werden, ob es ein Zustand ist, in dem eine kleine Erschütterung durch zum Beispiel ein Platzieren der Bildaufnahmevorrichtung 101 auf einem Schreibtisch oder ähnlichem verursacht wird, oder ein Zustand, in dem eine große Erschütterung verursacht wird, weil zum Beispiel der Benutzer die Bildaufnahmevorrichtung 101 trägt und geht. Wenn eine Vielzahl von Entscheidungsschwellenwerten oder Bedingungen der Zählwerte, die zu entscheiden sind, bereitgestellt ist, kann der Erschütterungszustand gemäß einem Erschütterungslevel fein erfasst werden.
Wenn eine spezifische Erschütterungszustandserfassungsverarbeitung in S803 durchgeführt wird, geht der Prozess über zu S804, um eine voreingestellte spezifische Geräuscherfassungsverarbeitung durchzuführen. Mehrere Beispiele werden beschrieben.
Spezifische Sprachanweisungserfassung
Eine spezifische Sprachanweisung wird erfasst. Als die Sprachanweisung kann der Benutzer eine spezifische Sprache in der Bildaufnahmevorrichtung zusätzlich zu mehreren im Voraus registrierten Anweisungen registrieren.
Spezifische Geräuschszenenerkennung
Eine Geräuschszenenentscheidung wird durch ein Netzwerk durchgeführt, das im Voraus durch Maschinenlernen basierend auf einer großen Menge von Sprachdaten gelernt hat. Zum Beispiel wird eine spezifische Szene, wie etwa „Schreien vor Freude“, „Händeklatschen“ oder „Sprachausdruck“ bzw. „Sprachäußerung“ erfasst.
Geräuschlevelentscheidung
Eine Erfassung durch eine Geräuschlevelentscheidung wird durch ein Verfahren von zum Beispiel Addieren von Zeiten, in denen eine Größenordnung eines Geräuschlevels während einer vorbestimmten Zeit einen vorbestimmten Levelschwellenwert überschreitet, durchgeführt.
Geräuschrichtungsentscheidung
Die Richtung eines Geräusches auf einer Ebene, auf der eine Vielzahl von Mikrofonen installiert sind, kann erfasst werden. Die Richtung eines Geräusches wird für ein Geräuschlevel einer vorbestimmten Größenordnung erfasst.
Die vorstehend beschriebene Entscheidungsverarbeitung wird in der Sprachverarbeitungsschaltung 214 durchgeführt. In S804 wird entschieden, ob eine spezifische Geräuscherfassung durchgeführt wird.
Wenn die spezifische Geräuscherfassungsverarbeitung in S804 durchgeführt wird, geht der Prozess über zu S805. In S805 bestimmt der Hauptprozessor (erste Steuerungsschaltung 223), ob er sich in dem AUS-Zustand befindet. Wenn sich der Hauptprozessor in dem AUS-Zustand befindet, geht der Prozess über zu S806, um eine voreingestellte Zeitablauferfassungsverarbeitung durchzuführen. Die Zeit, die seit dem Übergang des Hauptprozessors von AN zu AUS abgelaufen ist, wird gemessen. Wenn die abgelaufene Zeit gleich oder größer als ein Parameter ZeitC ist, wird bestimmt, dass die Zeit abgelaufen ist. Wenn die abgelaufene Zeit kleiner als ZeitC ist, wird nicht bestimmt, dass die Zeit abgelaufen ist.
Wenn die Zeitablauferfassungsverarbeitung in S806 durchgeführt wird, geht der Prozess über zu S807, um zu bestimmen, ob eine Niedrigleistungsverbrauchsbetriebsartaufhebungsentscheidung vorgenommen wird. Die Niedrigleistungsverbrauchsbetriebsartaufhebungsbedingung wird durch die folgenden Bedingungen bestimmt.

(1) Entscheidungsbedingung einer spezifischen Erschütterungserfassung
(2) Entscheidungsbedingung einer spezifischen Geräuscherfassung
(3) Entscheidungsbedingung einer Zeitablaufentscheidung

Es kann durch die spezifische Erschütterungszustandserfassungsverarbeitung in S803 bestimmt werden, ob die Bestimmungsbedingung der spezifischen Erschütterungserfassung erfüllt ist. Zusätzlich kann durch die spezifische Geräuscherfassungsverarbeitung in S804 bestimmt werden, ob die Entscheidungsbedingung einer spezifischen Geräuscherfassung erfüllt ist. Des Weiteren kann durch die Zeitablauferfassungsverarbeitung in S806 bestimmt werden, ob die Entscheidungsbedingung der Zeitablauferfassung erfüllt ist. Folglich, wenn zumindest eine Bedingung erfüllt ist, wird eine Entscheidung zum Aufheben der Niedrigleistungsverbrauchsbetriebsart vorgenommen.
Wenn die Aufhebungsbedingung in S807 bestimmt ist, geht der Prozess über zu S808, um den Hauptprozessor einzuschalten. In S809 wird der Hauptprozessor über die Bedingung (Erschütterung, Geräusch oder Zeit) informiert, um eine Aufhebung der Niedrigleistungsverbrauchsbetriebsart zu entscheiden. Der Prozess kehrt zurück zu S801, um die Verarbeitung in der Schleife durchzuführen.
Wenn keine der Aufhebungsbedingung in S807 erfüllt ist und bestimmt wird, die Niedrigleistungsverbrauchsbetriebsart nicht aufzuheben, kehrt der Prozess zurück zu S801, um die Verarbeitung in einer Schleife durchzuführen.
Nach einer Entscheidung in S805, dass sich der Hauptprozessor in dem AN-Zustand befindet, wird der Hauptprozessor über die Elemente von Informationen, die in S802 bis S805 beschafft werden, informiert. Dann kehrt der Prozess zurück zu S801, um die Verarbeitung in einer Schleife durchzuführen.
In diesem Ausführungsbeispiel, auch wenn sich der Hauptprozessor in dem AN-Zustand befindet, führt der Unterprozessor eine Erschütterungserfassung oder eine spezifische Geräuscherfassung durch und informiert den Hauptprozessor über das Erfassungsergebnis. Wenn sich jedoch der Hauptprozessor in dem AN-Zustand befindet, könnte die Erschütterungserfassung oder die spezifische Geräuscherfassung durch eine Verarbeitung (S702 in 7) in dem Hauptprozessor durchgeführt werden, ohne die Prozesse von S802 bis S805 durchzuführen.
Das Niedrigleistungsverbrauchsbetriebsartaufhebungsverfahren basierend auf einer Erschütterungserfassung, einer Geräuscherfassung oder einem Zeitablauf wurde vorstehend detailliert beschrieben. Jedoch kann die Niedrigleistungsverbrauchsbetriebsart basierend auf Umgebungsinformationen aufgehoben werden. Bezüglich der Umgebungsinformationen kann die Entscheidung basierend darauf durchgeführt werden, ob der absolute Betrag oder ein Änderungsbetrag der Temperatur, des Atmosphärendrucks, der Helligkeit, der Feuchtigkeit oder des UV-Lichtbetrags einen vorbestimmten Schwellenwert überschreitet.
<Automatikbildaufnahmebetriebsart>
Details der Automatikbildaufnahmebetriebsart werden mit Bezug auf 9 beschrieben. Wie vorstehend beschrieben, wird die folgende Verarbeitung durch die erste Steuerungseinheit 223 der Bildaufnahmevorrichtung 101 gemäß diesem Ausführungsbeispiel gesteuert.
In S901 wird die Bildverarbeitungsschaltung 207 veranlasst, eine Bildverarbeitung eines Signals, das durch die Bildaufnahmeeinheit 206 aufgenommen wird, durchzuführen, und ein Bild für eine Objekterkennung zu erzeugen.
Eine Objekterkennung wie etwa eine Personen- oder Objekterkennung wird von dem erzeugten Bild durchgeführt.
Wenn eine Person erkannt wird, wird das Gesicht oder der Körper des Objekts erfasst. Bei einer Gesichtserfassungsverarbeitung wird ein Muster, das zur Beurteilung des Gesichtes einer Person verwendet wird, im Voraus bestimmt, und ein Abschnitt des aufgenommenen Bildes, der mit dem Muster übereinstimmt, kann als das Gesichtsbild einer Person erfasst werden.
Zusätzlich wird gleichzeitig eine Zuverlässigkeit, die die Wahrscheinlichkeit des Gesichts des Objekts darstellt, berechnet. Die Zuverlässigkeit wird zum Beispiel von der Größe des Gesichtsbereichs in dem Bild, dem Grad der Übereinstimmung mit dem Gesichtsmuster, oder ähnlichem berechnet.
Auch bei einer Objekterkennung kann ein Objekt, das mit einem im Voraus registrierten Muster übereinstimmt, erkannt werden.
Es gibt ebenso ein Verfahren des Extrahierens eines charakteristischen Objekts durch ein Verfahren unter Verwendung des Histogramms des Farbtons oder der Sättigung in dem aufgenommenen Bild. In diesem Fall, bezüglich des Bildes des Objektes, das in dem Bildaufnahmewinkel aufgenommen wird, wird eine Verarbeitung des Aufteilens einer Verteilung, die von dem Histogramm des Farbtons oder der Sättigung hergeleitet wird, in eine Vielzahl von Sektionen und des Klassifizierens des aufgenommenen Bildes in jeder Sektion ausgeführt.
Zum Beispiel werden die Histogramme einer Vielzahl von Farbkomponenten für das aufgenommene Bild erzeugt und in bergförmige Verteilungsbereiche aufgeteilt. Das aufgenommene Bild wird in einem Bereich, der zu der Kombination der gleichen Sektion gehört, klassifiziert, wodurch der Bildbereich des Objekts erkannt wird.
Durch Berechnen eines Evaluierungswerts für jeden erkannten Bildbereich des Objekts ist es möglich, den Bildbereich des Objekts des höchsten Evaluierungswerts als einen Hauptobjektbereich zu bestimmen.
Jede Objektinformation kann von den Bildaufnahmeinformationen durch das vorstehend beschriebene Verfahren erhalten werden.
In S902 wird ein Bildunschärfekorrekturbetrag berechnet. Genauer wird zuerst der Absolutwinkel der Bildaufnahmevorrichtung basierend auf einer Winkelgeschwindigkeit und Beschleunigungsinformationen, die durch die Einrichtungserschütterungserfassungsschaltung 209 beschafft werden, berechnet. Ein Vibrationsdämpfungswinkel zum Bewegen der Neigungsrotationseinheit 104 und der Schwenkrotationseinheit 105 in eine Winkelrichtung zum Aufheben des Absolutwinkels wird als ein Bildunschärfekorrekturbetrag erhalten. Es sei angemerkt, dass das Berechnungsverfahren der Bildunschärfekorrekturbetragberechnungsverarbeitung hier durch eine Lernverarbeitung, die später beschrieben wird, geändert werden kann.
In S903 wird die Zustandsentscheidung bzw. Zustandsbestimmung der Bildaufnahmevorrichtung durchgeführt. Der momentane Vibrations-/Bewegungszustand der Bildaufnahmevorrichtung wird basierend auf einem Winkel, einem Bewegungsbetrag und ähnlichem, die durch die Winkelgeschwindigkeitsinformationen, Beschleunigungsinformationen, GPS-Positionsinformationen, und ähnliches erfasst werden, entschieden.
Wenn zum Beispiel die Bildaufnahmevorrichtung 101 an einem Auto angebracht ist, um eine Bildaufnahme durchzuführen, ändern sich Objektinformationen, wie etwa die umgebende Szenerie stark in Abhängigkeit der Bewegungsentfernung.
Aus diesem Grund kann entschieden werden, ob der Zustand ein „Fahrzeugbewegungszustand“ ist, in dem die Bildaufnahmevorrichtung an einem Auto oder ähnlichem angebracht ist, und sich mit einer hohen Geschwindigkeit bewegt, und die Informationen können für eine Automatikobjektsuche verwendet werden, die später beschrieben ist.
Zusätzlich wird bestimmt, ob die Änderung in dem Winkel groß ist und es wird bestimmt, ob der Zustand ein „stationärer Bildaufnahmezustand“ ist, in dem der Erschütterungswinkel der Bildaufnahmevorrichtung 101 fast Null ist.
In dem „stationären Bildaufnahmezustand“, da die Winkeländerung der Bildaufnahmevorrichtung 101 selbst als Null betrachtet werden kann, kann eine Objektsuche für eine stationäre Bildaufnahme durchgeführt werden.
Zusätzlich, wenn die Winkeländerung relativ groß ist, wird bestimmt, dass der Zustand ein „handgehaltener Zustand“ ist, und eine Objektsuche für eine handgehaltene Bildaufnahme durchgeführt werden kann.
In S904 wird eine Objektsuchverarbeitung durchgeführt. Die Objektsuche wird durch die folgenden Prozesse gebildet.
Bereichsaufteilung
Eine Bereichsaufteilung wird mit Bezug auf 11A bis 11D beschrieben. Wie in 11A gezeigt ist, ist die Mitte an der Position der Bildaufnahmevorrichtung (ein Ursprung 0 ist die Bildaufnahmevorrichtungsposition) eingestellt, und wird eine Bereichsaufteilung entlang des Umfangs durchgeführt. In einem in 11A gezeigten Beispiel wird der gesamte Umfang bei 22,5° in der Neigungsrichtung und der Schwenkrichtung aufgeteilt. Wenn der Bereich aufgeteilt wird, wie in 11A gezeigt ist, wird, wenn sich der Winkel in der Neigungsrichtung von 0° entfernt, der Umfang eines Kreises in der horizontalen Richtung klein und wird die Bereichsregion klein. Folglich, wie in 11B gezeigt ist, wenn der Neigungswinkel gleich 45° oder mehr ist, ist der Bereich in die horizontale Richtung größer als 22,5° eingestellt. 11C und 11D zeigen ein Beispiel, in dem die Bereichsaufteilung in dem Bildaufnahmewinkel vorgenommen wird. Eine Achse 1101 stellt die Richtung der Bildaufnahmevorrichtung 101 zur Zeit der Initialisierung dar. Eine Bereichsaufteilung wird durchgeführt, während dieser Richtungswinkel als eine Referenzposition eingestellt ist. Bezugszeichen 1102 bezeichnet einen Feldwinkelbereich des aufgenommenen Bildes. 11D zeigt ein Beispiel des Bildes zu dieser Zeit. In dem Bild, das in dem Feldwinkel aufgenommen wird, wird eine Bildaufteilung vorgenommen, wie durch 1103 bis 1118 in 11D angegeben ist, basierend auf der Bereichsaufteilung.
Berechnung eines Wichtigkeitslevels in jedem Bereich
Für jeden Bereich, der wie vorstehend beschrieben aufgeteilt ist, wird ein Wichtigkeitslevel, das eine Prioritätsreihenfolge darstellt, um eine Suche durchzuführen, gemäß dem Objekt, das in dem Bereich vorhanden ist oder dem Szenenzustand des Bereichs, berechnet. Das Wichtigkeitslevel gemäß dem Zustand des Objekts wird basierend auf zum Beispiel der Anzahl von Personen, die in dem Bereich existieren, der Größe des Gesichtes von jeder Person, Gesichtsausrichtungen, der Wahrscheinlichkeit einer Gesichtserfassung, den Ausdrücken der Personen und den persönlichen Authentifizierungsergebnissen der Personen berechnet. Zusätzlich wird das Wichtigkeitslevel gemäß dem Zustand einer Szene basierend auf zum Beispiel einem generischen Objekterkennungsergebnis, einem Szenenunterscheidungsergebnis (blauer Himmel, Hintergrund, abendliche Szene oder ähnliches), dem Level eines Geräusches von der Richtung des Bereichs und eines Spracherkennungsergebnisses, von Bewegungserfassungsinformationen in dem Bereich und ähnlichem berechnet. Des Weiteren wird der Vibrationszustand der Bildaufnahmevorrichtung in der Zustandsentscheidung der Bildaufnahmevorrichtung erfasst (S903) und das Wichtigkeitslevel kann sich gemäß dem Vibrationszustand ebenso ändern. In einem Fall zum Beispiel in dem bestimmt ist, dass der Zustand der „stationäre Bildaufnahmezustand“ ist, wird bestimmt, das Wichtigkeitslevel nach einer Erfassung einer Gesichtsauthentifizierung einer spezifischen Person zu erhöhen, sodass die Objektsuche hauptsächlich für ein Objekt einer hohen Priorität (zum Beispiel der Benutzer der Bildaufnahmevorrichtung) in Objekten, die für eine Gesichtsauthentifizierung registriert sind, durchgeführt wird. Zusätzlich wird eine Automatikbildaufnahme, die später beschrieben wird, ebenso vorzugsweise für das Gesicht durchgeführt. Auch wenn die Zeit, in der der Benutzer der Bildaufnahmevorrichtung die Bildaufnahmevorrichtung, die durch ihn/sie getragen wird, trägt, und eine Bildaufnahme durchführt, lang ist, können viele Bilder, in denen der Benutzer aufgenommen wird, verbleiben, durch Abnehmen der Bildaufnahmevorrichtung und Platzieren von dieser auf einem Schreibtisch oder ähnlichem. Gleichzeitig kann die Suche durch Neigen/Schwenken durchgeführt werden. Folglich können Bilder, in denen der Benutzer aufgenommen wird oder Gruppenfotos, in denen viele Gesichter aufgenommen werden, veranlasst verbleiben, einfach nur durch Einstellen der Bildaufnahmevorrichtung ohne Berücksichtigung des Winkels, in dem diese zu platzieren ist. Es sei angemerkt, dass unter nur den vorstehend beschriebenen Bedingungen, sich der Bereich des höchsten Wichtigkeitslevels nicht ändert, solange keine Änderung in dem Bereich auftritt, und als ein Ergebnis, der zu suchende Bereich sich niemals ändert. Um dies zu verhindern, wird das Wichtigkeitslevel gemäß vergangenen Bildaufnahmeinformationen geändert. Genauer kann das Wichtigkeitslevel eines Bereichs, der für eine vorbestimmte Zeit kontinuierlich als der Suchbereich designiert ist, verringert werden. Alternativ kann für einen Bereich, in dem eine Bildaufnahme in S910 durchgeführt wird, was später beschrieben wird, das Wichtigkeitslevel für eine vorbestimmte Zeit verringert werden.
Bestimmung eines Suchzielbereichs
Wenn das Wichtigkeitslevel von jedem Bereich wie vorstehend beschrieben berechnet wird, wird ein Bereich mit hohem Wichtigkeitslevel als der Suchzielbereich bestimmt. Dann wird ein Neigungs-/Schwenksuchzielwinkel, der zum Aufnehmen des Bereichs in dem Feldwinkel notwendig ist, berechnet.
In S905 wird eine Schwenk-/Neigungsansteuerung durchgeführt. Genauer werden der Bildunschärfekorrekturbetrag und der Ansteuerungswinkel bei einer Steuerungsabtastung basierend auf dem Schwenk-/Neigungssuchzielwinkel addiert, wodurch der Schwenk-/Neigungsansteuerbetrag berechnet wird. Die Neigungsrotationseinheit 104 und die Schwenkrotationseinheit 105 werden durch die Objektivtubusrotationsantriebsschaltung 205 angetrieben und gesteuert.
In S906 wird eine Zoomansteuerung durch Steuern der Zoomeinheit 201 durchgeführt. Genauer wird der Zoom gemäß dem Zustand des Suchzielobjekts, das in S904 bestimmt wird, angesteuert bzw. angetrieben. Wenn zum Beispiel das Suchzielobjekt das Gesicht einer Person ist und das Gesicht auf dem Bild zu klein ist, könnte eine Erfassung aufgrund dessen, dass das Gesicht kleiner als eine minimale Größe ist, unmöglich sein, und das Gesicht könnte von der Ansicht verloren werden. In diesem Fall wird ein Zoom auf der Telefotoseite durchgeführt, wodurch eine Steuerung durchgeführt wird, sodass die Größe des Gesichtes auf dem Bild groß wird. Andererseits, in einem Fall, in dem das Gesicht auf dem Bild zu groß ist, weicht das Objekt von dem Feldwinkel gemäß der Bewegung des Objekts oder der Bildaufnahmevorrichtung selbst leicht ab. In diesem Fall wird ein Zoom auf die Weitwinkelseite durchgeführt, wodurch eine Steuerung durchgeführt wird, sodass die Größe des Gesichtes auf dem Bildschirm klein wird. Wenn eine Zoomsteuerung auf diese Weise durchgeführt wird, kann ein Zustand, der zum Verfolgen des Objekts geeignet ist, beibehalten werden.
In S904 bis S906 wurde ein Verfahren des Durchführens einer Objektsuche durch Schwenken/Neigen oder durch eine Zoomansteuerung beschrieben. Jedoch kann die Objektsuche durch ein Bildaufnahmesystem durchgeführt werden, das dazu konfiguriert ist, alle Richtungen auf einmal aufzunehmen, unter Verwendung einer Vielzahl von Weitwinkellinsen. In dem Fall einer omnidirektionalen Kamera, wenn alle Signale, die durch eine Bildaufnahme erhalten werden, als Eingabebilder verwendet werden und eine Bildverarbeitung, wie etwa eine Objekterfassung durchgeführt wird, ist eine enorme Verarbeitung notwendig. Um dies zu vermeiden, wird ein Teil des Bildes ausgeschnitten und wird eine Objektsuchverarbeitung in dem ausgeschnittenen Bildbereich durchgeführt. Wie in dem vorstehend beschriebenen Verfahren wird das Wichtigkeitslevel von jedem Bereich berechnet, wird die Ausschnittposition basierend auf dem Wichtigkeitslevel geändert und wird eine Bestimmung einer Automatikbildaufnahme, die später beschrieben wird, durchgeführt. Dies ermöglicht eine Reduzierung des Leistungsverbrauchs durch eine Bildverarbeitung und eine Hochgeschwindigkeitsobjektsuche.
In S907 wird bestimmt, ob eine Bildaufnahmeanweisung durch den Benutzer (manuell) empfangen wird. Nach einem Empfangen der Bildaufnahmeanweisung geht der Prozess über zu S910. Zu dieser Zeit kann die Bildaufnahmeanweisung durch den Benutzer (manuell) durch Drücken der Verschlusstaste eingegeben werden, durch leichtes Antippen des Gehäuses der Bildaufnahmevorrichtung mit einem Finger oder ähnlichem, durch Eingeben einer Sprachanweisung oder durch Eingeben einer Anweisung von einer externen Einrichtung. Die Bildaufnahmeanweisung durch Berührungsoperation ist ein Bildaufnahmeanweisungsverfahren, bei dem, wenn der Benutzer das Gehäuse der Bildaufnahmevorrichtung berührt, die Einrichtungserschütterungserfassungsschaltung 209 eine kontinuierliche Hochfrequenzbeschleunigung in einer kurzen Periode als einen Auslöser für eine Bildaufnahme erfasst. Die Sprachanweisungseingabe ist ein Bildaufnahmeanweisungsverfahren, bei dem, wenn der Benutzer ein Schlüsselwort (zum Beispiel „Bild aufnehmen“) ausspricht, um eine vorbestimmte Bildaufnahme anzuweisen, die Sprachverarbeitungsschaltung 214 die Sprache als einen Auslöser für eine Bildaufnahme erkennt. Die Anweisung von einer externen Einrichtung ist ein Bildaufnahmeanweisungsverfahren, bei dem zum Beispiel ein Verschlussanweisungssignal, das über eine dedizierte Anwendung von einem Smartphone oder ähnlichem, das mit der Bildaufnahmevorrichtung durch Bluetooth verbunden ist, übertragen wird, als ein Auslöser verwendet wird.
Zusätzlich, wenn die Bildaufnahmeanweisung durch den Benutzer in S907 empfangen wird, geht der Prozess ebenso zu S914 über. Die Prozesse von S914 und nachfolgendem S915 werden später detailliert beschrieben.
Wenn eine Bildaufnahmeanweisung in S907 nicht empfangen wird, geht der Prozess über zu S908, um eine Automatikbildaufnahmeentscheidung durchzuführen. In der Automatikbildaufnahmeentscheidung wird eine Entscheidung darüber, ob eine Automatikbildaufnahme durchzuführen ist und eine Entscheidung über ein Bildaufnahmeverfahren (welches einer Einzelstandbildaufnahme, einer kontinuierlichen Standbildaufnahme (kontinuierliches Aufnehmen), Bewegtbildaufnahme, Panoramabildaufnahme und Zeitrafferbildaufnahme ausgeführt werden sollte) durchgeführt.
Entscheidung darüber, ob eine Automatikbildaufnahme durchzuführen ist
Die Entscheidung darüber, ob eine Automatikbildaufnahme durchzuführen ist, wird basierend auf den folgenden zwei Entscheidungen vorgenommen. Als eine Entscheidung wird basierend auf dem Wichtigkeitslevel von jedem Bereich, der in S904 erhalten wird, wenn das Wichtigkeitslevel einen vorbestimmten Wert überschreitet, eine Entscheidung zum Ausführen einer Automatikbildaufnahme vorgenommen. Die zweite ist eine Entscheidung basierend auf einem neuronalen Netzwerk als eines von Maschinenlernsystemen. Als ein Beispiel des neuronalen Netzwerks ist ein Beispiel eines Netzwerks durch ein Mehrschichtperzeptron in 10 gezeigt. Das neuronale Netzwerk wird verwendet, um einen Ausgabewert von einem Eingabewert vorherzusagen. Wenn ein Eingabewert und ein Ausgabewert als ein Modell zu der Eingabe im Voraus gelernt werden, kann ein Ausgabewert gemäß dem gelernten Modell in Entsprechung mit einem neuen Eingabewert geschätzt werden. Es sei angemerkt, dass das Verfahren des Lernens später beschrieben wird. Bezugszeichen 1001 in 10 und die vertikal angeordneten Kreise stellen Neuronen einer Eingabeschicht dar, Bezugszeichen 1003 und die vertikal angeordneten Kreise stellen Neuronen einer Zwischenschicht dar und Bezugszeichen 1004 stellt ein Neuron einer Ausgabeschicht dar. Ein Pfeil 1002 stellt eine Verbindung dar, die Neuronen verbindet. In der Entscheidung basierend auf dem neuronalen Netzwerk sind Objekte in dem momentanen Feldwinkel oder Merkmalsbeträge basierend auf den Zuständen der Szene und der Bildaufnahmevorrichtung als Eingaben in die Neuronen der Eingabeschicht gegeben und ein Wert, der von der Ausgabeschicht nach Operationen basierend auf der Vorwärtsausbreitungsregel des Mehrschichtperzeptrons ausgegeben wird, wird erhalten. Wenn der Ausgabewert gleich oder größer als ein Schwellenwert ist, wird eine Entscheidung zum Ausführen einer Automatikbildaufnahme vorgenommen. Es sei angemerkt, dass als die Merkmale des Objekts, eine momentane Zoomvergrößerung, ein generisches Objekterkennungsergebnis in dem momentanen Feldwinkel, ein Gesichtserfassungsergebnis, die Anzahl von Gesichtern, die in dem momentanen Feldwinkel aufgenommen werden, der Grad eines Lächelns/der Grad von geschlossenen Augen in dem Gesicht, ein Gesichtswinkel, eine Gesichtsauthentifizierungs-ID-Nummer, der Winkel einer Sichtlinie einer Objektperson, ein Szenenunterscheidungsergebnis, ein Erfassungsergebnis einer spezifischen Komposition, und ähnliches verwendet werden. Zusätzlich werden die Zeit, die von der vorhergehenden Bildaufnahme abgelaufen ist, die momentane Zeit, GPS-Positionsinformationen und ein Änderungsbetrag von einer vorhergehenden Bildaufnahmeposition, ein momentanes Sprachlevel, eine Person, die eine Sprache von sich gibt, ein Klatschen, ob es einen freudigen Ausruf gibt oder nicht, und ähnliches verwendet. Zusätzlich können Vibrationsinformationen (Beschleunigungsinformationen und der Zustand der Bildaufnahmevorrichtung), Umgebungsinformationen (Temperatur, Atmosphärendruck, Beleuchtung, Luftfeuchtigkeit und UV-Lichtbetrag) und ähnliches verwendet werden. Wenn eine Informationsmitteilung von der tragbaren Einrichtung 501 empfangen wird, können ebenso die mitgeteilten Informationen (die Bewegungsinformationen des Benutzers, die Aktionsinformationen eines Arms, biologische Informationen, wie etwa ein Herzschlag und ähnliches) ebenso als ein Merkmal verwendet werden. Jedes Merkmal wird in einen numerischen Wert innerhalb eines vorbestimmten Bereichs umgewandelt und jedem Neuron der Eingabeschicht als ein Merkmalsbetrag gegeben. Folglich muss die Eingabeschicht genauso viele Neuronen aufweisen wie die Anzahl von zu verwendenden Merkmalsbeträgen.
Es sei angemerkt, dass in der Beurteilung basierend auf dem neuronalen Netzwerk, wenn das Verbindungsgewicht zwischen den Neuronen durch eine Lernverarbeitung, die später beschrieben wird, geändert wird, sich der Ausgabewert ändert und das Ergebnis der Beurteilung auf das Lernergebnis angepasst werden kann.
Zusätzlich ändert sich ebenso die Entscheidung der Automatikbildaufnahme in Abhängigkeit der Aktivierungsbedingung des Hauptprozessors, die in S702 von 7 geladen wird. Wenn zum Beispiel der Hauptprozessor durch eine Berührungserfassung oder eine spezifische Sprachanweisung aktiviert wird, ist die Wahrscheinlichkeit, dass der Benutzer die Operation durchgeführt hat, weil er/sie momentan eine Bildaufnahme vornehmen will, sehr hoch. Folglich wird eine Einstellung vorgenommen, um die Bildaufnahmefrequenz zu erhöhen.
Entscheidung über Bildaufnahmeverfahren
In der Entscheidung über ein Bildaufnahmeverfahren wird entschieden, welche einer Standbildaufnahme, einer Bewegtbildaufnahme, einer kontinuierlichen Aufnahme, einer Panoramabildaufnahme und ähnlichem ausgeführt werden sollte, basierend auf der Bildaufnahmevorrichtung oder dem Zustand des Objekts in der Peripherie, der in S901 bis S904 erfasst wird. Wenn zum Beispiel das Objekt (die Person) stillsteht, wird eine Standbildaufnahme ausgeführt. Wenn sich das Objekt bewegt, wird eine Bewegtbildaufnahme oder eine kontinuierliche Aufnahme ausgeführt. Wenn eine Vielzahl von Objekten, die die Bildaufnahmevorrichtung umgeben, vorhanden sind, oder wenn basierend auf den vorstehend beschriebenen GPS-Positionsinformationen beurteilt werden kann, dass der Platz ein ländlicher Ort ist, kann eine Panoramabildaufnahme durchgeführt werden, bei der Bilder sequentiell aufgenommen werden, während ein Neigen/Schwenken durchgeführt wird, wobei die Positionen zusammengesetzt werden, um ein Panoramabild zu erzeugen.
In S909, wenn in S908 die Entscheidung zum Durchführen einer Bildaufnahme durch die Automatikbildaufnahmeentscheidung vorgenommen wird, geht der Prozess über zu S910. Wenn die Entscheidung nicht vorgenommen wird, geht der Prozess über zum Ende der Bildaufnahmebetriebsartverarbeitung.
In S910 wird eine Bildaufnahme gestartet. Zu dieser Zeit wird bei einer manuellen Bildaufnahme eine Standbildaufnahme durchgeführt oder wird eine Bildaufnahme gemäß dem Bildaufnahmeverfahren, das durch den Benutzer manuell eingestellt ist, durchgeführt. In einer Automatikbildaufnahme wird eine Bildaufnahme gemäß dem Bildaufnahmeverfahren, das in S908 bestimmt ist, gestartet. Zu dieser Zeit wird eine Autofokussteuerung durch die Fokusantriebssteuerungsschaltung 204 durchgeführt. Zusätzlich wird eine Belichtungssteuerung zum Erhalten einer angemessenen Helligkeit des Objekts unter Verwendung einer Blendensteuerungsschaltung, einer Sensorverstärkungssteuerungsschaltung und einer Verschlusssteuerungsschaltung (welche alle nicht gezeigt sind) durchgeführt. Nach der Bildaufnahme werden verschiedene Arten einer Bildverarbeitung, wie etwa eine Automatikweißabgleichverarbeitung, eine Rauschreduzierungsverarbeitung, eine Gammakorrekturverarbeitung durch die Bildverarbeitungsschaltung 207 durchgeführt, um ein Bild zu erzeugen.
Es sei angemerkt, dass eine Einrichtung zum Durchführen einer Bildaufnahme, nachdem die Bildaufnahmevorrichtung die Person als das aufzunehmende Objekt informiert, dass eine Bildaufnahme durchgeführt wird, wenn vorbestimmte Bedingungen zur Zeit der Bildaufnahme erfüllt sind, eingesetzt werden kann. Als das Verfahren zur Mitteilung kann zum Beispiel eine Sprache von der Sprachausgabeschaltung 218 oder ein Aufleuchten einer LED durch die LED-Steuerungsschaltung 224 verwendet werden. Alternativ kann eine Bewegungsoperation zum visuellen Führen der Sichtlinie des Objekts durch eine Schwenk-/Neigungs-Ansteuerung durchgeführt werden. Die vorbestimmten Bedingungen sind zum Beispiel die Anzahl von Gesichtern in dem Feldwinkel, der Grad eines Lächelns/der Grad von geschlossenen Augen in Gesichtern, der Winkel der Sichtlinie oder das Gesicht einer Objektperson, eine Gesichtsauthentifizierungs-ID-Nummer, die Anzahl von Personen, die für eine persönliche Authentifizierung registriert sind, und ähnliches. Zusätzlich werden ein generisches Objekterkennungsergebnis zur Zeit einer Bildaufnahme, ein Szeneunterscheidungsergebnis, die Zeit, die seit der vorhergehenden Bildaufnahme abgelaufen ist, die Bildaufnahmezeit, ob die momentane Position basierend auf GPS-Positionsinformationen ein ländlicher Ort oder nicht ist, das Sprachlevel zur Zeit einer Bildaufnahme, das Vorhandensein/Nichtvorhandensein einer Person, die eine Sprache von sich gibt, ein Klatschen, ob es einen Ausruf vor Freude gibt oder nicht, und ähnliches verwendetF. Vibrationsinformationen (Beschleunigungsinformationen und der Zustand der Bildaufnahmevorrichtung), Umgebungsinformationen (Temperatur, Atmosphärendruck, Helligkeit, Luftfeuchtigkeit und UV-Lichtbetrag) und ähnliches werden ebenso verwendet. Wenn eine Mitteilungsbildaufnahme basierend auf diesen Bedingungen durchgeführt wird, kann ein Bild mit einer bevorzugten Sichtlinie zu der Kamera in einer wichtigen Szene verbleiben.
Eine Vielzahl von vorbestimmten Bedingungen kann vorbereitet werden. Gemäß den Bedingungen kann die Sprache geändert werden, kann das LED-Leuchtverfahren (Farbe oder Blinkzeit) geändert werden, oder kann das Schwenk-/Neigungs-Bewegungsverfahren (die Art der Bewegung und die Ansteuer- bzw. Antriebsgeschwindigkeit) geändert werden.
In S911 wird eine Bearbeitungsverarbeitung des Verarbeitens des Bildes, das in S910 erzeugt wird, oder des Hinzufügens des Bildes zu einem Bewegtbild durchgeführt. Genauer ist die Bildverarbeitung zum Beispiel eine Zuschnittverarbeitung basierend auf dem Gesicht einer Person oder der Fokusposition, eine Bildrotationsverarbeitung, ein HDR-Effekt (HDR, „High Dynamic Range“), ein Unschärfeeffekt, ein Farbumwandlungsfiltereffekt, oder ähnliches. In der Bildverarbeitung, basierend auf dem Bild, das in S910 erzeugt wird, kann eine Vielzahl von Bildern durch Kombinieren der vorstehend beschriebenen Prozesse erzeugt werden und von dem in S910 erzeugten Bild separat gespeichert werden. Bezüglich der Bewegtbildverarbeitung kann eine Verarbeitung des Hinzufügens eines aufgenommenen Bewegtbildes oder Standbildes während eine Spezialeffektverarbeitung, wie etwa Gleiten, Zoomen, Ausblenden auf ein erzeugtes bearbeitetes Bewegtbild angewendet wird, durchgeführt werden. Auch bezüglich der Bearbeitung in S911 kann das Verfahren der Bildverarbeitung durch Beurteilen, basierend auf dem neuronalen Netzwerk, der Informationen des aufgenommenen Bildes oder von verschiedenen Arten von Informationen, die vor der Bildaufnahme erfasst werden, bestimmt werden. Die Entscheidungsbedingungen der Entscheidungsverarbeitung können durch eine später beschriebene Lernverarbeitung geändert werden.
In S912 wird eine Lerninformationserzeugungsverarbeitung für das aufgenommene Bild durchgeführt. Hier werden die Lerninformationen, die in der später beschriebenen Lernverarbeitung zu verwenden sind, erzeugt und aufgezeichnet. Genauer umfassen die Lerninformationen die Zoomvergrößerung zu der Zeit der Bildaufnahme in dem momentan aufgenommenen Bild, ein generisches Objekterkennungsergebnis zu der Zeit einer Bildaufnahme, ein Gesichtserkennungsergebnis, die Anzahl von Gesichtern, die in dem Bild aufgenommen werden, den Grad eines Lächelns/den Grad von geschlossenen Augen in Gesichtern, eine Gesichtsauthentifizierungs-ID-Nummer, den Winkel einer Sichtlinie einer Objektperson, und ähnliches. Die Lerninformationen umfassen ebenso ein Szeneunterscheidungsergebnis, die abgelaufene Zeit von der vorhergehenden Bildaufnahme, die Bildaufnahmezeit, die GPS-Positionsinformationen und einen Änderungsbetrag von der vorhergehenden Bildaufnahmeposition, das Sprachlevel zur Zeit der Bildaufnahme, eine Person, die eine Sprache ausgibt, ein Klatschen, ob es einen Ausruf vor Freude gibt oder nicht, und ähnliches. Die Lerninformationen umfassen ebenso Vibrationsinformationen (Beschleunigungsinformationen und den Zustand der Bildaufnahmevorrichtung), Umgebungsinformationen (Temperatur, Atmosphärendruck, Helligkeit, Feuchtigkeit und UV-Lichtbetrag), die Bewegtbildaufnahmezeit, ob ein Bild durch eine manuelle Bildaufnahmeanweisung aufgenommen wird oder nicht, und ähnliches. Zusätzlich wird ebenso eine Punktzahl, die die Ausgabe eines Lernmodells ist, das die Präferenz des Benutzers bezüglich eines Bildes als einen numerischen Wert darstellt, berechnet.
Diese Elemente von Informationen werden als Etikettinformationen in einer Aufnahmebilddatei erzeugt und aufgezeichnet. Alternativ können die Elemente von Informationen in den nichtflüchtigen Speicher 216 geschrieben werden oder können auf dem Aufzeichnungsmedium 221 als sogenannte Katalogdaten in einem Listenformat von Informationen von jedem aufgenommenen Bild gespeichert werden.
In S913 werden vergangene Bildaufnahmeinformationen aktualisiert. Genauer wird für die Anzahl von aufgenommenen Bildern für jeden Bereich, der in S908 beschrieben ist, die Anzahl von aufgenommenen Bildern für jede Person, die für eine persönliche Authentifizierung registriert ist, die Anzahl von aufgenommenen Bildern für jedes Objekt, das durch eine generische Objekterkennung erkannt ist, und die Anzahl von aufgenommenen Bildern für jede Szene einer Szenenunterscheidung, der Zählwert der Anzahl entsprechend dem momentan aufgenommenen Bild um eins erhöht.
< Lernbetriebsartverarbeitung>
Ein Lernen gemäß den Präferenzen des Benutzers gemäß diesem Ausführungsbeispiel wird als nächstes beschrieben.
In diesem Ausführungsbeispiel führt die Lernverarbeitungsschaltung 219 unter Verwendung eines neuronalen Netzwerks, wie in 10 gezeigt ist, und eines Maschinenlernalgorithmus ein Lernen gemäß der Präferenz des Benutzers durch, wodurch ein Lernmodell erzeugt wird. Die Lernverarbeitungsschaltung 219 verwendet zum Beispiel Jetson TX2 von NVIDIA Corporation. Das neuronale Netzwerk wird verwendet, um einen Ausgabewert von einem Eingabewert vorherzusagen. Wenn der tatsächliche Wert eines Eingabewerts und der tatsächliche Wert eines Ausgabewerts im Voraus gelernt werden, kann ein Ausgabewert in Entsprechung mit einem neuen Eingabewert geschätzt werden. Ein Lernen gemäß den Präferenzen des Benutzers wird für die vorstehend beschriebene Automatikbildaufnahme oder Objektsuche unter Verwendung des neuronalen Netzwerks durchgeführt.
Zusätzlich wird ebenso eine Objektregistrierung (Gesichtsauthentifizierung, generische Objekterkennung, oder ähnliches), die Merkmalsdaten werden, die in das neuronale Netzwerk einzugeben sind, registriert.
In diesem Ausführungsbeispiel sind die Elemente, die durch die Lernverarbeitung zu Lernen sind, wie folgt.
Automatikbildaufnahme
Ein Lernen für eine Automatikbildaufnahme wird beschrieben. In der Automatikbildaufnahme wird ein Lernen zum automatischen Aufnehmen eines Bildes gemäß der Präferenz des Benutzers durchgeführt. Wie vorstehend in der Erklärung unter Verwendung der Prozedur, die in 9 gezeigt ist, beschrieben ist, wird eine Lerninformationserzeugungsverarbeitung nach einer Bildaufnahme durchgeführt (S912). Ein zu lernendes Bild wird durch ein später beschriebenes Verfahren ausgewählt und die Gewichtung des neuronalen Netzwerks wird basierend auf Lerninformationen, die in dem Bild enthalten sind, geändert, wodurch ein Lernen durchgeführt wird. Das Lernen wird durch Ändern des neuronalen Netzwerks, das dazu konfiguriert ist, den Automatikbildaufnahmezeitpunkt zu entscheiden und Ändern des neuronalen Netzwerks, das dazu konfiguriert ist, das Bildaufnahmeverfahren zu entscheiden (Standbildaufnahme, Bewegtbildaufnahme, kontinuierliche Aufnahme, Panoramabildaufnahme, oder ähnliches), durchgeführt.
Automatische Bearbeitung
Ein Lernen für eine automatische Bearbeitung wird beschrieben. Bei einer automatischen Bearbeitung wird ein Lernen zur Bearbeitung unmittelbar nach einer Bildaufnahme in S911 von 9 durchgeführt. Die Bearbeitung unmittelbar nach einer Bildaufnahme wird beschrieben. Ein zu lernendes Bild wird durch ein später beschriebenes Verfahren ausgewählt und die Gewichtung des neuronalen Netzwerks wird basierend auf den Lerninformationen, die in dem Bild enthalten sind, geändert, wodurch ein Lernen durchgeführt wird. Verschiedene Arten von Erfassungsinformationen, die durch eine Bildaufnahme oder durch Informationen unmittelbar vor der Bildaufnahme erhalten werden, werden in das neuronale Netzwerk eingegeben und das Bearbeitungsverfahren (Zuschnittverarbeitung, Bildrotationsverarbeitung, HDR-Effekt (HDR, „High Dynamic Range“), Unschärfeeffekt, Farbumwandlungsfiltereffekt, oder ähnliches) wird entschieden.
Objektsuche
Ein Lernen für eine Objektsuche wird beschrieben. In der Objektsuche wird ein Lernen zum automatischen Suchen nach einem Objekt gemäß den Präferenzen des Benutzers durchgeführt. Wie vorstehend in der Erklärung unter Verwendung der in 9 gezeigten Prozedur beschrieben ist, wird in der Objektsuchverarbeitung (S904), das Wichtigkeitslevel von jedem Bereich berechnet, wird ein Ansteuern bzw. Antreiben von Neigen/Schwenken und Zoomen durchgeführt, und wird eine Objektsuche durchgeführt. Das Lernen wird durch Lernen basierend auf dem aufgenommenen Bild oder Erfassungsinformationen während der Suche und Ändern der Gewichtung des neuronalen Netzwerks durchgeführt. Verschiedene Arten von Erfassungsinformationen während der Suchoperation werden in das neuronale Netzwerk eingegeben, das Wichtigkeitslevel wird berechnet und der Schwenk-/Neigungs-Winkel wird basierend auf dem Wichtigkeitslevel eingestellt, wodurch die Objektsuche durchgeführt wird, bei der das Lernen widergespiegelt wird. Außer dem Einstellen des Schwenk-/Neigungs-Winkels basierend auf dem Wichtigkeitslevel wird zum Beispiel ein Lernen des Ansteuerns des Schwenkens/Neigens (Geschwindigkeit, Beschleunigung und Frequenz zur Bewegung) durchgeführt.
Objektregistrierung
Ein Lernen für eine Objektregistrierung wird beschrieben. In der Objektregistrierung wird ein Lernen für ein automatisches Durchführen einer Registrierung oder einer Sortierung eines Objekts gemäß den Präferenzen des Benutzers durchgeführt. Bezüglich des Lernens werden zum Beispiel eine Gesichtsauthentifizierungsregistrierung, eine Registrierung einer generischen Objekterkennung und eine Registrierung einer Geste, einer Spracherkennung oder einer Szenenerkennung durch ein Geräusch durchgeführt. Bei einer Authentifizierungsregistrierung wird eine Authentifizierungsregistrierung für Personen und Objekte durchgeführt und Rangfolgen basierend auf dem Zählwert und der Frequenz einer Bildbeschaffung, dem Zählwert und der Frequenz einer manuellen Bildaufnahme und der Frequenz einer Erscheinung eines Objekts gemäß einer Suche werden eingestellt. Die Elemente von registrierten Informationen werden als Eingabe von Entscheidungen unter Verwendung von jedem neuronalen Netzwerk registriert.
Das Lernverfahren wird als nächstes beschrieben.
Bezüglich des Lernverfahrens sind ein „Lernen in der Bildaufnahmevorrichtung“ und ein „Lernen durch Kooperation mit einer Kommunikationseinrichtung“ vorhanden.
Das Verfahren des Lernens in der Bildaufnahmevorrichtung wird nachstehend beschrieben.
Bezüglich des Lernens in der Bildaufnahmevorrichtung gemäß diesem Ausführungsbeispiel existieren die folgenden Verfahren.
Lernen basierend auf Erfassungsinformationen zur Zeit einer Bildaufnahmeanweisung durch einen Benutzer
Wie vorstehend bezüglich S907 bis S913 in 9 beschrieben ist, kann in diesem Ausführungsbeispiel die Bildaufnahmevorrichtung 101 zwei Arten einer Bildaufnahme durchführen, das heißt eine manuelle Bildaufnahme und eine automatische Bildaufnahme. Wenn eine Bildaufnahmeanweisung durch eine manuelle Operation (die basierend auf drei Entscheidungen durchgeführt wird, wie vorstehend beschrieben) in S907 eingegeben wird, werden Informationen, die darstellen, dass das aufgenommene Bild ein Bild ist, das manuell aufgenommen wird, in S912 hinzugefügt. Wenn eine Bildaufnahme durchgeführt wird, nachdem in S909 entschieden ist, dass die Automatikbildaufnahme AN ist, werden Informationen, die darstellen, dass das aufgenommene Bild ein Bild ist, das automatisch aufgenommen wird, in S912 hinzugefügt.
Hier, wenn eine manuelle Bildaufnahme durchgeführt wird, ist die Wahrscheinlichkeit, dass das Bild basierend auf einem Objekt der Präferenz des Benutzers, einer Szene der Präferenz und einem Platz oder einem Zeitintervall der Präferenz aufgenommen wird, sehr hoch. Folglich wird ein Lernen basierend auf allen Merkmalsdaten, die zu der Zeit der manuellen Bildaufnahme erhalten werden oder den Lerninformationen des aufgenommenen Bildes durchgeführt.
Zusätzlich wird basierend auf den Erfassungsinformationen zur Zeit einer manuellen Bildaufnahme ein Lernen bezüglich einer Extrahierung eines Merkmalsbetrags in dem aufgenommenen Bild, eine Registrierung einer persönlichen Authentifizierung, einer Registrierung des Ausdrucks von jeder Person, und einer Registrierung einer Kombination von Personen durchgeführt. Des Weiteren wird zum Beispiel basierend auf den Erfassungsinformationen zur Zeit einer Objektsuche ein Lernen zum Ändern der Wichtigkeit einer nahegelegenen Person oder eines Objekts basierend auf dem Ausdruck eines Objekts, das einer persönlichen Registrierung unterzogen wurde, durchgeführt.
Lernen basierend auf Erfassungsinformationen zur Zeit einer Objektsuche
Während der Objektsuchoperation werden eine Person, ein Objekt und eine Szene, die gleichzeitig mit dem Objekt aufgenommen wurde, das der persönlichen Authentifizierungsregistrierung unterzogen wurde, entschieden, und das Zeitverhältnis, in dem diese gleichzeitig in dem Feldwinkel aufgenommen werden, wird berechnet.
Wenn zum Beispiel das Zeitverhältnis, zu dem eine Person A als ein persönliches Authentifizierungsregistrierungsobjekt gleichzeitig mit einer Person B als ein persönliches Authentifizierungsregistrierungsobjekt aufgenommen wird, höher als ein vorbestimmter Schwellenwert ist, kann die Wichtigkeit als hoch bestimmt werden. Aus diesem Grund, wenn die Person A und die Person B in dem Feldwinkel aufgenommen werden, werden verschiedene Arten von Erfassungsinformationen als Lerndaten gespeichert, sodass die Punktzahl einer Automatikbildaufnahmeentscheidung hoch wird und das Lernen in der Lernbetriebsartverarbeitung 716 durchgeführt wird.
In einem anderen Beispiel, wenn das Zeitverhältnis, zu dem die Person A als ein persönliches Authentifizierungsregistrierungsobjekt gleichzeitig mit einem Objekt „Katze“, das durch die generische Objekterkennung bestimmt wird, aufgenommen wird, höher als ein vorbestimmter Schwellenwert ist, kann die Wichtigkeit als hoch bestimmt werden. Aus diesem Grund, wenn die Person A und die „Katze“ in dem Feldwinkel aufgenommen werden, werden verschiedene Arten von Erfassungsinformationen als Lerndaten gespeichert, sodass die Punktzahl einer Automatikbildaufnahmeentscheidung hoch wird. Dann wird ein Lernen in der Lernbetriebsartverarbeitung 716 durchgeführt.
Wie vorstehend beschrieben, wenn die Frequenz bzw. Häufigkeit einer Erscheinung eines Objekts gemäß der Suche hoch ist, wird die Punktzahl der Automatikbildaufnahmeentscheidung hoch eingestellt. Dementsprechend kann die Wichtigkeit einer Person oder eines Objekts in der Nähe eines Objekts, das einer persönlichen Authentifizierungsregistrierung unterzogen wurde, auf ein höheres Level geändert werden.
Zusätzlich, wenn der Grad eines Lächelns oder der Ausdruck der Person A als ein persönliches Authentifizierungsregistrierungsobjekt erfasst wird, und „Freude“, „Überraschung“, oder ähnliches erfasst wird, wird eine Verarbeitung des Lernens durchgeführt, sodass das Wichtigkeitslevel eines gleichzeitig aufgenommenen Objekts hoch wird. Ebenso, wenn ein Ausdruck von „Ärger“, „ernstes Aussehen“ oder ähnliches erfasst wird, ist die Wahrscheinlichkeit, dass ein gleichzeitig aufgenommenes Objekt wichtig ist, niedrig. Folglich wird zum Beispiel eine Verarbeitung des Verhinderns eines Lernens durchgeführt.
Ein Lernen durch eine Kooperation mit einer externen Kommunikationseinrichtung gemäß diesem Ausführungsbeispiel wird als nächstes beschrieben.
Für das Lernen durch Kooperation mit einer externen Kommunikationseinrichtung gemäß diesem Ausführungsbeispiel sind die folgenden Verfahren verwendbar.
Lernen, das durchgeführt wird, wenn die externe Kommunikationseinrichtung ein Bild beschafft
Wie mit Bezug auf 3 beschrieben ist, umfassen die Bildaufnahmevorrichtung 101 und die externe Einrichtung 301 eine Kommunikationseinrichtung der Kommunikationen 302 und 303. Eine Bildübertragung/ein Bildempfang wird hauptsächlich durch die Kommunikation 302 durchgeführt und die externe Einrichtung 301 kann ein Bild in der Bildaufnahmevorrichtung 101 durch Kommunikation über eine dedizierte Anwendung in der externen Einrichtung 301 beschaffen. Zusätzlich können die Vorschaubilder von Bilddaten, die in der Bildaufnahmevorrichtung 101 gesichert werden, über eine dedizierte Anwendung in der externen Einrichtung 301 durchsucht werden. Dies ermöglicht dem Benutzer, seine/ihre Favoritenbilder von den Vorschaubildern auszuwählen, das Bild zu bestätigen, und eine Bildbeschaffungsanweisung zu tätigen, wodurch die externe Einrichtung 301 veranlasst wird, das Bild zu beschaffen.
Zu dieser Zeit, da der Benutzer das Bild auswählt und eine Übertragung anweist, um das Bild zu beschaffen, ist die Wahrscheinlichkeit, dass das beschaffte Bild ein Bild gemäß der Präferenz des Benutzers ist, sehr hoch. Folglich wird entschieden, dass das beschaffte Bild ein zu lernendes Bild ist und verschiedene Arten des Lernens der Präferenz des Benutzers können durch Durchführen des Lernens basierend auf den Lerninformationen des beschafften Bildes durchgeführt werden.
Ein Beispiel der Operation wird beschrieben. 14 zeigt ein Beispiel, in dem Bilder in der Bildaufnahmevorrichtung 101 über eine dedizierte Anwendung in der externen Einrichtung 301, die eine intelligente Einrichtung ist, durchsucht werden. Vorschaubilder 1404 bis 1409 der Bilddaten, die in der Bildaufnahmevorrichtung gespeichert sind, werden auf der Anzeigeeinrichtung 407 angezeigt. Der Benutzer kann sein/ihr Favoritenbild auswählen und beschaffen. Zu dieser Zeit sind Anzeigeverfahrenänderungseinheiten 1401, 1402 und 1403, die dazu konfiguriert sind, das Anzeigeverfahren zu ändern, bereitgestellt. Wenn die Anzeigeverfahrenänderungseinheit 1401 gedrückt wird, wird die Anzeigereihenfolge zu einer Datum-/Zeitprioritätsanzeigebetriebsart geändert und die Bilder werden auf der Anzeigeeinrichtung 407 in der Reihenfolge der Bildaufnahmedaten/-zeiten der Bilder in der Bildaufnahmevorrichtung 101 angezeigt (zum Beispiel wird das Bild 1404 mit einem späten Datum/Zeit angezeigt und wird das Bild 1409 mit einem frühen Datum/Zeit angezeigt). Wenn die Anzeigeverfahrenänderungseinheit 1402 gedrückt wird, wird die Anzeigereihenfolge zu einer Anzeigebetriebsart einer empfohlenen Bildpriorität geändert. Basierend auf der Punktzahl, die durch Entscheiden der Präferenz des Benutzers für jedes Bild in S912 von 9 berechnet wird, werden die Bilder auf der Anzeigeeinrichtung 407 in absteigender Reihenfolge der Punktzahlen der Bilder in der Bildaufnahmevorrichtung 101 angezeigt (zum Beispiel wird das Bild 1404 mit einer hohen Punktzahl angezeigt und wird das Bild 1409 mit einer niedrigen Punktzahl angezeigt). Wenn die Anzeigeverfahrenänderungseinheit 1403 gedrückt wird, können Personen oder Objekte bezeichnet werden. Wenn eine spezifische Person oder ein Objekt als nächstes bezeichnet ist, kann nur das spezifische Objekt angezeigt werden.
Die Anzeigeverfahrenänderungseinheiten 1401 bis 1403 können die Einstellungen ebenso gleichzeitig einschalten. Wenn zum Beispiel alle Einstellungen AN sind, werden nur bezeichnete Objekte angezeigt, werden vorzugsweise Bilder mit späten Bildaufnahmedaten/-zeiten angezeigt und werden vorzugsweise Bilder mit hohen Punktzahlen angezeigt.
Wie vorstehend beschrieben wird die Präferenz des Benutzers auch für das aufgenommene Bild gelernt. Es ist deshalb möglich, nur Bilder der Präferenz des Benutzers von einer enormen Anzahl von aufgenommenen Bildern mit einer einfachen Bestätigungsoperation einfach zu extrahieren.
Lernen, das durchgeführt wird, wenn ein Entscheidungswert für ein Bild über eine externe Kommunikationseinrichtung eingegeben wird
Wie vorstehend beschrieben umfassen die Bildaufnahmevorrichtung 101 und die externe Einrichtung 301 Kommunikationseinrichtungen und Bilder, die in der Bildaufnahmevorrichtung 101 gespeichert sind, können über eine dedizierte Anwendung in der externen Einrichtung 301 durchsucht werden. Hier kann der Benutzer jedem Bild eine Punktzahl geben. Der Benutzer gibt eine hohe Punktzahl (zum Beispiel 5 Punkte) einem Bild, das er/sie mag oder gibt eine niedrige Punktzahl (zum Beispiel 1 Punkt) einem Bild, das er/sie nicht mag. Die Bildaufnahmevorrichtung lernt durch die Operation des Benutzers. Die Punktzahl wird zusammen mit Lerninformationen zum erneuten Lernen in der Bildaufnahmevorrichtung verwendet. Das Lernen wird derart durchgeführt, dass die Ausgabe des neuronalen Netzwerks, in das Merkmalsdaten von designierten Bildinformationen eingegeben werden, nahe einer Punktzahl wird, die durch den Benutzer bezeichnet ist.
In diesem Ausführungsbeispiel gibt der Benutzer einen Entscheidungswert zu einem aufgenommenen Bild über die Kommunikationseinrichtung 301 ein. Jedoch kann der Benutzer einen Entscheidungswert für ein Bild direkt durch Betätigen der Bildaufnahmevorrichtung 101 eingeben. In diesem Fall ist zum Beispiel eine Anzeige mit einem berührungsempfindlichen Feld auf der Bildaufnahmevorrichtung 101 bereitgestellt und der Benutzer drückt ein GUI-Taste, die auf dem Anzeigebildschirm mit dem berührungsempfindlichen Feld angezeigt ist, um eine Betriebsart zum Anzeigen eines aufgenommenen Bildes einzustellen. Dann gibt der Benutzer einen Entscheidungswert für jedes Bild ein, während das aufgenommene Bild bestätigt wird. Das gleiche Lernen, wie vorstehend beschrieben, kann durch dieses Verfahren durchgeführt werden.
Lernen, das durchgeführt wird, wenn Parameter durch eine externe Kommunikationseinrichtung geändert werden
Wie vorstehend beschrieben, umfassen die Bildaufnahmevorrichtung 101 und die externe Einrichtung 301 Kommunikationseinrichtungen und Lernparameter, die momentan in der Bildaufnahmevorrichtung 101 eingestellt sind, können an die externe Einrichtung 301 kommuniziert werden und in der Speicherschaltung 404 der externen Einrichtung 301 gespeichert werden. Als die Lernparameter können zum Beispiel die Gewichtung des neuronalen Netzwerks, eine Auswahl eines Objekts, das in das neuronale Netzwerk einzugeben ist, und ähnliches betrachtet werden. Zusätzlich können über eine dedizierte Anwendung in der externen Einrichtung 301 Lernparameter, die in einem dedizierten Server eingestellt sind, über eine Steuerungsschaltung eines öffentlichen Netzwerks 406 beschafft werden und als Lernparameter in der Bildaufnahmevorrichtung 101 eingestellt werden. Dementsprechend, wenn die Parameter zu einem bestimmten Zeitpunkt in der externen Einrichtung 301 gespeichert werden und in der Bildaufnahmevorrichtung 101 eingestellt werden, können die Lernparameter zurückgegeben werden. Zusätzlich können Lernparameter, die durch einen anderen Benutzer gespeichert werden, über einen dedizierten Server beschafft werden und in der Bildaufnahmevorrichtung 101 des Benutzers selbst eingestellt werden.
Eine Lernverarbeitungssequenz wird als nächstes beschrieben.
Wenn in der Lerneinstellungsentscheidung in S704 von 7 entschieden ist, ob eine Lernverarbeitung durchzuführen ist, und die Lernverarbeitung durchgeführt wird, wird die Betriebsart als eine Lernbetriebsart bestimmt und die Lernbetriebsartverarbeitung in S712 wird durchgeführt.
Die Entscheidungsbedingungen der Lernbetriebsart werden beschrieben. Ob zu der Lernbetriebsart überzugehen ist, wird basierend auf der abgelaufenen Zeit von einer vorhergehenden Lernverarbeitung, der Anzahl von Informationen, die beim Lernen verfügbar sind, ob eine Lernverarbeitungsanweisung über eine Kommunikationseinrichtung eingegeben wird, und ähnliches entschieden. 12 zeigt eine Entscheidungsverarbeitungsprozedur des Entscheidens, ob zu der Lernbetriebsart überzugehen ist, die in der Betriebsarteinstellungsentscheidungsverarbeitung von S704 durchgeführt wird.
Wenn der Start der Lernbetriebsartentscheidung in der Betriebsarteinstellungsentscheidungsverarbeitung von S704 angewiesen wird, startet die Verarbeitung, die in 12 gezeigt ist. In S1201 wird entschieden, ob eine Registrierungsanweisung von der externen Einrichtung 301 eingegeben wird. Bezüglich der Registrierung wird hier entschieden, ob eine Registrierungsanweisung zum Durchführen des vorstehend beschriebenen Lernens eingegeben wird. Es gibt zum Beispiel ein <Lernen, das basierend auf Bildinformationen eines Bildes, das durch eine Kommunikationseinrichtung beschafft wird, durchgeführt wird> und ein <Lernen, das durchgeführt wird, wenn ein Entscheidungswert für das Bild über eine Kommunikationseinrichtung eingegeben wird>. Wenn eine Registrierungsanweisung von der externen Einrichtung in S1201 eingegeben wird, geht der Prozess über zu S1208, um die Lernbetriebsartentscheidung auf WAHR einzustellen und um eine Einstellung vorzunehmen, um den Prozess von S712 durchzuführen. Wenn eine Registrierungsanweisung von der externen Einrichtung in S1201 nicht eingegeben wird, geht der Prozess über zu S1202. In S1202 wird entschieden, ob eine Lernanweisung von der externen Einrichtung eingegeben wird. Bezüglich der Lernanweisung wird hier entschieden, ob eine Anweisung zum Einstellen eines Lernparameters eingegeben wird, wie in < Lernen, das durchgeführt wird, wenn ein Bildaufnahmevorrichtungsparameter durch eine Kommunikationseinrichtung geändert wird>. Wenn eine Lernanweisung von der externen Einrichtung in S1202 eingegeben wird, geht der Prozess über zu S1208, um die Lernbetriebsartentscheidung auf WAHR einzustellen und eine Einstellung vorzunehmen, um den Prozess von S712 durchzuführen, und die Lernbetriebsartentscheidungsverarbeitung wird beendet. Wenn eine Lernanweisung von der externen Einrichtung in S1202 nicht eingegeben wird, geht der Prozess über zu S1203.
In S1203 wird eine abgelaufene Zeit ZeitN von einer vorhergehenden Lernverarbeitung (Neuberechnung der Gewichtung des neuronalen Netzwerks) beschafft und der Prozess geht über zu S1204. In S1204 wird die Anzahl DN von neuen Daten, die zu lernen sind (die Anzahl von Bildern, die zum Lernen bezeichnet sind, in der abgelaufenen Zeit ZeitN von der vorhergehenden Lernverarbeitung) beschafft und der Prozess geht über zu S1205. In S1205 wird ein Schwellenwert DT von ZeitN beschafft. Zum Beispiel ist ein Schwellenwert DTa in einem Fall, in dem ZeitN kleiner als ein vorbestimmter Wert ist, kleiner einzustellen als ein Schwellenwert DTb in einem Fall, in dem ZeitN größer als der vorbestimmte Wert ist und der Schwellenwert ist kleiner einzustellen, wenn die Zeit abläuft. Auch in einem Fall, in dem die Anzahl von Lerndaten klein ist, wird ein Lernen wiederholt durchgeführt, wenn die abgelaufene Zeit groß ist. Dies ermöglicht der Bildaufnahmevorrichtung, ein Lernen gemäß der Verwendungszeit einfach zu ändern.
Wenn der Schwellenwert DT in S1205 berechnet ist, geht der Prozess über zu S1206, um zu entscheiden, ob die Anzahl DN von Daten, die zu lernen sind, größer als der Schwellenwert DT ist. Wenn DN größer als der Schwellenwert DT ist, geht der Prozess über zu S1207, um DN auf 0 einzustellen. Danach geht der Prozess über zu S1208, um die Lernbetriebsartentscheidung auf WAHR einzustellen und eine Einstellung vorzunehmen, um den Prozess von S712 durchzuführen, und die Lernbetriebsartentscheidungsverarbeitung wird beendet.
Wenn DN gleich oder kleiner als der Schwellenwert DT ist, in S1206, geht der Prozess über zu S1209. Da weder die Registrierungsanweisung von der externen Einrichtung noch die Lernanweisung von der externen Einrichtung eingegeben wird und die Anzahl von Lerndaten gleich oder kleiner als der vorbestimmte Wert ist, wird die Lernbetriebsartentscheidung auf FALSCH eingestellt, wird eine Einstellung zum Durchführen des Prozesses von S712 nicht vorgenommen und wird die Lernbetriebsartentscheidungsverarbeitung beendet.
Eine Verarbeitung in der Lernbetriebsartverarbeitung (S712) wird als nächstes beschrieben. 13 zeigt eine detaillierte Prozedur der Lernbetriebsartverarbeitung.
Wenn in S711 von 7 entschieden ist, dass die Betriebsart die Lernbetriebsart ist, und der Prozess zu S712 übergeht, wird die Verarbeitung, die in 13 gezeigt ist, gestartet. In S1301 wird entschieden, ob eine Registrierungsanweisung von der externen Einrichtung 301 eingegeben wird. Wenn eine Registrierungsanweisung von der externen Einrichtung in S1301 eingegeben wird, geht der Prozess über zu S1302. In S1302 werden verschiedene Arten einer Registrierungsverarbeitung durchgeführt.
Die verschiedenen Arten einer Registrierungsverarbeitung sind Registrierungen von Merkmalen, die in das neuronale Netzwerk einzugeben sind, und umfassen zum Beispiel eine Registrierung einer Gesichtsauthentifizierung, eine Registrierung einer generischen Objekterkennung, eine Registrierung von Geräuschinformationen, eine Registrierung von Ortsinformationen, und ähnliches.
Wenn die Registrierungsverarbeitung endet, geht der Prozess über zu S1303, um Elemente, die in das neuronale Netzwerk einzugeben sind, basierend auf den Informationen, die in S1302 registriert sind, zu ändern.
Wenn der Prozess von S1303 endet, geht der Prozess über zu S1307.
Wenn eine Registrierungsanweisung von der externen Einrichtung in S1301 nicht eingegeben wird, geht der Prozess über zu S1304, um zu entscheiden, ob eine Lernanweisung von der externen Einrichtung 301 eingegeben wird. Wenn eine Lernanweisung von der externen Einrichtung eingegeben wird, geht der Prozess über zu S1305, um Lernparameter einzustellen, die von der externen Einrichtung an Entscheidungseinrichtungen kommuniziert werden (die Gewichtung des neuronalen Netzwerks und ähnliches), und der Prozess geht dann über zu S1307.
Wenn eine Lernanweisung von der externen Einrichtung in S1304 nicht eingegeben wird, wird ein Lernen (eine Neuberechnung der Gewichtung des neuronalen Netzwerks) in S1306 durchgeführt. Der Start des Prozesses zu S1306 ist die Bedingung zum Durchführen eines erneuten Lernens von jeder Entscheidungseinrichtung, weil die Anzahl DN von Daten, die zu lernen sind, den Schwellenwert überschreitet, wie mit Bezug auf 12 beschrieben ist. Das erneute Lernen wird unter Verwendung eines Verfahrens, wie etwa einer Rückpropagierung oder eines Gradientenabfalls durchgeführt, die Gewichtung des neuronalen Netzwerks wird erneut berechnet und die Parameter der Entscheidungseinrichtungen werden geändert. Wenn die Lernparameter eingestellt sind, geht der Prozess über zu S1307.
In S1307 wird ein erneutes Bewerten von jedem Bild in der Datei durchgeführt. In diesem Ausführungsbeispiel werden Punktzahlen zu allen aufgenommenen Bildern, die in einer Datei (Aufzeichnungsmedium 221) gespeichert sind, basierend auf dem Lernergebnis vergeben und eine automatische Bearbeitung oder eine automatische Dateilöschung wird gemäß den vergebenen Punktzahlen durchgeführt. Folglich, wenn die Lernparameter durch erneutes Lernen oder von der externen Einrichtung eingestellt sind, müssen ebenso die Punktzahlen der aufgenommenen Bilder aktualisiert werden. Folglich wird in S1307 eine erneute Berechnung zum Vergeben von neuen Punktzahlen an die aufgenommenen Bilder, die in der Datei gespeichert sind, durchgeführt. Wenn die Verarbeitung endet, wird die Lernbetriebsartverarbeitung beendet.
In diesem Ausführungsbeispiel wurde die Beschreibung basierend auf der Anordnung vorgenommen, die ein Lernen in der Bildaufnahmevorrichtung 101 durchführt. Jedoch können die gleichen Lerneffekte, wie vorstehend beschrieben, durch eine Anordnung implementiert werden, die die Lernverarbeitung auf der Seite der externen Einrichtung 301 bereitstellt, Daten, die zum Lernen notwendig sind, an die externe Einrichtung 301 kommuniziert, und ein Lernen nur auf der Seite der externen Einrichtung ausführt. In diesem Fall, wie vorstehend in <Lernen, das durchgeführt wird, wenn die Parameter durch eine Kommunikationseinrichtung geändert werden> beschrieben ist, kann ein Lernen durch Einstellen der Parameter, wie etwa der Gewichtung des neuronalen Netzwerks, die auf der Seite der externen Einrichtung gelernt werden, in der Bildaufnahmeeinrichtung 101 durch eine Kommunikation durchgeführt werden.
Zusätzlich kann die Lernverarbeitung in beiden der Bildaufnahmevorrichtung 101 und der externen Einrichtung 301 bereitgestellt sein. Zum Beispiel kann ein Lernen durch Kommunizieren von Lerninformationen, die in der externen Einrichtung 301 gehalten werden, an die Bildaufnahmevorrichtung 101 zum Zeitpunkt des Durchführens der Lernbetriebsartverarbeitung 716 in der Bildaufnahmevorrichtung 101 und Zusammenführen der Lernparameter durchgeführt werden.
Ein Verfahren des Kompensierens eines Mangels an überwachten Daten beim Lernen des neuronalen Netzwerks wird als nächstes beschrieben.
Um einen Ausgabewert von einem Eingabewert in dem neuronalen Netzwerk genau zu schätzen, ist eine ausreichende Anzahl von überwachten Daten erforderlich. Wenn das Modell des neuronalen Netzwerks komplex ist und einen hohen Freiheitsgrad im Vergleich mit der Anzahl von überwachten Daten aufweist, ist es schwierig, eine Schätzgenauigkeit zu erhöhen. Auf dem Gebiet des Maschinenlernens wird manchmal eine Verarbeitung, die Datenvermehrung („data augmentation“) genannt wird, durchgeführt, um eine robuste Schätzung zu ermöglichen, auch für Daten, die von überwachten Daten leicht verschieden sind. In vielen Fällen wird diese Verarbeitung durch Anwenden einer Bildverarbeitung, wie etwa einer Seitenverhältnisänderung, einer Drehung (Rollen, Neigen, Gieren), Unschärfe, Rauschaddition, oder Verschiebung bezüglich überwachten Daten (in diesem Fall, ein Bild) durchgeführt. Jedoch stimmt das Bild nicht immer mit einem Bild, das durch eine Kamera aufgenommen werden kann, überein. Wenn zum Beispiel eine Unschärfe durch eine Bildverarbeitung angewendet wird, kann die gleiche Unschärfe nicht immer durch tatsächliches Öffnen der Blende der Kamera oder durch Durchführen einer Defokusierung implementiert werden.
Wenn die durch das neuronale Netzwerk zu schätzenden Daten und die überwachten Daten nicht ähnlich sind, könnten die überwachten Daten ein Faktor sein, der die Schätzgenauigkeit des neuronalen Netzwerks verringert. Zusätzlich, auch wenn eine vorbestimmte Rotation (Rollen, Nicken und Gieren) angewendet wird, kann der Winkel einer tatsächlichen Bildaufnahme durch einen Menschen nicht notwendigerweise reproduziert werden. Genauer, auch wenn das Bild einfach um zum Beispiel 45° oder 90° von der Bildmitte gedreht wird, ist der Grad eines Beitrags des Bildes als überwachte Daten zum Lernen der Präferenz des Benutzers niedrig, weil der Benutzer nicht viele Möglichkeiten hat, ein Bild aufzunehmen, in dem das Objekt nicht aufrecht steht.
Wie vorstehend beschrieben ist es schwierig, einen Mangel an überwachten Daten durch eine Bildverarbeitung zu kompensieren. Die Anzahl von überwachten Daten wird vorzugsweise durch eine tatsächliche Bildaufnahme erhöht. Alternativ, in einem Fall, in dem eine Datenvermehrung auch bei einer Bildverarbeitung durchgeführt wird, ist ein Bild, das nahe einem Bild ist, das durch eine Kamera aufgenommen werden kann, geeigneter als ein Bild, das durch eine Kamera nicht aufgenommen werden kann. In diesem Ausführungsbeispiel wird ein Verfahren des Erhöhens von überwachten Daten durch automatisches Durchführen einer tatsächlichen Bildaufnahme zum Lernen beschrieben.
Wie vorstehend beschrieben, wenn unterschieden ist, dass eine Bildaufnahmeanweisung durch den Benutzer in S907 von 9 empfangen ist, geht der Prozess über zu S910 und S914.
In S914 wird entschieden, ob die momentane Anzahl von überwachten Daten kleiner als eine vorbestimmte Anzahl N (N ist eine natürliche Zahl) ist. Nur wenn die momentane Anzahl von überwachten Daten kleiner als die vorbestimmte Anzahl N ist, wird entschieden, dass die Anzahl von überwachten Daten zu gering ist, und der Prozess geht über zu S915, um eine automatische Bildaufnahme zum Lernen durchzuführen, um überwachte Daten zu ergänzen. Die Anzahl N wird vorzugsweise gemäß der Komplexität oder dem Freiheitsgrad (der Anzahl von Knoten oder der Anzahl von Zwischenschichten) des neuronalen Netzwerks geändert. Wenn das neuronale Netzwerk komplex ist oder einen hohen Freiheitsgrad aufweist, erhöht sich die Anzahl von notwendigen überwachten Daten. Folglich wird N erhöht. Wenn in S914 entschieden ist, dass die Anzahl von überwachten Daten ≥ N ist, werden ausreichend überwachte Daten angehäuft und der Prozess überspringt S915 und geht über zu S912.
Eine automatische Bildaufnahme zum Lernen wird nur durchgeführt, wenn eine manuelle Bildaufnahmeanweisung in S907 eingegeben wird, weil die Möglichkeit, dass das Bild basierend auf einem Objekt der Präferenz des Benutzers, einer Szene der Präferenz oder eines Orts oder eines Zeitintervalls der Präferenz aufgenommen wird, in dem Fall einer manuellen Bildaufnahme sehr hoch ist. Folglich, wenn eine automatische Bildaufnahme zum Lernen zu dieser Zeit durchgeführt wird, können überwachte Daten, bei denen die Präferenz des Benutzers widergespiegelt ist, mit einer hohen Wahrscheinlichkeit beschafft werden.
Zusätzlich werden die automatische Bildaufnahme zum Lernen in S915 und die manuelle Bildaufnahme in S910 zu unterschiedlichen Zeitpunkten durchgeführt, weil diese nicht gleichzeitig durchgeführt werden können. Irgendeine kann als erstes durchgeführt werden, und die automatische Bildaufnahme zum Lernen und die manuelle Bildaufnahme werden kontinuierlich durchgeführt. Wenn die automatische Bildaufnahme zum Lernen verzögert ist, kann der Benutzer die Kamera bewegen und die Komposition kann sich von der, die für eine manuelle Bildaufnahme geeignet ist, ändern. Andererseits, wenn sich die manuelle Bildaufnahme verzögert, ändern sich Verschlusszeitpunkte. In der folgenden Erklärung wird die manuelle Bildaufnahme zuerst durchgeführt und wird die automatische Bildaufnahme zum Lernen unmittelbar danach durchgeführt, solange es nicht anderweitig speziell dargelegt ist
In S915 wird die automatische Bildaufnahme zum Lernen durchgeführt. Mehrere Verfahren können für die automatische Bildaufnahme zum Lernen betrachtet werden. Das Erste ist eine kontinuierliche Aufnahme. Eine kontinuierliche Aufnahme wird automatisch nach einer manuellen Bildaufnahme durchgeführt, wodurch kontinuierlich aufgenommene Bilder beschafft werden. Wenn der Zeitpunkt nahe zu dem einer manuellen Bildaufnahme ist, kann eine Vielzahl von überwachten Daten nahe einem Bild einer Präferenz des Benutzers beschafft werden. In diesem Fall wird ein Bild, das durch die manuelle Bildaufnahme erhalten wird, als ein aufgezeichnetes Bild gehandhabt und in dem Aufzeichnungsmedium 221 aufgezeichnet. Jedoch wird ein Bild, das durch die automatische Bildaufnahme zum Lernen erhalten wird, nur zum Lernen verwendet und wird niemals dem Benutzer zur Betrachtung präsentiert.
Das Zweite ist eine Bewegtbildaufnahme. Eine allgemeine Kamera oder eine Lebensdokumentationskamera besitzen manchmal eine Funktion des automatischen Durchführens einer Bewegtbildaufnahme vor oder nach einer manuellen Bildaufnahme und des Bereitstellens eines Standbildes und eines Bewegtbildes in Kombination an den Benutzer. Alternativ hat eine Kamera manchmal eine Funktion, dass ein Bewegtbild in einer vorbestimmten Periode auf einem Speicher immer überschrieben wird, wie etwa ein Ringspeicher, und ein Bewegtbild in einer vorbestimmten Periode vor und nach einem Zeitpunkt des Aufnehmens eines Standbildes an den Benutzer bereitgestellt wird. Das automatisch beschaffte Bewegtbild wird in Standbilder zerlegt und als überwachte Daten verwendet. Die Bilder sind ebenso als überwachte Daten wertvoll, aus dem gleichen Grund wie die bei der kontinuierlichen Aufnahme in dem ersten Verfahren. Es sei angemerkt, dass dieses Verfahren nicht auf einen Fall beschränkt ist, in dem die Funktion verwendet wird, und ein Bewegtbild nur für den Zweck des Lernens aufgenommen werden könnte. In diesem Fall wird das Bewegtbild dem Benutzer nicht bereitgestellt.
Das Dritte ist eine Belichtungsreihenbildaufnahme („bracket image capturing“). Die Belichtungsreihenbildaufnahme wird durch Ändern der Bildaufnahmebedingungen bei der manuellen Bildaufnahme Bit für Bit durchgeführt. Die Bildaufnahmebedingungen, die zu ändern sind, sind Parameter, die in einer Kamera geändert werden können, und umfassen Fokus, Belichtung, Weißabgleich, Stroboskoplichtemission, Zoom, Schärfe und ähnliches. Wenn diese Bildaufnahmebedingungen geändert werden, können die gleichen Effekte wie die einer Datenvermehrung erwartet werden. Wenn eine Datenvermehrung, die durch die Kamera nicht implementiert werden kann, durchgeführt wird, um überwachte Daten zu erhalten, kann das neuronale Netzwerk, das ein Lernen basierend auf den überwachten Daten durchgeführt hat, nur Werte in der Nähe der überwachten Daten schätzen. Dieses neuronale Netzwerk ist für eine Kamera ungeeignet. Wenn überwachte Daten durch eine Belichtungsreihenbildaufnahme erhöht werden, die durch die Kamera implementiert werden kann, kann der Effekt einer Datenvermehrung erwartet werden.
Es sei angemerkt, dass es eine Belichtungsreihenbildaufnahme gibt, die unmittelbar nach einer manuellen Bildaufnahme durchgeführt werden muss, und eine Belichtungsreihenbildaufnahme, die zu einem gewissen Ausmaß nach dem Ablauf einer Zeit durchgeführt werden kann. Die Erstgenannte umfasst mechanische Operationen, wie etwa Fokus und Zoom. Wenn die Bildaufnahme nicht unmittelbar nach einer manuellen Bildaufnahme durchgeführt wird, ändert sich die Komposition und ein Bild kann nicht als überwachte Daten verwendet werden. Andererseits wird die Letztgenannte durch eine Bildverarbeitung für einen Weißabgleich, Schärfe, die Entwicklungsbedingungen von RAW-Bilddaten, und ähnliches durchgeführt. Auch wenn die Bildaufnahme nicht kontinuierlich nach einer manuellen Bildaufnahme durchgeführt werden kann, kann ein Bild basierend auf einem manuell aufgenommenen Bild erzeugt werden. In diesem Fall können die RAW-Daten des manuell aufgenommenen Bildes aufgezeichnet werden. Wenn ein Bild basierend auf dem manuell aufgenommenen Bild erzeugt wird, muss das Bild nicht immer zur Zeit der Bildaufnahme erzeugt werden und kann in einem Bereitschaftszustand der Kamera oder ähnlichem erzeugt werden.
Wie vorstehend beschrieben, da es die Belichtungsreihenbildaufnahme, die kontinuierlich nach einer manuellen Bildaufnahme durchgeführt werden muss, und eine Belichtungsreihenbildaufnahme, die nicht kontinuierlich durchgeführt werden muss, gibt, kann eine automatische Bildaufnahme durchgeführt werden, während eine Prioritätsreihenfolge für jede Art der Belichtungsreihenbildaufnahme eingestellt ist. Die Belichtungsreihenbildaufnahme, die kontinuierlich nach einer manuellen Bildaufnahme durchgeführt werden muss, wird als erstes durchgeführt.
Zusätzlich, wenn basierend auf den Informationen des Winkelgeschwindigkeitsmessers 106 und des Beschleunigungsmessers 107 der Kamera beurteilt ist, dass der Benutzer die Kamera während der Zeit von der manuellen Bildaufnahme zu der automatischen Bildaufnahme zum Lernen bewegt hat, könnte die automatische Bildaufnahme zum Lernen gestoppt werden.
In S912 werden Informationen zum Lernen für die manuelle Bildaufnahme und die automatische Bildaufnahme zum Lernen erzeugt, um überwachte Daten zu erzeugen. Auch für ein Bild, das durch die automatische Bildaufnahme zum Lernen erhalten wird, können Informationen zum Lernen durch das gleiche Verfahren wie das für ein Bild, das durch die manuelle Bildaufnahme erhalten wird, erzeugt werden. Da die Wahrscheinlichkeit, dass das Bild, das durch die manuelle Bildaufnahme erhalten wird, ein Bild der Präferenz des Benutzers ist, hoch ist, wird eine vorbestimmte hohe Punktzahl vergeben. Die Punktzahl wird ebenso an die überwachten Daten vergeben, die von dem Bild erzeugt werden, das durch die automatische Bildaufnahme zum Lernen erhalten wird.
Alternativ kann eine Punktzahl gemäß der Beziehung zwischen dem Bild, das durch die manuelle Bildaufnahme erhalten wird, an das Bild vergeben werden, das durch die automatische Bildaufnahme zum Lernen erhalten wird. Wenn zum Beispiel die automatische Bildaufnahme zum Lernen durchgeführt wird, ohne irgendein Zeitintervall von der manuellen Bildaufnahme, wird die gleiche hohe Punktzahl wie die des Bildes, das durch die manuelle Bildaufnahme erhalten wird, an das Bild vergeben, das durch die automatische Bildaufnahme zum Lernen erhalten wird. Wenn sich das Intervall zwischen der manuellen Bildaufnahme und der automatischen Bildaufnahme zum Lernen erhöht, kann die Punktzahl für das Bild, das durch das automatische Aufnehmen zum Lernen erhalten wird, verringert werden. Dementsprechend hat ein manuell aufgenommenes Bild der besten Aufnahmezeit, die durch den Benutzer angewiesen ist, die höchste Punktzahl und verringert sich die Punktzahl, wenn sich die Zeit verschiebt. Aus diesem Grund kann die Präferenz des Benutzers bezüglich der Verschlusszeit gelernt werden. Alternativ kann die Ähnlichkeit zwischen dem manuell aufgenommenen Bild und jedem Bild, das durch die automatische Bildaufnahme zum Lernen erhalten wird, verglichen werden, und kann eine Punktzahl gemäß der Ähnlichkeit vergeben werden. Wenn das Objekt ein beweglicher Körper ist oder sich eine Szene, die das Objekt enthält, ändert, können Bilder vor und nach dem Bild, das zum Zeitpunkt einer manuellen Bildaufnahme aufgenommen wird, bewusst als negative überwachte Daten zum Lernen verwendet werden. Dementsprechend kann die Präferenz des Benutzers bezüglich eines Verschlusszeitpunkts erwartungsgemäß strenger gelernt werden. Anstelle der vorhergehenden und nachfolgenden Bilder kann ein Bild, dessen Ähnlichkeit bezüglich des Bildes, das durch die manuelle Bildaufnahme erhalten wird, niedriger als ein Schwellenwert ist, in dem kontinuierlich aufgenommenen Bildern, als negative überwachte Daten verwendet werden.
Die gleiche Idee ist auf ein Belichtungsreihenbild anwendbar. Wenn die Bildaufnahmebedingung, die durch Belichtungsreihen eingestellt ist, sich von der Bildaufnahmebedingung, die in der manuellen Bildaufnahme eingestellt ist, unterscheidet, kann die Punktzahl verringert werden. Zum Beispiel wird die höchste Punktzahl an ein Bild vergeben, das durch die manuelle Bildaufnahme erhalten wird, wird die zweithöchste Punktzahl einem Bild vergeben, für das die Belichtungskorrektur +1 bei einer Belichtungsreihenbildaufnahme eingestellt ist, und wird die dritthöchste Punktzahl an ein Bild vergeben, für das die Belichtungskorrektur +2 eingestellt ist. Dies macht es möglich, sogar eine Bildaufnahmebedingung, die der Benutzer mag, zu lernen.
Die Informationen zum Lernen des Bildes, das durch die automatische Bildaufnahme zum Lernen erhalten wird, können von den Informationen zum Lernen des Bildes, das durch die automatische Bildaufnahme zum Lernen erhalten wird, hergeleitet werden. Zum Beispiel wird das gleiche Objekt mit einer hohen Wahrscheinlichkeit als das Subjekt, das in der automatischen Bildaufnahme zum Lernen und der manuellen Bildaufnahme abzubilden ist, verwendet. Folglich kann ein generisches Objekterkennungsergebnis oder ein Gesichtserfassungsergebnis, das von dem Bild erzeugt wird, das durch die manuelle Bildaufnahme erhalten wird, zu den Informationen zum Lernen des Bildes, das durch die automatische Bildaufnahme zum Lernen erhalten wird, abgeleitet werden. Dies kann die Zeit zum Erzeugen der Informationen zum Lernen verkürzen.
Zusätzlich kann die Bildaufnahmeanweisung durch den Benutzer, die in S907 zu entscheiden ist, die vorstehend beschriebene Sprachanweisung, die Berührungsoperation auf der Bildaufnahmevorrichtung 101 und eine Bildaufnahmeanweisung von den externen Einrichtungen 301 und 501 umfassen.
Ebenso, da die automatische Bildaufnahme zum Lernen selbst nicht durch den Benutzer angewiesen wird, wird vorzugsweise eine Bildaufnahme unter Verwendung eines elektronischen Verschlusses mit einem kleinen Verschlussgeräusch in der automatischen Bildaufnahme zum Lernen durchgeführt.
Zusätzlich, da die automatische Bildaufnahme zum Lernen zu einem unterschiedlichen Zeitpunkt von dem Zeitpunkt, der durch den Benutzer gedacht ist, durchgeführt wird, können persönliche Informationen, die durch den Benutzer nicht gedacht waren, gespeichert werden. Dies kann ein Problem hinsichtlich einer Privatsphäre verursachen. Um dies zu verhindern, wird ein Bild, das durch die automatische Bildaufnahme zum Lernen erhalten wird, nicht gespeichert, und nur Informationen zum Lernen, die von dem Bild erzeugt werden, werden gespeichert. Die Informationen zum Lernen sind ein Parameter entsprechend zum Beispiel der Eingabeschicht des neuronalen Netzwerks und hat ein anderes Format als ein Bild. Folglich werden kaum Privatinformationen spezifiziert. Alternativ kann ein Aufzeichnen von Informationen, die mit einer Person verknüpft sind, wie etwa eine persönliche Authentifizierungs-ID in den Informationen zum Lernen verhindert werden und können die Informationen mit einem vorbestimmten Wert ersetzt werden.
Zusätzlich muss die Bedingung zum Durchführen der automatischen Bildaufnahme zum Lernen in S914 nicht die Anzahl von überwachten Daten sein. Wenn zum Beispiel beurteilt ist, dass die Schätzgenauigkeit des neuronalen Netzwerks erhöht ist, kann die Entscheidung von S914 mit NEIN enden. Ob die Schätzgenauigkeit erhöht ist, wird durch das folgende Verfahren verifiziert. Wenn überwachte Daten durch die automatische Bildaufnahme zum Lernen beschafft werden, werden diese in das neuronale Netzwerk eingegeben und ein Ausgabewert wird erhalten. Wenn die Differenz zwischen dem Ausgabewert und den überwachten Daten kleiner als ein vorbestimmter Wert ist, kann beurteilt werden, dass die Genauigkeit des neuronalen Netzwerks erhöht ist. Das heißt, auch wenn neue Daten eingegeben werden, ist der Ausgabewert nahe zu einem Wert, der als ein Modell dient, und es kann beurteilt werden, dass die Genauigkeit erhöht ist.
Zusätzlich, wenn „die Differenz zwischen dem Ausgabewert des neuronalen Netzwerks und dem überwachten Wert“ verwendet wird, können Daten, die nicht als überwachte Daten geeignet sind, in den überwachten Daten, die durch die automatische Bildaufnahme zum Lernen beschafft werden, als ein Ausreißer entfernt werden. Wenn die Differenz zwischen dem Ausgabewert des neuronalen Netzwerks und den überwachten Daten größer als ein vorbestimmter Wert ist, kann eine Schätzung nicht durchgeführt werden. Es kann gesagt werden, dass die überwachten Daten überwachte Daten sind, deren Charakteristik stark von den überwachten Daten, die in der Vergangenheit gelernt wurden, verschieden ist. In diesem Fall ist die Wahrscheinlichkeit, dass die Kamera bereits durch den Benutzer unmittelbar nach der manuellen Bildaufnahme bewegt wurde und in eine unbeabsichtigte Richtung gerichtet ist, wie etwa den Himmel oder den Boden, hoch und die überwachten Daten werden als Ausreißer entfernt. Das heißt, die Daten werden nicht als überwachte Daten registriert.
Die Ausreißerverifikation des Bildes, das durch die automatische Bildaufnahme zum Lernen aufgenommen wird, kann ebenso ohne Verwendung des neuronalen Netzwerks durchgeführt werden. In einem Merkmalsbetragsvektor, der durch Kombinieren der Merkmalsbeträge der Eingabeschichten des neuronalen Netzwerks gebildet wird, wenn die Differenz zwischen dem Bild, das durch die automatische Bildaufnahme zum Lernen aufgenommen wird, und dem manuell aufgenommenen Bild größer als ein vorbestimmter Wert ist, kann das Bild als ein Ausreißer entfernt werden.
Die überwachten Daten können durch die automatische Bildaufnahme zum Lernen erhöht werden. Diese überwachten Daten werden zum Lernen verwendet, wenn die nächste Lernbetriebsart ausgeführt wird. Zusammen mit der Erhöhung der überwachten Daten wird erwartet, dass sich die Schätzgenauigkeit des neuronalen Netzwerks verbessert.
Andere Ausführungsbeispiele
Ausführungsbeispiele der vorliegenden Erfindung können ebenso durch einen Computer eines Systems oder einer Vorrichtung, der computerausführbare Anweisungen (zum Beispiel eines oder mehrere Programme), die auf einem Speichermedium (welches ebenso vollständiger als ein „nichtflüchtiges computerlesbares Speichermedium“ bezeichnet wird) aufgezeichnet sind, ausliest und ausführt, um die Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispiele durchzuführen und/oder der eine oder mehrere Schaltungen (zum Beispiel anwendungsspezifische integrierte Schaltung (ASIC)) zum Durchführen der Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispiele umfasst, und durch ein Verfahren, das durch den Computer des Systems oder der Vorrichtung durch zum Beispiel Auslesen und Ausführen der computerausführbaren Anweisungen von dem Speichermedium durchgeführt wird, um die Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispiele durchzuführen und/oder Steuern der einen oder mehreren Schaltungen, um die Funktionen von einem oder mehreren der vorstehend beschriebenen Ausführungsbeispiele durchzuführen, realisiert werden. Der Computer kann einen oder mehrere Prozessoren (zum Beispiel zentrale Verarbeitungseinheit (CPU), Mikroverarbeitungseinheit (MPU)) umfassen und kann ein Netzwerk von separaten Computern oder separaten Prozessoren umfassen, um die computerausführbaren Anweisungen auszulesen und auszuführen. Die computerausführbaren Anweisungen können den Computer zum Beispiel von einem Netzwerk oder dem Speichermedium bereitgestellt werden. Das Speichermedium kann zum Beispiel eines oder mehrere einer Festplatte, eines Direktzugriffspeichers (RAM), eines Festwertspeichers (ROM), eines Speichers von verteilten Rechnersystemen, einer optischen Platte (wie etwa einer Compactdisc (CD), einer „digital versatile disc“ (DVD), oder Blu-ray-Disc (BD)™), einer Flashspeichereinrichtung, einer Speicherkarte oder ähnliches umfassen.
Während die vorliegende Erfindung mit Bezug auf beispielhafte Ausführungsbeispiele beschrieben wurde, ist zu verstehen, dass die Erfindung nicht auf die offenbarten beispielhaften Ausführungsbeispiele beschränkt ist. Dem Umfang der folgenden Ansprüche ist die breiteste Interpretation zuzugestehen, um alle solchen Modifikationen und äquivalenten Strukturen und Funktionen zu umfassen.
Eine Bildaufnahmevorrichtung umfasst eine Beschaffungseinheit, die dazu konfiguriert ist, Daten betreffend ein aufgenommenes Bild, das durch eine Bildaufnahmeeinheit aufgenommen wird, zu beschaffen, eine Lerneinheit, die dazu konfiguriert ist, eine Bedingung eines Bildes, das ein Benutzer mag, zu lernen, basierend auf überwachten Daten, eine Steuerungsschaltung, die dazu konfiguriert ist, eine automatische Bildaufnahme durch die Bildaufnahmeeinheit zu entscheiden, basierend auf der Bedingung, die durch die Lerneinheit gelernt wird, und eine Registrierungseinheit, die dazu konfiguriert ist, als die überwachten Daten, Daten zu registrieren, die durch die Beschaffungseinheit für ein aufgenommenes Bild, das durch eine Bildaufnahme erhalten wird, die basierend auf einer Anweisung des Benutzers durchgeführt wird, beschafft werden, und Daten, die durch die Beschaffungseinheit für aufgenommene Bilder zum Lernen, die vor und/oder nach der Bildaufnahme, die basierend auf einer Anweisung des Benutzers durchgeführt wird, aufgenommen werden, beschafft werden, zu registrieren.

Claims

Bildaufnahmevorrichtung, mit: einer Beschaffungseinrichtung, die dazu konfiguriert ist, Daten betreffend ein aufgenommenes Bild, das durch eine Bildaufnahmeeinrichtung aufgenommen wird, zu beschaffen; einer Lerneinrichtung, die dazu konfiguriert ist, eine Bedingung eines Bildes, das ein Benutzer mag, zu lernen, basierend auf überwachten Daten; einer Steuerungseinrichtung, die dazu konfiguriert ist, eine automatische Bildaufnahme durch die Bildaufnahmeeinrichtung zu entscheiden, basierend auf der Bedingung, die durch die Lerneinrichtung gelernt wird; und einer Registrierungseinrichtung, die dazu konfiguriert ist, als die überwachten Daten, Daten, die durch die Beschaffungseinrichtung für ein aufgenommenes Bild, das durch eine Bildaufnahme, die basierend auf einer Anweisung des Benutzers durchgeführt wird, erhalten wird, beschafft werden, und Daten, die durch die Beschaffungseinrichtung für aufgenommene Bilder zum Lernen, die vor und/oder nach der Bildaufnahme, die basierend auf einer Anweisung des Benutzers durchgeführt wird, aufgenommen werden, beschafft werden, zu registrieren.
Vorrichtung gemäß Anspruch 1, weiterhin mit einer Entwicklungseinrichtung, die dazu konfiguriert ist, das aufgenommene Bild zu entwickeln, wobei die Entwicklungseinrichtung die aufgenommenen Bilder zum Lernen unter einer Bedingung, die von der für ein aufgenommenes Bild, das durch eine Bildaufnahme, die basierend auf einer Anweisung des Benutzers durchgeführt wird, erhalten wird, verschieden ist, entwickelt.
Vorrichtung gemäß Anspruch 1 oder 2, wobei die Anweisung des Benutzers durch eine Eingabe einer vorbestimmten Sprachanweisung durchgeführt wird.
Vorrichtung gemäß einem der Ansprüche 1 bis 3, wobei die Anweisung des Benutzers über eine externe Vorrichtung durchgeführt wird, die dazu in der Lage ist, mit der Bildaufnahmevorrichtung zu kommunizieren.
Vorrichtung gemäß einem der der Ansprüche 1 bis 4, wobei ein überwachter Wert von jedem der aufgenommenen Bilder zum Lernen basierend auf einem überwachten Wert eines aufgezeichneten Bildes bestimmt wird, das das aufgenommene Bild ist, das durch die Bildaufnahme erhalten wird, die basierend auf der Anweisung des Benutzers durchgeführt wird.
Vorrichtung gemäß Anspruch 5, wobei der überwachte Wert von jedem der aufgenommenen Bilder zum Lernen derart bestimmt wird, dass je größer eine Differenz zwischen einer Bildaufnahmebedingung des aufgezeichneten Bildes und der des aufgenommenen Bildes zum Lernen wird, desto größer wird eine Differenz zwischen dem überwachten Wert des aufgezeichneten Bildes und dem des aufgenommenen Bildes zum Lernen.
Vorrichtung gemäß Anspruch 5, wobei der überwachte Wert von jedem der aufgenommenen Bilder zum Lernen derart bestimmt wird, dass je größer eine Differenz zwischen einer Verschlusszeit des aufgezeichneten Bildes und der des aufgenommenen Bildes zum Lernen wird, desto größer eine Differenz zwischen dem überwachten Wert des aufgezeichneten Bildes und dem des aufgenommenen Bildes zum Lernen wird.
Vorrichtung gemäß einem der Ansprüche 1 bis 7, wobei die Registrierungseinrichtung zumindest manche der aufgenommenen Bilder zum Lernen als negative überwachte Daten registriert.
Vorrichtung gemäß Anspruch 8, wobei die Registrierungseinrichtung als die negativen überwachten Daten ein Bild der aufgenommenen Bilder zum Lernen registriert, dessen Ähnlichkeit zu dem aufgenommenen Bild, das durch die Bildaufnahme erhalten wird, die basierend auf der Anweisung des Benutzers durchgeführt wird, kleiner als ein Schwellenwert ist.
Vorrichtung gemäß einem der Ansprüche 1 bis 9, wobei die aufgenommenen Bilder zum Lernen Bilder sind, die durch Ändern einer Bildaufnahmebedingung des aufgenommenen Bildes, das durch die Bildaufnahme erhalten wird, die basierend auf der Anweisung des Benutzers durchgeführt wird, und zumindest einer Bedingung von Fokus, Belichtung, Weißabgleich, Stroboskoplichtemission, und Zoom aufgenommen werden.
Vorrichtung gemäß einem der Ansprüche 1 bis 10, wobei die aufgenommenen Bilder zum Lernen von einem Bewegtbild erzeugt werden, das unmittelbar vor oder unmittelbar nach der Bildaufnahme, die basierend auf der Anweisung des Benutzers durchgeführt wird, aufgenommen wird.
Vorrichtung gemäß einem der Ansprüche 1 bis 10, wobei die aufgenommenen Bilder zum Lernen kontinuierlich aufgenommene Bilder sind, die unmittelbar vor oder unmittelbar nach der Bildaufnahme, die basierend auf der Anweisung des Benutzers durchgeführt wird, aufgenommen werden.
Vorrichtung gemäß einem der Ansprüche 1 bis 12, wobei die Bildaufnahmeeinrichtung die aufgenommenen Bilder zum Lernen unter Verwendung eines elektronischen Verschlusses aufnimmt.
Vorrichtung gemäß einem der Ansprüche 1 bis 13, wobei, wenn die Anzahl von überwachten Daten kleiner als eine vorbestimmte Anzahl ist, die Steuerungseinrichtung die Bildaufnahmeeinrichtung veranlasst, die aufgenommenen Bilder zum Lernen aufzunehmen.
Vorrichtung gemäß einem der Ansprüche 1 bis 13, wobei die Steuerungseinrichtung die automatische Bildaufnahme unter Verwendung eines neuronalen Netzwerks entscheidet, basierend auf der Bedingung, die durch die Lerneinrichtung gelernt wird, und basierend auf einer Differenz zwischen einem überwachten Wert der überwachten Daten und einem Wert, der ausgegeben wird, wenn jedes der aufgenommenen Bilder zum Lernen in das neuronale Netzwerk eingegeben wird, bestimmt, ob die Bildaufnahmeeinrichtung zu veranlassen ist, die aufgenommenen Bilder zum Lernen aufzunehmen.
Vorrichtung gemäß Anspruch 15, wobei in einem Fall, in dem die Differenz zwischen dem überwachten Wert der überwachten Daten und dem Wert, der ausgegeben wird, wenn jedes der aufgenommenen Bilder zum Lernen in das neuronale Netzwerk eingegeben wird, kleiner als ein vorbestimmter Wert ist, die Steuerungseinrichtung die Bildaufnahmeeinrichtung nicht veranlasst, die aufgenommenen Bilder zum Lernen aufzunehmen.
Vorrichtung gemäß Anspruch 15, wobei in einem Fall, in dem die Differenz zwischen dem überwachten Wert der überwachten Daten und dem Wert, der ausgegeben wird, wenn jedes der aufgenommenen Bilder zum Lernen in das neuronale Netzwerk eingegeben wird, nicht kleiner als ein vorbestimmter Wert ist, die Steuerungseinrichtung die aufgenommenen Bilder zum Lernen nicht als die überwachten Daten verwendet.
Vorrichtung gemäß einem der Ansprüche 1 bis 13, wobei eine Entscheidung der automatischen Bildaufnahme unter Verwendung eines neuronalen Netzwerks basierend auf der Bedingung, die durch die Lerneinrichtung gelernt wird, durchgeführt wird, und in einem Vektor, der durch Kombinieren von Merkmalsbeträgen von Eingabeschichten des neuronalen Netzwerks gebildet wird, wenn eine Differenz zwischen Daten des aufgenommenen Bildes, das durch die Bildaufnahme erhalten wird, die basierend auf der Anweisung des Benutzers durchgeführt wird, und Daten von jedem der aufgenommenen Bilder zum Lernen nicht kleiner als ein vorbestimmter Wert ist, die aufgenommenen Bilder zum Lernen nicht als die überwachten Daten verwendet werden.
Verfahren des Steuerns einer Bildaufnahmevorrichtung, mit: Beschaffen von Daten betreffend ein aufgenommenes Bild, das durch eine Bildaufnahmeeinrichtung aufgenommen wird; Lernen einer Bedingung eines Bildes, das ein Benutzer mag, basierend auf überwachten Daten; Entscheiden einer automatischen Bildaufnahme durch die Bildaufnahmeeinrichtung basierend auf der Bedingung, die in dem Lernen gelernt wird; und Registrieren, als die überwachten Daten, von Daten, die in der Beschaffung für ein aufgenommenes Bild, das durch eine Bildaufnahme erhalten wird, das basierend auf einer Anweisung des Benutzers durchgeführt wird, beschafft werden, und von Daten, die in der Beschaffung für aufgenommene Bilder zum Lernen, die vor und/oder nach dem Bild aufgenommen werden, das basierend auf einer Anweisung des Benutzers aufgenommen wird, beschafft werden.
Computerlesbares Speichermedium, das ein Programm speichert, das dazu konfiguriert ist, einen Computer zu veranlassen, Schritte eines Verfahrens des Steuerns einer Bildaufnahmevorrichtung durchzuführen, wobei das Verfahren aufweist: Beschaffen von Daten betreffend ein aufgenommenes Bild, das durch eine Bildaufnahmeeinrichtung aufgenommen wird; Lernen einer Bedingung eines Bildes, das ein Benutzer mag, basierend auf überwachten Daten; Entscheiden einer automatischen Bildaufnahme durch die Bildaufnahmeeinrichtung basierend auf der Bedingung, die in dem Lernen gelernt wird; und Registrieren, als die überwachten Daten, von Daten, die in der Beschaffung für ein aufgenommenes Bild, das durch eine Bildaufnahme erhalten wird, das basierend auf einer Anweisung des Benutzers durchgeführt wird, beschafft werden, und von Daten, die in der Beschaffung für aufgenommene Bilder zum Lernen, die vor und/oder nach dem Bild aufgenommen werden, das basierend auf einer Anweisung des Benutzers aufgenommen wird, beschafft werden.