DE112018005025T5

DE112018005025T5 - Bildaufnahmevorrichtung und Steuerungsverfahren für diese

Info

Publication number: DE112018005025T5
Application number: DE112018005025.4T
Authority: DE
Inventors: Nobushige Wakamatsu; Shinnosuke Osawa; Ryota Ogawa; Yuki TSUIHIJI; Yusuke Shimizu
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-09-28
Filing date: 2018-09-20
Publication date: 2020-07-09
Also published as: JP2022111133A; RU2741480C1; US20210337100A1; US11102389B2; JP6766086B2; US11729487B2; KR20200049864A; CN111345028B; JP2020205637A; US20200228692A1; CN111345028A; BR112020006277A2; JP7423685B2; JP7077376B2; JP2019106694A; KR102405171B1

Abstract

Eine Bildaufnahmevorrichtung ist dazu konfiguriert, einen Aufnahmeprozess basierend auf Daten über ein aufgenommenes Bild zu ändern. Die Bildaufnahmevorrichtung ist dazu konfiguriert, wenn die Bildaufnahmevorrichtung den Aufnahmeprozess ändert, größere Gewichtungen an die Daten über das aufgenommene Bild basierend auf einer Anweisung von einem Benutzer als zu den Daten über das aufgenommene Bild, das automatisch verarbeitet wird, zuzuweisen.

Description

Technisches Gebiet
Die vorliegende Erfindung betrifft eine Bildaufnahmevorrichtung und ein Steuerungsverfahren für diese.
Hintergrund
Bei einer Standbild- oder Video-Aufnahme mit einer Bildaufnahmevorrichtung, wie etwa einer Kamera, nimmt ein Benutzer üblicherweise dadurch ein Bild auf, dass er ein aufzunehmendes Objekt durch einen Sucher oder ähnliches bestimmt und die Rahmung des aufzunehmenden Bildes durch Überprüfen der Aufnahmebedingungen durch ihn oder sie selbst anpasst. Solch eine Bildaufnahmevorrichtung umfasst eine Funktion des Erfassens eines Fehlers in einer Benutzeroperation und des Informierens des Benutzers über den Fehler oder des Erfassens einer externen Umgebung und, wenn die externe Umgebung zum Aufnehmen eines Bildes nicht geeignet ist, des Informierens des Benutzers, dass die Umgebung nicht geeignet ist. Zusätzlich gibt es einen vorhandenen Mechanismus des Steuerns einer Kamera, sodass die Kamera in einen Zustand gebracht wird, der zum Aufnehmen eines Bildes geeignet ist.
Solche Bildaufnahmevorrichtungen, die ein Bild durch eine Benutzeroperation aufnehmen, umfassen eine Lebensdokumentationskamera, die periodisch und kontinuierlich ein Bild ohne eine Benutzeraufnahmeanweisung aufnimmt (japanische Übersetzung der PCT Patentveröffentlichung Nr. 2016-536868). Eine Lebensdokumentationskamera wird in einem Zustand verwendet, in dem diese an dem Körper eines Benutzers mit einem Band oder ähnlichem angebracht ist und zeichnet eine Szene, die der Benutzer im täglichen Leben sieht, zu eingestellten Zeitintervallen als ein Video auf. Eine Lebensdokumentationskamera nimmt ein Bild nicht zu einem gewünschten Zeitpunkt auf, wie etwa dem Zeitpunkt, zu dem ein Benutzer eine Verschlusstaste auslöst, sondern zu eingestellten Zeitintervallen, sodass ein unerwarteter Moment, der üblicherweise nicht aufgenommen wird, als ein Videobild aufgezeichnet werden kann.
Kurzfassung der Erfindung
Wenn jedoch eine Lebensdokumentationskamera periodisch und automatisch ein Bild aufnimmt, in einem Zustand, in dem ein Benutzer die Lebensdokumentationskamera trägt, könnte ein Videobild, das keine Präferenz des Benutzers ist, beschafft werden, und könnte ein Videobild eines Moments, den der Benutzer wirklich will, nicht beschafft werden.
Die vorliegende Erfindung wurde angesichts der vorstehenden Umstände vorgenommen und es ist eine Aufgabe der vorliegenden Erfindung, eine Bildaufnahmevorrichtung bereitzustellen, die dazu in der Lage ist, ein Videobild gemäß einer Präferenz des Benutzers ohne irgendeine besondere Operation des Benutzers zu beschaffen.
Eine technische Charakteristik der vorliegenden Erfindung ist ein Steuerungsverfahren für eine Bildaufnahmevorrichtung und umfasst einen Änderungsschritt des Änderns eines Prozesses der Bildaufnahmevorrichtung basierend auf ersten Daten über ein aufgenommenes Bild, das durch eine Aufnahmeeinheit aufgenommen wird. In dem Änderungsschritt, wenn der Prozess der Bildaufnahmevorrichtung geändert wird, werden größere Gewichtungen zu den ersten Daten über das aufgenommene Bild basierend auf einer Anweisung von einem Benutzer als zu den ersten Daten über das aufgenommene Bild, das automatisch verarbeitet wird, zugewiesen.
Figurenliste

1A ist ein Diagramm, das schematisch eine Bildaufnahmevorrichtung zeigt.
1B ist eine Ansicht, die eine Nickrichtung, eine Gierrichtung und eine Rollrichtung darstellt.
2 ist ein Diagramm, das die Konfiguration der Bildaufnahmevorrichtung zeigt.
3 ist ein Diagramm, das die Konfiguration der Bildaufnahmevorrichtung und einer externen Vorrichtung zeigt.
4 ist ein Diagramm, das die Konfiguration der externen Vorrichtung zeigt.
5 ist ein Diagramm, das die Konfiguration der Bildaufnahmevorrichtung und der externen Vorrichtung zeigt.
6 ist ein Diagramm, das die Konfiguration der externen Vorrichtung zeigt.
7 ist ein Ablaufdiagramm, das eine erste Steuerungseinheit darstellt.
8 ist ein Ablaufdiagramm, das eine zweite Steuerungseinheit darstellt.
9 ist ein Ablaufdiagramm, das den Prozess einer Aufnahmebetriebsart darstellt.
10 ist ein Ablaufdiagramm, das eine Automatikbearbeitungsbetriebsartbestimmung darstellt.
11 ist ein Ablaufdiagramm, das einen Automatikbearbeitungsprozess darstellt.
12 ist eine Ansicht, die ein neuronales Netzwerk darstellt.
13A ist eine Ansicht zum Darstellen eines Beispiels, in dem eine Bereichsaufteilung um die Position der Bildaufnahmevorrichtung herum durchgeführt wird (wenn eine Neigungsrichtung und eine Schwenkrichtung jeweils ungefähr 22,5° sind).
13B ist eine Ansicht zum Darstellen eines Beispiels, in dem eine Bereichsaufteilung um die Position der Bildaufnahmevorrichtung herum durchgeführt wird (wenn ein Neigungswinkel größer oder gleich 45° ist).
13C ist eine Ansicht zum Darstellen eines Beispiels, in dem eine Bereichsaufteilung in einem Aufnahmebetrachtungswinkel durchgeführt wird.
13D ist eine Ansicht zum Darstellen eines Bildbeispiels eines Betrachtungswinkelbereichs eines Bildes, das abgebildet wird.
14 ist ein Ablaufdiagramm, das eine Lernbetriebsartbestimmung darstellt.
15 ist ein Ablaufdiagramm, das einen Lernprozess darstellt.
16 ist ein Diagramm, das einen Anzeigeprozess gemäß dem vorliegenden Ausführungsbeispiel darstellt.
17 ist ein Diagramm, das die Konfiguration eines Objektivtubusrotationsantriebsabschnitts zeigt.
18 ist eine Ansicht, die eine Sollposition und eine tatsächliche Position eines Subjekts auf einem Bild anzeigt.
19 ist ein Ablaufdiagramm, das eine Erfassung einer Aufnahmerichtungsänderungsoperation darstellt.
20 ist ein Diagramm, das schematisch eine Erfassung der Aufnahmerichtungsänderungsoperation zeigt.
21A ist eine Ansicht, die eine Bildaufnahme zu dem Zeitpunkt einer Zeit ta zeigt.
21B ist eine Ansicht, die eine Bildaufnahme zeigt, wenn ein Benutzer einen Objektivtubus 102 mit Bezug auf einen festen Teil 103 zu dem Zeitpunkt einer Zeit tb nach rechts dreht.
21C ist eine Ansicht, die ein Bild zeigt, wenn ein Zielsubjekt als ein Ergebnis des Drehens einer Schwenkachse in die Nähe eines neuen Subjekts durch eine Aufnahmerichtungsänderungsoperation des Benutzers in dem Betrachtungswinkel platziert wird, in einem Zustand, in dem eine Steuerungsausgabe eines Kompensators 1702 zur Zeit tc gestoppt wird.
21D ist eine Ansicht, die ein Bild zeigt, das durch Verfolgen und Abbilden des neuen Subjekts erhalten wird, nach einer Änderung der Aufnahmerichtung in einem Zustand, in dem die Steuerungsausgabe des Kompensators 1702 zu dem Zeitpunkt der Zeit t4 gestartet wird.
22 ist ein Graph, der zeitliche Änderungen in der Steuerungsausgabe 2201, einer positionellen Abweichung 2202, und einer Bewegungsgeschwindigkeit 2203 des Schwenkens für die Aufnahmerichtungsänderungsoperation zeigt.
23 ist ein Graph, der eine Änderung in der Ausgabe eines Beschleunigungssensors eines Vorrichtungserschütterungserfassungsabschnitts 209 zu der Zeit zeigt, wenn die Aufnahmerichtung der Bildaufnahmevorrichtung durch die Operation des Benutzers geändert wird.
24 ist ein Ablaufdiagramm, das einen manuellen Sprachsteuerungsaufnahmebestimmungsprozess darstellt.
25 ist ein Graph, der Ergebnisse zeigt, die durch Anwenden von Geräuschrichtungserfassungswerten auf eine Histogrammverarbeitung erhalten werden.
26 ist ein Diagramm, das ein Mitteilen an eine intelligente Einrichtung 301 darstellt, dass ein Subjekt registriert wurde.
27 ist ein Ablaufdiagramm, das einen Automatikaufnahmeprozess in dem Fall eines Aufwachens basierend auf einer Berührungserfassung darstellt.
28 ist ein Ablaufdiagramm, das einen Automatikaufnahmeprozess in dem Fall des Aufwachens basierend auf einer Geräuscherfassung darstellt.
29 ist ein Ablaufdiagramm, das einen Prozess einer Automatikdateilöschbetriebsart darstellt.
30 ist eine Ansicht, die ein Beispiel eines Handsteuerungsaufsatzes zeigt.
31 ist eine Ansicht, die eine Szene darstellt, in der ein Benutzer ein ausgewähltes Subjekt 5011 dadurch aufnimmt, dass er die Bildaufnahmevorrichtung in Richtung des Subjekts 5011 ausrichtet.
32 ist ein Diagramm, das ein Beispiel einer Konfiguration zeigt, die an einem Zubehörschuh 3202 einer Kamera 3201, die von der Bildaufnahmevorrichtung 101 verschieden ist, mechanisch anbringbar ist.
33 ist ein Ablaufdiagramm, das einen Prozess der Bildaufnahmevorrichtung 101 darstellt, wenn die Bildaufnahmevorrichtung 101 und die andere Kamera 3201 verbunden werden.

Beschreibung von Ausführungsbeispielen
[Erstes Ausführungsbeispiel]
<Konfiguration der Bilderfassungsvorrichtung>
1 ist ein Diagramm, das schematisch eine Bildaufnahmevorrichtung eines ersten Ausführungsbeispiels zeigt.
Die in 1A gezeigte Bildaufnahmevorrichtung 101 umfasst ein Operationselement, mit dem ein Leistungsschalter betätigt werden kann (nachstehend als eine Leistungstaste bezeichnet; was jedoch ebenso eine Operation, wie etwa ein Berühren, ein Schnippen, ein Wischen auf einem berührungsempfindlichen Feld sein kann), und andere Komponenten. Ein Objektivtubus 102, der ein Gehäuse ist, das eine Aufnahmelinsengruppe und ein Abbildungselement, die ein Bild aufnehmen, umfasst, ist in der Bildaufnahmevorrichtung 101 installiert. Der Objektivtubus 102 umfasst einen Rotationsmechanismus, der den Objektivtubus 102 mit Bezug auf einen festen Teil 103 antreiben und drehen kann. Eine Neigungseinheit 104 ist ein durch einen Motor angetriebener Mechanismus, der den Objektivtubus 102 in eine Nickrichtung, die in 1B gezeigt ist, drehen kann. Eine Schwenkeinheit 105 ist ein durch einen Motor angetriebener Mechanismus, der den Objektivtubus 102 in eine Gierrichtung drehen kann. Somit ist der Objektivtubus 102 um eine oder mehrere Achsen drehbar. 1B ist eine Definition von Achsen in der Position des festen Teils 103. Ein Winkelgeschwindigkeitsmesser 106 und ein Beschleunigungsmesser 107 sind beide an dem festen Teil 103 der Bildaufnahmevorrichtung 101 angebracht. Die Vibration der Bildaufnahmevorrichtung 101 wird basierend auf dem Winkelgeschwindigkeitsmesser 106 und dem Beschleunigungsmesser 107 erfasst. Die Neigungseinheit und die Schwenkeinheit werden basierend auf einem erfassten Winkel einer Vibration drehend angetrieben. Somit wird eine Bewegung des Objektivtubus 102, der ein beweglicher Teil ist, korrigiert oder wird eine Neigung des Objektivtubus 102 korrigiert.
2 ist ein Blockdiagramm, das die Konfiguration der Bildaufnahmevorrichtung des vorliegenden Ausführungsbeispiels zeigt.
In 2 besteht ein erster Steuerungsabschnitt 223 aus einem Prozessor (zum Beispiel einer CPU, einer GPU, einem Mikroprozessor, einer MPU, oder ähnlichem) und einem Speicher (zum Beispiel ein DRAM, ein SRAM, oder ähnliches). Diese steuern die Blöcke der Bildaufnahmevorrichtung 101 durch Ausführen von verschiedenen Prozessen oder einer Steuerungsdatenübertragung unter den Blöcken. Ein nichtflüchtiger Speicher (EEPROM) 216 ist ein elektrisch löschbarer und beschreibbarer Speicher. Konstanten, Programme und ähnliches, für den Betrieb des ersten Steuerungsabschnitts 223 werden in dem nichtflüchtigen Speicher 216 gespeichert.
In 2 umfasst eine Zoom-Einheit 201 eine Zoom-Linse für eine Skalierung. Ein Zoom-Steuerungsabschnitt 202 treibt die Zoom-Einheit 201 an und steuert diese. Eine Fokuseinheit 203 umfasst eine Linse für eine Fokusanpassung. Ein Fokussteuerungsabschnitt 204 treibt die Fokuseinheit 203 an und steuert diese.
In einem Abbildungsabschnitt 206 empfängt ein Abbildungselement Licht, das durch eine Linsengruppe eintritt und gibt Informationen einer elektrischen Ladung entsprechend der Menge an Licht an einen Bildverarbeitungsabschnitt 207 als analoge Bilddaten aus. Der Bildverarbeitungsabschnitt 207 wendet eine Bildverarbeitung, wie etwa eine Unschärfekorrektur, eine Weißabgleichanpassung und eine Farbinterpolation auf digitale Bilddaten, die durch eine Analog-Digital-Umwandlung ausgegeben werden, an, und gibt die verarbeiteten digitalen Bilddaten aus. Die digitalen Bilddaten, die von dem Bildverarbeitungsabschnitt 207 ausgegeben werden, werden durch einen Bildaufzeichnungsabschnitt 207 in ein Aufzeichnungsformat, wie etwa JPEG-Format umgewandelt und dann an den Speicher 215 oder einen Videoausgabeabschnitt 217 (welche nachstehend beschrieben werden) gesendet.
Ein Objektivtubusrotationsantriebsabschnitt 205 treibt die Neigungseinheit 104 und die Schwenkeinheit 105 an, um zu veranlassen, dass der Objektivtubus 102 in eine Neigungsrichtung und eine Schwenkrichtung angetrieben wird.
In einem Vorrichtungserschütterungserfassungsabschnitt 209 sind zum Beispiel der Winkelgeschwindigkeitsmesser (Gyro-Sensor) 106, der die Winkelgeschwindigkeiten der Bildaufnahmevorrichtung 101 in drei Achsen erfasst und der Beschleunigungsmesser (Beschleunigungssensor) 107, der die Beschleunigungen der Vorrichtung in drei Achsen erfasst, angebracht. Der Vorrichtungserschütterungserfassungsabschnitt 209 berechnet den Rotationswinkel der Vorrichtung, den Versatzbetrag der Vorrichtung und ähnliches basierend auf den erfassten Signalen.
Ein Spracheingabeabschnitt 213 beschafft ein Sprachsignal um die Bildaufnahmevorrichtung 101 herum von einem Mikrophon, das in der Bildaufnahmevorrichtung 101 bereitgestellt ist, führt eine Analog-Digital-Umwandlung bezüglich des Sprachsignals durch und sendet das Sprachsignal an den Bearbeitungsabschnitt 214. Der Sprachverarbeitungsabschnitt 214 führt einen sprachbezogenen Prozess, wie etwa einen Prozess des Optimierens des eingegebenen digitalen Sprachsignals aus. Das Sprachsignal, das durch den Sprachverarbeitungsabschnitt 214 verarbeitet wird, wird an den Speicher 215 durch den ersten Steuerungsabschnitt 223 gesendet. Der Speicher 215 speichert vorübergehend ein Bildsignal, das durch den Bildverarbeitungsabschnitt 207 erhalten wird, und ein Sprachsignal, das durch den Sprachverarbeitungsabschnitt 214 erhalten wird.
Der Bildverarbeitungsabschnitt 207 liest das Bildsignal, das vorübergehend zum Beispiel in dem Speicher 215 gespeichert ist, aus, kodiert das Bildsignal, und erzeugt ein komprimiertes Bildsignal. Der Sprachverarbeitungsabschnitt 214 liest das Sprachsignal, das vorübergehend zum Beispiel in dem Speicher 215 gespeichert ist, aus, kodiert das Sprachsignal und erzeugt ein komprimiertes Sprachsignal. Der erste Steuerungsabschnitt 223 sendet dieses komprimierte Bildsignal und das komprimierte Sprachsignal an einen Aufzeichnungs- und Wiedergabeabschnitt 220.
Der Aufzeichnungs- und Wiedergabeabschnitt 220 zeichnet das komprimierte Bildsignal, das durch den Bildverarbeitungsabschnitt 207 erzeugt wird, das komprimierte Sprachsignal, das durch den Sprachverarbeitungsabschnitt 214 erzeugt wird, und andere Steuerungsdaten und ähnliches bezüglich einer Aufnahme auf einem Aufzeichnungsmedium 221 auf. Wenn ein Sprachsignal nicht durch eine Komprimierung kodiert ist, sendet der erste Steuerungsabschnitt 223 das Sprachsignal, das durch den Sprachverarbeitungsabschnitt 214 erzeugt wird, und das komprimierte Bildsignal, das durch den Bildverarbeitungsabschnitt 207 erzeugt wird, an den Aufzeichnungs- und Wiedergabeabschnitt 220 und veranlasst den Aufzeichnungs- und Wiedergabeabschnitt 220, das Sprachsignal und das komprimierte Bildsignal auf dem Aufzeichnungsmedium 221 aufzuzeichnen.
Das Aufzeichnungsmedium 221 kann ein Aufzeichnungsmedium sein, das in der Bildaufnahmevorrichtung 101 eingebaut ist, oder kann ein entfernbares Aufzeichnungsmedium sein. Das Aufzeichnungsmedium 221 ist dazu in der Lage, verschiedene Daten, wie etwa ein komprimiertes Bildsignal, ein komprimiertes Sprachsignal, und ein Sprachsignal, die in der Bildaufnahmevorrichtung 101 erzeugt werden, aufzuzeichnen. Allgemein wird ein Medium, das eine größere Kapazität als der nichtflüchtige Speicher 216 aufweist, als Aufzeichnungsmedium 221 verwendet. Zum Beispiel kann das Aufzeichnungsmedium 221 ein Aufzeichnungsmedium von irgendeiner Art sein, wie etwa eine Festplatte, eine optische Platte, eine magnetisch optische Platte, eine CD-R, eine DVD-R, ein Magnetband, ein nichtflüchtiger Halbleiterspeicher, und ein Flashspeicher.
Der Aufzeichnungs- und Wiedergabeabschnitt 220 liest ein komprimiertes Bildsignal, ein komprimiertes Sprachsignal, ein Sprachsignal, verschiedene Daten und Programme, die auf dem Aufzeichnungsmedium 221 aufgezeichnet sind, aus (gibt diese wieder). Der ersten Steuerungsabschnitt 223 sendet das gelesene komprimierte Bildsignal an den Bildverarbeitungsabschnitt 207 und sendet das komprimierte Sprachsignal an den Sprachverarbeitungsabschnitt 214. Der Bildverarbeitungsabschnitt 207 speichert vorübergehend das komprimierte Bildsignal in dem Speicher 215, dekodiert das komprimierte Bildsignal in einer vorbestimmten Prozedur und sendet die dekodierten Signale an den Videoausgabeabschnitt 217. Der Sprachverarbeitungsabschnitt 214 speichert vorübergehend das komprimierte Sprachsignal in dem Speicher 215, dekodiert das komprimierte Sprachsignal in einer vorbestimmten Prozedur und sendet die dekodierten Signale an einen Sprachausgabeabschnitt 218.
Eine Vielzahl von Mikrophonen ist an der Bildaufnahmevorrichtung 101 als der Spracheingabeabschnitt 213 angebracht. Der Sprachverarbeitungsabschnitt 214 ist dazu in der Lage, die Richtung eines Geräuschs in einer Ebene, in der die Vielzahl der Mikrophone installiert sind, zu erfassen, und wird zum Suchen oder zum automatischen Aufnehmen verwendet (was nachstehend beschrieben wird).
Des Weiteren erfasst der Sprachverarbeitungsabschnitt 214 spezifische Sprachanweisungen. Die Sprachanweisungen können gewisse Anweisungen sein, die im Voraus registriert sind, und können ebenso konfiguriert sein, sodass ein Benutzer eine spezifische Sprache in der Bildaufnahmevorrichtung registrieren kann. Der Sprachverarbeitungsabschnitt 214 führt ebenso eine Geräuschszenenerkennung durch. In einer Geräuschszenenerkennung wird eine Geräuschszenenbestimmung durch ein Netzwerk, das im Voraus durch Maschinenlernen basierend auf einer großen Menge an Sprachdaten trainiert ist, durchgeführt. Zum Beispiel ist ein Netzwerk zum Erfassen einer spezifischen Szene, wie etwa „Jubel“, „Klatschen“, und „Sprechen“, in dem Sprachverarbeitungsabschnitt 214 eingestellt. Wenn eine spezifische Geräuschszene oder eine spezifische Sprachanweisung erfasst wird, ist der Sprachverarbeitungsabschnitt 214 dazu konfiguriert, ein Erfassungsauslösesignal an den ersten Steuerungsabschnitt 223 oder einen zweiten Steuerungsabschnitt 211 auszugeben.
Der zweite Steuerungsabschnitt 211, der separat von dem ersten Steuerungsabschnitt 223, der das Gesamthauptsystem der Bildaufnahmevorrichtung 101 steuert, bereitgestellt ist, steuert eine elektrische Leistung, die einem ersten Steuerungsabschnitt 223 zugeführt wird.
Ein erster Leistungsversorgungsabschnitt 210 und ein zweiter Leistungsversorgungsabschnitt 212 führen entsprechend eine elektrische Leistung zum Betreiben des ersten Steuerungsabschnitts 223 und eine elektrische Leistung zum Betreiben des zweiten Steuerungsabschnitts 211 zu. Wenn die Leistungstaste, die für die Bildaufnahmevorrichtung 101 bereitgestellt ist, gedrückt wird, werden anfänglich sowohl der erste Steuerungsabschnitt 223 als auch der zweite Steuerungsabschnitt 211 mit elektrischer Leistung versorgt; jedoch, wie nachstehend beschrieben wird, wird der erste Steuerungsabschnitt 223 gesteuert, um den ersten Leistungsversorgungsabschnitt 211 zu veranlassen, die elektrische Leistung, die an sich selbst zugeführt wird, zu stoppen. Während ebenso der erste Steuerungsabschnitt 223 nicht in Betrieb ist, ist der zweite Steuerungsabschnitt 211 in Betrieb und empfängt Informationen von dem Vorrichtungserschütterungserfassungsabschnitt 209 oder dem Sprachverarbeitungsabschnitt 214. Der zweite Steuerungsabschnitt ist dazu konfiguriert, einen Bestimmungsprozess dahingehend auszuführen, ob der erste Steuerungsabschnitt 223 zu starten bzw. in Betrieb zu nehmen ist oder nicht, basierend auf verschiedenen Elementen von eingegebenen Informationen. Wenn ein Starten bzw. eine Inbetriebnahme bestimmt ist, ist der zweite Steuerungsabschnitt dazu konfiguriert, eine Anweisung an den ersten Leistungsversorgungsabschnitt zum Zuführen einer elektrischen Leistung bereitzustellen.
Der Sprachausgabeabschnitt 218 gibt ein voreingestelltes Sprachmuster von einem Lautsprecher, der in der Bildaufnahmevorrichtung 101 eingebaut ist, zum Beispiel während einer Aufnahme oder ähnlichem aus.
Ein LED-Steuerungsabschnitt 224 steuert eine LED, die für die Bildaufnahmevorrichtung 101 bereitgestellt ist, in zum Beispiel einem voreingestellten Lichtblinkmuster während einer Aufnahme oder ähnlichem.
Der Videoausgabeabschnitt 217 besteht zum Beispiel aus einem Videoausgabeanschluss und sendet ein Bildsignal, um eine angeschlossene externe Anzeige oder ähnliches zu veranlassen, ein Videobild anzuzeigen. Der Sprachausgabeabschnitt 218 und der Videoausgabeabschnitt 217 können ein kombinierter Anschluss sein, zum Beispiel ein Anschluss wie etwa ein Anschluss eines „high definition multimedia interface“ (HDMI) (registrierte Marke).
Ein Kommunikationsabschnitt 222 führt eine Kommunikation zwischen der Bildaufnahmevorrichtung 101 und einer externen Vorrichtung durch und sendet oder empfängt Daten, wie etwa zum Beispiel ein Sprachsignal, ein Bildsignal, ein komprimiertes Sprachsignal und ein komprimiertes Bildsignal. Der Kommunikationsabschnitt 222 empfängt ebenso ein aufnahmebezogenes Steuerungssignal, wie etwa Aufnahmestartanweisungen und Aufnahmestoppanweisungen und Schwenken/Neigen oder Zoomen, und treibt die Bildaufnahmevorrichtung 101 basierend auf einer Anweisung von einer externen Vorrichtung, die mit der Bildaufnahmevorrichtung 101 bidirektional kommunizieren kann, an. Der Kommunikationsabschnitt 222 sendet oder empfängt ebenso Informationen, wie etwa verschiedene lernbezogene Parameter, die in einem Lernverarbeitungsabschnitt 219 (nachstehend beschrieben) zu verarbeiten sind, zwischen der Bildaufnahmevorrichtung 101 und der externen Vorrichtung. Der Kommunikationsabschnitt 222 ist zum Beispiel ein drahtloses Kommunikationsmodul, wie etwa ein Infrarotkommunikationsmodul, ein Bluetooth-Kommunikationsmodul (Bluetooth (registrierte Marke)), ein Drahtlos-LAN-Kommunikationsmodul, drahtloses USB und ein GPS-Empfänger.
<Konfiguration mit der externen Kommunikationseinrichtung>
3 ist ein Diagramm, das ein Beispiel der Konfiguration eines drahtlosen Kommunikationssystems zwischen der Bildaufnahmevorrichtung 101 und einer externen Vorrichtung 301 zeigt. Die Bildaufnahmevorrichtung 101 ist eine Digitalkamera mit einer Aufnahmefunktion. Die externe Vorrichtung 301 ist eine intelligente Einrichtung inklusive eines Bluetooth-Kommunikationsmoduls und eines Drahtlos-LAN-Kommunikationsmoduls.
Die Bildaufnahmevorrichtung 101 und die intelligente Einrichtung 301 können ebenso zum Beispiel mittels einer Kommunikation 302 basierend auf einem drahtlosen LAN, das mit einer Reihe der IEEE 802.11-Standards konform ist, und einer Kommunikation 303 mit einer Master-Slave-Beziehung, wie eine Steuerungsstation und eine Nebenstation, wie etwa Bluetooth Low Energy (nachstehend als „BLE“ bezeichnet) kommunizieren können. Das drahtlose LAN und das BLE sind jeweils ein Beispiel von Kommunikationsverfahren. Wenn jede Kommunikationsvorrichtung zwei oder mehr Kommunikationsfunktionen aufweist und zum Beispiel eine der Kommunikationsfunktionen, die eine Kommunikation in der Beziehung zwischen einer Steuerungsstation und einer Nebenstation durchführt, dazu in der Lage ist, die andere Kommunikationsfunktion zu steuern, kann ein anderes Kommunikationsverfahren verwendet werden. Ohne jedoch eine Allgemeingültigkeit zu verlieren, stellt eine erste Kommunikation, wie etwa drahtloses LAN, eine Kommunikation mit einer höheren Geschwindigkeit bereit als die zweite Kommunikation, wie etwa BLE und ist die zweite Kommunikation als zumindest irgendeine der einen mit einem niedrigeren elektrischen Leistungsverbrauch als die erste Kommunikation und der einen mit der kürzeren Kommunikationsentfernung als die erste Kommunikation definiert.
Die Konfiguration der intelligenten Einrichtung 301 wird mit Bezug auf 4 besch rieben.
Die intelligente Einrichtung 301 umfasst zum Beispiel nicht nur einen Drahtlos-LAN-Steuerungsabschnitt 401 für drahtloses LAN und einen BLE-Steuerungsabschnitt 402 für BLE, sondern ebenso einen Steuerungsabschnitt 402 einer öffentlichen Leitung für eine öffentliche drahtlose Kommunikation. Die intelligente Einrichtung 301 umfasst weiterhin einen Paket-Sende- und Empfangsabschnitt 403. Der Drahtlos-LAN-Steuerungsabschnitt 401 führt einen Treiber aus, der eine Drahtlos-LAN-RF-Steuerung und einen Kommunikationsprozess und verschiedene Steuerungen durch eine Kommunikation mit einem drahtlosen LAN, das mit einer Serie von IEEE 802.11-Standards konform ist, und eine Protokollverarbeitung über eine Kommunikation mit dem drahtlosen LAN ausführt. Der BLE-Steuerungsabschnitt 402 führt einen Treiber aus, der eine BLE-RF-Steuerung und einen Kommunikationsprozess und verschiedene Steuerungen über eine Kommunikation mit BLE und eine Protokollverarbeitung über die Kommunikation mit BLE ausführt. Der Steuerungsabschnitt einer öffentlichen Leitung 406 führt einen Treiber aus, der eine RF-Steuerung einer öffentlichen drahtlosen Kommunikation und einen Kommunikationsprozess und verschiedene Steuerungen über eine Kommunikation mit der öffentlichen drahtlosen Kommunikation und eine Steuerungsverarbeitung bezüglich der öffentlichen drahtlosen Kommunikation ausführt. Die öffentliche drahtlose Kommunikation ist zum Beispiel mit dem IMT-Standard (IMT, „International Multimedia Telecommunications“), LTE-Standard (LTE, Long Term Evolution“) oder ähnlichem konform. Der Paket-Sende- und Empfangsabschnitt 403 führt einen Prozess des Durchführens von zumindest einem eines Senden und eines Empfangens an Paketen bezüglich einer Kommunikation mit einem drahtlosen LAN und BLE und einer öffentlichen drahtlosen Kommunikation durch. In diesem Beispiel wird die Beschreibung unter der Annahme vorgenommen, dass die intelligente Einrichtung 301 zumindest eines eines Sendens und eines Empfangens von Paketen in einer Kommunikation durchführt; jedoch kann ein anderes Kommunikationsformat als Paketvermittlung, zum Beispiel Leitungsvermittlung oder ähnliches verwendet werden.
Die intelligente Einrichtung 301 umfasst weiterhin zum Beispiel einen Steuerungsabschnitt 411, einen Speicherabschnitt 404, einen GPS-Empfangsabschnitt 405, ein Anzeigeteil 407, ein Operationsteil 408, einen Spracheingabe und Sprachverarbeitungsabschnitt 409, und eine Leistungsversorgungsabschnitt 410. Der Steuerungsabschnitt 411 steuert zum Beispiel die gesamte intelligente Einrichtung 301 durch Ablaufen eines Steuerungsprogramms, das in dem Speicherabschnitt 404 gespeichert ist. Der Speicherabschnitt 404 speichert zum Beispiel das Steuerungsprogramm, das der Steuerungsabschnitt 411 ablaufen lässt, und verschiedene Elemente von Informationen, wie etwa Parameter für eine Kommunikation. Verschiedene Operationen (nachstehend beschrieben) werden durch den Steuerungsabschnitt 411 implementiert, der das Steuerungsprogramm ablaufen lässt, das in dem Speicherabschnitt 404 gespeichert ist.
Der Leistungsversorgungsabschnitt 410 führt eine elektrische Leistung an die intelligente Einrichtung 301 zu. Der Anzeigeteil 407 umfasst zum Beispiel eine Funktion, die dazu in der Lage ist, visuell erkennbare Informationen auszugeben, wie etwa eine LCD oder eine LED, oder um einen Ton auszugeben, wie etwa einen Lautsprecher, und zeigt verschiedene Elemente von Informationen an. Der Operationsteil 408 ist zum Beispiel eine Taste oder ähnliches, die eine Operation des Benutzers auf der intelligenten Einrichtung 301 empfängt. Der Anzeigeteil 407 und der Operationsteil 408 können aus einem gemeinsamen Element bestehen, zum Beispiel einem berührungsempfindlichen Bild, oder ähnlichem.
Der Spracheingabe- und Sprachverarbeitungsabschnitt 409 kann zum Beispiel konfiguriert sein, um eine Sprache, die von dem Benutzer ausgegeben wird, über ein Allzweckmikrophon zu beschaffen, das in der intelligenten Einrichtung 301 eingebaut ist, und eine Operationsanweisung des Benutzers durch eine Spracherkennungsverarbeitung zu beschaffen.
Eine Sprachanweisung basierend auf einer Sprache des Benutzers wird über eine exklusive Anwendung, die in der intelligenten Einrichtung installiert ist, beschafft. Die Sprachanweisung kann als eine spezifische Sprachanweisung gespeichert werden, um den Sprachverarbeitungsabschnitt 214 der Bildaufnahmevorrichtung 101 zu veranlassen, die spezifische Sprachanweisung über die Kommunikation 302 basierend auf dem drahtlosen LAN zu erkennen.
Das GPS (globales Positionierungssystem) 405 empfängt GPS-Signale, die von Satelliten gesendet werden, analysiert die GPS-Signale und schätzt die momentane Position (Längengrad- und Breitengradinformationen) der intelligenten Einrichtung 301. Alternativ, für eine Positionsschätzung, kann die momentane Position der intelligenten Einrichtung 301 basierend auf Informationen über ein umgebendes drahtloses Netzwerk unter Verwendung eines WPS („Wi-Fi Positioning System“) oder ähnlichem geschätzt werden. Wenn sich die beschafften momentanen GPS-Positionsinformationen innerhalb eines voreingestellten Positionsbereichs befinden (innerhalb des Bereichs eines vorbestimmten Radius), werden Bewegungsinformationen der Bildaufnahmevorrichtung 101 über den BLE-Steuerungsabschnitt 402 bereitgestellt und werden als ein Parameter für eine Automatikaufnahme oder eine Automatikbearbeitung (nachstehend beschrieben) verwendet. Wenn eine Änderung in der Position der GPS-Positionsinformationen größer oder gleich einem vorbestimmten Bereich ist, werden Bewegungsinformationen der Bildaufnahmevorrichtung 101 über den BLE-Steuerungsabschnitt 402 bereitgestellt und als ein Parameter für eine Automatikaufnahme oder eine Automatikbearbeitung (nachstehend beschrieben) verwendet.
Wie vorstehend beschrieben tauschen die Bildaufnahmevorrichtung 101 und die intelligente Einrichtung 301 Daten mit der Bildaufnahmevorrichtung 101 über eine Kommunikation unter Verwendung des Drahtlos-LAN-Steuerungsabschnitts 401 und des BLE-Steuerungsabschnitts 402 aus. Die Bildaufnahmevorrichtung 101 und die intelligente Einrichtung 301 senden oder empfangen Daten, zum Beispiel ein Sprachsignal, ein Bildsignal, ein komprimiertes Bildsignal oder ähnliches. Eine Operationsanweisung zum Aufnehmen oder ähnliches der Bildaufnahmevorrichtung 101, ein Senden von Sprachanweisungsregistrierungsdaten oder ein Bereitstellen einer vorbestimmten Positionserfassung und einer Ortsbewegung basierend auf GPS-Positionsinformationen wird von der intelligenten Einrichtung aus durchgeführt. Lerndaten werden ebenso über eine exklusive Anwendung, die in der intelligenten Einrichtung installiert ist, gesendet oder empfangen. Die externe Vorrichtung 301 ist nicht auf die intelligente Einrichtung 301 beschränkt. Die externe Vorrichtung 301 kann zum Beispiel eine Vorrichtung ohne Anzeigeteil 407, Operationsteil 408 oder ähnlichem sein und kann auf eine Spracheingabe spezialisiert sein. Mit dieser Vorrichtung wird eine Sprache, die von dem Benutzer ausgesendet wird, über das vorstehend beschriebene Mikrophon beschafft, wird eine Operationsanweisung des Benutzers durch eine Spracherkennungsverarbeitung beschafft und wird die Operationsanweisung der Bildaufnahmevorrichtung 101 bereitgestellt. Ansonsten kann diese Vorrichtung eine Funktion des Vorlesens von Nachrichten unter Verwendung einer Spracherkennung, eine Kommunikationsfunktion mit einer Cloud und einen Lautsprecher aufweisen. Die Vorrichtung kann eine Funktion einer Tonausgabe für Forschungszwecke unter Verwendung einer Suchmaschine oder eine Funktion eines Dialogsystems aufweisen.
<Konfiguration der Zubehörteile>
5 ist ein Diagramm, das ein Beispiel der Konfiguration einer externen Vorrichtung 501, die mit der Bildaufnahmevorrichtung 101 kommunizieren kann, zeigt. Die Bildaufnahmevorrichtung 101 ist eine Digitalkamera mit einer Aufnahmefunktion. Die externe Vorrichtung 501 ist eine tragbare Einrichtung inklusive verschiedenen Sensorteilen und kann mit der Bildaufnahmevorrichtung 101 unter Verwendung von zum Beispiel einem Bluetooth-Kommunikationsmodul oder ähnlichem kommunizieren.
Die tragbare Einrichtung 501 ist dazu konfiguriert, an zum Beispiel einem Arm oder ähnlichem eines Benutzers getragen zu werden. Ein Sensor, der biologische Informationen, wie etwa den Puls, die Herzfrequenz und einen Blutfluss des Benutzers zu vorbestimmten Intervallen erfasst, ein Beschleunigungssensor, der dazu in der Lage ist, den Bewegungsstatus des Benutzers zu erfassen, oder ähnliches, sind in der tragbaren Einrichtung 501 installiert.
Beispiele eines Erfassungsteils für biologische Informationen 502 umfassen einen Pulssensor, der einen Puls erfasst, einen Herzfrequenzsensor, der die Herzfrequenz erfasst, einen Blutflusssensor, der den Blutfluss erfasst, und einen Sensor, der eine Änderung in einem Potential aufgrund des Kontakts der Haut mit einem elektrisch leitenden Polymer erfasst ist. In dem vorliegenden Ausführungsbeispiel wird eine Beschreibung unter Verwendung eines Herzfrequenzsensors als der Erfassungsteil für biologische Informationen 502 vorgenommen. Der Herzfrequenzsensor erfasst die Herzfrequenz des Benutzers durch Aussenden von Infrarotlicht auf eine Haut unter Verwendung einer LED oder ähnlichem, Erfassen des Infrarotlichts, das durch ein Körpergewebe durchscheint, mit einem Lichtempfangssensor, und Anwenden einer Signalverarbeitung auf das Infrarotlicht. Der Erfassungsteil für biologische Informationen 502 gibt die erfassten biologischen Informationen an einen Steuerungsabschnitt 607 (nachstehend beschrieben) als ein Signal aus.
Ein Erschütterungserfassungsteil 503, der den Bewegungsstatus des Benutzers erfasst, ist zum Beispiel mit einem Beschleunigungssensor oder einem Gyro-Sensor ausgestattet und ist dazu in der Lage, eine Bewegung basierend auf Informationen über eine Beschleunigung dahingehend zu erfassen, zum Beispiel ob sich der Benutzer bewegt, ob der Benutzer eine Aktion durch Schwingen des Armes durchführt, oder ähnliches.
Die tragbare Einrichtung 501 ist ebenso mit einem Operationsteil 505 ausgestattet, der eine Operation des Benutzers auf der tragbaren Einrichtung 501 empfängt, und einem Anzeigeteil 504, wie etwa einer LCD oder LED, die visuell erkennbare Informationen ausgibt.
Die Konfiguration der tragbaren Einrichtung 501 wird mit Bezug auf 6 besch rieben.
Die tragbare Einrichtung 501 umfasst zum Beispiel den Steuerungsabschnitt 607, den Kommunikationsabschnitt 601, den Erfassungsteil für biologische Informationen 502, den Erschütterungserfassungsteil 503, den Anzeigeteil 504, den Operationsteil 505, einen Leistungsversorgungsabschnitt 606 und einen Speicherabschnitt 608.
Der Steuerungsabschnitt 607 steuert zum Beispiel die gesamte tragbare Einrichtung 501 durch Ablaufen eines Steuerungsprogramms, das in dem Speicherabschnitt 608 gespeichert ist. Der Speicherabschnitt 608 speichert zum Beispiel das Steuerungsprogramm, das der Steuerungsabschnitt 607 ablaufen lässt, und verschiedene Elemente von Informationen, wie etwa Parameter für eine Kommunikation. Verschiedene Operationen (nachstehend beschrieben) werden zum Beispiel durch den Steuerungsabschnitt 607 implementiert, der das Steuerungsprogramm ablaufen lässt, das in dem Speicherabschnitt 608 gespeichert ist.
Der Leistungsversorgungsabschnitt 606 führt eine elektrische Leistung an die tragbare Einrichtung 501 zu. Der Anzeigeteil 504 umfasst zum Beispiel eine Funktion, die dazu in der Lage ist, visuell erkennbare Informationen auszugeben, wie etwa eine LCD und eine LED, oder einen Ton auszugeben, wie etwa ein Lautsprecher, und zeigt verschiedene Elemente von Informationen an. Der Operationsteil 505 ist zum Beispiel eine Taste oder ähnliches, die eine Operation des Benutzers auf der tragbaren Einrichtung 501 empfängt. Der Anzeigeteil 504 und der Operationsteil 505 können aus einem gemeinsamen Element, wie etwa einem berührungsempfindlichen Feld oder ähnlichem bestehen.
Der Operationsteil kann zum Beispiel dazu konfiguriert sein, eine Sprache, die von dem Benutzer aufgegeben wird, über ein Allzweckmikrophon, das in der tragbaren Einrichtung 501 eingebaut ist, zu beschaffen, die Sprache, die von dem Benutzer ausgegeben wird, über eine Spracherarbeitung zu beschaffen, und eine Operationsanweisung des Benutzers über eine Spracherkennungsverarbeitung zu beschaffen.
Verschiedene Elemente von erfassten Informationen von dem Erfassungsteil von biologischen Informationen 502 und dem Erschütterungserfassungsteil 503 werden durch den Steuerungsabschnitt 607 verarbeitet und die erfassten Informationen werden durch den Kommunikationsabschnitt 601 an die Bildaufnahmevorrichtung 101 gesendet.
Zum Beispiel werden erfasste Informationen an die Bildaufnahmevorrichtung 101 zu dem Zeitpunkt, zu dem eine Änderung in der Herzfrequenz des Benutzers erfasst wird, gesendet, oder werden die erfassten Informationen zu dem Zeitpunkt, zu dem eine Änderung in dem Bewegungsstatus, wie etwa Gehen, Laufen oder Anhalten erfasst wird, gesendet. Ebenso werden zum Beispiel erfasste Informationen zu dem Zeitpunkt, zu dem eine voreingestellte Armschwingbewegung erfasst wird gesendet oder werden erfasste Informationen zu dem Zeitpunkt, zu dem eine voreingestellte Entfernungsbewegung bzw. Bewegung über eine voreingestellte Entfernung erfasst wird, gesendet.
30 ist ein Beispiel eines Handsteuerungsaufsatzes. Das Bildaufnahmevorrichtungsgehäuse 101 umfasst kein Operationselement, wie etwa eine Verschlusstaste für eine Aufnahmeanweisung und die Bildaufnahmevorrichtung 101 kann dazu konfiguriert sein, mit Operationselementen, die zum Anbringen bereitgestellt sind, betätigt zu werden.
Wie in 31 gezeigt ist, könnte ein Benutzer ein ausgewähltes Subjekt 5011 durch Ausrichten einer Kamera in Richtung des Subjekts 5011 aufnehmen wollen. Zu dieser Zeit, wenn die Kamera automatisch geschwenkt/geneigt wird, könnte diese Bewegung mit der Bewegung des Benutzers, um die Kamera in Richtung des Subjekts zu richten, das der Benutzer aufnehmen will, interferieren. Der Handsteuerungsaufsatz 5001 kann einen Änderungsschalter 5005 umfassen, der dazu in der Lage ist, die Betriebsart zwischen einer Autoeinstellungsbetriebsart, die sich auf die Kamera verlässt, und einer Betriebsart, in der der Benutzer die Kamera manuell bedienen kann, umzuschalten. In diesem Fall, wenn der Änderungsschalter 5005 auf die manuelle Betriebsart der Kamera eingestellt ist, wird die Kamera für eine Kamerastabilisierung geschwenkt/geneigt, aber eine große Schwenk-/Neigungswinkeländerung für eine Subjektsuche wird nicht durchgeführt.
Alternativ, wenn der Änderungsschalter 5005 nicht bereitgestellt ist, könnte ein Aufsatzerfassungsteil 5002 bereitgestellt sein, der dazu in der Lage ist, zu erfassen, ob der Aufsatz 5001 an der Bildaufnahmevorrichtung 101 angebracht ist oder nicht. In diesem Fall, wenn der Aufsatz verbunden ist, wird die Kamera für eine Kamerastabilisierung geschwenkt/geneigt, aber eine große Schwenk-/Neigungswinkeländerung für eine Subjektsuche wird nicht durchgeführt. Eine Verbindung des Aufsatzes kann mit einem vorhandenen Verfahren, wie etwa einer Änderung in einer Spannung und einer ID erfasst werden.
Wenn die manuelle Betriebsart der Kamera durch den Änderungsschalter 5005 oder den Aufsatzerfassungsteil 5002 eingestellt ist, wird eine große Schwenk-/Neigungswinkeländerung für eine Subjektsuche nicht durchgeführt, aber die Kamera wird für eine Kamerastabilisierung geschwenkt/geneigt. Solch eine Neigungskorrektur, dass die optische Achse der Kamera in einer bestimmten Richtung mit Bezug auf die Schwerkraftrichtung beibehalten wird, kann durchgeführt werden, aber diese könnte mit einer Operation des Benutzers interferieren. Eine Kamerastabilisierung schneidet niedrigere Frequenzen (zum Beispiel ein Frequenzbereich niedriger oder gleich 0,1 Hz) ab und korrigiert nur eine höhere Frequenzkomponente.
Auch wenn die Kamera für eine Subjektsuche nicht geschwenkt/geneigt wird, könnte der Benutzer wollen, die Schwenk-/Neigungsrichtung manuell zu ändern. Wenn die Bildaufnahmevorrichtung 101 in Richtung eines Subjekts 5101 ausgerichtet wird, und das Subjekt 5101 aufnimmt, wie in 31 gezeigt ist, könnte der Benutzer den Neigungswinkel der Bildaufnahmevorrichtung 101 betätigen, sodass die optische Achse der Bildaufnahmevorrichtung 101 nach oben gerichtet ist, und aufnehmen. In diesem Fall könnte ein Operationselement 5003, das dazu in der Lage ist, die Schwenk-/Neigungsrichtung zu ändern, in dem Handsteuerungsaufsatz 5001 bereitgestellt sein. Ein Verfahren, in dem das Operationselement 5003 in XY-Koordinaten frei bewegt werden kann und die Bildaufnahmevorrichtung 101 gemäß der betätigten Richtung geschwenkt/geneigt wird, könnte eingesetzt werden. Wenn zum Beispiel das Operationselement nach oben bewegt wird, wird die Kamera nach oben geneigt; wenn das Operationselement nach unten bewegt wird, wird die Kamera nach unten geneigt; wenn das Operationselement nach rechts oder links bewegt wird, wird die Kamera gemäß der Richtung geschwenkt.
Eine Verschlusstaste 5004, mit der der Benutzer zu irgendeinem Zeitpunkt aufnehmen kann, könnte bereitgestellt sein. Ein Schalter 5006, der eine Aufnahmebetriebsart (zum Beispiel eine Standbildaufnahmebetriebsart, eine Videoaufnahmebetriebsart, eine Panoramaaufnahmebetriebsart, eine Zeitrafferaufnahmebetriebsart oder ähnliches) ändern kann, könnte bereitgestellt sein.
Eine kontaktlose Kommunikationseinrichtung könnte als ein Verfahren des Bereitstellens einer Steuerungsanweisung von dem Handsteuerungsaufsatz 5001 an die Bildaufnahmevorrichtung 101 verwendet werden.
Eine Steuerungsanweisung könnte durch Konnektoren ausgegeben werden, die elektrische Signale vermitteln und die entsprechend für die Bildaufnahmevorrichtung 101 und den Handsteuerungsaufsatz 5001 bereitgestellt sind; wenn in der Bildaufnahmevorrichtung 101 jedoch eine Batterie umfasst ist, braucht der Handsteuerungsaufsatz keinen Konnektor für eine Batterie. Deshalb, wenn ein Konnektor für eine Operation, wie etwa eine Freigabe bzw. ein Auslösen bereitgestellt ist, muss eine Spritzwasserschutzfunktion zu einem Verbindungsabschnitt hinzugefügt werden oder sind manche Komponenten erforderlich, mit dem Ergebnis einer Erhöhung der Größe der Vorrichtung oder einer Erhöhung der Kosten.
Die kontaktlose Kommunikationseinrichtung kann Bluetooth Low Energy (BLE), eine „Near Field Communication“ (NFC) BLE oder ein anderes Verfahren sein.
Ein Funkwellengenerator des Handsteuerungsaufsatz 5001 kann ein kleiner Funkwellengenerator mit einer kleinen Kapazität einer Leistungsversorgung sein und kann eine Einrichtung des Erzeugens einer kleinen Menge einer elektrischen Leistung mit zum Beispiel einer Knopfzellenbatterie oder einer Kraft des Drückens der Verschlusstaste 5004 sein.
Auf diese Weise kann ein Aufsatz, der von der Bildaufnahmevorrichtung getrennt ist, und ein Operationselement zum Bereitstellen einer Freigabeanweisung an die Bildaufnahmevorrichtung und ein Operationselement zum Bereitstellen einer Anweisung zum Antreiben des Rotationsmechanismus der Bildaufnahmevorrichtung aufweist, konfiguriert sein, um an der Bildaufnahmevorrichtung angebracht zu werden. Ein Aufsatz mit einem Operationselement zum Bereitstellen einer Aufnahmebetriebsartänderungsanweisung, die zwei oder mehr einer Standbildbetriebsart, einer Videobetriebsart, einer Panoramabetriebsart und einer Zeitrafferbetriebsart der Aufnahmeeinheit einstellen kann, kann dazu konfiguriert sein, an der Bildaufnahmevorrichtung angebracht zu werden. Eine Operationsanweisung unter Verwendung des Operationselements wird von dem Aufsatz an die Bildaufnahmevorrichtung über die kontaktlose Kommunikationseinrichtung bereitgestellt. Die Bildaufnahmevorrichtung kann Informationen über einen Aufsatz, der mit der Bildaufnahmevorrichtung verbunden ist, erfassen, und das Steuerungsfrequenzband der Stabilisierungseinrichtung basierend auf den Informationen über den Aufsatz ändern. Durch die Erfassung der Informationen über den Aufsatz kann geändert werden, ob eine Neigungskorrektur zum Beibehalten des Winkels in einer bestimmten Richtung mit Bezug auf die Schwerkraftrichtung durchzuführen ist. Die Seite der niedrigeren Frequenz des Stabilisierungssteuerungsfrequenzbandes könnte gemäß den erfassten Informationen über den Aufsatz abgeschnitten werden.
32 ist ein Beispiel der Konfiguration der Bildaufnahmevorrichtung 101, die mechanisch an einem Zubehörschuh 3202 einer Kamera 3201, die von der Bildaufnahmevorrichtung 101 verschieden ist, angebracht werden kann.
Wenn die Bildaufnahmevorrichtung 101 auf dem Zubehörschuh angebracht wird, wie in 32 gezeigt ist, sind die Ausrichtung, in der die Bildaufnahmevorrichtung 101 auf der Kamera 3201 angebracht ist und die Winkeldifferenz zwischen der optischen Achsenrichtung der Kamera 3201 und der optischen Achsenrichtung der Bildaufnahmevorrichtung 101 bekannt. Deshalb werden die Kamera 3201 und die Bildaufnahmevorrichtung 101 einfach in Kooperation miteinander gesteuert.
Eine Übertragung von Informationen zwischen der Bildaufnahmevorrichtung 101 und der Kamera 3201 kann durch einen Mechanismus erreicht werden, in dem elektrische Kontakte an einem Abschnitt, der mit dem Zubehörschuh zu verbinden ist, bereitgestellt sind, und Informationen werden zwischen der Bildaufnahmevorrichtung 101 und der Kamera 3201 übertragen. Die Bildaufnahmevorrichtung 101 und die Kamera 3201 können einen Mechanismus des Übertragens von Informationen über zum Beispiel USB oder ähnliches umfassen. Alternativ kann eine drahtlose Kommunikation (BLE, NFC oder ähnliches) verwendet werden oder ein anderes Verfahren kann verwendet werden.
Eine Kooperation zwischen der Bildaufnahmevorrichtung 101 und der Kamera 3201 wird nachstehend beschrieben.
<Sequenz der Bildaufnahmeoperation>
7 ist ein Ablaufdiagramm, das ein Beispiel von Operationen darstellt, die der erste Steuerungsabschnitt 223 der Bildaufnahmevorrichtung 101 in dem vorliegenden Ausführungsbeispiel abhandelt.
Wenn ein Benutzer die Leistungstaste der Bildaufnahmevorrichtung 101 betätigt, wird der erste Leistungsversorgungsabschnitt 210 veranlasst, eine elektrische Leistung von dem Leistungsversorgungsabschnitt an den ersten Steuerungsabschnitt 223 und die Blöcke der Bildaufnahmevorrichtung 101 zuzufü h ren.
Ähnlich wird auch in dem zweiten Steuerungsabschnitt 211 ebenso der zweite Leistungsversorgungsabschnitt 212 veranlasst, eine elektrische Leistung von dem Leistungsversorgungsabschnitt an den zweiten Steuerungsabschnitt zuzuführen.
Die Details der Operationen des zweiten Steuerungsabschnitts werden mit Bezug auf das Ablaufdiagramm von 8 (nachstehend beschrieben) beschrieben.
Wenn eine elektrische Leistung zugeführt wird, startet der Prozess von 7. In Schritt 701 wird eine Inbetriebnahmebedingung geladen. In dem vorliegenden Ausführungsbeispiel ist die Inbetriebnahmebedingung wie folgt.

(1) Die Leistungstaste wird manuell gedrückt und die Leistung wird eingeschaltet.
(2) Die Leistung wird basierend auf einer Anweisung von einer externen Vorrichtung (zum Beispiel 301) durch eine externe Kommunikation (zum Beispiel eine BLE-Kommunikation) eingeschaltet.
(3) Die Leistung wird von einem Sub-Prozessor (zweiter Steuerungsabschnitt 211) eingeschaltet.

In dem Fall von (3) wird die Leistung von dem Sub-Prozessor eingeschaltet, wird die Inbetriebnahmebedingung, die in dem Sub-Prozessor berechnet wird, geladen, und die Details werden nachstehend mit Bezug auf 8 beschrieben.
Die hier geladene Inbetriebnahmebedingung wird als ein Parameterelement während einer Subjektsuche oder einer Automatikaufnahme verwendet, und das wird nachstehend beschrieben. Wenn das Laden der Inbetriebnahmebedingung beendet ist, geht der Prozess über zu Schritt 702.
In Schritt 702 werden Informationen von verschiedenen Sensoren geladen. Die Sensoren, von denen ein Laden durchgeführt wird, können Sensoren sein, die eine Vibration erfassen, wie etwa der Gyro-Sensor und der Beschleunigungssensor des Vorrichtungserschütterungserfassungsabschnitts 209. Die Drehpositionen der Neigungseinheit 104 und der Schwenkeinheit 105 können geladen werden. Das Sprachlevel, ein Auslöser zum Erfassen einer spezifischen Spracherkennung oder eine erfasste Geräuschrichtung, die durch den Sprachverarbeitungsabschnitt 214 erfasst werden, können geladen werden.
Obwohl es in 1 bis 6 nicht gezeigt ist, beschaffen ebenso Sensoren, die Umgebungsinformationen erfassen, Informationen.
Zum Beispiel gibt es einen Temperatursensor, der die Temperatur eines Bereichs um die Bildaufnahmevorrichtung 101 zu vorbestimmten Intervallen erfasst, und einen Atmosphärendrucksensor, der eine Änderung in einem Atmosphärendruck um die Bildaufnahmevorrichtung 101 erfasst. Ein Beleuchtungssensor, der eine Helligkeit um die Bildaufnahmevorrichtung 101 erfasst, ein Feuchtigkeitssensor, der eine Feuchtigkeit um die Bildaufnahmevorrichtung 101 erfasst, ein UV-Sensor, der den Betrag eines ultravioletten Lichts um die Bildaufnahmevorrichtung 101 erfasst, und ähnliche können bereitgestellt sein. Zusätzlich zu den erfassten Temperaturinformationen, den Atmosphärendruckinformationen, den Helligkeitsinformationen, den Feuchtigkeitsinformationen und den UV-Informationen werden eine Temperaturschwankung, eine Atmosphärendruckschwankung, eine Helligkeitsschwankung, eine Feuchtigkeitsschwankung, eine Ultraviolettlichtschwankung, und ähnliches, die durch Berechnen einer Änderungsrate zu vorbestimmten Intervallen von den erfassten verschiedenen Elementen von Informationen erhalten werden, bei der Bestimmung für eine Automatikaufnahme verwendet, und ähnliches (nachstehend beschrieben).
Wenn das Laden der Informationen von den verschiedenen Sensoren in Schritt 702 durchgeführt ist, geht der Prozess über zu Schritt 703.
In Schritt 703 wird erfasst, ob es eine Kommunikationsanweisung von der externen Vorrichtung gibt, und, wenn es eine Kommunikationsanweisung gibt, wird die Kommunikation mit der externen Vorrichtung durchgeführt.
Zum Beispiel werden eine Fernoperation oder Daten, wie etwa ein Sprachsignal, ein Bildsignal, ein komprimiertes Sprachsignal und ein komprimiertes Bildsignal von der intelligenten Einrichtung 301 über das drahtlose LAN oder BLE gesendet oder empfangen. Wenn es eine Operationsanweisung zum Aufnehmen oder ähnliches der Bildaufnahmevorrichtung 101 gibt, wird ein Senden von Sprachanweisungsregistrierungsdaten, vorbestimmten Positionserfassungsmitteilungen oder eine Ortsbewegungsmitteilung basierend auf GPS-Positionsinformationen oder eine Anweisung zum Senden oder Empfangen von Lerndaten von der intelligenten Einrichtung 301 geladen.
Zusätzlich, zum Beispiel, wenn es aktualisierte Informationen über die Bewegung des Benutzers, Informationen über die Aktion des Arms, oder biologische Informationen, wie etwa die Herzfrequenz gibt, werden die Informationen von der tragbaren Einrichtung 501 geladen. Verschiedene Sensoren, die die vorstehend beschriebenen Umgebungsinformationen erfassen, können an der Bildaufnahmevorrichtung 101 angebracht sein oder können an der intelligenten Einrichtung 301 oder der tragbaren Einrichtung 501 angebracht sein. In dem letztgenannten Fall werden Umgebungsinformationen ebenso über BLE geladen. Wenn eine Kommunikation und ein Laden von Informationen von der externen Vorrichtung in Schritt 703 beendet ist, geht der Prozess über zu Schritt 704.
In Schritt 704 wird eine einzustellende Betriebsart bestimmt. Die in Schritt 704 einzustellende Betriebsart wird von den folgenden Betriebsarten bestimmt und ausgewählt.
Automatikaufnahmebetriebsart
[Betriebsartbestimmu ngsbedingu ng]
Wenn es bestimmt ist, ein automatisches Aufnehmen durchzuführen, basierend auf Elementen von erfassten Informationen (Bild, Ton, Zeit, Vibration, Ort, Änderung des Körpers, Änderung der Umgebung), die durch Lernen (nachstehend beschrieben) eingestellt sind, einer abgelaufenen Zeit von dem Zeitpunkt, wenn die Betriebsart in die Automatikaufnahmebetriebsart wechselt, vorhergehende Aufnahmeinformationen und ähnlichem, wird die Betriebsart auf die Automatikaufnahmebetriebsart eingestellt.
[Prozess in der Betriebsart]
In dem Prozess der Automatikaufnahmebetriebsart (Schritt 710) wird eine Suche für ein Subjekt automatisch durch Schwenken/Neigen oder Zoomen basierend auf den erfassten Informationen (Bild, Ton, Zeit, Vibration, Ort, Änderung in einem Körper, Änderung in der Umgebung) durchgeführt. Wenn bestimmt ist, dass der Zeitpunkt vorliegt, bei dem es möglich ist, eine Aufnahme gemäß einer Präferenz des Benutzers durchzuführen, wird ein Prozess des Bestimmens eines Aufnahmeverfahrens von verschiedenen Aufnahmeverfahren, wie etwa einer Einzelaufnahme eines Standbildes, einer kontinuierlichen Aufnahme eines Standbildes, einer Videoaufnahme, einer Panoramaaufnahme und einer Zeitrafferaufnahme durchgeführt und die Aufnahme wird automatisch durchgeführt.
Automatikbearbeitungsbetriebsart
[Betriebsartbestimmu ngsbedingu ng]
Wenn es bestimmt ist, eine automatische Bearbeitung durchzuführen, basierend auf einer abgelaufenen Zeit von dem Zeitpunkt, wenn die letzte automatische Bearbeitung durchgeführt wurde, und vorhergehenden Aufnahmebildinformationen, wird die Betriebsart auf die Automatikbearbeitungsbetriebsart eingestellt.
[Prozess in der Betriebsart]
In dem Prozess der Automatikbearbeitungsbetriebsart (Schritt 712), wird ein Prozess des Auswählens eines Standbildes oder eines Bewegtbildes basierend auf einem Lernen durchgeführt und wird ein Automatikbearbeitungsprozess des Erzeugens eines Highlight-Videos, das ein zusammengefasstes Bewegtbild ist, unter Verwendung von Bildeffekten, der Dauer eines bearbeiteten Bewegtbildes, und ähnlichem basierend auf einem Lernen durchgeführt.
Bildübertragungsbetriebsart
[Betriebsartbestimmu ngsbedingu ng]
In dem Fall, in dem die Betriebsart auf die Automatikbildübertragungsbetriebsart eingestellt ist, basierend auf einer Anweisung über die exklusive Anwendung, die in der intelligenten Einrichtung installiert ist, wenn es bestimmt ist, eine Bildautomatisierung basierend auf einer abgelaufenen Zeit von dem Zeitpunkt, wenn die letzte Bildübertragung durchgeführt ist, und vorhergehenden Aufnahmeinformationen durchzuführen, wird die Betriebsart auf die Automatikbildübertragungsbetriebsart eingestellt.
[Prozess in der Betriebsart]
In dem Prozess der Automatikbildübertragungsbetriebsart (Schritt 714), extrahiert die Bildaufnahmevorrichtung 101 automatisch Bilder, die mit einer Präferenz des Benutzers übereinstimmen können, und veranlasst die intelligente Einrichtung 301, die Bilder gemäß der Präferenz des Benutzers automatisch zu extrahieren und die Bilder zu übertragen. Ein Extrahieren von Bildern gemäß der Präferenz des Benutzers wird basierend auf Punktzahlen, die den Bildern zugewiesen sind und basierend auf der Präferenz des Benutzers bestimmt sind, durchgeführt.
Lernbetriebsart
[Betriebsartbestimmu ngsbedingu ng]
Wenn es bestimmt ist, ein automatisches Lernen durchzuführen, basierend auf einer abgelaufenen Zeit von dem Zeitpunkt, wenn ein letzter Lernprozess durchgeführt ist, Informationen, die mit Bildern verknüpft sind, die zum Lernen verwendet werden können, der Anzahl von Lerndaten, und ähnlichem, wird die Betriebsart auf die Automatiklernbetriebsart eingestellt. Alternativ, wenn es eine Anweisung zum Einstellen von Lerndaten über eine Kommunikation von der intelligenten Einrichtung 301 gibt, wird die Betriebsart auf diese Betriebsart eingestellt.
[Prozess in der Betriebsart]
In dem Prozess der Automatiklernbetriebsart (Schritt 716), führt die Bildaufnahmevorrichtung 101 ein Lernen durch, das auf die Präferenz des Benutzers angepasst ist. Ein Lernen, das auf die Präferenz des Benutzers angepasst ist, wird unter Verwendung eines neuronalen Netzwerks basierend auf Informationen über Operationen, die auf der intelligenten Einrichtung 301 vorgenommen werden, Lerninformationen, die von der intelligenten Einrichtung 301 bereitgestellt werden, und ähnlichem durchgeführt. Die Informationen über die Operationen, die auf der intelligenten Einrichtung 301 vorgenommen werden, umfassen zum Beispiel Bildbeschaffungsinformationen von der Bildaufnahmevorrichtung, Informationen, dass eine manuelle Bearbeitungsanweisung über die exklusive Anwendung bereitgestellt wird, und Informationen über Bestimmungswerte, die durch den Benutzer für Bilder in der Bildaufnahmevorrichtung eingegeben werden.
Ein Lernen bezüglich einer Erfassung einer Registrierung von persönlichen Identifikationen, einer Sprachregistrierung, einer Geräuschszenenregistrierung, einer Allgemeinobjekterkennungsregistrierung und ähnlichem, und ein Lernen der vorstehend beschriebenen Bedingungen der Niedrigelektrikleistungsverbrauchsbetriebsart bzw. der Betriebsart mit niedrigem elektrischen Leistungsverbrauch und ähnliches werden zur gleichen Zeit durchgeführt.
Automatikdateilöschbetriebsart
[Betriebsartbestimmungsbedingung]
Wenn es bestimmt ist, die automatische Dateilöschung durchzuführen, basierend auf einer abgelaufenen Zeit von dem Zeitpunkt, wenn die letzte automatische Dateilöschung durchgeführt wurde und der verbleibenden Kapazität des nichtflüchtigen Speichers 216, auf dem Bilder aufgezeichnet werden, wird die Betriebsart auf die Automatikdateilöschbetriebsart eingestellt.
[Prozess in der Betriebsart]
In dem Prozess der Automatikdateilöschbetriebsart (Schritt 718), werden Dateien, die automatisch zu löschen sind (drei Wahlmöglichkeiten) basierend auf Etikettinformationen, Aufnahmedatum und Zeit und ähnlichem von jedem Bild unter den Bildern in dem nichtflüchtigen Speicher 216 designiert und die Dateien werden gelöscht.
Die Details des Prozesses der Automatikaufnahmebetriebsart, des Prozesses der Automatikbearbeitungsbetriebsart und des Prozesses der Lernbetriebsart werden später beschrieben.
In Schritt 705 wird bestimmt, ob die Betriebsart, die in Schritt 704 eingestellt ist, die Niedrigelektrikleistungsverbrauchsbetriebsart ist. In der Niedrigelektrikleistungsverbrauchsbetriebsartbestimmung bzw. der Bestimmung der Betriebsart mit niedrigem elektrischen Leistungsverbrauch, wenn die Bestimmungsbedingung von irgendeiner der „Automatikaufnahmebetriebsart“, „Automatikbearbeitungsbetriebsart“, „Automatikbildübertragungsbetriebsart“, „Lernbetriebsart“, und „Automatikdateilöschbetriebsart“ (nachstehend beschrieben) nicht erfüllt ist, wird bestimmt, die Betriebsart auf die Niedrigelektrikleistungsverbrauchsbetriebsart einzustellen. Wenn der Bestimmungsprozess durchgeführt ist, geht der Prozess über zu Schritt 705.
Wenn in Schritt 705 bestimmt ist, dass die Niedrigelektrikleistungsverbrauchsbetriebsartbedingung erfüllt ist, geht der Prozess über zu Schritt 706.
In Schritt 706 werden verschiedene Parameter bezüglich Inbetriebnahmefaktoren (ein Parameter für eine Erschütterungserfassungsbestimmung, ein Parameter für eine Geräuscherfassung und ein Erfassungsparameter für eine abgelaufene Zeit), die einer Bestimmung in dem Sub-Prozessor (zweiter Steuerungsabschnitt 211) unterzogen werden, an den Sub-Prozessor bereitgestellt. Die Werte von verschiedenen Parametern variieren als ein Ergebnis des Lernens in dem Lernprozess (später beschrieben). Wenn der Prozess von Schritt 706 beendet ist, geht der Prozess über zu Schritt 707, die Leistung des Hauptprozessors (erster Steuerungsabschnitt 223) wird abgeschaltet und der Prozess wird beendet.
Andererseits, wenn in Schritt 705 bestimmt ist, dass die Betriebsart nicht die Niedrigelektrikleistungsverbrauchsbetriebsart ist, geht der Prozess über zu Schritt 709 und es wird bestimmt, ob die einzustellende Betriebsart die Automatikaufnahmebetriebsart ist. Wenn die Betriebsart die Automatikaufnahmebetriebsart ist, geht der Prozess über zu Schritt 710 und der Prozess der Automatikaufnahmebetriebsart wird durchgeführt. Wenn der Prozess beendet ist, kehrt der Prozess zurück zu Schritt 702 und der Prozess wird wiederholt. Wenn in Schritt 709 bestimmt ist, dass die Betriebsart nicht die Automatikaufnahmebetriebsart ist, geht der Prozess über zu Schritt 711.
In Schritt 711 wird bestimmt, ob die einzustellende Betriebsart die Automatikbearbeitungsbetriebsart ist. Wenn die Betriebsart die Automatikbearbeitungsbetriebsart ist, geht der Prozess über zu Schritt 712 und die Automatikbearbeitungsbetriebsart wird durchgeführt. Wenn der Prozess beendet ist, kehrt der Prozess zurück zu Schritt 702 und der Prozess wird wiederholt. Wenn in Schritt 711 bestimmt wird, dass die Betriebsart nicht die Automatikbearbeitungsbetriebsart ist, geht der Prozess über zu Schritt 713.
In Schritt 713 wird bestimmt, ob die einzustellende Betriebsart die Automatikbildübertragungsbetriebsart ist. Wenn die Betriebsart die Automatikbildübertragungsbetriebsart ist, geht der Prozess über zu Schritt 714 und der Prozess der Automatikbildübertragungsbetriebsart wird durchgeführt. Wenn der Prozess beendet ist, kehrt der Prozess zurück zu Schritt 702 und der Prozess wird wiederholt. Wenn in Schritt 713 bestimmt ist, dass die Betriebsart nicht die Automatikbildübertragungsbetriebsart ist, geht der Prozess über zu Schritt 715.
In Schritt 715 wird bestimmt, ob die einzustellende Betriebsart die Lernbetriebsart ist. Wenn die Betriebsart die Lernbetriebsart ist, geht der Prozess über zu Schritt 716 und der Prozess der Lernbetriebsart wird durchgeführt. Wenn der Prozess beendet ist, kehrt der Prozess zurück zu Schritt 702 und der Prozess wird wiederholt. Wenn in Schritt 715 bestimmt wird, dass die Betriebsart nicht die Lernbetriebsart ist, geht der Prozess über zu Schritt 717.
In Schritt 717 wird bestimmt, ob die einzustellende Betriebsart die Automatikdateilöschbetriebsart ist. Wenn die Betriebsart die Automatikdateilöschbetriebsart ist, geht der Prozess über zu Schritt 718 und der Prozess der Automatikdateilöschbetriebsart wird durchgeführt. Wenn der Prozess beendet ist, kehrt der Prozess zurück zu Schritt 702 und der Prozess wird wiederholt. Wenn in Schritt 717 bestimmt ist, dass die einzustellende Betriebsart nicht die Automatikdateilöschbetriebsart ist, kehrt der Prozess zurück zu Schritt 702 und der Prozess wird wiederholt.
8 ist ein Ablaufdiagramm, das ein Beispiel der Operationen darstellt, die der zweite Steuerungsabschnitt 211 der Bildaufnahmevorrichtung 101 in dem vorliegenden Ausführungsbeispiel abhandelt.
Wenn der Benutzer die Leistungstaste der Bildaufnahmevorrichtung 101 betätigt, wie in dem Fall, in dem eine elektrische Leistung von dem Leistungsversorgungsabschnitt an den ersten Steuerungsabschnitt 223 durch den ersten Leistungsversorgungsabschnitt 210 zugeführt wird, wird ebenso in dem zweiten Steuerungsabschnitt 211 eine elektrische Leistung von dem Leistungsversorgungsabschnitt an den zweiten Steuerungsabschnitt 211 durch den zweiten Leistungsversorgungsabschnitt 212 zugeführt. Wenn eine elektrische Leistung zugeführt wird, wird der Sub-Prozessor (zweiter Steuerungsabschnitt 211) hochgefahren und der Prozess von 8 startet.
In Schritt 801 wird bestimmt, ob eine vorbestimmte Periode, die ein Abtastintervall ist, abgelaufen ist. Wenn zum Beispiel die vorbestimmte Periode auf 10 ms eingestellt ist, geht der Prozess über zu Schritt 802 in Intervallen von 10 ms. Wenn bestimmt ist, dass die vorbestimmte Periode nicht abgelaufen ist, kehrt der Sub-Prozessor zurück zu Schritt 801 ohne irgendeinen Prozess durchzuführen und wartet bis die vorbestimmte Periode abläuft.
In Schritt 802 werden Lerninformationen geladen. Die Lerninformationen sind Informationen, die zu der Zeit des Kommunizierens von Informationen an den Sub-Prozessor in Schritt 706 von 7 übertragen werden und zum Beispiel werden die folgenden Informationen geladen.

(1) Eine Bestimmungsbedingung für eine spezifische Erschütterungserfassung
(2) Eine Bestimmungsbedingung für eine spezifische Geräuscherfassung
(3) Eine Bestimmungsbedingung für eine Zeitablaufbestimmung

Wenn die Lerninformationen in Schritt 802 geladen sind, geht der Prozess über zu Schritt 803 und ein Erschütterungserfassungswert wird beschafft. Ein Erschütterungserfassungswert ist ein Ausgabewert von einem Sensor, der eine Vibration erfasst, wie etwa der Gyro-Sensor und der Beschleunigungssensor des Vorrichtungserschütterungserfassungsabschnitts 209.
Wenn der Erschütterungserfassungswert in Schritt 803 erfasst wird, geht der Prozess über zu Schritt 804 und ein Prozess des Erfassens eines voreingestellten Erschütterungszustands wird durchgeführt. Hier wird der Bestimmungsprozess basierend auf Lerninformationen, die in Schritt 802 geladen werden, geändert. Manche Beispiele werden beschrieben.
Berührungserfassung beziehungsweise Tipp-Erfassung
Ein Zustand, in dem der Benutzer die Bildaufnahmevorrichtung 101 mit zum Beispiel einer Fingerspitze oder ähnlichem berührt (Berührungszustand beziehungsweise Tipp-Zustand) kann durch einen Ausgabewert des Beschleunigungssensors, der in der Bildaufnahmevorrichtung 101 bereitgestellt ist, erfasst werden. Durch Weitergeben der Ausgaben des Dreiachsenbeschleunigungssensors an einen Bandpassfilter (BPF), der auf einen vorbestimmten Frequenzbereich eingestellt ist, bei einer vorbestimmten Abtastung, kann der Signalbereich einer Änderung einer Beschleunigung basierend auf einer Berührung beziehungsweise einem Tippen extrahiert werden. Eine Berührung beziehungsweise ein Tippen wird basierend darauf erfasst, ob ein Zählwert, wie oft ein Beschleunigungssignal den BPF passiert hat, einen vorbestimmten Schwellenwert ThreshA überschreitet, ein vorbestimmter Zählwert CountA in einer vorbestimmten Zeit TimeA ist. In dem Fall einer Doppelberührung wird CountA auf 2 eingestellt. In dem Fall einer Dreifachberührung wird CountA auf 3 eingestellt. TimeA oder ThreshA kann ebenso gemäß den Lerninformationen variiert werden.
Erfassung eines Erschütterungszustands
Ein Erschütterungszustand der Bildaufnahmevorrichtung 101 kann von einem Ausgabewert des Gyro-Sensors oder des Beschleunigungssensors, die in der Bildaufnahmevorrichtung 101 bereitgestellt sind, erfasst werden. Eine Hochfrequenzkomponente der Ausgabe des Gyro-Sensors oder des Beschleunigungssensors wird mit einem HPF abgeschnitten, eine Niederfrequenzkomponente wird mit einem LPF abgeschnitten, und dann wird eine Absolutwertumwandlung durchgeführt. Eine Vibration wird basierend darauf erfasst, ob der Zählwert, wie oft der berechnete Absolutwert einen vorbestimmten Schwellenwert ThresB überschreitet, größer oder gleich einem vorbestimmten Zählwert CountB in einer vorbestimmten Zeit TimeB ist. Zum Beispiel kann bestimmt werden, ob der Erschütterungszustand ein kleiner Erschütterungszustand ist, wie etwa wenn die Bildaufnahmevorrichtung 101 auf einem Tisch abgelegt wird, oder ähnliches, oder ein großer Erschütterungszustand ist, wie etwa wenn der Benutzer mit der tragbaren Bildaufnahmevorrichtung 101 geht. Wenn eine Vielzahl von Bedingungen für den Bestimmungsschwellenwert und eine Vielzahl von Bedingungen für den Bestimmungszählwert bereitgestellt sind, kann ein minutiöser Erschütterungsstatus für ein Erschütterungslevel erfasst werden.
TimeB, ThreshB, oder CountB können ebenso gemäß den Lerninformationen variiert werden.
Das Verfahren des Erfassens eines spezifischen Erschütterungszustands basierend auf einer Bedingungsbestimmung des Erschütterungserfassungssensors ist vorstehend beschrieben. Wenn jedoch Daten des Erschütterungserfassungssensors, die innerhalb einer vorbestimmten Zeit abgetastet werden, in die Erschütterungszustandsbestimmungseinrichtung unter Verwendung eines neuronalen Netzwerks eingegeben werden, ist das trainierte neuronale Netzwerk dazu in der Lage, den spezifischen Erschütterungszustand, der im Voraus registriert ist, zu erfassen. In diesem Fall besteht ein Laden von Lerninformationen in Schritt 802 aus einem Laden von Gewichtungsparametern des neuronalen Netzwerks.
Wenn der spezifische Erschütterungszustandserfassungsprozess in Schritt 804 durchgeführt wird, geht der Prozess über zu Schritt 805 und der voreingestellte spezifische Geräuscherfassungsprozess wird durchgeführt. Hier wird der Erfassungsbestimmungsprozess gemäß den Lerninformationen, die in Schritt 802 geladen sind, geändert. Manche Beispiele werden beschrieben.
Spezifische Sprachanweisungserfassung
Eine spezifische Sprachanweisung wird erfasst. Sprachanweisungen können manche Anweisungen sein, die im Voraus registriert sind, und der Benutzer kann eine spezifische Sprache in der Bildaufnahmevorrichtung registrieren.
Spezifische Geräuschszenenerkennung
Eine Geräuschszenenbestimmung wird mit einem Netzwerk durchgeführt, das im Voraus mit Maschinenlernen basierend auf einem großen Betrag an Sprachdaten trainiert ist. Zum Beispiel wird eine spezifische Szene, wie etwa „aufkommender Jubel“, „Klatschen“, und „Sprechen“ erfasst. Eine zu erfassende Szene variiert gemäß dem Lernen.
Geräuschlevelbestimmung
Eine Erfassung basierend auf einer Geräuschlevelbestimmung wird zum Beispiel mit einem Verfahren des Addierens einer Zeitperiode, bei der die Größenordnung des Geräuschlevels ein vorbestimmtes Level innerhalb einer vorbestimmten Zeit überschreitet, durchgeführt. Die vorbestimmte Zeit, die Größenordnung des vorbestimmten Levels und ähnliches variieren gemäß dem Lernen.
Geräuschrichtungsbestimmung
Die Richtung eines Geräuschs in einer Ebene, in der die Vielzahl von Mikrophonen installiert sind, kann erfasst werden und die Richtung eines Geräuschs wird für ein Geräuschlevel einer vorbestimmten Größenordnung erfasst.
In Schritt 805 wird bestimmt, ob der vorstehend beschriebene Bestimmungsprozess in dem Sprachverarbeitungsabschnitt 214 durchgeführt wurde und eine spezifische Geräuscherfassung gemäß den Einstellungen, die im Voraus gelernt sind, durchgeführt wurde.
Wenn der spezifische Geräuscherfassungsprozess in Schritt 805 durchgeführt wird, geht der Prozess über zu Schritt 806. In Schritt 806 wird bestimmt, ob sich der Hauptprozessor (erster Steuerungsabschnitt 223) in einem AUS-Zustand befindet. Wenn sich der Hauptprozessor in dem AUS-Zustand befindet, geht der Prozess über zu Schritt 807 und ein voreingestellter Zeitablauferfassungsprozess wird durchgeführt. Hier wird der Erfassungsbestimmungsprozess gemäß den Lerninformationen, die in Schritt 802 geladen sind, geändert. Die Lerninformationen sind Informationen, die zur Zeit der Kommunikation von Informationen an den Sub-Prozessor (zweiter Steuerungsabschnitt 211) in Schritt 706, der mit Bezug auf 7 beschrieben ist, übertragen wurden. Eine abgelaufene Zeit von dem Zeitpunkt, wenn der Hauptprozessor von einem AN-Zustand in den AUS-Zustand wechselt, wird gemessen. Wenn die abgelaufene Zeit länger oder gleich einem Parameter TimeC ist, wird bestimmt, dass die Zeit abgelaufen ist; wohingegen, wenn die abgelaufene Zeit kürzer als TimeC ist, wird nicht bestimmt, dass die Zeit abgelaufen ist. TimeC ist ein Parameter, der gemäß den Lerninformationen variiert.
Wenn der Zeitablauferfassungsprozess in Schritt 807 durchgeführt wird, geht der Prozess über zu Schritt 808 und es wird bestimmt, ob eine Aufhebung der Niedrigelektrikleistungsverbrauchsbetriebsart bestimmt ist. Die folgende Niedrigelektrikleistungsverbrauchsbetriebsartaufhebungsbedingung wird zur Bestimmung verwendet.

Es kann durch den spezifischen Erschütterungszustandserfassungsprozess in Schritt 804 bestimmt werden, ob die Bestimmungsbedingung für eine spezifische Erschütterungserfassung erfüllt ist. Es kann durch den spezifischen Geräuscherfassungsprozess in Schritt 805 bestimmt werden, ob die Bestimmungsbedingung für eine spezifische Geräuscherfassung erfüllt ist, Es kann durch den Zeitablauferfassungsprozess in Schritt 807 bestimmt werden, ob die Bestimmungsbedingung für eine Zeitablaufbestimmung erfüllt ist. Deshalb, wenn irgendeine oder mehr der Bedingungen erfüllt sind, wird eine Bestimmung zum Aufheben der Niedrigelektrikleistungsverbrauchsbetriebsart vorgenommen.
Wenn in Schritt 808 bestimmt ist, dass die Aufhebungsbedingung erfüllt ist, geht der Prozess über zu Schritt 809 und die Leistung des Hauptprozessors wird eingeschaltet. In Schritt 810 wird die Bedingung (Erschütterung, Geräusch, Zeit), basierend auf der bestimmt ist, dass die Niedrigelektrikleistungsverbrauchsbetriebsart aufgehoben ist, an den Hauptprozessor bereitgestellt. Der Prozess kehrt zurück zu Schritt 801 und der Prozess wird in einer Schleife wiederholt.
Wenn keine der Aufhebungsbedingungen in Schritt 808 erfüllt ist und bestimmt ist, dass die Niedrigelektrikleistungsverbrauchsbetriebsart nicht aufgehoben wird, kehrt der Prozess zurück zu Schritt 801 und der Prozess wird in einer Schleife wiederholt.
Wenn in Schritt 806 bestimmt ist, dass sich der Hauptprozessor in dem AN-Zustand befindet, werden die Informationen, die in Schritt 803 bis 805 beschafft werden, an den Hauptprozessor bereitgestellt. Der Prozess kehrt zurück zu Schritt 801 und der Prozess wird in einer Schleife wiederholt.
Auch wenn sich der Hauptprozessor in dem vorliegenden Ausführungsbeispiel in dem AN-Zustand befindet, wird eine Erschütterungserfassung oder eine Geräuscherfassung durch den Sub-Prozessor durchgeführt und das erfasste Ergebnis wird an den Hauptprozessor bereitgestellt. Wenn jedoch der Hauptprozessor AN ist, müssen die Prozesse von Schritt 803 bis 805 nicht durchgeführt werden und eine Erschütterungserfassung oder eine spezifische Geräuscherfassung kann in einem Prozess (Schritt 702 von 7) in dem Hauptprozessor erfasst werden.
Wie vorstehend beschrieben, durch Durchführen von Schritt 704 bis Schritt 707 von 7 und dem Prozess von 8 werden die Bedingungen zum Wechseln in die Niedrigelektrikleistungsverbrauchsbetriebsart und die Bedingungen zum Aufheben der Niedrigelektrikleistungsverbrauchsbetriebsart basierend auf der Operation des Benutzers gelernt. Somit kann eine Bildaufnahmeoperation, die auf die Verwendbarkeit des Benutzers, dem die Bildaufnahmevorrichtung 101 gehört, angepasst ist, durchgeführt werden. Ein Verfahren des Lernens wird nachstehend beschrieben.
Das Verfahren des Aufhebens der Niedrigelektrikleistungsverbrauchsbetriebsart basierend auf einer Erschütterungserfassung, einer Geräuscherfassung, oder einem Zeitablauf ist vorstehend detailliert beschrieben. Alternativ könnte die Niedrigelektrikleistungsverbrauchsbetriebsart basierend auf Umgebungsinformationen aufgehoben werden. Umgebungsinformationen können basierend darauf bestimmt werden, ob eine Temperatur, ein Atmosphärendruck, eine Helligkeit, eine Feuchtigkeit, ein Absolutbetrag oder eine Variation einer ultravioletten Lichtmenge einen vorbestimmten Schwellenwert überschreitet, und der Schwellenwert kann gemäß dem Lernen variiert werden (nachstehend beschrieben).
Es kann bestimmt werden, ob die Niedrigelektrikleistungsverbrauchsbetriebsart aufgehoben wird, als ein Ergebnis einer Bestimmung bezüglich Informationen über eine Erschütterungserfassung, eine Geräuscherfassung oder einen Zeitablauf oder dem Absolutwert oder der Variation von jedem Element von Umgebungsinformationen basierend auf einem neuronalen Netzwerk und in diesem Bestimmungsprozess kann eine Bestimmungsbedingung gemäß einem Lernen geändert werden (nachstehend beschrieben).
<Prozess der Automatikaufnahmebetriebsart>
Die Details des Prozesses der Automatikaufnahmebetriebsart werden mit Bezug auf 9 beschrieben. Wie vorstehend beschrieben umfasst der erste Steuerungsabschnitt 223 der Bildaufnahmevorrichtung 101 in dem vorliegenden Ausführungsbeispiel die Steuerung über den folgenden Prozess.
In S901 wird der Bildverarbeitungsabschnitt 207 veranlasst, eine Bildverarbeitung bezüglich Signalen, die durch den Abbildungsabschnitt 206 aufgenommen werden, durchzuführen, und ein Bild für eine Subjekterkennung zu erzeugen.
Ein Subjekt, wie etwa eine Person und ein Objekt, wird von dem erzeugten Bild erkannt.
Wenn eine Person erkannt wird, wird das Gesicht oder der Körper des Subjekts erfasst. In einem Gesichtserfassungsprozess ist ein Muster zum Bestimmen des Gesichts einer Person im Voraus eingestellt und ein Abschnitt, der in einem aufgenommenen Bild enthalten ist und der mit dem Muster übereinstimmt, kann als ein Gesichtsbild der Person erfasst werden.
Ein Grad eines Vertrauens beziehungsweise einer Zuverlässigkeit, der die Wahrscheinlichkeit als das Gesicht des Subjekts angibt, wird ebenso gleichzeitig berechnet. Ein Grad einer Koinzidenz wird zum Beispiel von der Größe eines Gesichtsbereichs in dem Bild, dem Grad einer Koinzidenz mit einem Gesichtsmuster und ähnlichem berechnet.
Ebenso kann für eine Objekterkennung auf ähnliche Weise ein Objekt, das mit einem Muster, das im Voraus registriert ist, übereinstimmt, erkannt werden.
Es gibt zum Beispiel ebenso ein Verfahren des Extrahierens eines charakteristischen Subjekts mit einem Verfahren unter Verwendung des Histogramms eines Farbtons, einer Farbart oder ähnlichem in einem aufgenommenen Bild. In diesem Fall, bezüglich des Bildes eines Subjekts, das innerhalb eines Aufnahmebetrachtungswinkels aufgenommen wird, wird ein Prozess des Aufteilens einer Verteilung, die von dem Histogramm des Farbtons, der Farbart oder ähnlichem des Bildes hergeleitet wird, in einer Vielzahl von Abschnitten und Klassifizieren eines aufgenommenen Bildes für jeden Abschnitt ausgeführt.
Zum Beispiel werden die Histogramme einer Vielzahl von Farbkomponenten für ein aufgenommenes Bild erzeugt, wird jedes mit dem bergartigen Verteilungsbereich aufgeteilt, wird ein aufgenommenes Bild in einen Bereich klassifiziert, der zu einer Kombination der gleichen Abschnitte gehört, und wird der Bildbereich des Subjekts erkannt.
Wenn ein Evaluierungswert für jeden Bildbereich eines erkannten Subjekts berechnet wird, kann der Bildbereich des Subjekts mit dem höchsten Evaluierungswert als ein Hauptsubjektbereich bestimmt werden.
Mit dem vorstehenden Verfahren kann jedes Element von Subjektinformationen von Aufnahmeinformationen erhalten werden.
In S902 wird ein Bildstabilisierungsbetrag berechnet. Speziell wird zuerst der Absolutwinkel der Bildaufnahmevorrichtung basierend auf Informationen über die Winkelgeschwindigkeit und Beschleunigung, die durch den Vorrichtungserschütterungserfassungsabschnitt 209 beschafft werden, berechnet. Dann wird ein Vibrationssteuerungswinkel zum Betätigen der Neigungseinheit 104 und der Schwenkeinheit 105 in eine Richtung, um den Absolutwinkel aufzuheben, gefunden, und wird für den Bildstabilisierungsbetrag eingestellt. In dem Prozess des Berechnens eines Bildstabilisierungsbetrags kann hier ein Berechnungsverfahren gemäß einem Lernprozess geändert werden (nachstehend beschrieben).
In S903 wird der Status der Bildaufnahmevorrichtung bestimmt. In welchem Vibrations-/Bewegungsstatus sich die Bildaufnahmevorrichtung befindet, wird zum Beispiel basierend auf einem Winkel und einem Betrag einer Bewegung bestimmt, der von Winkelgeschwindigkeitsinformationen, Beschleunigungsinformationen, GPS-Positionsinformationen, und ähnlichem bestimmt wird.
Wenn zum Beispiel die Bildaufnahmevorrichtung 101 an einem Fahrzeug angebracht ist und ein Bild aufnimmt, ändern sich Subjektinformationen, wie etwa eine umgebende Landschaft, signifikant in Abhängigkeit einer zurückgelegten Entfernung.
Deshalb wird bestimmt, ob sich die Bildaufnahmevorrichtung 101 in einem „Fahrzeugbewegungszustand“ befindet, in dem die Bildaufnahmevorrichtung 101 an einem Fahrzeug angebracht ist, oder ähnliches, und sich mit einer hohen Geschwindigkeit bewegt, und für eine automatische Subjektsuche verwendet werden kann, was später beschrieben wird.
Es wird ebenso bestimmt, ob eine Änderung in einem Winkel groß ist, und es wird bestimmt, ob sich die Bildaufnahmevorrichtung 101 in einem „stationären Aufnahmezustand“ befindet, in dem es fast keinen Erschütterungswinkel gibt. In dem Fall des „stationären Aufnahmezustands“, kann angenommen werden, dass es keine Änderung in dem Winkel der Bildaufnahmevorrichtung 101 selbst gibt, sodass eine Subjektsuche für eine stationäre Aufnahme durchgeführt werden kann.
Wenn eine Änderung in einem Winkel relativ groß ist, wird bestimmt, dass sich die Bildaufnahmevorrichtung 101 in einem „in der Hand gehaltenen Zustand“ befindet, sodass eine Subjektsuche für einen in der Hand gehaltenen Zustand durchgeführt werden kann.
In Schritt S904 wird ein Subjektsuchprozess durchgeführt. Eine Subjektsuche besteht aus den folgenden Prozessen.
Bereichsaufteilung
Eine Bereichsaufteilung wird mit Bezug auf 13 beschrieben. Eine Bereichsaufteilung wird um die Position der Bildaufnahmevorrichtung herum (der Ursprung 0 wird als die Position der Bildaufnahmevorrichtung definiert) durchgeführt, wie in 13A gezeigt ist. In dem Beispiel von 13A wird eine Bereichsaufteilung alle 22,5° in jede der Neigungsrichtungen und der Schwenkrichtung durchgeführt. Wenn eine Bereichsteilung wie in 13A gezeigt durchgeführt wird, da der Winkel in der Neigungsrichtung von 0° verläuft, reduziert sich der Perimeter in eine horizontale Richtung und reduziert sich der Bereich. Somit, wie in 13B gezeigt ist, wenn der Neigungswinkel größer oder gleich 45° ist, wird die Bereichsspanne in die horizontale Richtung eingestellt, sodass diese größer als 22,5° ist. 13C und 13D zeigen Beispiele, in denen der Bereich innerhalb eines Aufnahmebetrachtungswinkels aufgeteilt ist. Eine Achse 1301 ist die Richtung der Bildaufnahmevorrichtung 101 zur Zeit einer Initialisierung und der Bereich wird aufgeteilt, wobei dieser Winkel einer Richtung als eine Referenzposition eingestellt ist. 1302 gibt einen Betrachtungswinkelbereich eines Bildes, das aufgenommen wird, an, und ein Beispiel des Bildes zu dieser Zeit ist in 13D gezeigt. In dem Bild, das in dem Betrachtungswinkel auftaucht, ist das Bild wie in dem Fall von 1303 bis 1318 von 13D basierend auf einer Bereichsaufteilung aufgeteilt.
Berechnung eines Wichtigkeitslevels von jedem Bereich
Für jeden der aufgeteilten Bereiche, wie vorstehend beschrieben, wird ein Wichtigkeitslevel, das die Reihenfolge einer Priorität zum Suchen angibt, gemäß einem Subjekt, das in dem Bereich vorhanden ist, und der Szenenbedingung des Bereichs berechnet. Ein Wichtigkeitslevel basierend auf der Bedingung eines Subjekts wird zum Beispiel basierend auf der Anzahl von Personen, die in einem Bereich vorhanden sind, der Größe des Gesichts von jeder Person, einer Gesichtsausrichtung, einer Wahrscheinlichkeit einer Gesichtserfassung, den Gesichtsausdrücken von jeder Person, und einem persönlichen Authentifizierungsergebnis von jeder Person berechnet. Ein Wichtigkeitslevel basierend auf der Bedingung einer Szene ist zum Beispiel ein Erkennungsergebnis eines allgemeinen Objekts, ein Szenenidentifikationsergebnis (blauer Himmel, Hintergrundlicht, Abendansicht, oder ähnliches), das Level und das Spracherkennungsergebnis eines Geräusches, das von einem Bereich kommt, Bewegungserfassungsinformationen in einem Bereich, oder ähnliches. Der Vibrationsstatus der Bildaufnahmevorrichtung wurde beim Bestimmen des Status der Bildaufnahmevorrichtung erfasst (S903), und das Wichtigkeitslevel kann ebenso konfiguriert sein, um gemäß dem Vibrationsstatus zu variieren. Wenn zum Beispiel der „statische Aufnahmezustand“ bestimmt ist, wird das Wichtigkeitslevel als hoch bestimmt, wenn die Gesichtsidentifikation einer spezifischen Person erfasst wird, sodass die Objektsuche durch Fokussieren auf ein Subjekt mit einer höheren Priorität unter den Registrierten mit einer Gesichtsidentifikation durchgeführt wird (zum Beispiel der Benutzer der Bildaufnahmevorrichtung). Eine Automatikaufnahme (nachstehend beschrieben) wird ebenso vorzugsweise bezüglich des vorstehend beschriebenen Gesichts durchgeführt. Auch wenn eine Zeitperiode, während der der Benutzer der Bildaufnahmevorrichtung mit der Bildaufnahmevorrichtung, die an dem Körper getragen wird, aufnimmt, lang ist, aber wenn die Bildaufnahmevorrichtung entfernt und auf einem Tisch aufgelegt wird, oder ähnliches, können viele Bilder, die dem Benutzer enthalten aufgezeichnet werden. Zu diesem Zeitpunkt ist ein Suchen mittels eines Schwenkens/Neigens möglich, sodass, auch wenn der Platzierungswinkel oder ähnliches der Bildaufnahmevorrichtung nicht berücksichtigt wird, ein Bild, das den Benutzer enthält, und ein Gruppenfoto oder ähnliches, das viele Gesichter enthält, nur durch grobes Platzieren der Bildaufnahmevorrichtung aufgezeichnet werden kann. Nur mit den vorstehend beschriebenen Bedingungen ist der Bereich mit dem höchsten Wichtigkeitslevel der Gleiche, solange es keine Änderungen in den Bereichen gibt, mit dem Ergebnis, dass der gefundene Bereich konstant unverändert bleibt. Folglich wird das Wichtigkeitslevel gemäß den vorhergehenden Aufnahmeinformationen geändert. Speziell kann das Wichtigkeitslevel des Bereichs, der kontinuierlich als ein Suchbereich für eine vorbestimmte Zeit bestimmt wurde, verringert werden, oder kann das Wichtigkeitslevel des Bereichs, in dem eine Aufnahme in Schritt S910 (nachstehend beschrieben) durchgeführt wird, für eine vorbestimmte Zeit verringert werden.
Bestimmen des Suchzielbereichs
Wenn das Wichtigkeitslevel von jedem Bereich wie vorstehend beschrieben berechnet wird, wird der Bereich mit dem höchsten Wichtigkeitslevel als ein Suchzielbereich bestimmt. Ein Sollschwenk-/Neigungssuchwinkel, der erforderlich ist, um den Suchzielbereich in dem Betrachtungswinkel aufzunehmen, wird berechnet.
In Schritt S905 wird die Kamera geschwenkt/geneigt. Speziell wird ein Schwenk-/Neigungsbetrag durch Addieren eines Antriebswinkels bei einer Steuerungsabtastung basierend auf einem Bildstabilisierungsbetrag und des Sollschwenk-/Neigungssuchwinkel berechnet, und die Neigungseinheit 104 und die Schwenkeinheit 105 werden jeweils gesteuert, um durch den Objektivtubusrotationsantriebsabschnitt 205 angetrieben zu werden.
In S906 wird die Zoom-Einheit 201 gesteuert und wird mit der Kamera gezoomt. Speziell wird mit der Kamera gemäß dem Status des Suchzielsubjekts, das in Schritt S904 eingestellt wird, gezoomt. Wenn zum Beispiel das Suchzielsubjekt das Gesicht einer Person ist, kann ein zu kleines Gesicht in einem Bild nicht erfasst werden, weil die Größe kleiner als eine erfassbare Minimalgröße ist, und könnte verloren gehen. In solch einem Fall wird die Zoom-Einheit 201 gesteuert, um auf eine Teleseite zu zoomen, sodass die Größe des Gesichts auf dem Bild vergrößert wird. Andererseits, wenn ein Gesicht auf einem Bild zu groß ist, kann das Subjekt außerhalb des Betrachtungswinkels fallen, in Abhängigkeit der Bewegung des Subjekts oder der Bildaufnahmevorrichtung selbst. In solch einem Fall wird die Zoom-Einheit 201 gesteuert, um auf eine Weitwinkelseite zu zoomen, sodass die Größe des Gesichts in dem Rahmen reduziert wird. Durch Ausführung der Zoom-Steuerung auf diese Weise kann ein Zustand, der zum Verfolgen eines Subjekts geeignet ist, beibehalten werden.
In S904 bis S906 wird ein Verfahren der Subjektsuche durch Schwenken/Neigen oder Zoomen beschrieben. Alternativ kann eine Subjektsuche mit einem Bildaufnahmesystem durchgeführt werden, das in alle Richtungen gleichzeitig unter Verwendung einer Vielzahl von Weitwinkellinsen aufnimmt. In dem Fall einer omnidirektionalen Kamera, wenn eine Bildverarbeitung, wie etwa eine Subjekterfassung bezüglich all der Signale, die durch Aufnehmen als Eingabebilder erhalten werden, durchgeführt wird, ist eine enorme Verarbeitung erforderlich. Folglich wird ein Teil eines Bildes abgeschnitten und ein Prozess zum Suchen für ein Subjekt wird innerhalb des Bereichs des abgeschnittenen Bildes durchgeführt. Das Wichtigkeitslevel von jedem Bereich wird wie in dem Fall des vorstehend beschriebenen Verfahrens berechnet, eine Abschneideposition wird basierend auf dem Wichtigkeitslevel geändert, und eine Bestimmung bezüglich einer automatischen Aufnahme (später beschrieben) wird durchgeführt. Somit sind eine Reduktion in einem Verbrauch an elektrischer Leistung und eine Hochgeschwindigkeitssubjektsuche durch eine Bildverarbeitung möglich.
Es wird in S907 bestimmt, ob es eine (manuelle) Aufnahmeanweisung des Benutzers gibt. Wenn es eine Aufnahmeanweisung gibt, geht der Prozess über zu S910. Zu dieser Zeit könnte die (manuelle) Aufnahmeanweisung des Benutzers ein Drücken der Verschlusstaste der Bildaufnahmevorrichtung 101 oder ein Drücken der Verschlusstaste des Handsteuerungsaufsatzes 5001 ein. Alternativ kann die (manuelle) Aufnahmeanweisung des Benutzers ein Tippen auf das Gehäuse der Bildaufnahmevorrichtung mit einem Finger oder ähnliches, eine Sprachanweisungseingabe, eine Anweisung von der externen Vorrichtung oder ähnliches sein. Eine Aufnahmeanweisung, die durch Tippen bereitgestellt wird, ist ein Aufnahmeanweisungsverfahren des, wenn der Benutzer auf das Gehäuse der Bildaufnahmevorrichtung tippt, Erfassens von aufeinanderfolgenden Hochfrequenzbeschleunigungen in einer kurzen Periode mit dem Vorrichtungserschütterungserfassungsabschnitt 209 und des Auslösens einer Aufnahme. Eine Sprachanweisungseingabe ist ein Aufnahmeanweisungsverfahren des, wenn der Benutzer ein Passwort spricht (zum Beispiel „Ein Bild aufnehmen“, oder ähnliches) zum Bereitstellen einer Anweisung für ein vorbestimmtes Aufnehmen, Erkennens einer Sprache mit dem Sprachverarbeitungsabschnitt 214 und Auslösens einer Aufnahme. Eine Anweisung von der externen Vorrichtung ist ein Aufnahmeverfahren, das ein Verschlussanweisungssignal verwendet, das über die exklusive Anwendung zum Beispiel eines Smartphone oder ähnlichem, das mit der Bildaufnahmevorrichtung über eine Bluetooth-Verbindung verbunden, als ein Auslöser gesendet wird.
In S908 wird eine Automatikaufnahmebestimmung durchgeführt. In der Automatikaufnahmebestimmung wird eine Bestimmung dahingehend vorgenommen, ob eine automatische Aufnahme durchgeführt wird und eine Bestimmung bezüglich des Aufnahmeverfahrens (eine Bestimmung dahingehend, welche einer Einzelaufnahme eines Standbildes, einer kontinuierlichen Aufnahme (kontinuierliche Belichtung) von Standbildern, Videoaufnahme, Panoramaaufnahme, Zeitrafferaufnahme oder ähnliches durchgeführt wird) wird durchgeführt.
Um ein Objekt direkt vor den Augen des Benutzers aufzunehmen, ist solch eine Szene denkbar, die der Benutzer aufnimmt, während er die Bildaufnahmevorrichtung leicht vorwärts drückt, während die Bildaufnahmevorrichtung an dem Benutzer getragen wird. In solch einer Szene, zum Beispiel, ist es wünschenswert, üblicherweise ein Standbild schnell aufzunehmen. Um einen Landschaftsbereich aufzunehmen, ist solch eine Szene denkbar, bei der der Benutzer die Bildaufnahmevorrichtung hält, die um seinen Nacken hängt, und eine Aufnahme macht, während er die Bildaufnahmevorrichtung nach vorne oben anhebt. In solch einer Szene, zum Beispiel, auch wenn eine Panoramaaufnahme erwartet wird oder nicht, lernt der Benutzer solch ein Aufnahmeverfahren, wenn ein Bild, das durch eine Panoramaaufnahme erhalten wird, dem Benutzer bereitgestellt wird, und diese Erfahrung kann für eine zukünftige Aufnahme verwendet werden. Folglich, um diese Szenen zu identifizieren, werden diese Szenen zum Beispiel durch Erfassen einer Bewegungsentfernung der Bildaufnahmevorrichtung von einem gehaltenen Zustand bis zu einer Aufnahme identifiziert. Auf diese Weise kann ein bevorzugtes Aufnahmeverfahren in Abhängigkeit der Weise des Einstellens der Bildaufnahmevorrichtung variieren, sodass das Aufnahmeverfahren gemäß dem Status der Bildaufnahmevorrichtung zur Zeit des Wechselns in eine Aufnahme geändert werden kann. Bezüglich des Zwecks des Benutzers, in dem Fall einer Szene, in der ein Subjekt leicht nach oben platziert ist, und die Bildaufnahmevorrichtung nach oben angehoben wird, um das Subjekt aufzunehmen, ist es wünschenswert, ein normales Standbild schnell aufzunehmen. Folglich, um diese Identifikation durchzuführen, wird zum Beispiel eine Subjektentfernung erfasst. Somit kann eine Szene identifiziert werden. Auf diese Weise, da ein bevorzugtes Aufnahmeverfahren in Abhängigkeit des Status eines Subjekts variieren kann, kann das Aufnahmeverfahren gemäß dem Status der Bildaufnahmevorrichtung zur Zeit des Wechselns in eine Aufnahme und dem Status eines Subjekts, das gesehen wird, geändert wird. Um ein vertikal langes Subjekt vor den Augen des Benutzers aufzunehmen, wird ein Zustand vorgeschlagen, in dem ein Benutzer die Bildaufnahmevorrichtung hält, die um den Nacken hängt, und eine Aufnahme durchführt, während er die Bildaufnahmevorrichtung hält, die nach oben gerichtet ist. Für solch eine Szene, bei der das Bild eines Loftgebäudes aufgenommen wird, zum Beispiel, ist ein Sightseeing-Ort denkbar. In solch einer Szene zum Beispiel, auch wenn eine vertikale Panoramaaufnahme erwartet wird oder nicht, lernt der Benutzer solch ein Aufnahmeverfahren, wenn ein Bild, das durch eine vertikale Panoramaaufnahme erhalten wird, dem Benutzer bereitgestellt wird, und diese Erfahrung kann für eine weitere Aufnahme verwendet werden. Folglich wird in solch einem Fall ein Haltewinkel erfasst. Somit kann eine Szene identifiziert werden. Die Genauigkeit des Bestimmens, ob ein vertikales Panorama oder ein horizontales Panorama bevorzugt ist, kann durch weiteres Bestimmen von, zum Beispiel, einer Entfernung zu einem Subjekt und Entfernungen zu dem Subjekt in den oberen, unteren, rechten und linken Bereichen als der Status des Subjekts zu dieser Zeit verbessert werden. Mit anderen Worten, wenn die Entfernung zu einem Subjekt und Entfernungen zu den oberen und unteren Bereichen des Subjekts äquivalente Entfernungen sind, kann bestimmt werden, eine vertikale Panoramaaufnahme durchzuführen. Für eine 360-Grad-Aufnahme, ist solch eine Szene denkbar, in der der Benutzer die Bildaufnahmevorrichtung hält, die um den Nacken hängt, und eine Aufnahme durchführt, während er die Bildaufnahmevorrichtung hält, die direkt nach oben gerichtet ist. Solch eine Szene, bei der zum Beispiel ein Bild, das einen Zustand des Umherschauens auf dem Gipfel eines Berges zeigt, aufgenommen wird, ist denkbar. Zu dieser Zeit ist es denkbar, dass zum Beispiel der Benutzer die Betriebsart auf eine 360-Grad-Aufnahmebetriebsart mit der externen Vorrichtung einstellt und eine Aufnahmeanweisung bereitstellt. Folglich, zum Beispiel, in solch einem Fall, wenn eine Benutzerschnittstelle zum Fragen, ob in die 360-Grad-Aufnahme zu wechseln ist, zur Zeit bereitgestellt ist, wenn der Benutzer die externe Vorrichtung betätigt, können eine Zeit und ein Aufwand für die Operation des Benutzers reduziert werden. Weiterhin, während solch eine Operation mehrere Male wiederholt wird, erwartet der Benutzer, dass er dazu in der Lage ist, eine 360-Grad-Aufnahme nur durch Drücken der Freigabetaste mit der externen Vorrichtung durchzuführen, die direkt nach oben gerichtet ist, ohne die externe Vorrichtung zu betätigen. Folglich wird zum Beispiel in solch einem Fall eine 360-Grad-Aufnahme durchgeführt, wenn die Bewegungsrichtung der Bildaufnahmevorrichtung von dem gehaltenen Zustand zu der Aufnahme die Richtung direkt nach oben ist, und eine Zeit und einen Aufwand für eine Aufnahme des Benutzers können reduziert werden.
Auf diese Weise, durch Ändern des Aufnahmeverfahrens basierend auf dem Status der Bildaufnahmevorrichtung und dem Status eines Subjekts, können eine Zeit und ein Aufwand des Benutzers während einer Aufnahme und während einer Überprüfung eines aufgenommenen Bildes reduziert werden.
Bei solch einer Bestimmung eines Aufnahmeverfahrens, das basierend auf dem Status der Bildaufnahmevorrichtung und dem Status eines Subjekts zu erwarten ist, sowie des Bestimmungsverfahrens beim <Bestimmen, ob eine Automatikaufnahme durchzuführen ist>, kann das Aufnahmeverfahren durch eine Bestimmung basierend auf einem neuronalen Netzwerk bestimmt werden. In diesem Bestimmungsprozess kann eine Bestimmungsbedingung durch einen Benutzer durch den Lernprozess (nachstehend beschrieben) geändert werden. In solch einem Fall wird eine Vielzahl von Bildern mit einer Vielzahl von Aufnahmeverfahren in der initialen Stufe des Lernens aufgezeichnet, und in dem Lernprozess (nachstehend beschrieben) kann die Bestimmungsbedingung gemäß dem Bild, dessen Aufnahmeverfahren der Benutzer bevorzugt, geändert werden.
Auf diese Weise wird eine Bestimmung eines Aufnahmeverfahrens, das für eine Intention des Benutzers in dem Fall geeignet ist, in dem es eine manuelle Aufnahmeanweisung des Benutzers gibt, beschrieben. Solch ein Prozess ist in einem Automatikaufnahmebestimmungsprozess ebenso anwendbar, in dem Fall, in dem es keine manuelle Aufnahmeanweisung gibt, wie in S908b. Mit anderen Worten, wenn bestimmt ist, dass die Bildaufnahmevorrichtung eingestellt ist, kann ein Aufnahmeverfahren, das die Intention des Benutzers wiederspiegelt, auf ähnliche Weise durch Erfassen der Weise des Einstellens der Bildaufnahmevorrichtung bestimmt werden.
Durch Überwachen der Beschleunigung der Bildaufnahmevorrichtung, auch während einer Automatikaufnahme, kann die Weise des Einstellens der Bildaufnahmevorrichtung erfasst werden und das Aufnahmeverfahren, das die Intention des Benutzers widerspiegelt, kann bestimmt werden.
Bestimmung dahingehend, ob eine automatische Aufnahme durchzuführen ist
Eine Bestimmung dahingehend, ob eine automatische Aufnahme durchzuführen ist, wird basierend auf den folgenden zwei Bestimmungen durchgeführt. Eine ist, dass, wenn das Wichtigkeitslevel einen vorbestimmten Wert basierend auf dem Wichtigkeitslevel für jeden der Bereiche, die in S904 erhalten werden, überschreitet, eine Bestimmung zum Durchführen einer automatischen Aufnahme vorgenommen wird. Die zweite ist eine Bestimmung basierend auf dem neuronalen Netzwerk. Als ein Beispiel des neuronalen Netzwerks ist ein Beispiel eines Netzwerks mit einem Mehrschichtperzeptron beziehungsweise einer Mehrschichtwahrnehmung in 12 gezeigt. Ein neuronales Netzwerk wird verwendet, um einen Ausgabewert von Eingabewerten vorherzusagen, und, wenn das neuronale Netzwerk Eingabewerte und einen Modellausgabewert für die Eingaben im Voraus lernt, ist es dazu in der Lage, einen Ausgabewert entsprechend dem gelernten Modell für neue Eingabewerte zu schätzen. Ein Verfahren des Lernens wird nachstehend beschrieben. In 12 sind 1201 und die folgenden Kreise, die in Spalten angeordnet sind, Neuronen einer Eingabeschicht, sind 1203 und die folgenden Kreise, die in Spalten angeordnet sind, Neuronen einer Zwischenschicht, und ist 1204 ein Neuron einer Ausgabeschicht. Pfeile, wie 1202 stellen einen Anbindungszusammenhang der Neuronen dar. In einer Bestimmung basierend auf einem neuronalen Netzwerk wird ein Subjekt, das in einem momentanen Betrachtungswinkel erscheint oder Merkmalsbeträge basierend auf dem Status einer Szene oder Bildaufnahmevorrichtung an die Neuronen der Eingabeschicht als Eingaben gegeben, und ein Wert wird von der Ausgabeschicht durch Berechnung basierend auf der Vorwärtsausbreitungsregel des Mehrschichtperzeptrons ausgegeben. Wenn der Ausgabewert größer oder gleich einem Schwellenwert ist, wird eine Bestimmung zum Durchführen eines automatischen Aufnehmens durchgeführt. Die Merkmale eines Subjekts sind der momentane Zoomskalierungsfaktor, ein allgemeines Subjekterkennungsergebnis in dem momentanen Betrachtungswinkel, ein Gesichtserfassungsergebnis, die Anzahl von Gesichtern, die in dem momentanen Betrachtungswinkel enthalten sind, der Grad eines Lächelns und der Grad von geschlossenen Augen von jedem Gesicht, ein Gesichtswinkel, eine Gesichtsidentifikations-ID-Nummer, der Sichtlinienwinkel einer Subjektperson, ein Szenenidentifikationsergebnis, ein erfasstes Ergebnis einer spezifischen Komposition und ähnliches. Eine abgelaufene Zeit von der letzten Aufnahme, eine momentane Zeit, GPS-Positionsinformationen, eine Variation von einer letzten Aufnahmeposition, ein momentanes Sprachlevel, eine sprechende Person, ob ein Klatschen oder ein Jubel aufkommen, oder ähnliches kann verwendet werden. Vibrationsinformationen (Beschleunigungsinformationen, der Status der Bildaufnahmevorrichtung), Umgebungsinformationen (Temperatur, Atmosphärendruck, Belichtung, Luftfeuchtigkeit, der Betrag an ultraviolettem Licht), oder ähnliches können verwendet werden. Weiterhin, wenn Informationen von der tragbaren Einrichtung 501 bereitgestellt werden, können die bereitgestellten Informationen (Bewegungsinformationen des Benutzers, Informationen über die Aktion des Arms, biologische Informationen, wie etwa eine Herzfrequenz und ähnliches) als Merkmale verwendet werden. Diese Merkmale werden innerhalb eines vorbestimmten Bereichs in numerische Werte umgewandelt und an die Neuronen der Eingabeschicht als Merkmalsbeträge gegeben. Deshalb ist die gleiche Anzahl von Neuronen in der Eingabeschicht erforderlich, wie die Anzahl von zu verwendeten Merkmalsbeträgen.
In einer Bestimmung basierend auf dem neuronalen Netzwerk variieren die Ausgabewerte durch Ändern der Bindungsgewichtungen zwischen den Neuronen durch den Lernprozess (nachstehend beschrieben), und das Ergebnis der Bestimmung kann an das Lernergebnis angepasst werden.
Eine Bestimmung für eine automatische Aufnahme variiert ebenso in Abhängigkeit der Inbetriebnahmebedingung des Hauptprozessors, die in Schritt 702 von 7 geladen wird. In dem Fall zum Beispiel der Inbetriebnahme basierend auf einer Berührungserfassung oder der Inbetriebnahme basierend auf der spezifischen Sprachanweisung, gibt es eine beträchtlich hohe Wahrscheinlichkeit, dass dies eine Operation ist, bei der der Benutzer momentan eine Aufnahme durchführen will. Folglich wird die Häufigkeit der Aufnahme eingestellt, sodass diese erhöht wird.
Bestimmung eines Aufnahmeverfahrens
Beim Bestimmen eines Aufnahmeverfahrens wird eine Bestimmung dahingehend vorgenommen, welche der Standbildaufnahme, der Videoaufnahme, der kontinuierlichen Aufnahme, der Panoramaaufnahme, und ähnlichem durchzuführen ist, basierend auf dem Status der Bildaufnahmevorrichtung und dem Status eines Umgebungssubjekts, die in Schritt S901 bis S904 erfasst werden. Zum Beispiel wird eine Standbildaufnahme durchgeführt, wenn ein Subjekt (eine Person) statisch ist, und wird eine Videoaufnahme oder eine kontinuierliche Aufnahme durchgeführt, wenn sich ein Subjekt bewegt. Wenn eine Vielzahl von Subjekten um die Bildaufnahmevorrichtungen vorhanden ist oder basierend auf den vorstehend beschriebenen GPS-Informationen bestimmt ist, dass man sich in einem Landschaftsbereich befindet, kann ein Panoramaaufnahmeprozess des Erzeugens eines Panoramabildes durch Kombinieren von sequenziell aufgenommen Bildern während eines Schwenkens/Neigens ausgeführt werden. Wie in dem Fall des Bestimmungsverfahren beim <Bestimmen dahingehend, ob eine Automatikaufnahme durchzuführen ist>, kann ein Aufnahmeverfahren durch eine Bestimmung basierend auf einem neuronalen Netzwerk unter Verwendung von verschiedenen Elementen von Informationen, die vor einer Aufnahme erfasst werden, bestimmt werden, und, in dem Bestimmungsprozess, kann die Bestimmungsbedingung durch den Lernprozess geändert werden (nachstehend beschrieben).
Wenn in S909 als Ergebnis der Automatikaufnahmebestimmung von S908 bestimmt ist, eine Aufnahme durchzuführen, geht der Prozess über zu S910; ansonsten geht der Prozess über zu dem Ende des Prozesses der Aufnahmebetriebsart.
In S910 wird die automatische Aufnahme gestartet. Zu dieser Zeit wird eine Aufnahme unter Verwendung des Aufnahmeverfahrens, das in S908 bestimmt ist, gestartet. Zu dieser Zeit wird eine Autofokussteuerung durch den Fokussteuerungsabschnitt 204 ausgeführt. Eine Belichtungssteuerung zum Einstellen eines Subjekts auf eine angemessene Helligkeit wird unter Verwendung eines Belichtungssteuerungsabschnitts, eines Sensorverstärkungssteuerungsabschnitts und eines Verschlusssteuerungsabschnitts (nicht gezeigt) ausgeführt. Zusätzlich, nach einer Aufnahme, erzeugt der Bildverarbeitungsabschnitt 207 ein Bild durch Durchführen verschiedener Bildverarbeitungen, wie etwa eines Automatikweißabgleichs, einer Rauschreduzierung, und einer Gammakorrektur.
Zur Zeit der Aufnahme, wenn eine vorbestimmte Bedingung erfüllt ist, kann ein Verfahren des Ausführens eines Prozesses des Informierens einer Person, die aufzunehmen ist, dass die Bildaufnahmevorrichtung eine Aufnahme durchführt, und dann des Aufnehmens, eingesetzt werden. Ein Mitteilungsverfahren kann zum Beispiel eine Sprache von einem Sprachausgabeabschnitt 218 oder eine blinkende LED, die durch den LED-Steuerungsabschnitt 224 erzeugt wird, verwenden oder eine Bewegung zum visuellen Führen der Sichtlinie eines Subjekts durch Schwenken/Neigen durchführen. Die vorbestimmte Bedingung ist zum Beispiel die Anzahl von Gesichtern im Betrachtungswinkel, der Grad eines Lächelns und der Grad geschlossener Augen von jedem Gesicht, der Sichtlinienwinkel oder der Gesichtswinkel einer Subjektperson, eine Gesichtsidentifikations-ID-Nummer, die Anzahl von Personen mit registrierten persönlichen Informationen, und eine Feier. Die vorbestimmte Bedingung ist ebenso ein Erkennungsergebnis eines allgemeinen Objekts während einer Aufnahme, ein Szeneidentifikationsergebnis, eine abgelaufene Zeit von einer letzten Aufnahme, eine Aufnahmezeit, ob sich eine momentane Position basierend auf GPS-Informationen in einem landschaftlichen Bereich befindet, ein Sprachlevel während einer Aufnahme, ob es eine sprechende Person gibt, ob ein Klatschen oder ein Jubeln aufkommen, oder ähnliches. Die vorbestimmte Bedingung sind ebenso Vibrationsinformationen (Beschleunigungsinformationen, der Status der Bildaufnahmevorrichtung), Umgebungsinformationen (Temperatur, Atmosphärendruck, Lichtintensität, Luftfeuchtigkeit, der Betrag an ultraviolettem Licht), oder ähnliches. Wenn ein mitgeteiltes Aufnehmen basierend auf diesen Bedingungen durchgeführt wird, kann ein Bild, bei dem bevorzugte Augen zu der Kamera gerichtet sind, in einer sehr wichtigen Szene aufgezeichnet werden.
Alternativ kann eine Vielzahl von vorbestimmten Bedingungen bereitgestellt sein, und gemäß diesen Bedingungen kann eine Sprache geändert werden, kann ein LED-Leuchtverfahren (wie etwa Farbe und Blinkzeit) geändert werden oder kann ein Schwenk-Neigungs-Bewegungsverfahren (die Art der Bewegung und Antriebsgeschwindigkeit) geändert werden.
Für solch eine Mitteilung vor einer Aufnahme können das Verfahren oder der Zeitpunkt einer Mitteilung durch Informationen über ein aufgenommenes Bild oder eine Bestimmung basierend auf einem neuronalen Netzwerk unter Verwendung von verschiedenen Elementen von Informationen, die vor dem Aufnehmen erfasst werden, bestimmt werden. In diesem Bestimmungsprozess kann eine Bestimmungsbedingung durch den Lernprozess geändert werden (nachstehend beschrieben).
In S911 wird ein Bearbeitungsprozess, in dem das Bild, das in S910 erzeugt wird, verarbeitet oder zu einem Bewegtbild hinzugefügt wird, durchgeführt. Eine Bildverarbeitung ist speziell ein Zuschneiden basierend auf dem Gesicht einer Person oder einer Fokusposition, eine Drehung eines Bildes, ein HDR-Effekt (HDR, „High Dynamic Range“), ein Unschärfeeffekt, ein Farbumwandlungsbildeffekt, oder ähnliches. In der Bildverarbeitung kann eine Vielzahl von Bildern basierend auf dem Bild, das in S910 erzeugt wird, unter Verwendung von Kombinationen der vorstehend beschriebenen Prozesse erzeugt werden, und die erzeugten Bilder könnte separat von dem in S910 erzeugten Bild gespeichert werden. Bei einer Bewegtbildverarbeitung könnte ein Prozess des Hinzufügens eines aufgenommenen Bewegtbildes oder Standbildes zu einem erzeugten bearbeiteten Bewegtbild während des Anwendens von Spezialeffekten des Gleitens, Zoomens, und Abblendens durchgeführt werden. Ebenso beim Bearbeiten in S911 kann ein Verfahren der Bildverarbeitung durch Informationen über ein aufgenommenes Bild oder eine Bestimmung basierend auf einem neuronalen Netzwerk unter Verwendung von verschiedenen Elementen von Informationen, die vor einer Aufnahme erfasst werden, bestimmt werden, und in diesem Bestimmungsprozess kann die Bestimmungsbedingung durch den Lernprozess geändert werden (nachstehend beschrieben).
In S912 wird ein Prozess des Erzeugens von Lerninformationen eines aufgenommenen Bildes durchgeführt. Hier werden Informationen, die in dem Lernprozess (nachstehend beschrieben) verwendet werden, erzeugt und aufgezeichnet. Speziell sind die Informationen ein Zoomskalierungsfaktor während einer Aufnahme, ein Erkennungsergebnis eines angewandten Objekts während einer Aufnahme, ein Gesichtserfassungsergebnis, die Anzahl von Gesichtern, die in einem aufgenommenen Bild enthalten sind, der Grad eines Lächelns und geschlossener Augen eines jeden Gesichts, ein Gesichtswinkel, eine Gesichtsidentifikations-ID-Nummer, der Sichtlinienwinkel einer Subjektperson oder ähnliches in dem momentan aufgenommenen Bild. Die Informationen sind ebenso ein Szenenidentifikationsergebnis, eine abgelaufene Zeit für eine letzte Aufnahme, eine Aufnahmezeit, GPS-Positionsinformationen, eine Variation von einer letzten Aufnahmeposition, ein Sprachlevel während einer Aufnahme, eine sprechende Person, ob ein Klatschen oder ein Jubel aufkommt, oder ähnliches. Die Informationen sind ebenso Vibrationsinformationen (Beschleunigungsinformationen, der Status der Bildaufnahmevorrichtung), Umgebungsinformationen (Temperatur, Atmosphärendruck, Lichtintensität, Luftfeuchtigkeit, der Betrag an ultraviolettem Licht), eine Videoaufnahmezeit, ob diese auf einer manuellen Aufnahmeanweisung basiert, oder ähnliches. Zusätzlich wird ebenso eine Punktzahl, die von einem neuronalen Netzwerk ausgegeben wird, und die gemäß einer Präferenz des Benutzers des Bildes digitalisiert wird, berechnet.
Diese Elemente von Informationen werden erzeugt und in einer aufgenommenen Bilddatei als Etikettinformationen aufgezeichnet. Alternativ können Elemente von Informationen über aufgenommene Bilder in den nichtflüchtigen Speicher 216 geschrieben werden oder können in dem Aufzeichnungsmedium 221 in einem Listenformat als sogenannte Katalogdaten gesichert werden.
In S913 werden die vorhergehenden Aufnahmeinformationen aktualisiert. Speziell wird die Anzahl von Bildern, die für jeden Bereich aufgenommen wird, die Anzahl von Bildern, die für jede Person mit registriertem persönlichen Identifikationen aufgenommen wird, die Anzahl von Bildern für jedes Subjekt, das durch eine allgemeine Objekterkennung erkannt wird, oder die Anzahl von Bildern, die für jede Szene in einer Szenenidentifikation aufgenommen wird, was in S908 beschrieben ist, die mit dem momentan aufgenommenen Bild verknüpft sind, um einen Zählwert erhöht.
(Beispiel einer manuellen Aufnahme durch eine Spracherkennung)
Wie in S907 von 9 beschrieben ist, umfasst eine (manuelle) Aufnahmeanweisung eines Benutzers ebenso eine Anweisung basierend auf einer Sprachanweisungseingabe. Eine Sprachanweisungseingabe umfasst eine Sprachanweisungseingabe in dem Fall, in dem der Benutzer ein Bild aufnehmen will, das ihn oder sie selbst enthält (zum Beispiel „Nimm ein Bild von mir auf“, oder ähnliches). Dann wird in den Suchprozessen unter Verwendung von Schwenken/Neigen oder Zoomen eine Suche für ein sprechendes Subjekt vorgenommen, und ein Bild, in dem das Subjekt, das eine Sprachanweisung gesprochen hat, in einem Aufnahmebetrachtungswinkel enthalten ist, wird aufgenommen.
Eine Aufnahme des Benutzers selbst unter Verwendung einer Sprachanweisung wird mit Bezug auf das Ablaufdiagramm, das in 24 gezeigt ist, beschrieben. 24 ist ein Prozess, der eine Bestimmung innerhalb des Prozesses von S907 von 9 durchführt.
Innerhalb des manuellen Aufnahmeanweisungsprozesses von S907 wird bestimmt, ob ein Aufnehmen auf einer Sprachanweisungseingabe basiert. In S2401 wird bestimmt, ob eine spezifische Sprachanweisungseingabe (zum Beispiel „Nimm ein Bild von mir auf“, oder ähnliches) durch den Sprachverarbeitungsabschnitt 214 erfasst wird. Wenn keine Sprachanweisung erfasst wird, geht der Prozess über zu S2416 und der Manuellsprachsteuerungsaufnahmebestimmungsprozess wird beendet, ohne eine Bestimmung einer manuellen Aufnahme vorzunehmen. Wenn eine Sprachanweisung in S2401 erfasst wird, geht der Prozess über zu S2402.
In S1402 wird die Richtung des Geräuschs, von dem die Sprachanweisung erfasst wird, berechnet, und eine erste Geräuschrichtung, eine zweite Geräuschrichtung, eine dritte Geräuschrichtung und eine vierte Geräuschrichtung in absteigender Reihenfolge des Grads einer Zuverlässigkeit der Geräuschrichtung werden als ein Kandidat berechnet. Wenn die Genauigkeit des Erfassens einer Geräuschrichtung beträchtlich hoch ist, muss eine Vielzahl von Kandidaten nicht berechnet werden oder ein nachfolgender Suchprozess oder ähnliches muss nicht durchgeführt werden. Jedoch könnte ein Rauschen in der erfassten Geräuschrichtung vorhanden sein, aufgrund des Status eines umgebenden Rauschens zur Zeit des Erfassens der Sprachanweisung, dem Einfluss der Objektumgebung, wie etwa eine Geräuschwiderspiegelung, oder ähnliches, sodass eine Vielzahl von Kandidaten berechnet wird.
Speziell werden Kandidaten von allen der erfassten Geräuschrichtungswerte, die zu der Zeit, die eine vorbestimmte Zeit vor dem Zeitpunkt, zu dem die Sprachanweisung erfasst wird, erfasst werden, berechnet. Eine Zeit zum Sprechen einer Sprachanweisung, die im Voraus registriert ist, kann bis zu einem gewissen Grad vorhergesagt werden (zum Beispiel wenn „Nimm ein Bild von mir auf“ eine Anweisung ist, ist eine Zeit, die benötigt wird, um die Anweisung zu sprechen, im Voraus als Parameter eingestellt). Eine erste Spitze 2501 wird als die erste Geräuschrichtung eingestellt und eine zweite Spitze 2502 wird als die zweite Geräuschrichtung in dem Histogrammprozess eingestellt, wie in 25 gezeigt ist, von allen erfassten Geräuschrichtungswerten, die innerhalb der vorbestimmten Zeit erfasst werden. Die erste Geräuschrichtung und die zweite Geräuschrichtung werden jeweils berechnet und der Prozess geht über zu S2405.
In S2403 wird bestimmt, ob ein Schwenk-/Neigungswiederholungsversuch eingestellt ist. Für eine Schwenk-/Neigungswiederholungsversucheinstellung wird ein Schwenk-/Neigungswiederholungsversuch in S2405 später eingestellt und eine Schwenk-/Neigungswiederholungsversuchbestimmung wird nicht zu dem Zeitpunkt durchgeführt, zu dem der Manuellsprachsteuerungsaufnahmebestimmungsprozess dieses Ablaufs gestartet wird. Wenn ein Schwenk-/Neigungswiederholungsversuch in S2403 nicht eingestellt ist, geht der Prozess über zu S2404, und die erste Geräuschrichtung, die in S2402 berechnet wird, wird als die Geräuschrichtung eingestellt. Wenn in S2403 bestimmt ist, dass der Schwenk-/Neigungswiederholungsversuch eingestellt ist, geht der Prozess über zu S2405 und die zweite Geräuschrichtung, die in S2404 berechnet wird, wird als die Geräuschrichtung eingestellt. Wenn die Prozesse von S2404 und S2405 enden, geht der Prozess über zu S2406.
In S2406 wird bestimmt, ob eine Differenz zwischen der eingestellten Geräuschrichtung und dem momentanen Schwenk-/Neigungswinkel außerhalb eines vorbestimmten Bereichs liegt, das heißt, ob die Differenz zwischen der Geräuschrichtung und der Mitte des momentanen Betrachtungswinkels außerhalb des vorbestimmten Bereichs liegt. Wenn die Differenz außerhalb des vorbestimmten Bereichs liegt, geht der Prozess über zu S2407, wird die Kamera geschwenkt/geneigt, um den Schwenk-/Neigungswinkel anzupassen, sodass die erfasste Geräuschrichtung in die Mitte des Betrachtungswinkels kommt, und geht der Prozess über zu S2408. Wenn die Differenz zwischen der Geräuschrichtung und der Mitte des momentanen Betrachtungswinkels innerhalb des vorbestimmten Bereichs in S2406 liegt, befindet sich die Geräuschrichtung in der Nähe der Mitte innerhalb des Betrachtungswinkels, sodass der Prozess zu S2408 ohne ein Schwenken oder ein Neigen übergeht.
In S2408 wird durch eine Bildverarbeitung und Analyse bezüglich des aufgenommenen Bildes bestimmt, ob ein Hauptsubjekt innerhalb des momentanen Betrachtungswinkels liegt. Ein spezifisches Bestimmungsverfahren wird wie folgt beschrieben.
Erfassung eines Hauptsubjekts durch ein faltendes neuronales Netzwerk beziehungsweise „Convolutional Neural Network“
Eine Erfassung eines Hauptsubjekts durch ein faltendes neuronales Netzwerk ist als ein allgemeines Maschinenlernverfahren eines Bilderkennungsprozesses bekannt. Durch ein faltendes neuronales Netzwerk wird das Vorhandensein oder Nichtvorhandensein eines erfassten Hauptsubjekts (eines sprechenden Subjekts) erhalten und, wenn das Hauptsubjekt vorhanden ist, werden ebenso die Positionsinformationen über das Bild erhalten. Alternativ kann eine Hauptsubjektbestimmung durch ein faltendes neuronales Netzwerk für jedes Bild durchgeführt werden, wobei der Bereich von jeder Person basierend auf den Ergebnissen einer Gesichtserfassung und einer Körpererfassung zugeschnitten wird, und ein Hauptsubjekt kann geschätzt werden. Dieses faltende neuronale Netzwerk wird als das eine im Voraus trainierte basierend auf den Bildern von Personen, die Sprachanweisungen sprechen, vorbereitet; jedoch kann das faltende neuronale Netzwerk trainiert werden, während es in einem Verfahren verwendet wird, das nachstehend beschrieben wird.
Erfassung eines Hauptsubjekts durch ein neuronales Netzwerk
Es gibt ein Verfahren des Durchführens einer Hauptsubjektbestimmung bezüglich jeder Person unter Verwendung der Merkmalsbeträge eines Subjekts als Eingaben für jede Person, die in dem momentanen Betrachtungswinkel enthalten ist. In diesem Fall können nicht nur Gesichtsmerkmale, wie etwa ein Gesichtsausdruckbestimmungsergebnis, der Grad geschlossener Augen, ein Gesichtswinkel, eine Gesichtsidentifikation-ID-Nummer, und der Sichtlinienwinkel einer Subjektperson, sondern ebenso ein Gestenbestimmungsergebnis, ein Bildszenenbestimmungsergebnis, ein momentanes Geräuschlevel, ein Geräuschszenenbestimmungsergebnis oder ähnliches als ein Merkmal, das einzugeben ist, verwendet werden. Dieses neuronale Netzwerk ist ebenso das eine trainierte basierend auf den Subjektmerkmalsbeträgen basierend auf den Bildern von Personen, die Sprachanweisungen sprechen; jedoch kann das neuronale Netzwerk trainiert werden, während es in einem Verfahren verwendet wird, das nachstehend beschrieben wird.
Erfassung eines Subjekts durch eine Bestimmung von Merkmalen von jeder Person
Da ein Subjekt gerade in Richtung der Bildaufnahmevorrichtung 101 gesprochen hat, gibt es eine beträchtlich hohe Wahrscheinlichkeit, dass das Subjekt der Kamera gegenübersteht. Folglich könnten die Richtungskoeffizienten den erfassten Ergebnissen der Gesichtsidentifikations-ID-Nummer, dem Gesichtsausdruckergebnis, dem Gesichtswinkel, der Sichtlinienrichtung und dem Gestenbestimmungsergebnis zugewiesen werden, und eine Bestimmung könnte einfach durchgeführt werden. Wenn die Gesichtsidentifikations-ID bereits registriert ist, gibt es eine hohe Wahrscheinlichkeit, dass die Person ein Hauptsubjekt ist. Wenn der Grad eines Lächelns des Gesichtsausdrucks hoch ist, gibt es eine hohe Wahrscheinlichkeit, dass die Person das Hauptsubjekt ist. Wenn der Gesichtswinkel oder die Sichtlinienrichtung in Richtung der Kamera ist, gibt es eine hohe Wahrscheinlichkeit, dass die Person das Hauptsubjekt ist. Wenn eine Geste (zum Beispiel ein Winken in die Kamera oder ähnliches) durchgeführt wird, gibt es eine hohe Wahrscheinlichkeit, dass die Person ein Hauptsubjekt ist. Ein Hauptsubjekt kann unter Verwendung von irgendwelchen oder mehreren der Elemente von Informationen geschätzt werden.
Ob sich ein Hauptsubjekt innerhalb des momentanen Betrachtungswinkels befindet, kann unter Verwendung von irgendeinem der Verfahren bestimmt werden oder kann durch eine Kombination von zwei oder mehr der Verfahren (1) bis (3) bestimmt werden.
Nachdem eine Bildanalyse in S2408 durchgeführt wird, geht der Prozess über zu S2409 und es wird bestimmt, ob ein Hauptsubjekt in dem Prozess von S2408 gefunden wurde. Wenn in S2409 bestimmt ist, dass ein Hauptsubjekt vorhanden ist, geht der Prozess über zu S2410. In S2410 wird eine Kompositionsanpassung durch Zoomen und Schwenken/Neigen durchgeführt, und der Prozess geht über zu S2411. Eine Bestimmung einer Komposition, die zum Aufnehmen eines Bildes, das das Hauptsubjekt enthält, geeignet ist, kann durch eine Bestimmung unter Verwendung eines neuronalen Netzwerks durchgeführt werden. Ein Ausgabewert variiert durch Ändern der Bindungsgewichtungen zwischen den Neuronen durch den Lernprozess (nachstehend beschrieben), und das Ergebnis der Bestimmung kann an das Lernergebnis angepasst werden.
In S2411 wird bestimmt, dass es eine manuelle Aufnahmeanweisung gibt, und der Prozess geht über zu S2416. Der Manuellsprachsteuerungsaufnahmeprozess wird beendet und der Prozess geht über zu S910 in 9 und dann wird eine Aufnahme gestartet.
Wenn in S2409 bestimmt ist, dass es kein Hauptsubjekt innerhalb des momentanen Betrachtungswinkels gibt, geht der Prozess über zu S2412.
In S2412 wird bestimmt, ob eine vorbestimmte Zeit von dem Zeitpunkt, wenn ein Schwenken/Neigen in S2407 beendet ist, abgelaufen ist. Wenn bereits in S2406 bestimmt wurde, dass die Geräuschrichtung und die Mitte des momentanen Betrachtungswinkels innerhalb des vorbestimmten Bereichs liegen, wird dies basierend auf einer abgelaufenen Zeit von dem bestimmten Zeitpunkt bestimmt. Hier, wenn die vorbestimmte Zeit nicht abgelaufen ist, geht der Prozess über zu S2413 und eine Suche unter Verwendung von Zoomen wird durchgeführt. Wenn ein Subjekt, das eine Sprachanweisung ausgesprochen hat, innerhalb des Betrachtungswinkels beträchtlich klein ist, ist die Größe des Gesichts klein und ist die Auflösung des Gesichts ebenso niedrig, sodass dies die Erfassungsgenauigkeit basierend auf einer Bildanalyse beeinträchtigen kann. Folglich zoomt in diesem Fall die Kamera hinein, um den Betrachtungswinkel einzuengen, und der Prozess von S2408 wird wiederholt ausgeführt. Wenn ein Subjekt, das eine Sprachanweisung ausgesprochen hat, innerhalb des Betrachtungswinkels zu groß ist, kann das Gesamtbild einer Person nicht gesehen werden und kann nicht unter Berücksichtigung von Beispiel dem Vornehmen einer Geste oder ähnlichem bestimmt werden. Folglich zoomt die Kamera heraus, um den Betrachtungswinkel zu verbreitern und der Prozess von S2408 wird wiederholt ausgeführt.
Wenn in S2412 bestimmt ist, dass die vorbestimmte Zeit von dem Beenden des Schwenkens/Neigens abgelaufen ist, wird bestimmt, dass es kein Subjekt gibt, das eine Sprachanweisung in der eingestellten Geräuschrichtung gibt. Dann, um nach dem nächsten Geräuschrichtungskandidaten zu suchen, geht der Prozess über zu S2414 und es wird bestimmt, ob eine Schwenk- /Neigungswiederholungsversuchoperation vorher durchgeführt wurde. Wenn kein Wiederholungsversuch durchgeführt wurde, geht der Prozess über zu S2415 und ein Schwenk-/Neigungswiederholungsversuch wird eingestellt und dann kehrt der Prozess zurück zu 2403. Zu dieser Zeit, da ein Schwenk-/Neigungswiederholungsversuch eingestellt ist, wird der Betrachtungswinkel auf die Geräuschrichtung eingestellt, die die zweite Geräuschrichtung von S2405 ist, durch die Bestimmung von S2403 und ein Prozess des Suchens nach einem Hauptsubjekt wird wiederholt durchgeführt. In dem Beispiel von 24 wird ein Verfahren des Suchens nach zwei Kandidaten, das heißt, der ersten Geräuschrichtung und der zweiten Geräuschrichtung gezeigt; jedoch könnte die dritte oder vierte Richtung erfasst werden und könnte ein Wiederholungsversuch wiederholt werden.
Wenn in S2414 bestimmt ist, dass der Schwenk-/Neigungswiederholungsversuch bereits durchgeführt wurde, geht der Prozess über zu S2416 und der ManuellSprachsteuerungsaufnahmebestimmungsprozess wird beendet, ohne eine Bestimmung einer manuellen Aufnahme vorzunehmen. Zu dieser Zeit, um den Benutzer zu informieren, dass eine Aufnahme nicht durchgeführt wird, obwohl eine Sprachanweisung erfasst wird, kann ein Verfahren des Durchführens des Mitteilungsprozesses vorgenommen werden. Ein Mitteilungsverfahren kann zum Beispiel eine Sprache von dem Sprachausgabeabschnitt 218 oder ein blinkendes Licht der LED, das durch den LED-Steuerungsabschnitt 224 erzeugt wird, verwenden. Ein Mitteilungsverfahren kann eine Bewegung durchführen, um die Sichtlinie eines Subjekts durch Schwenken/Neigen visuell zu führen oder kann ein Verfahren des Bereitstellens einer Kommunikation und einer Mitteilung an die intelligente Einrichtung 301 oder die tragbare Einrichtung 501 sein.
In 24 wird eine Aufnahme, die sich daraus ergibt, dass der Benutzer eine Sprachanweisungseingabe durchführt, in dem Fall, in dem der Benutzer ein Bild aufnehmen will, dass den Benutzer selbst enthält, beschrieben. Jedoch kann eine Sprachanweisungseingabe eine Sprachanweisungseingabe in dem Fall sein, in dem der Benutzer sich selbst als ein Hauptsubjekt registrieren will (zum Beispiel „Registrier mich“, „Verfolge mich“, oder ähnliches). In diesem Fall, in dem vorstehend beschriebenen Suchprozess, wird eine Suche nach einem Subjekt, das gesprochen hat, vorgenommen, und das Subjekt wird registriert. Wenn das Subjekt registriert ist, wird eine automatische Aufnahme durch Fokussieren auf das registrierte Subjekt danach durchgeführt. Eine Aufnahme kann durchgeführt werden, während das registrierte Subjekt konstant innerhalb des Betrachtungswinkels beibehalten wird, durch Schwenken/Neigen oder Zoomen. Wenn eine Sprachanweisung für eine Subjektregistrierung eingegeben wird, kann die Subjektregistrierung durch Ändern des Prozesses von S2411 in einem Prozess des Registrierens eines Subjekts innerhalb des Prozesses von 24 implementiert werden.
Auch wenn ein Subjekt registriert wird, wird ein Erfassungs- und ein Registrierungsprozess durch Schwenken/Neigen oder Zoomen durchgeführt, sodass der Betrachtungswinkel eine einfache Gesichtsidentifikationsregistrierung ermöglicht, und eine Registrierung einer erfassten Farbe von getragener Kleidung oder ähnlichem wird einfach durchgeführt.
Wenn die Bildaufnahmevorrichtung 101 keinen Monitor umfasst, kann ein registriertes Subjekt nicht überprüft werden. Folglich, wie in 26 gezeigt ist, wird die Tatsache, dass ein Subjekt registriert ist, an die intelligente Einrichtung 301 informiert, oder Bilddaten eines registrierten Subjekts können gesendet werden, um dem Benutzer eine Überprüfung zu ermöglichen.
Wenn ein Subjekt registriert ist, werden Daten, die eine Mitteilung 2602 bereitstellen, dass die Registrierung gesehen werden kann, durch eine Kommunikationseinrichtung 222 an die intelligente Einrichtung 301 über eine Kommunikation 2601 gesendet. Wenn der Benutzer das Subjekt durch Betätigen der intelligenten Einrichtung 301 überprüft, sendet 2603 die Bildaufnahmevorrichtung 101 die Bilddaten und veranlasst die intelligente Einrichtung, ein Subjekt 2604, das in der intelligenten Einrichtung registriert ist, anzuzeigen, sodass der Benutzer dies überprüfen kann. Die Anzeige, die der Benutzer überprüfen kann, kann solch eine Anzeige sein, dass ein Bild bezüglich des registrierten Subjekts 2604 auf einem Gesichtsrahmen oder in der Nähe des Gesichtsrahmens (darunter) überlagert wird, um anzugeben, dass die Bildaufnahmevorrichtung 101 das Gesicht identifiziert hat. Das zugehörige Bild kann während einer Videoaufnahme angezeigt werden oder kann während einer Videowiedergabe angezeigt werden.
Durch Bereitstellen des registrierten Subjekts, sodass der Benutzer dies auf diese Weise überprüfen kann, auch wenn ein registriertes Subjekt falsch ist, kann der Benutzer aufgefordert werden, ein Subjekt erneut zu registrieren. Da bestimmt werden kann, ob es korrekt oder nicht korrekt ist, kann ein registriertes Subjekt durch den Lernprozess gelernt und geändert werden, was später beschrieben wird.
In dem vorliegenden Ausführungsbeispiel wird ein Aufnehmen in eine Geräuschrichtung und eine Subjektregistrierung durch eine Sprachanweisungseingabe unter Verwendung von sowohl Schwenken/Neigen als auch Zoomen beschrieben; jedoch kann eine Aufnahme und eine Subjektregistrierung nur unter Verwendung von Schwenken/Neigen durchgeführt werden oder kann eine Aufnahme einer Subjektregistrierung nur unter Verwendung von Zoomen durchgeführt werden.
Wenn nur Schwenken/Neigen verwendet wird, werden S2412 und S2413 in 24 nicht durchgeführt.
Wenn nur Zoomen verwendet wird, wird, nachdem die Geräuschrichtung erfasst, ein Zoomen eingestellt, sodass die Geräuschrichtung innerhalb des Betrachtungswinkels fällt und eine Suche für ein Hauptsubjekt wird mit Zoomen vorgenommen. Somit werden eine Aufnahme und eine Subjektregistrierung durchgeführt.
<Prozess einer Automatikbearbeitungsbetriebsart (Highlight-Video)>
Als Nächstes wird der Prozess der Automatikbearbeitungsbetriebsart (Highlight-Video) in dem vorliegenden Ausführungsbeispiel beschrieben.
Beim Bestimmen einer Betriebsart, die in Schritt 704 von 7 einzustellen ist, wird bestimmt, ob der Automatikbearbeitungsprozess (Highlight-Video) durchzuführen ist. Wenn bestimmt ist, den Automatikbearbeitungsprozess durchzuführen, wird der Prozess der Automatikbearbeitungsbetriebsart von Schritt 712 durchgeführt.
Eine Bestimmungsbedingung für die Automatikbearbeitungsbetriebsart wird beschrieben. Ob in die Automatikbearbeitungsbetriebsart zu wechseln ist, wird basierend auf einer abgelaufenen Zeit von einem letzten Bearbeitungsprozess oder Etikettinformationen (wie etwa Lerninformationen und eine Punktzahl, die die Präferenz des Benutzers des Bildes digitalisiert) von jedem Bild, das nach dem Zeitpunkt, zu dem der letzte Bearbeitungsprozess durchgeführt wird, aufgenommen ist, bestimmt. Ein Bestimmungsprozessablauf dahingehend, ob in die Automatikbearbeitungsbetriebsart zu wechseln ist, was in dem Betriebsarteinstellbestimmungsprozess in Schritt 704 bestimmt wird, ist in 10 gezeigt.
Wenn eine Anweisung zum Starten der Automatikbearbeitungsbetriebsartbestimmung in dem Betriebarteinstellbestimmungsprozess in Schritt 704 ausgegeben wird, startet der Prozess von 10. In Schritt 1001 wird eine abgelaufene Zeit TimeD von dem Zeitpunkt, wenn der letzte Automatikbearbeitungsprozess durchgeführt wurde, beschafft, und der Prozess geht über zu Schritt 1002. In Schritt 1002 werden Lerninformationen, eine Punktzahl und ähnliches, die mit jedem Bild, das nach dem Zeitpunkt, zu dem der letzte Bearbeitungsprozess durchgeführt wurde, aufgenommen wird, verknüpft sind, beschafft, und der Prozess geht über zu Schritt 1003. In Schritt 1003 wird ein Evaluierungswert DB zum Bestimmen, ob eine automatische Bearbeitung durchzuführen ist, von den in Schritt 1002 beschafften Daten berechnet. Ein Verfahren des Berechnens eines Evaluierungswerts umfasst zum Beispiel ein Extrahieren von Merkmalen eines Bildes von jedem Element von Bildinformationen und, wenn es viele Arten von Merkmalen gibt, ein Zuweisen höherer Punkte. Wie in der vorstehenden automatischen Aufnahme beschrieben ist, wird eine Punktzahl, die für die Präferenz des Benutzers bestimmt ist, für jedes Bild berechnet und höhere Punkte werden einem Bild mit einer höheren Punktzahl zugewiesen. Höhere Punkte werden berechnet, wenn sich die Anzahl von aufgenommenen Bildern erhöht. Somit hängt ein Evaluierungswert davon ab, wie hoch die Punkte der Punktzahl sind, hängt von der Anzahl von Bildern ab, und umfasst einen Einwand bezüglich der Arten von Merkmalen. Der Prozess geht über zu Schritt 1004. In Schritt 1004 wird ein Schwellenwert DA von TimeD berechnet. Zum Beispiel wird ein Schwellenwert DAa in dem Fall, in dem TimeD kürzer als ein vorbestimmter Wert ist, eingestellt, sodass dieser größer als ein Schwellenwert DAb ist, in dem Fall, in dem TimeD länger als der vorbestimmte Wert ist, und der Schwellenwert wird eingestellt, sodass dieser sich mit der Zeit reduziert. Somit, auch in dem Fall, in dem Aufnahmebilddaten klein sind, wird der Automatikbearbeitungsprozess durchgeführt, wenn eine abgelaufene Zeit lang ist, mit dem Ergebnis, dass eine Bildaufnahmevorrichtung dazu konfiguriert ist, automatisch ein Highlight-Video gemäß einer Verwendungszeit zu erzeugen.
Wenn der Prozess von Schritt 1004 beendet ist, geht der Prozess über zu 1005. Wenn der Evaluierungswert DB größer als der Schwellenwert DA ist, geht der Prozess über zu Schritt 1006. Da dies der Fall ist, in dem, nach dem Zeitpunkt, zu dem die letzte automatische Bearbeitung durchgeführt wurde, Daten, die automatisch zu bearbeiten sind, erhalten werden, oder bestimmt ist, eine automatische Verarbeitung durchzuführen, aufgrund einer langen abgelaufenen Zeit, wird die Automatikbearbeitungsbetriebsart auf WAHR eingestellt, und wird die Automatikbearbeitungsbetriebsartbestimmung beendet. Wenn der Evaluierungswert DB kleiner oder gleich dem Schwellenwert DA in Schritt 1005 ist, wird bestimmt, dass Daten, die automatisch zu bearbeiten sind, nicht verfügbar sind, sodass die Automatikbearbeitungsbetriebsartbestimmung auf FALSCH eingestellt wird, sodass der Automatikbearbeitungsprozess nicht durchgeführt wird, und der Automatikbearbeitungsbestimmungsprozess wird beendet.
Als Nächstes wird ein Prozess in dem Prozess der Automatikbearbeitungsbetriebsart (Schritt 712) beschrieben. Der detaillierte Ablauf des Prozesses der Automatikbearbeitungsbetriebsart ist in 11 gezeigt.
In S1101 wird ein Prozess des Auswählens von Standbildern und Bewegtbildern, die in dem Aufzeichnungsmedium 221 gesichert sind, in dem ersten Steuerungsabschnitt 223 ausgeführt, um Bilder auszuwählen, die beim Bearbeiten zu verwenden sind, und der Prozess geht über zu S1102.
Der Bildauswahlprozess hier dient zum Extrahieren von Metadaten, wie etwa der Anzahl von Gesichtern, der Größe von jedem Gesicht und Farbgruppen, in einem aufgenommenen Standbild oder Bewegtbild für jedes Bild, Umwandeln der Metadaten in einen Evaluierungswert, und Auflisten der Bilder, deren Evaluierungswert größer oder gleich einem eingestellten Schwellenwert ist. Das Auswahlverhältnis zwischen einem Standbild und einem Bewegtbild wird durch Lernen entschieden (nachstehend beschrieben) und eine Auswahl wird vorzugweise hinsichtlich der Einstellungen des Benutzers, der Häufigkeit der Aufnahme und den Einstellungen durchgeführt.
In S1102 werden Bildeffekte durch den ersten Steuerungsabschnitt 223 und den Bildverarbeitungsabschnitt 207 auf die in S1101 ausgewählten Bilder angewendet und der Prozess geht über zu S1103.
Die Anwendung von Bildeffekten umfasst hier ein Zuschneiden bezüglich des Gesichts einer Person oder der Mitte einer Fokusposition, eine Drehung eines Bildes, einen HDR-Effekt (HDR, „High Dynamic Range“), einen Unschärfeeffekt, Spezialeffekte des Gleitens, Zoomens, und Abblendens, ein Farbfiltereffekt oder ähnliches in einem Standbild.
Auch in einem Bewegtbild wird auf ähnliche Weise ein Farbfilter angewendet.
In S1103 wird eine Bildwiedergabezeit in dem ersten Steuerungsabschnitt 223 eingestellt und der Prozess geht über zu S1104. Eine geeignete Bildwiedergabezeit wird basierend auf einem Lernen (nachstehend beschrieben) zum Erzeugen eines Highlight-Videos eingestellt, das in S1105 beschrieben wird, unter Verwendung in S1101 ausgewählten Bilder.
In S1104 wird eine Musik (BGM), die auf das Highlight-Video anzuwenden ist, was in S1105 beschrieben wird, in dem ersten Steuerungsabschnitt 223 eingestellt und der Prozess geht über zu S1105. Auch zum Einstellen einer Musik (BGM) wird die am besten geeignete, die dem Benutzer bereitzustellen ist, basierend auf dem Ergebnis eines Lernens (nachstehend beschrieben) eingestellt.
In S1105 wird eine Reihe einer Highlight-Videoerzeugung unter Verwendung der Ergebnisse von S1101 bis S1104 in dem ersten Steuerungsabschnitt 223 durchgeführt. Das erzeugte Highlight-Video wird in dem Aufzeichnungsmedium 221 gesichert.
Die vorstehend beschriebene Auswahl von Bildern, Anwendung von Bildeffekten, Wiedergabezeit, und BGM-Auswahl kann durch eine Bestimmung basierend auf einem neuronalen Netzwerk unter Verwendung der Etikettinformationen (Informationen über ein aufgenommenes Bild, oder verschiedene Arten von Informationen, die vor der Aufnahme erfasst wurden), die zu jedem Bild hinzugefügt sind, bestimmt werden. In diesem Bestimmungsprozess kann eine Bestimmungsbedingung durch den Lernprozess (nachstehend beschrieben) geändert werden.
<Prozess der Automatikdateilöschbetriebsart>
Als Nächstes wird der Prozess der Automatikdateilöschdateibetriebsart in dem vorliegenden Ausführungsbeispiel beschrieben.
In dem vorliegenden Ausführungsbeispiel, wenn es keine verfügbare Kapazität in einem Aufzeichnungsmedium gibt, kann eine Aufnahme nicht durchgeführt werden, und es gibt Bedenken, dass eine Aufnahme als Reaktion auf eine Intention des Benutzers nicht durchgeführt werden kann, oder eine gewünschte Szene in einer Automatikaufnahme nicht aufgenommen werden kann. Bilder können durch eine Operation des Benutzers gelöscht werden; jedoch ist dies kompliziert. Folglich muss ein Bild, das eine Bedingung erfüllt, in dem Prozess, der nachstehend beschrieben wird, automatisch gelöscht werden. Andererseits könnte der Benutzer Bilder löschen, die später benötigt werden, sodass geeignete Bilder ausgewählt und gelöscht werden müssen.
Der Prozess wird anhand eines Beispiels des Prozessablaufs der Automatikdateilöschbetriebsart von 29 beschrieben.
In S2901 wird die verfügbare Kapazität in dem Aufzeichnungsmedium überprüft. In S2902 wird eine Sollanzahl von Bildern, die zu löschen sind, gemäß der verfügbaren Kapazität in dem Aufzeichnungsmedium entschieden. Zum Beispiel wird eine Sollanzahl von Bildern, die zu löschen sind, eingestellt, sodass sich diese erhöht, wenn sich die verfügbare Kapazität verringert, und wird eingestellt, sodass sich diese erhöht, wenn sich die eingestellte Häufigkeit einer Aufnahme erhöht. Die Sollanzahl von Bildern, die zu löschen sind, kann gemäß dem Lernen variiert werden (später beschrieben). In S2903 wird eine Liste von aufgenommenen Bildern, die in dem Aufzeichnungsmedium gesichert sind, und in absteigender Reihenfolge der Punktzahl, die die Präferenz des Benutzers des Bildes digitalisiert (nachstehend beschrieben), erzeugt. In S2904 wird bestimmt, ob ein Bild eins nach dem anderen vom Beginn der sortierten Liste zu dem Ende gelöscht ist und ein Löschprozess wird ausgeführt. In S2905 wird bestimmt, ob ein gewünschtes Bild auf der Liste eine Löschbedingung erfüllt.
Die Löschbedingung kann zum Beispiel die Tatsache sein, dass ein Bild nicht dasjenige ist, dass durch den Benutzer manuell aufgenommen wird, oder die Tatsache, dass ein Bild nicht dasjenige ist, dass durch den Benutzer hoch bewertet wurde. Diese sind Bilder, die der Benutzer mag oder später braucht, sodass diese vorzugsweise von der Löschbedingung ausgeschlossen werden.
Die Tatsache, dass ein Bild bereits an eine externe Kommunikationsvorrichtung übertragen wurde, wie etwa die intelligente Einrichtung, in der Automatikübertragungsbetriebsart, die Tatsache, dass der Benutzer ein Bild von der externen Kommunikationsvorrichtung nicht durchsucht hat oder ähnliches, kann verwendet werden. Wenn ein Bild bereits übertragen ist, ist das übertragene Bild verwendbar, sodass eine Löschung des Bildes weniger wahrscheinlich zu einem Nachteil des Benutzers führt. Ein automatisch aufgenommenes Bild, das der Benutzer kein einziges Mal gesucht hat, wird durch den Benutzer nicht erkannt, sodass angenommen werden kann, dass der Benutzer keinen Nachteil erfährt, wenn das Bild gelöscht wird. Wenn ein Bild die Löschbedingung erfüllt, geht der Prozess über zu S2906, das Bild wird gelöscht, und der Prozess geht über zu S2907. Wenn das Bild die Bedingung nicht erfüllt, geht der Prozess über zu S2097, ohne das Bild zu löschen. In S2907 wird bestimmt, ob die Sollanzahl von Bildern, die zu löschen ist, erreicht wurde. Wenn die Sollanzahl von Bildern erreicht wurde, wird der Prozess der Automatiklöschbetriebsart beendet. Wenn die Sollanzahl nicht erreicht wird, kehrt der Prozess zurück zu S2904 und der Prozess wird bezüglich des nächsten Bildes in der Liste sequentiell wiederholt. Wenn es kein zu verarbeitendes Bild in der Liste in S2904 gibt, wird der Prozess beendet.
<Prozess der Lernbetriebsart>
Als Nächstes wird ein Lernen, das an die Präferenz des Benutzers angepasst ist, in dem vorliegenden Ausführungsbeispiel beschrieben.
Im vorliegenden Ausführungsbeispiel wird das neuronale Netzwerk, das in 12 gezeigt ist, verwendet, und ein Lernen, das an die Präferenz des Benutzers angepasst ist, wird in dem Lernverarbeitungsabschnitt 219 unter Verwendung eines Maschinenlernalgorithmus durchgeführt. Das neuronale Netzwerk wird verwendet, um einen Ausgabewert von Eingabewerten vorherzusagen. Wenn das neuronale Netzwerk historische Werte der Eingabewerte und historische Werte des Ausgabewerte im Voraus lernt, ist das neuronale Netzwerk dazu in der Lage, einen Ausgabewert für neue Eingabewerte zu schätzen. Unter Verwendung des neuronalen Netzwerks wird ein Lernen, das an die Präferenz des Benutzers angepasst ist, für die vorstehend beschriebene automatische Aufnahme, automatische Bearbeitung und Subjektsuche durchgeführt.
Eine Subjektregistrierung (Gesichtsidentifikation, allgemeine Objekterkennung oder ähnliches), welche Merkmalsdaten sind, die in das neuronale Netzwerk einzugeben sind, werden registriert und eine Aufnahmemitteilungssteuerung, eine Niedrigelektrikleistungsverbrauchsbetriebsartsteuerung, und eine Automatikdateilöschung werden durch das Lernen geändert.
In dem vorliegenden Ausführungsbeispiel sind die Elemente, die durch den Lernprozess zu lernen sind, wie folgt.
Automatische Aufnahme
Ein Lernen für eine automatische Aufnahme wird beschrieben. In einer automatischen Aufnahme wird ein Lernen zum automatischen Aufnehmen eines Bildes, das mit den Präferenzen eines Benutzers übereinstimmt, durchgeführt. Wie mit Bezug auf den Ablauf von 9 beschrieben ist, wird der Prozess des Erzeugens von Lerninformationen nach einer Aufnahme durchgeführt (Schritt S912). Bilder, die durch ein Verfahren zu lernen sind (nachstehend beschrieben) werden ausgewählt und ein Lernen wird durch Ändern der Gewichtungen des neuronalen Netzwerks basierend auf Lerninformationen, die in den Bildern enthalten sind, durchgeführt. Ein Lernen wird durch Ändern des neuronalen Netzwerks, das einen automatischen Aufnahmezeitpunkt bestimmt, und Ändern des neuronalen Netzwerks, das ein Aufnahmeverfahren (Standbildaufnahme, Videoaufnahme, kontinuierliche Aufnahme, Panoramaaufnahme oder ähnliches) bestimmt, durchgeführt.
Automatische Bearbeitung
Ein Lernen für eine automatische Bearbeitung wird beschrieben. Für eine automatische Bearbeitung wird ein Lernen bezüglich jeder Bearbeitung kurz nach einer Aufnahme in Schritt 911 von 9 und einer Bearbeitung eines Highlight-Videos, die in 11 beschrieben ist, durchgeführt. Eine Bearbeitung kurz nach einer Aufnahme wird beschrieben. Bilder, die durch ein Verfahren zu lernen sind (nachstehend beschrieben), werden ausgewählt und ein Lernen wird durch Ändern der Gewichtungen des neuronalen Netzwerks basierend auf Lerninformationen, die in den Bildern enthalten sind, durchgeführt. Verschiedene Elemente von erfassten Informationen, die von Informationen beim Aufnehmen oder kurz vor dem Aufnehmen erhalten werden, werden in das neuronale Netzwerk eingegeben, und ein Bearbeitungsverfahren (Zuschneiden, Drehung eines Bildes, HDR-Effekt (HDR, „High Dynamic Range“), Unschärfeeffekt, Farbumwandlungsfiltereffekt, oder ähnliches) wird bestimmt. Eine Bearbeitung eines Highlight-Videos wird beschrieben. Für ein Highlight-Video wird ein Lernen zum automatischen Erzeugen eines Videoalbums das mit einer Präferenz des Benutzers übereinstimmt, durchgeführt. Bilder, die durch ein Verfahren zu lernen sind (nachstehend beschrieben), werden ausgewählt und ein Lernen wird durch Ändern der Gewichtungen des neuronalen Netzwerks basierend auf Lerninformationen, die in den Bildern enthalten sind, durchgeführt. Verschiedene Elemente von erfassten Informationen, die von Informationen beim Aufnehmen oder kurz vor dem Aufnehmen erhalten werden, werden in das neuronale Netzwerk eingegeben und eine Anwendung eines Bildeffekts (Zuschneiden, Drehung, HDR-Effekt, Unschärfeeffekt, Gleiten, Zoomen, Abblenden, Farbumwandlungsfiltereffekt, BGM, Zeit, Standbild-Bewegtbild-Verhältnis) wird bestimmt.
Subjektsuche
Ein Lernen für eine Subjektsuche wird beschrieben. Für eine Subjektsuche wird ein Lernen zum automatischen Suchen nach einem Subjekt, das mit einer Präferenz des Benutzers übereinstimmt durchgeführt. Wie mit Bezug auf den Ablauf von 9 beschrieben ist, wird in dem Subjektsuchprozess (Schritt S904) das Wichtigkeitslevel von jedem Bereich berechnet, wird die Kamera geschwenkt/geneigt oder gezoomt, und wird in der Subjektsuche durchgeführt. Ein Lernen wird basierend auf einem aufgenommenen Bild und erfassten Informationen während einer Suche durchgeführt und ein Lernen wird durch Ändern der Gewichtungen des neuronalen Netzwerks durchgeführt. Eine Subjektsuche, die ein Lernen widerspiegelt, wird durch Eingeben von verschiedenen Elementen von erfassten Informationen während einer Suchoperation in das neuronale Netzwerk, Berechnen des Wichtigkeitslevels und Einstellen des Schwenk-/Neigungswinkels basierend auf dem Wichtigkeitslevel durchgeführt. Ein anderes Lernen als das Einstellen des Schwenk-/Neigungswinkels basierend auf dem Wichtigkeitslevel, zum Beispiel ein Lernen des Schwenkens/Neigens (Geschwindigkeit, Beschleunigung, Frequenz einer Bewegung) wird ebenso durchgeführt.
Subjektregistrierung
Ein Lernen für eine Subjektregistrierung wird beschrieben. Bei einer Subjektregistrierung wird ein Lernen zum automatischen Registrieren und Einordnen eines Subjekts, das mit der Präferenz eines Benutzers übereinstimmt, durchgeführt. Zum Lernen werden zum Beispiel eine Gesichtsidentifikationsregistrierung, eine Registrierung einer allgemeinen Objekterkennung, und eine Registrierung einer Geste, einer Spracherkennung und einer Szenenerkennung basierend auf einem Geräusch durchgeführt. Für eine Identifikationsregistrierung werden die Identifikationen von Personen und Objekten registriert und eine Rangfolge wird basierend auf der Anzahl, wie oft ein Bild beschafft wird, eingestellt, der Anzahl, wie oft ein Bild manuell aufgenommen wird, und der Häufigkeit eines Erscheinens eines Subjekts, das gesucht wird. Die registrierten Informationen werden als Eingaben von Bestimmungen unter Verwendung des neuronalen Netzwerks registriert.
Aufnahmemitteilungssteuerung
Ein Lernen für eine Aufnahmemitteilung wird beschrieben. Wie mit Bezug auf S910 von 9 beschrieben ist, wenn eine vorbestimmte Bedingung kurz vor einer Aufnahme erfüllt ist, teilt die Bildaufnahmevorrichtung einer Person, die aufzunehmen ist, mit, dass das Bild der Person aufgenommen wird, und nimmt dann die Person auf. Zum Beispiel werden eine Bewegung zum visuellen Führen der Sichtlinie des Subjekts durch Schwenken/Neigen, ein Lautsprecherton, der von dem Sprachausgabeabschnitt 218 ausgegeben wird, und ein Blinken des LED-Lichts, das durch den LED-Steuerungsabschnitt 224 erzeugt wird, verwendet. Es wird bestimmt, ob erfasste Informationen eines Subjekts beim Lernen zu verwenden sind, basierend darauf, ob die erfassten Informationen (zum Beispiel der Grad eines Lächelns, eine Sichtlinienerfassung, eine Geste) kurz nach der Mitteilung erhalten werden, und ein Lernen wird durch Variieren der Gewichtungen des neuronalen Netzwerks durchgeführt. Alternativ werden Bilder, die zu Lernen sind, durch ein Verfahren ausgewählt (nachstehend beschrieben), und ein Lernen wird durch Ändern der Gewichtungen des neuronalen Netzwerks basierend auf den Lerninformationen, die in den Bildern enthalten sind, durchgeführt. Informationen, die beschreiben, wie die Mitteilungsbewegung kurz vor einer Aufnahme durchgeführt wird, sind in einem Bild eingebettet, und erfasste Informationen, die zu dem ausgewählten Bild zugefügt sind und die Informationen über die Mitteilungsbewegung kurz vor der Aufnahme werden als Trainingsdaten gelernt. Die erfassten Informationen kurz vor einer Aufnahme werden in das neuronale Netzwerk eingegeben und es wird bestimmt, ob jede Mitteilung oder jede Mitteilungsoperation (Geräusch (Geräuschlevel/Geräuschart/Zeitpunkt), LED-Licht (Farbe, Beleuchtungszeit, Blinkintervall), und Schwenk-/Neigungsbewegung (die Art der Bewegung, Antriebsgeschwindigkeit)) bereitzustellen ist. Zum Lernen von Mitteilungsoperationen kann ein Verfahren des Lernens, welche der Mitteilungen von vorbereiteten Mitteilungsverfahren (kombinierte Operationen von Geräusch, LED-Licht, und Schwenk-/Neigungsbewegung) ausgewählt werden, verwendet werden. Ein Verfahren, in dem separate neuronale Netzwerke entsprechend für die Mitteilungsoperationen von Geräusch, LED-Licht und Schwenk-/Neigungsbewegung bereitgestellt werden und die Operationen gelernt werden, kann verwendet werden.
Niedrigelektrikleistungsverbrauchsbetriebsartsteuerung bzw. Steuerung der Betriebsart mit niedrigem elektrischen Leistungsverbrauch
Wie mit Bezug auf 7 und 8 beschrieben ist, wird eine Steuerung zum Starten oder Stoppen einer elektrischen Leistung, die einem Hauptprozessor (erster Steuerungsabschnitt 223) zugeführt wird, ausgeführt, und eine Rückkehrbedingung von der Niedrigelektrikleistungsverbrauchsbetriebsart und eine Übergangsbedingung in den Niedrigelektrikleistungsverbrauchszustand werden gelernt.
Zuerst wird ein Lernen einer Bedingung zum Aufheben der Niedrigelektrikleistungsverbrauchsbetriebsart beschrieben.
[Berührungserfassung bzw. Tipp-Erfassung]
Wie vorstehend beschrieben, wird die vorbestimmte Zeit TimeA oder der vorbestimmte Schwellenwert ThreshA durch Lernen variiert. Eine vorübergehende Tipp-Erfassung wird in einem Zustand durchgeführt, in dem der vorstehend beschriebene Schwellenwert für eine Tipp-Erfassung reduziert ist, und die Parameter von TimeA und ThreshA werden derart eingestellt, dass ein Tippen beziehungsweise eine Berührung in Abhängigkeit davon, ob die vorübergehende Tipp-Erfassung vor der Tipp-Erfassung erfasst wird. Wenn basierend auf erfassten Informationen nach einer Tipp-Erfassung bestimmt ist, dass es kein Inbetriebnahmefaktor ist (es gibt kein Ziel, das aufzunehmen ist, als Ergebnis der vorstehend beschriebenen Subjektsuche oder der Automatikaufnahmebestimmung), werden die Parameter von TimeA oder ThreshA derart eingestellt, dass eine Berührung beziehungsweise ein Tippen schwer zu erfassen ist. Eine Bestimmung dahingehend, ob es ein Ziel, das aufzunehmen ist, zur Zeit der Inbetriebnahme gibt, variiert in Abhängigkeit der erfassten Informationen über ein Subjekt, die in jedem Bild eingebettet sind, die durch das Lernverfahren gelernt sind (später beschrieben).
[Erfassung eines Erschütterungszustands]
Wie vorstehend beschrieben, werden die vorbestimmte Zeit TimeB, der vorbestimmte Schwellenwert ThreshB oder der vorbestimmte Zählwert CountB durch Lernen variiert. Wenn die Inbetriebnahmebedingung basierend auf dem Erschütterungszustand erfüllt ist, wird eine Inbetriebnahme durchgeführt; wenn jedoch bestimmt ist, dass dies kein Inbetriebnahmefaktor ist, basierend auf erfassten Informationen in einer Periode einer vorbestimmten Zeit nach einer Inbetriebnahme (es gibt kein Ziel, das aufzunehmen ist, als Ergebnis der vorstehend beschriebenen Objektsuche oder der Automatikaufnahmebestimmung), wird ein Lernen durchgeführt, sodass eine Inbetriebnahme schwierig wird, durch Ändern der Parameter der Erschütterungszustandsbestimmung. Wenn bestimmt ist, dass die Häufigkeit einer Aufnahme in einem starken Erschütterungszustand hoch ist, wird der Parameter eingestellt, sodass eine Inbetriebnahme durch eine Erschütterungszustandsbestimmung einfach wird. Eine Bestimmung dahingehend, ob es zur Zeit der Inbetriebnahme ein Ziel gibt, dass aufzunehmen ist, oder eine Bestimmung dahingehend, ob die Häufigkeit eines Aufnehmens in einem großen Erschütterungszustand hoch ist, variiert in Abhängigkeit der erfassten Informationen über ein Subjekt, die in jedem Bild eingebettet sind, die durch das Lernverfahren (nachstehend beschrieben) gelernt sind, Erschütterungsinformationen während einer Aufnahme, oder Ähnlichem.
[Geräuscherfassu ng]
Ein Lernen kann durch manuelles Einstellen einer spezifischen Sprache, einer spezifischen Geräuschszene, oder einem spezifischen Geräuschlevel, das der Benutzer erfassen will, über zum Beispiel eine Kommunikation mit der exklusiven Anwendung der externen Vorrichtung 301 durchgeführt werden. Zusätzlich wird eine Vielzahl von Erfassungen im Voraus in dem Sprachverarbeitungsabschnitt eingestellt, Bilder, die durch ein Verfahren zu lernen sind (nachstehend beschrieben), werden ausgewählt, und ein Lernen wird basierend auf Lerninformationen, wie etwa Geräuschinformationen vor und nach einer Aufnahme, die in den Bildern enthalten sind, durchgeführt. Somit kann eine Geräuschbestimmung, die als ein Inbetriebnahmefaktor zu verwenden ist (eine spezifische Sprachanweisung oder eine Geräuschszene, wie etwa ein „Jubeln“ und „Klatschen“) eingestellt werden und kann eine Inbetriebnahme basierend auf der Geräuscherfassung gelernt werden.
[Erfassung von Umgebungsinformationen]
Ein Lernen kann durch manuelles Einstellen der Bedingung einer Änderung in Umgebungsinformationen durchgeführt werden, bei denen ein Benutzer die Bildaufnahmevorrichtung in Betrieb nehmen will, über zum Beispiel eine Kommunikation mit der exklusiven Anwendung der externen Vorrichtung 301. Zum Beispiel kann die Bildaufnahmevorrichtung veranlasst werden, hochzufahren, in Abhängigkeit einer spezifischen Bedingung einer Temperatur, eines Atmosphärendrucks, einer Helligkeit, einer Luftfeuchtigkeit, einem Absolutbetrag oder einer Variation eines Ultraviolettlichtbetrags. Bestimmungsschwellenwerte basierend auf den Elementen von Umgebungsinformationen können gelernt werden. Wenn bestimmt ist, dass dies kein Inbetriebnahmefaktor ist, basierend auf erfassten Informationen nach einer Inbetriebnahme, werden von den Elementen von Umgebungsinformationen (es gibt kein Ziel, das aufzunehmen ist, als ein Ergebnis der vorstehend beschriebenen Subjektsuche oder der Automatikaufnahmebestimmung), die Parameter der Bestimmungsschwellenwerte eingestellt, sodass die Inbetriebnahmebedingung schwierig zu erfassen ist. Alternativ, durch Lernen von Umgebungsinformationen, die in Bildern eingebettet sind, die durch das Lernverfahren gelernt werden (nachstehend beschrieben), kann eine Inbetriebnahme basierend auf Umgebungsinformationen gelernt werden. Wenn zum Beispiel viele Bilder, die zu der Zeit einer Temperaturerhöhung aufgenommen werden, gelernt werden, wird ein Lernen durchgeführt, sodass die Bildaufnahmevorrichtung zu der Zeit einer Temperaturerhöhung einfacher angesteuert beziehungsweise angetrieben wird. Die Parameter können ebenso in Abhängigkeit des verbleibenden Batterielevels variieren. Wenn zum Beispiel das Batterielevel niedrig ist, wird es schwierig, in verschiedene Bestimmungen zu wechseln, und, wenn das Batterielevel hoch ist, wird es einfach, in verschiedene Bestimmungen zu wechseln. Speziell, für ein Erschütterungszustandserfassungsergebnis oder eine Geräuschszenenerfassung einer Geräuscherfassung, die eine Bedingung und kein Faktor sind, bei denen der Benutzer definitiv die Bildaufnahmevorrichtung in Betrieb nehmen will, variiert eine Einfachheit von jeder Erfassungsbestimmung in Abhängigkeit des Batterielevels.
Als Nächstes wird ein Lernen einer Bedingung zum Wechseln in den Niedrigelektrikleistungsverbrauchszustand beschrieben.
Wie in 7 gezeigt ist, wenn die Bestimmungsbedingung von keiner der „Automatikaufnahmebetriebsart“, „Automatikbearbeitungsbetriebsart“, „Automatikbildübertragungsbetriebsart“, „Lernbetriebsart“, und „Automatikdateilöschbetriebsart“ in der Betriebsarteinstellbestimmung 704 erfüllt ist, wechselt die Betriebsart in die Niedrigelektrikleistungsverbrauchsbetriebsart. Die Bestimmungsbedingung von jeder Betriebsart ist wie vorstehend beschrieben, und die Bedingung zum Bestimmen jeder Betriebsart variiert ebenso durch Lernen. Für die Automatikaufnahmebetriebsart, wie vorstehend beschrieben, wird das Wichtigkeitslevel von jedem Bereich bestimmt und eine automatische Aufnahme wird durchgeführt, während eine Subjektsuche durch Schwenken/Neigen durchgeführt wird. Da das Wichtigkeitslevel von jedem Bereich basierend auf der Anzahl oder der Größe der Objekte berechnet wird, wie etwa Personen und Objekte, in dem Bereich, sind die Wichtigkeitslevel von allen Bereichen in einer Situation, in der es kein umgebendes Subjekt gibt, niedrig. Folglich könnte zum Beispiel die Automatikaufnahmebetriebsart basierend auf einer Bedingung dahingehend, ob die Wichtigkeitslevel von allen Bereichen oder ein Wert, der durch Addieren der Wichtigkeitslevel von allen Bereichen erhalten wird, kleiner oder gleich einem vorbestimmten Schwellenwert ist, aufgehoben werden. Somit, in solch einer Situation, in der es kein Subjekt in der Umgebung gibt, und die Notwendigkeit für eine Aufnahme niedrig ist, kann die Automatikaufnahmebetriebsart aufgehoben werden und kann in den Niedrigelektrikleistungsverbrauchszustand gewechselt werden. Gleichzeitig kann der vorbestimmte Schwellenwert gemäß einer abgelaufenen Zeit von dem Zeitpunkt, wenn die Betriebsart in die Automatikaufnahmebetriebsart wechselt, verringert werden. Die Betriebsart kann einfacher in die Niedrigelektrikleistungsverbrauchsbetriebsart gewechselt werden, wenn eine abgelaufene Zeit von dem Zeitpunkt, wenn die Betriebsart in die Automatikaufnahmebetriebsart wechselt, sich verlängert. Ebenso, durch Variieren des vorbestimmten Schwellenwerts in Abhängigkeit des verbleibenden Levels einer Batterie, kann eine Niedrigelektrikleistungsverbrauchsbetriebsartsteuerung ausgeführt werden, die eine Batterieentleerung berücksichtigt. Zum Beispiel verringert sich der Schwellenwert, wenn das Batterielevel niedrig ist, und erhöht sich der Schwellenwert, wenn das Batterielevel hoch ist. Hier, basierend auf einer abgelaufenen Zeit von dem Zeitpunkt, wenn die Betriebsart das letzte Mal in die Automatikaufnahmebetriebsart wechselt und der Anzahl von aufgenommenen Bildern, wird ein Parameter (Ablaufzeitschwellenwert TimeC) für eine nächste Niedrigelektrikleistungsverbrauchsbetriebsartaufhebungsbedingung in dem Sub-Prozessor eingestellt.
Die vorstehend beschriebenen Schwellenwerte variieren durch Lernen. Ein Lernen kann durch manuelles Einstellen einer Aufnahmehäufigkeit, einer Inbetriebnahmehäufigkeit und Ähnlichem über zum Beispiel eine Kommunikation mit der exklusiven Anwendung der externen Vorrichtung 301 durchgeführt werden. Alternativ können die Parameter durch Speichern eines Durchschnittswerts oder von Verteilungsdaten für jede Zeitperiode einer abgelaufenen Zeit von einem Einschalten der Leistungstaste der Bildaufnahmevorrichtung 101 zu einem Abschalten der Leistungstaste gelernt werden. In diesem Fall wird ein Lernen durchgeführt, sodass ein Zeitintervall, um von der Niedrigelektrikleistungsverbrauchsbetriebsart zurückzukehren oder in den Niedrigelektrikleistungsverbrauchszustand zu wechseln, sich für einen Benutzer verringert, bei dem eine Zeit von einem Einschalten bis zu einem Ausschalten kurz ist, und sich das Zeitintervall für einen Benutzer verlängert, bei dem eine Zeit von einem Einschalten zu einem Ausschalten lang ist. Ein Lernen wird ebenso basierend auf erfassten Informationen während einer Suche durchgeführt. Ein Lernen wird durchgeführt, sodass ein Zeitintervall, um von der Niedrigelektrikleistungsverbrauchsbetriebsart zurückzukehren, oder in den Niedrigelektrikleistungsverbrauchszustand zu wechseln, sich reduziert, während bestimmt ist, dass die Anzahl von wichtigen Subjekten, die durch Lernen eingestellt ist, groß ist, und sich das Zeitintervall erstreckt, während die Anzahl von wichtigen Subjekten klein ist.
Automatische Dateilöschung
Ein Lernen für eine automatische Dateilöschung wird beschrieben. Für eine automatische Dateilöschung werden die verfügbare Kapazität einer Datei, eine Auswahl von Bildern, die vorzugsweise zu löschen sind, und Ähnliches gelernt. Bilder, die durch ein Verfahren zu lernen sind (nachstehend beschrieben) werden ausgewählt und ein Lernen kann durch Ändern der Gewichtungen eines neuronalen Netzwerks basierend auf Lerninformationen, die in den Bildern enthalten sind, durchgeführt werden. Wie vorstehend beschrieben, wie in der automatischen Aufnahme beschrieben ist, wird eine Punktzahl, die für die Präferenz des Benutzers bestimmt ist, für jedes Bild berechnet, und das Bild mit der niedrigsten Punktzahl wird vorzugsweise von dem Aufzeichnungsmedium 221 gelöscht. Ein Lernen wird basierend auf nicht nur den Punkten der Punktzahl, sondern ebenso einem Aufnahmedatum und einer Aufnahmezeit, die in jedem Bild eingebettet sind, in dem Aufzeichnungsmedium 221 durchgeführt, oder den Details einer Bearbeitung eines ausgewählten Highlight-Videos (automatisch bearbeitetes Bewegtbild) mit einem Verfahren (nachstehend beschrieben). Ein Lernen wird zum Beispiel durchgeführt, sodass eine Datei mit einem älteren Aufnahmedatum und Aufnahmezeit vorzugsweise gelöscht wird, wenn das beschaffte Highlight-Video viele Bilder enthält, die in kurzen Zeitintervallen aufgenommen werden, und eine Datei mit einer höheren Punktzahl auch mit einem älteren Datum und Zeit nicht gelöscht wird, wenn das beschaffte Highlight-Video Bilder enthält, die in langen Zeitintervallen aufgenommen werden. Alternativ wird die Punktzahl von jedem Bild in dem Aufzeichnungsmedium 221 sequentiell zu vorbestimmten Zeitintervallen neu berechnet. Aufnahmedatum und Aufnahmezeitinformationen werden ebenso in ein neuronales Netzwerk zur Zeit der Punktzahlberechnung eingegeben und ein Lernen wird durchgeführt, sodass eine Datei mit einem älteren Aufnahmedatum und Aufnahmezeit eine niedrigere Punktzahl aufweist, wenn viele Bilder in kurzen Zeitintervallen aufgenommen werden. Somit wird solch eine Datei vorzugsweise gelöscht und ein Lernen wird durchgeführt, sodass, wenn ein Bild, dass in langen Zeitintervallen aufgenommen wird, enthalten ist, die Punktzahl sich nicht verringert, auch wenn das Datum und die Zeit alt sind, mit dem Ergebnis, dass ein Lernen durchgeführt wird, sodass eine Datei mit einer höheren Punktzahl auch mit einem älteren Datum und einer älteren Zeit nicht gelöscht wird. In einem anderen Beispiel werden Bilder, die zu lernen sind, in einem Verfahren ausgewählt (nachstehend beschrieben); wenn jedoch die ausgewählten Bilder eines relativ neueren Datums und einer Zeit oft intensiv ausgewählt werden, wird eine Datei mit einem älteren Aufnahmedatum und Aufnahmezeit vorzugsweise gelöscht. Jedoch wird ein Lernen durchgeführt, sodass, wenn die ausgewählten Bilder eines relativ älteren Datums und einer älteren Zeit oft ausgewählt werden, eine Datei mit einer höheren Punktzahl auch mit einem älteren Datum und einer älteren Zeit nicht gelöscht werden. In einem anderen Beispiel, wenn ein Lernen durchgeführt wird, sodass eine Aufnahmehäufigkeit sich erhöht, werden Dateien automatisch gelöscht, sodass der verfügbare Bereich für Dateien erhöht wird; wohingegen, wenn ein Lernen durchgeführt wird, sodass sich die Aufnahmehäufigkeit verringert, Dateien automatisch gelöscht werden, sodass der verfügbare Bereich für Dateien klein sein kann. In einem anderen Beispiel, wenn ein Lernen durchgeführt wird, sodass sich eine Aufnahmehäufigkeit für ein Bewegtbild erhöht, werden Dateien automatisch gelöscht, sodass der verfügbare Bereich für Dateien erhöht wird; wohingegen, wenn ein Lernen durchgeführt wird, sodass sich eine Aufnahmehäufigkeit für ein Standbild erhöht, Dateien automatisch gelöscht werden, sodass sich der verfügbare Bereich für Dateien verringert.
Bildstabilisierung
Ein Lernen für eine Bildstabilisierung wird beschrieben. Für eine Bildstabilisierung wird eine Bildstabilisierung durch Berechnung eines Stabilisierungsbetrags in S902 von 9 und Antreiben eines Schwenkens/Neigens in S905 basierend auf dem Stabilitätsbetrag durchgeführt. Bei der Bildstabilisierung wird ein Lernen zum Vornehmen einer Korrektur, die an die Charakteristik der Erschütterung eines Benutzers angepasst ist, durchgeführt. Die Richtung und eine Größenordnung einer Unschärfe kann zum Beispiel durch Schätzen einer PSF („Points Spread Function“) für ein aufgenommenes Bild geschätzt werden. Beim Erzeugen der Lerninformationen in S912 von 9 werden die geschätzte Richtung und Größenordnung der Unschärfe zu dem Bild als Informationen hinzugefügt. Mit dem Prozess der Lernbetriebsart in Schritt 716 von 7 werden die Gewichtungen eines neuronalen Netzwerks für eine Stabilisierung unter Verwendung der geschätzten Richtung und Größenordnung der Unschärfe als eine Ausgabe und Elementen von erfassten Informationen während einer Aufnahme als Eingaben gelernt. Elemente von erfassten Informationen während einer Aufnahme sind Bewegungsvektorinformationen eines Bildes in einer vorbestimmten Zeit vor einer Aufnahme, Informationen über die Bewegung eines erfassten Subjekts (Person oder Objekt), Vibrationsinformationen (Gyroausgabe, Beschleunigungsausgabe, der Status der Bildaufnahmevorrichtung), und Ähnliches. Ansonsten kann eine Bestimmung durch Hinzufügen von Umgebungsinformationen (Temperatur, Atmosphärendruck, Lichtintensität, Feuchtigkeit), Geräuschinformationen (Geräuschszenenbestimmung, spezifische Spracherkennung, Geräuschleveländerung), Zeitinformationen (abgelaufene Zeit von einer Inbetriebnahme, abgelaufene Zeit von einer letzten Aufnahme), Ortsinformationen (GPS-Positionsinformationen, eine Variation in einer Positionsbewegung), oder Ähnlichem als Eingaben durchgeführt werden. Durch Eingeben der Elemente von erfassten Informationen in das neuronale Netzwerk zur Zeit der Berechnens eines Stabilisierungsbetrags in S902 kann die Größenordnung einer Unschärfe zur Zeit einer momentanen Aufnahme geschätzt werden und eine Steuerung, wie etwa eine Verringerung der Verschlusszeit, ist möglich, wenn die geschätzte Größenordnung der Unschärfe groß ist. Wenn die geschätzte Größenordnung der Unschärfe groß ist, kann das Bild verschwommen sein, sodass ein Verfahren, wie etwa ein Verhindern einer Aufnahme eingesetzt werden kann. Da es Beschränkungen bezüglich des Schwenk-/Neigungswinkel gibt, kann keine weitere Korrektur vorgenommen werden, wenn ein Antriebsende erreicht ist; jedoch kann durch Schätzen der Größenordnung und der Richtung einer Unschärfe während einer Aufnahme, wie vorstehend beschrieben, ein Bereich, der zum Schwenken/Neigen für eine Stabilisierung während der Belichtung erforderlich ist, geschätzt werden. Wenn es keinen Spielraum für den beweglichen Bereich während einer Belichtung gibt, kann eine große Unschärfe durch Erhöhen der eingestellten Grenzfrequenz eines Filters, das einen Stabilisierungsbetrag berechnet, erhöht werden, sodass der Bereich den beweglichen Bereich nicht überschreitet. Wenn es wahrscheinlich ist, dass der Bereich den beweglichen Bereich überschreitet, wird der Schwenk-/Neigungswinkel kurz vor der Belichtung in eine Richtung entgegengesetzt zu der Richtung, in der der Schwenk-/Neigungswinkel wahrscheinlich den beweglichen Bereich überschreitet, gedreht und dann wird die Belichtung gestartet. Somit kann eine Aufnahme ohne Unschärfe durchgeführt werden, während der bewegliche Bereich sichergestellt wird. Somit kann eine Stabilisierung entsprechend den Charakteristika und der Verwendungsweise des Benutzers während einer Aufnahme gelernt werden, sodass ein Bild ohne Unschärfe aufgenommen werden kann. In der vorstehend beschriebenen „Bestimmung eines Aufnahmeverfahrens“, wird bestimmt, ob ein Kameraschwenken durchzuführen ist, und eine Subjektunschärfekorrektur kann durch Schätzen einer Schwenk-/Neigungsantriebsgeschwindigkeit von erfassten Informationen bis vor der Aufnahme durchgeführt werden. Ein Kameraschwenk beziehungsweise eine Schwenkaufnahme ist eine Aufnahme, bei der ein sich bewegendes Objekt nicht unscharf wird beziehungsweise verschwommen ist und ein statischer Hintergrund fließt. In diesem Fall, durch Eingeben der Elemente der erfassten Informationen in ein neuronales Netzwerk, wird die Antriebsgeschwindigkeit während der Standbildaufnahme geschätzt. Zum Lernen werden die Richtung und die Größenordnung einer Unschärfe in einem Block, in dem sich ein Hauptsubjekt befindet, durch Aufteilen eines Bildes in Blöcke und Schätzen der PSF von jedem Block geschätzt und ein Lernen kann basierend auf den Informationen durchgeführt werden. Der Betrag eines Fließens des Hintergrunds kann basierend auf dem Betrag eines Fließens des Hintergrundes des ausgewählten Bildes durch ein Lernverfahren (später beschrieben) gelernt werden. In diesem Fall werden die Größenordnungen der Unschärfe in den Blöcken, in denen sich das Hauptsubjekt nicht befindet, innerhalb des ausgewählten Bildes geschätzt und die Präferenz des Benutzers kann basierend auf den Informationen gelernt werden. Durch Einstellen der Verschlusszeit während der Aufnahme basierend auf dem Hintergrundfließbetrag der gelernten Präferenz kann eine Aufnahme, die einen Schwenkeffekt bereitstellen kann, der an die Präferenz des Benutzers angepasst ist, automatisch durchgeführt werden.
Automatische Bildübertragung
Ein Lernen für eine automatische Bildübertragung wird beschrieben. Für eine automatische Bildübertragung wird ein Lernen bezüglich des Prozesses des Auswählens von Bildern, die vorzugsweise zu übertragen sind, von den Bildern, die in dem Aufzeichnungsmedium 221 aufgezeichnet sind, der Übertragungshäufigkeit, und Ähnlichem gelernt. Bilder, die durch ein Verfahren (nachstehend beschrieben) zu lernen sind, werden ausgewählt und ein Lernen kann durch Ändern der Gewichtungen eines neuronalen Netzwerks basierend auf Lerninformationen, die in den Bildern enthalten sind, durchgeführt werden. Wie vorstehend beschrieben, wird, wie vorstehend in der automatischen Aufnahme beschrieben, eine Punktzahl für die Präferenz des Benutzers für jedes Bild berechnet und das Bild mit der höheren Punktzahl wird vorzugsweise übertragen. Lerninformationen, die mit Bildern verknüpft sind, die vorher übertragen werden, werden ebenso bei der Bildübertragungsbestimmung verwendet. Wenn Bilder, die zu lernen sind, in einem Verfahren ausgewählt werden (später beschrieben), wird eingestellt, welches der Elemente von Lerninformationen (Merkmalsbeträgen), die in dem Bild enthalten sind, auf das Wert gelegt wird, eingestellt wird, um übertragen zu werden, und wenn viele Bilder, die im Voraus übertragen werden, ähnliche Merkmalsbeträge aufweisen, werden Bilder mit einer höheren Punktzahl und die anderen Merkmalsbeträge umfassen, eingestellt, um übertragen zu werden. Eine Bildübertragungshäufigkeit variiert ebenso gemäß dem Status der Bildaufnahmevorrichtung. Die Bildübertragungshäufigkeit variiert in Abhängigkeit des verbleibenden Levels der Batterie. Zum Beispiel wird die Bildübertragungshäufigkeit eingestellt, sodass es schwierig ist, Bilder zu übertragen, wenn das Batterielevel niedrig ist, und Bilder einfacher übertragen werden, wenn das Batterielevel hoch ist. Speziell, zum Beispiel, variiert eine Bildübertragungshäufigkeit ebenso durch Einsetzen einer Konfiguration, bei der eine abgelaufene Zeit von dem Zeitpunkt, wenn Bilder das letzte Mal automatisch übertragen werden, mit der höchsten Punktzahl unter den Bildern, die während der abgelaufenen Zeit aufgenommen werden, multipliziert wird, Bilder dazu konfiguriert sind, übertragen zu werden, wenn der multiplizierte Wert einen Schwellenwert überschreitet, und der Schwellenwerts in Abhängigkeit des Batterielevels variiert wird. In einem anderen Beispiel wird die Häufigkeit der automatischen Bildübertragung gemäß der Aufnahmehäufigkeit geändert, die durch die Bildaufnahmevorrichtung 101 eingestellt ist. Wenn ein Lernen durchgeführt wird, sodass sich die Aufnahmehäufigkeit erhöht, wird ebenso die Häufigkeit der automatischen Bildübertragung eingestellt, sodass sich diese erhöht. Wenn ein Lernen durchgeführt wird, sodass sich die Aufnahmehäufigkeit reduziert, wird die Häufigkeit der automatischen Bildübertragung ebenso eingestellt, sodass sich diese reduziert. Gleichzeitig kann eine Bildübertragungshäufigkeit entsprechend der eingestellten Aufnahmehäufigkeit durch Variieren des Schwellenwerts gemäß der Aufnahmehäufigkeit geändert werden. In einem anderen Beispiel wird die Häufigkeit der automatischen Bildübertragung ebenso gemäß der verfügbaren Kapazität in der Datei (dem Aufzeichnungsmedium 221) geändert. Wenn die verfügbare Kapazität in der Datei groß ist, wird die Frequenz der automatischen Bildübertragung eingestellt, sodass sich diese reduziert. Wenn die verfügbare Kapazität in der Datei klein ist, wird die automatische Übertragungsfrequenz eingestellt, sodass sich diese erhöht. Durch Variieren des Schwellenwerts in Abhängigkeit der verfügbaren Kapazität in der Datei zu dieser Zeit kann eine Bildübertragungshäufigkeit entsprechend der verfügbaren Kapazität in der Datei geändert werden.
Als Nächstes werden Lernverfahren beschrieben.
Die Lernverfahren umfassen „ein Lernen in der Bildaufnahmevorrichtung“ und „ein Lernen in Kooperation mit der Kommunikationsvorrichtung“.
Das Verfahren zum Lernen in der Bildaufnahmevorrichtung wird nachstehend besch rieben.
Lernen unter Verwendung von Informationen, die erfasst werden, wenn eine Aufnahmeanweisung durch den Benutzer ausgegeben wird
Wie in Schritt S907 bis S913 von 9 beschrieben ist, ist die Bildaufnahmevorrichtung 101 in dem vorliegenden Ausführungsbeispiel dazu in der Lage, zwei Arten einer Aufnahme durchzuführen, das heißt eine manuelle Aufnahme und eine automatische Aufnahme. Wenn eine Aufnahmeanweisung (die basierend auf drei Bestimmungen durchgeführt wird, wie vorstehend beschrieben) basierend auf einer manuellen Operation in Schritt S907 ausgegeben wird, werden Informationen, dass das aufgenommene Bild ein manuell aufgenommenes Bild ist, in Schritt S912 hinzugefügt. Wenn in Schritt S909 bestimmt ist, dass die automatische Aufnahme an ist, und ein Bild aufgenommen wird, werden Informationen, dass das aufgenommene Bild ein automatisch aufgenommenes Bild ist, in Schritt S912 hinzugefügt.
Wenn hier eine manuelle Aufnahme durchgeführt wird, gibt es eine beträchtlich hohe Wahrscheinlichkeit, dass eine Aufnahme basierend auf einem Subjekt gemäß der Präferenz des Benutzers, einer Szene gemäß der Präferenz des Benutzers und einem Ort und einem Zeitintervall gemäß der Präferenz des Benutzers durchgeführt wird. Somit wird ein Lernen basierend auf Lerninformationen von Gestendaten und einem aufgenommenen Bild, die während der manuellen Aufnahme erhalten werden, durchgeführt.
Ein Lernen wird ebenso bezüglich einer Extrahierung von Merkmalsbeträgen in einem aufgenommenen Bild, einer Registrierung einer persönlichen Identifikation, einer Registrierung eines Gesichtsausdrucks von jeder Person und einer Registrierung einer Kombination von Personen basierend auf Informationen, die während einer manuellen Aufnahme erfasst werden, durchgeführt. Ein Lernen wird ebenso durchgeführt, um den Grad einer Wichtigkeit von nahegelegenen Personen und Objekten basierend auf dem Gesichtsausdruck von jedem Subjekt, das persönlich registriert ist, unter Verwendung von Informationen, die während der Subjektsuche erfasst werden, durchgeführt. Ebenso, wenn „ein Benutzer eine manuelle Drehung zum Schwenken/Neigen durchführt“ (nachstehend mit Bezug auf 17 bis 22 beschrieben), wird ein Subjekt, das sich innerhalb des Betrachtungswinkels nach einem Drehen befindet, gelernt, wenn eine Anweisung zum Ändern des Betrachtungswinkels ausgegeben ist. Dies ist ebenso ein Teil des Lernens basierend auf erfassten Informationen einer manuellen Operation.
Lernen unter Verwendung von Informationen, die während einer Subjektsuche erfasst werden
Während einer Subjektsuchoperation wird bestimmt, mit wem, was und in welche Szene sich ein Subjekt, das mit persönlichen Identifikationsinformationen registriert ist, in einem aufgenommenen Bild zu der gleichen Zeit befindet, und die Verhältnisse von Zeiten, während denen das Subjekt, Objekt oder die Szene, in der das Subjekt innerhalb des Betrachtungswinkels zur gleichen Zeit auftritt, werden berechnet.
Zum Beispiel kann bestimmt werden, dass der Grad einer Wichtigkeit hoch ist, wenn das Verhältnis einer Zeit, zu der eine Person A eines Subjekts, das mit persönlichen Identifikationen registriert ist, und eine Person B eines Subjekts, das mit persönlichen Identifikationen registriert ist, zur gleichen Zeit erscheinen, höher als ein vorbestimmter Schwellenwert ist. Deshalb, wenn die Person A und die Person B in dem Betrachtungswinkel enthalten sind, werden verschiedene Elemente von erfassten Informationen als Lerndaten gesichert, sodass sich Punkte für eine automatische Aufnahmebestimmung erhöhen und werden in dem Prozess 716 der Lernbetriebsart gelernt.
In einem anderen Beispiel, wenn das Verhältnis der Zeit, zu der die Person A des Subjekts, das mit persönlicher Identifikation registriert ist, zu der gleichen Zeit mit einem Subjekt „Katze“, das durch eine allgemeine Objekterkennung bestimmt ist, erscheint, höher als der vorbestimmte Schwellenwert ist, kann bestimmt werden, dass der Grad einer Wichtigkeit hoch ist. Deshalb, wenn die Person A und die „Katze“ in dem Betrachtungswinkel enthalten sind, werden verschiedene Elemente von erfassten Informationen als Lerndaten gesichert, sodass Punkte für eine automatische Aufnahmebestimmung erhöht werden. Dann wird ein Lernen in dem Prozess 716 der Lernbetriebsart durchgeführt.
Auf diese Weise, wenn Punkte für eine Automatikaufnahmebestimmung erhöht werden, in dem Fall, in dem die Häufigkeit eines Erscheinens eines Subjekts, das gesucht wird, hoch ist, können die Grade einer Wichtigkeit von Personen und Objekten in der Nähe des Subjekts, das mit einer persönlichen Identifikation registriert ist, ebenso geändert werden, um sich zu erhöhen.
Wenn der Grad eines Lächelns der Person A des Subjekts, das mit persönlicher Identifikation registriert ist, erfasst wird, oder wenn „Freude“, „Überraschung“ oder Ähnliches durch Erfassen eines Gesichtsausdrucks erfasst werden, wird ein Prozess des Lernens eines Subjekts, das zu der gleichen Zeit erscheint, durchgeführt, sodass dieses wichtig ist. Da es eine geringe Wahrscheinlichkeit gibt, dass ein Subjekt, das zu der gleichen Zeit erscheint, wenn „Ärger“, „ernstes Gesicht“ oder Ähnliches von einem Gesichtsausdruck erfasst wird, wichtig ist, wird zum Beispiel ein Prozess ohne Lernen durchgeführt.
Als Nächstes wird ein Lernen in Kooperation mit der externen Kommunikationsvorrichtung in dem vorliegenden Ausführungsbeispiel besch rieben.
Zum Lernen in Kooperation mit der externen Kommunikationsvorrichtung in dem vorliegenden Ausführungsbeispiel gibt es die folgenden Verfahren.
Lernen durch Beschaffen von einem Bild mit einer externen Kom mu n ikationsvorrichtu ng
Wie in 3 beschrieben ist, weisen die Bildaufnahmevorrichtung 101 und die externe Vorrichtung 301 eine Kommunikationseinrichtung für die Kommunikationen 302, 303 auf. Bilder werden hauptsächlich über die Kommunikation 302 gesendet und empfangen. Bilder in der Bildaufnahmevorrichtung 101 können über die exklusive Anwendung in der externen Vorrichtung 301 kommuniziert und an die externe Vorrichtung 301 beschafft werden. Vorschaubilder von Bilddaten, die in der Bildaufnahmevorrichtung 101 gesichert sind, können über die exklusive Anwendung in der externen Vorrichtung 301 durchsucht werden. Somit ist der Benutzer dazu in der Lage, sein oder ihr Favoritenbild unter den Vorschaubildern auszuwählen, das Bild zu überprüfen, und das Bild auf die externe Vorrichtung 301 durch Betätigen der Bildbeschaffungsanweisung zu beschaffen.
Zu dieser Zeit, da der Benutzer ein Bild auswählt, eine Sendeanweisung ausgibt, und das Bild beschafft, gibt es eine beträchtlich hohe Wahrscheinlichkeit, dass das beschaffte Bild ein Bild gemäß der Präferenz des Benutzers ist. Somit wird bestimmt, dass das beschaffte Bild ein zu lernendes Bild ist und verschiedenes Lernen der Präferenzen des Benutzers kann durch Durchführen eines Lernens basierend auf Lerninformationen des beschafften Bildes durchgeführt werden.
Ein Operationsbeispiel wird beschrieben. Ein Beispiel, in dem Bilder einer Bildaufnahmevorrichtung 101 über die exklusive Anwendung auf der externen Vorrichtung 301, die die intelligente Einrichtung ist, gesucht werden, ist in 16 gezeigt. Vorschaubilder (1604 bis 1609) von Bilddaten, die in der Bildaufnahmevorrichtung gesichert sind, werden auf dem Anzeigeteil 407 angezeigt und der Benutzer kann ein Favoritenbild des Benutzers auswählen und das Bild beschaffen. Zu dieser Zeit sind Anzeigeverfahrenänderungsteile (1601, 1602, 1603) zum Ändern eines Anzeigeverfahrens bereitgestellt. Wenn der Teil 1601 gedrückt wird, wird die Reihenfolge der Anzeige in eine Anzeigebetriebsart der Priorität eines Datums und einer Zeit geändert, Bilder auf dem Anzeigeteil 407 werden in der Reihenfolge der Aufnahmedaten und -zeiten der Bilder in der Bildaufnahmevorrichtung 101 angezeigt (zum Beispiel werden die Bilder angezeigt, sodass das Bild 1604 ein neues Datum und Zeit hat und das Bild 1609 ein altes Datum und Zeit hat). Wenn der Teil 1602 gedrückt wird, wird die Betriebsart zu einer Anzeigebetriebsart der Priorität eines empfohlenen Bildes geändert. Die Bilder werden auf dem Anzeigeteil 407 in absteigender Reihenfolge der Punktzahlen der Bilder in der Bildaufnahmevorrichtung 101 angezeigt, basierend auf der Punktzahl, die basierend auf der Präferenz des Benutzers für jedes Bild bestimmt ist, die in Schritt S912 von 9 berechnet wird (zum Beispiel werden die Bilder angezeigt, sodass das Bild 1604 eine höhere Punktzahl hat und das Bild 1609 eine niedrigere Punktzahl hat). Wenn der Teil 1603 gedrückt wird, kann eine Subjektperson oder ein Subjektobjekt bezeichnet werden und nachfolgend wird eine spezifische Subjektperson oder spezifisches Subjektobjekt bezeichnet, und nur das spezifische Subjekt könnte angezeigt werden.
Die Anzeigeverfahrenänderungsteile 1601 bis 1603 können gleichzeitig in einen An-Zustand gesetzt werden. Wenn zum Beispiel alle in den An-Zustand gesetzt werden, werden Bilder derart angezeigt, dass nur das bezeichnete Subjekt angezeigt wird, und Bildern mit einem neueren Aufnahmedatum und -zeit eine höhere Priorität gegeben wird und Bildern mit einer höheren Punktzahl eine höhere Priorität gegeben wird.
Auf diese Weise, da die Präferenz des Benutzers ebenso von den aufgenommenen Bildern gelernt wird, können nur Bilder gemäß der Präferenz des Benutzers mit einer einfachen Überprüfungsarbeit von einer großen Anzahl von aufgenommenen Bildern einfach extrahiert werden.
Lernen durch Eingabe eines Bestimmungswerts bezüglich eines Bildes über eine externe Kommunikationsvorrichtung.
Wie vorstehend beschrieben weisen die Bildaufnahmevorrichtung 101 und die externe Vorrichtung 301 eine Kommunikationseinrichtung auf, und Bilder, die in der Bildaufnahmevorrichtung 101 gesichert sind, können über die exklusive Anwendung in der externen Vorrichtung 301 durchsucht werden. Hier kann die Konfiguration anwendbar sein, bei der der Benutzer jedes Bild bewertet. Der Benutzer ist dazu in der Lage, hohe Punkte (zum Beispiel 5 Punkte) an ein Bild zu vergeben, das der Benutzer als eine Präferenz betrachtet, oder niedrigere Punkte (zum Beispiel 1 Punkt) an ein Bild zu vergeben, das der Benutzer nicht als eine Präferenz betrachtet. Die Bildaufnahmevorrichtung ist dazu konfiguriert, basierend auf einer Operation des Benutzers zu lernen. Die Punkte von jedem Bild werden bei einem erneuten Lernen zusammen mit Lerninformationen in der Bildaufnahmevorrichtung verwendet. Ein Lernen wird durchgeführt, sodass die Ausgabe eines neuronalen Netzwerks zur Zeit des Eingebens von Merkmalsdaten von designierten Bildinformationen die Punkte erreicht, die durch den Benutzer bezeichnet sind.
In dem vorliegenden Ausführungsbeispiel wird die Konfiguration eingesetzt, bei der der Benutzer einen Bestimmungswert bezüglich jedes aufgenommenen Bildes über die Kommunikationseinrichtung 301 eingibt. Alternativ kann die Konfiguration eingesetzt werden, bei der ein Bestimmungswert direkt für jedes Bild durch Betätigen der Bildaufnahmevorrichtung 101 eingegeben wird. In diesem Fall ist die Bildaufnahmevorrichtung 101 zum Beispiel mit einer Anzeige eines berührungsempfindlichen Feldes beziehungsweise einer Touch-Panel-Anzeige ausgestattet und die Betriebsart wird auf eine Betriebsart zum Anzeigen eines aufgenommenen Bildes eingestellt, dadurch, dass der Benutzer eine GUI-Taste drückt, die auf einem Anzeigeteil des berührungsempfindlichen Anzeigebildschirms angezeigt wird. Dann kann ein ähnliches Lernen mit einem Verfahren, bei dem der Benutzer einen Bestimmungswert für jedes aufgenommene Bild eingibt, während er das Bild überprüft, durchgeführt werden.
Lernen durch Analyse von Bildern, die in der externen Kommunikationsvorrichtung gesichert sind.
Die externe Vorrichtung 301 umfasst den Speicherabschnitt 404 und andere Bilder als die Bilder, die durch die Bildaufnahmevorrichtung 101 aufgenommen werden, sind ebenso in dem Speicherabschnitt 404 aufgezeichnet. Zu dieser Zeit können die Bilder, die in der externen Vorrichtung 301 gesichert sind, durch den Benutzer einfach durchsucht werden und ein Bild wird einfach auf einen gemeinsam genutzen Server über den Steuerungsabschnitt einer öffentlichen Leitung 406 hochgeladen, sodass es eine beträchtlich hohe Wahrscheinlichkeit gibt, dass viele Bilder gemäß der Präferenz des Benutzers enthalten sind.
Die externe Vorrichtung 301 kann dazu konfiguriert sein, dazu in der Lage zu sein, einen Lernprozess zu verarbeiten, der äquivalent zu dem des Lernverarbeitungsabschnitts 219 in der Bildaufnahmevorrichtung 101 mit dem Steuerungsabschnitt 411 ist, über die Bilder, die in dem Speicherabschnitt 404 über die exklusive Anwendung gespeichert sind. In diesem Fall kann die externe Vorrichtung 301 dazu konfiguriert sein, ein Lernen durch Kommunizieren von verarbeiteten Lerndaten an die Bildaufnahmevorrichtung 101 durchzuführen. Alternativ kann die externe Vorrichtung 301 dazu konfiguriert sein, ein Lernen in der Bildaufnahmevorrichtung 101 durch Senden von Bildern oder Daten, von der die externe Vorrichtung 301 will, dass sie die Bildaufnahmevorrichtung 101 lernt, durchführen.
Alternativ kann die externe Vorrichtung 301 dazu konfiguriert sein, ein Lernen dadurch durchzuführen, dass der Benutzter zu lernende Bilder von der Vielzahl von Bildern, die in dem Speicherabschnitt 404 gespeichert sind, über die exklusive Anwendung auswählt.
Lernen von Informationen, die auf den Server eines SNS mit einer externen Kommunikationsvorrichtung hochgeladen werden
Ein Verfahren des Verwendens von Informationen in einem sozialen Netzwerkdienst (SNS), welcher ein Dienst oder eine Internetseite ist, die ein soziales Netzwerk konstruieren kann, das auf eine Verbindung zwischen Personen zum Lernen fokussiert, wird beschrieben. Es gibt eine Technologie zum Eingeben, zu der Zeit des Hochladens von Bildern auf ein SNS, von Etiketten bezüglich der Bilder von der intelligenten Einrichtung und des Sendes der Etiketten mit den Bildern. Es gibt ebenso eine Technologie zum Eingeben von „Gefällt mir“ und „Gefällt mir nicht“ bezüglich Bildern, die durch einen anderen Benutzer hochgeladen werden, und es kann ebenso bestimmt werden, ob die Bilder, die durch einen anderen Benutzer hochgeladen werden, Bilder gemäß der Präferenz des Benutzers sind, dem die externe Vorrichtung 301 gehört.
Mit einer exklusiven SNS-Anwendung, die auf die externe Vorrichtung 301 heruntergeladen ist, können Bilder, die durch den Benutzer selbst hochgeladen werden und Informationen über die Bilder, wie vorstehend beschrieben, beschafft werden. Alternativ, wenn der Benutzer ein „Gefällt mir“ oder „Gefällt mir nicht“ bezüglich Bildern, die durch andere Benutzer hochgeladen werden, eingibt, können Bilder gemäß der Präferenz des Benutzers und Etikettinformationen beschafft werden. Diese Bilder und Etikettinformationen werden analysiert und können in der Bildaufnahmevorrichtung 101 gelernt und eingestellt werden.
Wie vorstehend beschrieben kann die externe Vorrichtung 301 so konfiguriert sein, Bilder zu beschaffen, die durch den Benutzer hochgeladen werden, oder Bilder, von denen bestimmt ist, dass diese dem Benutzer gefallen, und kann dazu in der Lage sein, einen Lernprozess zu verarbeiten, der äquivalent zu dem des Lernverarbeitungsabschnitts 219 in der Bildaufnahmevorrichtung 101 mit dem Steuerungsabschnitt 411 ist. Somit kann ein Lernen durch Kommunizieren der verarbeiteten Lerndaten an die Bildaufnahmevorrichtung 101 durchgeführt werden. Alternativ kann die externe Vorrichtung 301 dazu konfiguriert sein, um Bilder, von denen die externe Vorrichtung 301 will, dass die Bildaufnahmevorrichtung 101 diese lernt, zu senden, und die Bildaufnahmevorrichtung 101 zu veranlassen, ein Lernen durchzuführen.
Zusätzlich wird ein Lernen durchgeführt, sodass ein Farbumwandlungsfiltereffekt in dem Prozess 712 der Automatikbearbeitungsbetriebsart von 7 oder der Farbumwandlungsfiltereffekt der Bearbeitung S911 von 9 basierend auf einem Bildfilter, der in dem SNS bereitgestellt ist, unter Verwendung der Etikettinformationen variiert.
Alternativ werden Informationen über ein Subjekt, das die Präferenz des Benutzers ist, von den Subjektinformationen, die in den Etikettinformationen eingestellt sind, geschätzt, und ein Lernen wird durch Registrieren des Subjekts als ein Subjekt, das zu erfassen ist und in ein neuronales Netzwerk einzugeben ist, durchgeführt. Es ist anzunehmen, dass die Subjektinformationen zum Beispiel Informationen über ein Objekt-Subjekt, wie etwa einen Hund oder eine Katze, Informationen über eine Szene, wie etwa einen Strand, Informationen über einen Gesichtsausdruck, wie etwa ein Lächeln, oder ähnliche sind.
Momentane in der Welt angesagte Bildinformationen können konfiguriert sein, um von statistischen Werten von Etikettinformationen (Bildfilterinformationen oder Subjektinformationen) auf dem SNS geschätzt zu werden und in der Bildaufnahmevorrichtung 101 gelernt und eingestellt zu werden.
Lernen durch Ändern eines Parameters mit der externen Kommunikationsvorrichtung.
Wie vorstehend beschrieben weisen die Bildaufnahmevorrichtung 101 und die externe Vorrichtung 301 eine Kommunikationseinrichtung auf und ein Lernparameter, der momentan in der Bildaufnahmevorrichtung 101 eingestellt ist, kann an die externe Vorrichtung 301 kommuniziert werden und in dem Speicherabschnitt 404 der externen Vorrichtung 301 gesichert werden. Zum Beispiel sind die Gewichtungen eines neuronalen Netzwerks, eine Auswahl eines in das neuronale Netzwerk einzugebenden Subjekts oder ähnliches als ein Lernparameter denkbar. Alternativ kann ein Lernparameter, der in einem exklusiven Server eingestellt ist, über einen Steuerungsabschnitt einer öffentlichen Leitung 406 durch die exklusive Anwendung in der externen Vorrichtung 301 beschafft werden und kann als ein Lernparameter in der Bildaufnahmevorrichtung 101 eingestellt werden. Somit kann ein Lernparameter durch Sichern eines Parameters zu einem bestimmten Zeitpunkt in der externen Vorrichtung 301 und Einstellen des Parameters in der Bildaufnahmevorrichtung 101 zurückgegeben werden oder kann ein Lernparameter, den ein anderer Benutzer umfasst, über den exklusiven Server beschafft werden und in die eigene Bildaufnahmevorrichtung 101 eingestellt werden.
Eine Sprachanweisung, die durch den Benutzer registriert ist, eine Identifikationsregistrierung, oder eine Geste kann dazu in der Lage sein, registriert zu werden, oder ein wichtiger Ort kann registriert werden, über die exklusive Anwendung der externen Vorrichtung 301. Für diese Elemente von Informationen wird ein Aufnahmeauslöser, der in dem Prozess der Automatikaufnahmebetriebsart (9) beschrieben ist, als Eingabedaten einer Automatikaufnahmebestimmung behandelt.
Eine Aufnahmehäufigkeit, ein Inbetriebnahmeintervall, ein Standbild-Bewegtbild-Verhältnis, ein bevorzugtes Bild beziehungsweise bevorzugte Bilder oder ähnliches können eingestellt sein, oder ein Inbetriebnahmeintervall, das in der <Niedrigelektrik-Leistungsverbrauch-Betriebsartsteuerung> beschrieben ist, ein Standbild-Bewegtbild-Verhältnis, das in der <Automatischen Bearbeitung> beschrieben ist, oder ähnliches, können eingestellt werden.
Lernen von Informationen über eine manuelle Bearbeitung eines Bildes mit der externen Kommunikationsvorrichtung.
Die exklusive Anwendung der externen Vorrichtung 301 kann eine Funktion aufweisen, die eine manuelle Bearbeitung durch eine Operation des Benutzers ermöglicht und die Details der Bearbeitungsarbeit können zum Lernen zurückgeführt werden. Zum Beispiel kann ein Bild durch eine Anwendung eines Bildeffekts bearbeitet werden und wird ein neuronales Netzwerk für ein automatisches Bearbeiten trainiert, um eine Anwendung eines manuell bearbeiteten Bildeffekts zum Lernen von Informationen des Bildes zu bestimmen. Es ist denkbar, dass ein Bildeffekt zum Beispiel ein Zuschneiden, Drehen, Gleiten, Zoomen, Abblenden, ein Farbumwandlungsfiltereffekt, Zeit, Standbild-Bewegtbild-Verhältnis, oder BGM ist.
Hier, in dem Fall des Lernens, dass der Benutzer selbst eine Aufnahme (1) oder eine Bildauswahl ((3) bis (8)) durchgeführt hat, gibt es eine hohe Wahrscheinlichkeit, dass das Lernen ein zuverlässiges Lernen ist, um die Präferenzen des Benutzers zu beinhalten, weil der Benutzer die Operationen absichtlich durchgeführt hat. Jedoch ist ein (2) Lernen unter Verwendung von Informationen, die während einer Subjektsuche erfasst werden, nicht das Lernen basierend auf einer absichtlichen Operation des Benutzers, sodass es eine Wahrscheinlichkeit gibt, dass das Lernen ein Lernen umfasst, das durch den Benutzer nicht gewünscht ist. Zum Beispiel wird eine andere Person, ein Objekt oder eine Szene, die zu der gleichen Zeit mit einem Subjekt erscheint, das mit persönlichen Identifikationen registriert ist, von den Bildinformationen während einer Suche gelernt; jedoch ist ein Subjekt, das häufig zu der gleichen Zeit erscheint, nicht notwendigerweise die Präferenz des Benutzers. Folglich wird vorzugsweise ein Lernen ((1), (3) bis (8)) in dem Fall, in dem der Benutzer absichtlich ein Bild aufnimmt oder ein Bild auswählt, anstatt des Falls (2), in dem ein Lernen nicht auf der absichtlichen Operation des Benutzers basiert, durchgeführt.
Lerndaten sind verschiedene Daten (Bildinformationen, Vibrationsinformationen, Umgebungsinformationen, Geräuschinformationen, Ortsinformationen, oder ähnliches), die als Etikettinformationen während einer Aufnahme oder während einer Suche aufgezeichnet werden, und, wenn diese beim Lernen berücksichtigt werden, werden die verschiedenen Daten in einer Listenform gesichert. Die Anzahl von Daten in einer Gruppe zum Lernen ist eine Anzahl, die auf einen festen Wert eingestellt ist. Eine Datengruppe zum Lernen ist in zwei Bereiche aufgeteilt, das heißt einen Bereich zum Lernen von Daten, die der Benutzer absichtlich vorgenommen hat, und einen Bereich von Lerndaten, die der Benutzer nicht absichtlich vorgenommen hat. Das Verhältnis der Anzahl von Daten in den Bereichen wird auf ein Verhältnis eingestellt, sodass die Anzahl des Lerndatenbereichs, die der Benutzer absichtlich vorgenommen hat, größer ist. Wenn eine neue Anweisung zum Einbeziehen des Lernens ausgegeben wird, werden Lerndaten von den Lerndaten, die mit jedem Bereich verknüpft sind, gelöscht, und neue Lerndaten werden hinzugefügt. Wenn zum Beispiel zwei Elemente von Lerndaten, die der Benutzer absichtlich vorgenommen hat, hinzuzufügen sind, werden zwei Elemente von Daten von dem Lerndatenbereich, die der Benutzer absichtlich vorgenommen hat, gelöscht, die neuen zwei Elemente werden hinzugefügt und das Lernen wird wiederholt durchgeführt.
Mit der vorstehenden Konfiguration wird ein Lernen ((1), (3) bis (8)) in dem Fall, in dem der Benutzer ein Bild absichtlich aufnimmt oder auswählt, vorzugsweise anstatt dem Fall (2), in dem ein Lernen nicht basierend auf der absichtlichen Operation des Benutzers basiert, durchgeführt.
Alternativ, unter verschiedenen Daten zum Lernen, werden Daten und Zeiten, zu denen die Elemente von Lerndaten erzeugt werden, verwaltet, und wird ein Gewichtungskoeffizient La entsprechend einer abgelaufenen Zeit von dem Datum und der Zeit, zu dem die Lerndaten erzeugt werden, berechnet. Der Gewichtungskoeffizient La wird aktualisiert, sodass dieser sich reduziert, wenn sich die abgelaufene Zeit verlängert. Zusätzlich wird ebenso ein Gewichtungskoeffizient Lb basierend darauf, ob Lerndaten Lerndaten sind, die der Benutzer absichtlich vorgenommen hat, oder Lerndaten sind, die der Benutzer nicht absichtlich vorgenommen hat, in Verknüpfung mit allen Lerndaten verwaltet. Der Gewichtungskoeffizient Lb für Lerndaten, die der Benutzer absichtlich vorgenommen hat, wird eingestellt, sodass dieser größer ist als der Gewichtungskoeffizient Lb für Lerndaten, die der Benutzer nicht absichtlich vorgenommen hat. Unter Elementen von Lerndaten, die der Benutzer absichtlich vorgenommen hat, kann der Gewichtungskoeffizient Lb in Abhängigkeit des Lernens (1), (3) bis (8) geändert werden.
Wenn neue Lerndaten hinzugefügt werden, werden Lerndaten, deren Wert, der durch Multiplizieren des Gewichtungskoeffizienten La mit Lb erhalten wird, der kleinste unter einer momentanen Gruppe von Lerndaten ist, vorzugsweise gelöscht, und dann werden zusätzliche Daten eingesetzt und ein Maschinenlernen wird basiert auf der aktualisierten Lerndatengruppe durchgeführt.
Mit der vorstehenden Konfiguration wird ein Lernen ((1), (3) bis (8)) in dem Fall, in dem der Benutzer ein Bild absichtlich aufnimmt oder auswählt, vorzugsweise anstelle des Falls (2), in dem ein Lernen nicht auf einer absichtlichen Operation des Benutzers basiert, durchgeführt.
Wenn mit der Konfiguration von 1 bis 6 kein Bildschirm vorhanden ist und ein Einstellen einer Priorität auf der Bildaufnahmevorrichtung schwierig ist und ein Einstellen einer Priorität auf einem Menü auf der externen Vorrichtung durchgeführt wird, sind eine gewisse Zeit und Aufwand des Benutzers erforderlich. Wenn jedoch Prioritätsmarker nicht basierend auf einer Operation zum Einstellen von Prioritätsmarkern, sondern einer Operation eines Aufnahmeprozesses oder eine rOperation eines Bearbeitungsprozesses automatisch eingestellt werden, können eine Zeit und ein Aufwand des Benutzers reduziert werden. Wenn Prioritäten unter Verwendung von aufgenommenen Bildern automatisch evaluiert werden, zum Beispiel wenn Bilder, die zu vorbestimmten Zeitintervallen aufgenommen werden, evaluiert werden, gibt es eine Wahrscheinlichkeit, dass ähnliche Bilder aufgenommen werden, aber diese sind für ein Hauptsubjekt nicht notwendig, sodass eine Intention des Benutzers nicht widergespiegelt werden könnte. Im Gegensatz dazu werden in dem vorliegenden Ausführungsbeispiel Prioritätsmarker basierend auf einem Prozess, den der Benutzer absichtlich vorgenommen hat, eingestellt, sodass es eine hohe Wahrscheinlichkeit gibt, dass die Intention des Benutzers ausreichend widergespiegelt ist.
Als Nächstes wird eine Lernprozesssequenz beschrieben.
Beim Bestimmen einer Betriebsart, die in Schritt 704 von 7 einzustellen ist, wird bestimmt, ob ein Lernprozess durchzuführen ist. Wenn der Lernprozess durchgeführt wird, wird bestimmt, dass die Betriebsart eine Lernbetriebsart ist und der Prozess die Lernbetriebsart von Schritt 716 wird durchgeführt. Eine Bestimmungsbedingung für die Lernbetriebsart wird beschrieben. Ob in die Lernbetriebsart zu wechseln ist, wird basierend auf einer abgelaufenen Zeit von dem Zeitpunkt, wenn ein letzter Lernprozess durchgeführt ist, der Anzahl von Elementen von Informationen, die zum Lernen verfügbar sind, ob es eine Lernprozessanweisung über die Kommunikationsvorrichtung gibt, oder ähnlichem bestimmt. Ein Ablauf des Bestimmungsprozesses dahingehend, ob in die Lernbetriebsart zu wechseln ist, was in dem Betriebsarteinstellbestimmungsprozess von Schritt 704 bestimmt wird, ist in 14 gezeigt.
Wenn eine Anweisung zum Starten der Lernbetriebsartbestimmung in dem Betriebsarteinstellbestimmungsprozess von Schritt 704 ausgegeben wird, startet der Prozess von 14. In Schritt 1401 wird bestimmt, ob es eine Registrierungsanweisung von der externen Vorrichtung 301 gibt. Eine Registrierung ist hier eine Bestimmung dahingehend, ob es die vorstehend beschriebene Registrierungsanweisung zum Lernen gibt. Zum Beispiel gibt es ein <Lernen unter Verwendung von Bildinformationen, die mit der Kommunikationsvorrichtung beschafft werden> oder ein <Lernen durch Eingabe eines Bestimmungswerts bezüglich eines Bildes über die externe Kommunikationsvorrichtung>. Es gibt ebenso ein <Lernen durch Analyse der Bilder, die in der Kommunikationsvorrichtung gesichert sind>, ein <Lernen durch Analyse der Bilder, die in der Kommunikationsvorrichtung gesichert sind>, oder ähnliches. Wenn es eine Registrierungsanweisung von der externen Vorrichtung in Schritt 1401 gibt, geht der Prozess über zu Schritt 1410 und es wird eingestellt, dass der Prozess von Schritt 716 ausgeführt wird, durch Einstellen der Lernbetriebsartbestimmung auf WAHR. Wenn es keine Registrierungsanweisung von der externen Vorrichtung in Schritt S1401 gibt, geht der Prozess über zu Schritt 1402. In Schritt 1402 wird bestimmt, ob es eine Lernanweisung von der externen Vorrichtung gibt. Die Lernanweisung ist hier eine Bestimmung dahingehend, ob es eine Anweisung zum Einstellen von Lernparametern wie <Lernen durch Ändern der Bildaufnahmevorrichtungsparameter mit der Kommunikationsvorrichtung> gibt. Wenn es eine Lernanweisung von der externen Vorrichtung in Schritt 1402 gibt, geht der Prozess über zu Schritt S1410 und es wird eingestellt, dass der Prozess von Schritt 716 ausgeführt wird, durch Einstellen einer Lernbetriebsartbestimmung auf WAHR, wonach der Lernbetriebsartbestimmungsprozess beendet wird. Wenn es keine Lernanweisung von der externen Vorrichtung in Schritt S1402 gibt, geht der Prozess über zu Schritt 1403.
In Schritt 1403 wird bestimmt, ob eine geplante Lernbedingung erfüllt ist. Eine Lernbedingung basierend auf einer geplanten Zeit kann verwendet werden. Zum Beispiel wird ein Lernen jeden Tag um 24:00 Uhr durchgeführt. Somit wird ein Lernen periodisch durchgeführt, sodass die Neuheit beziehungsweise Neuartigkeit eines gelernten Ergebnisses konstant gehalten werden kann. Als ein anderes Beispiel kann ein Lernen unter der Bedingung durchgeführt werden, dass eine Anweisung zum Ausschalten durch Drücken der Leistungstaste der Bildaufnahmevorrichtung 101 ausgegeben wird. Zu dieser Zeit wird die Leistung abgeschaltet, nachdem der Lernprozess beendet ist. Der Lernprozess benötigt allgemein eine lange Verarbeitungszeit. Wenn der Lernprozess zu dem Zeitpunkt ausgeführt wird, zu dem geschätzt wird, dass der Benutzer die Bildaufnahmevorrichtung 101 für eine Zeit lang nicht für eine Aufnahme verwendet, oder ähnliches, wie während eines ausgeschalteten Zustands, kann der Lernprozess ausgeführt werden, ohne eine Benutzung des Benutzers zu stören. Wenn die vorbestimmte Lernbedingung erfüllt ist, geht der Prozess über zu Schritt S1410. Wenn die Bedingung nicht erfüllt ist, geht der Prozess über zu Schritt 1404. In Schritt 1404 wird bestimmt, ob es eine Wahrscheinlichkeit gibt, dass eine Aufnahme durchgeführt wird. Wie vorstehend beschrieben nimmt der Lernprozess Zeit in Anspruch, sodass es ratsam ist, eine Ausführung des Lernprozesses zu einem Zeitpunkt, zu dem es eine Wahrscheinlichkeit des Durchführens einer Aufnahme gibt, zu vermeiden. Folglich, zum Beispiel, basierend auf der Bedingung, dass eine Anweisung für eine manuelle Aufnahme für eine zuletzt eingestellte Zeitperiode oder länger nicht ausgegeben wurde, oder der Bedingung, dass das Wichtigkeitslevel eines Bereichs in der Automatikaufnahmebetriebsart niedriger oder gleich einem vorbestimmten Schwellenwert ist, wird bestimmt, dass es eine niedrige Wahrscheinlichkeit des Durchführens einer Aufnahme für eine gewisse Zeit gibt. Wenn bestimmt ist, dass die Wahrscheinlichkeit einer Aufnahme niedrig ist, geht der Prozess über zu Schritt 1405. Ansonsten geht der Prozess über zu Schritt 1411 und die Lernbetriebsartbestimmung wird auf FALSCH gesetzt. In Schritt 1405 wird eine abgelaufene Zeit TimeN von dem letzten Lernprozess (Neuberechnung der Gewichtungen des neuronalen Netzwerks) durchgeführt bzw. beschafft und der Prozess geht über zu Schritt S1406. In Schritt 1406 wird die Anzahl von neuen Daten DN, die zu lernen sind (die Anzahl von Bildern, die zu lernen sind, die während der abgelaufenen Zeit TimeN von dem Zeitpunkt, zu dem der letzte Lernprozess durchgeführt ist, designiert sind) beschafft, und der Prozess geht über zu Schritt 1407. In Schritt 1407 wird ein Schwellenwert DT von TimeN berechnet. Zum Beispiel wird ein Schwellenwert DTa für den Fall, in dem TimeN kürzer als ein vorbestimmter Wert ist, eingestellt, sodass dieser größer ist als ein Schwellenwert DTb für den Fall, in dem TimeN länger als der vorbestimmte Wert ist, und der Schwellenwert wird eingestellt, sodass dieser sich mit der Zeit reduziert. Somit, auch wenn die Anzahl von Lerndaten klein ist, wird ein Lernen wiederholt durchgeführt, wenn eine abgelaufene Zeit lang ist, was es für die Bildaufnahmevorrichtung einfach macht, gemäß einer Verwendungszeit zu lernen und zu variieren.
Wenn der Schwellenwert DT in Schritt 1407 berechnet wird, geht der Prozess über zu Schritt 1408 und es wird bestimmt, ob die Anzahl von Daten DN, die zu lernen ist, größer als der Schwellenwert DT ist. Wenn DN größer als der Schwellenwert DT ist, geht der Prozess über zu Schritt 1409 und DN wird auf Null gesetzt. Dann geht der Prozess über zu Schritt 1410, und die Lernbetriebsartbestimmung wird auf WAHR eingestellt, sodass eingestellt ist, dass der Prozess von Schritt 716 durchgeführt wird, wonach der Lernbetriebsartbestimmungsprozess beendet wird.
Wenn DN kleiner oder gleich dem Schwellenwert DT in Schritt 1408 ist, geht der Prozess über zu 1411. Da es weder eine Registrierungsanweisung von der externen Vorrichtung noch eine Lernanweisung von der externen Vorrichtung gibt und die Anzahl von Lerndaten ebenso kleiner oder gleich dem vorbestimmten Wert ist, wird die Lernbetriebsartbestimmung auf FALSCH eingestellt, um eine Einstellung vorzunehmen, sodass der Prozess von Schritt 716 nicht durchgeführt wird, wonach der Lernbetriebsartbestimmungsprozess beendet wird.
Als Nächstes wird ein Prozess in dem Lernbetriebsartprozess (Schritt 716) beschrieben. Der detaillierte Ablauf des Prozesses der Lernbetriebsart ist in 15 gezeigt.
Wenn in Schritt 715 von 7 bestimmt ist, dass die Betriebsart die Lernbetriebsart ist und der Prozess zu Schritt 716 übergeht, startet der Prozess von 15. In Schritt 1501 wird bestimmt, ob es eine Registrierungsanweisung von der externen Vorrichtung 301 gibt. Wenn es eine Registrierungsanweisung von der externen Vorrichtung in Schritt 1501 gibt, geht der Prozess über zu Schritt 1502. In Schritt 1502 wird ein Prozess von verschiedenen Arten einer Registrierung durchgeführt.
Verschiedene Arten einer Registrierung sind eine Registrierung von Merkmalen, die in ein neuronales Netzwerk einzugeben sind, und umfassen zum Beispiel eine Registrierung von Gesichtsidentifikationen, eine Registrierung einer allgemeinen Objekterkennung, eine Registrierung von Geräuschinformationen, eine Registrierung von Ortsinformationen, und ähnliches.
Wenn der Registrierungsprozess beendet ist, geht der Prozess über zu Schritt 1503 und Elemente, die in das neuronale Netzwerk einzugeben sind, werden basierend auf den Informationen, die in Schritt 1502 registriert sind, geändert.
Wenn der Prozess von Schritt 1503 beendet ist, geht der Prozess über zu Schritt 1507.
Wenn es keine Registrierungsanweisung von der externen Vorrichtung 301 in Schritt 1501 gibt, geht der Prozess über zu Schritt 1504 und es wird bestimmt, ob es eine Lernanweisung von der externen Vorrichtung 301 gibt. Wenn es eine Lernanweisung von der externen Vorrichtung gibt, geht der Prozess über zu Schritt 1505, werden die Lernparameter, die von der externen Vorrichtung kommuniziert werden, bezüglich jeder Bestimmungseinrichtung eingestellt (die Gewichtungen des neuronalen Netzwerks oder ähnliches), und der Prozess geht über zu Schritt 1507.
Wenn es keine Lernanweisung von der externen Vorrichtung in Schritt 1504 gibt, wird ein Lernen (eine Neuberechnung der Gewichtungen des neuronalen Netzwerks) in Schritt 1506 durchgeführt. Eine Bedingung zum Wechseln in den Prozess von Schritt 1506 ist eine Bedingung, dass, wie mit Bezug auf 14 beschrieben ist, die Anzahl von Daten DN, die zu lernen ist, den Schwellenwert überschreitet, und ein erneutes Lernen von jeder Bestimmungseinrichtung erlaubt ist. Ein erneutes Lernen wird unter Verwendung eines Verfahrens, wie etwa eines Fehlerrückführungsverfahrens und eines Gradientenverfahrens, durchgeführt, die Gewichtungen des neuronalen Netzwerks werden neu berechnet und die Parameter von jeder Bestimmungseinrichtung werden geändert. Wenn die Lernparameter eingestellt sind, geht der Prozess über zu Schritt 1507.
In Schritt 1507 werden Punktzahlen zu den Bildern in der Datei erneut zugewiesen. In dem vorliegenden Ausführungsbeispiel werden Punktzahlen zu allen aufgenommenen Bildern, die in der Datei (dem Aufzeichnungsmedium 221) gesichert sind, basierend auf dem gelernten Ergebnis zugewiesen und ein automatisches Bearbeiten oder eine Automatikdateilöschung werden gemäß den zugewiesenen Punktzahlen durchgeführt. Somit, wenn ein erneutes Lernen oder ein Einstellen der Lernparameter von der externen Vorrichtung durchgeführt wird, müssen Punktzahlen der bereits aufgenommenen Bilder aktualisiert werden. Somit wird in Schritt 1507 eine Neuberechnung der zugewiesenen neuen Punktzahlen zu aufgenommenen Bildern, die in der Datei gesichert sind, durchgeführt. Wenn der Prozess endet, wird der Prozess der Lernbetriebsart beendet.
In dem vorliegenden Ausführungsbeispiel wird ein Verfahren des Vorschlagens eines Videobildes gemäß der Präferenz des Benutzers durch Extrahieren von Szenen, die dem Benutzer wahrscheinlich gefallen, Lernen der Merkmale der Szenen und Widerspiegeln der gelernten Merkmale in einer Operation, wie etwa einer automatischen Aufnahme und einer automatischen Bearbeitung, beschrieben; jedoch ist die vorliegende Erfindung nicht auf diese Anwendung beschränkt. Zum Beispiel können die gelernten Merkmale absichtlich in der Anwendung verwendet werden, um ein Videobild bereitzustellen, das von denen gemäß der Präferenz des Benutzers verschieden ist. Beispiele der implementierten Verfahren sind wie folgt.
Ein Verfahren des Verwendens eines neuronalen Netzwerks, das eine Präferenz gelernt hat.
Zum Lernen wird ein Lernen der Präferenz des Benutzers durchgeführt, wie vorstehend beschrieben. Dann wird in S908 der „Automatischen Aufnahme“ eine automatische Aufnahme durchgeführt, wenn ein Ausgabewert des neuronalen Netzwerks ein Wert ist, der angibt, dass er von denen gemäß der Präferenz des Benutzers, welches Trainingsdaten sind, verschieden ist. Wenn zum Beispiel Bilder, die dem Benutzer gefallen, als Trainingsbilder eingestellt sind und ein Lernen durchgeführt wird, sodass ein höherer Wert ausgegeben wird, wenn ein Bild ähnliche Merkmale wie die der Trainingsbilder aufweist, wird im Gegensatz eine automatische Aufnahme unter der Bedingung durchgeführt, dass ein Ausgabewert um einen vorbestimmten Wert oder mehr niedriger ist. Auf ähnliche Weise wird ebenso in einem Subjektsuchprozess oder einem Automatikbearbeitungsprozess ein Prozess ausgeführt, in dem ein Ausgabewert des neuronalen Netzwerks ein Wert ist, der angibt, dass dieser von denen gemäß der Präferenz des Benutzers, die Trainingsdaten sind, verschieden ist.
Verfahren des Verwendens eines neuronalen Netzwerks, das eine Situation gelernt hat, die von einer Präferenz verschieden ist.
In diesem Verfahren, zu dem Zeitpunkt des Lernprozesses, wird ein Lernen unter Verwendung einer Situation, die von denen gemäß der Präferenz des Benutzers als Trainingsdaten verschieden ist, durchgeführt. Zum Beispiel sind manuell aufgenommene Bilder Szenen, die der Benutzer aufnehmen will, und ein Lernverfahren unter Verwendung der manuell aufgenommenen Bilder als Trainingsdaten ist vorstehend beschrieben. Im Gegensatz dazu werden in dem vorliegenden Ausführungsbeispiel manuell aufgenommene Bilder umgekehrt nicht als Trainingsdaten verwendet, und Szenen, die für eine vorbestimmte Zeit oder länger nicht manuell aufgenommen wurden, werden als Trainingsdaten hinzugefügt. Alternativ, wenn Szenen, deren Merkmale ähnlich zu denen der manuell aufgenommenen Bilder sind, in den Trainingsdaten enthalten sind, könnten diese Szenen von den Trainingsdaten gelöscht werden. Alternativ könnten Bilder, deren Merkmale von denen der durch die externe Kommunikationsvorrichtung aufgenommenen Bilder verschieden sind, zu Trainingsdaten hinzugefügt werden, oder könnten Bilder, deren Merkmale ähnlich zu denen der aufgenommenen Bilder sind, von den Trainingsdaten gelöscht werden. Mit dieser Konfiguration sammeln sich Daten, die von denen gemäß der Präferenz des Benutzers verschieden sind, in den Trainingsdaten, und als ein Ergebnis des Lernens ist das neuronale Netzwerk dazu in der Lage, Situationen zu identifizieren, die von denen gemäß der Präferenz des Benutzers verschieden sind. In einer automatischen Aufnahme kann durch Durchführen einer Aufnahme gemäß einem Ausgabewert des neuronalen Netzwerks eine Szene, die von der gemäß der Präferenz des Benutzers verschieden ist, aufgenommen werden. Ebenso kann beim automatischen Bearbeiten ein Bearbeiten von Bildern, die von denen gemäß der Präferenz des Benutzers verschieden sind, auf ähnliche Weise vorgeschlagen werden.
Wie vorstehend beschrieben wird durch absichtliches Vorschlagen eines Videobildes, das von denen gemäß der Präferenz des Benutzers verschieden ist, ein Aufnehmen bei Szenen durchgeführt, bei denen ein Benutzer zögert, um diese manuell aufzunehmen, sodass der Effekt des Reduzierens des Vermissens einer Fotogelegenheit erhalten wird. Ebenso, durch Vorschlagen des Effekts des Aufnehmens oder des Bearbeitens in Szenen, bezüglich denen der Benutzer selbst keine Idee hat, kann der Effekt, dass der Benutzer etwas finden kann, oder dass die Präferenz verbreitert werden kann, erwartet werden.
Durch Kombinieren der vorstehend beschriebenen Einrichtungen ist es einfach, den Grad einer Anpassung an die Präferenz des Benutzers anzupassen, wie etwa ein Vorschlagen einer Situation, die leicht ähnlich aber teilweise von denen gemäß der Präferenz des Benutzers verschieden ist. Der Grad einer Anpassung an die Präferenz des Benutzers kann gemäß der Betriebsarteinstellung, dem Status der verschiedenen Sensoren und dem Status der Elemente der erfassten Informationen geändert werden.
In dem vorliegenden Ausführungsbeispiel wird eine Beschreibung basierend auf der Konfiguration vorgenommen, die ein Lernen mit der Bildaufnahmevorrichtung 101 durchführt; jedoch ist die Konfiguration, bei der ein Lernprozess in der externen Vorrichtung 301 bereitgestellt wird, Daten, die zum Lernen erforderlich sind, an die externe Vorrichtung 301 kommuniziert werden, und ein Lernen nur auf der externen Vorrichtung durchgeführt wird, ebenso dazu in der Lage, einen ähnlichen Lerneffekt zu erreichen. In diesem Fall, wie in dem vorstehenden Abschnitt <Lernen durch Ändern der Parameter mit der Kommunikationsvorrichtung > beschrieben ist, kann die Konfiguration eingesetzt werden, bei der ein Lernen durch Einstellen von Parametern, wie etwa den Gewichtungen des neuronalen Netzwerks, die auf der externen Vorrichtung gelernt werden, in der Bildaufnahmevorrichtung 101 durch eine Kommunikation durchgeführt wird.
Die Konfiguration, bei der ein Lernprozess in jeder der Bildaufnahmevorrichtung 101 und der externen Vorrichtung 301 bereitgestellt ist, kann eingesetzt werden. Zum Beispiel kann die Konfiguration eingesetzt werden, bei der Lerninformationen in der externen Vorrichtung 301 an die Bildaufnahmevorrichtung 101 zu dem Zeitpunkt, zu dem der Prozess 716 der Lernbetriebsart in der Bildaufnahmevorrichtung 101 durchgeführt wird, kommuniziert werden, und ein Lernen durch Zusammenführen der Lernparameter durchgeführt wird.
In S907 des vorstehend beschriebenen Prozesses der Automatikaufnahmebetriebsart (9) wird bestimmt, ob es eine (manuelle) Aufnahmeanweisung des Benutzers gibt, und, wenn es die Aufnahmeanweisung gibt, geht der Prozess über zu S910. Hier kann die (manuelle) Aufnahmeanweisung des Benutzers durch manuelles Drehen der Richtung, in die die Bildaufnahmevorrichtung ausgerichtet ist (nachstehend Aufnahmerichtung) ausgegeben werden. 17 ist ein Blockdiagramm, das die Konfiguration des Objektivtubusrotationsantriebsabschnitts 205 zeigt. Komponenten 1701 bis 1707 von 17 beziehen sich auf das Antreiben der Schwenkachsen. Komponenten 1708 bis 1714 von 17 beziehen sich auf das Antreiben und Steuern der Neigungsachse. Grundkonfigurationen bezüglich des Antreibens der Schwenkachse und des Antreibens der Neigung sind die gleichen, sodass nur die Konfiguration bezüglich der Schwenkachse beschrieben wird und die Beschreibung der Konfiguration bezüglich des Antreibens der Neigungsachse wird weggelassen. Bezugszeichen 1701 gibt einen Bildpositions-Schwenkpositions-Umwandlungsabschnitt zum Berechnen einer Sollposition zur Zeit des Antreibens der Schwenkachse 1706 basierend auf der Differenz zwischen einer Sollposition und einer momentanen Position eines Objekts in einem Bild an. 18 ist eine Ansicht, die die Beziehung zwischen der momentanen Position und der Sollposition eines Objekts in einem Bild, das durch die Bildaufnahmevorrichtung aufgenommen wird, zeigt. Bezugszeichen 1801 gibt ein bestimmtes momentanes Bild, das durch den Bildverarbeitungsabschnitt 207 während einer Subjektsuche der Bildaufnahmevorrichtung erhalten wird, an. Bezugszeichen 1802 gibt die momentane Position (x1,y1) des Subjekts an. Bezugszeichen 1803 gibt die Sollposition (x0,y0) des Subjekts an. Zur Zeit des Berechnens von Schwenk- und Neigungssollpositionen basierend auf der Differenz zwischen der Sollposition 1803 und der momentanen Position 1802 des Subjekts in dem Bild werden die folgenden Formeln verwendet. $kp (f) \times (x 1 - x 0)$
$kt (f) \times (y 1 - y 0)$
kp(f) ist ein Umwandlungskoeffizient zum Berechnen einer Sollschwenkposition basierend auf der Differenz zwischen der Sollposition und der momentanen Position des Subjekts an dem Bild, welche gemäß der Brennweite f der Bildaufnahmevorrichtung variiert. kt(f) ist ein Umwandlungskoeffizient zum Berechnen einer Sollneigungsposition basierend auf der Differenz zwischen der Sollposition und der momentanen Position des Subjekts in dem Bild, welche gemäß der Brennweite f der Bildaufnahmevorrichtung variiert.
Bezugszeichen 1702 in 17 gibt einen Kompensator an. Der Kompensator 1702 berechnet eine Steuerungsausgabe durch Durchführen einer PID-Steuerungsberechnung, sodass die Differenz zwischen der momentanen Schwenkposition und der Sollschwenkposition, die durch den Bildpositions-Schwenkpositions-Umwandlungsabschnitt 1701 berechnet wird, eliminiert wird. Bezugszeichen 1703 gibt einen Aufnahmerichtungsänderungsoperationserfassungsabschnitt an. Der Aufnahmerichtungsänderungsoperationserfassungsabschnitt 1703 erfasst eine Aufnahmerichtungsänderungsoperation basierend auf der Differenz (nachstehend die positionelle Abgleichung) zwischen der Sollschwenkposition und der momentanen Schwenkposition, der Steuerungsausgabe und der Schwenkbewegungsgeschwindigkeit. Wenn der Aufnahmerichtungsänderungsoperationserfassungsabschnitt 1703 eine Änderung der Aufnahmerichtung erfasst, stoppt der Aufnahmerichtungsänderungsoperationserfassungsabschnitt 1703 ein Schwenken durch Stoppen der Steuerungsausgabe. Andererseits, wenn der Aufnahmerichtungsänderungsoperationserfassungsabschnitt 1703 eine Änderung der Aufnahmerichtung nicht erfasst, treibt der Aufnahmerichtungsänderungsoperationserfassungsabschnitt 1703 ein Schwenken gemäß der Steuerungsausgabe, die durch den Kondensator 1702 berechnet wird, an, und steuert ein Schwenken. Bezugszeichen 1704 gibt einen Treiber zum Erzeugen eines Antriebssignals entsprechend der Steuerungsausgabe, die durch den Kompensator 1702 berechnet wird, an. Bezugszeichen 1705 ist ein Ultraschallmotor (USM), der ein Stellglied zum Antreiben der Schwenkachse 1706 ist. Bezugszeichen 1707 gibt einen Bewegungsgeschwindigkeitserfassungsabschnitt zum Berechnen einer Schwenkbewegungsgeschwindigkeit von einer Zeitänderung der Schwenkposition an. Der Bewegungsgeschwindigkeitserfassungsabschnitt 1707 berechnet eine Schwenkbewegungsgeschwindigkeit von einer Variation in einer Schwenkposition zu jeder Steuerungsabtastung. 19 ist ein Ablaufdiagramm, das den Ablauf des Erfassens einer Aufnahmerichtungsänderungsoperation zeigt, die durch eine Operation des Benutzers vorgenommen wird, und des Aktualisierens von Lerninformationen durch Einstellen eines Aufnahmebereichs nach der Aufnahmerichtungsänderungsoperation als einen wichtigen Bereich.
In S1901 wird bestimmt, ob es eine Aufnahmerichtungsänderungsoperation gibt, die durch den Benutzer auf der Bildaufnahmerichtung durchgeführt wird. Beim Erfassen einer Aufnahmerichtungsänderungsoperation, die durch den Benutzer vorgenommen wird, wenn die Steuerungsausgabe und die positionelle Abweichung (nachstehend beschrieben) vorbestimmte Bedingungen erfüllen, bestimmt der Aufnahmerichtungsänderungsoperationserfassungsabschnitt 1703, dass es eine Änderung der Aufnahmerichtung gibt. Wenn eine Aufnahmerichtungsänderungsoperation in S1901 erfasst wird, geht der Prozess über zu S1902 und die Positionssteuerungsoperation wird gestoppt. Wenn eine Subjektverfolgung oder -suche durchgeführt wird, wird die Subjektverfolgung oder -suche unterbrochen und dann wird die Positionssteuerungsoperation gestoppt. Andererseits, wenn eine Aufnahmerichtungsänderungsoperation in S1901 nicht erfasst wird, wird die Erfassung einer Aufnahmerichtungsänderungsoperation fortgesetzt. Nachdem eine Positionssteuerung in Schritt S1902 gestoppt ist, geht der Prozess über zu Schritt S1903 und es wird bestimmt, ob die Aufnahmerichtungsänderungsoperation, die durch den Benutzer vorgenommen wird, beendet ist.
Beim Bestimmen des Endes der Aufnahmerichtungsänderungsoperation bestimmt der Aufnahmerichtungsänderungsoperationserfassungsabschnitt 1703, ob die Aufnahmerichtungsänderungsoperation fortgesetzt wird oder beendet ist, basierend auf einer Schwenkbewegungsgeschwindigkeit. Wenn bestimmt ist, dass die Aufnahmerichtungsänderungsoperation beendet ist, geht der Prozess über zu S1904 und Aufnahmebereichsinformationen nach dem Ende der Aufnahmerichtungsänderungsoperation werden gespeichert. Der Bereich, der zu speichern ist, ist ein nächstgelegener Bereich durch Vergleichen des Betrachtungswinkels, der von der Position der Bildabnahmevorrichtung, der Schwenkposition, der Neigungsposition und der Brennweite bestimmt wird, mit jedem aufgeteilten Bereich. Wenn in S1903 bestimmt ist, dass die Aufnahmerichtungsänderungsoperation durchgeführt wird, wird eine Erfassung des Endes der Aufnahmerichtungsänderungsoperation fortgesetzt. In S1905 werden die Lerninformationen dahingehend aktualisiert, dass der Bereich, der in S1904 gespeichert ist, wichtiger ist als die anderen aufgeteilten Bereiche. In S1906 wird die Subjektverfolgung und Positionssteuerung aktiviert und dann geht der Prozess über zu S1901 und eine Erfassung einer Aufnahmerichtungsänderungsoperation wird wieder aufgenommen. Gleichzeitig, um den Benutzer zu informieren, dass die Bildaufnahmevorrichtung 101 eine Verfolgung durchführt, wird ein spezielles Bild (Bildeffekt), das von dem der vorstehend beschriebenen Gesichtsidentifikation verschieden ist, auf einem Verfolgungssollbild oder um das Bild herum angezeigt. Als ein Beispiel, in dem der Benutzer eine Aufnahmerichtungsänderungsoperation vornimmt, wird ein Beispiel des Falls beschrieben, in dem der Benutzer die Aufnahmerichtungsänderungsoperation durch Drehen des Objektivtubus 102 mit der Hand vornimmt, während eine Blume mit der Bildaufnahmevorrichtung 101 aufgenommen wird, sodass die optische Achse der Bildaufnahmevorrichtung 101 in Richtung einer spezifischen Person außerhalb des Betrachtungswinkels gerichtet wird. 20 ist ein schematisches Diagramm zum Darstellen eines Beispiels, in dem der Objektivtubus 102 durch die Hand eines Benutzers in die Richtung einer Person 2003 gedreht wird, während das Bild einer Blume 2001 mit der Bildaufnahmevorrichtung 101 aufgenommen wird und dann werden Lerninformationen aktualisiert, sodass ein Bereich, in dem die Person 2003 vorhanden ist, als ein wichtiger Bereich eingestellt wird. Bezugszeichen 2002 in 20 gibt die optische Achse der Bildaufnahmeeinrichtung 101 an, die eine Blume 2001 aufnimmt. Bezugszeichen 2004 gibt die optische Achse an, nachdem der Benutzer die Aufnahmerichtung per Hand ändert. Bezugszeichen 2005 gibt die Drehrichtung des Objektivtubus 102 zu der Zeit an, wenn der Benutzer die Aufnahmerichtung ändert. Die Operation, in der die Aufnahmerichtung in Richtung der Person 2003 durch die Operation des Benutzers geändert wird, während die Blume 2001 aufgenommen wird, und dann Lerninformationen aktualisiert werden, sodass der Bereich, in dem sich die Person 2003 befindet, als ein wichtiger Bereich eingestellt wird, wird mit Bezug auf 21 und 22 beschrieben. 21A, 21B, 21C und 21D sind Ansichten, die momentane Bilder zeigen, die in einer Periode aufgenommen werden, während der die Aufnahmerichtung in Richtung der spezifischen Person 2003 durch Ändern der Aufnahmerichtung, während die Blume aufgenommen wird, und Lerninformationen aktualisiert werden, geändert wird. 22 ist ein Graph, der zeitliche Änderungen in der Schwenksteuerungsausgabe 2201, der positionellen Abweichung 2202, und der Bewegungsgeschwindigkeit 2203 in einer Periode, während der der Benutzer die Aufnahmerichtung in Richtung der spezifischen Person 2003 ändert, während die Blume aufgenommen wird und Lerninformationen aktualisiert werden, sodass der Bereich des geänderten Betrachtungswinkels als ein wichtiger Bereich eingestellt wird, zeigt. ta, tb, tc, td in 22 sind entsprechende Zeiten, zu denen die Bilder, die in 21A, 21B, 21C und 21D gezeigt sind, aufgenommen werden. ThC in 22 ist ein Schwellenwert einer Steuerungsausgabe, der verwendet wird, um zu bestimmen, dass der Benutzer den Objektivtubus 102 per Hand gedreht hat. ThDiff ist ein Schwellenwert der positionellen Abweichung, welcher verwendet wird, um zu bestimmen, dass der Benutzer den Objektivtubus 102 per Hand gedreht hat. Wenn der Zustand, in dem die Steuerungsausgabe größer oder gleich ThC ist und die positionelle Abweichung größer oder gleich ThDiff ist, sich für eine vorbestimmte Zeit (t2 - t1 in 22) fortsetzt, wird angenommen, dass die Aufnahmerichtung durch den Benutzer geändert wurde, und die Steuerungsausgabe des Kompensators 1702 wird gestoppt. ThV ist ein Schwellenwert der Bewegungsgeschwindigkeit der Schwenkachse, der verwendet wird, um zu bestimmen, dass der Benutzer eine Betätigung der Aufnahmerichtung gestoppt hat. CMax ist ein Maximalwert einer Steuerungsausgabe des Kompensators 1702. Zur Zeit der Positionssteuerung wird die Schwenkachse angetrieben und gesteuert, sodass sich das Subjekt einer Sollposition in dem Bild befindet, durch Ändern der Steuerungsausgabe innerhalb des Bereichs von -CMax bis CMax. t1 in 22 gibt die Zeit an, zu der die Steuerungsausgabe 2201 größer oder gleich ThC ist und die positionelle Abweichung größer oder gleich ThDiff ist, nachdem der Benutzer die Aufnahmerichtungsoperation startet. t2 gibt die Zeit an, zu der eine Zeitperiode, in der die Steuerungsausgabe 2201 größer oder gleich ThC ist und die positionelle Abweichung 2202 größer oder gleich ThDiff ist, eine Aufnahmerichtungsänderungsbestimmungszeit (t2 - t1) erreicht wird. t3 gibt die Zeit an, zu der, nach der Zeit t2, die Schwenkachsenbewegungsgeschwindigkeit zum ersten Mal gleich ThV oder niedriger wird. t4 gibt die Zeit an, zu der eine abgelaufene Zeit, nachdem die Bewegungsgeschwindigkeit der Zeit t3 gleich ThV oder niedriger wird, eine Aufnahmerichtungsänderungsbestimmungszeit (t4 - t3) wird.
21A ist ein Bild, das zu dem Zeitpunkt einer Zeit ta aufgenommen wird, während die Blume 2001 aufgenommen wird. Bezugszeichen 2101 in 21A gibt einen Subjektrahmen an, der ein Subjekt als ein Verfolgungs-, Such-, oder Aufnahmeziel angibt. Bezugszeichen 2102 gibt einen Zielpunkt bzw. Sollpunkt an, der die Zielposition in dem Bild in der Mitte des Subjektrahmens 2101 ist. Ein Punkt, an dem sich die zwei Linien, die durch 2102 angegeben sind, miteinander schneiden, ist die Zielposition bzw. Sollposition des Subjekts in dem Bild.
Während einer normalen Aufnahmeoperation (kein Zustand der Aufnahmerichtungsänderungsoperation), wird eine Positionsausrichtung durch Antreiben und Steuern der Schwenkachse oder der Neigungsachse durchgeführt, sodass die Mitte des Subjektrahmens 2101 und der Zielpunkt 2102 miteinander übereinstimmen. 21B ist ein Bild, das zu der Zeit aufgenommen wird, wenn der Benutzer den Objektivtubus 102 mit Bezug auf den festen Teil 103 zu dem Zeitpunkt der Zeit tb in dem Zustand der 21A nach rechts dreht. Der dicke Pfeil in 2B gibt die Schwenkrichtung für eine Positionssteuerung an. Der umrissene Pfeil gibt die Drehrichtung des Objektivtubus 102 durch eine Aufnahmerichtungsänderungsoperation des Benutzers an. Wenn die Steuerungsausgabe 2201 und die positionelle Abweichung 2202 zur Zeit tb gesehen werden, tendiert die positionelle Abweichung 2202 dazu, sich zu erhöhen, obwohl die Steuerungsausgabe der Maximalwert CMax ist. Daher wird bestimmt, dass der Benutzer die Schwenkachse absichtlich dreht. In dem vorliegenden Ausführungsbeispiel wird eine Bestimmung dahingehend vorgenommen, ob die Aufnahmerichtung geändert wird, nach der vorbestimmten Zeit (t2 - t1), die von dem Zeitpunkt, wenn der Zustand, in dem der Benutzer den Objektivtubus 102 per Hand dreht, erfasst wird, zu dem Zeitpunkt, wenn die Steuerungsausgabe des Kompensators 1702 gestoppt wird, vergeht. Dies ist eine Maßnahme, um nicht zu bestimmen, dass es eine Aufnahmerichtungsoperation gibt, wenn der Benutzer unabsichtlich den Objektivtubus berührt oder unter dem Einfluss von Lastschwankungen der Schwenkachse oder der Neigungsachse, die zum Suchen angetrieben werden, obwohl der Benutzer eine Richtungsänderungsoperation nicht durchführt. Eine Zeit zum Festlegen könnte verkürzt oder weggelassen werden, um eine Aufnahmerichtungsänderungsbestimmung schnell durchzuführen, nachdem der Benutzer die Aufnahmerichtungsänderungsbestimmung startet.
21C ist eine Ansicht zu der Zeit, wenn ein Zielsubjekt durch Drehen der Schwenkachse in der Nähe des neuen Subjekts durch eine Aufnahmerichtungsänderungsoperation des Benutzers in einem Zustand, in dem die Steuerungsausgabe des Kompensators 1702 zu der Zeit tc gestoppt ist, in dem Betrachtungswinkel eintritt. Auf diese Weise muss der Benutzer die Aufnahmerichtungsänderungsoperation fortsetzen, bis ein Subjekt, das das neue Aufnahmeziel ist, in den Betrachtungswinkel eintritt. Wenn ein Bild, dessen Aufnahmerichtung geändert wird, nicht direkt überprüft werden kann, wie in dem Fall der Bildaufnahmevorrichtung 101, die in dem vorliegenden Ausführungsbeispiel beschrieben ist, bestätigt der Benutzer, dass ein Subjekt, das ein Aufnahmeziel ist, in dem Betrachtungswinkel eintritt, durch Vornehmen der Operation, während das Bild, das mit der intelligenten Einrichtung geändert wird, überprüft wird. Als ein anderes Mittel für den Benutzer, um zu lernen, dass ein Subjekt, das ein Aufnahmeziel ist, in den Betrachtungswinkel eintritt, wenn ein neues Subjekt während einer Änderung der Aufnahmerichtung in dem Betrachtungswinkel eintritt, kann der Benutzer durch den LED-Steuerungsabschnitt 224, der eine LED aufleuchten lässt, oder den Sprachausgabeabschnitt 218, der eine Sprache ausgibt, informiert werden.
21D ist ein Bild während eines Verfolgens oder Aufnehmens eines neuen Subjekts, nachdem die Aufnahmerichtung geändert ist, in einem Zustand, in dem die Steuerungsausgabe des Kompensators 1702 zu dem Zeitpunkt von Zeit t4 gestartet ist. Die Zeit t4 ist ein Zeitpunkt, zu dem eine Zeitperiode, nachdem die Schwenkbewegungsgeschwindigkeit 2203 niedriger oder gleich ThV zu der Zeit td wird, länger oder gleich der Aufnahmerichtungsänderungsoperationsbeendigungsbestimmungszeit (t4 - t3) wird. Wenn zur Zeit t4 bestimmt ist, das die Aufnahmerichtungsänderungsoperation des Benutzers beendet ist, wird der Aufnahmebereich zu dem Zeitpunkt von t4 als der bevorzugte Bereich des Benutzers eingestellt und es wird eingestellt, dass dieser einen höheren Grad an Wichtigkeit als die anderen Bereiche aufweist, und dann werden die Lerninformationen aktualisiert. Außerdem kann ein Subjekt, das in diesem Bereich vorhanden ist, einer oder mehreren Operationen eines Verfolgens, Aufnehmens oder einer Identifikationsregistrierung als ein wichtiges Subjekt unterzogen werden. Wenn zum Beispiel, wie in 21D gezeigt ist, die Person 2003 innerhalb des Betrachtungswinkels zu dem Zeitpunkt, zu dem das Ende der Aufnahmerichtungsänderungsoperation des Benutzers erfasst wird, vorhanden ist, wird die Person 2003 irgendeine oder mehrere Operationen des Verfolgens, des Aufnehmens und der Identifikationsregistrierung als ein wichtiges Subjekt unterzogen. Der Lerninformationsaktualisierungsprozess könnte nur dann durchgeführt werden, wenn es eine Lernanweisung des Benutzers gibt, und könnte nicht automatisch durchgeführt werden. Lerninformationen könnten nur aktualisiert werden, wenn es eine Lernanweisung von dem Benutzer gibt. Zum Beispiel werden Lerninformationen nur aktualisiert, nachdem die Bildaufnahmevorrichtung dem Benutzer mitteilt, dass ein Subjekt in den Betrachtungswinkel eintritt, wenn der Benutzer eine spezifische Sprachanweisung für eine Lernanweisung, die im Voraus registriert ist, eingibt.
In dem vorliegenden Ausführungsbeispiel ist das Beispiel beschrieben, in dem der Start und das Ende der Aufnahmerichtungsänderungsoperation in der Bildaufnahmevorrichtung durch den Benutzer, basierend auf der Steuerungsausgabe des Kompensators, der positionellen Abweichung und der Bewegungsgeschwindigkeit der Antriebswelle erfasst wird, beschrieben; jedoch kann eine Aufnahmerichtungsoperation des Benutzers durch ein anderes Verfahren erfasst werden, solange die Aufnahmerichtungsoperation des Benutzers erfasst werden kann. Zum Beispiel kann erfasst werden, ob es eine Änderung der Aufnahmerichtung, die durch den Benutzer vorgenommen wird, gibt, basierend auf einer zeitlichen Änderung in dem Signal des Gyrosensors oder des Beschleunigungssensors von dem Vorrichtungserschütterungserfassungsabschnitt 209. 23 zeigt eine Änderung in der Ausgabe des Beschleunigungssensors des Vorrichtungserschütterungserfassungsabschnitts 209 zu der Zeit, wenn die Aufnahmerichtung der Bildaufnahmevorrichtung durch eine Operation des Benutzers geändert wird. Bezugszeichen 2301 gibt eine zeitliche Änderung der Beschleunigung an. ThA1 ist ein Schwellenwert der Beschleunigung, der zu der Zeit des Bestimmens verwendet wird, dass der Benutzer die Aufnahmerichtungsänderungsoperation gestartet hat. ThA2 ist ein Schwellenwert einer Beschleunigung, der zu der Zeit des Bestimmens verwendet wird, dass der Benutzer die Aufnahmerichtungsänderungsoperation gestoppt hat. Der Start und der Stopp der Aufnahmerichtungsänderungsoperation kann durch Vergleichen der Beschleunigung mit diesem Schwellenwert erfasst werden. Zu dieser Zeit, um eine fehlerhafte Erfassung einer Aufnahmerichtungsänderungsoperation zu verhindern, könnte ein Zeitänderungsmuster einer Beschleunigung zu der Zeit einer Aufnahmerichtungsänderungsoperation im Voraus gelernt werden, und es könnte bestimmt werden, dass die Abnahmerichtung geändert wurde, wenn eine Ähnlichkeit zwischen einer zeitlichen Änderung in der erfassten Beschleunigung und dem gelernten Zeitänderungsmuster höher oder gleich einem vorbestimmten Wert ist. Auf ähnliche Weise könnte erfasst werden, ob es eine Aufnahmerichtungsänderungsoperation gibt, durch eine Änderung in einem Bewegungsvektor eines Bildes, das durch die Bildaufnahmevorrichtung aufgenommen wird.
In der vorstehend beschriebenen Beschreibung wird der Prozess, in dem ein Aufnahmebereich, der nach der Aufnahmerichtungsänderungsoperation in den Betrachtungswinkel eintritt, als ein wichtiger Bereich gelernt wird, beschrieben. Jedoch kann ohne Beschränkung darauf, ein Prozess, in dem, wenn es eine Zoomänderung oder eine Änderung des Aufnahmebereichs durch eine Operation des Benutzers auf der externen Vorrichtung gibt, der Aufnahmebereich nach der Änderungsoperation als ein wichtiger Bereich gelernt wird, eingesetzt werden.
< Prozess wird gemäß der
Niedrigelektrikleistungsverbrauchsbetriebsartaufhebungsbedingung geändert >
Der Basisprozessablauf der Aufnahmebetriebsart in dem vorherigen Ausführungsbeispiel ist mit Bezug auf 9 beschrieben; wenn jedoch ein Prozess gemäß dieser Sequenz jederzeit durchgeführt wird, nimmt es Zeit in Anspruch, um ein Subjekt zu finden und ein automatisches Aufnehmen durchzuführen. In diesem Fall gibt es Bedenken, dass eine Fotogelegenheit verpasst werden könnte oder ein Subjekt, dass von der Intention des Benutzers verschieden ist, aufgenommen wird. Insbesondere zu der Zeit, wenn die Niedrigelektrikleistungsverbrauchsbetriebsart aufgehoben wird (nachstehend als Aufwachen bezeichnet), variiert eine optimale Prozesssequenz basierend darauf, unter welcher Bedingung eine Aufhebungsbetriebsart vorgenommen wird. Beispiele der Aufwachbedingung und eine Prozesssequenz, die für diese Bedingung geeignet ist, werden hier beschrieben.
Aufwachen basierend auf einer Berührungserfassung beziehungsweise Tipp-Erfassung
Ein Aufwachen basierend auf einer Berührungserfassung ist möglich, wie vorstehend beschrieben. In solch einem Fall wird angenommen, dass der Besitzer der Bildaufnahmevorrichtung 101 eine Aufwachanweisung mit der Intention des Durchführens einer Aufnahme ausgegeben hat. Deshalb ist ein Prozess vorzuziehen, in dem der Benutzer als ein Ergebnis einer Suche herum gefunden wird, und ein automatisches Aufnehmen unmittelbar durchgeführt wird, sodass der Besitzer aufgenommen wird.
27 zeigt einen Prozess für die Aufnahmebetriebsart in diesem Fall.
Schritte S2701 bis S2703 sind die gleichen wie die des Prozesses während normalen Zeiten, der in 9 beschrieben ist, sodass er in der Beschreibung weggelassen wird.
In Schritt 2704, der von dem normalen Prozess verschieden ist, wird ein Suchen durchgeführt, während die Kamera geschwenkt/geneigt wird, sodass alle Betrachtungswinkel abgedeckt werden.
In Schritt S2705 wird bestimmt, ob sich eine spezifische identische Person in dem Betrachtungswinkel befindet. Gleichzeitig ist es wünschenswert, dass das Gesicht des Besitzers als ein identifiziertes Gesicht für den Besitzer im Voraus registriert ist und eine Suche nach dem Besitzer als die spezifisch identifizierte Person wird durchgeführt. Wenn der Besitzer innerhalb des Betrachtungswinkels gefunden wird, geht der Prozess über zu S2706.
In Schritt S2706 wird die Kamera geschwenkt/geneigt oder ein Zoom wird durchgeführt, sodass der Besitzer in dem Betrachtungswinkel enthalten ist, und dann geht der Prozess zu der Aufnahmestartoperation von Schritt S2712 über.
Schritt S2707 bis Schritt S2715 sind Prozesse ähnlich zu S905 bis S913 von 9, sodass deren Beschreibung weggelassen wird.
Mit solch einem Prozess ist eine Aufnahme möglich, die unmittelbar auf eine Intention des Benutzers reagiert.
Aufwachen basierend auf einer Geräuscherfassung
Ein Aufwachen basierend auf einer Geräuscherfassung und einer Sprachanweisungserkennung ist möglich, wie vorstehend beschrieben. In dem Fall einer Geräuscherfassung gibt es eine hohe Wahrscheinlichkeit, dass sich eine Person von Interesse in der Geräuschrichtung befindet. In dem Fall einer Sprachanweisungserkennung wird angenommen, dass eine Person, die eine Sprachanweisung ausgesprochen hat, eine Intention hat, dass die Kamera ein Bild von ihm oder ihr selbst aufnimmt. Folglich ist vorzuziehen, dass ein Prozess unmittelbar durchgeführt wird, in dem eine Person in eine Richtung, in der eine Sprache erfasst wird, gefunden und automatisch aufgenommen wird.
28 zeigt einen Prozess für die Aufnahmebetriebsart in diesem Fall.
Schritt S2801 bis Schritt S2803 sind die gleichen wie die in dem Prozess während den normalen Zeiten, der in 9 beschrieben ist, sodass eine Beschreibung von diesem weggelassen wird.
In Schritt S2804, der von dem normalen Prozess verschieden ist, wird die Kamera geschwenkt/geneigt, sodass die Richtung, in der die Geräuschrichtung erfasst wird, in dem Betrachtungswinkel enthalten ist.
In Schritt S2805 wird bestimmt, ob sich eine Person in dem Betrachtungswinkel in der Geräuschrichtung befindet. Wenn es eine Person gibt, wird die Person als eine Quelle betrachtet, die das Geräusch oder die Sprachanweisung erzeugt hat, und der Prozess geht über zu S2806 zum Aufnehmen der Person.
In Schritt S2806 wird die Kamera geschwenkt/geneigt oder wird ein Zoom durchgeführt, sodass die Person in dem Betrachtungswinkel enthalten ist, und dann geht der Prozess über zu der Aufnahmestartoperation von Schritt S2812.
Schritt S2807 bis Schritt S2815 sind Prozesse ähnlich zu S905 bis S913 von 9, sodass eine Beschreibung von diesen weggelassen wird.
Mit solch einem Prozess kann der Effekt erwartet werden, dazu in der Lage zu sein, ein Aufnehmen durchzuführen, ohne eine Gelegenheit zum Aufnehmen eines sehr interessanten Moments, wie etwa aufkommender Jubel, zu verpassen. Ebenso ist ein Aufnehmen möglich, dass unmittelbar auf die Intention eines Benutzers, der eine Sprachanweisung ausspricht, reagiert.
Aufwachen basierend auf anderen Bedingungen
Zu der Zeit des Aufwachens basierend auf den anderen Bedingungen (zum Beispiel der Zeitablaufbestimmung, die in 8 beschrieben ist), wird ein Prozess gemäß der Grundsequenz von 9 durchgeführt. Mit dieser Konfiguration wird ein automatisches Aufnehmen nur durchgeführt, wenn ein wichtiges Subjekt erforderlich ist, sodass ein elektrischer Leistungsverbrauch und ein Verbrauch der verfügbaren Kapazität der Speichereinrichtung reduziert werden.
Gemäß dem vorstehend beschriebenen Ausführungsbeispiel sind die folgenden Funktionen möglich.
Inbetriebnahme
Der Such- und Aufnahmeprozess nach einer Inbetriebnahme wird gemäß der Inbetriebnahmebedingung geändert.
Auf diese Weise, entsprechend der Art, wie die Bildaufnahmevorrichtung in Betrieb genommen wird, wird ein Prozess nach einer Inbetriebnahme (Bestimmung einer automatischen Aufnahme, Suchprozess oder Ruhezustandsbestimmungsprozess) geändert. Somit kann dies das Problem lösen, dass es eine Zeit in Anspruch nimmt, wenn jedes Mal die gleiche Inbetriebnahmesequenz ausgeführt wird, und, als ein Ergebnis, eine Fotogelegenheit verpasst wird oder ein Subjekt, das von der Intention des Benutzers verschieden ist, aufgenommen wird.
[Beispiel 1] Wenn die Bildaufnahmevorrichtung durch eine Sprache aufgeweckt wird, wird die Bildaufnahmevorrichtung in die Richtung der Sprache ausgerichtet und startet ein Suchen und eine Aufnahmebestimmung.
[Beispiel 2] Wenn die Bildaufnahmevorrichtung durch ein Tippen aufgeweckt wird, sucht die Bildaufnahmevorrichtung nach einem Besitzer (identifiziertes Gesicht).
Ruhezustand
Eine Subjektszenenbestimmungseinrichtung ist bereitgestellt und die Bildaufnahmevorrichtung bestimmt, den automatischen Ruhezustand einzunehmen, gemäß dem Szenenbestimmungsergebnis. Eine Ruhezustandszeit wird gemäß dem Bestimmungsergebnis angepasst. Eine Einrichtung zum Bestimmen des internen Status der Bildaufnahmevorrichtung ist bereitgestellt und die Bildaufnahmevorrichtung nimmt den automatischen Ruhezustand gemäß der Bestimmungseinrichtung des internen Status ein.
Auf diese Weise geht die Bildaufnahmevorrichtung in den automatischen Ruhezustand gemäß einem Subjekt oder einer Szene über. Eine Ruhezustandszeit wird ebenso angepasst. Die Bildaufnahmevorrichtung geht in den automatischen Ruhezustand gemäß dem internen Status des Prozesses in der Bildaufnahmevorrichtung über. Somit kann das Problem gelöst werden, dass, in dem Fall, in dem ein Ruhezustand einfach basierend auf einer abgelaufenen Zeit oder einer fehlenden Operation eingenommen wird, der Lichtabschalteffekt niedrig ist und es Bedenken des Verpassens einer Fotogelegenheit gibt.
[Beispiel 1] Wenn es kein Subjekt gibt, wechselt die Bildaufnahmevorrichtung in den Lichtabschaltmodus.
[Beispiel 2] Wenn es wenig Änderungen einer Szene gibt, wird die Bildaufnahmevorrichtung für eine längere Zeit in den Ruhezustand versetzt.
[Beispiel 3] Wenn die Betriebsart nicht irgendeiner der Automatikaufnahmebetriebsart, der Lernbetriebsart, der Bearbeitungsbetriebsart und der Übertragungsbetriebsart entspricht, wird die Bildaufnahmevorrichtung in den Ruhezustand versetzt.
[Beispiel 4] Batterielevel
Automatische Bildübertragung
Gemäß zumindest einer von Bedingungen, das heißt, einer abgelaufenen Zeit, einem Evaluierungswert eines aufgenommenen Bildes, einem Batterielevel und einer Kartenkapazität, wird ein Bild automatisch überragen oder wird eine Bildübertragungshäufigkeit automatisch bestimmt.
Auf diese Weise wird ein Bild gemäß einer Bedingung (zu jedem Ablauf einer vorbestimmten Zeit, wenn ein Bild mit einem hohen Wert aufgenommen wird), automatisch übertragen. Eine Bildübertragungshäufigkeit wird automatisch gemäß einer Bedingung bestimmt (wenn das Level der Batterie niedrig ist, wird die Bildübertragung schwieriger gemacht; wenn eine Aufnahmehäufigkeit auf eine hohe Häufigkeit eingestellt ist, wird die Übertragungshäufigkeit ebenso erhöht; wenn die verfügbare Kapazität des Speichermediums klein ist, wird die Übertragungshäufigkeit erhöht). Somit kann das Problem gelöst werden, dass, wenn eine Bildübertragung gemäß einer Anweisung des Benutzers durchgeführt wird, es eine Zeit zum Warten auf einen Übertragungsprozess gibt, oder die Kapazität der externen Vorrichtung in Abhängigkeit eines Benutzers für eine vorgeschriebene Übertragungshäufigkeit oder eine Übertragung von Anzahl von Bildern enger gemacht wird.
Lernen
Die Bildaufnahmevorrichtung nimmt automatisch eine Lernbetriebsart ein, gemäß zumindest einer der folgenden Bedingungen, das heißt, einer abgelaufenen Zeit, dem Grad einer Anhäufung von Trainingsdaten, einem Bestimmungsergebnis einer momentanen Szene oder eines Subjekts, einer geplanten Zeit, einer Wahrscheinlichkeit einer zukünftigen Aufnahme, und der Zeit eines Abschaltens.
Auf diese Weise nimmt die Bildaufnahmevorrichtung automatisch gemäß einer Bedingung die Lernbetriebsart ein (eine automatische Aufnahme wird für eine bestimmte Zeit nicht durchgeführt, wenn sich Trainingsdaten auf mehr oder gleich einem vorbestimmten Betrag angesammelt haben, wenn ein Ablauf einer Zeit von dem letzten Lernen lang ist, oder wenn kein unterscheidbares Subjekt in der Umgebung vorhanden ist). Somit, kann das Problem gelöst werden, dass, solange nicht eine Bedingung, dass die Aufnahmebetriebsart in die Lernbetriebsart übergeht, angemessen eingestellt ist, eine Zeit zum Warten auf den Lernprozess ansteigt, oder eine elektrische Leistung unnütz verbraucht wird.
Automatisches Löschen des Bildes
Ein automatisches Löschen wird gemäß einer Bedingung durchgeführt. Eine Sollanzahl an Bildern, die zu löschen sind, wird gemäß einer Aufnahmehäufigkeit und einer verfügbaren Kapazität eingestellt. Es wird schwierig gemacht, dass <Bilder, die durch den Benutzer manuell aufgenommen werden>, <Bilder, die durch den Benutzer hoch bewertet sind>, und <Bilder mit einer hohen Wichtigkeitspunktzahl, die durch die Bildaufnahmevorrichtung berechnet ist> gelöscht werden. Es wird einfach gemacht, dass <Bilder, die an die externe Vorrichtung übertragen werden> und <Bilder, die durch den Benutzer kein einziges Mal gesehen wurden> gelöscht werden. Wenn beschaffte Highlight-Videos in kurzen Intervallen aufgenommen werden, werden vorzugsweise alte Dateien gelöscht. Wenn beschaffte Highlight-Videos in langen Intervallen aufgenommen werden, könnten Dateien, die alt sind, aber eine hohe Punktzahl aufweisen, nicht eingestellt werden, um gelöscht zu werden. Wenn ein Lernen durchgeführt wird, sodass sich eine Videoaufnahmehäufigkeit erhöht, könnten mehr Bilder als üblich automatisch gelöscht werden.
Somit, wenn es keine verfügbare Kapazität gibt, kann ein automatisches Aufnehmen nicht durchgeführt werden. Das Problem, dass ein Löschen jedes einzelnen Bildes des Benutzers per Hand aufwändig ist, kann gelöst werden.
Automatische Bearbeitungsanweisung
Gemäß zumindest einer von Bedingungen, das heißt, dem Grad einer Anhäufung von aufgenommenen Bildern, einer abgelaufenen Zeit von der letzten Bearbeitung, einem Evaluierungswert von jedem aufgenommenen Bild und einer zeitlichen Gelegenheit, wird der Bearbeitungsprozess automatisch durchgeführt.
Somit kann das Problem gelöst werden, dass, wenn eine Fotobewegtbildgeschichte gemäß einer Anweisung des Benutzers erzeugt wird, es eine Zeit zum Warten für einen Erzeugungsprozess gibt und eine Verwendbarkeit schlecht ist.
In der vorstehend beschriebenen < Konfiguration von Zubehör> wird der Aufsatz zur Verbindung mit einer anderen Kamera 3201 mit Bezug auf 32 beschrieben. Ein Beispiel des Falls, in dem die Bildaufnahmevorrichtung 101 und eine andere Kamera 3201 eine Aufnahme in Kooperation miteinander durchführen, wird beschrieben.
Ein Verfahren des Aufnehmens zur gleichen Zeit durch Freigeben von einer der Kameras, um mit dem Freigabezeitpunkt der anderen Kamera übereinzustimmen, zwischen den Kameras ist als eine vorhandene Technologie bekannt.
In dem vorliegenden Ausführungsbeispiel wird eine Aufnahme in Kooperation zwischen den Kameras durchgeführt; jedoch startet die Bildaufnahmevorrichtung 101, bevor die Freigabetaste 3203 der Kamera 3201 gedrückt wird, eine Aufnahme bevor die Kamera 3201 eine Aufnahme durchführt, durch Vorhersagen des Drückens der Freigabe.
Die Bildaufnahmevorrichtung 101 führt eine automatische Aufnahme mit einem ähnlichen Verfahren wie dem Verfahren der beschriebenen automatischen Aufnahme durch. Zu dieser Zeit wird ein Lernen zum Vorhersagen des Zeitpunkts, zu dem die Kamera 3201 eine Aufnahme durchführt, durchgeführt. Wenn eine kooperative Aufnahme durchgeführt wird, wird eine automatische Aufnahmebestimmung mit diesem Netzwerk durchgeführt.
Die Operation der Bildaufnahmevorrichtung 101 in der Konfiguration, in der der Benutzer die Kamera 3201 betätigt, um eine Aufnahme durchzuführen, wird beschrieben. 33 zeigt ein Ablaufdiagramm der Bildaufnahmevorrichtung 101.
Hier wird ein Beispiel beschrieben, in dem die Kamera 3201 ein Standbild aufnimmt und die Bildaufnahmevorrichtung 101 ein Bewegtbild aufnimmt.
Wenn der Aufnahmebetriebsartprozess startet, wird anfänglich in S3301 bestimmt, ob die Betriebsart eine Kamerakooperationsbetriebsart ist. Wenn die Betriebsart die Kooperationsbetriebsart ist, geht der Prozess über zu S3303; wohingegen, wenn die Betriebsart nicht die Kooperationsbetriebsart ist, der Prozess zu S3302 übergeht.
Die Kooperationsbetriebsart kann dahingehend bestimmt werden, ob die Kamera 3201 und die Bildaufnahmevorrichtung 101 durch ein Kabel oder drahtlos verbunden sind, oder kann mit der intelligenten Einrichtung 301 eingestellt werden.
In S3202 ist die Betriebsart nicht die Kamerakooperationsbetriebsart, sodass der Prozess, der mit Bezug auf 9 beschrieben ist, durchgeführt wird, der Aufnahmebetriebsartprozess beendet wird, und der Prozess auf den nächsten Berechnungszyklus wartet. In S3303 werden Informationen von der Kamera 3201 geladen. Informationen über ein Drücken des Freigabeschalters der Kamera 3201, Einschaltstatusinformationen, Informationen über ein Subjekt von einem Bild, oder ähnliches werden an die Bildaufnahmevorrichtung 101 als die Informationen bereitgestellt und der Prozess geht über zu S3304.
In S3304 wird bestimmt, ob die Bildaufnahmevorrichtung 101 ein Aufnehmen durchführt. Wenn die Bildaufnahmevorrichtung 101 kein Aufnehmen durchführt, geht der Prozess über zu S3305; wohingegen, wenn die Bildaufnahmevorrichtung 101 ein Aufnehmen durchführt, der Prozess zu S3306 übergeht. In S3305 wird bestimmt, ob die Kamera 3201 ein Aufnehmen gestartet hat. Wenn die Kamera 3201 ein Aufnehmen gestartet hat, geht der Prozess über zu S3310, ein Aufnehmen der Bildaufnahmevorrichtung 101 wird gestartet, der Aufnahmebetriebsartprozess wird beendet, und der Prozess wartet auf den nächsten Berechnungszyklus. Wenn die Kamera 3201 ein Aufnehmen in S3305 nicht gestartet hat, geht der Prozess über zu S3307 und führt einen Automatikaufnahmebestimmungsprozess durch. Der Automatikaufnahmebestimmungsprozess kann mit einem ähnlichen Verfahren wie dem Verfahren, das mit Bezug auf 12 beschrieben ist, implementiert werden. Zu dieser Zeit kann eine Bestimmung unter Verwendung von sowohl Informationen von der Kamera 3201 als auch Informationen von der Bildaufnahmevorrichtung 101 als Merkmalsbetragseingaben durchgeführt werden oder kann eine Bestimmung unter Verwendung von Informationen von nur einem von diesen durchgeführt werden.
Wenn der Automatikaufnahmebestimmungsprozess beendet ist, geht der Prozess über zu S3308 und es wird bestimmt, ob ein Aufnehmen in dem Automatikaufnahmebestimmungsprozess zu starten ist. Wenn der Start der automatischen Aufnahme bestimmt ist, geht der Prozess über zu S3309 und die Bildaufnahmevorrichtung 101 startet ein automatisches Aufnehmen. Wenn der Start der automatischen Aufnahme nicht bestimmt ist, wird das Aufnehmen nicht durchgeführt, wird der Aufnahmebetriebsartprozess beendet, und wartet der Prozess auf den nächsten Berechnungszyklus.
Wenn in S3304 bestimmt ist, dass eine Aufnahme durchgeführt wird, nach dem Start der Aufnahme in S3310 oder S3309, wird der Aufnahmebeendigungsbestimmungsprozess in S3306 durchgeführt. Dann, wenn das Ende der Aufnahme bestimmt ist, geht der Prozess über zu S3311 und die Bildaufnahmevorrichtung 101 beendet das Aufnehmen. Wenn das Ende des Aufnehmens nicht bestimmt ist, wird der Aufnahmebetriebsartprozess beendet, während ein Aufnehmen durchgeführt wird, wie es ist, und der Prozess wartet auf den nächsten Berechnungszyklus.
Die Aufnahmebeendigungsbestimmung kann mit einem ähnlichen Verfahren wie dem Verfahren, das für den Automatikaufnahmebestimmungsprozess mit Bezug auf 12 beschrieben ist, implementiert werden. Zu dieser Zeit kann eine Bestimmung unter Verwendung von sowohl Informationen von der Kamera 3201 als auch Informationen von der Bildaufnahmevorrichtung 101 als Merkmalsbetragseingaben durchgeführt werden oder kann eine Bestimmung unter Verwendung von Informationen von nur einem von diesem durchgeführt werden.
In dieser Konfiguration ist die Bildaufnahmevorrichtung 101 dazu konfiguriert, eine automatische Aufnahme durchzuführen. Alternativ könnte die Bildaufnahmevorrichtung 101 ein Bewegtbild kontinuierlich aufnehmen, ein Etikett an einen wichtigen Zeitrahmen anbringen, und das Etikett in einer finalen Bewegtbilddatei aufzeichnen.
Ein kooperativer Automatikaufnahmezeitpunkt könnte unter Verwendung von Aufnahmeergebnissen gelernt werden.
Wenn zum Beispiel die Bildaufnahmevorrichtung 101 eine automatische Aufnahme nicht durchführt oder wenn die Kamera 3201 ein Aufnehmen startet, werden Merkmalsbeträge, die Eingaben von 12 zu dieser Zeit als Lerndaten sind, als unkorrekte Daten gesichert.
Wenn die Bildaufnahmevorrichtung 101 eine automatische Aufnahme durchführt oder wenn die Kamera 3201 ein Aufnehmen startet, werden Merkmalsbeträge, die Eingaben von 12 zu dieser Zeit als Lerndaten sind, als korrekte Daten gespeichert.
Wenn die Bildaufnahmevorrichtung 101 ein automatisches Aufnehmen durchführt, oder wenn die Kamera 3201 ein Aufnehmen nach einem Ablauf einer vorbestimmten Zeit nicht startet, werden Merkmalsbeträge, die Eingaben von 12 zu dieser Zeit als Lerndaten sind, als unkorrekte Daten gesichert.
Wenn sich Lerndaten auf mehr oder gleich einem vorbestimmten Betrag anhäufen, werden die Lerndaten gelernt und werden die Gewichtungen des neuronalen Netzwerks von 12 geändert.
Ein Beispiel, in dem die Kamera 3201 ein Standbild aufnimmt und die Bildaufnahmevorrichtung 101 ein Bewegtbild aufnimmt, wird beschrieben; jedoch ist das Aufnahmeverfahren nicht darauf beschränkt. Die folgenden Muster können manuell mit der intelligenten Einrichtung 301 oder ähnlichem ausgewählt werden.
Das folgende Muster kann durch die Bildaufnahmevorrichtung 101 automatisch ausgewählt werden. Wenn es automatisch ausgewählt wird, wird ebenso automatisch bestimmt, welches Muster zum Durchführen des Aufnehmens verwendet wird.
Wenn zum Beispiel die Kamera 3201 ein Standbild aufnimmt, nimmt die Bildaufnahmevorrichtung 101 ein Bewegtbild auf.
Alternativ, zum Beispiel, wenn die Kamera 3201 ein Standbild aufnimmt, nimmt die Bildaufnahmevorrichtung 101 ein Standbild auf.
Alternativ, wenn die Kamera 3201 ein Bewegtbild aufnimmt, nimmt die Bildaufnahmevorrichtung 101 ein Standbild auf.
Alternativ, wenn die Kamera 3201 ein Bewegtbild aufnimmt, nimmt die Bildaufnahmevorrichtung 101 ein Bewegtbild auf.
Ausrichtungen und Betrachtungswinkel der Optikachsenrichtungen der Kamera 3201 und der Bildaufnahmevorrichtung 101 können manuell ausgewählt werden oder können automatisch ausgewählt werden.
Zum Beispiel sind die Optikachsenrichtungen der Kamera 3201 und der Bildaufnahmevorrichtung 101 in die gleiche Richtung ausgerichtet.
Alternativ sind zum Beispiel die Optikachsenrichtungen der Kamera 3201 und der Bildaufnahmevorrichtung 101 in unterschiedlichen Richtungen ausgerichtet.
Die Betrachtungswinkel der Kamera 3201 und der Bildaufnahmevorrichtung 101 sind die gleichen.
Alternativ können die Betrachtungswinkel der Kamera 3201 und der Bildaufnahmevorrichtung 101 verschieden sein.
Auch wenn die Bildaufnahmevorrichtung 101 ein Standbild aufnimmt, kann die Bildaufnahmevorrichtung 101 den Zeitpunkt vor dem Start der Aufnahme vorhersagen und, während einer automatischen Aufnahmeperiode, automatisch nicht nur ein einzelnes Bild sondern ebenso mehrere Bilder aufnehmen.
In dem vorliegenden Ausführungsbeispiel wird das Beispiel beschrieben, in dem die Bildaufnahmevorrichtung 101 mit dem Zubehörschuh 3202 der Kamera 3201 verbunden ist und verwendet wird; jedoch ist die Konfiguration nicht darauf beschränkt. Zum Beispiel könnte die Bildaufnahmevorrichtung 101 an einem anderen Element (zum Beispiel einem Stativgewinde oder ähnlichem) der Kamera 3201 angebracht sein oder könnte verwendet werden, ohne direkt an der Kamera 3201 angebracht zu sein (zum Beispiel könnte diese durch den Benutzer auf eine tragbare Weise getragen werden und Informationen werden über eine drahtlose Kommunikation bereitgestellt).
In dem vorliegenden Ausführungsbeispiel ist ein Beispiel beschrieben, in dem die Bildaufnahmevorrichtung 101 ein Bild im Voraus aufnimmt, dadurch, dass vorhergesagt wird, dass die Kamera 3201 ein Bild aufnimmt. Alternativ kann die Kamera 3201 selbst ein Aufnehmen im Voraus vorhersagen. In diesem Fall, wenn bestimmt ist, ein Aufnehmen durch eine Vorhersage im Voraus durchzuführen, kann die Kamera 3201 eine Anweisung zum Starten einer Aufnahme an die Bildaufnahmevorrichtung 101 ausgeben, sodass ein Durchführen einer Kamerakooperationsaufnahme mit einer Vorhersage im Voraus durchgeführt werden kann.
Eine Mitteilung von Informationen zwischen der Kamera 3201 und der Bildaufnahmevorrichtung 101 kann konfiguriert sein, um nur zu dem Freigabezeitpunkt bereitgestellt zu werden. Erfasste Informationen von sowohl der Kamera 3201 als auch der Bildaufnahmevorrichtung 101 können verwendet werden, um den Start der Aufnahme zu bestimmen. Alternativ könnten erfasste Informationen von nur der Bildaufnahmevorrichtung 101 verwendet werden, um den Start der Aufnahme zu bestimmen.
<Lernen unter Verwendung der Kamera 3201>
Übertragung von Informationen der Kamera 3201 an die Bildaufnahmevorrichtung 101
Zum Beispiel wird ein Hauptsubjekt von einem Bild, das durch die Kamera 3201 aufgenommen wird, durch eine Operation des Benutzers extrahiert.
Dann werden Subjektinformationen an die Bildaufnahmevorrichtung 101 bereitgestellt und eingestellt. Danach bestimmt die Bildaufnahmevorrichtung 101, ob das Subjekt wichtig ist, basierend auf der Anzahl von aufgenommenen Bilder des Subjekts, registriert das Subjekt, und führt eine automatische Aufnahme, Verfolgung oder ähnliches durch.
Subjektregistrierung mit Informationen, die in der Bildaufnahmevorrichtung 101 zum Zeitpunkt des Starts der Freigabe beschafft werden.
Zum Beispiel wird der Zeitpunkt, zu dem die Kamera 3201 ein Aufnehmen durchführt, an die Bildaufnahmevorrichtung 101 durch eine Operation des Benutzers bereitgestellt. Dann wird ein wichtiges Subjekt von dem Bild in der Bildaufnahmevorrichtung 101 zu dem Aufnahmezeitpunkt eingestellt. Danach bestimmt die Bilderfassungsvorrichtung 101, ob das Subjekt wichtig ist, basierend auf der Anzahl von aufgenommenen Bildern des Subjekts, registriert das Subjekt und führt ein automatisches Aufnehmen, Verfolgen oder ähnliches durch.
<Mitteilung von Informationen von der Bildaufnahmevorrichtung 101 an die Kamera 3201
Ein Beispiel wird beschrieben, in dem die andere Kamera 3201 mit Informationen von der Bildaufnahmevorrichtung 101 unterstützt wird, in dem Fall, in dem ein Aufnehmen in Kooperation zwischen der Bildaufnahmevorrichtung 101 und der Kamera 3201 durchgeführt wird.
Mitteilung von Subjektinformationen
Subjektinformationen, die durch die Bildaufnahmevorrichtung 101 erfasst werden (zum Beispiel ein persönlich registriertes Gesicht, ein Subjekt, wie etwa ein Hund oder eine Katze, die als die Präferenz des Benutzers bestimmt sind, oder ein Bestimmungsergebnis einer Sinnenhaftigkeit, dass ein Subjekt gemäß der Präferenz des Benutzers bestimmt ist) werden an die Kamera 3201 bereitgestellt. Dann wird bereitgestellt, wo in einem Livebild der Kamera 3201 das Subjekt sich befindet und welches Subjekt außerhalb eines Bildes vorhanden ist (zum Beispiel ein Fahrzeug ist auf der rechten Seite des Bildschirms vorhanden) und es wird bereitgestellt, ob es ein Subjekt gemäß der Präferenz des Benutzers gibt.
Auslösemitteilung
Die Bildaufnahmevorrichtung 101 kann dazu konfiguriert sein, eine Aufnahmeanweisung an die Kamera 3201 bereitzustellen.
Mit dem Verfahren, das in dem Prozess der Automatikaufnahmebetriebsart beschrieben ist, wird ein Aufnahmezeitpunkt bestimmt und eine Automatikaufnahmeanweisung wird an die Kamera 3201 bereitgestellt.
Es könnte bestimmt werden, ob sich ein spezifisches Objekt in dem Bildschirm der Kamera 3201 nähert und eine kontinuierliche Aufnahme oder eine Videoaufnahme könnte zu dem Zeitpunkt durchgeführt werden, zu dem das spezifische Objekt in den Bildschirm eintritt.
Gemäß dem vorliegendem Ausführungsbeispiel kann die Bildaufnahmevorrichtung bereitgestellt werden, die dazu in der Lage ist, ein Videobild gemäß der Präferenz des Benutzers ohne irgendeine spezielle Operation des Benutzers zu beschaffen.
Ausführungsbeispiele der vorliegenden Erfindung sind nicht auf die vorstehend beschriebenen Ausführungsbeispiele beschränkt. Verschiedene Änderungen oder Modifikationen sind anwendbar, ohne sich von dem Geist und Umfang der vorliegenden Erfindung zu entfernen. Deshalb sind die folgenden Ansprüche angehängt, um den Umfang der vorliegenden Erfindung zu zeigen.
Diese Anmeldung beansprucht den Vorteil der japanischen Patentanmeldung Nummer 2017-188938, eingereicht am 28. September 2017, Nummer 2017-254231, eingereicht am 28. Dezember 2017 und Nummer 2018-053078 , eingereicht am 20. März 2018, welche hierin durch Bezugnahme in ihrer Gesamtheit mit eingeschlossen sind.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

JP 2017188938 [0390]
JP 2017254231 [0390]
JP 2018053078 [0390]

Claims

Bildaufnahmevorrichtung, mit: einer Beschaffungseinheit, die dazu konfiguriert ist, Daten über ein aufgenommenes Bild, das durch eine Aufnahmeeinheit aufgenommen wird, zu beschaffen; und einer Änderungseinheit, die dazu konfiguriert ist, einen Aufnahmeprozess der Aufnahmeeinheit basierend auf den Daten, die durch die Beschaffungseinheit beschafft werden, zu ändern, wobei die Änderungseinheit dazu konfiguriert ist, wenn die Änderungseinheit den Aufnahmeprozess ändert, größere Gewichtungen an die Daten, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild, basierend auf einer Anweisung von einem Benutzer, als zu den Daten, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild, das automatisch verarbeitet wird, zuzuweisen.
Bildaufnahmevorrichtung gemäß Anspruch 1, wobei das aufgenommene Bild, das automatisch verarbeitet ist, zumindest eines eines aufgenommenen Bildes ist, das automatisch aufgenommen wird, eines aufgenommenen Bildes, das automatisch bearbeitet wird, eines aufgenommenen Bildes, das automatisch an eine externe Vorrichtung übertragen wird, und eines aufgenommenen Bildes, das nicht durch eine Automatikdateilöschung gelöscht wird.
Bildaufnahmevorrichtung gemäß Anspruch 1, wobei das aufgenommene Bild basierend auf einer Anweisung von einem Benutzer zumindest eines eines aufgenommenen Bildes basierend auf einer Aufnahmeanweisung durch eine Anweisung von einem Benutzer, eines aufgenommenen Bildes, das basierend auf einer Anweisung von einem Benutzer bewertet ist, eines aufgenommenen Bildes, das basierend auf einer Sendeanweisung durch eine Anweisung von einem Benutzer an eine externe Vorrichtung, die mit der Bildaufnahmevorrichtung bidirektional kommunizieren kann, beschafft ist, eines aufgenommenen Bildes, das in einer externen Vorrichtung, die mit der Bildaufnahmevorrichtung bidirektional kommunizieren kann, gespeichert ist, eines aufgenommenen Bildes, das auf einen Server, basierend auf einer Anweisung von einem Benutzer hochgeladen ist, eines aufgenommenen Bildes mit einem Parameter, der basierend auf einer Anweisung von einem Benutzer geändert ist, eines aufgenommenen Bildes basierend auf einer Bearbeitungsanweisung von einem Benutzer, und eines aufgenommenen Bildes mit einem Aufnahmebereich, der basierend auf einer Anweisung von einem Benutzer geändert ist, ist.
Bildaufnahmevorrichtung gemäß Anspruch 1, wobei der Aufnahmeprozess einen Prozess des Erfassers eines Aufnahmeauslösers umfasst.
Bildaufnahmevorrichtung gemäß Anspruch 1, wobei der Aufnahmeprozess einen Prozess des Bestimmens eines Aufnahmeverfahrens umfasst.
Bildaufnahmevorrichtung gemäß Anspruch 5, wobei der Prozess des Bestimmens einer Aufnahmebetriebsart dazu dient, irgendeine einer Einzelaufnahme eines Standbildes, einer kontinuierlichen Aufnahme von Standbildern, einer Videoaufnahme, einer Panoramaaufnahme und einer Zeitrafferaufnahme zu bestimmen.
Bildaufnahmevorrichtung gemäß Anspruch 4, wobei der Aufnahmeauslöser basierend auf zumindest einem eines erfassten Ergebnisses eines spezifischen Subjekts, einer spezifischen Komposition, einem spezifischen Geräusch, einer Zeit, einer Größenordnung einer Vibration, einer Änderung eines Orts, einer Änderung in einem Körper eines Benutzers, einer Änderung in einer Umgebung um die Bildaufnahmevorrichtung herum, und einem Status der Bildaufnahmevorrichtung erfasst wird.
Bildaufnahmevorrichtung gemäß einem der Ansprüche 1 bis 7, wobei der Aufnahmeprozess einen Prozess des Suchens nach einem spezifischen Objekt umfasst.
Bildaufnahmevorrichtung gemäß Anspruch 8, weiterhin mit einem Rotationsmechanismus, der dazu konfiguriert ist, dazu in der Lage zu sein, ein Gehäuse um zumindest eine von mehreren Achsen zu drehen, wobei das Gehäuse eine Aufnahmelinse und ein Abbildungselement enthält, und wobei der Prozess des Suchens nach einem spezifischen Subjekt durch Drehen des Rotationsmechanismus durchgeführt wird.
Bildaufnahmevorrichtung gemäß Anspruch 8, wobei der Prozess des Suchens nach einem spezifischen Objekt durch Antreiben und Ansteuern einer Zoom-Linse zum Zoomen durchgeführt wird.
Bildaufnahmevorrichtung gemäß Anspruch 8, wobei der Prozess des Suchens nach einem spezifischen Objekt durch Zuschneiden eines Teils des aufgenommenen Bildes durchgeführt wird.
Bildaufnahmevorrichtung gemäß einem der Ansprüche 7 bis 11, wobei das spezifische Subjekt ein Gesicht einer Person ist, und das aufgenommene Bild, das automatisch aufgenommen wird, ein aufgenommenes Bild ist, das basierend auf einer Häufigkeit eines Erscheinens des Subjekts, nachdem gesucht wird, und einem Gesichtsausdruck einer Person aufgenommen wird.
Bildaufnahmevorrichtung gemäß einem der Ansprüche 7 bis 11, wobei das spezifische Subjekt ein Objekt ist, und das aufgenommene Bild, das automatisch aufgenommen wird, ein Bild ist, das basierend auf einer Objekterkennung aufgenommen wird.
Bildaufnahmevorrichtung, mit: einer Bearbeitungseinheit, die dazu konfiguriert ist, ein aufgenommenes Bild zu bearbeiten; einer Beschaffungseinheit, die dazu konfiguriert ist, Daten über das aufgenommene Bild zu beschaffen, und eine Änderungseinheit, die dazu konfiguriert ist, einen Bearbeitungsprozess der Bearbeitungseinheit basierend auf den Daten, die durch die Beschaffungseinheit beschafft werden, zu ändern, wobei die Änderungseinheit dazu konfiguriert ist, wenn die Änderungseinheit den Bearbeitungsprozess ändert, größere Gewichtungen zu den Daten zuzuweisen, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild basierend auf einer Anweisung von einem Benutzer als zu den Daten, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild, das automatisch verarbeitet wird.
Bildaufnahmevorrichtung, mit: Aufzeichnungseinheit, die dazu konfiguriert ist, ein aufgenommenes Bild zu sichern; einer Automatikbildübertragungseinheit, die dazu konfiguriert ist, ein aufgenommenes Bild, das in Aufzeichnungseinheit gesichert ist, an eine externe Vorrichtung, die bidirektional kommunizieren kann, zu übertragen; einer Beschaffungseinheit, die dazu konfiguriert ist, Daten über das aufgenommene Bild zu beschaffen; und einer Änderungseinheit, die dazu konfiguriert ist, einen Auswahlprozess des Auswählens eines Bildes, das von der Automatikbildübertragungseinheit gesendet wird, basierend auf den Daten, die durch die Beschaffungseinheit beschafft werden, zu ändern, wobei die Änderungseinheit dazu konfiguriert ist, wenn die Änderungseinheit den Auswahlprozess ändert, größere Gewichtungen an die Daten, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild, basierend auf einer Anweisung von einem Benutzer, als zu den Daten, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild, das automatisch verarbeitet wird, zuzuweisen.
Bildaufnahmevorrichtung, mit: einer Aufzeichnungseinheit, die dazu konfiguriert ist, ein aufgenommenes Bild zu sichern; einer Löscheinheit, die dazu konfiguriert ist, das aufgenommene Bild, das in der Aufzeichnungseinheit gesichert ist, automatisch zu löschen; einer Beschaffungseinheit, die dazu konfiguriert ist, Daten über das aufgenommene Bild zu beschaffen; und einer Änderungseinheit, die dazu konfiguriert ist, einen Auswahlprozess des Auswählens eines aufgenommenen Bildes, das durch die Löscheinheit zu löschen ist, basierend auf den Daten, die durch die Beschaffungseinheit beschafft werden, zu ändern, wobei die Änderungseinheit dazu konfiguriert ist, wenn die Änderungseinheit den Auswahlprozess ändert, größere Gewichtungen an die Daten, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild, basierend auf einer Anweisung von einem Benutzer, als zu den Daten, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild, das automatisch verarbeitet wird, zuzuweisen.
Bildaufnahmevorrichtung, mit: einer Anzeigeeinheit, die dazu konfiguriert ist, ein aufgenommenes Bild anzuzeigen; einer Beschaffungseinheit, die dazu konfiguriert ist, Daten über das aufgenommene Bild zu beschaffen; und einer Änderungseinheit, die dazu konfiguriert ist, eine Reihenfolge eines aufgenommenen Bildes, das durch die Anzeigeeinheit anzuzeigen ist, basierend auf den Daten, die durch die Beschaffungseinheit beschafft werden, zu ändern, wobei die Änderungseinheit dazu konfiguriert ist, wenn die Änderungseinheit die Reihenfolge einer Anzeige ändert, größere Gewichtungen an die Daten, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild, basierend auf einer Anweisung von einem Benutzer, als zu den Daten, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild, das automatisch verarbeitet wird, zuzuweisen.
Bildaufnahmevorrichtung, mit: einer Mitteilungseinheit, die dazu konfiguriert ist, vor einem Aufnehmen, ein Subjekt, von dem bestimmt ist, dass dieses aufgenommen wird, zu informieren, dass das Subjekt aufgenommen wird; einer Beschaffungseinheit, die dazu konfiguriert ist, Daten über ein aufgenommenes Bild zu beschaffen; und einer Änderungseinheit, die dazu konfiguriert ist, einen Mitteilungsprozess der Mitteilungseinheit basierend auf den Daten, die durch die Beschaffungseinheit beschafft werden, zu ändern, wobei die Änderungseinheit dazu konfiguriert ist, wenn die Änderungseinheit den Mitteilungsprozess ändert, größere Gewichtungen zu den Daten zuzuweisen, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild basierend auf einer Anweisung von einem Benutzer als zu den Daten, die durch die Beschaffungseinheit beschafft werden, über das Bild, das automatisch verarbeitet wird.
Bildaufnahmevorrichtung, mit: einer Einstelleinheit, die dazu konfiguriert ist, in eine Niedrigelektrikleistungsverbrauchsbetriebsart zu wechseln; einer Aufhebungsbestimmungseinheit, die dazu konfiguriert ist, zu bestimmen, die Niedrigelektrikleistungsverbrauchsbetriebsart aufzuheben; einer Beschaffungseinheit, die dazu konfiguriert ist, Daten über ein aufgenommenes Bild zu beschaffen; und einer Änderungseinheit, die dazu konfiguriert ist, zumindest einen eines Bestimmungsprozesses der Einstelleinheit und der Aufhebungsbestimmungseinheit basierend auf den Daten, die durch die Beschaffungseinheit beschafft werden, zu ändern, wobei die Änderungseinheit dazu konfiguriert ist, wenn die Änderungseinheit zumindest einen der Bestimmungsprozesse ändert, größere Gewichtungen an die Daten zuzuweisen, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild basierend auf einer Anweisung von einem Benutzer, als zu den Daten, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild, das automatisch verarbeitet wird.
Bildaufnahmevorrichtung, mit: einer Stabilisierungseinheit, die dazu konfiguriert ist, eine Bewegung zu korrig ieren; einer Beschaffungseinheit, die dazu konfiguriert ist, Daten über ein aufgenommenes Bild zu beschaffen; und einer Änderungseinheit, die dazu konfiguriert ist, einen Stabilisierungsprozess der Stabilisierungseinheit basierend auf den Daten, die durch die Beschaffungseinheit beschafft werden, zu ändern, wobei die Änderungseinheit dazu konfiguriert ist, wenn die Änderungseinheit den Stabilisierungsprozess ändert, größere Gewichtungen an die Daten, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild basierend auf einer Anweisung von einem Benutzer, als zu den Daten, die durch die Beschaffungseinheit beschafft werden, über das aufgenommene Bild, das automatisch verarbeitet wird.
Bildaufnahmevorrichtung, mit: einer Änderungseinheit, die dazu konfiguriert ist, einen Prozess einer Bildaufnahmevorrichtung zu ändern, basierend auf ersten Daten über ein aufgenommenes Bild, das durch eine Aufnahmeeinheit aufgenommen wird, wobei die Änderungseinheit dazu konfiguriert ist, wenn die Änderungseinheit den Prozess der Bildaufnahmevorrichtung ändert, größere Gewichtungen an die ersten Daten über das aufgenommene Bild basierend auf einer Anweisung von einem Benutzer als zu den ersten Daten über das aufgenommene Bild, das automatisch verarbeitet wird, zuzuweisen.
Steuerungsverfahren für eine Bildaufnahmevorrichtung, wobei das Steuerungsverfahren aufweist: einen Änderungsschritt des Änderns eines Prozesses einer Bildaufnahmevorrichtung, basierend auf ersten Daten über ein aufgenommenes Bild, das durch eine Aufnahmeeinheit aufgenommen wird, wobei in dem Änderungsschritt, wenn der Prozess der Bildaufnahmevorrichtung geändert wird, größere Gewichtungen an die ersten Daten über das aufgenommene Bild basierend auf einer Anweisung von einem Benutzer als zu den ersten Daten über das aufgenommene Bild, das automatisch verarbeitet wird, zugewiesen werden.