BR112020006277A2

BR112020006277A2 - aparelho de captura de imagem e método de controle para o mesmo

Info

Publication number: BR112020006277A2
Application number: BR112020006277-4A
Authority: BR
Inventors: Nobushige Wakamatsu; Shinnosuke Osawa; Ryota Ogawa; Yuki TSUIHIJI; Yusuke Shimizu
Original assignee: Canon Kabushiki Kaisha
Priority date: 2017-09-28
Filing date: 2018-09-20
Publication date: 2020-10-20
Also published as: KR20200049864A; JP6766086B2; CN111345028B; US20210337100A1; JP2022111133A; US11729487B2; US20200228692A1; RU2741480C1; JP7423685B2; KR102405171B1; JP2019106694A; JP2020205637A; JP7077376B2; US11102389B2; CN111345028A; DE112018005025T5

Abstract

Trata-se de um aparelho de captura de imagem que é configurado para mudar um processo de captura com base nos dados de uma imagem de captura. O aparelho de captura de imagem é configurado para, quando o aparelho de captura de imagem mudar o processo de captura, atribuir pesos maiores aos dados sobre a imagem de captura com base em uma instrução de um usuário do que aos dados de imagem de captura processada automaticamente.

Description

“APARELHO DE CAPTURA DE IMAGEM E MÉTODO DE CONTROLE PARA O MESMO” CAMPO DA TÉCNICA

[0001] A presente invenção refere-se a um aparelho de captura de imagem e um método de controle para o mesmo.

ANTECEDENTES DA TÉCNICA

[0002] Na captura de imagens fixas ou de vídeo com um equipamento de captura de imagem, tal como uma câmera, o usuário usualmente captura uma imagem decidindo-se o assunto a ser capturado através de um visor, ou similares, e ajustando- se o enquadramento da imagem a ser fotografada através da verificação de condições de captura por conta própria. Esse aparelho de captura de imagem tem uma função de detectar um erro na operação do usuário e informar o usuário sobre o erro ou detectar um ambiente externo e, quando o ambiente externo não for adequado para capturar uma imagem, informar ao usuário que o ambiente é inadequado. Além disso, há um mecanismo existente para controlar uma câmera, de modo que a câmera seja colocada em um estado adequado para capturar uma imagem.

[0003] Tais aparelhos de captura de imagem que capturam uma imagem através de operação do usuário incluem uma câmera de registro de vida que captura periódica e continuamente uma imagem sem uma instrução de captura do usuário (Publicação de Tradução de Patente Japonesa PCT nº 2016-536868). Uma câmera de registro de vida é usada em um estado de estar fixada ao corpo de um usuário com uma cinta, ou similares, e grava uma cena que o usuário vê em uma vida cotidiana como uma imagem de vídeo em intervalos de tempo definidos. Uma câmera de registro de vida captura uma imagem não em temporização dirigida, tal como a temporização que um usuário libera um obturador, mas em intervalos de tempo definidos, assim um momento inesperado que não é usualmente capturado pode ser gravado como uma imagem de vídeo.

SUMÁRIO DA INVENÇÃO

[0004] No entanto, quando uma câmera de registro de vida captura periódica e automaticamente uma imagem em um estado em que um usuário está usando a câmera de registro de vida junto ao corpo, uma imagem de vídeo que não é uma preferência do usuário pode ser adquirida e uma imagem de vídeo de um momento que o usuário realmente deseja pode não ser adquirida.

[0005] A presente invenção é feita tendo em vista a inconveniência descrita acima, e é um objetivo da presente invenção fornecer um aparelho de captura de imagem que seja capaz de adquirir uma imagem de vídeo de uma preferência do usuário sem qualquer operação particular do usuário.

[0006] Uma característica técnica da presente invenção é um método de controle para um aparelho de captura de imagem e inclui uma etapa de mudança de um processo do aparelho de captura de imagem com base nos primeiros dados de uma imagem de captura fotografada por uma unidade de captura. Na etapa de mudança, quando o processo do aparelho de captura de imagem é mudado, pesos maiores são atribuídos aos primeiros dados sobre a imagem de captura com base em uma instrução de um usuário do que aos primeiros dados sobre a imagem de captura processada automaticamente.

BREVE DESCRIÇÃO DOS DESENHOS

[0007] [FIG. 1A] A Figura 1A é um diagrama que mostra esquematicamente um aparelho de captura de imagem.

[0008] [FIG. 1B] A Figura 1B é uma vista que ilustra uma direção de arfagem, uma direção de guinada e uma direção de rolagem.

[0009] [FIG. 2] A Figura 2 é um diagrama que mostra a configuração do aparelho de captura de imagem.

[0010] [FIG. 3] A Figura 3 é um diagrama que mostra a configuração do aparelho de captura de imagem e aparelho externo.

[0011] [FIG. 4] A Figura 4 é um diagrama que mostra a configuração do aparelho externo.

[0012] [FIG. 5] A Figura 5 é um diagrama que mostra a configuração do aparelho de captura de imagem e aparelho externo.

[0013] [FIG. 6] A Figura 6 é um diagrama que mostra a configuração do aparelho externo.

[0014] [FIG. 7] A Figura 7 é um fluxograma que ilustra uma primeira unidade de controle.

[0015] [FIG. 8] A Figura 8 é um fluxograma que ilustra uma segunda unidade de controle.

[0016] [FIG. 9] A Figura 9 é um fluxograma que ilustra o processo de um modo de captura.

[0017] [FIG. 10] A Figura 10 é um fluxograma que ilustra a determinação automática do modo de edição.

[0018] [FIG. 11] A Figura 11 é um fluxograma que ilustra um processo de edição automática.

[0019] [FIG. 12] A Figura 12 é uma vista que ilustra uma rede neural.

[0020] [FIG. 13A] A Figura 13A é uma vista para ilustrar um exemplo em que a divisão da área é realizada em torno da posição do aparelho de captura de imagem (quando uma direção de inclinação e uma direção de giro são, cada uma, 22,5 graus).

[0021] [FIG. 13B] A Figura 13B é uma vista para ilustrar um exemplo em que a divisão de área é realizada em torno da posição do aparelho de captura de imagem (quando um ângulo de inclinação é maior ou igual a 45 graus).

[0022] [FIG. 13C] A Figura 13C é uma vista para ilustrar um exemplo em que a divisão de área é realizada em um ângulo de captura de visão.

[0023] [FIG.13D] A Figura 13D é uma vista para ilustrar um exemplo de imagem de um ângulo de área de visão de uma imagem que está sendo imageada.

[0024] [FIG. 14] A Figura 14 é um fluxograma que ilustra a determinação de modo de aprendizagem.

[0025] [FIG. 15] A Figura 15 é um fluxograma que ilustra um processo de aprendizagem.

[0026] [FIG. 16] A Figura 16 é um diagrama que ilustra um processo de exibição, de acordo com a presente modalidade.

[0027] [FIG. 17] A Figura 17 é um diagrama que mostra a configuração de uma seção de acionamento de rotação do tubo da lente.

[0028] [FIG. 18] A Figura 18 é uma vista que ilustra uma posição alvo e a posição real de um assunto em uma imagem.

[0029] [FIG. 19] A Figura 19 é um fluxograma que ilustra a detecção de uma operação de mudança de direção de captura.

[0030] [FIG. 20] A Figura 20 é um diagrama que mostra esquematicamente a detecção da operação de mudança de direção de captura.

[0031] [FIG. 21A] A Figura 21A é uma vista que mostra uma captura de imagem no momento de tempo ta.

[0032] [FIG. 21B] A Figura 21B é uma vista que mostra uma captura de imagem quando um usuário gira um tubo da lente 102 para a direita em relação a uma parte fixa 103 no momento de tempo tb.

[0033] [FIG. 21C] A Figura 21C é uma vista que mostra uma imagem quando um assunto alvo está posicionado no ângulo de visão como um resultado de girar um eixo de giro para perto de um novo assunto através da operação de mudança de direção de captura do usuário em um estado em que uma saída de controle de um compensador 1702 é parada no tempo tc.

[0034] [FIG. 21D] A Figura 21D é uma vista que mostra uma imagem obtida rastreando-se e imageando-se o novo assunto após uma mudança na direção de captura em um estado em que a saída de controle do compensador 1702 é iniciada no momento de tempo t4.

[0035] [FIG. 22] A Figura 22 é um gráfico que mostra as mudanças no tempo na saída de controle 2201, desvio posicional 2202 e velocidade de movimento 2203 de giro para a operação de mudança de direção de captura.

[0036] [FIG. 23] A Figura 23 é um gráfico que mostra uma mudança na saída de um sensor de aceleração de uma seção de detecção de oscilação de aparelho 209 no momento em que a direção de captura do aparelho de captura de imagem é mudada através de operação do usuário.

[0037] [FIG. 24] A Figura 24 é um fluxograma que ilustra um processo manual de determinação de captura por controle de voz.

[0038] [FIG. 25] A Figura 25 é um gráfico que mostra resultados obtidos aplicando- se valores detectados de direção de som ao processamento de histograma.

[0039] [FIG. 26] A Figura 26 é um diagrama que ilustra a notificação de um dispositivo inteligente 301 de que um assunto foi registrado.

[0040] [FIG. 27] A Figura 27 é um fluxograma que ilustra um processo de captura automático no caso de ativação com base em detecção de toque.

[0041] [FIG. 28] A Figura 28 é um fluxograma que ilustra um processo de captura automático no caso de ativação com base em detecção de som.

[0042] [FIG. 29] A Figura 29 é um fluxograma que ilustra um processo de um modo de exclusão de arquivos automática.

[0043] [FIG. 30] A Figura 30 é uma vista que mostra um exemplo de um acessório de controle portátil.

[0044] [FIG. 31] A Figura 31 é uma vista que ilustra uma cena em que um usuário captura um assunto selecionado 5011, direcionando-se o aparelho de captura de imagem em direção ao assunto 5011.

[0045] [FIG. 32] A Figura 32 é um diagrama que mostra um exemplo de uma configuração que é acoplável mecanicamente a uma sapata de acessório 3202 de uma câmera 3201 diferente do aparelho de captura de imagem 101.

[0046] [FIG. 33] A Figura 33 é um fluxograma que ilustra um processo do aparelho de captura de imagem 101 quando o aparelho de captura de imagem 101 e a outra câmera 3201 estão conectados.

DESCRIÇÃO DAS MODALIDADES PRIMEIRA MODALIDADE CONFIGURAÇÃO DE APARELHO DE CAPTURA DE IMAGEM

[0047] A Figura 1 é um diagrama que mostra esquematicamente um aparelho de captura de imagem de uma primeira modalidade.

[0048] O aparelho de captura de imagem 101 mostrado na Figura 1A inclui um membro operacional com o qual um interruptor de energia pode ser operado (doravante no presente documento, denominado como botão de energia que, no entanto, também pode ser uma operação, tal como tocar, sacudir e deslizar, em um painel de toque) e outros componentes. Um tubo da lente 102 que é um alojamento que contém um grupo de lentes de captura e um elemento de imageamento que captura uma imagem é instalado no aparelho de captura de imagem 101. O tubo da lente 102 tem um mecanismo de rotação que pode acionar e girar o tubo da lente 102 em relação a uma parte fixa 103. Uma unidade de inclinação 104 é um mecanismo acionado por motor que pode girar o tubo da lente 102 em uma direção de arfagem mostrada na Figura 1B. Uma unidade de giro 105 é um mecanismo acionado por motor que pode girar o tubo da lente 102 em uma direção de guinada. Assim, o tubo da lente 102 é giratório em torno de um ou mais eixos geométricos. A Figura 1B é uma definição de eixos geométricos na posição da parte fixa 103. Um medidor de velocidade angular 106 e um acelerômetro 107 são montados na parte fixa 103 do aparelho de captura de imagem 101. A vibração do aparelho de captura de imagem 101 é detectada com base no medidor de velocidade angular 106 e no acelerômetro

107. A unidade de inclinação e a unidade de giro são acionadas rotacionalmente com base no ângulo detectado de vibração. Assim, um movimento do tubo da lente 102 que é uma parte móvel é corrigido ou uma inclinação do tubo da lente 102 é corrigida.

[0049] A Figura 2 é um diagrama de blocos que mostra a configuração do aparelho de captura de imagem da presente modalidade.

[0050] Na Figura 2, uma primeira seção de controle 223 é composta de um processador (por exemplo, uma CPU, uma GPU, um microprocessador, uma MPU ou similares) e uma memória (por exemplo, uma DRAM, uma SRAM, ou similares). Esses controlam os blocos do aparelho de captura de imagem 101 executando-se vários processos ou controles de transferência de dados entre os blocos. Una memória não volátil (EEPROM) 216 é uma memória eletricamente apagável e gravável. Constantes, programas e similares, para a operação da primeira seção de controle 223 são armazenados na memória não volátil 216.

[0051] Na Figura 2, uma unidade de ampliação 201 inclui uma lente de ampliação para escalonamento. Uma seção de controle de ampliação 202 dirige e controla a unidade de ampliação 201. Uma unidade de foco 203 inclui uma lente para ajuste de foco. Uma seção de controle de foco 204 aciona e controla a unidade de foco 203.

[0052] Em uma seção de imageamento 206, um elemento de imageamento recebe luz que entra através de grupos de lentes e emite informações de carga elétrica proporcional à quantidade de luz para uma seção de processamento de imagem 207 como dados de imagem analógicos. A seção de processamento de imagem 207 aplica o processamento de imagem, tal como correção de distorção, ajuste de equilíbrio de branco e interpolação de cores, à saída de dados de imagem digital através de conversão analógica para digital e emite os dados de imagem digital processados. À saída de dados de imagem digital da seção de processamento de imagem 207 é convertida por uma seção de gravação de imagem 208 em um formato de gravação, tal como o formato JPEG, e é enviada para uma memória 215 ou uma seção de saída de vídeo 217 (descrita posteriormente).

[0053] Uma seção de acionamento de rotação de tubo da lente 205 aciona a unidade de inclinação 104 e a unidade de giro 105 para fazer com que o tubo da lente 102 seja acionado em uma direção de inclinação e uma direção de giro.

[0054] Em uma seção de detecção de oscilação de aparelho 209, por exemplo, são montados o medidor de velocidade angular (sensor giroscópico) 106 que detecta as velocidades angulares de três eixos geométricos do aparelho de captura de imagem 101 e o acelerômetro (sensor de aceleração) 107 que detecta as acelerações de três eixos geométricos do aparelho. A seção de detecção de oscilação do aparelho 209 calcula o ângulo de rotação do aparelho, a quantidade de deslocamento do aparelho e similares, com base nos sinais detectados.

[0055] Uma seção de entrada de voz 213 adquire um sinal de voz em torno do aparelho de captura de imagem 101 de um microfone fornecido no aparelho de captura de imagem 101, realiza a conversão analógico-digital no sinal de voz e envia o sinal de voz para uma seção de processamento de voz 214. A seção de processamento de voz 214 executa um processo relacionado à fala, tal como um processo de otimização do sinal de voz digital de entrada. O sinal de voz processado pela seção de processamento de voz 214 é enviado para a memória 215 pela primeira seção de controle 223. A memória 215 armazena temporariamente um sinal de imagem obtido pela seção de processamento de imagem 207 e um sinal de voz obtido pela seção de processamento de voz 214.

[0056] A seção de processamento de imagem 207 lê o sinal de imagem armazenado temporariamente na memória 215, por exemplo, codifica o sinal de imagem e gera um sinal de imagem compactado. A seção de processamento de voz 214 lê o sinal de voz armazenado temporariamente na memória 215, por exemplo, codifica o sinal de voz e gera um sinal de voz compactado. A primeira seção de controle 223 envia esse sinal de imagem compactado e sinal de voz compactado para uma seção de gravação e reprodução 220.

[0057] A seção de gravação e reprodução 220 grava o sinal de imagem compactado gerado pela seção de processamento de imagem 207, o sinal de voz compactado gerado pela seção de processamento de voz 214 e outros dados de controle e similares, relacionados à captura em uma mídia de gravação 221. Quando um sinal de voz não é codificado por compressão, a primeira seção de controle 223 envia o sinal de voz gerado pela seção de processamento de voz 214 e o sinal de imagem compactado gerado pela seção de processamento de imagem 207 para a seção de gravação e reprodução 220 e faz com que a seção de gravação e reprodução 220 grave o sinal de voz e o sinal de imagem compactado na mídia de gravação 221.

[0058] A mídia de gravação 221 pode ser uma mídia de gravação integrada no aparelho de captura de imagem 101 ou uma mídia de gravação removível. A mídia de gravação 221 é capaz de gravar vários dados, tais como um sinal de imagem compactado, sinal de voz compactado e sinal de voz gerado no aparelho de captura de imagem 101. Uma mídia com uma capacidade maior do que a memória não volátil 216 é usada geralmente como a mídia de gravação 221. Por exemplo, a mídia de gravação 221 pode ser uma mídia de gravação de qualquer tipo, tal como um disco rígido, um disco óptico, um disco magneto-óptico, um CD-R, um DVD-R, uma fita magnética, uma memória de semicondutor não volátil e uma memória flash.

[0059] A seção de gravação e reprodução 220 lê (reproduz) um sinal de imagem compactado, sinal de voz compactado, sinal de voz, vários dados e programas gravados na mídia de gravação 221. A primeira seção de controle 223 envia o sinal de imagem compactado de leitura para a seção de processamento de imagem 207 e envia o sinal de voz compactado para a seção de processamento de voz 214. A seção de processamento de imagem 207 armazena temporariamente o sinal de imagem compactado na memória 215, decodifica o sinal de imagem compactado em um procedimento predeterminado e envia os sinais decodificados para a seção de saída de vídeo 217. A seção de processamento de voz 214 armazena temporariamente o sinal de voz compactado na memória 215, decodifica o sinal de voz compactado em um procedimento predeterminado e envia os sinais decodificados para uma seção de saída de voz 218.

[0060] Uma pluralidade de microfones é montada no aparelho de captura de imagem 101 como a seção de entrada de voz 213. A seção de processamento de voz 214 é capaz de detectar a direção de um som em um plano no qual a pluralidade de microfones está instalada e é usada para busca ou captura automática (descrito posteriormente). Além disso, a seção de processamento de voz 214 detecta comandos de voz específicos. Os comandos de voz podem ser alguns comandos registrados previamente e também podem ser configurados para que um usuário possa registrar uma voz específica no aparelho de captura de imagem. A seção de processamento de voz 214 também realiza reconhecimento de cena sonora. No reconhecimento de cena sonora, uma determinação de cena sonora é realizada por uma rede treinada previamente através da aprendizagem de máquina com base em uma grande quantidade de dados de voz. Por exemplo, uma rede para detectar uma cena específica, tal como "uma ovação", "palmas" e "fala", é configurada na seção de processamento de voz 214. Quando uma cena sonora específica ou um comando de voz específica é detectado, a seção de processamento de voz 214 é configurada para emitir um sinal de gatilho de detecção para a primeira seção de controle 223 ou uma segunda seção de controle 211.

[0061] A segunda seção de controle 211, fornecida separadamente da primeira seção de controle 223 que controla o sistema principal geral do aparelho de captura de imagem 101, controla uma energia elétrica fornecida à primeira seção de controle

223.

[0062] Uma primeira seção de fonte de alimentação 210 e uma segunda seção de fonte de alimentação 212 fornecem, respectivamente, uma energia elétrica para operar a primeira seção de controle 223 e uma energia elétrica para operar a segunda seção de controle 211. Quando o botão de energia fornecido para o aparelho de captura de imagem 101 é pressionado, tanto a primeira seção de controle 223 quanto a segunda seção de controle 211 são inicialmente abastecidas com energia elétrica; no entanto, como será descrito posteriormente, a primeira seção de controle 223 é controlada para fazer com que a primeira seção de fonte de alimentação 210 pare a energia elétrica fornecida a si própria. Enquanto a primeira seção de controle 223 também não está em operação, a segunda seção de controle 211 está em operação e recebe informações da seção de detecção de oscilação do aparelho 209 ou da seção de processamento de voz 214. A segunda seção de controle é configurada para executar um processo de determinação quanto a se deve inicializar a primeira seção de controle 223 com base em várias peças de informações de entrada. Quando uma inicialização é determinada, a segunda seção de controle é configurada para fornecer uma instrução à primeira seção de fonte de alimentação para fornecer uma energia elétrica.

[0063] A seção de saída de voz 218 emite um padrão de voz predefinido a partir de um alto-falante integrado no aparelho de captura de imagem 101, por exemplo, durante a captura, ou similares.

[0064] Uma seção de controle de LED 224 controla um LED fornecido para o aparelho de captura de imagem 101 em um padrão de luz piscante predefinido, por exemplo, durante a captura ou similares.

[0065] A seção de saída de vídeo 217 é composta, por exemplo, por um terminal de saída de vídeo e envia um sinal de imagem para fazer com que um monitor externo conectado, ou similares, exiba uma imagem de vídeo. A seção de saída de voz 218 e a seção de saída de vídeo 217 podem ser um terminal combinado, por exemplo, um terminal como um terminal de interface multimídia de alta definição (HDMI) (marca registrada).

[0066] Uma seção de comunicação 222 realiza comunicação entre o aparelho de captura de imagem 101 e um aparelho externo e, por exemplo, envia ou recebe dados, tais como um sinal de voz, um sinal de imagem, um sinal de voz compactado e um sinal de imagem compactado. A seção de comunicação 222 também recebe um sinal de controle relacionado à captura, tal como comandos de início e parada de captura e giro/inclinação ou ampliação, e aciona o aparelho de captura de imagem 101 com base em uma instrução de um aparelho externo comunicável bidirecionalmente com o aparelho de captura de imagem 101 . A seção de comunicação 222 também envia ou recebe informações, como vários parâmetros relacionados à aprendizagem a serem processados em uma seção de processamento de aprendizagem 219 (descrita posteriormente), entre o aparelho de captura de imagem 101 e o aparelho externo. À seção de comunicação 222 é, por exemplo, um módulo de comunicação sem fio, tal como um módulo de comunicação por infravermelho, módulo de comunicação Bluetooth (marca registrada), um módulo de comunicação de LAN sem fio, um USB sem fio e um receptor de GPS.

CONFIGURAÇÃO COM DISPOSITIVO DE COMUNICAÇÃO EXTERNA

[0067] A Figura 3 é um diagrama que mostra um exemplo da configuração de um sistema de comunicação sem fio entre o aparelho de captura de imagem 101 e um aparelho externo 301. O aparelho de captura de imagem 101 é uma câmera digital com uma função de captura. O aparelho externo 301 é um dispositivo inteligente, que inclui um módulo de comunicação Bluetooth e um módulo de comunicação de LAN sem fio.

[0068] O aparelho de captura de imagem 101 e o dispositivo inteligente 301 são comunicáveis por meio de, por exemplo, comunicação 302 com base em uma LAN sem fio compatível com uma série de padrões IEEE 802.11, e comunicação 303 que tem uma relação mestre-escravo como uma estação de controle e uma estação secundária, tal como Bluetooth de Baixa Energia (doravante no presente documento, denominado "BLE"). A LAN sem fio e o BLE são exemplos de métodos de comunicação. Quando cada aparelho de comunicação tem duas ou mais funções de comunicação e, por exemplo, uma das funções de comunicação, que realiza comunicação na relação entre uma estação de controle e uma estação secundária, é capaz de controlar a outra função de comunicação, outro método de comunicação pode ser usado. No entanto, sem perda de generalidade, a primeira comunicação, tal como uma LAN sem fio, fornece uma comunicação de velocidade mais alta que a segunda, tal como o BLE, e a segunda comunicação é definida como pelo menos qualquer uma dentre aquela que tem um consumo de energia elétrica menor do que a primeira comunicação e aquela que tem uma distância comunicável mais curta que a primeira comunicação.

[0069] A configuração do dispositivo inteligente 301 será descrita com referência à Figura 4.

[0070] O dispositivo inteligente 301 inclui, por exemplo, não apenas uma seção de controle de LAN sem fio 401 para LAN sem fio e uma seção de controle de BLE 402 para BLE, mas também uma seção de controle de linha pública 406 para comunicação sem fio pública. O dispositivo inteligente 301 inclui adicionalmente uma seção de envio e recebimento de pacotes 403. A seção de controle da LAN sem fio 401 aciona um controlador que executa um processo de controle e comunicação de RF da LAN sem fio e vários controles sobre a comunicação com uma LAN sem fio compatível com uma série de padrões IEEE 802.11 e processamento de protocolo na comunicação com a LAN sem fio. A seção de controle de BLE 402 aciona um controlador que executa processo de controle e comunicação de RF do BLE e vários controles sobre a comunicação com o BLE e o processamento de protocolo na comunicação com o BLE. A seção de controle de linha pública 406 aciona um controlador que executa processo de controle e comunicação de RF de comunicação sem fio pública e vários controles sobre a comunicação com a comunicação sem fio pública e o processamento de protocolo relacionado à comunicação sem fio pública. A comunicação sem fio pública é, por exemplo, compatível com os padrões IMT (International Multimedia Telecommunications), LTE (Long Term Evolution) ou similares. A seção de envio e recebimento de pacotes 403 executa um processo para realizar pelo menos qualquer um dentre os de enviar e receber pacotes relacionados à comunicação com uma LAN sem fio e BLE e comunicação sem fio pública. Nesse exemplo, a descrição será feita na suposição de que o dispositivo inteligente 301 execute pelo menos um dentre envio e recebimento de pacotes em comunicação; no entanto, além da comutação de pacotes, outro formato de comunicação, por exemplo, comutação de circuitos ou similares, pode ser usado.

[0071] O dispositivo inteligente 301 inclui adicionalmente, por exemplo, uma seção de controle 411, uma seção de armazenamento 404, uma seção de recepção de GPS 405, uma parte de exibição 407, uma parte operacional 408, uma seção de entrada de voz e processamento de voz 409 e uma seção de fonte de alimentação 410 A seção de controle 411, por exemplo, controla todo o dispositivo inteligente 301 executando-se um programa de controle armazenado na seção de armazenamento

404. A seção de armazenamento 404 armazena, por exemplo, o programa de controle que a seção de controle 411 executa e várias informações, tais como parâmetros de comunicação. Várias operações (descritas posteriormente) são implantadas pela seção de controle 411, que executa o programa de controle armazenado na seção de armazenamento 404.

[0072] A seção de fonte de alimentação 410 fornece uma energia elétrica para o dispositivo inteligente 301. A parte de exibição 407 tem, por exemplo, uma função que é capaz de emitir informações reconhecíveis visualmente como um LCD e um LED ou emitir um som como um alto-falante e exibe várias informações. A parte operacional 408 é, por exemplo, um botão, ou similares, que recebe uma operação do usuário no dispositivo inteligente 301. A parte de exibição 407 e a parte operacional 408 podem ser constituídas por um membro comum, por exemplo, um painel sensível ao toque ou similares.

[0073] A seção de entrada de voz e processamento de voz 409 pode ser, por exemplo, configurada para adquirir uma voz emitida pelo usuário através de um microfone de propósito geral integrado ao dispositivo inteligente 301 e adquirir um comando de operação do usuário através do processamento de reconhecimento de voz.

[0074] Um comando de voz com base em uma fala do usuário é adquirido por meio de um aplicativo exclusivo instalado no dispositivo inteligente. O comando de voz pode ser armazenado como um comando de voz específica para fazer com que a seção de processamento de voz 214 do aparelho de captura de imagem 101 reconheça o comando de voz específica por meio da comunicação 302 com base na LAN sem fio.

[0075] A seção de recebimento de GPS (sistema de posicionamento global) 405 recebe sinais de GPS que são enviados de satélites, analisa os sinais de GPS e estima a posição atual (informações de longitude e latitude) do dispositivo inteligente

301. Alternativamente, para estimativa de posição, a posição atual do dispositivo inteligente 301 pode ser estimada com base em informações sobre uma rede sem fio ambiente com o uso de um WPS (Sistema de Posicionamento por Wi-Fi), ou similares. Quando as informações de posição atual de GPS adquiridas estão localizadas dentro de um alcance posicional predefinido (dentro do alcance de um raio predeterminado), as informações de movimento são fornecidas ao aparelho de captura de imagem 101 por meio da seção de controle de BLE 402 e são usadas como parâmetro para a captura automática ou edição automática (descritas posteriormente). Quando uma mudança na posição das informações de posição de GPS é maior ou igual a um alcance predeterminado, as informações de movimento são fornecidas ao aparelho de captura de imagem 101 através da seção de controle de BLE 402 e são usadas como parâmetro para a captura automática ou edição automática (descritas posteriormente).

[0076] Como descrito acima, o dispositivo inteligente 301 trocam dados com o aparelho de captura de imagem 101 por meio de comunicação com o uso da seção de controle de LAN sem fio 401 e da seção de controle de BLE 402. O aparelho de captura de imagem 101 e o dispositivo inteligente 301 enviam ou recebem dados, por exemplo, um sinal de voz, um sinal de imagem, um sinal de voz compactado, um sinal de imagem compactado ou similares. Uma instrução operacional para captura, ou similares, do aparelho de captura de imagem 101, envio de dados de registro de comando de voz ou fornecimento de detecção de posição predeterminada e local de movimento com base em informações de posição de GPS, é executada a partir do dispositivo inteligente. Os dados de aprendizagem também são enviados ou recebidos por meio do aplicativo exclusivo instalado no dispositivo inteligente. O aparelho externo 301 não é limitado ao dispositivo inteligente 301. O aparelho externo 301 pode ser, por exemplo, um aparelho que não tem parte de exibição 407, parte operacional 408 ou similares, e especializado para entrada de voz. Com esse aparelho, uma voz emitida pelo usuário é adquirida através do microfone descrito acima, um comando de operação do usuário é adquirido através do processamento de reconhecimento de voz e o comando de operação é fornecido ao aparelho de captura de imagem 101. Além do exposto acima, esse aparelho pode ter uma função de ler notícias com o uso de reconhecimento de voz, uma função de comunicação com uma nuvem e um alto- falante. O aparelho pode ter uma função de saída de som para fins de busca com o uso de um mecanismo de busca ou uma função de um sistema de diálogo.

CONFIGURAÇÃO DE ACESSÓRIOS

[0077] A Figura 5 é um diagrama que mostra um exemplo da configuração de um aparelho externo 501 que é comunicável com o aparelho de captura de imagem 101. O aparelho de captura de imagem 101 é uma câmera digital com uma função de captura. O aparelho externo 501 é um dispositivo utilizável junto ao corpo, que inclui várias partes de detecção e comunicável com o aparelho de captura de imagem 101, com o uso, por exemplo, de um módulo de comunicação Bluetooth ou similares.

[0078] O dispositivo utilizável junto ao corpo 501 é configurado para ser utilizável junto ao corpo em, por exemplo, um braço, ou similares, de um usuário. Um sensor que detecta informações biológicas, tais como pulso, frequência cardíaca e fluxo sanguíneo do usuário, em intervalos predeterminados, um sensor de aceleração que seja capaz de detectar a situação de movimento do usuário ou similares, é instalado no dispositivo utilizável junto ao corpo. 501.

[0079] Exemplos de uma parte de detecção de informações biológicas 502 incluem um sensor de pulso que detecta o pulso, um sensor de frequência cardíaca que detecta a frequência cardíaca, um sensor de fluxo sanguíneo que detecta o fluxo sanguíneo e um sensor que detecta uma mudança no potencial devido ao contato de uma pele com um polímero eletricamente condutor. Na presente modalidade, será feita descrição com o uso de um sensor de frequência cardíaca como a parte de detecção de informações biológicas 502. O sensor de frequência cardíaca detecta a frequência cardíaca do usuário irradiando-se luz infravermelha para uma pele com o uso de um LED ou similares, detectando-se a luz infravermelha transmitida através de um tecido corporal com um sensor de recepção de luz e aplicando-se o processamento de sinal à luz infravermelha. A parte de detecção de informações biológicas 502 envia as informações biológicas detectadas para uma seção de controle 607 (descrita posteriormente) como um sinal.

[0080] Uma parte de detecção de oscilação 503 que detecta a situação de movimento do usuário está equipada com, por exemplo, um sensor de aceleração ou um sensor giroscópico e é capaz de detectar um movimento com base em informações sobre uma aceleração como, por exemplo, se o usuário está em movimento, se o usuário está realizando uma ação balançando o braço ou similares.

[0081] O dispositivo utilizável junto ao corpo 501 também está equipado com uma parte operacional 505 que recebe uma operação do usuário no dispositivo utilizável junto ao corpo 501 e uma parte de exibição 504, tal como um LCD e um LED, que emite informações reconhecíveis visualmente.

[0082] A configuração do dispositivo utilizável junto ao corpo 501 será descrita com referência à Figura 6.

[0083] O dispositivo utilizável junto ao corpo 501 inclui, por exemplo, a seção de controle 607, a seção de comunicação 601, a parte de detecção de informações biológicas 502, a parte de detecção de oscilação 503, a parte de exibição 504, a parte operacional 505, uma seção de fonte de alimentação 606 e uma seção de armazenamento 608.

[0084] A seção de controle 607, por exemplo, controla todo o dispositivo utilizável junto ao corpo 501 executando-se um programa de controle armazenado na seção de armazenamento 608. A seção de armazenamento 608 armazena, por exemplo, o programa de controle que a seção de controle 607 executa e várias informações, tais como parâmetros de comunicação. Várias operações (descritas posteriormente) são implantadas, por exemplo, pela seção de controle 607 executando-se o programa de controle armazenado na seção de armazenamento 608.

[0085] A seção de fonte de alimentação 606 fornece uma energia elétrica para o dispositivo utilizável junto ao corpo 501. A parte de exibição 504 tem, por exemplo, uma função que é capaz de emitir informações reconhecíveis visualmente como um LCD e um LED ou emitir um som como um alto-falante e exibe várias informações. À parte operacional 505 é, por exemplo, um botão ou similares, que recebe a operação do usuário no dispositivo utilizável junto ao corpo 501. A parte de exibição 504 e a parte operacional 505 podem ser constituídas por um membro comum, por exemplo, um painel sensível ao toque ou similares.

[0086] A parte operacional pode ser, por exemplo, configurada para adquirir uma voz emitida pelo usuário através de um microfone de uso geral integrado ao dispositivo utilizável junto ao corpo 501, adquirir a voz emitida pelo usuário através do processamento de voz e adquirir um comando de operação do usuário através do processamento de reconhecimento de voz .

[0087] Várias informações detectadas pela parte de detecção de informações biológicas 502 e pela parte de detecção de oscilação 503 são processadas pela seção de controle 607, e as informações detectadas são enviadas para o aparelho de captura de imagem 101 pela seção de comunicação 601.

[0088] Por exemplo, as informações detectadas são enviadas para o aparelho de captura de imagem 101 no momento em que uma mudança na frequência cardíaca do usuário é detectada ou as informações detectadas são enviadas no momento em que acontece uma mudança na situação de movimento, tal como caminhar , correr e parar. Além disso, por exemplo, as informações detectadas são enviadas no momento em que um movimento predefinido de balanço do braço é detectado ou as informações detectadas são enviadas no momento em que um movimento de distância predefinida é detectado.

[0089] A Figura 30 é um exemplo de um acessório de controle portátil.

[0090] O corpo do aparelho de captura de imagem 101 não inclui membro operacional, tal como um botão de obturador para instruções de captura, e o aparelho de captura de imagem 101 pode ser configurado para ser operado com os membros operacionais fornecidos para o acessório.

[0091] Como mostrado na Figura 31, um usuário pode querer capturar um assunto selecionado 5011 direcionando-se uma câmera para o assunto 5011. Nesse momento, se a câmera for girada/inclinada automaticamente, esse movimento poderá interferir no movimento do usuário para direcioná-la para o assunto que o usuário deseja capturar. O acessório de controle portátil 5001 pode incluir um comutador de mudança 5005 que seja capaz de mudar o modo entre um modo de configuração automática que depende da câmera e um modo no qual o usuário pode operar a câmera manualmente. Nesse caso, quando o comutador de mudança 5005 está ajustado no modo manual da câmera, a câmera é girada/inclinada para estabilização da câmera, mas uma grande mudança de ângulo de giro/inclinação não é realizada para buscar o assunto.

[0092] Alternativamente, mesmo quando a comutador de mudança 5005 não é fornecido, pode ser fornecida uma parte de detecção de acessório 5002 que seja capaz de detectar se o acessório 5001 está conectado ao aparelho de captura de imagem 101. Nesse caso, quando o acessório está conectado, a câmera é girada/inclinada para estabilização da câmera, mas uma grande mudança no ângulo de giro/inclinação não pode ser realizada para a busca do assunto. A conexão do acessório pode ser detectada com um método existente, tal como uma mudança na tensão e ID.

[0093] — Quando o modo manual da câmera é definido pelo comutador de mudança 5005 ou pela parte de detecção de anexos 5002, uma grande mudança no ângulo de giro/inclinação para a busca do assunto não é realizada, mas a câmera é girada/inclinada para estabilização da câmera. Essa correção de inclinação em que o eixo óptico da câmera é mantido em certa direção em relação à direção gravitacional pode ser realizada, mas a mesma pode interferir em uma operação do usuário. À estabilização da câmera corta as frequências mais baixas (por exemplo, uma faixa de frequência menor ou igual a 0,1 Hz) e corrige apenas um componente de frequência mais alta.

[0094] Mesmo quando a câmera não é girada/inclinada para buscar assuntos, o usuário pode querer mudar manualmente a direção de giro/inclinação. Quando o aparelho de captura de imagem 101 é direcionado para um assunto 5101 e captura o assunto 5101 como mostrado na Figura 31, o usuário pode operar o ângulo de inclinação do aparelho de captura de imagem 101 de modo que o eixo óptico seja direcionado para cima do aparelho de captura de imagem 101 e capture. Nesse caso, um membro operacional 5003 que é capaz de mudar a direção de giro/inclinação pode ser fornecido no acessório de controle portátil 5001. Pode ser empregado um método no qual o membro operacional 5003 pode ser transladado livremente em coordenadas XY eo aparelho de captura de imagem 101 é girado/inclinado de acordo com a direção operada. Por exemplo, quando o membro operacional é movido para cima, a câmera é inclinada para cima da câmera; quando o membro operacional é movido para baixo, a câmera é inclinada para baixo da câmera; quando o membro operacional é movido para a direita ou para a esquerda, a câmera é girada de acordo com a direção.

[0095] Pode ser fornecido um botão de obturador 5004 com o qual o usuário pode disparar a qualquer momento. Pode ser fornecido um comutador 5006 que pode mudar um modo de captura (por exemplo, um modo de captura de imagem estática, um modo de captura de vídeo, um modo de captura panorâmico, um modo de captura com lapso de tempo ou similares).

[0096] Um meio de comunicação sem contato pode ser usado como um método para fornecer uma instrução de controle do acessório de controle portátil 5001 para o aparelho de captura de imagem 101.

[0097] Uma instrução de controle pode ser emitida através de conectores que conectam sinais elétricos e são fornecidos respectivamente para o aparelho de captura de imagem 101 e o acessório de controle portátil 5001; no entanto, quando uma bateria é incluída no aparelho de captura de imagem 101, o acessório de controle portátil não precisa de um conector para a bateria. Portanto, se um conector for fornecido para uma operação, tal como liberação, uma função à prova de gotejamento precisa ser adicionada a uma porção de conexão ou são necessários alguns componentes, com o resultado de um aumento no tamanho do aparelho ou um aumento no custo.

[0098] Os meios de comunicação sem contato podem ser Bluetooth de Baixa Energia (BLE), podem ser BLE de Comunicação de Campo Próximo (NFC) ou podem ser outro método.

[0099] Um gerador de ondas de rádio do acessório de controle portátil 5001 pode ser pequeno com uma pequena capacidade de fonte de alimentação e pode ser um meio de gerar uma pequena quantidade de energia elétrica com, por exemplo, uma pilha botão ou uma força que pressiona o botão de obturador 5004.

[0100] Desta maneira, um acessório separado do aparelho de captura de imagem e que tem um membro operacional para fornecer uma instrução de liberação ao aparelho de captura de imagem e um membro operacional para fornecer uma instrução para acionar o mecanismo de rotação do aparelho de captura de imagem podem ser configurados para serem acopláveis ao aparelho de captura de imagem. Um acessório que tem um membro operacional para fornecer uma instrução de mudança do modo de captura que pode definir dois ou mais dentre um modo de imagem estática, modo de vídeo, modo panorâmico e modo com lapso de tempo da unidade de captura pode ser configurado para ser acoplável ao aparelho de captura de imagem . Uma instrução operacional com o uso de o membro operacional é fornecida do acessório para o aparelho de captura de imagem através dos meios de comunicação sem contato. O aparelho de captura de imagem pode detectar informações sobre um acessório que está conectado ao aparelho de captura de imagem e mudar a banda de frequência de controle dos meios de estabilização com base nas informações sobre o acessório. Através da detecção de informações sobre o acessório, é possível mudar se deve ser realizada correção de inclinação para manter o ângulo em certa direção com referência à direção gravitacional. O lado da frequência mais baixa da banda de frequência de controle da estabilização pode ser cortado de acordo com as informações detectadas sobre o acessório.

[0101] A Figura 32 é um exemplo da configuração do aparelho de captura de imagem 101 que é montável mecanicamente em uma sapata de acessório 3202 de uma câmera 3201 diferente do aparelho de captura de imagem 101.

[0102] Quando o aparelho de captura de imagem 101 é montado na sapata de acessório, como mostrado na Figura 32, a orientação na qual o aparelho de captura de imagem 101 é montado na câmera 3201 e a diferença angular entre a direção do eixo óptico da câmera 3201 e a direção do eixo óptico do aparelho de captura de imagem 101 são conhecidas. Portanto, a câmera 3201 e o aparelho de captura de imagem 101 são controlados facilmente em cooperação mútua.

[0103] A transferência de informações entre o aparelho de captura de imagem 101 e a câmera 3201 pode ser alcançada por um mecanismo no qual contatos elétricos são fornecidos em uma porção a ser conectada à sapata de acessório e as informações são transferidas entre o aparelho de captura de imagem 101 e a câmera

3201. O aparelho de captura de imagem 101 e a câmera 3201 podem ter um mecanismo de transferência de informações por meio de, por exemplo, USB ou similares. Alternativamente, pode ser usada comunicação sem fio (BLE, NFC ou similares) ou outro método pode ser usado.

[0104] A cooperação entre o aparelho de captura de imagem 101 e a câmera 3201 será descrita posteriormente.

SEQUÊNCIA DE OPERAÇÃO DE CAPTURA DE IMAGEM

[0105] A Figura 7 é um fluxograma que ilustra um exemplo de operações que a primeira seção de controle 223 do aparelho de captura de imagem 101 manipula na presente modalidade.

[0106] Quando um usuário opera o botão de energia do aparelho de captura de imagem 101, a primeira seção de fonte de alimentação 210 é obrigada a fornecer uma energia elétrica da seção de fonte de alimentação para a primeira seção de controle 223 e os blocos do aparelho de captura de imagem 101.

[0107] De maneira similar, na segunda seção de controle 211, também, a segunda seção de fonte de alimentação 212 é levada a fornecer uma energia elétrica da seção de fonte de alimentação para a segunda seção de controle. Os detalhes das operações da segunda seção de controle serão descritos com referência ao fluxograma da Figura 8 (descrito posteriormente).

[0108] Quando uma energia elétrica é fornecida, o processo da Figura 7 inicia. Na etapa 701, uma condição de inicialização é carregada. Na presente modalidade, a condição de inicialização é a seguinte.

[0109] (1) O botão de energia é pressionado manualmente e a energia é ligada.

[0110] (2) A energia é ligada com base em uma instrução de um aparelho externo (por exemplo, 301) por meio de comunicação externa (por exemplo, comunicação BLE).

[0111] (3) A energia é ligada a partir de um Subprocessador (segunda seção de controle 211).

[0112] No caso de (3) a energia é ligada a partir do Subprocessador, a condição de inicialização calculada no Subprocessador é carregada e os detalhes serão descritos posteriormente com referência à Figura 8.

[0113] A condição de inicialização carregada aqui é usada como um elemento de parâmetro durante a busca de assunto ou captura automática, e isso será descrito posteriormente. Quando o carregamento da condição de inicialização é concluído, o processo prossegue para a etapa 702.

[0114] Na etapa 702, informações são carregadas de vários sensores. Os sensores dos quais o carregamento é realizado aqui podem ser sensores que detectam uma vibração, tal como o sensor giroscópico e o sensor de aceleração da seção de detecção de oscilação do aparelho 209. As posições de rotação da unidade de inclinação 104 e da unidade de giro 105 podem ser carregadas. O nível de voz, o gatilho para detectar reconhecimento de voz específica ou a direção de som detectada, que é detectada pela seção de processamento de voz 214, podem ser carregados.

[0115] Embora não seja mostrado nas figuras 1 a 6, os sensores que detectam informações ambientais também adquirem informações.

[0116] Por exemplo, há um sensor de temperatura que detecta a temperatura de uma área em torno do aparelho de captura de imagem 101 em intervalos predeterminados e um sensor de pressão atmosférica que detecta uma mudança na pressão atmosférica em torno do aparelho de captura de imagem 101. Um sensor de iluminação que detecta brilho em torno do aparelho de captura de imagem 101, um sensor de umidade que detecta umidade em torno do aparelho de captura de imagem 101, um sensor de UV que detecta a quantidade de luz ultravioleta em torno do aparelho de captura de imagem 101 e similares, podem ser fornecidos. Além das informações de temperatura detectadas, informações de pressão atmosférica, informações de brilho, informações de umidade e informações de UV, uma variação de temperatura, variação de pressão atmosférica, variação de brilho, variação de umidade, variação de luz ultravioleta e similares, obtidas calculando-se de uma taxa de mudança em intervalos de tempo predeterminados a partir das várias informações detectadas são usadas na determinação da captura automática e similares (descrito posteriormente).

[0117] Quando o carregamento de informações de vários sensores é realizado na etapa 702, o processo prossegue para a etapa 703.

[0118] Na etapa 703, é detectado se existe uma instrução de comunicação do aparelho externo e, quando há uma instrução de comunicação, a comunicação com o aparelho externo é realizada.

[0119] Por exemplo, uma operação remota ou dados tais como um sinal de voz, um sinal de imagem, um sinal de voz compactado e um sinal de imagem compactado são enviados ou recebidos do dispositivo inteligente 301 por meio de LAN sem fio ou BLE. Se existe uma instrução operacional para captura, ou similares, do aparelho de captura de imagem 101, envio de dados de registro de comando de voz, notificação predeterminada de detecção de posição ou notificação de movimento de lugar com base em informações de posição GPS, ou uma instrução para enviar ou receber dados de aprendizagem do dispositivo inteligente 301 é carregada.

[0120] Além disso, por exemplo, quando há informações atualizadas sobre o movimento do usuário, informações sobre a ação do braço ou informações biológicas, tais como frequência cardíaca, as informações são carregadas do dispositivo utilizável junto ao corpo 501. Vários sensores que detectam as informações ambientais descritas acima podem ser montados no aparelho de captura de imagem 101 ou podem ser montados no dispositivo inteligente 301 ou no dispositivo utilizável junto ao corpo 501. Nesse último caso, as informações ambientais também são carregadas por meio de BLE. Quando a comunicação e carregamento de informações do aparelho externo são concluídas na etapa 703, o processo prossegue para a etapa S704.

[0121] Na etapa 704, um modo a ser definido é determinado. O modo a ser definido na etapa 704 é determinado e selecionado dentre os seguintes modos. (1) MODO DE CAPTURA AUTOMÁTICA

CONDIÇÃO DE DETERMINAÇÃO DE MODO

[0122] Quando é determinado realizar a captura automática com base em informações detectadas (imagem, som, tempo, vibração, local, mudança no corpo, mudança no ambiente) definidas através de aprendizagem (descrito posteriormente), um tempo decorrido a partir do momento em que o modo passa para o modo de captura automática, informações de captura anteriores e similares, o modo é definido para o modo de captura automática.

PROCESSO NO MODO

[0123] No processo de modo de captura automática (etapa 710), uma busca por um assunto é realizada automaticamente através de giro/inclinação ou ampliação com base nas informações detectadas (imagem, som, tempo, vibração, local, uma mudança no corpo, uma mudança no ambiente). Quando é determinado que é o momento de poder realizar a captura de uma preferência do usuário, é realizado um processo de determinar um método de captura dentre vários métodos de captura, tais como uma captura única de uma imagem estática, uma captura contínua de imagens estáticas, uma captura de vídeo, uma captura panorâmica e uma captura de lapso de tempo, e a captura é realizada automaticamente. (2) MODO DE EDIÇÃO AUTOMÁTICA

CONDIÇÃO DE DETERMINAÇÃO DE MODO

[0124] Quando é determinado realizar a edição automática com base em um tempo decorrido desde quando a última edição automática foi realizada e nas informações anteriores da imagem de captura, o modo é definido para o modo de edição automática.

PROCESSO NO MODO

[0125] No processo de modo de edição automática (etapa 712), um processo de selecionar uma imagem estática ou uma imagem em movimento é realizado com base na aprendizagem, e um processo de edição automático de criar um vídeo de destaque que é uma imagem em movimento resumida é realizado com o uso de efeitos de imagem, a duração de uma imagem em movimento editada e similares, com base na aprendizagem. (3) MODO DE TRANSFERÊNCIA DE IMAGEM

CONDIÇÃO DE DETERMINAÇÃO DE MODO

[0126] No caso em que o modo é definido para o modo de transferência de imagens automática com base em uma instrução por meio do aplicativo exclusivo instalado no dispositivo inteligente, quando é determinado realizar transferência de imagem com base em um tempo decorrido desde quando a última transferência de imagens foi realizada e nas informações de captura anteriores, o modo é definido para o modo de transferência de imagens automática.

PROCESSO NO MODO

[0127] No processo de modo de transferência de imagens automática (etapa 714), o aparelho de captura de imagem 101 extrai automaticamente imagens que podem corresponder a uma preferência do usuário e faz com que o dispositivo inteligente 301 extraia automaticamente as imagens da preferência do usuário e transfira as imagens. A extração de imagens da preferência do usuário é realizada com base nas pontuações atribuídas às imagens e determinadas com base na preferência do usuário. (4) MODO DE APRENDIZAGEM

CONDIÇÃO DE DETERMINAÇÃO DE MODO

[0128] Quando é determinado realizar a aprendizagem automática com base em um tempo decorrido desde quando o último processo de aprendizagem foi realizado, nas informações associadas às imagens que podem ser usadas para a aprendizagem,

no número de dados de aprendizagem e similares, o modo é definido para o modo de aprendizagem automática. Alternativamente, quando há uma instrução para definir dados de aprendizagem por meio de comunicação a partir do dispositivo inteligente 301 também, o modo é definido para esse modo.

PROCESSO NO MODO

[0129] No processo de modo de aprendizagem automática (etapa 716), o aparelho de captura de imagem 101 realiza aprendizagem adaptada à preferência do usuário. A aprendizagem adaptada à preferência do usuário é realizada com o uso de uma rede neural com base em informações sobre operações feitas no dispositivo inteligente 301, em informações de aprendizagem fornecidas a partir do dispositivo inteligente 301 e similares. As informações sobre as operações feitas no dispositivo inteligente 301 incluem, por exemplo, informações de aquisição de imagem do aparelho de captura de imagem, informações de que uma instrução de edição manual é fornecida por meio do aplicativo exclusivo e informações sobre valores de determinação inseridos pelo usuário para imagens em o aparelho de captura de imagem.

[0130] A aprendizagem relacionada à detecção, de registro de identificação pessoal, registro de voz, registro de cena sonora, registro geral de reconhecimento de objeto e similares, e aprendizagem das condições descritas acima do modo de baixo consumo de energia elétrica e similares, são realizados ao mesmo tempo. (5) MODO DE EXCLUSÃO DE ARQUIVOS AUTOMÁTICA

CONDIÇÃO DE DETERMINAÇÃO DE MODO

[0131] Quando é determinado realizar a exclusão de arquivos automática com base em um tempo decorrido desde quando a última exclusão de arquivos automática foi realizada e na capacidade restante da memória não volátil 216 na qual as imagens são gravadas, o modo é definido para o modo de exclusão de arquivos automática.

PROCESSO NO MODO

[0132] No processo de modo de exclusão de arquivos automática (etapa 718), os arquivos a serem excluídos automaticamente (três opções) são designados com base nas informações de rótulo, data e hora da captura e similares, de cada imagem dentre as imagens na memória não volátil 216 e os arquivos são excluídos.

[0133] Os detalhes do processo de modo de captura automática, do processo de modo de edição automática e do processo de modo de aprendizagem serão descritos posteriormente.

[0134] Na etapa 705, é determinado se o modo definido na etapa 704 é o modo de baixo consumo de energia elétrica. Na determinação de modo de baixo consumo de energia elétrica, quando a condição de determinação de qualquer modo do "modo de captura automática", "modo de edição automática", "modo de transferência de imagens automática", "modo de aprendizagem" e "modo de exclusão de arquivos automática" (descrito posteriormente) não for satisfeita, é determinado definir o modo para o modo de baixo consumo de energia elétrica. Quando o processo de determinação é realizado, o processo prossegue para a etapa 705.

[0135] Quando é determinado na etapa 705 que a condição do modo de baixo consumo de energia elétrica é satisfeita, o processo prossegue para a etapa 706.

[0136] Na etapa 706, vários parâmetros relacionados aos fatores de inicialização (um parâmetro para determinação de detecção de oscilação, um parâmetro para detecção de som e um parâmetro de detecção de tempo decorrido) que são submetidos a uma determinação no Subprocessador (segunda seção de controle 211) são fornecidos para o Subprocessador os valores de vários parâmetros variam como um resultado da aprendizagem no processo de aprendizagem (descrito posteriormente). Quando o processo da etapa 706 é concluído, o processo prossegue para a etapa 707, a energia do Processador principal (primeira seção de controle 223) é desligada e o processo é encerrado.

[0137] Por outro lado, quando é determinado na etapa 705 que o modo não é o modo de baixo consumo de energia elétrica, o processo prossegue para a etapa 709 e é determinado se o modo a ser definido é o modo de captura automática. Quando o modo é o modo de captura automática, o processo prossegue para a etapa 710 e o processo de modo de captura automática é realizado. Quando o processo é concluído, o processo retorna à etapa 702 e o processo é repetido. Quando é determinado na etapa 709 que o modo não é o modo de captura automática, o processo prossegue para a etapa 711.

[0138] É determinado na etapa 711 se o modo a ser definido é o modo de edição automática. Quando o modo é o modo de edição automática, o processo prossegue para a etapa 712 e o modo de edição automática é realizado. Quando o processo é concluído, o processo retorna à etapa 702 e o processo é repetido. Quando é determinado na etapa 711 que o modo não é o modo de edição automática, o processo prossegue para a etapa 713.

[0139] É determinado na etapa 713 se o modo a ser definido é o modo de transferência de imagens automática. Quando o modo é o modo de transferência de imagens automática, o processo prossegue para a etapa 714 e o processo de modo de transferência de imagens automática é realizado. Quando o processo é concluído, o processo retorna à etapa 702 e o processo é repetido. Quando é determinado na etapa 713 que o modo não é o modo de transferência de imagens automática, o processo prossegue para a etapa 715.

[0140] É determinado na etapa 715 se o modo a ser definido é o modo de aprendizagem. Quando o modo é o modo de aprendizagem, o processo prossegue para a etapa 716 e o processo de modo de aprendizagem é realizado. Quando o processo é concluído, o processo retorna à etapa 702 e o processo é repetido. Quando é determinado na etapa 715 que o modo não é o modo de aprendizagem, o processo prossegue para a etapa 717.

[0141] É determinado na etapa 717 se o modo a ser definido é o modo de exclusão de arquivos automática. Quando o modo é o modo de exclusão de arquivos automática, o processo prossegue para a etapa 718 e o processo de modo de exclusão de arquivos automática é realizado. Quando o processo é concluído, o processo retorna à etapa 702 e o processo é repetido. Quando é determinado na etapa 717 que o modo a ser configurado não é o modo de exclusão de arquivos automática, o processo retorna à etapa 702 e o processo é repetido.

[0142] A Figura 8 é um fluxograma que ilustra um exemplo de operações que a segunda seção de controle 211 do aparelho de captura de imagem 101 manipula na presente modalidade.

[0143] Quando o usuário opera o botão de energia do aparelho de captura de imagem 101, como no caso em que uma energia elétrica é fornecida da seção de fonte de alimentação para a primeira seção de controle 223 pela primeira seção de fonte de alimentação 210, na segunda seção de controle 211 também, uma energia elétrica é fornecida da seção de fonte de alimentação para a segunda seção de controle 211 pela segunda seção de fonte de alimentação 212. Quando uma energia elétrica é fornecida, o Subprocessador (segunda seção de controle 211) é iniciado e o processo da Figura 8 é iniciado.

[0144] Na etapa 801, é determinado se um período predeterminado que é um intervalo de amostragem decorreu. Por exemplo, quando o período predeterminado é definido como 10 ms, o processo prossegue para a etapa 802 em intervalos de 10 ms. Quando é determinado que o período predeterminado não decorreu, o Subprocessador retorna à etapa 801 sem realizar qualquer processo e aguarda até que decorra o período predeterminado.

[0145] Na etapa 802, as informações de aprendizagem são carregadas. As informações de aprendizagem são informações transferidas no momento de comunicar informações para o Subprocessador na etapa 706 da Figura 7 e, por exemplo, as seguintes informações são carregadas.

[0146] (1) Uma condição de determinação para detecção de oscilação específico

[0147] (2) Uma condição de determinação para detecção de som específico

[0148] (3) Uma condição de determinação para determinação de lapso de tempo

[0149] Quando as informações de aprendizagem são carregadas na etapa 802, o processo prossegue para a etapa 803 e um valor de detecção de oscilação é adquirido. Um valor de detecção de oscilação é um valor de saída de um sensor que detecta uma vibração, tal como o sensor giroscópico e o sensor de aceleração da seção de detecção de oscilação do aparelho 209.

[0150] Quando o valor de detecção de oscilação é adquirido na etapa 803, o processo prossegue para a etapa 804, e um processo de detecção de um estado de oscilação predefinido é realizado. Aqui, o processo de determinação é mudado com base nas informações de aprendizagem carregadas na etapa 802. Alguns exemplos serão descritos. (1) DETECÇÃO DE TOQUE

[0151] Um estado em que o usuário toca no aparelho de captura de imagem 101 com, por exemplo, uma ponta do dedo ou similares, (estado de toque) pode ser detectado através de um valor de saída do sensor de aceleração fornecido no aparelho de captura de imagem 101. Ao passar as saídas do sensor de aceleração de três eixos geométricos para um filtro passa banda (BPF) configurado em uma faixa de frequência predeterminada em uma amostragem predeterminada, é possível extrair a faixa de sinal de uma mudança na aceleração com base em uma derivação. Um toque é detectado com base na contagem de vezes em que um sinal de aceleração que passou através do BPF excede um limiar predeterminado ThreshA ser uma contagem predeterminada CountA em um tempo predeterminado TimeA. No caso de um toque duplo, CountA é definido como dois. No caso de um toque triplo, CountA é definido como três. TimeA ou ThreshA também podem variar de acordo com as informações de aprendizagem. (2) DETECÇÃO DE ESTADO DE TREMOR

[0152] Um estado de oscilação do aparelho de captura de imagem 101 pode ser detectado a partir de um valor de saída do sensor giroscópico ou sensor de aceleração fornecido no aparelho de captura de imagem 101. Um componente de alta frequência da saída do sensor giroscópico ou sensor de aceleração é cortado com um HPF, um componente de baixa frequência é cortado com um LPF e, em seguida, é realizada a conversão de valor absoluto. Uma vibração é detectada com base na contagem de vezes em que o valor absoluto calculado excede um limiar predeterminado ThreshB ser maior ou igual a uma contagem predeterminada CountB em um tempo predeterminado TimeB. Por exemplo, pode ser determinado se o estado de oscilação é um estado de oscilação pequeno, como o aparelho de captura de imagem 101 estar colocado sobre uma mesa ou similares, ou um estado de oscilação grande, como o usuário estar andando com o aparelho de captura de imagem utilizável junto ao corpo

101. Quando uma pluralidade de condições para o limiar de determinação e uma pluralidade de condições para o número de contagem de determinação são fornecidas, uma situação de oscilação mínimo para um nível de oscilação pode ser detectada.

[0153] TimeB, ThreshB ou CountB também podem variar de acordo com as informações de aprendizagem.

[0154] O método para detectar um estado de oscilação específico com base na determinação da condição do sensor de detecção de oscilação é descrito acima. No entanto, quando os dados do sensor de detecção de oscilação, amostrados dentro de um tempo predeterminado, são inseridos em um dispositivo de determinação de estado de oscilação com o uso de uma rede neural, e a rede neural treinada é capaz de detectar o estado de oscilação específico registrado previamente. Nesse caso, o carregamento de informações de aprendizagem na etapa 802 é carregar parâmetros de peso da rede neural.

[0155] Quando o processo de detecção de estado de oscilação específico é realizado na etapa 804, o processo prossegue para a etapa 805 e o processo de detecção de som específico predefinido é realizado. Aqui, o processo de determinação de detecção é mudado de acordo com as informações de aprendizagem carregadas na etapa 802. Alguns exemplos serão descritos. (1) DETECÇÃO DE COMANDO DE VOZ ESPECÍFICA

[0156] Um comando de voz específica é detectado. Comandos de voz podem ser alguns comandos registrados previamente e o usuário pode registrar uma voz específica no aparelho de captura de imagem. (2) RECONHECIMENTO DE CENA SONORA ESPECÍFICA

[0157] Uma determinação de cena sonora é realizada com uma rede treinada previamente com aprendizagem de máquina com base em uma grande quantidade de dados de voz. Por exemplo, uma cena específica, como "uma ovação", "palmas" e "fala", é detectada. Uma cena a ser detectada varia de acordo com a aprendizagem.

(3) DETERMINAÇÃO DE NÍVEL SONORO

[0158] —Adetecçãocom base na determinação do nível sonoro é realizada com um método de, por exemplo, adicionar um período de tempo em que a magnitude do nível sonoro excede um nível predeterminado dentro de um tempo predeterminado. O tempo predeterminado, a magnitude do nível predeterminado e similares variam de acordo com a aprendizagem. (4) DETERMINAÇÃO DE DIREÇÃO DO SOM

[0159] —Adireçãodeum som em um plano no qual a pluralidade de microfones está instalada pode ser detectada e a direção de um som é detectada para um nível sonoro de uma magnitude predeterminada.

[0160] É determinado na etapa 805 se o processo de determinação descrito acima foi realizado na seção de processamento de voz 214 e a detecção de som específico foi realizada sob as configurações aprendidas previamente.

[0161] Quando o processo de detecção de som específico é realizado na etapa 805, o processo prossegue para a etapa 806. É determinado na etapa 806 se o Processador principal (primeira seção de controle 223) está em estado desligado. Quando o Processador principal está no estado desligado, o processo prossegue para a etapa 807 e um processo de detecção de lapso de tempo predefinido é realizado. Aqui, o processo de determinação de detecção é mudado de acordo com as informações de aprendizagem carregadas na etapa 802. As informações de aprendizagem são informações transferidas no momento de comunicar informações para o Subprocessador (segunda seção de controle 211) na etapa 706 descrita com referência à Figura 7. É medido um tempo decorrido entre o momento em que o Processador principal comuta de um estado ligado para o estado desligado. Quando o tempo decorrido é maior ou igual a um parâmetro TimeC, é determinado que o tempo decorreu; enquanto que, quando o tempo decorrido é menor do que TimeC, não é determinado que o tempo decorreu. TimeC é um parâmetro que varia de acordo com as informações de aprendizagem.

[0162] Quando o processo de detecção de lapso de tempo é realizado na etapa 807, o processo prossegue para a etapa 808 e é determinado se é determinado um cancelamento do modo de baixo consumo de energia elétrica. A seguinte condição de cancelamento do modo de baixo consumo de energia elétrica é usada para determinação.

[0163] (1) Uma condição de determinação para detecção de oscilação específico

[0164] (2) Uma condição de determinação para detecção de som específico

[0165] (3) Uma condição de determinação para determinação de lapso de tempo

[0166] Pode ser determinado se a condição de determinação para a detecção de oscilação específica é satisfeita através do processo de detecção de estado de oscilação específico na etapa 804. Pode ser determinado se a condição de determinação para detecção de som específico é satisfeita através do processo de detecção de som específico na etapa 805. Pode ser determinado se a condição de determinação para detecção de lapso de tempo é satisfeita através do processo de detecção de lapso de tempo na etapa 807. Portanto, se qualquer uma ou mais condições forem satisfeitas, é feita uma determinação para cancelar o modo de baixo consumo de energia elétrica.

[0167] Quando é determinado na etapa 808 que a condição de cancelamento é satisfeita, o processo prossegue para a etapa 809 e a energia do Processador principal é ligada. Na etapa 810, a condição (oscilação, som, tempo) com base na qual é determinado que o modo de baixo consumo de energia elétrica é cancelado é fornecida para o Processador principal. O processo retorna para a etapa 801 e o processo é repetido ciclicamente.

[0168] Quando nenhuma das condições de cancelamento é satisfeita na etapa 808 e é determinado que o modo de baixo consumo de energia elétrica não é cancelado, o processo retorna à etapa 801 e o processo é repetido ciclicamente.

[0169] Quando é determinado na etapa 806 que o Processador principal está no estado ligado, as informações adquiridas da etapa 803 à etapa 805 são fornecidas ao Processador principal. O processo retorna para a etapa 801 e o processo é repetido ciclicamente.

[0170] Na presente modalidade, mesmo quando o Processador principal está no estado ligado, a detecção de oscilação ou detecção de som específico é realizada pelo Subprocessador e o resultado detectado é fornecido ao Processador principal. No entanto, quando o Processador principal está ligado, os processos das etapas 803 a 805 podem não ser realizados e a detecção de oscilação ou detecção de som específico pode ser detectada em um processo (etapa 702 da Figura 7) no Processador principal.

[0171] Como descrito acima, realizando-se a etapa 704 à etapa 707 da Figura 7 e o processo da Figura 8, as condições para passar para o modo de baixo consumo de energia elétrica e as condições para cancelar o modo de baixo consumo de energia elétrica são aprendidas com base em operação do usuário. Assim, uma operação de captura de imagem adaptada à usabilidade do usuário que possui o aparelho de captura de imagem 101 pode ser realizada. Un método de aprendizagem será descrito posteriormente.

[0172] O método para cancelar o modo de baixo consumo de energia elétrica com base em detecção de oscilação, detecção de som ou lapso de tempo é descrito em detalhes acima. Como alternativa, o modo de baixo consumo de energia elétrica pode ser cancelado com base em informações ambientais. As informações ambientais podem ser determinadas com base na temperatura, pressão atmosférica, brilho, umidade, na quantidade absoluta ou a variação da quantidade de luz ultravioleta excederem um limiar predeterminado, e o limiar pode ser variado de acordo com a aprendizagem (descrito posteriormente).

[0173] Pode ser determinado se o modo de baixo consumo de energia elétrica é cancelado como um resultado de uma determinação de informações sobre detecção de oscilação, detecção de som ou lapso de tempo ou o valor absoluto ou variação de cada informação ambiental com base em uma rede neural e, nesse processo de determinação, uma condição de determinação pode ser mudada de acordo com a aprendizagem (descrito posteriormente).

PROCESSO DE MODO DE CAPTURA AUTOMÁTICA

[0174] Os detalhes do processo de modo de captura automática serão descritos com referência à Figura 9. Como descrito acima, a primeira seção de controle 223 do aparelho de captura de imagem 101 na presente modalidade manipula o controle sobre o seguinte processo.

[0175] Em S901, a seção de processamento de imagem 207 é levada a realizar o processamento de imagem nos sinais capturados pela seção de imageamento 206 e a gerar uma imagem para reconhecimento do assunto.

[0176] Um assunto, tal como uma pessoa e um objeto, é reconhecido a partir da imagem gerada.

[0177] Quando uma pessoa é reconhecida, o rosto ou o corpo de um assunto é detectado. Em um processo de detecção de rosto, um padrão para determinar o rosto de uma pessoa é definido previamente e uma parte que é incluída em uma imagem de captura e que corresponde ao padrão pode ser detectada como uma imagem de rosto da pessoa.

[0178] Um grau de confiança que indica a probabilidade como o rosto do assunto também é calculado ao mesmo tempo. Um grau de coincidência é calculado a partir de, por exemplo, o tamanho de uma área de rosto na imagem, o grau de coincidência com um padrão de rosto e similares.

[0179] Quanto ao reconhecimento de objetos, da mesma forma, um objeto que corresponda a um padrão registrado previamente pode ser reconhecido.

[0180] Também há, por exemplo, um método para extrair um assunto característico com um método de usar o histograma de uma tonalidade, croma ou similares em uma imagem de captura. Nesse caso, em relação à imagem de um assunto capturado dentro de um ângulo de captura de visão, é executado um processo para dividir uma distribuição derivada do histograma da tonalidade, croma ou similares da imagem em uma pluralidade de seções e classificar uma imagem de captura para cada seção.

[0181] Por exemplo, os histogramas de uma pluralidade de componentes de cor são criados para uma imagem de captura, cada dividido com a faixa de distribuição tipo montanha, uma imagem de captura é classificada em uma área que pertence a uma combinação das mesmas seções, e a área de imagem do assunto é reconhecida.

[0182] Quando um valor de avaliação é calculado para cada área de imagem de um assunto reconhecido, a área de imagem de um assunto que tem a maior avaliação pode ser determinada como uma área de assunto principal.

[0183] Com o método acima, cada informação de assunto pode ser obtida das informações de captura.

[0184] Em S902, é calculada uma quantidade de estabilização de imagem. Especificamente, primeiro, o ângulo absoluto do aparelho de captura de imagem é calculado com base nas informações sobre a velocidade angular e a aceleração adquiridas pela seção de detecção de oscilação do aparelho 209. Em seguida, é encontrado um ângulo de controle de vibração para acionar a unidade de inclinação 104 e a unidade de giro 105 em uma direção para cancelar o ângulo absoluto, e é definido para a quantidade de estabilização de imagem. No processo de calcular uma quantidade de estabilização de imagem aqui, um método de computação pode ser mudado de acordo com um processo de aprendizagem (descrito posteriormente).

[0185] Em S903, a situação do aparelho de captura de imagem é determinada. À situação da vibração/movimento na qual o aparelho de captura de imagem é colocado é determinada com base, por exemplo, em um ângulo e quantidade de movimento detectados a partir de informações de velocidade angular, informações de aceleração, informações de posição de GPS e similares.

[0186] Por exemplo, quando o aparelho de captura de imagem 101 é montado em um veículo e captura uma imagem, as informações de assunto, tais como uma paisagem circundante, variam significativamente, dependendo da distância movida.

[0187] Portanto, é determinado se o aparelho de captura de imagem 101 está colocado em "estado de movimento de veículo", em que o aparelho de captura de imagem 101 está montado em um veículo ou similares e se move em alta velocidade e pode ser usado para busca de assunto automática que será descrita posteriormente.

[0188] Também é determinado se uma mudança no ângulo é grande e é determinado se o aparelho de captura de imagem 101 é colocado em um "estado de captura estacionária" em que quase não há ângulo de oscilação.

[0189] No caso do "estado de captura estacionária", pode ser considerado que não há mudança no ângulo do próprio aparelho de captura de imagem 101, assim a busca de assunto por captura estacionária pode ser realizada.

[0190] Quando uma mudança no ângulo é relativamente grande, é determinado que o aparelho de captura de imagem 101 seja colocado em um "estado de mão", assim a busca de assunto por estado de mão possa ser realizada.

[0191] Em S904, um processo de busca de assunto é realizado. A busca de assunto é composta pelos seguintes processos. (1) DIVISÃO DE ÁREA

[0192] A divisão da área será descrita com referência à Figura 13. A divisão da área é realizada em torno da posição do aparelho de captura de imagem (a origem O é definida como a posição do aparelho de captura de imagem) como mostrado na Figura 13A. No exemplo da Figura 13A, a divisão da área é realizada a cada 22,5 graus em cada uma dentre direção de inclinação e direção de giro. Quando a divisão da área é realizada como mostrado na Figura 13A, à medida que o ângulo na direção da inclinação sai de zero graus, o perímetro em uma direção horizontal reduz e a área reduz. Assim, como mostrado na Figura 13B, quando o ângulo de inclinação é maior ou igual a 45 graus, a faixa de área na direção horizontal é definida de modo a ser maior do que 22,5 graus. A Figura 13C e a Figura 13D mostram exemplos em que a área é dividida dentro de um ângulo de captura de visão. Um eixo geométrico 1301 é a direção do aparelho de captura de imagem 101 no momento da inicialização, e a área é dividida com esse ângulo de direção definido para uma posição de referência. 1302 indica um ângulo de área de visão de uma imagem sendo fotografada e um exemplo da imagem nesse momento é mostrado na Figura 13D. Na imagem que aparece no ângulo de visão, a imagem é dividida como no caso de 1303 a 1318 da Figura 13D, com base na divisão da área. (2) CÁLCULO DE NÍVEL DE IMPORTÂNCIA DE CADA ÁREA

[0193] Para cada uma das áreas divididas conforme descrito acima, um nível de importância que indica a ordem de prioridade para busca é calculado de acordo com um assunto presente na área e a condição de cena da área. Um nível de importância com base na condição de um assunto é calculado com base, por exemplo, no número de pessoas presentes em uma área, no tamanho do rosto de cada pessoa, na orientação do rosto, na probabilidade de detecção do rosto, na expressão facial de cada pessoa e um resultado de autenticação pessoal de cada pessoa.

Um nível de importância com base na condição de uma cena é, por exemplo, um resultado geral de reconhecimento de objeto, um resultado de identificação de cena (céu azul, luz de fundo, visão noturna ou similares), o resultado de reconhecimento de nível e voz de um som proveniente de uma área, informações de detecção de movimento em uma área ou similares.

A situação de vibração do aparelho de captura de imagem foi detectada na determinação da situação do aparelho de captura de imagem (S903), e o nível de importância também pode ser configurado para variar de acordo com a situação da vibração.

Por exemplo, quando é determinado como o "estado de captura estático", o nível de importância é determinado como alto quando a identificação do rosto de uma pessoa específica é detectada, para que a busca de assunto seja realizada, concentrando-se em um assunto que tem uma prioridade superior entre aqueles registrados com identificação do rosto (por exemplo, o usuário do aparelho de captura de imagem). A captura automática (descrita posteriormente) também é realizada preferencialmente no rosto descrito acima.

Mesmo quando um período de tempo durante o qual o usuário do aparelho de captura de imagem está capturando com o aparelho de captura de imagem utilizado junto ao corpo é longo, mas quando o aparelho de captura de imagem é removido e colocado em uma mesa, ou similares, muitas imagens contendo o usuário podem ser gravadas.

Nesse momento, a busca é possível por meio de giro/inclinação, portanto, mesmo quando o ângulo de posicionamento, ou similares, do aparelho de captura de imagem não é considerado, uma imagem contendo o usuário e uma foto de grupo ou similares, contendo muitos rostos podem ser gravados apenas posicionando-se aproximadamente o equipamento de captura de imagem.

Apenas com as condições descritas acima, a área que tem o nível de importância mais alto é a mesma, a menos que haja mudanças nas áreas, com o resultado de que a área encontrada permanece constantemente inalterada.

Portanto, o nível de importância é mudado de acordo com as informações de captura anteriores. Especificamente, o nível de importância da área que foi continuamente designada como uma área de busca por um tempo predeterminado pode ser reduzido ou o nível de importância da área na qual a captura é realizada em S910 (descrito posteriormente) pode ser reduzido por um tempo predeterminado. (3) DECISÃO DE ÁREA ALVO DE BUSCA

[0194] Quando o nível de importância de cada área é calculado como descrito acima, a área que tem um nível de importância alto é decidida como uma área alvo de busca. Um ângulo de busca de giro/inclinação do alvo exigido para capturar a área alvo de busca em um ângulo de visão é calculado.

[0195] Em S905, a câmera é girada/inclinada. Especificamente, uma quantidade de giro/inclinação é calculada adicionando-se um ângulo de acionamento em uma amostragem de controle com base em uma quantidade de estabilização de imagem e no ângulo de busca de giro/inclinação alvo, e cada uma dentre a unidade de inclinação 104 e a unidade de giro 105 são controladas para serem acionadas pela seção de acionamento de rotação do tubo da lente 205.

[0196] Em S906, a unidade de ampliação 201 é controlada e a câmera é ampliada. Especificamente, a câmera é ampliada de acordo com a situação da busca de assunto alvo definida em S904. Por exemplo, quando o assunto alvo de busca é o rosto de uma pessoa, um rosto muito pequeno em uma imagem não pode ser detectado, devido ao tamanho ser menor do que um tamanho mínimo detectável, e pode ser perdido. Nesse caso, a unidade de ampliação 201 é controlada para ampliar para um lado de teleobjetiva, de modo que o tamanho do rosto na imagem aumente. Por outro lado, quando um rosto em uma imagem é muito grande, o assunto pode ficar fora do ângulo de visão, dependendo do movimento do assunto ou do próprio dispositivo de captura de imagem. Nesse caso, a unidade de ampliação 201 é controlada para ampliar para um lado de grande angular, de modo que o tamanho do rosto no quadro reduza. Executando-se o controle de ampliação dessa maneira, um estado adequado para rastrear um assunto pode ser mantido.

[0197] Nos modos S904 a S906, é descrito um método para busca de assuntos através de giro/inclinação ou ampliação. Como alternativa, a busca de assunto pode ser realizada com um sistema de captura de imagem que captura em todas as direções ao mesmo tempo, com o uso de uma pluralidade de lentes grande angulares. No caso de uma câmera omnidirecional, se o processamento de imagens, tal como a detecção de assunto, for realizado em todos os sinais que são obtidos através de captura como imagens de entrada, é exigido um processamento enorme. Portanto, parte de uma imagem é recortada e um processo de busca por um assunto é realizado dentro da faixa da imagem recortada. O nível de importância de cada área é calculado como no caso do método descrito acima, uma posição de recorte é mudada com base no nível de importância e é realizada uma determinação quanto à captura automática (descrito posteriormente). Assim, uma redução no consumo de energia elétrica e a busca de assunto em alta velocidade através de processamento de imagem são possíveis.

[0198] É determinado em S907 se há uma instrução de captura (manual) do usuário. Quando há uma instrução de captura, o processo prossegue para S910. Nesse momento, a instruções de captura (manual) do usuário pode ser pressionar o botão de obturador do aparelho de captura de imagem 101 ou pressionar o botão de obturador do acessório de controle portátil 5001. Alternativamente, a instrução de captura (manual) do usuário pode ser tocar no alojamento do aparelho de captura de imagem com um dedo ou similares, entrada de comando de voz, uma instrução do aparelho externo ou similares. Uma instrução de captura fornecida por toque é um método de instrução de captura de, quando o usuário toca o alojamento do aparelho de captura de imagem, detectar sucessivas acelerações de alta frequência em um curto período de tempo com a seção de detecção de oscilação do aparelho 209 e disparar a captura. A entrada de comando de voz é um método de instrução de captura, em que o usuário fala uma palavra-chave (por exemplo, "Tirar uma foto" ou similares) para fornecer uma instrução para captura predeterminada, reconhecer uma voz com a seção de processamento de voz 214 e acionar a captura. Uma instrução do aparelho externo é um método de captura que usa um sinal de instrução do obturador enviado por meio do aplicativo exclusivo de, por exemplo, um telefone inteligente ou similares conectado por Bluetooth ao aparelho de captura de imagem como um gatilho.

[0199] Em S908, uma determinação de captura automática é realizada. Em determinação de captura automática, uma determinação quanto a se a captura automática é realizada e uma determinação quanto ao método de captura (uma determinação quanto a qual dentre captura única de uma imagem estática, captura contínua (exposição contínua) de imagens estáticas, captura de vídeo, captura panorâmica, captura com lapso de tempo e similares) são realizadas.

[0200] Capturar um objeto bem na frente dos olhos do usuário, tal como uma cena em que o usuário captura enquanto empurra o aparelho de captura de imagem levemente para frente com o aparelho de captura de imagem utilizado junto ao corpo no usuário é concebível. Em uma cena como essa, por exemplo, é desejado usualmente capturar uma imagem estática rapidamente. Capturar uma área cênica, tal como uma cena em que o usuário mantém o aparelho de captura de imagem pendurado no pescoço e fotografa enquanto levanta o aparelho de captura de imagem para o lado superior à frente é concebível. Em uma cena como essa, por exemplo, mesmo quando captura panorâmica é esperada ou não, o usuário aprende esse método de captura quando uma imagem obtida pela captura panorâmica é fornecida ao usuário, e essa experiência pode ser usada para capturas futuras. Portanto, para identificar essas cenas, as cenas são identificadas, por exemplo, detectando-se uma distância de movimento do aparelho de captura de imagem de um estado mantido para a captura. Dessa forma, um método de captura preferencial pode variar dependendo da maneira de configurar o aparelho de captura de imagem, de modo que o método de gravação possa ser mudado de acordo com a situação do aparelho de captura de imagem no momento da mudança para a captura. Quanto ao objetivo do usuário no caso de uma cena em que um assunto está posicionado levemente acima e o aparelho de captura de imagem é levantado para capturar o assunto, é desejável capturar uma imagem estática normal rapidamente. Portanto, para realizar essas identificações, por exemplo, uma distância do assunto é detectada. Assim, uma cena pode ser identificada. Dessa maneira, uma vez que um método de captura preferencial pode variar dependendo da situação de um assunto, o método de captura pode ser mudado de acordo com a situação do aparelho de captura de imagem no momento de mudar para a captura e com a situação de um assunto que é visto.

Para capturar um assunto verticalmente longo na frente dos olhos do usuário, é sugerido um estado em que o usuário mantém o aparelho de captura de imagem pendurado no pescoço e está fotografando enquanto mantém o aparelho de captura de imagem orientado para cima.

Essa cena em que a imagem de uma edificação é fotografada, por exemplo, em um local de turismo é concebível.

Em uma cena como essa, por exemplo, mesmo quando captura panorâmica vertical é esperada ou não, o usuário aprende esse método de captura quando uma imagem obtida pela captura panorâmica é fornecida ao usuário, e essa experiência pode ser usada para capturas adicionais.

Portanto, nesse caso, um ângulo de retenção é detectado.

Assim, uma cena pode ser identificada.

A precisão de determinar se um panorama vertical ou panorama horizontal é preferencial pode ser melhorada, determinando-se adicionalmente, por exemplo, uma distância para um assunto e distâncias para o assunto nas áreas superior, inferior, direita e esquerda como a situação do assunto nesse momento.

Em outras palavras, quando a distância para um assunto e distâncias para as áreas superior e inferior do assunto são distâncias equivalentes, pode ser determinada a realização de uma captura panorâmica vertical.

Para capturas de 360 graus, essa cena em que o usuário mantém o aparelho de captura de imagem pendurado no pescoço e fotografa enquanto mantém o aparelho de captura de imagem orientado diretamente acima é concebível.

Essa cena em que, por exemplo, uma imagem que mostra um estado de olhar em torno da parte superior de uma montanha é fotografada é concebível.

Nesse momento, é concebível que, por exemplo, o usuário defina o modo para um modo de captura em 360 graus com o aparelho externo e forneça uma instrução de captura.

Assim, por exemplo, nesse caso, quando uma interface do usuário para perguntar se é necessário passar para a captura em 360 graus é fornecida no momento em que o usuário opera o aparelho externo, o tempo e esforço para a operação do usuário podem ser reduzidos.

Além disso, enquanto essa operação é repetida várias vezes, o usuário espera ser capaz de realizar a captura em 360 graus apenas pressionando-se o botão de obturador com o aparelho externo orientado diretamente acima sem operar o aparelho externo. Portanto, nesse caso, por exemplo, a captura em 360 graus é realizada quando a direção de movimento do aparelho de captura de imagem do estado mantido para captura está na direção diretamente para cima, o tempo e o esforço para a captura do usuário podem ser reduzidos.

[0201] Dessa maneira, mudando-se o método de captura com base na situação do equipamento de captura de imagem e na situação de um assunto, o tempo e o esforço do usuário durante a captura e durante a verificação de uma imagem de captura podem ser reduzidos.

[0202] Em uma determinação como essa de um método de captura que é esperado com base na situação do aparelho de captura de imagem e na situação de um assunto, bem como no método de determinação em <Determinação Quanto a Se Captura Automática É Realizada>, o método de captura pode ser determinado através de uma determinação com base em uma rede neural. Nesse processo de determinação, uma condição de determinação pode ser mudada usuário a usuário através do processo de aprendizagem (descrito posteriormente). Nesse caso, uma pluralidade de imagens é gravada com uma pluralidade de métodos de captura no estágio inicial de aprendizagem e, no processo de aprendizagem (descrito posteriormente), a condição de determinação pode ser mudada de acordo com a imagem de qual método de captura o usuário preferir.

[0203] Dessa maneira, é descrita a determinação de um método de captura apropriado à intenção do usuário, no caso em que existe uma instrução de captura manual do usuário. Esse processo é aplicável em um processo de determinação de captura automática no caso em que também não há instruções de captura manual como S908b. Em outras palavras, quando é determinado que o aparelho de captura de imagem está definido, um método de captura que reflete a intenção do usuário pode ser determinado de forma semelhante, detectando-se a maneira de configurar o aparelho de captura de imagem.

[0204] Monitorando-se a aceleração do aparelho de captura de imagem, mesmo durante captura automática, a maneira de configurar o aparelho de captura de imagem pode ser detectada e o método de captura que reflete a intenção do usuário pode ser determinado.

(1) DETERMINAÇÃO QUANTO A REALIZAR CAPTURA AUTOMÁTICA

[0205] Uma determinação quanto a executar captura automática é realizada com base nas duas determinações a seguir. Uma é que, quando o nível de importância excede um valor predeterminado com base no nível de importância para cada uma das áreas, obtido em S904, é feita uma determinação para realizar a captura automática. A segunda é uma determinação com base na rede neural. Como um exemplo da rede neural, um exemplo de uma rede com um perceptron multicamadas é mostrado na Figura 12. Uma rede neural é usada para prever um valor de saída a partir dos valores de entrada e, quando a rede neural aprende os valores de entrada e um valor de saída modelo para as entradas previamente, é capaz de estimar um valor de saída seguindo o modelo aprendido para novos valores de entrada. Um método de aprendizagem será descrito posteriormente. Na Figura 12, 1201 e os círculos seguintes dispostos em coluna são neurônios de uma camada de entrada, 1203 e os círculos seguintes dispostos em coluna são neurônios de uma camada intermediária e 1204 é um neurônio de uma camada de saída. Setas como 1202 representam ligações que conectam os neurônios. Em uma determinação com base em uma rede neural, um assunto que aparece em um ângulo de visão atual ou quantidades de características com base na situação de uma cena ou aparelho de captura de imagem é dado aos neurônios da camada de entrada como entradas e um valor emitido pela camada de saída através do cálculo com base na regra de propagação progressiva do perceptron multicamadas. Quando o valor de saída é maior ou igual a um limiar, é feita uma determinação para realizar captura automática. As características de um assunto são o fator de escala de ampliação atual, um resultado geral de reconhecimento de assunto no ângulo de visão atual, um resultado de detecção de rosto, o número de rostos contidos no ângulo de visão atual, o grau de sorriso e o grau de fechamento dos olhos de cada rosto, um ângulo de rosto,

número de ID de identificação de rosto, o ângulo da linha de visão de uma pessoa, um resultado de identificação de cena, um resultado detectado de uma composição específica e similares. Um tempo decorrido desde a última captura, hora atual, informações de posição de GPS, uma variação de uma última posição de captura, um nível de voz atual, uma pessoa falando, se surgiu um aplauso ou ovação, ou similares podem ser usados. Informações de vibração (informações de aceleração, a situação do aparelho de captura de imagem), informações ambientais (temperatura, pressão atmosférica, iluminação, umidade, quantidade de luz ultravioleta) ou similares podem ser usadas. Além disso, quando as informações são fornecidas a partir do dispositivo utilizável junto ao corpo 501, as informações fornecidas (informações de movimento do usuário, informações sobre a ação do braço, informações biológicas tais como frequência cardíaca e similares) podem ser usadas como características. Essas características são convertidas em valores numéricos dentro de uma faixa predeterminada e entregues aos neurônios da camada de entrada como quantidades de características. Portanto, são exigidos neurônios da camada de entrada no mesmo número que o número de quantidades de características a serem usadas.

[0206] Em uma determinação com base na rede neural, o valor de saída varia mudando-se os pesos de ligação entre os neurônios através do processo de aprendizagem (descrito posteriormente), e o resultado de determinação pode ser adaptado ao resultado de aprendizagem.

[0207] Uma determinação para captura automática também varia dependendo da condição de inicialização do Processador principal, carregada na etapa 702 da Figura

7. Por exemplo, no caso de inicialização com base na detecção de toque ou inicialização com base no comando de voz específica, há uma possibilidade consideravelmente alta de que seja uma operação que o usuário deseja gravar atualmente. Portanto, a frequência de captura é definida de modo a ser aumentada. (2) DETERMINAÇÃO DE MÉTODO DE CAPTURA

[0208] Na determinação de um método de captura, uma determinação quanto a qual dentre captura de imagem estática, captura de vídeo, captura contínua, captura panorâmica e similares, é realizada com base na situação do aparelho de captura de imagem e na situação de um assunto circundante, detectado em S901 a S904. Por exemplo, a captura de imagem estática é realizada quando um assunto (pessoa) está estático, e a captura de vídeo ou captura contínua é realizada quando um assunto está em movimento. Quando uma pluralidade de assuntos está presente em torno do aparelho de captura de imagem ou é determinado que está em uma área cênica com base nas informações de GPS descritas acima, um processo de captura panorâmica de geração de uma imagem panorâmica combinando-se imagens de captura em sequência durante o giro/inclinação pode ser executado. Como no caso do método de determinação em <Determinação Quanto a Realizar Captura Automática>, um método de captura pode ser determinado por meio de uma determinação com base em uma rede neural com o uso de várias informações detectadas antes da captura e, no processo de determinação, a condição de determinação pode ser mudada através do processo de aprendizagem (descrito posteriormente).

[0209] Quando é determinado capturar em S909 resultante da determinação de captura automática de S908, o processo prossegue para S910; caso contrário, o processo prossegue para o fim do processo de modo de captura.

[0210] Em S910, a captura automática é iniciada. Nesse momento, a captura com o uso do método de captura determinado em S908 é iniciada. Nesse momento, o controle de foco automático é executado pela seção de controle de foco 204. O controle de exposição para definir um assunto com um brilho apropriado é executado com o uso de uma seção de controle de exposição, seção de controle de ganho do sensor e seção de controle do obturador (não mostrados). Além disso, após a captura, a seção de processamento de imagem 207 gera uma imagem realizando-se vários processamentos de imagem, tais como equilíbrio automático de branco, redução de ruído e correção de gama.

[0211] No momento da captura, um método de, quando uma condição predeterminada é satisfeita, executar um processo de notificar uma pessoa a ser fotografada de que o aparelho de captura de imagem captura e, em seguida, capturar, pode ser empregado. Um método de notificação pode, por exemplo, usar uma voz da seção de saída de voz 218 ou luz piscante de LED gerada pela seção de controle de

LED 224 ou realizar um movimento para guiar visualmente a linha de visão de um assunto por giro/inclinação. A condição predeterminada é, por exemplo, o número de rostos no ângulo de visão, o grau de sorriso e o grau de fechamento dos olhos de cada rosto, o ângulo da linha de visão ou o ângulo do rosto de uma pessoa, número de ID de identificação de rosto, o número de pessoas com identificação pessoal registrada, e similares. A condição predeterminada também é um resultado geral de reconhecimento de objeto durante a captura, um resultado de identificação de cena, um tempo decorrido desde a última captura, tempo de captura, se uma posição atual com base em informações de GPS é uma área cênica, um nível de voz durante a captura, se há uma pessoa falando, se surgiu um aplauso ou ovação, ou similares. À condição predeterminada também é informações de vibração (informações de aceleração, a situação do aparelho de captura de imagem), informações ambientais (temperatura, pressão atmosférica, iluminação, umidade, quantidade de luz ultravioleta) ou similares. Quando a captura notificada é realizada com base nessas condições, uma imagem que tem olhos preferenciais para a câmera pode ser gravada em uma cena muito importante.

[0212] Como alternativa, uma pluralidade de condições predeterminadas pode ser fornecida e, de acordo com as condições, uma voz pode ser mudada, um método de iluminação por LED (como cor e tempo do piscar) pode ser mudado ou um método de movimento de giro/inclinação (a forma de movimento e velocidade de condução) podem ser mudados.

[0213] Para essa notificação antes da captura, o método ou o momento da notificação pode ser determinado através de informações sobre uma imagem da captura ou uma determinação com base em uma rede neural com o uso de várias informações detectadas antes da captura. Nesse processo de determinação, uma condição de determinação pode ser mudada através do processo de aprendizagem (descrito posteriormente).

[0214] Em S911, é realizado um processo de edição no qual a imagem gerada em S910 é processada ou adicionada a uma imagem em movimento. O processamento de imagem é produzido especificamente com base no rosto de uma pessoa ou posição focal, rotação de uma imagem, efeito HDR (faixa dinâmica alta), efeito de desfoque, efeito de filtro de conversão de cor ou similares. No processamento de imagens, uma pluralidade de imagens pode ser gerada com base na imagem gerada em S910 com o uso de combinações dos processos descritos acima, e as imagens geradas podem ser salvas separadamente da imagem gerada em S910. No processamento de imagens em movimento, pode ser realizado um processo de adição de uma imagem em movimento ou imagem estática em uma imagem em movimento editada gerada enquanto se aplica efeitos especiais de deslizamento, ampliação e esmaecimento. Também na edição em S911, um método de processamento de imagem pode ser determinado por meio de informações sobre uma imagem de captura ou uma determinação com base em uma rede neural com o uso de várias informações detectadas antes da captura e, nesse processo de determinação, a condição de determinação pode ser mudada através do processo de aprendizagem (descrito posteriormente).

[0215] Em S912, é realizado um processo de geração de informações de aprendizagem de uma imagem de captura. Aqui, as informações que são usadas no processo de aprendizagem (descrito posteriormente) são geradas e registradas. Especificamente, as informações são um fator de escala de ampliação durante a captura, um resultado geral de reconhecimento de objeto durante a captura, um resultado de detecção de rosto, o número de rostos contidos em uma imagem de captura, o grau de sorriso e fechamento dos olhos de cada rosto, um ângulo de rosto, número de ID de identificação do rosto, o ângulo da linha de visão de uma pessoa do assunto ou similares na imagem de captura atual. As informações também são um resultado de identificação de cena, um tempo decorrido desde a última captura, tempo de captura, informações de posição de GPS, uma variação de uma última posição de captura, um nível de voz durante a captura, uma pessoa falando, se surgiu um aplauso ou ovação, ou similares. As informações também são informações de vibração (informações de aceleração, a situação do aparelho de captura de imagem), informações ambientais (temperatura, pressão atmosférica, iluminação, umidade, quantidade de luz ultravioleta), tempo de captura de vídeo, com base em instruções manuais de captura, ou similares. Além disso, uma pontuação que é uma saída de uma rede neural e que é digitalizada a partir da preferência de imagem do usuário também é calculada.

[0216] Essas informações são geradas e gravadas em um arquivo de imagem de captura como informações de rótulo. Alternativamente, as informações sobre as imagens de captura podem ser gravadas na memória não volátil 216 ou salvas na mídia de gravação 221 em um formato de lista como os chamados dados de catálogo.

[0217] Em S913, as informações de captura anteriores são atualizadas. Especificamente, o número de imagens fotografadas para cada área, o número de imagens fotografadas para cada pessoa com identificação pessoal registrada, o número de imagens para cada assunto reconhecido através do reconhecimento de objeto em geral ou o número de imagens fotografadas para cada cena em identificação de cena, descritas em S908, associadas à imagem de captura atual é aumentado em um na contagem. (EXEMPLO DE CAPTURA MANUAL ATRAVÉS DE RECONHECIMENTO DE VOZ)

[0218] — Conforme descrito em S907 da Figura 9, a instrução de captura (manual) do usuário também inclui uma instrução com base na entrada de comando de voz. À entrada de comando de voz inclui a entrada de comando de voz no caso em que o usuário deseja capturar uma imagem que contém o próprio usuário (por exemplo, "Tire uma foto minha" ou similares). Em seguida, no processo de busca com o uso de giro/inclinação ou ampliação, é feita uma busca por uma pessoa que fala, é fotografada uma imagem na qual a pessoa que falou um comando de voz está incluída em um ângulo de captura de visão.

[0219] A captura do próprio usuário com o uso de um comando de voz será descrita com referência ao fluxograma mostrado na Figura 24. A Figura 24 é um processo que realiza uma determinação dentro do processo de S907 da Figura 9.

[0220] No processo de instruções de captura manual de S907, é determinado se a captura é com base na entrada de comando de voz. Em S2401, é determinado se a entrada de comando de voz específica (por exemplo, “Tire uma foto minha” ou similares) é detectada pela seção de processamento de voz 214. Quando nenhum comando de voz é detectado, o processo prossegue para S2416 e o processo manual de determinação de captura por controle de voz é encerrado sem fazer uma determinação de captura manual. Quando um comando de voz é detectado em S2401, o processo prossegue para S2402.

[0221] Em S2402, a direção do som a partir da qual o comando de voz é detectado é calculada e uma primeira direção de som, uma segunda direção de som, uma terceira direção de som ou uma quarta direção de som em ordem decrescente do grau de confiança da direção de som é calculada como uma candidata. Quando a precisão de detecção de uma direção de som é consideravelmente alta, não precisa ser calculada uma pluralidade de candidatas ou um processo de busca subsequente, ou similares, não precisam ser realizados. No entanto, ruído pode ser incluído em uma direção de som detectada devido à situação de ruído ambiente no momento de detectar um comando de voz, à influência de um ambiente de assunto, tal como a reflexão de som ou similares, para que uma pluralidade de candidatos seja calculada.

[0222] Especificamente, os candidatos são calculados a partir de todos os valores de direção de som detectados, detectados pelo tempo um tempo predeterminado antes do momento em que o comando de voz é detectado. Um tempo para falar um comando de voz registrado previamente pode ser previsto até certo grau (por exemplo, quando "Tire uma foto minha" é um comando, o tempo que é gasto para falar o comando é definido previamente como parâmetro). Um primeiro pico 2501 é definido como a primeira direção de som e um segundo pico 2502 é definido como a segunda direção de som no processo de histograma, como mostrado na Figura 25, de todos os valores de direção de som detectados dentro do tempo predeterminado. Cada uma da primeira direção de som e da segunda direção de som são calculadas e o processo prossegue para S2405.

[0223] Em S2403, é determinado se a nova tentativa de giro/inclinação está definida. Para a configuração de nova tentativa de giro/inclinação, a nova tentativa de giro/inclinação é definida em S2415 posteriormente e uma determinação de nova tentativa de giro/inclinação não é realizada no momento em que o processo de determinação manual de captura de controle por voz desse fluxo é iniciado. Quando a nova tentativa de giro/inclinação não está definida em S2403, o processo prossegue para S2404, a primeira direção de som calculada em S2402 é definida como a direção de som. Quando é determinado em S2403 que a nova tentativa de giro/inclinação está definida, o processo prossegue para S2405 e a segunda direção de som calculada em S2404 é definida como a direção de som. Quando os processos de S2404 e S2405 finalizam, o processo prossegue para S2406.

[0224] Em S2406, é determinado se a diferença entre a direção de som definida e o ângulo atual de giro/inclinação está fora de uma faixa predeterminada, ou seja, se a diferença entre a direção de som e o centro atual de ângulo de visão está fora da faixa predeterminada. Quando a diferença está fora da faixa predeterminada, o processo prossegue para S2407, a câmera é girada/inclinada para ajustar o ângulo de giro/inclinação, de modo que a direção de som detectada chegue ao centro do ângulo de visão e o processo prossegue para S2408. Quando a diferença entre a direção de som e o centro do ângulo de visão atual está dentro da faixa predeterminada em S2406, a direção de som está localizada perto do centro dentro do ângulo de visão, assim o processo prossegue para S2408 sem girar ou inclinar.

[0225] Em S2408, é determinado se um assunto principal está dentro do ângulo de visão atual através do processamento e análise de imagem na imagem de captura. Um método de determinação específico é descrito a seguir. (1) DETECÇÃO DE ASSUNTO PRINCIPAL ATRAVÉS DA REDE NEURAL

CONVOLUCIONAL

[0226] A detecção de um assunto principal por meio de uma rede neural convolucional é conhecida como método geral de aprendizagem de máquina de um processo de reconhecimento de imagem. Através de uma rede neural convolucional, é obtida a presença ou ausência de um assunto principal detectado (assunto falante) e, quando o assunto principal está presente, também são obtidas informações de posição na imagem. Alternativamente, uma determinação do assunto principal pode ser realizada através de uma rede neural convolucional para cada imagem recortando- se a área de cada pessoa com base nos resultados da detecção de rosto e de corpo, e um assunto principal pode ser estimado. Essa rede neural convolucional é preparada como aquela treinada previamente, com base nas imagens de pessoas que falaram comandos de voz; no entanto, a rede neural convolucional pode ser treinada enquanto é usada em um método que será descrito posteriormente. (2) DETECÇÃO DE ASSUNTO PRINCIPAL ATRAVÉS DE REDE NEURAL

[0227] Existe um método para realizar uma determinação de assunto principal em cada pessoa, com o uso das quantidades de características de um assunto como entradas para cada pessoa contida no ângulo de visão atual. Nesse caso, não apenas as características faciais, como um resultado de determinação da expressão facial, o grau de fechamento dos olhos, um ângulo do rosto, número de ID de identificação do rosto e o ângulo da linha de visão de uma pessoa, mas também um resultado de determinação de gestos, um resultado de determinação de cena de imagem, um nível sonoro atual, um resultado de determinação de cena sonora ou similares, podem ser usados como uma característica a ser inserida. Essa rede neural também é treinada com base nas quantidades de características do assunto, com base nas imagens de pessoas que falaram comandos de voz; no entanto, a rede neural pode ser treinada enquanto é usada em um método que será descrito posteriormente. (8) DETECÇÃO DE ASSUNTO ATRAVÉS DE DETERMINAÇÃO DE

CARACTERÍSTICAS DE CADA PESSOA

[0228] Uma vez que um assunto acaba de falar uma voz em direção ao aparelho de captura de imagem 101, há uma possibilidade consideravelmente alta de que o assunto esteja voltado para a câmera. Portanto, os coeficientes de peso podem ser atribuídos aos resultados detectados do número de ID de identificação do rosto, resultado de expressão facial, ângulo do rosto, direção da linha de visão e resultado de determinação de gestos, e uma determinação pode ser simplesmente realizada. Quando o ID de identificação do rosto já está registrado, existe uma grande possibilidade de que a pessoa seja um assunto principal. Quando o grau de sorriso da expressão facial é alto, existe uma grande possibilidade de que a pessoa seja um assunto principal. Quando o ângulo do rosto ou a direção da linha de visão está direcionada para a câmera, existe uma grande possibilidade de que a pessoa seja um assunto principal. Quando um gesto (por exemplo, acenar com a mão para a câmera ou similares) está sendo realizado, existe uma grande possibilidade de que a pessoa seja um assunto principal. Um assunto principal pode ser estimado com o uso de qualquer uma ou mais informações.

[0229] A presença de um assunto principal dentro do ângulo de visão atual pode ser determinada com o uso de qualquer um dos métodos ou pode ser determinada com o uso de uma combinação de dois ou mais dentre (1) a (3).

[0230] Após a análise da imagem ser realizada em S2408, o processo prossegue para S2409 e é determinado se um assunto principal é encontrado no processo de S2408. Quando é determinado em S2409 que um assunto principal está presente, o processo prossegue para S2410. Em S2410, o ajuste de composição é realizado por meio de ampliação ou giro/inclinação, e o processo prossegue para S2411. A determinação de uma composição adequada para capturar uma imagem contendo o assunto principal pode ser realizada através de uma determinação com o uso de uma rede neural. Um valor de saída varia mudando-se os pesos de ligação entre os neurônios através do processo de aprendizagem (descrito posteriormente), e o resultado de determinação pode ser adaptado ao resultado de aprendizagem.

[0231] Em S2411, é determinado que existe uma instrução de captura manual e o processo prossegue para S2416. O processo de captura manual do controle de voz é encerrado e o processo prossegue para S910 na Figura 9 e, em seguida, a captura é iniciada.

[0232] Quando é determinado em S2409 que não há assunto principal dentro do ângulo de visão atual, o processo prossegue para S2412.

[0233] Em S2412, é determinado se um tempo predeterminado decorreu desde o giro/inclinação completa em S2407. Quando já está determinado em S2406 que a diferença entre a direção de som e o ângulo atual de centro de visão estão dentro da faixa predeterminada, o mesmo é determinado com base em um lapso de tempo a partir do ponto de tempo determinado. Aqui, quando o tempo predeterminado não tiver decorrido, o processo prossegue para S2413 e uma busca com o uso da ampliação é realizada. Quando um assunto que falou um comando de voz é consideravelmente pequeno dentro do ângulo de visão, o tamanho de um rosto é pequeno e a resolução do rosto também é baixa; portanto, isso pode afetar a precisão de detecção com base na análise de imagem. Portanto, nesse caso, a câmera aumenta a ampliação para estreitar o ângulo de visão e o processo a partir de S2408 é executado novamente. Quando um assunto que falou um comando de voz é muito grande dentro do ângulo de visão, a imagem geral de uma pessoa não pode ser vista e não pode ser determinada considerando, por exemplo, a realização de um gesto ou similares. Portanto, a câmera diminui a ampliação para ampliar o ângulo de visão e o processo de S2408 é executado novamente.

[0234] Quando é determinado em S2412 que o tempo predeterminado decorreu desde a conclusão do giro/inclinado, é determinado que não há nenhum assunto que falou um comando de voz na direção de som definida. Em seguida, para buscar o próximo candidato de direção de som, o processo prossegue para S2414 e é determinado se uma operação de nova tentativa de giro/inclinação foi realizada anteriormente. Quando nenhuma nova tentativa foi realizada, o processo prossegue para S2415 e a nova tentativa de giro/inclinação é configurada e, em seguida, o processo retorna para S2403. Nesse momento, uma vez que nova tentativa de giro/inclinação está definida, o ângulo de visão é definido na direção de som que é a segunda direção de som de S2405 através da determinação de S2403, e um processo de busca de um assunto principal é realizado novamente. No exemplo da Figura 24, é mostrado um método de busca de dois candidatos, isto é, a primeira direção de som e a segunda direção; no entanto, a terceira ou quarta direção podem ser detectadas e a nova tentativa pode ser repetida.

[0235] Quando é determinado em S2414 que a nova tentativa de giro/inclinação já foi realizada, o processo prossegue para S2416 e o processo de determinação da captura manual com controle de voz é encerrado sem fazer uma determinação manual de captura. Nesse momento, para informar ao usuário que a captura não é realizada, embora um comando de voz seja detectado, pode ser adotado um método para realizar o processo de notificação. Um método de notificação pode, por exemplo, usar uma voz da seção de saída de voz 218 ou luz piscante de LED gerada pela seção de controle de LED 224. Um método de notificação pode ser realizar um movimento para guiar visualmente a linha de visão de um assunto por giro/inclinação ou pode ser um método de fornecer comunicação e notificação ao dispositivo inteligente 301 ou ao dispositivo utilizável junto ao corpo 501.

[0236] Na Figura 24, é descrita a captura resultante de o usuário realizar a entrada de comando de voz no caso em que o usuário deseja capturar uma imagem contendo o próprio usuário. No entanto, a entrada de comando de voz pode ser uma entrada de comando de voz no caso em que o usuário deseja registrar o usuário como um assunto principal (por exemplo, "Registrar-me", "Rastrear-me" ou similares). Nesse caso, no processo de busca descrito acima, é feita uma busca por um assunto que falou uma voz e o assunto é registrado. Quando o assunto é registrado, a captura automática é realizada focalizando-se no assunto registrado posteriormente. À captura pode ser realizada enquanto o assunto registrado é mantido constantemente dentro do ângulo de visão por giro/inclinação ou ampliação.

[0237] Quando um comando de voz para registro de assunto é inserido, o registro de assunto pode ser implantado mudando-se o processo de S2411 para um processo de registro de um assunto dentro do processo da Figura 24.

[0238] Quando um assunto também é registrado, um processo de detecção e registro é realizado por meio de giro/inclinação ou ampliação, de modo que o ângulo de visão que permita fácil registro de identificação de rosto e registro da cor detectada da roupa que está sendo vestida, ou similares, seja realizado facilmente.

[0239] Quando o aparelho de captura de imagem 101 não tem monitor, um assunto registrado não pode ser verificado. Portanto, como mostrado na Figura 26, o fato de um assunto estar registrado pode ser informado ao dispositivo inteligente 301, ou dados de imagem de um assunto registrado podem ser enviados para permitir que o usuário verifique.

[0240] Quando um assunto é registrado, os dados que fornecem uma notificação 2602 de que o registro pode ser visto são enviados por um meio de comunicação 222 para o dispositivo inteligente 301 através de comunicação 2601. Quando o usuário verifica o assunto operando-se o dispositivo inteligente 301, o aparelho de captura de imagem 101 envia 2603 os dados de imagem e faz com que o dispositivo inteligente exiba um assunto 2604 registrado no dispositivo inteligente para que o usuário possa verificar. A exibição que o usuário pode verificar pode ser uma exibição tal que uma imagem relacionada ao assunto registrado 2604 seja sobreposta em um quadro de rosto ou próximo (abaixo) do quadro de rosto, a fim de indicar que o aparelho de captura de imagem 101 identificou a rosto. A imagem relacionada pode ser exibida durante a captura de vídeo ou pode ser exibida durante a reprodução de vídeo.

[0241] Fornecendo-se o assunto registrado para que o usuário possa verificar dessa maneira, mesmo se um assunto registrado estiver errado, o usuário poderá ser solicitado a registrar um assunto novamente. Como é possível determinar se o mesmo está correto ou incorreto, um assunto registrado pode ser aprendido e variado através do processo de aprendizagem que será descrito posteriormente.

[0242] Na presente modalidade, é descrita a captura em uma direção de som e o registro de assunto através de entrada de comando de voz, com o uso de giro/inclinação e ampliação; no entanto, captura e registro de assunto podem ser realizados com o uso apenas de giro/inclinação ou captura e registro de assunto podem ser realizados com o uso apenas de ampliação.

[0243] Quando apenas giro/inclinação é usado, S2412 e S2413 não são realizados na Figura 24.

[0244] Quando apenas ampliação é usada, depois que a direção de som é detectada, a ampliação é definida de modo que a direção de som fique dentro do ângulo de visão e é feita uma busca por um assunto principal com a ampliação. Assim, captura e registro de assunto são realizados. PROCESSO DE MODO DE EDIÇÃO AUTOMÁTICA (VÍDEO EM DESTAQUE)

[0245] A seguir, será descrito o processo de modo de edição automática (vídeo de destaque) na presente modalidade.

[0246] Na determinação de um modo a ser definido na etapa 704 da Figura 7, é determinado se é necessário realizar o processo de edição automática (vídeo de destaque). Quando é determinada a realização do processo de edição automática, o processo de modo de edição automática da etapa 712 é realizado.

[0247] Uma condição de determinação para o modo de edição automática será descrita. A mudança para o modo de edição automática é determinada com base no tempo decorrido desde um último processo de edição ou nas informações de rótulo (tais como informações de aprendizagem e uma pontuação que digitaliza a preferência de imagem do usuário) de cada captura de imagem após o ponto no qual o último processo de edição é realizado. Um fluxo de processo de determinação quanto a passar para o modo de edição automática, que é determinado no processo de determinação de configuração de modo da etapa 704, é mostrado na Figura 10.

[0248] Quando uma instrução para iniciar a determinação de modo de edição automática é emitida no processo de determinação de configuração de modo da etapa 704, o processo da Figura 10 é iniciado. Na etapa 1001, um tempo decorrido TimeD desde quando o último processo de edição automática foi realizado é adquirido e o processo prossegue para a etapa 1002. Na etapa 1002, informações de aprendizagem, pontuação e similares, associados a cada captura de imagem após o momento em que o último processo de edição foi realizado, são adquiridos e o processo prossegue para a etapa 1003. Na etapa 1003, um valor de avaliação DB para determinar se deve ser realizada edição automática é calculado a partir dos dados adquiridos na etapa 1002. Um método para calcular um valor de avaliação é, por exemplo, extrair características de uma imagem de cada informação de imagem e, quando existem muitos tipos de características, atribuir pontos mais altos. Conforme descrito na captura automática acima, uma pontuação determinada para a preferência do usuário é calculada para cada imagem e pontos mais altos são atribuídos a uma imagem que tem uma pontuação mais alta. Os pontos mais altos são calculados à medida que o número de imagens de captura aumenta. Assim, um valor de avaliação depende de quão altos são os pontos da pontuação, depende do número de imagens e depende dos tipos de características. O processo prossegue para a etapa 1004. Na etapa 1004, um limiar DA é calculado a partir de TimeD. Por exemplo, um limiar DAa no caso em que TimeD é menor do que um valor predeterminado é definido como maior do que um limiar DAb no caso em que TimeD é maior do que o valor predeterminado e o limiar é definido de modo a reduzir com tempo. Assim, mesmo no caso em que os dados de imagem de captura são pequenos, o processo de edição automática é realizado quando o tempo decorrido é longo, com o resultado de que o aparelho de captura de imagem é configurado para criar automaticamente um vídeo de destaque de acordo com o tempo de uso.

[0249] Quando o processo da etapa 1004 é concluído, o processo prossegue para a etapa 1005. Quando o valor de avaliação DB é maior do que o limiar DA, o processo prossegue para a etapa 1006. Uma vez que seja o caso em que, após o momento em que a última edição automática é realizada, os dados a serem editados automaticamente são obtidos ou os mesmos são determinados para realizar edição automática devido a um longo tempo decorrido, o modo de edição automática é definido como VERDADEIRO, e a determinação de modo de edição automática é encerrada. Quando o valor de avaliação DB é menor ou igual ao limiar DA na etapa 1005, é determinado que os dados a serem editados automaticamente não estão disponíveis; portanto, a determinação de modo de edição automática é definida como FALSA, de modo que o processo de edição automática não seja realizado, e o processo de determinação de modo de edição automática é encerrado.

[0250] Em seguida, será descrito um processo no processo de modo de edição automática (etapa 712). O fluxo detalhado do processo de modo de edição automática é mostrado na Figura 11.

[0251] Em S1101, um processo de seleção entre imagens estáticas e imagens em movimento salvas na mídia de gravação 221 é executado na primeira seção de controle 223 para selecionar imagens a serem usadas na edição e o processo prossegue para S1102.

[0252] O processo de seleção de imagem aqui é para extrair metadados, tais como o número de rostos, o tamanho de cada rosto e grupos de cores, em uma imagem estática ou imagem em movimento para cada imagem, converter os metadados para um valor de avaliação e listar as imagens que têm um valor de avaliação maior ou igual a um limiar definido. A taxa de seleção entre uma imagem estática e uma imagem em movimento é decidida através de aprendizagem (descrita posteriormente), e a seleção é realizada preferencialmente tendo em vista as configurações do usuário, a frequência de captura e configurações.

[0253] Em S1102, efeitos de imagem são aplicados pela primeira seção de controle 223 e pela seção de processamento de imagens 207 às imagens selecionadas em S1101, e o processo prossegue para S1103.

[0254] A aplicação de efeitos de imagem aqui é produzida no rosto de uma pessoa ou no centro de uma posição focal, rotação de uma imagem, efeito HDR (alta faixa dinâmica), efeito de desfoque, efeitos especiais de deslizamento, ampliação e esmaecimento, efeito de filtro de cores, ou similares, em uma imagem estática.

[0255] Também em uma imagem em movimento, o filtro de cores é aplicado de maneira similar.

[0256] Em S1103, um tempo de reprodução de imagem é definido na primeira seção de controle 223 e o processo prossegue para S1104. Um tempo de reprodução de imagem apropriado é definido com base na aprendizagem (descrito posteriormente) para criar um vídeo de destaque que será descrito em S1105 com o uso das imagens selecionadas em S1101.

[0257] Em S1104, uma música (BGM) a ser aplicada ao vídeo de destaque que será descrito em S1105 é definida na primeira seção de controle 223 e o processo prossegue para S1105. Para definir também uma música (BGM), a mais apropriada a ser fornecida ao usuário é definida com base no resultado de aprendizagem (descrito posteriormente).

[0258] Em S1105, uma série de criação de vídeo de destaque é realizada com o uso dos resultados de S1101 a S1104 realizados na primeira seção de controle 223. O vídeo de destaque criado é salvo na mídia de gravação 221.

[0259] A seleção de imagens descrita acima, a aplicação de efeitos de imagem, o tempo de reprodução e a seleção BGM podem ser determinadas por meio de uma determinação com base em uma rede neural com o uso das informações de rótulo (informações sobre uma imagem de captura ou várias informações detectadas antes da captura) adicionado a cada imagem. Nesse processo de determinação, uma condição de determinação pode ser mudada através do processo de aprendizagem (descrito posteriormente).

PROCESSO DE MODO DE EXCLUSÃO DE ARQUIVOS AUTOMÁTICA

[0260] Em seguida, o processo de modo de exclusão de arquivos automática na presente modalidade será descrito.

[0261] Na presente modalidade, quando não há capacidade disponível na mídia de gravação, a captura não pode ser realizada e há preocupações de que a captura não possa ser realizada em resposta à intenção do usuário ou de que uma cena pretendida não possa ser fotografada em captura automática. As imagens podem ser excluídas através de uma operação do usuário; no entanto, isso é complicado. Portanto, uma imagem de captura que atenda a uma condição precisa ser excluída automaticamente no processo que será descrito abaixo. Por outro lado, o usuário pode excluir imagens que são necessárias posteriormente, assim, imagens apropriadas precisam ser selecionadas e excluídas.

[0262] O processo será descrito por meio de um exemplo do fluxo de processo de modo de exclusão de arquivos automática da Figura 29.

[0263] Em S2901, a capacidade disponível na mídia de gravação é verificada. Em S2902, um número alvo de imagens a serem excluídas é decidido de acordo com a capacidade disponível na mídia de gravação. Por exemplo, um número alvo de imagens a serem excluídas é definido para aumentar à medida que a capacidade disponível diminui e é definido de modo a aumentar à medida que a frequência definida de captura aumenta. O número alvo de imagens a serem excluídas pode variar de acordo com a aprendizagem (descrita posteriormente). Em S2903, é criada uma lista de imagens de captura salvas na mídia de gravação e classificadas em ordem decrescente de pontuação que digitaliza a preferência de imagem do usuário (descrita posteriormente). Em S2904, é determinado se uma imagem é excluída uma a uma de cima para baixo da lista classificada, e um processo de exclusão é executado. Em S2905, é determinado se uma imagem pretendida na lista atende a uma condição de exclusão.

[0264] A condição de exclusão pode ser, por exemplo, o fato de que uma imagem não é aquela fotografada manualmente pelo usuário ou o fato de que uma imagem não é aquela é altamente valorizada pelo usuário. Essas são imagens que o usuário gosta ou podem ser necessárias posteriormente, assim, é desejável que essas sejam excluídas da condição de exclusão.

[0265] O fato de uma imagem já ter sido transferida para um aparelho de comunicação externo, tal como o dispositivo inteligente, no modo de transferência automática, o fato de o usuário não ter navegado em uma imagem do aparelho de comunicação externo, ou similares, pode ser usado. Quando uma imagem já está transferida, a imagem transferida é utilizável; assim, é menos provável que a exclusão da imagem leve à desvantagem do usuário. Uma imagem de captura automática que o usuário não navegou ao menos uma vez não é reconhecida pelo usuário; portanto, é presumível que o usuário não sinta desvantagem, mesmo quando a imagem for excluída. Quando uma imagem atende à condição de exclusão, o processo prossegue para S2906, a imagem é excluída e o processo prossegue para S2907. Quando a imagem não atende à condição, o processo prossegue para S2907 sem excluir a imagem. Em S2907, é determinado se o número alvo de imagens a serem excluídas é alcançado. Quando o número alvo é alcançado, o processo de modo de exclusão automática é finalizado. Quando o número alvo não está alcançado, o processo retorna para S2904 e o processo é repetido sequencialmente na próxima imagem da lista. Quando não há imagem a ser processada na lista em S2904, o processo é encerrado.

PROCESSO DE MODO DE APRENDIZAGEM

[0266] A seguir, será descrita aprendizagem adaptada à preferência do usuário na presente modalidade.

[0267] Na presente modalidade, a rede neural, como mostrada na Figura 12, é usada, e aprendizagem adaptada à preferência do usuário é realizada na seção de processamento de aprendizagem 219, com o uso de um algoritmo de aprendizagem de máquina. A rede neural é usada para prever um valor de saída a partir dos valores de entrada. Quando a rede neural aprende valores históricos dos valores de entrada e valores históricos do valor de saída previamente, a rede neural é capaz de estimar um valor de saída para novos valores de entrada. Ao usar a rede neural, a aprendizagem adaptada às preferências do usuário é realizada para a captura automática, edição automática e busca de assunto descritas acima.

[0268] O registro de assunto (identificação de rosto, reconhecimento de objetos em geral ou similares) que são dados de características a serem inseridos na rede neural é registrado e o controle de notificação de captura, o controle de modo de baixo consumo de energia elétrica e a exclusão de arquivos automática são mudados através da aprendizagem.

[0269] Na presente modalidade, os elementos a serem aprendidos através do processo de aprendizagem são os seguintes. (1) CAPTURA AUTOMÁTICA

[0270] A aprendizagem para captura automática será descrita. Em captura automática, é realizada a aprendizagem para capturar automaticamente uma imagem que corresponda à preferência do usuário. Conforme descrito com referência ao fluxo da Figura 9, o processo de geração de informações de aprendizagem é realizado após a captura (etapa S912). As imagens a serem aprendidas através de um método (descrito posteriormente) são selecionadas e a aprendizagem é realizada mudando- se os pesos da rede neural com base nas informações de aprendizagem incluídas nas imagens. A aprendizagem é realizada mudando-se a rede neural que determina o tempo de captura automática e mudando-se a rede neural que determina um método de captura (captura de imagem estática, captura de vídeo, captura contínua, captura panorâmica ou similares). (2) EDIÇÃO AUTOMÁTICA

[0271] A aprendizagem para edição automática será descrita. Para edição automática, a aprendizagem é realizada em cada edição logo após a captura na etapa 911 da Figura 9 e a edição de um vídeo de destaque, descrito na Figura 11. A edição logo após a captura será descrita. As imagens a serem aprendidas através de um método (descrito posteriormente) são selecionadas e a aprendizagem é realizada mudando-se os pesos da rede neural com base nas informações de aprendizagem incluídas nas imagens. Várias informações detectadas obtidas de informações em captura ou imediatamente antes da captura são inseridas para a rede neural e um método de edição (corte, rotação de uma imagem, efeito HDR (faixa dinâmica alta), efeito de desfoque, efeito de filtro de conversão de cores ou similares) é determinado. A edição de um vídeo de destaque será descrita. Para um vídeo de destaque, é realizada a aprendizagem para criar automaticamente um álbum de vídeo que corresponda à preferência do usuário. As imagens a serem aprendidas através de um método (descrito posteriormente) são selecionadas e a aprendizagem é realizada mudando-se os pesos da rede neural com base nas informações de aprendizagem incluídas nas imagens. Diversas informações detectadas obtidas das informações em captura ou imediatamente antes da captura são inseridas para a rede neural e aplicação de efeito de imagem (corte, rotação, efeito HDR, efeito de desfoque, deslizamento, ampliação, esmaecimento, efeito do filtro de conversão de cores, BGM, tempo, razão entre imagem estática e imagem em movimento) é determinada. (3) BUSCA DE ASSUNTO

[0272] A aprendizagem para a busca de assunto será descrita. Para busca de assunto, é realizada aprendizagem para buscar automaticamente por um assunto que corresponda à preferência do usuário. Conforme descrito com referência ao fluxo da Figura 9, no processo de busca de assunto (etapa S904), o nível de importância de cada área é calculado, a câmera é girada/inclinada ou ampliada e a busca de assunto é realizada. A aprendizagem é realizada com base em uma imagem de captura e nas informações detectadas durante a busca, e a aprendizagem é realizada mudando-se os pesos da rede neural. A busca de assunto que reflete a aprendizagem é realizada inserindo-se várias informações detectadas durante a operação de busca para a rede neural, calculando-se o nível de importância e definindo-se o ângulo de giro/inclinação com base no nível de importância. Além da definição do ângulo de giro/inclinação com base no nível de importância, por exemplo, também é realizada a aprendizagem de giro/inclinação (velocidade, aceleração, a frequência do movimento). (4) REGISTRO DE ASSUNTO

[0273] A aprendizagem para o registro de assuntos será descrita. No registro de assunto, é realizada a aprendizagem para registrar e classificar automaticamente um assunto que corresponda à preferência do usuário. Para a aprendizagem, por exemplo, são realizados registro de identificação de rosto, registro de reconhecimento de objeto em geral e registro de um gesto, reconhecimento de voz e reconhecimento de cena com base em um som. Para o registro de identificação, as identificações de pessoas e objetos são registradas e uma classificação é definida com base no número de vezes ou frequência em que uma imagem é adquirida, no número de vezes ou frequência em que uma imagem é fotografada manualmente e na frequência de aparição de um assunto que está sendo buscado. As informações registradas serão registradas como entradas de determinações com o uso das redes neurais.

(5) CONTROLE DE NOTIFICAÇÃO DE CAPTURA

[0274] A aprendizagem para notificação de captura será descrita. Como descrito com referência a S910 da Figura 9, quando uma condição predeterminada é satisfeita imediatamente antes da captura, o aparelho de captura de imagem notifica uma pessoa a ser fotografada que a imagem da pessoa é fotografada e, em seguida, captura a pessoa. Por exemplo, um movimento para guiar visualmente a linha de visão de um assunto por giro/inclinação, um som do alto-falante que é emitido da seção de saída de voz 218 e a luz piscante de LED gerada pela seção de controle de LED 224 são usados. É determinado se devem ser usadas as informações detectadas de um assunto na aprendizagem, com base em se as informações detectadas (por exemplo, o grau de sorriso, a detecção da linha de visão, o gesto) são obtidas logo após a notificação, e a aprendizagem é realizada variando-se os pesos da rede neural. Alternativamente, as imagens a serem aprendidas através de um método (descrito posteriormente) são selecionadas e a aprendizagem é realizada mudando-se os pesos da rede neural com base nas informações de aprendizagem incluídas nas imagens. As informações que descrevem como o movimento de notificação é realizado imediatamente antes da captura ser incorporada em uma imagem e as informações detectadas adicionadas à imagem selecionada e as informações sobre o movimento de notificação imediatamente antes da captura são aprendidas como dados de treinamento. As informações detectadas imediatamente antes da captura são inseridas para a rede neural e é determinado se é necessário fornecer notificação ou cada operação de notificação (som (nível sonoro/tipo de som/tempo), luz LED (cor, tempo de iluminação, intervalo de intermitência) e movimento de giro/inclinação (o caminho do movimento, velocidade de condução)). Para a aprendizagem de operações de notificação, um método de aprendizagem no qual uma das notificações é selecionada dentre os métodos de notificação preparados (operações combinadas de som, luz LED e movimento de giro/inclinação) pode ser usado. Um método no qual redes neurais separadas são fornecidas, respectivamente, para as operações de notificação de som, luz LED e movimento de giro/inclihação e as operações aprendidas podem ser usadas. (6) CONTROLE DE MODO DE BAIXO CONSUMO DE ENERGIA ELÉTRICA

[0275] Como descrito com referência à Figura 7 e à Figura 8, o controle para iniciar ou parar uma energia elétrica fornecida ao Processador principal (primeira seção de controle 223) é executado e uma condição de retorno do modo de baixo consumo de energia elétrica e uma condição de transição para o estado de baixo consumo de energia elétrica são aprendidos.

[0276] Primeiro, será descrita a aprendizagem de uma condição para cancelar o modo de baixo consumo de energia elétrica.

DETECÇÃO DE TOQUE

[0277] Como descrito acima, o tempo predeterminado TimeA ou o limiar predeterminado ThreshA é variado através da aprendizagem. A detecção de toque temporária é realizada em um estado em que o limiar acima descrito para a detecção de toque é reduzido e os parâmetros TimeA e ThreshA são definidos de modo que um toque seja facilmente detectado, dependendo de a detecção temporária de toque ser determinada antes da detecção de toque. Quando é determinado que a mesma não é um fator de inicialização com base nas informações detectadas após a detecção de toque (não há um alvo a ser capturado como um resultado da busca de assunto ou da determinação de captura automática descritas acima), os parâmetros de TimeA e ThreshA são definidos de modo que um toque seja difícil de ser detectado. À determinação quanto a haver um alvo a ser capturado no momento da inicialização varia de acordo com as informações detectadas sobre um assunto, incorporadas em cada imagem aprendida pelo método de aprendizagem (descrito posteriormente).

DETECÇÃO DE ESTADO DE OSCILAÇÃO

[0278] Como descrito acima, o tempo predeterminado TimeB, o limiar predeterminado ThreshB ou a contagem predeterminada CountB são variados através da aprendizagem. Quando a condição de inicialização é satisfeita com base no estado de oscilação, a inicialização é realizada; no entanto, quando for determinado que a mesma não é um fator de inicialização com base nas informações detectadas em um período de tempo predeterminado após a inicialização (não há um alvo a ser capturado como um resultado da busca de assunto ou da determinação de captura automática descritas acima), a aprendizagem é realizada de modo que a inicialização se torne difícil mudando-se o parâmetro da determinação de estado de oscilação. Quando se determina que a frequência de captura em um estado de oscilação grande é alta, o parâmetro é definido de modo que a inicialização se torne fácil através de uma determinação de estado de oscilação. Uma determinação quanto a haver um alvo a ser capturado no momento da inicialização ou uma determinação quanto à frequência de captura em um estado de oscilação grande ser alta varia de acordo com as informações detectadas sobre um assunto, incorporadas em cada imagem aprendida no método de aprendizagem (descrito posteriormente), informações de oscilação durante a captura ou similares.

DETECÇÃO DE SOM

[0279] A aprendizagem pode ser realizada definindo-se manualmente uma voz específica, cena sonora específica ou nível sonoro específico que o usuário deseja detectar, por exemplo, por meio de comunicação com o aplicativo exclusivo do aparelho externo 301. Além disso, uma pluralidade de detecções é definida previamente na seção de processamento de voz, as imagens a serem aprendidas através de um método (descrito posteriormente) são selecionadas e a aprendizagem é realizada com base em informações de aprendizagem, tais como informações de som antes e depois da captura, incluídas nas imagens. Assim, uma determinação de som a ser usada como um fator de inicialização (um comando de voz específica ou uma cena sonora, tal como "ovação" e "aplauso") pode ser definida e a inicialização com base na detecção de som pode ser aprendida.

DETECÇÃO DE INFORMAÇÕES AMBIENTAIS

[0280] A aprendizagem pode ser realizada definindo-se manualmente a condição de uma mudança nas informações ambientais, que o usuário deseja iniciar o aparelho de captura de imagem, por exemplo, por meio de comunicação com o aplicativo exclusivo do aparelho externo 301. Por exemplo, o aparelho de captura de imagem pode ser levado a inicializar dependendo de uma condição específica de temperatura, pressão atmosférica, brilho, umidade, da quantidade absoluta ou variação da quantidade de luz ultravioleta. Os limiares de determinação com base nas informações ambientais podem ser aprendidos. Quando é determinado que as mesmas não são um fator de inicialização com base nas informações detectadas após a inicialização, das informações ambientais (não há um alvo a ser capturado como um resultado da busca de assunto ou da determinação de captura automática descritas acima), os parâmetros dos limiares de determinação são definidos de modo que a condição de inicialização seja difícil de ser detectada. Como alternativa, aprendendo-se das informações ambientais incorporadas em imagens aprendidas pelo método de aprendizagem (descrito posteriormente), a inicialização com base em informações ambientais pode ser aprendida. Por exemplo, quando muitas imagens fotografadas no momento de um aumento de temperatura são aprendidas, a aprendizagem é realizada de modo que o aparelho de captura de imagem seja mais facilmente acionado no momento de um aumento de temperatura. Os parâmetros também variam dependendo do nível restante de uma bateria. Por exemplo, quando o nível da bateria está baixo, fica difícil passar para várias determinações e, quando o nível da bateria está alto, fica fácil passar para várias determinações. Especificamente, para um resultado de detecção de estado de oscilação ou detecção de cena sonora de detecção de som que é uma condição e não um fator que o usuário deseja definitivamente inicializar o aparelho de captura de imagem, a facilidade de cada determinação de detecção varia dependendo do nível da bateria.

[0281] A seguir, será descrita a aprendizagem de uma condição para passar para o estado de baixo consumo de energia elétrica.

[0282] Conforme mostrado na Figura 7, quando a condição de determinação de nenhum dentre o "modo de captura automática", "modo de edição automática", "modo de transferência de imagens automática", "modo de aprendizagem" e "modo de exclusão de arquivos automática" é satisfeita na determinação de configuração de modo 704, o modo passa para o modo de baixo consumo de energia elétrica. À condição de determinação de cada modo é como descrita acima, e a condição para determinar cada modo também varia através de aprendizagem. Para o modo de captura automática, conforme descrito acima, é determinado o nível de importância de cada área, e a captura automática é realizada enquanto a busca de assunto é realizada por giro/inclinação. Uma vez que o nível de importância de cada área é calculado com base no número ou tamanho de assuntos, tais como pessoas e objetos, na área, os níveis de importância de todas as áreas são baixos em uma situação em que não há um assunto ao redor. Portanto, por exemplo, o modo de captura automática pode ser cancelado com base em uma condição quanto aos níveis de importância de todas as áreas ou um valor obtido pela adição de níveis de importância das áreas serem menores ou iguais a um limiar predeterminado. Assim, em uma situação em que não haja assunto por perto e a necessidade de capturar seja baixa, o modo de captura automática pode ser cancelado e mudado para o estado de baixo consumo de energia elétrica. Nesse momento, o limiar predeterminado pode ser reduzido de acordo com um tempo decorrido a partir de quando o modo passa para o modo de captura automática. O modo pode ser passado mais facilmente para o modo de baixo consumo de energia elétrica à medida que um tempo decorrido a partir de quando o modo mudar para o modo de captura automática. Além disso, variando-se o limiar predeterminado, dependendo do nível restante da bateria, pode ser executado o controle de modo de baixo consumo de energia elétrica que leva em consideração o esgotamento da bateria. Por exemplo, o limiar reduz quando o nível da bateria está baixo e aumenta quando o nível da bateria está alto. Aqui, com base no tempo decorrido desde quando o modo passa para o modo de captura automática a última vez e no número de imagens fotografadas, um parâmetro (limiar de tempo decorrido TimeC) para uma próxima condição de cancelamento do modo de baixo consumo de energia elétrica é definido no Sub- processador.

[0283] Os limiares descritos acima variam com a aprendizagem. A aprendizagem pode ser realizada definindo-se manualmente uma frequência de captura, frequência de inicialização e similares, por exemplo, por meio de comunicação com o aplicativo exclusivo do aparelho externo 301. Alternativamente, os parâmetros podem ser aprendidos armazenando-se um valor médio ou dados de distribuição para cada período de tempo de um tempo decorrido desde a ativação do botão de energia do aparelho de captura de imagem 101 até o desligamento do botão de energia. Nesse caso, a aprendizagem é realizada de modo que um intervalo de tempo para retornar do modo de baixo consumo de energia elétrica ou passar para o estado de baixo consumo de energia elétrica reduza para um usuário cujo tempo de inicialização e desligamento seja curto e o intervalo de tempo se estenda para um usuário cuja tempo de ligar para desligar seja longo. A aprendizagem também é realizada com base nas informações detectadas durante a busca. A aprendizagem é realizada de modo que um intervalo de tempo para retornar do modo de baixo consumo de energia elétrica ou passar para o estado de baixo consumo de energia elétrica reduza enquanto é determinado que o número de assuntos importantes definidos através de aprendizagem é grande e o intervalo de tempo se estende enquanto o número assuntos importantes é pequeno.

(7) EXCLUSÃO DE ARQUIVOS AUTOMÁTICA

[0284] A aprendizagem para exclusão de arquivos automática será descrita. Para exclusão de arquivos automática, são aprendidas a capacidade disponível de um arquivo, a seleção de imagens a serem excluídas preferencialmente e similares. As imagens a serem aprendidas através de um método (descrito posteriormente) são selecionadas e a aprendizagem pode ser realizada mudando-se os pesos de uma rede neural com base nas informações de aprendizagem incluídas nas imagens. Como descrito acima, como descrito na captura automática, uma pontuação determinada para a preferência do usuário é calculada para cada imagem, e a imagem que tem uma pontuação mais baixa é excluída preferencialmente da mídia de gravação 221. A aprendizagem é realizada com base não apenas nos pontos da pontuação, mas também na data e hora da tomada incorporadas em cada imagem na mídia de gravação 221 ou nos detalhes de edição de um vídeo de destaque selecionado (imagem em movimento editada automaticamente) com um método (descrito posteriormente) A aprendizagem é realizada, por exemplo, de forma que um arquivo com data e hora da gravação anterior seja excluído preferencialmente quando o vídeo de destaque adquirido contém muitas imagens fotografadas em intervalos de tempo curtos e um arquivo que tem uma pontuação mais alta mesmo com data e hora anteriores não é excluído quando o vídeo de destaque adquirido contém imagens fotografadas em intervalos de tempo longos.

Alternativamente, a pontuação de cada imagem na mídia de gravação 221 é recalculada sequencialmente em intervalos de tempo predeterminados.

As informações de data e hora da captura também são inseridas em uma rede neural no momento do cálculo de pontuação, e a aprendizagem é realizada de forma que um arquivo de uma data e hora anteriores de captura tenha uma pontuação mais baixa quando muitas imagens são fotografadas em intervalos de tempo curtos.

Portanto, esse arquivo é excluído preferencialmente e a aprendizagem é realizada de modo que, quando uma imagem de captura em intervalos de tempo longos é incluída, a pontuação não diminui mesmo quando a data e a hora são antigas, com o resultado de que a aprendizagem é realizada de modo que um arquivo que tem uma pontuação mais alta, mesmo com uma data e hora anteriores, não seja excluído.

Em outro exemplo, as imagens a serem aprendidas são selecionadas em um método (descrito posteriormente); no entanto, quando as imagens selecionadas de uma data e hora relativamente mais recentes geralmente são de forma frequente selecionadas intensivamente, um arquivo de uma data e hora de captura anteriores é excluído preferencialmente.

No entanto, a aprendizagem é realizada de forma que, quando as imagens selecionadas de uma data e hora relativamente anteriores são selecionadas frequentemente, um arquivo que tem uma pontuação mais alta, mesmo com uma data e hora anteriores, não é excluído.

Em outro exemplo, quando a aprendizagem é realizada de modo que a frequência de captura aumenta, os arquivos sejam excluídos automaticamente, de modo que a área disponível para arquivos seja aumentada; enquanto que, quando a aprendizagem é realizada de modo que a frequência de captura aumenta diminui, os arquivos sejam excluídos automaticamente, de modo que a área disponível para arquivos possa ser pequena. Em outro exemplo, quando a aprendizagem é realizada de modo que a frequência de captura para uma imagem em movimento aumenta, os arquivos sejam excluídos automaticamente, de modo que a área disponível para arquivos seja aumentada; enquanto que, quando a aprendizagem é realizada de modo que a frequência de captura para uma imagem estática aumenta, os arquivos sejam excluídos automaticamente, de modo que a área disponível para arquivos diminua. (8) ESTABILIZAÇÃO DE IMAGEM

[0285] A aprendizagem para estabilização de imagem será descrita. Para estabilização de imagem, a estabilização de imagem é realizada calculando uma quantidade de estabilização em S902 da Figura 9 e direcionando a inclinação/inclinação em S905 com base no valor da estabilização. Na estabilização de imagem, é realizada a aprendizagem para fazer uma correção adaptada às características de balanço do usuário. A direção e magnitude de desfoque podem ser estimadas, por exemplo, estimando a PSF (Função de Espalhamento De Pontos) para uma imagem de captura. Na geração de informações de aprendizagem em S912 da Figura 9, a direção e a magnitude estimadas do desfoque são adicionadas à imagem como informações. Dentro do processo do modo de aprendizagem na etapa 716 da Figura 7, os pesos de uma rede neural para estabilização são aprendidos com o uso da direção e magnitude estimadas do desfoque como uma saída e de informações detectadas durante a captura como entradas. Informações detectadas durante a captura são informações vetoriais de movimento de uma imagem em um tempo predeterminado antes da captura, informações sobre o movimento de um assunto detectado (pessoa ou objeto), informações de vibração (saída de giroscópio, saída de aceleração, a situação do equipamento de captura de imagem), e similares. Além do exposto acima, uma determinação pode ser realizada adicionando-se informações ambientais (temperatura, pressão atmosférica, iluminação, umidade), informações sonoras (determinação de cena sonora, detecção de voz específica, mudança do nível sonoro), informações temporais (um tempo decorrido desde a inicialização, um tempo decorrido desde a última captura), informações sobre o local (informações de posição de GPS, uma variação em movimento de posição) ou similares, como entradas.

Ao inserir as informações detectadas na rede neural no momento do cálculo de uma quantidade de estabilização em S902, a magnitude do desfoque no momento da captura instantânea pode ser estimada e controlar, tal como diminuir a velocidade do obturador, é possível quando a magnitude estimada de desfoque é grande.

Quando a magnitude estimada do desfoque é grande, a imagem pode ser desfocada, portanto, um método, tal como proibir captura, pode ser empregado.

Uma vez que há limiares em ângulos de giro/inclinação, quando um fim de acionamento é atingido, uma correção adicional não pode ser feita; no entanto, estimando-se a magnitude e a direção do desfoque durante a captura, como descrito acima, pode ser estimada uma faixa exigida para giro/inclinação para estabilização durante a exposição.

Quando não há margem para a faixa móvel durante a exposição, o desfoque grande pode ser suprimido aumentando-se a frequência de corte definida de um filtro que calcula uma quantidade de estabilização de modo que a faixa não exceda a faixa móvel.

Quando é provável que a faixa exceda a faixa móvel, o ângulo de giro/inclinação é girado em uma direção oposta à direção na qual é provável que o ângulo de giro/inclinação exceda a faixa móvel imediatamente antes da exposição e, em seguida, a exposição é iniciada.

Assim, a captura sem desfoque pode ser realizada enquanto a faixa móvel é garantida.

Assim, a estabilização pode ser aprendida de acordo com as características e o modo de uso do usuário durante a captura, assim, uma imagem sem desfoque pode ser fotografada.

Na "determinação de um método de captura" descrita acima, é determinado se é necessário realizar a captura panorâmica, e a correção de desfoque do motivo pode ser realizada estimando-se uma velocidade de acionamento de giro/inclinação a partir das informações detectadas até antes da captura.

Aqui, captura panorâmica é captura na qual um assunto em movimento não é desfocado e um fundo estático flui.

Nesse caso, ao inserir as informações detectadas em uma rede neural, a velocidade de acionamento durante a captura de imagem estática é estimada. Para a aprendizagem, a direção e a magnitude do desfoque em um bloco em que um assunto principal está localizado são estimadas dividindo-se uma imagem em blocos e estimando-se o a PSF de cada bloco, e a aprendizagem pode ser realizada com base nas informações. A quantidade de fluxo de fundo pode ser aprendida com base na quantidade de fluxo de fundo da imagem selecionada através de um método de aprendizagem (descrito posteriormente). Nesse caso, as magnitudes de desfoque nos blocos em que o assunto principal não está localizado dentro da imagem selecionada são estimadas e a preferência do usuário pode ser aprendida com base nas informações. Ao definir a velocidade do obturador durante a captura com base na quantidade de fluxo de fundo da preferência aprendida, a captura que pode fornecer efeito panorâmico adaptado à preferência do usuário pode ser realizada automaticamente.

(9) TRANSFERÊNCIA DE IMAGENS AUTOMÁTICA

[0286] A aprendizagem para transferência de imagens automática será descrita. Para transferência de imagens automática, a aprendizagem é realizada no processo de seleção de imagens a serem transferidas preferencialmente dentre as imagens gravadas na mídia de gravação 221, na frequência de transferência e similares. As imagens a serem aprendidas através de um método (descrito posteriormente) são selecionadas e a aprendizagem pode ser realizada mudando-se os pesos de uma rede neural com base nas informações de aprendizagem incluídas nas imagens. Como descrito acima, como descrito na captura automática, uma pontuação determinada para a preferência do usuário é calculada para cada imagem, e a imagem que tem uma pontuação mais alta é transferida preferencialmente. As informações de aprendizagem associadas às imagens transferidas anteriormente também são usadas na determinação de transferência de imagens. Quando imagens a serem aprendidas são selecionadas em um método (descrito posteriormente), qual das informações de aprendizagem (quantidades de características) incluindo na imagem, na qual a importância é colocada, é definida e, quando muitas imagens transferidas anteriormente incluem quantidades de características semelhantes, imagens que têm uma pontuação mais alta e que incluem outras quantidades de características são definidas de modo a serem transferidas. A frequência de transferência de imagens também varia de acordo com a situação do aparelho de captura de imagem. À frequência de transferência de imagens varia dependendo do nível restante da bateria. Por exemplo, a frequência de transferência de imagens é definida de modo que as imagens sejam mais difíceis de serem transferidas quando o nível da bateria estiver baixo e as imagens sejam mais fáceis de serem transferidas quando o nível da bateria estiver alto. Especificamente, por exemplo, a frequência de transferência de imagens também pode variar, empregando-se uma configuração em que um tempo decorrido desde quando imagens foram transferidas automaticamente a última vez é multiplicado pela pontuação mais alta entre imagens fotografadas durante o tempo decorrido, as imagens são configuradas para serem transferidas quando a o valor multiplicado excede um limiar e um limiar é variado dependendo do nível da bateria. Em outro exemplo, a frequência de transferência de imagens automática é mudada de acordo com a frequência de captura definida pelo aparelho de captura de imagem

101. Quando a aprendizagem é realizada de forma a aumentar a frequência de captura, a frequência de transferência de imagens automática também é definida de modo a aumentar. Quando a aprendizagem é realizada de forma a reduzir a frequência de captura, a frequência de transferência de imagens automática também é definida de modo a reduzir. Nesse momento, a frequência de transferência de imagens proporcional à frequência de captura definida pode ser mudada variando-se o limiar de acordo com a frequência de captura. Em outro exemplo, a frequência de transferência de imagens automática também é mudada de acordo com a capacidade disponível no arquivo (mídia de gravação 221). Quando a capacidade disponível no arquivo é grande, a frequência de transferência de imagens automática é definida de modo a reduzir. Quando a capacidade disponível no arquivo é pequena, a frequência de transferência de imagens automática é definida de modo a aumentar. Variando-se o limiar, dependendo da capacidade disponível no arquivo no momento, a frequência de transferência de imagens proporcional à capacidade disponível no arquivo pode ser mudada.

[0287] A seguir, métodos de aprendizagem serão descritos.

[0288] Os métodos de aprendizagem incluem “aprendizagem no aparelho de captura de imagem” e “aprendizagem em cooperação com o aparelho de comunicação”.

[0289] O método para aprender no aparelho de captura de imagem será descrito abaixo. (1) APRENDIZAGEM COM O USO DE INFORMAÇÕES DETECTADAS QUANDO

INSTRUÇÃO DE CAPTURA É EMITIDA PELO USUÁRIO

[0290] Como descrito nas etapas S907 a S913 da Figura 9, na presente modalidade, o aparelho de captura de imagem 101 é capaz de realizar dois tipos de captura, isto é, captura manual e captura automática. Quando uma instrução de captura (que é realizada com base em três determinações, como descrito acima), com base em uma operação manual, é emitida na etapa S907, as informações de que a imagem de captura é uma imagem de captura manual são adicionadas na etapa S912. Quando é determinado na etapa S909 que a captura automática está ativada e uma imagem é fotografada, as informações de que a imagem de captura é uma imagem de captura automática são adicionadas na etapa S912.

[0291] Quando a captura manual é realizada aqui, há uma possibilidade consideravelmente alta de que a captura seja realizada com base em um assunto da preferência do usuário, em uma cena da preferência do usuário e em um local e intervalo de tempo da preferência do usuário. Assim, a aprendizagem é realizada com base nas informações de aprendizagem de dados de gestos e na imagem de captura obtida durante captura manual.

[0292] A aprendizagem também é realizada na extração de quantidades de características em imagem de captura, registro de identificação pessoal, registro de expressão facial de cada pessoa e registro de uma combinação de pessoas com base nas informações detectadas durante a captura manual. A aprendizagem também é realizada para mudar os graus de importância de pessoas e objetos próximos, com base, por exemplo, na expressão facial de cada assunto registrado pessoalmente, com o uso de informações detectadas durante a busca de assunto. Quando “um usuário vira manualmente para girar/inclinar” (descrito posteriormente com referência à Figura 17 e à Figura 22) também, um assunto presente dentro do ângulo de visão após virar é aprendido quando uma instrução para mudar o ângulo de visão é emitida. Isso também é parte de aprendizagem com base em informações detectadas de operação manual. (2) APRENDIZAGEM COM O USO DE INFORMAÇÕES DETECTADAS DURANTE A

BUSCA DE ASSUNTO

[0293] Durante a operação de busca de assunto, é determinado quem, o que e qual cena um assunto registrado com identificação pessoal estão em uma captura de imagem ao mesmo tempo, e as razões de vezes durante as quais o assunto, objeto Ou cena com a qual o assunto aparece dentro do ângulo de visão ao mesmo tempo, são computadas.

[0294] Por exemplo, pode ser determinado que o grau de importância é alto quando a razão de tempo em que uma pessoa A de um assunto registrado com identificação pessoal e uma pessoa B de um assunto registrado com identificação pessoal aparecem ao mesmo tempo é maior do que um limiar predeterminado. Portanto, quando a pessoa A e a pessoa B estão incluídas no ângulo de visão, várias informações detectadas são salvas como dados de aprendizagem, de modo que os pontos para a determinação de captura automática aumentam, e são aprendidas no processo 716 do modo de aprendizagem.

[0295] Em outro exemplo, quando a razão de tempo em que a pessoa A do assunto registrado com identificação pessoal aparece ao mesmo tempo com o “gato” do assunto, determinado através de reconhecimento de objeto em geral, é maior do que o limiar predeterminado, pode ser determinado que o grau de importância é alto. Portanto, quando a pessoa A e o "gato" estão incluídos no ângulo de visão, várias informações detectadas são salvas como dados de aprendizagem, de modo que os pontos para a determinação de captura automática aumentam. Então, a aprendizagem é realizada no processo 716 do modo de aprendizagem.

[0296] Dessa forma, quando os pontos para a determinação de captura automática são aumentados no caso em que a frequência de aparição de um assunto que é pesquisado é alta, os graus de importância de pessoas e objetos próximos ao assunto registrado com identificação pessoal também podem ser mudados, de modo a aumentar.

[0297] Quando o grau de sorriso da pessoa A do assunto registrado com identificação pessoal é detectado ou quando "prazer", "surpresa" ou similares é detectado pela detecção de uma expressão facial, um processo de aprendizagem de um assunto que aparece ao mesmo tempo é realizado de modo a ser importante. Uma vez que existe uma baixa possibilidade de que um assunto que apareça ao mesmo tempo em que "raiva", "cara séria" ou similares é detectado a partir de uma expressão facial seja importante, assim, um processo de, por exemplo, não aprendizagem é realizado. .

[0298] Em seguida, será descrita a aprendizagem em cooperação com o aparelho de comunicação externa na presente modalidade.

[0299] Para aprender em cooperação com o aparelho de comunicação externa na presente modalidade, existem os seguintes métodos. (3) APRENDIZAGEM ATRAVÉS DE AQUISIÇÃO DE IMAGEM COM APARELHO DE

COMUNICAÇÃO EXTERNA

[0300] Como descrito na Figura 3, o aparelho de captura de imagem 101 e o aparelho externo 301 têm meios de comunicação para as comunicações 302, 303. As imagens são enviadas ou recebidas principalmente por meio da comunicação 302. Imagens no aparelho de captura de imagem 101 podem ser comunicadas e adquiridas para o aparelho externo 301 através da aplicação exclusiva no aparelho externo 301. As imagens em miniatura dos dados de imagem salvos no aparelho de captura de imagem 101 podem ser pesquisadas através do aplicativo exclusivo no aparelho externo 301. Assim, o usuário pode selecionar uma imagem favorita dele dentre as imagens em miniatura, verificar a imagem e adquirir a imagem no aparelho externo 301, operando-se uma instrução de aquisição de imagem.

[0301] —Nessemomento, uma vez que o usuário seleciona uma imagem, emite uma instrução de envio e adquire a imagem, há uma possibilidade consideravelmente alta de que a imagem adquirida seja uma imagem da preferência do usuário. Assim, é determinado que a imagem adquirida é uma imagem a ser aprendida, e várias aprendizagens da preferência do usuário podem ser realizadas realizando-se a aprendizagem com base em informações de aprendizagem da imagem adquirida.

[0302] Um exemplo de operação será descrito. Um exemplo no qual as imagens no aparelho de captura de imagem 101 estão sendo exploradas por meio da aplicação exclusiva do aparelho externo 301 que é o dispositivo inteligente é mostrado na Figura

16. As imagens em miniatura (1604 a 1609) de dados de imagem salvos no aparelho de captura de imagem são exibidas na parte de exibição 407 e o usuário pode selecionar uma imagem favorita do usuário e adquirir a imagem. Nesse momento, são fornecidas partes de mudança de método de exibição (1601, 1602, 1603) para mudar um método de exibição. Quando a parte 1601 é pressionada, a ordem de exibição é mudada para um modo de exibição de prioridade de data e hora, as imagens são exibidas na parte de exibição 407 em ordem das datas e horas de captura das imagens no aparelho de captura de imagem 101 (por exemplo, as imagens são exibidas de modo que a imagem 1604 tenha uma nova data e hora e a imagem 1609 tenha uma data e hora antigas). Quando a parte 1602 é pressionada, o modo é mudado para um modo de exibição de prioridade de imagem recomendada. As imagens são exibidas na parte de exibição 407 em ordem decrescente das pontuações das imagens no aparelho de captura de imagem 101 com base na pontuação determinada com base na preferência do usuário para cada imagem, calculada na etapa S912 da Figura 9 (por exemplo, as imagens são exibidas de modo que a imagem 1604 tenha uma pontuação mais alta e a imagem 1609 tenha uma pontuação mais baixa). Quando a parte 1603 é pressionada, uma pessoa ou objeto do assunto pode ser designado e posteriormente uma pessoa ou objeto do assunto específico é designado, apenas o assunto específico pode ser exibido.

[0303] O método de exibição que muda as partes 1601 a 1603 pode ser definido para um estado ativo ao mesmo tempo. Por exemplo, quando todos estão definidos para o estado ativo, as imagens são exibidas de modo que apenas o assunto designado seja exibido e as imagens que têm data e hora de captura mais recentes recebem uma prioridade mais alta e imagens que têm uma pontuação mais alta recebem uma prioridade mais alta.

[0304] Dessa maneira, uma vez que a preferência do usuário também é aprendida das imagens de captura, apenas as imagens da preferência do usuário podem ser facilmente extraídas com um trabalho de verificação simples dentre um número grande de imagens de captura. (4) APRENDIZADO ATRAVÉS DE ENTRADA DE VALOR DE DETERMINAÇÃO NA

IMAGEM POR MEIO DE APARELHO DE COMUNICAÇÃO EXTERNA

[0305] Como descrito acima, o aparelho de captura de imagem 101 e o aparelho externo 301 têm meios de comunicação, e as imagens salvas no aparelho de captura de imagem 101 podem ser exploradas por meio do aplicativo exclusivo no aparelho externo 301. Aqui, a configuração em que o usuário pontua cada imagem pode ser aplicável. O usuário está apto a atribuir pontos altos (por exemplo, 5 pontos) a uma imagem que ele considera uma preferência ou atribuir pontos mais baixos (por exemplo, 1 ponto) a uma imagem que o usuário considera não como uma preferência. O aparelho de captura de imagem é configurado para aprender com base em uma operação do usuário. Os pontos de cada imagem são usados na reaprendizagem juntamente com as informações de aprendizagem no aparelho de captura de imagem. A aprendizagem é realizada de modo que a saída de uma rede neural no momento da introdução de dados de características de informações de imagem designadas se aproxima de pontos designados pelo usuário.

[0306] Na presente modalidade, é empregada a configuração em que o usuário insere um valor de determinação para cada imagem de captura por meio do aparelho de comunicação 301. Alternativamente, pode ser empregada a configuração em que um valor de determinação é inserido diretamente para cada imagem operando-se o aparelho de captura de imagem 101. Nesse caso, por exemplo, um painel de exibição sensível ao toque é equipado para o aparelho de captura de imagem 101 e o modo é definido para um modo para exibição de uma imagem de captura pelo usuário que pressiona um botão de GUI exibido em uma parte de exibição da tela de exibição de painel sensível ao toque. Em seguida, uma aprendizagem semelhante pode ser realizada com um método em que o usuário insere um valor de determinação para cada imagem de captura enquanto verifica a imagem.

(5) APRENDIZADO ATRAVÉS DE ANÁLISE DE IMAGENS SALVAS EM

APARELHOS DE COMUNICAÇÃO EXTERNA

[0307] O aparelho externo 301 inclui a seção de armazenamento 404, e outras imagens que não as imagens fotografadas pelo aparelho de captura de imagem 101 também são gravadas na seção de armazenamento 404. Nesse momento, as imagens salvas no aparelho externo 301 podem ser facilmente pesquisadas pelo usuário e uma imagem é facilmente transferida por upload em um servidor compartilhado por meio da seção de controle de linha pública 406, de modo que há uma possibilidade consideravelmente alta de que muitas imagens da preferência do usuário estejam incluídas.

[0308] O aparelho externo 301 pode ser configurado para ser capaz de processar um processo de aprendizagem equivalente ao da seção de processamento de aprendizagem 219 no aparelho de captura de imagem 101 com a seção de controle 411 sobre as imagens armazenadas na seção de armazenamento 404 por meio do aplicativo exclusivo. Nesse caso, o aparelho externo 301 pode ser configurado para realizar a aprendizagem comunicando-se dados de aprendizagem processados para o aparelho de captura de imagem 101. Alternativamente, o aparelho externo 301 pode ser configurado para realizar a aprendizagem no aparelho de captura de imagem 101 enviando-se imagens ou dados que o aparelho externo 301 deseja que o aparelho de captura de imagem 101 aprenda.

[0309] É Alternativamente, o aparelho externo 301 pode ser configurado para realizar a aprendizagem pelo usuário selecionando imagens a serem aprendidas dentre as imagens salvas na seção de armazenamento 404 através do aplicativo exclusivo. (6) APRENDIZAGEM DE INFORMAÇÕES TRANSFERIDAS POR UPLOAD PARA O

SERVIDOR DE SNS COM APARELHO DE COMUNICAÇÃO EXTERNA

[0310] Um método para usar informações em um serviço de rede social (SNS) que é um serviço ou website que pode construir uma rede social com foco em uma conexão entre pessoas para aprendizagem será descrito. Existe uma tecnologia para, no momento de transferência por upload de imagens para um SNS, inserir rótulos relacionados às imagens do dispositivo inteligente e enviar os rótulos com as imagens. Também existe uma tecnologia para inserir aprovações e reprovações nas imagens transferidas por upload por outro usuário, e também pode ser determinado se as imagens transferidas por upload pelo outro usuário são fotos da preferência do usuário que possui o aparelho externo 301.

[0311] Com um aplicativo SNS exclusivo transferido por download no aparelho externo 301, as imagens transferidas por upload pelo próprio usuário e informações sobre as imagens, como descrito acima, podem ser adquiridas. Como alternativa, quando o usuário insere aprovações e reprovações em imagens transferidas por upload por outro usuário, imagens da preferência do usuário e informações de rótulo podem ser adquiridas. Essas imagens e informações de rótulo são analisadas e podem ser aprendidas e definidas no aparelho de captura de imagem 101.

[0312] Como descrito acima, o aparelho externo 301 pode ser configurado para adquirir imagens transferidas por upload pelo usuário ou imagens determinadas de que o usuário aprova e ser capaz de processar um processo de aprendizagem equivalente ao da seção de processamento de aprendizagem 219 no aparelho de captura de imagem 101 com a seção de controle 411. Assim, a aprendizagem pode ser realizada comunicando-se os dados de aprendizagem processados ao aparelho de captura de imagem 101. Alternativamente, o aparelho externo 301 pode ser configurado para enviar imagens que o aparelho externo 301 deseja que o aparelho de captura de imagem 101 aprenda e fazer com que o aparelho de captura de imagem 101 realize a aprendizagem.

[0313] Além disso, a aprendizagem é realizada de modo que o efeito de filtro de conversão de cores no processo 712 do modo de edição automática da Figura 7 ou o efeito do filtro de conversão de cores da edição S911 da Figura 9 varie com base em um filtro de imagem fornecido no SNS com o uso de informações de rótulo.

[03141] De maneira alternativa, as informações sobre um assunto de preferência do usuário são estimadas a partir das informações de assunto definidas em informações de rótulo, e a aprendizagem é realizada registrando-se o assunto como um assunto a ser detectado e inserido para uma rede neural. É presumível que as informações de assunto sejam, por exemplo, informações sobre um assunto de objeto, tal como um cachorro e um gato, informações sobre um cenário, tal como uma praia, informações sobre uma expressão facial, tal como um sorriso ou similares.

[0315] As informações de imagens da moda atual no mundo podem ser configuradas para serem estimadas a partir de valores estatísticos de informações de rótulos (informações de filtro de imagem ou informações de assunto) no SNS, e aprendidas e definidas no aparelho de captura de imagem 101. (7) APRENDIZAGEM ATRAVÉS DE MUDANÇA DE PARÂMETROS COM

APARELHO DE COMUNICAÇÃO EXTERNA

[0316] Como descrito acima, o aparelho de captura de imagem 101 e o aparelho externo 301 têm meios de comunicação, e um parâmetro de aprendizagem definido atualmente no aparelho de captura de imagem 101 pode ser comunicado ao aparelho externo 301 e salvo na seção de armazenamento 404 do aparelho externo 301. Por exemplo, os pesos de uma rede neural, a seleção de um assunto a ser inserido na rede neural ou similares, são concebíveis como um parâmetro de aprendizagem. Alternativamente, um parâmetro de aprendizagem definido em um servidor exclusivo pode ser adquirido por meio da seção de controle de linha pública 406 através da aplicação exclusiva no aparelho externo 301 e pode ser definido como um parâmetro de aprendizagem no aparelho de captura de imagem 101. Assim, um parâmetro de aprendizagem pode ser retornado salvando-se um parâmetro em um determinado momento no aparelho externo 301 e definindo-se o parâmetro no aparelho de captura de imagem 101, ou um parâmetro de aprendizagem que outro usuário tem pode ser adquirido por meio de um servidor exclusivo e configurado para o aparelho de captura de imagem 101 dele próprio.

[0317] Um comando de voz registrado pelo usuário, um registro de identificação ou um gesto pode ser capaz de ser registrado ou um local importante pode ser registrado, por meio do aplicativo exclusivo do aparelho externo 301. Para essas informações, um gatilho de captura descrito no processo do modo de captura automática (Figura 9) é manipulado como dados de entrada de determinação de captura automática.

[0318] Pode ser definida uma frequência de captura, intervalo de inicialização, razão entre imagem estática-magem em movimento, imagem preferencial (ou imagens preferenciais) ou similares, ou um intervalo de inicialização descrito em <Controle de Modo de Baixo Consumo de Energia Elétrica>, uma razão entre imagem estática-magem em movimento descrita em Edição Automática> ou similares, podem ser definidos. (8) APRENDIZAGEM DE INFORMAÇÕES SOBRE EDIÇÃO MANUAL DE IMAGENS

COM APARELHO DE COMUNICAÇÃO EXTERNA

[0319] A aplicação exclusiva do aparelho externo 301 pode ter uma função que permite a edição manual através de uma operação do usuário, e os detalhes de trabalho de edição podem ser realimentados para a aprendizagem. Por exemplo, uma imagem pode ser editada por aplicação de efeito de imagem e uma rede neural para edição automática é treinada para determinar a aplicação de efeito de imagem editado manualmente para aprendizagem de informações da imagem. É possível que o efeito da imagem seja, por exemplo, corte, rotação, deslizamento, ampliação, esmaecimento, efeito de filtro de conversão de cores, tempo, razão entre imagem estática e imagem em movimento ou BGM.

[0320] Aqui, no caso de aprendizagem que o próprio usuário executou captura (1) ou seleção de imagens ((3) a (8)), devido ao usuário ter operado intencionalmente, existe uma grande possibilidade de que a aprendizagem seja uma aprendizagem confiável para incorporar a preferência do usuário. No entanto, (2) Aprendizagem Com o Uso de Informações Detectadas Durante a Busca de Assunto não é a aprendizagem com base em uma operação intencional do usuário; portanto, existe a possibilidade de que a aprendizagem contenha uma aprendizagem não desejado pelo usuário. Por exemplo, outra pessoa, objeto ou cena que aparece ao mesmo tempo que um assunto registrado com identificação pessoal é aprendido das informações de imagem durante a busca; no entanto, um assunto que aparece frequentemente ao mesmo tempo não é necessariamente a preferência do usuário. Portanto, a aprendizagem ((1), (3) a (8)) no caso em que o usuário captura ou seleciona intencionalmente uma imagem é realizado preferencialmente em vez do caso (2) em que a aprendizagem não se baseia em uma operação intencional do usuário.

[0321] Os dados de aprendizagem são vários dados (informações de imagem, informações de vibração, informações ambientais, informações sonoras, informações de lugar ou similares) registrados como informações de rótulo durante a captura ou durante a busca e, quando incorporados à aprendizagem, os vários dados são salvos em uma forma de lista. O número de dados em um grupo para aprendizagem é um número definido para um valor fixo. Um grupo de dados para aprendizagem é dividido em duas regiões, ou seja, uma região de dados de aprendizagem que o usuário criou intencionalmente e uma região de dados de aprendizagem que o usuário não criou intencionalmente. A razão entre os números de dados sobre as regiões é configurada para uma razão tal que o número da região de dados de aprendizagem que o usuário tenha criado intencionalmente seja maior. Quando uma nova instrução para incorporar aprendizagem é emitida, os dados de aprendizagem são excluídos dos dados de aprendizagem associados a cada região e novos dados de aprendizagem são adicionados. Por exemplo, quando dois dados de aprendizagem que o usuário criou intencionalmente devem ser adicionados, dois dados são excluídos da região de dados de aprendizagem que o usuário criou intencionalmente, os dois dados novos são adicionados e a aprendizagem é realizada novamente.

[0322] Com a configuração acima, a aprendizagem ((1), (3) a (8)) no caso em que o usuário captura ou seleciona intencionalmente uma imagem é realizado preferencialmente em vez do caso (2) em que a aprendizagem não se baseia em uma operação intencional do usuário.

[0323] Alternativamente, entre vários dados para aprendizagem, são gerenciadas datas e horas em que os dados de aprendizagem são gerados, e um coeficiente de ponderação La proporcional ao tempo decorrido a partir da data e hora em que os dados de aprendizagem são gerados são calculados. O coeficiente de ponderação La é atualizado para reduzir à medida que o tempo decorrido se estende. Além disso, um coeficiente de ponderação Lb com base no fato dos dados de aprendizagem serem dados de aprendizagem que o usuário criou intencionalmente ou dados de aprendizagem que o usuário não criou intencionalmente também é gerenciado em associação com cada dado de aprendizagem. O coeficiente de ponderação Lb para dados de aprendizagem que o usuário criou intencionalmente é definido de modo a ser maior do que o coeficiente de ponderação Lb para dados de aprendizagem que o usuário não criou intencionalmente. Entre os dados de aprendizagem que o usuário criou intencionalmente, o coeficiente de ponderação Lb pode ser mudado dependendo de qual dentre as aprendizagens (1), (3) a (8).

[0324] Quando dados de aprendizagem novos são adicionados, os dados de aprendizagem cujo valor obtido pela multiplicação do coeficiente de ponderação La por Lb é o menor entre um grupo atual de dados de aprendizagem é excluído preferencialmente, então os dados adicionais são inseridos e a aprendizagem de máquina é realizada com base no grupo de dados de aprendizagem atualizado.

[0325] Com a configuração acima, a aprendizagem ((1), (3) a (8)) no caso em que o usuário captura ou seleciona intencionalmente uma imagem é realizado preferencialmente em vez do caso (2) em que a aprendizagem não se baseia em uma operação intencional do usuário.

[0326] Se, com a configuração das Figura 1 à Figura 6, nenhuma tela estiver equipada e definir uma prioridade for difícil no aparelho de captura de imagem e a definição de uma prioridade for realizada em um menu no aparelho externo, são exigidos tempo e esforço do usuário. No entanto, quando os sinalizadores de prioridade são definidos automaticamente com base não em uma operação para definir sinalizadores de prioridade, mas em uma operação para processar captura ou uma operação para processar edição, o tempo e o esforço do usuário podem ser reduzidos. Quando as prioridades são avaliadas automaticamente com o uso de imagens de captura, por exemplo, quando são avaliadas imagens que estão sendo fotografadas em intervalos de tempo pré-determinados, existe uma possibilidade de que imagens semelhantes sejam fotografadas, mas essas não sejam necessariamente um assunto importante, assim, a intenção do usuário pode não ser refletida. Em contraste com isso, na presente modalidade, os sinalizadores de prioridade são definidos com base em um processo que o usuário criou intencionalmente, de modo que há uma grande possibilidade de que a intenção do usuário seja refletida suficientemente.

[0327] A seguir, uma sequência de processo será descrita.

[0328] Na determinação de um modo a ser definido na etapa 704 da Figura 7, é determinado se é necessário realizar um processo de aprendizagem. Quando o processo de aprendizagem é realizado, é determinado que o modo é um modo de aprendizagem e o processo do modo de aprendizagem da etapa 716 é realizado.

[0329] Uma condição de determinação para o modo de aprendizagem será descrita. A passagem para o modo de aprendizagem é determinada com base no tempo decorrido desde quando um último processo de aprendizagem foi realizado, no número de informações disponíveis para a aprendizagem, na existência de uma instrução de processo de aprendizagem por meio do aparelho de comunicação ou similares. Um fluxo de processo de determinação quanto a passar para o modo de aprendizagem, que é determinado no processo de determinação de configuração de modo da etapa 704, é mostrado na Figura 14.

[0330] Quando uma instrução para iniciar a determinação de modo de aprendizagem é emitida no processo de determinação de configuração de modo da etapa 704, o processo da Figura 14 inicia. Na etapa 1401, é determinado se existe uma instrução de registro do aparelho externo 301. O registro aqui é uma determinação quanto a existir a instrução de registro descrita acima para aprendizagem. Por exemplo, há <Aprendizagem com o Uso de Informações de Imagem Adquiridas com Aparelho de Comunicação> ou <Aprendizagem Através de Entrada de Valor de Determinação na Imagem por Meio de Aparelho de Comunicação Externo>. Há também <Aprendizagem Através de Análise de Imagens Salvas em Aparelho de Comunicação>, ou similares. Quando há uma instrução de registro do aparelho externo na etapa 1401, o processo prossegue para a etapa S1410, e o processo da etapa 716 é configurado de modo a ser executado definindo-se uma determinação de modo de aprendizagem como VERDADEIRO. Quando não há instrução de registro do aparelho externo na etapa S1401, o processo prossegue para a etapa 1402. Na etapa 1402, é determinado se existe uma instrução de aprendizagem do aparelho externo. A instrução de aprendizagem aqui é uma determinação quanto à existência de uma instrução para definir parâmetros de aprendizagem como Aprendizagem Através de Mudança de Parâmetro de Aparelho de Captura de Imagem com Aparelho de Comunicação>. Quando há uma instrução de aprendizagem do aparelho externo na etapa 1402, o processo prossegue para a etapa S1410, e o processo da etapa 716 é configurado para ser executado definindo-se uma determinação de modo de aprendizagem como VERDADEIRA, após a qual o processo de determinação de modo de aprendizagem é finalizado. Quando não há instrução de aprendizagem do aparelho externo na etapa S1402, o processo prossegue para a etapa 1403.

[0331] Na etapa 1403, é determinado se uma condição de aprendizagem agendada é satisfeita. Uma condição de aprendizagem com base em horário programado pode ser usada. Por exemplo, a aprendizagem é realizada todos os dias às 24:00. Assim, a aprendizagem é realizada periodicamente, para que a novidade de um resultado aprendido possa ser mantida constante. Como outro exemplo, a aprendizagem pode ser realizada com a condição de que uma instrução para desligar seja emitida pressionando-se o botão de energia do aparelho de captura de imagem

101. Nesse momento, a energia é desligada após o processo de aprendizagem. O processo de aprendizagem geralmente precisa de um longo tempo de processamento ser finalizado. Quando o processo de aprendizagem é executado no momento em que é estimado que o usuário não usa o aparelho de captura de imagem 101 para capturar, ou similares, durante algum tempo como durante o desligamento, o processo de aprendizagem pode ser executado sem interferir em um uso do usuário. Quando a condição de aprendizagem predeterminada é satisfeita, o processo prossegue para a etapa S1410. Quando a condição não é satisfeita, o processo prossegue para a etapa

1404. Na etapa 1404, é determinado se existe uma possibilidade de que a captura seja realizada. Conforme descrito acima, o processo de aprendizagem leva tempo, assim, é aconselhável evitar a execução do processo de aprendizagem no momento em que existe a possibilidade de realizar a captura. Portanto, por exemplo, com base na condição de que uma instrução para captura manual não tenha sido emitida por um último período de tempo definido ou mais ou na condição de que o nível de importância de uma área no modo de captura automática seja menor ou igual a um nível predeterminado, é determinado que há uma baixa possibilidade de realizar captura por algum tempo. Quando é determinado que a possibilidade de captura é baixa, o processo prossegue para a etapa 1405. Caso contrário, o processo prossegue para a etapa 1411 e a determinação de modo de aprendizagem é definida como FALSA. Na etapa 1405, um tempo decorrido TimeN a partir do último processo de aprendizagem (recálculo dos pesos da rede neural) é realizado e o processo prossegue para a etapa S1406. Na etapa 1406, o número de dados novos DN a serem aprendidos (o número de imagens a serem aprendidas, designadas durante o tempo decorrido TimeN a partir de quando o último processo de aprendizagem foi realizado) é adquirido e o processo prossegue para a etapa 1407. Na etapa 1407, um limiar DT é calculado a partir de TimeN. Por exemplo, um limiar DTa no caso em que TimeN é menor do que um valor predeterminado é definido como maior do que um limiar DTb no caso em que TimeN é maior do que o valor predeterminado e o limiar é definido de modo a reduzir com tempo. Assim, mesmo quando o número de dados de aprendizagem é pequeno, a aprendizagem é realizada novamente quando o tempo decorrido é longo, assim, tornando mais fácil para o equipamento de captura de imagem aprender e variar de acordo com um tempo de uso.

[0332] Quando o limiar DT é calculado na etapa 1407, o processo prossegue para a etapa 1408 e é determinado se o número de dados DN a ser aprendido é maior do que o limiar DT. Quando o DN é maior do que o limiar DT, o processo prossegue para a etapa 1409 e o DN é definido como zero. Então, o processo prossegue para a etapa 1410, a determinação de modo de aprendizagem é configurada como VERDADEIRA para configurar de modo que o processo da etapa 716 seja realizado, após o qual o processo de determinação de modo de aprendizagem é finalizado.

[0333] Quando DN é menor ou igual ao limiar DT na etapa 1408, o processo prossegue para 1411. Como não há uma instrução de registro do aparelho externo nem uma instrução de aprendizagem do aparelho externo e o número de dados de aprendizagem também é menor ou igual ao valor predeterminado, a determinação de modo de aprendizagem é definida como FALSA para configurar de modo que o processo da etapa 716 não seja realizado, após o que o processo de determinação de modo de aprendizagem será encerrado.

[0334] A seguir, será descrito um processo no processo de modo de aprendizagem (etapa 716). O fluxo detalhado do processo do modo de aprendizagem é mostrado na Figura 15.

[0335] Quando é determinado na etapa 715 da Figura 7 que o modo é o modo de aprendizagem e o processo prossegue para a etapa 716, o processo da Figura 15 é iniciado. Na etapa 1501, é determinado se existe uma instrução de registro do aparelho externo 301. Quando há uma instrução de registro do aparelho externo na etapa 1501, o processo prossegue para a etapa 1502. Na etapa 1502, um processo de vários tipos de registro é realizado.

[0336] Vários tipos de registro são registro de características a serem inseridos para uma rede neural e incluem, por exemplo, registro de identificação de rosto, registro de reconhecimento de objeto em geral, registro de informações sonoras, registro de informações de local e similares.

[0337] Quando o processo de registro é concluído, o processo prossegue para a etapa 1503, e os elementos a serem inseridos na rede neural são mudados com base nas informações registradas na etapa 1502.

[0338] Quando o processo da etapa 1503 é concluído, o processo prossegue para a etapa 1507.

[0339] Quando não há instrução de registro do aparelho externo 301 na etapa 1501, o processo prossegue para a etapa 1504, e é determinado se há uma instrução de aprendizagem do aparelho externo 301. Quando há uma instrução de aprendizagem do aparelho externo, o processo prossegue para a etapa 1505, os parâmetros de aprendizagem comunicados do aparelho externo são configurados para cada dispositivo de determinação (os pesos da rede neural ou similares) e o processo prossegue para etapa 1507.

[0340] Quando não há instrução de aprendizagem do aparelho externo na etapa 1504, a aprendizagem (recálculo dos pesos da rede neural) é realizada na etapa 1506.

Uma condição para passar para o processo da etapa 1506 é uma condição em que, como descrito com referência à Figura 14, o número de dados DN a serem aprendidos excede o limiar e é permitida a reaprendizagem de cada dispositivo de determinação. A reaprendizagem é realizada com o uso de um método, tal como um método de propagação de retorno de erro e um método de gradiente descendente, os pesos da rede neural são recalculados e os parâmetros de cada dispositivo de determinação são mudados. Quando os parâmetros de aprendizagem são definidos, o processo prossegue para a etapa 1507.

[0341] Na etapa 1507, pontuações são atribuídas às imagens no arquivo novamente. Na presente modalidade, as pontuações são atribuídas a todas as imagens de captura salvas no arquivo (mídia de gravação 221) com base no resultado aprendido, e a edição automática ou a exclusão de arquivos automática é realizada de acordo com as pontuações atribuídas. Assim, quando é realizada a reaprendizagem ou o ajuste dos parâmetros de aprendizagem do aparelho externo, as pontuações das imagens já fotografadas também precisam ser atualizadas. Assim, na etapa 1507, é realizado recálculo para atribuir novas pontuações às imagens de captura salvas no arquivo. Quando o processo finaliza, o processo do modo de aprendizagem é finalizado.

[0342] Na presente modalidade, é descrito um método de sugerir uma imagem de vídeo da preferência do usuário, extraindo-se cenas que o usuário parece gostar, aprendendo-se as características das cenas e refletindo-se as características aprendidas em uma operação tal como captura automática e edição automática; no entanto, a presente invenção não está limitada a essa aplicação. Por exemplo, as características aprendidas podem ser usadas intencionalmente no aplicativo para fornecer uma imagem de vídeo que é diferente daquela da preferência do usuário. Exemplos dos métodos implantados são os seguintes. (1) MÉTODO COM O USO DE REDE NEURAL QUE APRENDEU PREFERÊNCIA

[0343] Para aprendizagem, a aprendizagem da preferência do usuário é realizada conforme descrito acima. Em seguida, em S908 de “Captura Automática”, a captura automática é realizada quando um valor de saída da rede neural é um valor que indica ser diferente daqueles da preferência do usuário que são dados de treinamento. Por exemplo, quando imagens que o usuário gosta são definidas para imagens de treinamento e a aprendizagem é realizada de modo que um valor mais alto seja gerado quando uma imagem tem características semelhantes àquelas das imagens de treinamento, a captura automática é realizada com a condição de que um valor de saída seja menos por um valor predeterminado ou mais caso contrário. De maneira similar, também no processo de busca de assunto ou no processo de edição automática, é executado um processo no qual um valor de saída da rede neural é um valor que indica ser diferente daqueles da preferência do usuário que são dados de treinamento.

(2) MÉTODO COM O USO DE REDE NEURAL QUE APRENDEU SITUAÇÃO

DIFERENTE DA PREFERÊNCIA

[0344] Nesse método, no momento do processo de aprendizagem, a aprendizagem é realizada com o uso de uma situação diferente daquela da preferência do usuário como dados de treinamento. Por exemplo, imagens fotografadas manualmente são cenas que o usuário gosta de capturar e um método de aprendizagem com o uso das imagens fotografadas manualmente como dados de treinamento é descrito acima. Em contraste com isso, na presente modalidade, imagens fotografadas manualmente não são usadas como dados de treinamento, pelo contrário, e cenas que não foram fotografadas manualmente por um tempo predeterminado ou mais longo são adicionadas como dados de treinamento. Como alternativa, quando cenas cujas características são semelhantes às das imagens de captura manual são incluídas nos dados de treinamento, essas cenas podem ser excluídas dos dados de treinamento. Alternativamente, imagens cujas características são diferentes daquelas das imagens fotografadas pelo aparelho de comunicação externo podem ser adicionadas aos dados de treinamento ou imagens cujas características são semelhantes às imagens de captura podem ser excluídas dos dados de treinamento. Com essa configuração, dados diferentes daqueles da preferência do usuário se reúnem nos dados de treinamento e, como um resultado de aprendizagem, a rede neural é capaz de identificar situações diferentes daquelas da preferência do usuário. Em captura automática, realizando-se a captura de acordo com um valor de saída da rede neural, uma cena diferente daquelas da preferência do usuário pode ser fotografada. Além disso, em edição automática, imagens diferentes daquelas da preferência do usuário podem ser sugeridas.

[0345] Como descrito acima, sugerindo-se intencionalmente uma imagem de vídeo diferente daquelas da preferência do usuário, a captura é realizada em cenas que o usuário hesita em capturar manualmente, assim o efeito de reduzir a falta de uma oportunidade de foto é obtido. Além disso, sugerindo-se o efeito de captura ou edição em cenas sobre as quais o próprio usuário não tem ideia, o efeito de que o usuário pode encontrar algo ou ampliar sua preferência pode ser esperado.

[0346] Combinando-se os meios descritos acima, é fácil ajustar o grau de adaptação às preferências do usuário, como se sugerindo uma situação ligeiramente semelhante, mas parcialmente diferente daquelas da preferência do usuário. O grau de adaptação às preferências do usuário pode ser mudado de acordo com a configuração de modo, a situação dos vários sensores e a situação das informações detectadas.

[0347] Na presente modalidade, a descrição é feita com base na configuração que realiza aprendizagem dentro do aparelho de captura de imagem 101; no entanto, a configuração em que um processo de aprendizagem é fornecido no aparelho externo 301, dados exigidos para a aprendizagem são comunicados ao aparelho externo 301 e a aprendizagem é realizada apenas no aparelho externo também é capaz de alcançar um efeito de aprendizagem semelhante. Nesse caso, conforme descrito em <Aprendizagem Através de Mudança de Parâmetro com Aparelho de Comunicação> acima, pode ser empregada a configuração em que a aprendizagem é realizada definindo-se parâmetros, tais como os pesos da rede neural, aprendidos no aparelho externo ao aparelho de captura de imagem 101 através da comunicação.

[0348] A configuração em que um processo de aprendizagem é fornecido em cada um dentre o aparelho de captura de imagem 101 e o aparelho externo 301 pode ser empregada. Por exemplo, pode ser empregada a configuração em que as informações de aprendizagem no aparelho externo 301 são comunicadas ao aparelho de captura de imagem 101 no momento em que o processo 716 do modo de aprendizagem é realizado no aparelho de captura de imagem 101 e a aprendizagem é realizada pela fusão dos parâmetros de aprendizagem.

[0349] Em S907 do processo do modo de captura automática descrito acima (Figura 9), é determinado se existe uma instrução de captura (manual) do usuário e, quando há uma instrução de captura, o processo prossegue para S910. Aqui, as instruções de captura (manual) do usuário podem ser emitidas girando-se manualmente a direção na qual o aparelho de captura de imagem é orientado (doravante no presente documento, direção de captura). A Figura 17 é um diagrama de blocos que mostra a configuração da seção de acionamento de rotação de tubo da lente 205. Os componentes 1701 a 1707 da Figura 17 são relacionados ao acionamento do eixo de giro. Os componentes 1708 a 1714 da Figura 17 são relacionados ao acionamento e controle do eixo de inclinação. As configurações básicas relacionadas ao acionamento do eixo de giro e ao acionamento da inclinação são as mesmas, portanto, apenas a configuração relacionada ao eixo de giro será descrita, e a descrição da configuração relacionada ao acionamento do eixo de inclinação é omitida. O numeral de referência 1701 indica uma seção de conversão de posição de imagem-posição panorâmica para calcular uma posição alvo no momento de acionar o eixo de giro 1706 com base na diferença entre uma posição alvo e uma posição atual de um assunto em uma imagem. A Figura 18 é uma vista que mostra a relação entre a posição atual e a posição alvo de um assunto em uma captura de imagem pelo aparelho de captura de imagem. O numeral de referência 1801 indica certa imagem instantânea obtida com a seção de processamento de imagem 207 durante a busca de assunto do aparelho de captura de imagem. O numeral de referência 1802 indica a posição atual (x1, y1) do assunto. O numeral de referência 1803 indica a posição alvo (xO, y0) do assunto. No momento de cálculo das posições alvo de giro e inclinação com base na diferença entre a posição alvo 1803 e a posição atual de 1802 do assunto na imagem, as seguintes fórmulas são usadas.

kp(f) x (x1 - xO) (1) Kt(f) x (y1 - yo) (2)

[0350] kp (f) é um coeficiente de conversão para calcular uma posição de giro alvo com base na diferença entre a posição alvo e a posição atual do assunto na imagem, que varia de acordo com a distância focal f do aparelho de captura de imagem. kt (f) é um coeficiente de conversão para calcular uma posição de inclinação alvo com base na diferença entre a posição alvo e a posição atual do assunto na imagem, que varia de acordo com a distância focal f do aparelho de captura de imagem.

[0351] O numeral de referência 1702 na Figura 17 indica um compensador. O compensador 1702 calcula uma saída de controle realizando-se a computação de controle PID de modo que a diferença entre a posição de giro atual e a posição de giro alvo calculada pela seção de conversão de posição de imagem-posição de giro 1701 seja eliminada. O numeral de referência 1703 indica uma seção de detecção de operação de mudança de direção de captura. A seção de detecção de operação de mudança de direção de captura 1703 detecta uma operação de mudança de direção de captura com base na diferença (doravante no presente documento, desvio de posição) entre a posição de giro alvo e a posição de giro atual, a saída de controle e a velocidade de deslocamento de giro. Quando a seção de detecção de operação de mudança de direção de captura 1703 detecta uma mudança na direção de captura, a seção de detecção de operação de mudança de direção de captura 1703 para o giro, ao parar a saída de controle. Por outro lado, quando a seção de detecção de operação de mudança de direção de captura 1703 não detecta uma mudança da direção de captura, a seção de detecção de operação de mudança de direção de captura 1703 aciona e controla o giro de acordo com a saída de controle calculada pelo compensador 1702. O numeral de referência 1704 indica um acionador para gerar um sinal de acionamento proporcional à saída de controle calculada pelo compensador

1702. O numeral de referência 1705 é um motor ultrassônico (USM) que é um atuador para acionar o eixo de giro 1706. O numeral de referência 1707 indica uma seção de detecção de velocidade de movimento para calcular uma velocidade de movimento de giro a partir de um tempo de mudança na posição de giro. A seção de detecção de velocidade de movimento 1707 calcula uma velocidade de movimento de giro a partir de uma variação na posição de giro em cada amostragem de controle. A Figura 19 é um fluxograma que mostra o fluxo de detecção de uma operação de mudança de direção de captura feita através de uma operação do usuário e atualização de informações de aprendizagem, definindo-se uma área de captura após a operação de mudança de direção de captura como uma área importante.

[0352] Em S1901, é determinado se existe uma operação de mudança de direção de captura feita pelo usuário no aparelho de captura de imagem. Ao detectar uma operação de mudança de direção de captura feita pelo usuário, quando a saída de controle e o desvio de posição (descritos posteriormente) satisfazem condições predeterminadas, a seção de detecção 1703 de detecção de operação de mudança de direção de captura determina que há uma mudança na direção de captura. Quando uma operação de mudança de direção de captura é detectada em S1901, o processo prossegue para S1902 e a operação de controle de posição é parada. Quando o rastreamento ou busca de assunto está sendo realizado, o rastreamento ou busca de assunto é parado e, em seguida, a operação de controle de posição é parada. Por outro lado, quando uma operação de mudança de direção de captura não é detectada em S1901, a detecção de uma operação de mudança de direção de captura é continuada. Depois que o controle de posição é parado em S1902, o processo prossegue para S1903 e é determinado se a operação de mudança de direção de captura feita pelo usuário está finalizada.

[0353] Ao determinar o fim da operação de mudança de direção de captura, a seção de detecção de operação de mudança de direção de captura 1703 determina se a operação de mudança de direção de captura é continuada ou finalizada com base na velocidade de movimento do giro. Quando é determinado que a operação de mudança de direção de captura é finalizada, o processo prossegue para S1904 e as informações da área de captura após o término da operação de mudança de direção de captura são armazenadas. A área a ser armazenada é a área mais próxima comparando-se o ângulo de visão que é determinado a partir da posição do aparelho de captura de imagem, da posição de giro, da posição de inclinação e da distância focal, com cada área dividida. Quando é determinado em S1903 que a operação de mudança de direção de captura está sendo realizada, a detecção do final da operação de mudança de direção de captura continua.

Em S1905, as informações de aprendizagem são atualizadas de forma que a área armazenada em S1904 seja mais importante que as outras áreas divididas.

Em S1906, o rastreamento de assunto e o controle de posição são ativados e, em seguida, o processo prossegue para S1901, e a detecção de uma operação de mudança de direção de captura é retomada.

Nesse momento, a fim de informar o usuário que o aparelho de captura de imagem 101 está rastreando, uma imagem especial (efeito de imagem) diferente daquela da identificação de rosto descrita acima é exibida em uma imagem alvo de rastreamento ou em torno da imagem.

Como um exemplo em que o usuário faz uma operação de mudança de direção de captura, será descrito um exemplo do caso em que o usuário faz uma operação de mudança de direção de captura rotacionando o tubo da lente 102 manualmente enquanto captura uma flor com o aparelho de captura de imagem 101, de modo que o eixo óptico do aparelho de captura de imagem 101 seja direcionado para uma pessoa específica fora do ângulo de visão.

A Figura 20 é um diagrama esquemático para ilustrar um exemplo no qual o tubo da lente 102 é girado pela mão do usuário em direção a uma pessoa 2003, enquanto a imagem de uma flor 2001 está sendo fotografada com o aparelho de captura de imagem 101 e, em seguida, as informações de aprendizagem são atualizadas de modo que uma área em que a pessoa 2003 está presente seja definida como uma área importante.

O numeral de referência 2002 na Figura 20 indica o eixo óptico do aparelho de captura de imagem 101 que está capturando a flor 2001. O numeral! de referência 2004 indica o eixo óptico depois que o usuário muda a direção de captura manualmente.

O numeral de referência 2005 indica a direção de rotação do tubo da lente 102 no momento em que o usuário muda a direção de captura.

A operação na qual a direção de captura é mudada em relação à pessoa 2003 através de uma operação do usuário enquanto a flor 2001 está sendo fotografada e, em seguida, as informações de aprendizagem são atualizadas de modo que a área em que a pessoa 2003 está presente seja definida como uma área importante será descrita com referência à Figura 21 e à Figura 22. À Figura 21A, Figura 21B, Figura 21C e Figura 21D são vistas que mostram imagens instantâneas fotografadas em um período durante o qual a direção de captura é mudada em relação à pessoa específica 2003, mudando-se a direção de captura enquanto a flor está sendo fotografada e as informações de aprendizagem são atualizadas.

A Figura 22 é um gráfico que mostra as mudanças no tempo na saída de controle de giro 2201, desvio posicional 2202 e velocidade de movimento 2203 em um período durante o qual o usuário muda a direção de captura em direção à pessoa específica 2003 enquanto a flor está sendo fotografada e as informações de aprendizagem são atualizadas de modo que a área do ângulo de visão mudado seja definida como uma área importante. ta, tb, tc, td na Figura 22 são respectivamente tempos nos quais as imagens mostradas na Figura 21A, Figura 21B, Figura 21C e Figura 21D são fotografadas.

ThC na Figura 22 é um limiar da saída de controle, que é usado para determinar que o usuário rotacionou o tubo da lente 102 manualmente.

ThDiff é um limiar de desvio posicional, que é usado para determinar que o usuário rotacionou o tubo da lente 102 manualmente.

Quando o estado em que a saída de controle é maior ou igual a ThC e o desvio posicional é maior ou igual a ThDiff continua por um tempo predeterminado (t2 - t1 na Figura 22), considera-se que a direção de captura foi mudada pelo usuário e a saída de controle do compensador 1702 é parada.

ThV é um limiar da velocidade de movimento do eixo de giro, que é usado para determinar que o usuário parou a operação na direção de captura.

CMax é um valor máximo de saída de controle do compensador 1702. No momento do controle de posição, o eixo de giro é acionado e controlado de modo que o assunto esteja localizado na posição alvo na imagem, mudando-se a saída do controle dentro da faixa de -CMax a CMax. t1 na Figura 22 indica o tempo em que a saída de controle 2201 é maior ou igual a ThC e o desvio de posição é maior ou igual a ThDiff após o usuário iniciar a operação de direção de captura. t2 indica o tempo em que um período de tempo em que a saída de controle 2201 é maior ou igual a ThC e o desvio posiciona! 2202 é maior ou igual a ThDiff atingiu um tempo de determinação de mudança de direção de captura (t2 - t1). t3 indica o tempo em que, após o tempo t2, a velocidade de movimento do eixo de giro se torna ThV ou abaixo pela primeira vez. t4 indica o tempo no qual um tempo decorrido depois que a velocidade de movimento se torna

ThV ou abaixo no tempo t3 se torna um tempo de determinação do final da mudança de direção de captura (t4 - t3).

[0354] —AFigura21Aé uma captura de imagem no momento do tempo ta enquanto a flor 2001 está sendo fotografada. O numeral de referência 2101 na Figura 21A indica um quadro de assunto que representa um assunto como um alvo de rastreamento, busca ou captura. O numeral de referência 2102 indica um ponto alvo que é a posição alvo na imagem no centro do quadro de assunto 2101. Um ponto no qual as duas linhas indicadas por 2102 se cruzam é a posição alvo do assunto na imagem. Durante a operação de captura normal (não em um estado de operação de mudança de direção de captura), o alinhamento de posição é realizado acionando-se e controlando-se o eixo de giro ou o eixo de inclinação, de modo que o centro do quadro de assunto 2101 e o ponto alvo 2102 coincidam entre si. A Figura 21B é uma captura de imagem no tempo em que o usuário gira o tubo da lente 102 para a direita em relação à parte fixa 103 no momento do tempo tb no estado da Figura 21A. A seta sólida na Figura 21B indica a direção de giro para o controle de posição. A seta delineada indica a direção de rotação do tubo da lente 102 através de uma operação de mudança de direção de captura do usuário. Quando a saída de controle 2201 e o desvio posicional 2202 no tempo tb são vistos, embora a saída de controle seja o valor máximo CMax, o desvio posicional 2202 tende a aumentar. A partir disso, é determinado que o usuário está rotacionando intencionalmente o eixo de giro. Na presente modalidade, uma determinação quanto à direção de captura ser mudada é realizada após o tempo predeterminado (t2 - t1) que é obtido desde quando o estado em que o usuário está rotacionando o tubo da lente 102 manualmente é detectado até quando o a saída de controle do compensador 1702 é parada. Essa é uma medida para não determinar que há uma operação de direção de captura quando o usuário toca não intencionalmente no tubo da lente ou sob a influência de flutuações de carga do eixo de giro ou eixo de inclinação que estão sendo acionados para busca, embora o usuário não esteja realizando uma operação de mudança de direção. . Um tempo para consertar pode ser reduzido ou omitido, a fim de realizar rapidamente uma determinação de mudança de direção de captura depois que o usuário inicia a operação de mudança de direção de captura.

[0355] A Figura 21C é uma vista no momento em que um assunto alvo entra no ângulo de visão, rotacionando-se o eixo de giro para se aproximar do novo assunto através da operação de mudança de direção de captura do usuário em um estado em que a saída de controle do compensador 1702 é parada no tempo tc. Dessa forma, o usuário precisa continuar a operação de mudança de direção de captura até que um assunto que seja um novo alvo de captura entre no ângulo de visão. Quando uma imagem cuja direção de captura está sendo mudada não pode ser verificada diretamente, como no caso do aparelho de captura de imagem 101 descrito na presente modalidade, o usuário confirma que um assunto que é um alvo de captura entra no ângulo de visão fazendo-se a operação enquanto verifica-se a imagem que está sendo mudada com o dispositivo inteligente. Como outro meio para o usuário descobrir que um assunto que é um alvo de captura entra no ângulo de visão, quando um novo assunto entra no ângulo de visão durante uma mudança na direção de captura, o usuário pode ser notificado pela seção de controle de LED 224 piscando o LED ou a seção de saída de voz 218 emitindo uma voz.

[0356] A Figura 21D é uma imagem durante o rastreamento ou a captura de um assunto novo após a direção de captura ser mudada em um estado em que a saída de controle do compensador 1702 é iniciada no momento de tempo t4. O tempo t4 é o tempo no qual um período de tempo depois que a velocidade de movimento de giro 2203 se torna menor ou igual a ThV no tempo t3 é maior ou igual ao tempo de determinação do final da operação de mudança de direção de captura (t4 - t3). Quando é determinado no tempo t4 que a operação de mudança de direção de captura do usuário é finalizada, a área de captura no ponto t4 é definida como a área preferida do usuário e definida de modo a ser superior em grau de importância às outras áreas e, então, as informações de aprendizagem são atualizadas. Além disso, um assunto presente nessa área pode estar sujeito a uma ou mais operações de rastreamento, captura e registro de identificação como um assunto importante. Por exemplo, como mostrado na Figura 21D, quando a pessoa 2003 está presente dentro do ângulo de visão no momento em que o final da operação de mudança de direção do usuário é detectada, a pessoa 2003 é submetida a uma ou mais operações de rastreamento, captura e registro de identificação como um assunto importante. O processo de atualização das informações de aprendizagem pode ser realizado apenas quando houver uma instrução de aprendizagem do usuário e não realizado automaticamente. As informações de aprendizagem podem ser atualizadas apenas quando houver uma instrução de aprendizagem do usuário. Por exemplo, após o aparelho de captura de imagem notificar o usuário que um assunto entra no ângulo de visão, apenas quando o usuário insere um comando de voz específica para uma instrução de aprendizagem registrada previamente, as informações de aprendizagem são atualizadas.

[0357] Na presente modalidade, é descrito o exemplo no qual o início e o final da operação de mudança de direção de captura no aparelho de captura de imagem pelo usuário são detectados com base na saída de controle do compensador, no desvio de posição e na velocidade de movimento do eixo de acionamento; no entanto, uma operação de direção de captura do usuário pode ser detectada com outro método, desde que a operação de direção de captura do usuário possa ser detectada. Por exemplo, se há uma mudança na direção de captura, feita pelo usuário, pode ser detectado com base em uma mudança no tempo no sinal do sensor giroscópico ou sensor de aceleração da seção de detecção de oscilação do aparelho 209. A Figura 23 mostra uma mudança na saída do sensor de aceleração da seção de detecção de oscilação do aparelho 209 no momento em que a direção de captura do aparelho de captura de imagem é mudada através de uma operação do usuário. O numeral de referência 2301 indica uma mudança no tempo da aceleração. ThA1 é um limiar de aceleração, que é usado no momento de determinar que o usuário iniciou a operação de mudança de direção de captura. ThA2 é um limiar de aceleração, que é usado no momento de determinar que o usuário parou a operação de mudança de direção de captura. O início e o fim da operação de mudança de direção de captura podem ser detectados comparando-se a aceleração com esses limiares. Nesse momento, a fim de impedir a detecção incorreta de uma operação de mudança de direção de captura, um padrão de mudança no tempo de aceleração no momento da operação de mudança de direção de captura pode ser aprendido previamente e pode ser determinado que a direção de captura foi mudada quando a semelhança entre uma mudança no tempo da aceleração detectada e o padrão de mudança no tempo aprendido for maior ou igual a um valor predeterminado. De maneira similar, pode ser detectado se existe uma operação de direção de captura com base em uma mudança no vetor de movimento de uma captura de imagem pelo aparelho de captura de imagem.

[0358] Na descrição descrita acima, é descrito o processo no qual uma área de captura que entra no ângulo de visão após a operação de mudança de direção de captura ser aprendida como uma área importante. No entanto, não se limitando a isso, pode ser empregado um processo no qual, quando há uma mudança de ampliação ou uma mudança da área de captura através de uma operação do usuário no aparelho externo, a área de captura após a operação de mudança é aprendida como uma área importante. <PROCESSO É MUDADO DE ACORDO COM CONDIÇÃO DE CANCELAMENTO DE MODO DE BAIXO CONSUMO DE ENERGIA ELÉTRICA>

[0359] A sequência básica de processo do modo de captura na presente modalidade é descrita com referência à Figura 9; no entanto, se um processo for realizado de acordo com essa sequência a qualquer momento, leva um tempo para encontrar um assunto e realizar captura automática. Nesse caso, há preocupações de que uma oportunidade de foto seja perdida ou que um assunto diferente da intenção do usuário seja capturado. Particularmente, no momento em que o modo de baixo consumo de energia elétrica é cancelado (doravante no presente documento, referido como ativação), uma sequência de processos ideal varia dependendo de um cancelamento feito com base em qual condição. Aqui, serão descritos exemplos de uma condição de ativação e uma sequência de processos adequada para a condição. (1) ATIVAÇÃO COM BASE EM DETECÇÃO DE TOQUE

[0360] Uma ativação com base em detecção de toque é possível como descrito acima. Nesse caso, é presumível que o proprietário do aparelho de captura de imagem 101 tenha emitido uma instrução de ativação com a intenção de realizar a captura.

Portanto, é preferencial um processo no qual o proprietário é encontrado como um resultado da busca ao redor e captura automática é realizada imediatamente, de modo que o proprietário seja capturado.

[0361] A Figura 27 mostra um processo para o modo de captura nesse caso.

[0362] As etapas S2701 a S2703 são as mesmas que aquelas do processo durante tempos normais, descritos na Figura 9, portanto, a descrição é omitida.

[0363] Na etapa S2704, diferente do processo normal, a busca é realizada enquanto a câmera está sendo girada/inclinada, de modo que todo o ângulo de visão seja coberto.

[0364] Na etapa S2705, é determinado se uma pessoa identificada específica está no ângulo de visão. Nesse momento, é desejável que o rosto do proprietário seja registrado como um rosto identificado para o proprietário previamente e uma busca pelo proprietário seja feita como a pessoa identificada específica. Quando o proprietário é encontrado dentro do ângulo de visão, o processo prossegue para S2706.

[0365] Na etapa S2706, a câmera é girada/inclinada ou ampliada de modo que o proprietário seja incluído no ângulo de visão e, em seguida, o processo prossiga para a operação de início de captura da etapa S2712.

[0366] As etapas S2707 e S2715 são processos semelhantes aos de S905 a S913 da Figura 9, portanto, a descrição é omitida.

[0367] Com esse processo, é possível captura que responde imediatamente a uma intenção do usuário. (2) ATIVAÇÃO COM BASE EM DETECÇÃO DE SOM

[0368] Uma ativação com base em detecção de som e reconhecimento de comando de voz é possível como descrito acima. No caso de detecção de som, existe uma grande possibilidade de que uma pessoa em questão esteja presente na direção de som. No caso de reconhecimento de comando de voz, é presumível que uma pessoa que falou um comando de voz tenha uma intenção de desejar que a câmera tire uma foto sua. Portanto, é preferencial um processo no qual uma pessoa em uma direção na qual uma voz é detectada é encontrada e a captura automática é realizada imediatamente.

[0369] A Figura 28 mostra um processo para o modo de captura nesse caso.

[0370] As etapas S2801 a S2803 são as mesmas que aquelas do processo durante tempos normais, descritos na Figura 9, portanto, a descrição é omitida.

[0371] Na etapa S2804, diferente do processo normal, a câmera é girada/inclinada de modo que a direção na qual a direção de som é detectada seja incluída no ângulo de visão.

[0372] Na etapa S2805, é determinado se há uma pessoa no ângulo de visão na direção de som. Quando existe uma pessoa, a pessoa é considerada uma fonte que gera o som ou comando de voz, e o processo prossegue para S2806 para capturar a pessoa.

[0373] Na etapa S2806, a câmera é girada/inclinada ou ampliada de modo que a pessoa seja incluída no ângulo de visão e, em seguida, o processo prossiga para a operação de início de captura da etapa S2812.

[0374] As etapas S2807 e S2815 são processos semelhantes aos de S905 a S913 da Figura 9, portanto, a descrição é omitida.

[0375] Com esse processo, o efeito de ser capaz de realizar captura sem perder uma oportunidade de capturar um momento de grande interesse, tal como uma ovação, pode ser esperado. Também é possível captura que responde imediatamente à intenção de uma pessoa que fala um comando de voz. (3) ATIVAÇÃO COM BASE EM OUTRAS CONDIÇÕES

[0376] No momento de ativação com base nas outras condições (por exemplo, a determinação do lapso de tempo descrita na Figura 8), um processo é realizado de acordo com a sequência básica da Figura 9. Com essa configuração, a captura automática é realizada apenas quando um assunto importante é necessário, assim, o consumo de energia elétrica e o consumo da capacidade disponível do dispositivo de armazenamento são reduzidos.

[0377] De acordo com a modalidade descrita acima, as seguintes funções são possíveis.

(1) INICIALIZAÇÃO

[0378] O processo de busca e captura, depois da inicialização, é mudado de acordo com uma condição de inicialização.

[0379] Dessa maneira, de acordo com o que o aparelho de captura de imagem é inicializado, um processo depois da inicialização (determinação de captura automática, processo de busca ou processo de determinação de hibernação) é mudado. Assim, isso pode solucionar o problema de que leva tempo quando uma sequência de inicialização uniforme é executada a cada vez e, como um resultado, uma oportunidade de foto é perdida ou um assunto diferente da intenção do usuário é capturado.

[0380] [Exemplo 1] Quando ativado por voz, o aparelho de captura de imagem fica voltado para a direção da voz e inicia a busca e uma determinação de captura.

[0381] [Exemplo 2] Quando ativado por toque, o aparelho de captura de imagem busca um proprietário (rosto identificado). (2) HBERNAÇÃO

[0382] É fornecido um meio de determinação de cena do assunto, e o aparelho de captura de imagem decide entrar em hibernação automática de acordo com o resultado de determinação de cena. Um tempo de hibernação é ajustado de acordo com o resultado da determinação. É fornecido um meio para determinar a situação interna do aparelho de captura de imagem, e o aparelho de captura de imagem entra em hibernação automática de acordo com os meios internos de determinação de situação.

[0383] Dessa maneira, o aparelho de captura de imagem entra em hibernação automática de acordo com um assunto ou uma cena. Um tempo de hibernação também é ajustado. O aparelho de captura de imagem entra em hibernação automática de acordo com a situação interna do processo no aparelho de captura de imagem. Assim, o problema de que, no caso de hibernar simplesmente com base em um tempo decorrido ou em ausência de operação, o efeito de economia de energia é baixo e há preocupações com a perda de uma oportunidade de foto, pode ser solucionado.

[0384] [Exemplo 1] Quando não há assunto, o aparelho de captura de imagem passa para uma economia de energia.

[0385] [Exemplo 2] Quando há pouca mudança na cena, o aparelho de captura de imagem é colocado em hibernação por mais tempo.

[0386] [Exemplo 3] Quando o modo não corresponde a qualquer um dentre modo de captura automática, modo de aprendizagem, modo de edição e modo de transferência, o aparelho de captura de imagem é colocado em hibernação.

[0387] [Exemplo 4] Nível da bateria (3) TRANSFERÊNCIA DE IMAGENS AUTOMÁTICA

[0388] De acordo com pelo menos uma das condições, ou seja, um tempo decorrido, um valor de avaliação de uma imagem de captura, um nível da bateria e uma capacidade do cartão, uma imagem é transferida automaticamente ou uma frequência de transferência de imagens é decidida automaticamente.

[0389] Dessa maneira, uma imagem é transferida automaticamente de acordo com uma condição (a cada lapso de tempo predeterminado, quando uma imagem altamente valorizada é fotografada). Uma frequência de transferência de imagens é decidida automaticamente de acordo com uma condição (quando o nível da bateria está baixo, a transferência de imagens é dificultada; quando uma frequência de captura é definida como alta frequência, a frequência de transferência também é aumentada; quando a capacidade disponível da mídia de armazenamento é pequena, a frequência de transferência é aumentada). Assim, o problema de que, quando a transferência de imagens é realizada de acordo com uma instrução do usuário, há um tempo para aguardar por um processo de transferência ou a capacidade do aparelho externo ser limitada, dependendo de um usuário para uma frequência de transferência prescrita ou número de transferência de imagens, pode ser solucionado. (4) APRENDIZAGEM

[0390] O aparelho de captura de imagem entra automaticamente no modo de aprendizagem de acordo com pelo menos uma dentre as condições, isto é, um tempo decorrido, o grau de acumulação de dados de treinamento, um resultado de determinação de uma cena ou assunto atual, tempo programado, uma possibilidade de captura futura e o tempo de desligamento.

[0391] Dessa maneira, o aparelho de captura de imagem entra automaticamente no modo de aprendizagem de acordo com uma condição (a captura automática não é realizada por certo tempo, tal como quando novos dados de treinamento tenham se acumulado mais do que ou igual a uma quantidade predeterminada, quando um lapso de o tempo desde a última aprendizagem é longo ou quando nenhum assunto distinguível está presente por perto). Assim, o problema de que, a menos que uma condição em que o modo de captura entra no modo de aprendizagem seja definida adequadamente, um tempo para aguardar que um processo de aprendizagem surja ou que uma energia elétrica seja consumida inutilmente, pode ser solucionado. (5) EXCLUSÃO AUTOMÁTICA DE IMAGENS

[0392] A exclusão automática é realizada de acordo com uma condição. Um número alvo de imagens a serem excluídas é definido de acordo com uma frequência de captura e a capacidade disponível. <!Imagens fotografadas manualmente pelo usuário>, <imagens altamente valorizadas pelo usuário> e <imagens que têm uma pontuação de importância alta calculada pelo aparelho de captura de imagem> são tornadas difíceis para serem excluídas. <Imagens transferidas para o aparelho externo> e <imagens não vistas pelo usuário ao menos uma vez> são tornadas fáceis para serem excluídas. Quando os vídeos de destaque adquiridos são capturados em intervalos curtos, os arquivos antigos podem ser excluídos preferencialmente. Quando os vídeos de destaque adquiridos são capturados em intervalos longos, os arquivos antigos, mas com uma pontuação alta, podem ser configurados para não serem excluídos. Quando a aprendizagem é realizada de modo que uma frequência de captura de vídeo aumente, imagens mais do que o normal podem ser excluídas automaticamente.

[0393] Assim, os problemas que, a captura automática não pode ser realizada, quando não há capacidade disponível, e excluir uma a uma manualmente pelo usuário é problemático, pode ser solucionado. (6) EDIÇÃO AUTOMÁTICA

[0394] De acordo com pelo menos uma das condições, ou seja, o grau de acumulação de imagens de captura, um tempo decorrido desde a última edição, um valor de avaliação de cada imagem de captura e uma ocasião temporal, o processo de edição é realizado automaticamente.

[0395] Assim, o problema de que, quando uma imagem em movimento de foto de história é criada de acordo com uma instrução do usuário, há um tempo para aguardar um processo de criação e a usabilidade é ruim, pode ser solucionado.

[0396] Na <Configuração de Acessórios> descrita acima, o acessório para conexão com outra câmera 3201 é descrito com referência à Figura 32. Um exemplo do caso em que o aparelho de captura de imagem 101 e outra câmera 3201 realizam a captura em cooperação entre si será descrito.

[0397] Um método de capturar ao mesmo tempo liberando-se uma das câmeras, de modo a corresponder o tempo de liberação da outra câmera entre as câmeras, é conhecido como uma tecnologia existente.

[0398] Na presente modalidade, a captura é realizada em cooperação entre as câmeras; no entanto, antes que o botão de liberação 3203 da câmera 3201 seja pressionado, o aparelho de captura de imagem 101 inicia a captura antes da câmera 3201 realizar a captura prevendo-se o pressionamento da liberação.

[0399] O aparelho de captura de imagem 101 realiza captura automática com um método semelhante ao método da captura automática descrito. Nesse momento, é realizada aprendizagem para prever o momento em que a câmera 3201 realiza a captura. Quando a captura cooperativa é realizada, uma determinação de captura automática é realizada com essa rede.

[0400] A operação do aparelho de captura de imagem 101 na configuração em que o usuário opera a câmera 3201 para realizar a captura, será descrita. A Figura 33 mostra um fluxograma do aparelho de captura de imagem 101.

[0401] Aqui, um exemplo no qual a câmera 3201 grava uma imagem estática e o aparelho de captura de imagem 101 grava uma imagem em movimento será descrito.

[0402] Quando o processo de modo de captura inicia, é determinado inicialmente em S3301 se o modo é um modo de cooperação de câmera. Quando o modo é o modo de cooperação, o processo prossegue para S3303; enquanto que, quando o modo não é o modo de cooperação, o processo prossegue para S3302.

[0403] O modo de cooperação pode ser determinado se a câmera 3201 e o aparelho de captura de imagem 101 estiverem conectados por fio ou sem fio ou puderem ser definidos com o dispositivo inteligente 301.

[0404] Em S3202, o modo não é o modo de cooperação da câmera; portanto, o processo descrito com referência à Figura 9 é realizado, o processo de modo de captura é finalizado e o processo aguarda pelo próximo ciclo de computação. Em S3303, as informações são carregadas da câmera 3201. Informações sobre o pressionamento do comutador de liberação da câmera 3201, informações de estado ativo, informações sobre um assunto de uma imagem ou similares, são fornecidas para o aparelho de captura de imagem 101 como as informações, e o processo prossegue para S3304.

[0405] Em S3304, é determinado se o aparelho de captura de imagem 101 está realizando captura. Quando o aparelho de captura de imagem 101 não está realizando captura, o processo prossegue para S3305, enquanto que, quando o aparelho de captura de imagem 101 está realizando a captura, o processo prossegue para S3306. Em S3305, é determinado se a câmera 3201 começou captura. Quando a câmera 3201 tiver começado a captura, o processo prossegue para S3310, a captura do aparelho de captura de imagem 101 é iniciada, o processo de modo de captura é finalizado e o processo aguarda o próximo ciclo de computação. Quando a câmera 3201 não tiver começado a captura S3305, o processo prossegue para S3307 e realiza um processo de determinação de captura automática. O processo de determinação de captura automática pode ser implantado com um método semelhante ao método descrito com referência à Figura 12. Nesse momento, uma determinação pode ser realizada com o uso tanto das informações da câmera 3201 quanto das informações do aparelho de captura de imagem 101 como entradas de quantidade de características ou pode ser realizada uma determinação com o uso de informações apenas de qualquer uma das mesmas.

[0406] Quando o processo de determinação de captura automática é concluído, o processo prossegue para S3308 e é determinado se a captura deve ser iniciada no processo de determinação de captura automática. Quando o início da captura automática é determinado, o processo prossegue para S3309, e o aparelho de captura de imagem 101 inicia a captura automática. Quando o início da captura automática não é determinado, não é realizada captura, o processo de modo de captura é finalizado e o processo aguarda o próximo ciclo de computação.

[0407] Quando é determinado em S3304 que a captura está sendo realizada após o início da captura em S3310 ou S3309, um processo de determinação do fim da captura é realizado em S3306. Então, quando o final da captura é determinado, o processo prossegue para S3311, e o aparelho de captura de imagem 1010 finaliza a captura. Quando o final da captura não é determinado, o processo de modo de captura é finalizado enquanto a captura está sendo realizada como está, e o processo aguarda o próximo ciclo de computação.

[0408] O processo de determinação automática de captura pode ser implantada com um método semelhante ao método descrito com referência à Figura 12. Nesse momento, uma determinação pode ser realizada com o uso tanto das informações da câmera 3201 quanto das informações do aparelho de captura de imagem 101 como entradas de quantidade de características ou pode ser realizada uma determinação com o uso de informações apenas de qualquer uma das mesmas.

[0409] Nessa configuração, o aparelho de captura de imagem 101 é configurado para realizar a captura automática. Alternativamente, o aparelho de captura de imagem 101 pode capturar continuamente uma imagem em movimento, anexar um rótulo a um período de tempo importante e gravar o rótulo em um arquivo final de imagem em movimento.

[0410] O tempo de captura automática cooperativo pode ser aprendido com o uso de resultados de captura.

[0411] Por exemplo, quando o aparelho de captura de imagem 101 não está realizando captura automática ou quando a câmera 3201 começa a captura,

quantidades de características que são entradas da Figura 12 naquele momento como dados de aprendizagem são salvas como dados incorretos.

[0412] Quando o aparelho de captura de imagem 101 está realizando captura automática ou quando a câmera 3201 começa a captura, quantidades de características que são entradas da Figura 12 naquele momento como dados de aprendizagem são salvas como dados corretos.

[0413] Quando o aparelho de captura de imagem 101 está realizando captura automática ou quando a câmera 3201 não inicia a captura após um lapso de tempo predeterminado, quantidades de características que são entradas da Figura 12 naquele momento como dados de aprendizagem são salvas como dados incorretos.

[0414] Quando os dados de aprendizagem acumulam mais do que ou igual a uma quantidade predeterminada, os dados de aprendizagem são aprendidos e os pesos da rede neural da Figura 12 são mudados.

[0415] Um exemplo no qual a câmera 3201 captura uma imagem estática e o aparelho de captura de imagem 101 captura uma imagem em movimento é descrito; no entanto, o método de captura não se limita a isso. Os padrões a seguir podem ser selecionados manualmente com o dispositivo inteligente 301 ou similares.

[0416] Os padrões a seguir podem ser selecionados automaticamente pelo aparelho de captura de imagem 101. Quando selecionado automaticamente, qual padrão é usado para realizar a captura, também é determinado automaticamente.

[0417] Por exemplo, quando a câmera 3201 captura uma imagem estática, o aparelho de captura de imagem 101 captura uma imagem em movimento.

[0418] Alternativamente, por exemplo, quando a câmera 3201 captura uma imagem estática, o aparelho de captura de imagem 101 captura uma imagem estática.

[0419] Alternativamente, quando a câmera 3201 captura uma imagem em movimento, o aparelho de captura de imagem 101 captura uma imagem estática.

[0420] Alternativamente, quando a câmera 3201 captura uma imagem em movimento, o aparelho de captura de imagem 101 captura uma imagem em movimento.

[0421] As orientações e ângulos de visão das direções do eixo óptico da câmera 3201 e do aparelho de captura de imagem 101 podem ser selecionados manual ou automaticamente.

[0422] Por exemplo, as direções do eixo óptico da câmera 3201 e do aparelho de captura de imagem 101 são orientadas na mesma direção.

[0423] Alternativamente, por exemplo, as direções do eixo óptico da câmera 3201 e do aparelho de captura de imagem 101 são orientadas em direções diferentes.

[0424] Os ângulos de visão da câmera 3201 e do aparelho de captura de imagem 101 são os mesmos.

[0425] Alternativamente, os ângulos de visão da câmera 3201 e do aparelho de captura de imagem 101 são diferentes.

[0426] Mesmo quando o aparelho de captura de imagem 101 captura uma imagem estática, o aparelho de captura de imagem 101 pode prever o momento antes do início da captura e, durante um período de captura automática, capturar automaticamente não apenas uma imagem, mas também várias imagens.

[0427] Na presente modalidade, é descrito o exemplo no qual o aparelho de captura de imagem 101 está conectado à sapata de acessório 3202 da câmera 3201 e ser usado como descrito; no entanto, a configuração não é limitada a isso. Por exemplo, o aparelho de captura de imagem 101 pode ser montado em outro membro (por exemplo, uma rosca de tripé ou similares) da câmera 3201 ou pode ser usado sem ser montado diretamente na câmera 3201 (por exemplo, usado pelo usuário de uma maneira utilizável junto ao corpo e as informações serem fornecidas através da comunicação sem fio).

[0428] Na presente modalidade, é descrito um exemplo no qual o aparelho de captura de imagem 101 captura uma imagem prevendo-se que a câmera 3201 capture uma imagem previamente. Como alternativa, a própria câmera 3201 pode prever a captura previamente. Nesse caso, quando está determinada a realização de captura através de previsão previamente, a câmera 3201 pode emitir uma instrução para iniciar a captura para o aparelho de captura de imagem 101, realizando, assim, a captura de cooperação de câmera com previsão prévia.

[0429] A notificação de informações entre a câmera 3201 e o aparelho de captura de imagem 101 pode ser configurada para ser fornecida apenas no momento da liberação. Informações detectadas tanto da câmera 3201 quanto do aparelho de captura de imagem 101 podem ser usadas para determinar o início da captura. Alternativamente, as informações detectadas apenas do aparelho de captura de imagem 101 podem ser usadas para determinar o início da captura. APRENDIZAGEM COM O USO DA CÂMERA 3201 (1) TRANSFERÊNCIA DE INFORMAÇÕES DA CÂMERA 3201 PARA O APARELHO DE CAPTURA DE IMAGEM 101

[0430] Por exemplo, um assunto principal é extraído de uma captura de imagem pela câmera 3201 através de uma operação do usuário.

[0431] Em seguida, as informações de assunto são fornecidas para o aparelho de captura de imagem 101 e definidas. Depois disso, o aparelho de captura de imagem 101 determina se o assunto é importante com base no número de imagens de captura do assunto, registra o assunto e realiza captura automática, rastreamento ou similares. (2) REGISTRO DO ASSUNTO COM INFORMAÇÕES ADQUIRIDAS NO APARELHO DE CAPTURA DE IMAGEM 101 NO MOMENTO DO INÍCIO DE LIBERAÇÃO

[0432] Por exemplo, o momento no qual a câmera 3201 realiza a captura é fornecido para o aparelho de captura de imagem 101 através de uma operação do usuário. Então, um assunto importante é definido a partir da imagem no aparelho de captura de imagem 101 no momento da captura. Depois disso, o aparelho de captura de imagem 101 determina se o assunto é importante com base no número de imagens de captura do assunto, registra o assunto e realiza captura automática, rastreamento ou similares. NOTIFICAÇÃO DE INFORMAÇÕES DO APARELHO DE CAPTURA DE IMAGEM 101 PARA A CÂMERA 3201

[0433] Um exemplo no qual outra câmera 3201 é assistida com informações do aparelho de captura de imagem 101 no caso em que a captura é realizada em cooperação entre o aparelho de captura de imagem 101 e a câmera 3201 será descrito. (1) NOTIFICAÇÃO DE INFORMAÇÕES DE ASSUNTO

[0434] Informações de assunto detectadas pelo aparelho de captura de imagem 101 (por exemplo, um rosto registrado pessoalmente, um assunto, tal como um cachorro ou um gato, determinado como preferência do proprietário ou um resultado de determinação de sensualidade que um assunto de preferência do usuário é determinado) é fornecido para a câmera 3201. Então, onde o assunto está localizado em uma imagem ao vivo da câmera 3201 e qual assunto está presente fora de uma imagem (por exemplo, um veículo está presente no lado direito da tela) é fornecido e se existe um assunto da preferência do usuário é fornecido. (2) NOTIFICAÇÃO DE LIBERAÇÃO

[0435] O aparelho de captura de imagem 101 pode ser configurado para fornecer uma instrução de captura para a câmera 3201.

[0436] Com o método descrito no processo de modo de captura automática, o momento de captura é determinado e uma instrução de captura automática é fornecida para a câmera 3201.

[0437] Pode ser determinado se um objeto específico se aproxima da tela da câmera 3201, e a captura contínua ou a captura de vídeo podem ser realizadas no momento em que o objeto específico entra na tela.

[0438] De acordo com a presente modalidade, o aparelho de captura de imagem que é capaz de adquirir uma imagem de vídeo da preferência do usuário sem qualquer operação especial do usuário pode ser fornecido.

[0439] Modalidades da presente invenção não são limitadas às modalidades descritas acima. Várias mudanças ou modificações são aplicáveis sem que se afaste do espírito e escopo da presente invenção. Portanto, as reivindicações a seguir são anexadas para mostrar o escopo da presente invenção.

[0440] Este pedido reivindica o benefício dos Pedidos de Patente Japoneses nº 2017-188938 depositado em 28 de setembro de 2017, nº 2017-254231 depositado em 28 de dezembro de 2017 e nº 2018-053078 depositado em 20 de março de 2018, os quais são incorporados em sua totalidade ao presente documento a título de referência.

Claims

REIVINDICAÇÕES

1. Aparelho de captura de imagem caracterizado pelo fato de que compreende: uma unidade de aquisição configurada para adquirir dados sobre uma imagem de captura fotografada por uma unidade de captura; e uma unidade de mudança configurada para mudar um processo de captura da unidade de captura com base nos dados adquiridos pela unidade de aquisição, em que a unidade de mudança é configurada para, quando a unidade de mudança mudar o processo de captura, atribuir pesos maiores aos dados adquiridos pela unidade de aquisição sobre a imagem de captura com base em uma instrução de um usuário do que aos dados adquiridos pela unidade de aquisição sobre a imagem de captura processada automaticamente.

2. Aparelho de captura de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que a imagem de captura processada automaticamente é pelo menos qualquer uma dentre uma imagem de captura fotografada automaticamente, uma imagem de captura editada automaticamente, uma imagem de captura transferida automaticamente para um aparelho externo e uma imagem de captura não excluída através de exclusão de arquivos automática.

3. Aparelho de captura de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que a imagem de captura com base em uma instrução de um usuário é pelo menos qualquer uma dentre uma imagem de captura com base em uma instrução de captura através de uma instrução de um usuário, uma imagem de captura pontuada com base em uma instrução de um usuário, uma imagem de captura adquirida com base em uma instrução de envio através de uma instrução de um usuário para um aparelho externo comunicável bidirecionalmente com o aparelho de captura de imagem, uma imagem de captura armazenada em um aparelho externo comunicável bidirecionalmente com o aparelho de captura de imagem, uma imagem de captura transferida por upload para um servidor com base em uma instrução de um usuário, uma imagem de captura com um parâmetro mudado com base em uma instrução de um usuário, uma imagem de captura com base em uma instrução de edição de um usuário e uma imagem de captura com uma área de captura mudada com base em uma instrução de um usuário.

4, Aparelho de captura de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que o processo de captura inclui um processo de detecção de um gatilho de captura.

5. Aparelho de captura de imagem, de acordo com a reivindicação 1, caracterizado pelo fato de que o processo de captura inclui um processo de determinação de um método de captura.

6. Aparelho de captura de imagem, de acordo com a reivindicação 5, caracterizado pelo fato de que o processo de determinação de um método de captura é determinar qualquer uma dentre captura única de uma imagem estática, captura contínua de imagens estáticas, captura de vídeo, captura panorâmica e captura com lapso de tempo.

7. Aparelho de captura de imagem, de acordo com a reivindicação 4, caracterizado pelo fato de que o gatilho de captura é detectado com base em pelo menos um dentre resultados detectados de um assunto específico, uma composição específica, um som específico, um tempo, uma magnitude de vibração, uma mudança de lugar, uma mudança em um corpo de um usuário, uma mudança em um ambiente em torno do aparelho de captura de imagem e uma situação do aparelho de captura de imagem.

8. Aparelho de captura de imagem, de acordo com qualquer uma das reivindicações 1 a 7, caracterizado pelo fato de que o processo de captura inclui um processo de busca por um assunto específico.

9. Aparelho de captura de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que compreende adicionalmente: um mecanismo de rotação configurado para ser capaz de acionar rotativamente um alojamento em torno de pelo menos um ou mais eixos geométricos, sendo que o alojamento contém uma lente de captura e um elemento de imageamento, em que o processo de busca por um assunto específico é realizado rotacionando- se o mecanismo de rotação.

10. Aparelho de captura de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que o processo de busca de um assunto específico é realizado acionando-se e controlando-se uma lente de ampliação para ampliar.

11. Aparelho de captura de imagem, de acordo com a reivindicação 8, caracterizado pelo fato de que o processo de busca de um assunto específico é realizado recortando-se parte da imagem de captura.

12. Aparelho de captura de imagem, de acordo com qualquer uma das reivindicações 7 a 11, caracterizado pelo fato de que o assunto específico é o rosto de uma pessoa e a imagem de captura fotografada automaticamente é uma imagem de captura com base em uma frequência de aparição do assunto que está sendo buscado e em uma expressão facial de uma pessoa.

13. Aparelho de captura de imagem, de acordo com qualquer uma das reivindicações 7 a 11, caracterizado pelo fato de que o assunto específico é um objeto e a imagem de captura fotografada automaticamente é uma imagem de captura com base no reconhecimento de objetos.

14. Aparelho de captura de imagem, de acordo com qualquer uma das reivindicações 1 a 13, caracterizado pelo fato de que a unidade de captura de imagem é configurada para executar o processo de captura com o uso de um parâmetro gerado com base em aprendizagem de máquina, e a unidade de mudança é configurada para mudar o processo de captura atualizando-se o parâmetro com base em aprendizagem de máquina com o uso dos dados adquiridos pela unidade de aquisição.

15. Aparelho de captura de imagem caracterizado pelo fato de que compreende: uma unidade de edição configurada para editar uma imagem de captura;

uma unidade de aquisição configurada para adquirir dados na imagem de captura; e uma unidade de mudança configurada para mudar um processo de edição da unidade de edição com base nos dados adquiridos pela unidade de aquisição, em que a unidade de mudança é configurada para, quando a unidade de mudança mudar o processo de edição, atribuir pesos maiores aos dados adquiridos pela unidade de aquisição sobre a imagem de captura com base em uma instrução do usuário do que aos dados adquiridos pela unidade de aquisição sobre a imagem de captura processada automaticamente.

16. Aparelho de captura de imagem, de acordo com a reivindicação 15, caracterizado pelo fato de que a unidade de edição é configurada para executar o processo de edição com o uso de um parâmetro gerado com base em aprendizagem de máquina, e a unidade de mudança é configurada para mudar o processo de edição atualizando-se o parâmetro com base em aprendizagem de máquina com o uso dos dados adquiridos pela unidade de aquisição.

17. Aparelho de captura de imagem caracterizado pelo fato de que compreende: uma unidade de detecção configurada para executar um processo de detecção de assunto em uma imagem capturada; uma unidade de aquisição configurada para adquirir dados na imagem de captura; e uma unidade de mudança configurada para mudar o processo de detecção de assunto da unidade de detecção com base nos dados adquiridos pela unidade de aquisição, em que a unidade de mudança é configurada para, quando a unidade de mudança mudar o processo de detecção de assunto, atribuir pesos maiores aos dados adquiridos pela unidade de aquisição sobre a imagem de captura com base em uma instrução do usuário do que aos dados adquiridos pela unidade de aquisição sobre a imagem de captura processada automaticamente.

18. Aparelho de captura de imagem, de acordo com a reivindicação 17, caracterizado pelo fato de que a unidade de detecção é configurada para executar o processo de detecção de assunto com o uso de um parâmetro gerado com base em aprendizagem de máquina, e a unidade de mudança é configurada para mudar o processo de detecção de assunto atualizando-se o parâmetro com base em aprendizagem de máquina com o uso dos dados adquiridos pela unidade de aquisição.

19. Aparelho de captura de imagem caracterizado pelo fato de que compreende: uma unidade de notificação configurada para, antes de capturar, informar um assunto determinado a ser capturado que o assunto é capturado; uma unidade de aquisição configurada para adquirir dados sobre uma imagem de captura; e uma unidade de mudança configurada para mudar um processo de notificação da unidade de notificação com base nos dados adquiridos pela unidade de aquisição, em que a unidade de mudança é configurada para, quando a unidade de mudança mudar o processo de notificação, atribuir pesos maiores aos dados adquiridos pela unidade de aquisição sobre a imagem de captura com base em uma instrução do usuário do que aos dados adquiridos pela unidade de aquisição sobre a imagem de captura processada automaticamente.

20. Aparelho de captura de imagem, de acordo com a reivindicação 19, caracterizado pelo fato de que a unidade de notificação é configurada para executar o processo de notificação com o uso de um parâmetro gerado com base em aprendizagem de máquina, e a unidade de mudança é configurada para mudar o processo de notificação atualizando-se o parâmetro com base em aprendizagem de máquina com o uso dos dados adquiridos pela unidade de aquisição.

21. Aparelho de captura de imagem caracterizado pelo fato de que compreende: uma unidade de configuração configurada para passar para um modo de baixo consumo de energia elétrica; uma unidade de determinação de cancelamento configurada para determinar se deve cancelar o modo de baixo consumo de energia elétrica; uma unidade de aquisição configurada para adquirir dados sobre uma imagem de captura; e uma unidade de mudança configurada para mudar pelo menos um dentre processos de determinação da unidade de configuração e da unidade de determinação de cancelamento com base nos dados adquiridos pela unidade de aquisição, em que a unidade de mudança é configurada para, quando a unidade de mudança mudar pelo menos um dos processos de determinação, atribuir pesos maiores aos dados adquiridos pela unidade de aquisição sobre a imagem de captura com base em uma instrução do usuário do que nos dados adquiridos pela unidade de aquisição sobre a imagem de captura processada automaticamente.

22. Aparelho de captura de imagem, de acordo com a reivindicação 21, caracterizado pelo fato de que a unidade de determinação de cancelamento é configurada para executar o processo de determinação com o uso de um parâmetro gerado com base em aprendizagem de máquina, e a unidade de mudança é configurada para mudar o processo de determinação atualizando-se o parâmetro com base em aprendizagem de máquina com o uso dos dados adquiridos pela unidade de aquisição.

23. Aparelho de captura de imagem caracterizado pelo fato de que compreende: uma unidade de estabilização configurada para corrigir um movimento; uma unidade de aquisição configurada para adquirir dados sobre uma imagem de captura; e uma unidade de mudança configurada para mudar um processo de estabilização da unidade de estabilização com base nos dados adquiridos pela unidade de aquisição, em que a unidade de mudança é configurada para, quando a unidade de mudança mudar o processo de estabilização, atribuir pesos maiores aos dados adquiridos pela unidade de aquisição sobre a imagem de captura com base em uma instrução do usuário do que aos dados adquiridos pela unidade de aquisição sobre a imagem de captura processada automaticamente.

24. Aparelho de captura de imagem, de acordo com a reivindicação 23, caracterizado pelo fato de que a unidade de estabilização é configurada para executar o processo de estabilização com o uso de um parâmetro gerado com base em aprendizagem de máquina, e a unidade de mudança é configurada para mudar o processo de estabilização atualizando-se o parâmetro com base em aprendizagem de máquina com o uso dos dados adquiridos pela unidade de aquisição.

25. Método de controle para um aparelho de processamento, sendo que o método de controle é caracterizado pelo fato de que compreende: uma etapa de mudança para mudar um processo de captura de uma unidade de captura com base em dados sobre uma imagem de captura capturada pela unidade de captura, em que na etapa de mudança, quando o processo de captura é alterado, pesos maiores são atribuídos aos dados na imagem de captura com base em uma instrução de um usuário do que aos dados na imagem de captura processada automaticamente.