BR112021003183A2 - aparelho, sistema, método e programa de formação de imagem - Google Patents

aparelho, sistema, método e programa de formação de imagem Download PDF

Info

Publication number
BR112021003183A2
BR112021003183A2 BR112021003183-9A BR112021003183A BR112021003183A2 BR 112021003183 A2 BR112021003183 A2 BR 112021003183A2 BR 112021003183 A BR112021003183 A BR 112021003183A BR 112021003183 A2 BR112021003183 A2 BR 112021003183A2
Authority
BR
Brazil
Prior art keywords
unit
read
reading
recognition
frame
Prior art date
Application number
BR112021003183-9A
Other languages
English (en)
Inventor
Keitaro Yamamoto
Suguru Aoki
Ryuta SATOH
Ryoji Eki
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Publication of BR112021003183A2 publication Critical patent/BR112021003183A2/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

APARELHO, SISTEMA, MÉTODO E PROGRAMA DE FORMAÇÃO DE IMAGEM. Um aparelho de formação de imagem de acordo com uma modalidade inclui: uma unidade de formação de imagem (10) tendo uma região de pixel na qual uma pluralidade de pixels é arranjada; um controlador de leitura (11) que controla a leitura de sinais de pixels incluídos na região de pixel; uma primeira unidade de definição de unidade de leitura (142) que define uma unidade de leitura como uma parte da região de pixel, para a qual o controlador de leitura realiza a leitura do sinal de pixel; uma unidade de transmissão de imagem (143, 15) que transmite uma primeira imagem com base no sinal de pixel lido da unidade de leitura para um estágio subsequente; um segundo controlador de unidade de leitura (123) que controla a unidade de leitura na qual o controlador de leitura realiza leitura do sinal de pixel; e uma unidade de reconhecimento (14) que aprende dados de treinamento para cada uma das unidades de leitura, realiza um processo de reconhecimento no sinal de pixel para cada uma das unidades de leitura e transmite um resultado de reconhecimento que é um resultado do processo de reconhecimento.

Description

1 / 193 APARELHO, SISTEMA, MÉTODO E PROGRAMA DE FORMAÇÃO DE
IMAGEM Campo
[001] A presente descrição se refere a um aparelho de formação de imagem, a um sistema de formação de imagem, a um método de formação de imagem e a um programa de formação de imagem. Fundamentos
[002] Nos últimos anos, com a sofisticação dos aparelhos de formação de imagem, tais como câmeras fotográficas digitais, câmeras de vídeo digitais e pequenas câmeras montadas em telefones celulares multifuncionais (telefones inteligentes), houve os desenvolvimentos de aparelhos de formação de imagem equipados com uma função de reconhecimento de imagem para reconhecer um objeto pré-determinado incluído em uma imagem capturada. Lista de Citação Literatura Patentária
[003] Literatura Patentária 1: JP 2017-112409 A Sumário Problema Técnico
[004] De modo geral, uma imagem adequada para processos de reconhecimento na função de reconhecimento de imagem é diferente de uma imagem adequada para reconhecimento visual por humanos. Portanto, em uma tentativa de melhorar a precisão de reconhecimento em um aparelho de formação de imagem equipado com uma função de reconhecimento de imagem, pode ser difícil usar uma imagem capturada para o processo de reconhecimento como uma imagem que pode suficientemente prover informação como uma imagem para reconhecimento visual.
[005] A presente descrição visa a prover um aparelho de formação de imagem, um sistema de formação de imagem, um método de formação de
2 / 193 imagem e um programa de formação de imagem capazes de alcançar tanto a formação de imagem para processos de reconhecimento quanto formação de imagem para reconhecimento visual. Solução para o Problema
[006] Para resolver o problema supradescrito, um aparelho de formação de imagem de acordo com um aspecto da presente descrição tem uma unidade de formação de imagem que tem uma região de pixel na qual uma pluralidade de pixels é arranjada; um controlador de leitura que controla a leitura dos sinais de pixel a partir dos pixels incluídos na região de pixel; uma primeira unidade de definição da unidade de leitura que define uma unidade de leitura como uma parte da região de pixel para a qual o controlador de leitura realiza a leitura do sinal de pixel; uma unidade de transmissão de imagem que transmite uma primeira imagem com base no sinal de pixel lido da unidade de leitura, para um estágio subsequente; uma segunda unidade de definição de unidade de leitura que define a unidade de leitura na qual o controlador de leitura realiza a leitura do sinal de pixel; e uma unidade de reconhecimento que aprende dados de treinamento para cada uma das unidades de leitura, realiza um processo de reconhecimento no sinal de pixel para cada uma das unidades de leitura e transmite um resultado do reconhecimento que é um resultado do processo de reconhecimento. Breve Descrição dos Desenhos
[007] A figura 1 é um diagrama de blocos que ilustra uma configuração de um exemplo de um aparelho de formação de imagem aplicável em cada uma das modalidades da presente descrição.
[008] A figura 2A é um diagrama esquemático que ilustra um exemplo de uma configuração de hardware de um aparelho de formação de imagem de acordo com cada uma das modalidades.
[009] A figura 2B é um diagrama esquemático que ilustra um exemplo de uma configuração de hardware de um aparelho de formação de
3 / 193 imagem de acordo com cada uma das modalidades.
[0010] A figura 3A é um diagrama que ilustra um exemplo em que um aparelho de formação de imagem de acordo com cada uma das modalidades é formado como um CIS empilhado com uma estrutura de duas camadas.
[0011] A figura 3B é um diagrama que ilustra um exemplo em que um aparelho de formação de imagem de acordo com cada uma das modalidades é formado como um CIS empilhado com uma estrutura de três camadas.
[0012] A figura 4 é um diagrama de blocos que ilustra uma configuração de um exemplo de uma unidade sensora aplicável em cada uma das modalidades.
[0013] A figura 5A é uma vista esquemática que ilustra um método do obturador de rolamento.
[0014] A figura 5B é uma vista esquemática que ilustra um método do obturador de rolamento.
[0015] A figura 5C é uma vista esquemática que ilustra um método do obturador de rolamento.
[0016] A figura 6A é um diagrama esquemático que ilustra a redução de linha no método do obturador de rolamento.
[0017] A figura 6B é um diagrama esquemático que ilustra a redução de linha no método do obturador de rolamento.
[0018] A figura 6C é um diagrama esquemático que ilustra a redução de linha no método do obturador de rolamento.
[0019] A figura 7A é um diagrama que ilustra esquematicamente um exemplo de um outro método de formação de imagem no método do obturador de rolamento.
[0020] A figura 7B é um diagrama que ilustra esquematicamente um exemplo de um outro método de formação de imagem no método do
4 / 193 obturador de rolamento.
[0021] A figura 8A é um diagrama esquemático que ilustra um método de obturador global.
[0022] A figura 8B é um diagrama esquemático que ilustra um método de obturador global.
[0023] A figura 8C é um diagrama esquemático que ilustra um método de obturador global.
[0024] A figura 9A é um diagrama que ilustra esquematicamente um exemplo de um padrão de amostragem implementável no método de obturador global.
[0025] A figura 9B é um diagrama que ilustra esquematicamente um exemplo de um padrão de amostragem implementável no método de obturador global.
[0026] A figura 10 é um diagrama que ilustra esquematicamente um processo de reconhecimento de imagem realizado por uma CNN.
[0027] A figura 11 é um diagrama que ilustra esquematicamente um processo de reconhecimento de imagem para obter um resultado do reconhecimento a partir de uma parte de uma imagem como um alvo de reconhecimento.
[0028] A figura 12A é um diagrama que ilustra esquematicamente um exemplo de um processo de identificação realizado pela DNN quando a informação da série de tempo não for usada.
[0029] A figura 12B é um diagrama que ilustra esquematicamente um exemplo de um processo de identificação realizado pela DNN quando a informação da série de tempo não for usada.
[0030] A figura 13A é um diagrama que ilustra esquematicamente um primeiro exemplo de um processo de identificação realizado pela DNN quando a informação da série de tempo for usada.
[0031] A figura 13B é um diagrama que ilustra esquematicamente o
5 / 193 primeiro exemplo de um processo de identificação realizado pela DNN quando a informação da série de tempo for usada.
[0032] A figura 14A é um diagrama que ilustra esquematicamente um segundo exemplo de um processo de identificação realizado pela DNN quando a informação da série de tempo for usada.
[0033] A figura 14B é um diagrama que ilustra esquematicamente o segundo exemplo de um processo de identificação realizado pela DNN quando a informação da série de tempo for usada.
[0034] A figura 15A é um diagrama que ilustra um relacionamento entre uma velocidade de acionamento de quadro e uma quantidade de leitura do sinal de pixel.
[0035] A figura 15B é um diagrama que ilustra um relacionamento entre uma velocidade de acionamento de quadro e uma quantidade de leitura do sinal de pixel.
[0036] A figura 16 é um diagrama esquemático que ilustra esquematicamente um processo de reconhecimento de acordo com cada uma das modalidades da presente descrição.
[0037] A figura 17 é um fluxograma que ilustra um exemplo de um processo de reconhecimento realizado por uma unidade de processamento de reconhecimento de acordo com uma primeira modalidade.
[0038] A figura 18 é uma vista que ilustra um exemplo de dados de imagem para um quadro.
[0039] A figura 19 é uma vista que ilustra um fluxo de um processo de aprendizado de máquina executado pela unidade de processamento de reconhecimento de acordo com a primeira modalidade.
[0040] A figura 20A é uma vista esquemática que ilustra um exemplo de aplicação da primeira modalidade.
[0041] A figura 20B é uma vista esquemática que ilustra um exemplo de aplicação da primeira modalidade.
6 / 193
[0042] A figura 21 é um diagrama de blocos funcional de um exemplo que ilustra as funções de um aparelho de formação de imagem de acordo com uma segunda modalidade.
[0043] A figura 22 é um diagrama esquemático que ilustra com mais detalhes um exemplo dos processos na unidade de processamento de reconhecimento de acordo com a segunda modalidade.
[0044] A figura 23 é um diagrama de blocos funcional de um exemplo que ilustra as funções de acordo com a segunda modalidade.
[0045] A figura 24 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com a segunda modalidade.
[0046] A figura 25 é um diagrama esquemático que ilustra um esboço de um processo de reconhecimento de acordo com a segunda modalidade.
[0047] A figura 26 é um diagrama que ilustra um exemplo de terminação do processo de reconhecimento no meio da leitura de quadro.
[0048] A figura 27 é um diagrama que ilustra um exemplo de terminação do processo de reconhecimento no meio da leitura de quadro.
[0049] A figura 28 é um fluxograma que ilustra um exemplo do processo de reconhecimento de acordo com a segunda modalidade.
[0050] A figura 29A é um cronograma que ilustra um exemplo do controle do processo de leitura e de reconhecimento de acordo com a segunda modalidade.
[0051] A figura 29B é um cronograma que ilustra um exemplo do controle do processo de leitura e de reconhecimento de acordo com a segunda modalidade.
[0052] A figura 30 é um cronograma que ilustra um outro exemplo do controle do processo de leitura e de reconhecimento de acordo com a segunda modalidade.
[0053] A figura 31 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com uma primeira modificação da
7 / 193 segunda modalidade.
[0054] A figura 32 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com uma segunda modificação da segunda modalidade.
[0055] A figura 33 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com uma terceira modificação da segunda modalidade.
[0056] A figura 34 é um diagrama esquemático que ilustra um esboço de um processo de reconhecimento de acordo com uma terceira modificação da segunda modalidade.
[0057] A figura 35 é um diagrama que ilustra um exemplo de terminação do processo de reconhecimento no meio da leitura de quadro em um caso em que a unidade de leitura for uma área.
[0058] A figura 36 é um diagrama que ilustra um exemplo de terminação do processo de reconhecimento no meio da leitura de quadro em um caso em que a unidade de leitura for uma área.
[0059] A figura 37 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com uma quarta modificação da segunda modalidade.
[0060] A figura 38 é um diagrama esquemático que ilustra esquematicamente um processo de reconhecimento aplicável na quarta modificação da segunda modalidade.
[0061] A figura 39 é um cronograma que ilustra um exemplo de leitura e controle de acordo com a quarta modificação da segunda modalidade.
[0062] A figura 40 é uma vista que ilustra especificamente o processo de leitura de quadro de acordo com a quarta modificação da segunda modalidade.
[0063] A figura 41 é uma vista que ilustra especificamente o processo
8 / 193 de leitura de quadro de acordo com a quarta modificação da segunda modalidade.
[0064] A figura 42 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com uma quinta modificação da segunda modalidade.
[0065] A figura 43 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com uma sexta modificação da segunda modalidade.
[0066] A figura 44 é um diagrama que ilustra um exemplo de um padrão para realizar a leitura e um processo de reconhecimento de acordo com a sexta modificação da segunda modalidade.
[0067] A figura 45 é um diagrama esquemático que ilustra um primeiro exemplo de um processo de leitura de quadro de acordo com uma sétima modificação da segunda modalidade.
[0068] A figura 46 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com um primeiro outro exemplo da sétima modificação da segunda modalidade.
[0069] A figura 47 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com um segundo outro exemplo da sétima modificação da segunda modalidade.
[0070] A figura 48 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com um terceiro outro exemplo da sétima modificação da segunda modalidade.
[0071] A figura 49 é um diagrama de blocos funcional que ilustra um exemplo das funções de acordo com uma oitava modificação da segunda modalidade.
[0072] A figura 50 é um fluxograma de um exemplo que ilustra um processo de reconhecimento de acordo com a oitava modificação da segunda modalidade.
9 / 193
[0073] A figura 51A é um diagrama que ilustra um primeiro exemplo de leitura e do processo de reconhecimento de acordo com a oitava modificação da segunda modalidade.
[0074] A figura 51B é uma vista que ilustra um primeiro exemplo de leitura e do processo de reconhecimento de acordo com a oitava modificação da segunda modalidade.
[0075] A figura 52 é um diagrama que ilustra um exemplo de um padrão de exposição de acordo com uma nona modificação da segunda modalidade.
[0076] A figura 53 é um diagrama de blocos funcional de um exemplo que ilustra uma função de acordo com uma décima modificação da segunda modalidade.
[0077] A figura 54 é um fluxograma de um exemplo que ilustra um processo de acordo com a décima modificação da segunda modalidade.
[0078] A figura 55 é um diagrama esquemático que ilustra um primeiro processo de acordo com a décima modificação da segunda modalidade.
[0079] A figura 56 é um diagrama esquemático que ilustra um segundo processo de acordo com a décima modificação da segunda modalidade.
[0080] A figura 57A é um diagrama esquemático que ilustra um terceiro processo de acordo com a décima modificação da segunda modalidade.
[0081] A figura 57B é um diagrama esquemático que ilustra o terceiro processo de acordo com a décima modificação da segunda modalidade.
[0082] A figura 58A é um diagrama esquemático que ilustra o terceiro processo de acordo com a décima modificação da segunda modalidade.
[0083] A figura 58B é um diagrama esquemático que ilustra o terceiro processo de acordo com a décima modificação da segunda modalidade.
10 / 193
[0084] A figura 59A é um diagrama esquemático que ilustra o terceiro processo de acordo com a décima modificação da segunda modalidade.
[0085] A figura 59B é um diagrama esquemático que ilustra o terceiro processo de acordo com a décima modificação da segunda modalidade.
[0086] A figura 60 é um diagrama esquemático que ilustra com mais detalhes um exemplo dos processos em uma unidade de processamento de reconhecimento de acordo com a décima modificação da segunda modalidade.
[0087] A figura 61 é um diagrama de blocos funcional de um exemplo que ilustra as funções de acordo com uma terceira modalidade.
[0088] A figura 62 é um diagrama esquemático que ilustra um exemplo de padrões de unidade de leitura aplicáveis na terceira modalidade.
[0089] A figura 63 é um diagrama esquemático que ilustra um exemplo de um padrão de ordem de leitura aplicável na terceira modalidade.
[0090] A figura 64 é um diagrama de blocos funcional que ilustra um exemplo das funções de acordo com uma primeira modificação da terceira modalidade.
[0091] A figura 65 é um diagrama esquemático que ilustra um primeiro método de definição de acordo com a primeira modificação da terceira modalidade.
[0092] A figura 66 é um diagrama esquemático que ilustra um segundo método de definição de acordo com a primeira modificação da terceira modalidade.
[0093] A figura 67 é um diagrama esquemático que ilustra um terceiro método de definição de acordo com a primeira modificação da terceira modalidade.
[0094] A figura 68 é um diagrama de blocos funcional de um exemplo que ilustra a função do aparelho de formação de imagem de acordo com a terceira modificação da terceira modalidade.
11 / 193
[0095] A figura 69 é um diagrama de blocos funcional de um exemplo que ilustra as funções de um aparelho de formação de imagem de acordo com uma quarta modalidade.
[0096] A figura 70 é um diagrama esquemático que ilustra esquematicamente o processamento de imagem de acordo com a quarta modalidade.
[0097] A figura 71 é um diagrama que ilustra um exemplo de um processo de leitura de acordo com a quarta modalidade.
[0098] A figura 72 é um fluxograma que ilustra um exemplo dos processos de acordo com a quarta modalidade.
[0099] A figura 73 é um diagrama que ilustra um terceiro exemplo de controle de uma unidade de armazenamento dos dados de imagem de acordo com a quarta modalidade.
[00100] A figura 74 é um diagrama que ilustra uma primeira modificação da quarta modalidade.
[00101] A figura 75 é um diagrama que ilustra uma segunda modificação da quarta modalidade.
[00102] A figura 76 é um diagrama que ilustra um primeiro exemplo em uma terceira modificação da quarta modalidade.
[00103] A figura 77 é um diagrama que ilustra um exemplo de uso de um aparelho de formação de imagem no qual a técnica da presente descrição é aplicada.
[00104] A figura 78 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um sistema de controle de veículo.
[00105] A figura 79 é uma vista que ilustra um exemplo de posições de instalação de uma unidade de detecção de informação no exterior do veículo e uma unidade de formação de imagem. Descrição das Modalidades
[00106] As modalidades da presente descrição serão descritas com
12 / 193 detalhes a seguir em relação aos desenhos. Em cada uma das seguintes modalidades, as mesmas partes são denotadas pelos mesmos símbolos de referência, e uma descrição repetitiva das mesmas será omitida.
[00107] A seguir, as modalidades da presente descrição serão descritas na seguinte ordem.
[00108] 1. Exemplo de configuração de acordo com cada uma das modalidades da presente descrição
2. Exemplos de tecnologias existentes aplicáveis na presente descrição 2-1. Visão geral do obturador de rolamento 2-2. Visão geral do obturador global 2-3. Rede neural profunda (DNN) 2-3-1. Visão geral da rede neural convolucional (CNN) 2-3-2. Visão geral da rede neural recorrente (RNN) 2-4. Velocidade de acionamento
3. Visão geral da presente descrição
4. Primeira modalidade 4-1. Exemplos de operação na unidade de processamento de reconhecimento 4-2. Exemplo específico das operações na unidade de processamento de reconhecimento 4-3. Exemplo de aplicação da primeira modalidade
5. Segunda modalidade 5-0-1. Exemplo de configuração de acordo com a segunda modalidade 5-0-2. Exemplo dos processos na unidade de processamento de reconhecimento de acordo com a segunda modalidade 5-0-3. Detalhes do processo de reconhecimento de acordo com a segunda modalidade
13 / 193 5-0-4. Exemplo de controle de processos de leitura e de reconhecimento de acordo com a segunda modalidade 5-1. Primeira modificação da segunda modalidade 5-2. Segunda modificação da segunda modalidade 5-3. Terceira modificação da segunda modalidade 5-4. Quarta modificação da segunda modalidade 5-5. Quinta modificação da segunda modalidade 5-6. Sexta modificação da segunda modalidade 5-7. Sétima modificação da segunda modalidade 5-8. Oitava modificação da segunda modalidade 5-9. Nona modificação da segunda modalidade 5-10. Décima modificação da segunda modalidade
6. Terceira modalidade 6-0-1. Método de determinação dos padrões de unidade de leitura e dos padrões da ordem de leitura 6-0-1-1. Exemplo de padrões de unidade de leitura e padrões da ordem de leitura 6-0-1-2. Exemplo específico de método de definição de prioridade dos padrões de unidade de leitura 6-0-1-3. Exemplo específico do método de definição de prioridade dos padrões da ordem de leitura 6-1. Primeira modificação da terceira modalidade 6-2. Segunda modificação da terceira modalidade 6-3. Terceira modificação da terceira modalidade
7. Quarta modalidade 7-1. Primeira modificação da quarta modalidade 7-2. Segunda modificação da quarta modalidade 7-3. Terceira modificação da quarta modalidade
8. Quinta modalidade
14 / 193 [1. Exemplo de configuração de acordo com cada uma das modalidades da presente descrição]
[00109] Uma configuração de um aparelho de formação de imagem de acordo com a presente descrição será esquematicamente descrita. A figura 1 é um diagrama de blocos que ilustra uma configuração de um exemplo de um aparelho de formação de imagem aplicável em cada uma das modalidades da presente descrição. Na figura 1, um aparelho de formação de imagem 1 inclui uma unidade sensora 10, um controlador do sensor 11, uma unidade de processamento de reconhecimento 12, uma memória 13, uma unidade de processamento de reconhecimento visual 14 e um controlador de saída 15. O aparelho de formação de imagem 1 é um sensor de imagem de semicondutor de óxido de metal complementar (CMOS) (CIS) em que estas unidades individuais são integralmente formadas pelo uso do CMOS. O aparelho de formação de imagem 1 não é limitado a este exemplo, e pode ser um outro tipo de sensor óptico, tal como um sensor de luz infravermelha que realiza a formação de imagem com a luz infravermelha.
[00110] A unidade sensora 10 transmite um sinal de pixel correspondente à luz emitida para uma superfície de recepção de luz por meio de uma unidade óptica 30. Mais especificamente, a unidade sensora 10 tem um arranjo de pixels em que os pixels que incluem pelo menos um elemento de conversão fotoelétrica são arranjados em uma matriz. A superfície de recepção de luz é formada por pixels individuais arranjados em uma matriz no arranjo de pixels. A unidade sensora 10 inclui adicionalmente: um circuito de acionamento para acionar os pixels individuais incluídos no arranjo de pixels e um circuito de processamento de sinal que realiza o processamento de sinal pré-determinado no sinal lido a partir de cada um dos pixels e transmite o sinal processado como um sinal de pixel de cada um dos pixels. A unidade sensora 10 transmite o sinal de pixel de cada um dos pixels incluídos na região de pixel como os dados de imagem em formato digital.
15 / 193
[00111] A seguir, no arranjo de pixels incluído na unidade sensora 10, uma região na qual os pixels válidos para gerar o sinal de pixel são arranjados será referida como um quadro. Os dados de imagem do quadro são formados pelos dados de pixel com base em cada um dos sinais de pixel transmitidos a partir de cada um dos pixels incluídos no quadro. Além do mais, cada uma das linhas no arranjo de pixels da unidade sensora 10 é referida como uma linha, e os dados de pixel com base em um sinal de pixel transmitido a partir de cada um dos pixels incluídos na linha irão formar os dados de imagem da linha. A operação em que a unidade sensora 10 transmite um sinal de pixel correspondente à luz aplicada na superfície de recepção de luz é referida como formação de imagem. A unidade sensora 10 controla a exposição no momento da formação de imagem e o ganho (ganho analógico) do sinal de pixel de acordo com o sinal de controle da formação de imagem suprido a partir do controlador do sensor 11 descrito a seguir.
[00112] Constituído com um microprocessador, por exemplo, o controlador do sensor 11 controla a leitura dos dados de pixel a partir da unidade sensora 10, e transmite os dados de pixel com base em cada um dos sinais de pixel lidos a partir de cada um dos pixels incluídos no quadro. Os dados de pixel transmitidos a partir do controlador do sensor 11 são passados para a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14.
[00113] Além do mais, o controlador do sensor 11 gera um sinal de controle da formação de imagem para controlar a formação de imagem na unidade sensora 10. O controlador do sensor 11 gera o sinal de controle da formação de imagem de acordo com as instruções provenientes da unidade de processamento de reconhecimento 12 e da unidade de processamento de reconhecimento visual 14, que serão descritas a seguir, por exemplo. O sinal de controle da formação de imagem contém a informação que indica os supradescritos exposição e ganho analógico definidos no momento da
16 / 193 formação de imagem na unidade sensora 10. O sinal de controle da formação de imagem contém adicionalmente um sinal de controle (sinal de sincronismo vertical, sinal de sincronismo horizontal ou similares) usado pela unidade sensora 10 para realizar a operação de formação de imagem. O controlador do sensor 11 supre o sinal de controle da formação de imagem gerado para a unidade sensora 10.
[00114] A unidade óptica 30 é provida para aplicar a luz proveniente do objeto na superfície de recepção de luz da unidade sensora 10 e fica disposta em uma posição correspondente à unidade sensora 10, por exemplo. A unidade óptica 30 inclui, por exemplo, uma pluralidade de lentes, um mecanismo de diafragma para ajustar o tamanho de uma abertura em relação à luz incidente, e um mecanismo de foco para ajustar o foco da luz aplicada em uma superfície de recepção de luz. A unidade óptica 30 pode incluir adicionalmente um mecanismo obturador (obturador mecânico) que ajusta a duração pela qual a luz é aplicada na superfície de recepção de luz. O mecanismo de diafragma, o mecanismo de foco e o mecanismo obturador da unidade óptica 30 podem ser controlados pelo controlador do sensor 11, por exemplo. Não limitado a isto, a abertura / o diafragma e o foco da unidade óptica 30 podem ser controlados a partir do exterior do aparelho de formação de imagem 1. Também é possível configurar integralmente a unidade óptica 30 com o aparelho de formação de imagem 1.
[00115] A unidade de processamento de reconhecimento 12 realiza o processamento de reconhecimento em um objeto incluído na imagem que contém os dados de pixel com base nos dados de pixel passados a partir do controlador do sensor 11. Na presente descrição, por exemplo, um processador de sinal digital (DSP) lê e executa um programa que passou por aprendizado preliminar usando os dados de treinamento e que é armazenado como um modelo de aprendizado na memória 13, desse modo, realizando a unidade de processamento de reconhecimento 12 como uma unidade de
17 / 193 aprendizado de máquina que realiza o processo de reconhecimento usando uma rede neural profunda (DNN). A unidade de processamento de reconhecimento 12 pode instruir o controlador do sensor 11 a ler os dados de pixel necessários para o processo de reconhecimento a partir da unidade sensora 10. O resultado do reconhecimento obtido pela unidade de processamento de reconhecimento 12 é passado para o controlador de saída
15.
[00116] A unidade de processamento de reconhecimento visual 14 executa o processamento para obter uma imagem adequada para o reconhecimento humano nos dados de pixel passados a partir do controlador do sensor 11, e transmite os dados de imagem que contém um conjunto de dados de pixel, por exemplo. Por exemplo, um processador de sinal de imagem (ISP) lê e executa um programa armazenado antecipadamente na memória (não ilustrado), desse modo, realizando a unidade de processamento de reconhecimento visual 14.
[00117] Por exemplo, em um caso em que um filtro de cor for provido para cada um dos pixels incluídos na unidade sensora 10 e os dados de pixel tiverem tipos individuais de informação de cor, a saber, a informação de vermelho (R), verde (G), e azul (B), a unidade de processamento de reconhecimento visual 14 pode executar um processo de desmosaicação, um processo de equilíbrio de branco ou similares. Além do mais, a unidade de processamento de reconhecimento visual 14 pode instruir o controlador do sensor 11 a ler os dados de pixel necessários para o processo de reconhecimento visual a partir da unidade sensora 10. Os dados de imagem em que os dados de pixel passaram pelo processamento de imagem realizado pela unidade de processamento de reconhecimento visual 14 são passados para o controlador de saída 15.
[00118] O controlador de saída 15 é constituído com um microprocessador, por exemplo, e transmite um ou ambos do resultado do
18 / 193 reconhecimento passado a partir da unidade de processamento de reconhecimento 12 e dos dados de imagem passados como um resultado do processamento do reconhecimento visual a partir da unidade de processamento de reconhecimento visual 14 para o exterior do aparelho de formação de imagem 1. O controlador de saída 15 pode transmitir os dados de imagem para uma unidade de exibição 31 que tem um dispositivo de exibição, por exemplo. Isto habilita que o usuário reconheça visualmente os dados de imagem exibidos pela unidade de exibição 31. A unidade de exibição 31 pode ser construída no aparelho de formação de imagem 1 ou pode ser provida no exterior do aparelho de formação de imagem 1.
[00119] As figuras 2A e 2B são diagramas esquemáticos que ilustram um exemplo de uma configuração de hardware do aparelho de formação de imagem 1 de acordo com cada uma das modalidades. A figura 2A em um exemplo em que a unidade sensora 10, o controlador do sensor 11, a unidade de processamento de reconhecimento 12, a memória 13, a unidade de processamento de reconhecimento visual 14 e o controlador de saída 15, dentre os componentes na figura 1, são montados em um chip 2. Note que a figura 2A omite a ilustração da memória 13 e do controlador de saída 15 para a simplificação.
[00120] Na configuração ilustrada na figura 2A, o resultado do reconhecimento obtido pela unidade de processamento de reconhecimento 12 é transmitido para o exterior do chip 2 por meio do controlador de saída 15 (não ilustrado). Além do mais, na configuração da figura 2A, a unidade de processamento de reconhecimento 12 pode adquirir os dados de pixel para uso no reconhecimento do controlador do sensor 11 por meio de uma interface interna do chip 2.
[00121] A figura 2B é um exemplo em que a unidade sensora 10, o controlador do sensor 11, a unidade de processamento de reconhecimento visual 14 e o controlador de saída 15, dentre os componentes da figura 1, são
19 / 193 montados em um chip 2, e a unidade de processamento de reconhecimento 12 e a memória 13 (não ilustrada) ficam dispostos no exterior do chip 2. A figura 2B também omite a ilustração da memória 13 e do controlador de saída 15 para a simplificação, similarmente à figura 2A.
[00122] Na configuração da figura 2B, a unidade de processamento de reconhecimento 12 adquire os dados de pixel a serem usados para o reconhecimento por meio de uma interface provida para a comunicação interchips. Além do mais, na figura 2B, o resultado do reconhecimento obtido pela unidade de processamento de reconhecimento 12 é transmitido a partir da unidade de processamento de reconhecimento 12 diretamente para o exterior, mas o método de transmissão não é limitado a este exemplo. Isto é, na configuração da figura 2B, a unidade de processamento de reconhecimento 12 pode retornar o resultado do reconhecimento para o chip 2 e pode realizar o controle para transmitir o resultado do controlador de saída 15 (não ilustrado) montado no chip 2.
[00123] Na configuração ilustrada na figura 2A, a unidade de processamento de reconhecimento 12 é montada no chip 2 juntamente com o controlador do sensor 11, o que habilita que a comunicação em alta velocidade entre a unidade de processamento de reconhecimento 12 e o controlador do sensor 11 seja executada pela interface interna do chip 2. Por outro lado, a configuração ilustrada na figura 2A tem uma dificuldade na substituição da unidade de processamento de reconhecimento 12, levando a uma dificuldade na mudança do processo de reconhecimento. Ao contrário, a unidade de processamento de reconhecimento 12 na configuração ilustrada na figura 2B é provida no exterior do chip 2, e há uma necessidade de realizar a comunicação entre a unidade de processamento de reconhecimento 12 e o controlador do sensor 11 por meio de uma interface entre os chips. Isto torna a comunicação entre a unidade de processamento de reconhecimento 12 e o controlador do sensor 11 mais lenta do que na configuração ilustrada na figura
20 / 193 2A, levando a uma possibilidade de uma ocorrência de atraso no controle. Por outro lado, a unidade de processamento de reconhecimento 12 pode ser facilmente substituída e, assim, vários processos de reconhecimento podem ser implementados.
[00124] A seguir, a menos que de outra forma especificada, o aparelho de formação de imagem 1 tem uma configuração que inclui a unidade sensora 10, o controlador do sensor 11, a unidade de processamento de reconhecimento 12, a memória 13, a unidade de processamento de reconhecimento visual 14 e o controlador de saída 15, que são montados em um chip 2 na figura 2A.
[00125] Na configuração ilustrada na figura 2A supradescrita, o aparelho de formação de imagem 1 pode ser formado em um substrato. Não limitado a isto, o aparelho de formação de imagem 1 pode ser implementado como um CIS empilhado em que uma pluralidade de chips semicondutores é empilhada e integralmente formada.
[00126] Como um exemplo, o aparelho de formação de imagem 1 pode ser formado para ter uma estrutura de duas camadas em que os chips semicondutores são empilhados em duas camadas. A figura 3A é um diagrama que ilustra um exemplo em que o aparelho de formação de imagem 1 de acordo com cada uma das modalidades é formado como um CIS empilhado com uma estrutura de duas camadas. Na estrutura da figura 3A, uma unidade de pixel 20a é formada em um chip semicondutor da primeira camada, e uma memória + unidade lógica 20b é formada em um chip semicondutor da segunda camada. A unidade de pixel 20a inclui pelo menos um arranjo de pixels na unidade sensora 10. Por exemplo, a memória + unidade lógica 20b inclui o controlador do sensor 11, a unidade de processamento de reconhecimento 12, a memória 13, a unidade de processamento de reconhecimento visual 14 e o controlador de saída 15, bem como uma interface provida para a comunicação entre o aparelho de formação
21 / 193 de imagem 1 e o exterior. A memória + unidade lógica 20b inclui adicionalmente uma parte do ou todo o circuito de acionamento que aciona o arranjo de pixels na unidade sensora 10. Além do mais, embora não ilustrado, a memória + unidade lógica 20b pode incluir adicionalmente a memória usada pela unidade de processamento de reconhecimento visual 14 para o processamento dos dados de imagem.
[00127] Da forma ilustrada no lado direito da figura 3A, o chip semicondutor da primeira camada e o chip semicondutor da segunda camada são ligados em conjunto, ao mesmo tempo em que têm contato elétrico um com o outro, o que habilita que o aparelho de formação de imagem 1 seja configurado como um elemento de formação de imagem em estado sólido.
[00128] Como um outro exemplo, o aparelho de formação de imagem 1 pode ser formado para ter uma estrutura de três camadas em que os chips semicondutores são empilhados em três camadas. A figura 3B é um diagrama que ilustra um exemplo em que o aparelho de formação de imagem 1 de acordo com cada uma das modalidades é formado como um CIS empilhado com uma estrutura de três camadas. Na estrutura da figura 3B, uma unidade de pixel 20a é formada em um chip semicondutor da primeira camada, uma unidade de memória 20c é formada em um semicondutor da segunda camada, e uma unidade lógica 20b’ é formada em um chip semicondutor da terceira camada. Neste caso, a unidade lógica 20b’ inclui o controlador do sensor 11, a unidade de processamento de reconhecimento 12, a unidade de processamento de reconhecimento visual 14, o controlador de saída 15, e a interface provida para a comunicação entre o aparelho de formação de imagem 1 e o exterior, por exemplo. Além do mais, a unidade de memória 20c pode incluir a memória 13 e memória usada pela unidade de processamento de reconhecimento visual 14 para o processamento dos dados de imagem, por exemplo. A memória 13 pode ser incluída na unidade lógica 20b’.
[00129] Da forma ilustrada no lado direito da figura 3B, o chip
22 / 193 semicondutor da primeira camada, o chip semicondutor da segunda camada e o chip semicondutor da terceira camada são ligados em conjunto, ao mesmo tempo em que têm contato elétrico uns com os outros, o que habilita que o aparelho de formação de imagem 1 seja configurado como um elemento de formação de imagem em estado sólido.
[00130] A figura 4 é um diagrama de blocos que ilustra uma configuração de um exemplo da unidade sensora 10 aplicável em cada uma das modalidades. Na figura 4, a unidade sensora 10 inclui uma unidade do arranjo de pixels 101, uma unidade de escaneamento vertical 102, uma unidade de conversão analógico para digital (AD) 103, uma linha do sinal de pixel 106, uma linha do sinal vertical VSL, uma unidade de controle 1100, e uma unidade de processamento de sinal 1101. Na figura 4, a unidade de controle 1100 e a unidade de processamento de sinal 1101 podem ser incluídas no controlador do sensor 11 ilustrado na figura 1, por exemplo.
[00131] A unidade do arranjo de pixels 101 inclui uma pluralidade de circuitos de pixel 100, cada um dos quais incluindo um elemento de conversão fotoelétrica que usa um fotodiodo, por exemplo, que realiza a conversão fotoelétrica na luz recebida, e um circuito que realiza a leitura de uma carga do elemento de conversão fotoelétrica. Na unidade do arranjo de pixels 101, a pluralidade dos circuitos de pixel 100 são arranjados em uma matriz na direção horizontal (direção da linha) e na direção vertical (direção da coluna). Na unidade do arranjo de pixels 101, o arranjo dos circuitos de pixel 100 na direção da linha é referido como uma linha. Por exemplo, em um caso em que uma imagem de um quadro for formada por 1.920 pixels x 1.080 linhas, a unidade do arranjo de pixels 101 inclui pelo menos 1.080 linhas incluindo pelo menos 1.920 circuitos de pixel 100. Um sinal de pixel lido a partir do circuito de pixel 100 incluído no quadro forma uma imagem (uma peça de dados de imagem) de um quadro.
[00132] A seguir, uma operação de leitura de um sinal de pixel a partir
23 / 193 de cada um dos circuitos de pixel 100 incluídos no quadro na unidade sensora 10 será descrita como uma operação de leitura de um pixel a partir do quadro, conforme apropriado. Além do mais, uma operação de leitura de um sinal de pixel a partir de cada um dos circuitos de pixel 100 da linha incluída no quadro será descrita como uma operação de leitura de uma linha, conforme apropriado.
[00133] Além do mais, na unidade do arranjo de pixels 101, a linha do sinal de pixel 106 é conectada em cada uma das linhas e a linha do sinal vertical VSL é conectada em cada uma das colunas, considerando as linhas e as colunas de cada um dos circuitos de pixel 100. Uma extremidade da linha do sinal de pixel 106 que não é conectada na unidade do arranjo de pixels 101 é conectada na unidade de escaneamento vertical 102. A unidade de escaneamento vertical 102 transmite um sinal de controle, tal como um pulso de acionamento usado no momento da leitura de um sinal de pixel a partir de um pixel, para a unidade do arranjo de pixels 101 por meio da linha do sinal de pixel 106 sob o controle da unidade de controle 1100 descrita a seguir. A extremidade da linha do sinal vertical VSL que não é conectada na unidade do arranjo de pixels 101 é conectada na unidade de conversão AD 103. O sinal de pixel lido a partir do pixel é transmitido para a unidade de conversão AD 103 por meio da linha do sinal vertical VSL.
[00134] O controle de leitura do sinal de pixel proveniente do circuito de pixel 100 será esquematicamente descrito. A leitura de um sinal de pixel proveniente do circuito de pixel 100 é realizada em processos de transferência da carga armazenada no elemento de conversão fotoelétrica pela exposição à camada de difusão flutuante (FD) e pela conversão da carga transferida na camada de difusão flutuante em uma voltagem. A voltagem convertida a partir da carga na camada de difusão flutuante é transmitida para a linha do sinal vertical VSL por meio de um amplificador.
[00135] Mais especificamente, o circuito de pixel 100 é definido,
24 / 193 durante a exposição, para desativar (abrir) a conexão entre o elemento de conversão fotoelétrica e a camada de difusão flutuante para armazenar a carga gerada pela luz incidente pela conversão fotoelétrica, no elemento de conversão fotoelétrica. Depois do final da exposição, a camada de difusão flutuante e a linha do sinal vertical VSL são conectadas de acordo com um sinal de seleção suprido por meio da linha do sinal de pixel 106. Além do mais, a camada de difusão flutuante é conectada na linha de suprimento da voltagem do suprimento de energia VDD ou da voltagem em nível de preto em um curto período de tempo de acordo com um pulso de redefinição suprido por meio da linha do sinal de pixel 106 para redefinir a camada de difusão flutuante. A voltagem no nível de redefinição (definida como voltagem A) da camada de difusão flutuante é transmitido para a linha do sinal vertical VSL. Posteriormente, o pulso de transferência suprido por meio da linha do sinal de pixel 106 ativa (fecha) a conexão entre o elemento de conversão fotoelétrica e a camada de difusão flutuante para transferir a carga elétrica armazenada no elemento de conversão fotoelétrica para a camada de difusão flutuante. Uma voltagem (definida como voltagem B) correspondente à quantidade de carga na camada de difusão flutuante é transmitida para a linha do sinal vertical VSL.
[00136] A unidade de conversão AD 103 inclui um conversor AD 107 provido para cada uma das linhas do sinal vertical VSL, um gerador do sinal de referência 104 e uma unidade de escaneamento horizontal 105. O conversor AD 107 é um conversor AD de coluna que realiza um processo de conversão AD em cada uma das colunas da unidade do arranjo de pixels 101. O conversor AD 107 realiza o processo de conversão AD no sinal de pixel suprido a partir do circuito de pixel 100 por meio da linha do sinal vertical VSL e, desse modo, gera dois valores digitais (valores correspondentes às Voltagens A e B usadas no processo de amostragem dupla correlacionada (CDS) para a redução de ruído.
25 / 193
[00137] O conversor AD 107 supre os dois valores digitais gerados para a unidade de processamento de sinal 1101. A unidade de processamento de sinal 1101 realiza o processo CDS com base nos dois valores digitais supridos a partir do conversor AD 107 e, desse modo, gera um sinal de pixel (uma peça de dados de pixel) formado de um sinal digital. Os dados de pixel gerados pela unidade de processamento de sinal 1101 são transmitidos para o exterior da unidade sensora 10.
[00138] Com base no sinal de controle inserido a partir da unidade de controle 1100, o gerador do sinal de referência 104 gera um sinal de rampa como um sinal de referência, que é usado por cada um dos conversores AD 107 para converter o sinal de pixel em dois valores digitais. O sinal de rampa é um sinal em que o nível (valor de voltagem) diminui com uma inclinação constante em relação ao tempo, ou um sinal em que o nível diminui gradualmente. O gerador do sinal de referência 104 supre o sinal de rampa gerado para cada conversor AD 107. O gerador do sinal de referência 104 é configurado pelo uso de um conversor digital para analógico (DAC) ou similares.
[00139] Quando um sinal de rampa em que a voltagem cai gradualmente com uma inclinação pré-determinada for suprido a partir do gerador do sinal de referência 104, o contador inicia a contagem de acordo com o sinal do relógio. Um comparador compara a voltagem do sinal de pixel suprido a partir da linha do sinal vertical VSL com a voltagem do sinal de rampa, e para a contagem pelo contador no sincronismo em que a voltagem do sinal de rampa cruza a voltagem do sinal de pixel. O conversor AD 107 transmite um valor correspondente ao valor de contagem no momento em que a contagem é interrompida, desse modo, convertendo o sinal de pixel que é o sinal analógico em um valor digital.
[00140] O conversor AD 107 supre os dois valores digitais gerados para a unidade de processamento de sinal 1101. A unidade de processamento
26 / 193 de sinal 1101 realiza o processo CDS com base nos dois valores digitais supridos a partir do conversor AD 107 e, desse modo, gera um sinal de pixel (uma peça de dados de pixel) formado de um sinal digital. O sinal de pixel que é o sinal digital gerado pela unidade de processamento de sinal 1101 é transmitido para o exterior da unidade sensora 10.
[00141] Sob o controle da unidade de controle 1100, a unidade de escaneamento horizontal 105 realiza o escaneamento seletivo em que cada um dos conversores AD 107 é selecionado em uma ordem pré-determinada para transmitir sequencialmente cada um dos valores digitais temporariamente mantidos em cada um dos conversores AD 107 para a unidade de processamento de sinal 1101. A unidade de escaneamento horizontal 105 é implementada como um registro de deslocamento ou um decodificador de endereço, por exemplo.
[00142] Com base no sinal de controle da formação de imagem suprido a partir do controlador do sensor 11, a unidade de controle 1100 realiza o controle de acionamento da unidade de escaneamento vertical 102, da unidade de conversão AD 103, do gerador do sinal de referência 104, da unidade de escaneamento horizontal 105 ou similares. A unidade de controle 1100 gera vários sinais de acionamento que fazem uma referência para a operação da unidade de escaneamento vertical 102, da unidade de conversão AD 103, do gerador do sinal de referência 104 e da unidade de escaneamento horizontal
105. Com base no sinal de sincronismo vertical ou no sinal de gatilho externo, e no sinal de sincronismo horizontal, incluídos no sinal de controle da formação de imagem, por exemplo, a unidade de controle 1100 gera um sinal de controle a ser suprido pela unidade de escaneamento vertical 102 para cada um dos circuitos de pixel 100 por meio da linha do sinal de pixel 106. A unidade de controle 1100 supre o sinal de controle gerado para a unidade de escaneamento vertical 102.
[00143] Além do mais, a unidade de controle 1100 passa, por exemplo,
27 / 193 a informação que indica um ganho analógico incluído no sinal de controle da formação de imagem suprido a partir do controlador do sensor 11 para a unidade de conversão AD 103. Com base na informação que indica o ganho analógico, a unidade de conversão AD 103 controla o ganho do sinal de pixel inserido em cada um dos conversores AD 107 incluídos na unidade de conversão AD 103 por meio da linha do sinal vertical VSL.
[00144] Com base no sinal de controle suprido a partir da unidade de controle 1100, a unidade de escaneamento vertical 102 supre vários sinais, incluindo um pulso de acionamento na linha do sinal de pixel 106 da fileira de pixel selecionada da unidade do arranjo de pixels 101, para cada um dos circuitos de pixel 100 linha por linha, para permitir que o sinal de pixel seja transmitido a partir de cada um dos circuitos de pixel 100 para a linha do sinal vertical VSL. A unidade de escaneamento vertical 102 é implementada como um registro de deslocamento ou um decodificador de endereço, por exemplo. Além do mais, a unidade de escaneamento vertical 102 controla a exposição em cada um dos circuitos de pixel 100 com base na informação que indica a exposição suprida a partir da unidade de controle 1100.
[00145] A unidade sensora 10 configurada desta maneira é um sensor de imagem de Semicondutor de Óxido de Metal Complementar (CMOS) tipo AD de coluna em que os conversores AD 107 são arranjados em colunas. [2. Exemplos de tecnologias existentes aplicáveis na presente descrição]
[00146] Antes da descrição de cada uma das modalidades de acordo com a presente descrição, as tecnologias existentes aplicáveis na presente descrição serão esboçadas a fim de facilitar o entendimento. (2-1. Visão geral do obturador de rolamento)
[00147] Os métodos de formação de imagem conhecidos usados na execução da formação de imagem pela unidade do arranjo de pixels 101 incluem um método do obturador de rolamento (RS) e um método do obturador global (GS). Primeiro, o método do obturador de rolamento será
28 / 193 esquematicamente descrito. As figuras 5A, 5B, e 5C são vistas esquemáticas que ilustram o método do obturador de rolamento. No método do obturador de rolamento, da forma ilustrada na figura 5A, a formação de imagem é realizada na ordem a partir da linha 201 em uma extremidade superior de um quadro 200, por exemplo, em unidades de linhas.
[00148] A descrição exposta descreveu “formação de imagem” como a representação de uma operação em que a unidade sensora 10 transmite um sinal de pixel correspondente à luz aplicada na superfície de recepção de luz. Mais especificamente, a “formação de imagem” é usada para representar uma série de operações começando a partir da exposição de um pixel até a transferência do sinal de pixel com base na carga armazenada pela exposição ao elemento de conversão fotoelétrica incluído no pixel para o controlador do sensor 11. Além do mais, como exposto, um quadro se refere a uma região da unidade do arranjo de pixels 101 em que o circuito de pixel 100 válido para gerar um sinal de pixel é arranjado.
[00149] Por exemplo, na configuração da figura 4, a exposição é simultaneamente executada para cada um dos circuitos de pixel 100 incluídos em uma linha. Depois do final da exposição, os sinais de pixel com base nas cargas armazenadas pela exposição são simultaneamente transferidos em cada um dos circuitos de pixel 100 incluídos na linha por meio de cada uma das linhas do sinal vertical VSL correspondentes a cada um dos circuitos de pixel
100. Pela execução sequencial desta operação em unidades de linha, é possível implementar a formação de imagem com um obturador de rolamento.
[00150] A figura 5B ilustra esquematicamente um exemplo de um relacionamento entre a formação de imagem e o tempo no método do obturador de rolamento. Na figura 5B, o eixo geométrico vertical representa a posição da linha e o eixo geométrico horizontal representa o tempo. No método do obturador de rolamento, já que a exposição para cada uma das linhas é realizada sequencialmente na ordem das linhas, o sincronismo de
29 / 193 exposição em cada uma das linhas desloca sequencialmente com a posição da linha, da forma ilustrada na figura 5B. Portanto, por exemplo, em um caso em que o relacionamento posicional horizontal entre o aparelho de formação de imagem 1 e o objeto mudar em alta velocidade, a imagem capturada do quadro 200 é distorcida, da forma ilustrada na figura 5C. No exemplo da figura 5C, a imagem 202 correspondente ao quadro 200 é uma imagem inclinada em um ângulo correspondente à velocidade e à direção da mudança no relacionamento posicional horizontal entre o aparelho de formação de imagem 1 e o objeto.
[00151] No método do obturador de rolamento, também é possível reduzir as linhas para a formação de imagem. As figuras 6A, 6B, e 6C são vistas esquemáticas que ilustram a redução de linha no método do obturador de rolamento. Da forma ilustrada na figura 6A, similarmente ao exemplo da figura 5A supradescrito, a formação de imagem é realizada em unidades de linha a partir da linha 201 na extremidade superior do quadro 200 na direção da extremidade inferior do quadro 200. Neste momento, a formação de imagem é realizada ao mesmo tempo em que se ignora linhas em números pré-determinados.
[00152] Aqui, a título de explicação, considera-se que a formação de imagem é realizada em cada outra linha pela realização da redução de uma linha. Isto é, depois da formação de imagem da n-ésima linha, a formação de imagem da linha (n + 2) é realizada. Neste momento, o tempo da formação de imagem da n-ésima linha até a formação de imagem da linha (n + 2) é considerado igual ao tempo da formação de imagem da n-ésima linha até a formação de imagem da linha (n + 1) quando a redução não for realizada.
[00153] A figura 6B ilustra esquematicamente um exemplo de um relacionamento entre a formação de imagem e o tempo em que a redução de uma linha é realizada no método do obturador de rolamento. Na figura 6B, o eixo geométrico vertical representa a posição da linha e o eixo geométrico
30 / 193 horizontal representa o tempo. Na figura 6B, a exposição A corresponde à exposição da figura 5B sem redução, e a exposição B ilustra a exposição quando a redução de uma linha for realizada. Da forma ilustrada na exposição B, a execução da redução de linha torna possível reduzir o desvio do sincronismo de exposição na mesma posição da linha, se comparado com o caso em que a redução de linha não é executada. Portanto, da forma ilustrada como a imagem 203 na figura 6C, a distorção na direção da inclinação que ocorre na imagem do quadro capturado 200 é menor, se comparada com o caso em que a redução de linha ilustrada na figura 5C não é realizada. Por outro lado, a resolução da imagem quando a redução de linha for realizada é inferior, se comparada com o caso em que a redução de linha não é realizada.
[00154] A descrição exposta é um exemplo do método do obturador de rolamento em que a formação de imagem é realizada sequencialmente na ordem das linhas da extremidade superior até a extremidade inferior do quadro 200. Entretanto, o presente foi descrito, mas a presente descrição não é limitada a este exemplo. As figuras 7A e 7B são diagramas que ilustram esquematicamente os exemplos de outros métodos de formação de imagem no método do obturador de rolamento. Por exemplo, da forma ilustrada na figura 7A, é possível, no método do obturador de rolamento, realizar a formação de imagem sequencialmente na ordem das linhas da extremidade inferior até a extremidade superior do quadro 200. Neste caso, a direção da distorção da imagem 202 na direção horizontal seria oposta à direção no caso em que as imagens têm imagem formada sequencialmente na ordem das linhas da extremidade superior até a extremidade inferior de outro quadro 200.
[00155] Além do mais, pela definição do alcance da linha do sinal vertical VSL usada para a transferência do sinal de pixel, por exemplo, também é possível ler seletivamente uma parte da linha. Além do mais, pela definição individualmente da linha usada para a formação de imagem e da linha do sinal vertical VSL usada para a transferência do sinal de pixel,
31 / 193 também é possível definir as linhas inicial/final de formação de imagem em posições diferentes da extremidade superior e da extremidade inferior do quadro 200. A figura 7B ilustra esquematicamente um exemplo em que uma região 205 que tem uma forma retangular e largura e altura menores do que a largura e a altura do quadro 200 é definida como um alcance da formação de imagem. No exemplo da figura 7B, a formação de imagem é realizada sequencialmente na ordem das linhas a partir da linha 204 na extremidade superior da região 205 na direção da extremidade inferior da região 205. (2-2. Visão geral do obturador global)
[00156] A seguir, o método do obturador global (GS) será esquematicamente descrito como um método de formação de imagem no momento da formação de imagem pelo uso da unidade do arranjo de pixels
101. As figuras 8A, 8B, e 8C são vistas esquemáticas que ilustram o método de obturador global. Da forma ilustrada na figura 8A, o método de obturador global expõe simultaneamente todos os circuitos de pixel 100 incluídos no quadro 200.
[00157] Quando o método de obturador global for implementado na configuração da figura 4, é concebível, como um exemplo, usar uma configuração dos circuitos de pixel 100 em que um capacitor é adicionalmente provido entre o elemento de conversão fotoelétrica e a FD. Além do mais, a configuração inclui adicionalmente um primeiro comutador provido entre o elemento de conversão fotoelétrica e o capacitor, e um segundo comutador provido entre o capacitor e a camada de difusão flutuante, individualmente, e a abertura e o fechamento de cada um do primeiro e do segundo comutadores são controlados pelos pulsos supridos por meio da linha do sinal de pixel 106.
[00158] Em uma configuração como esta, em todos os circuitos de pixel 100 incluídos no quadro 200, o primeiro e segundo comutadores são definidos para abrir durante o período de exposição e, então, na conclusão da
32 / 193 exposição, o primeiro comutador é comutado do estado aberto para fechado para transferir a carga do elemento de conversão fotoelétrica para o capacitor. Posteriormente, com o capacitor considerado como um elemento de conversão fotoelétrica, a carga será lida a partir do capacitor na sequência similar à sequência usada na operação de leitura para o método do obturador de rolamento supradescrito. Isto torna possível realizar a exposição simultânea em todos os circuitos de pixel 100 incluídos no quadro 200.
[00159] A figura 8B ilustra esquematicamente um exemplo de um relacionamento entre a formação de imagem e o tempo no método de obturador global. Na figura 8B, o eixo geométrico vertical representa a posição da linha e o eixo geométrico horizontal representa o tempo. No método de obturador global, a exposição é realizada simultaneamente em todos os circuitos de pixel 100 incluídos no quadro 200. Isto torna possível obter o sincronismo de exposição que é o mesmo para cada uma das linhas, da forma ilustrada na figura 8B. Portanto, por exemplo, mesmo em um caso em que o relacionamento posicional horizontal entre o aparelho de formação de imagem 1 e o objeto mudar em alta velocidade, uma imagem 206 capturada no quadro 200 não tem distorção devido à mudança, da forma ilustrada na figura 8C.
[00160] O método de obturador global torna possível garantir a simultaneidade do sincronismo de exposição em todos os circuitos de pixel 100 incluídos no quadro 200. Portanto, pelo controle do sincronismo de cada um dos pulsos supridos pela linha do sinal de pixel 106 de cada uma das linhas e do sincronismo de transferência por cada uma das linhas do sinal vertical VSL, é possível alcançar a amostragem (leitura do sinal de pixel) em vários padrões.
[00161] As figuras 9A e 9B são diagramas que ilustram esquematicamente um exemplo de um padrão de amostragem que pode ser alcançado no método de obturador global. A figura 9A é um exemplo em que
33 / 193 uma amostra 208 da leitura do sinal de pixel é extraída em um padrão xadrez a partir de cada um dos circuitos de pixel 100 arranjados em uma matriz incluída no quadro 200. Além do mais, a figura 9B é um exemplo de extração da amostra 208 da leitura do sinal de pixel a partir de cada um dos circuitos de pixel 100 em um padrão de grade. Além do mais, no método de obturador global, também, a formação de imagem pode ser realizada sequencialmente na ordem das linhas similarmente ao método do obturador de rolamento supradescrito. (2-3. Rede neural profunda (DNN))
[00162] A seguir, um processo de reconhecimento usando uma rede neural profunda (DNN) aplicável em cada uma das modalidades será esquematicamente descrito. Em cada uma das modalidades, o processo de reconhecimento para os dados de imagem é realizado pelo uso de uma rede neural convolucional (CNN) e uma rede neural recorrente (RNN), em particular, entre as DNNs. A seguir, o “processo de reconhecimento para os dados de imagem” será referido como um “processo de reconhecimento de imagem” ou similares, conforme apropriado. (2-3-1. Visão geral da CNN)
[00163] Primeiro, uma CNN será descrita esquematicamente. No processo de reconhecimento de imagem usando uma CNN, um processo de reconhecimento de imagem é realizado com base na informação de imagem provida por pixels arranjados em uma matriz. A figura 10 é um diagrama que ilustra esquematicamente um processo de reconhecimento de imagem realizado por uma CNN. A informação de pixel 51 para a íntegra de uma imagem 50 que inclui um desenho de um número “8”, que é um objeto como um alvo de reconhecimento, é processada por uma CNN 52 que foi treinada de uma maneira pré-determinada. Com este processo, o número “8” é reconhecido como um resultado do reconhecimento 53.
[00164] Ao contrário, também é possível aplicar o processo pela CNN
34 / 193 com base em uma imagem para cada uma das linhas para obter o resultado do reconhecimento a partir de uma parte da imagem como um alvo de reconhecimento. A figura 11 é um diagrama que ilustra esquematicamente um processo de reconhecimento de imagem de obter um resultado do reconhecimento a partir de uma parte da imagem como um alvo de reconhecimento. Na figura 11, uma imagem 50’ é uma imagem parcialmente adquirida do número “8”, que é um objeto como um alvo de reconhecimento, obtida em unidades de linha. Por exemplo, as peças de informação de pixel 54a, 54b, e 54c para as linhas individuais que formam a informação de pixel 51’ de uma imagem 50’ são sequencialmente processadas por uma CNN 52’ que foi treinada de uma maneira pré-determinada.
[00165] Por exemplo, aqui há um caso considerável em que um resultado do reconhecimento 53a obtido pelo processo de reconhecimento realizado pela CNN 52’ para a informação de pixel 54a da primeira linha não é um resultado do reconhecimento válido. Aqui, um resultado do reconhecimento válido se refere à um resultado do reconhecimento para o qual um escore que indica a confiabilidade do resultado reconhecido é um valor pré-determinado ou mais alto. A CNN 52’ realiza uma atualização do estado interno 55 com base neste resultado do reconhecimento 53a. A seguir, a informação de pixel 54b da segunda linha passa por um processo de reconhecimento realizado pela CNN 52’, que realizou a atualização do estado interno 55 com base no resultado do reconhecimento prévio 53a. Na figura 11, em decorrência deste processo, um resultado do reconhecimento 53b que indica que o número como o alvo de reconhecimento é tanto “8” quanto “9” foi obtido. Além do mais, com base neste resultado do reconhecimento 53b, a informação interna da CNN 52’ é atualizada 55. A seguir, a informação de pixel 54c da terceira linha passa por um processo de reconhecimento realizado pela CNN 52’, que realizou a atualização do estado interno 55 com base no resultado do reconhecimento prévio 53b. Em decorrência disto, na
35 / 193 figura 11, o número como o alvo de reconhecimento é restringido em “8” dentre “8” ou “9”.
[00166] Aqui, o processo de reconhecimento ilustrado na figura 11 atualiza o estado interno da CNN usando o resultado do processo de reconhecimento prévio. A seguir, a CNN cujo estado interno foi atualizado usa a informação de pixel da linha adjacente à linha na qual o processo de reconhecimento prévio foi realizado para realizar o processo de reconhecimento. Isto é, o processo de reconhecimento ilustrado na figura 11 é executado sequencialmente na ordem das linhas para a imagem com o estado interno da CNN atualizado com base no resultado do reconhecimento prévio. Portanto, o processo de reconhecimento ilustrado na figura 11 é um processo que é recorrentemente executado sequencialmente na ordem das linhas e pode ser considerado tendo uma estrutura equivalente ao processo de uma RNN. (2-3-2. Visão geral da RNN)
[00167] A seguir, a RNN será descrita esquematicamente. As figuras 12A e 12B são diagramas que ilustram esquematicamente um exemplo de um processo de identificação (processo de reconhecimento) realizado por uma DNN quando a informação da série de tempo não for usada. Neste caso, uma imagem é inserida em uma DNN, da forma ilustrada na figura 12A. A DNN realiza um processo de identificação na imagem inserida e transmite um resultado da identificação.
[00168] A figura 12B é um diagrama para prover uma ilustração mais específica do processo da figura 12A. Da forma ilustrada na figura 12B, a DNN executa um processo de extração de característica e um processo de identificação. A DNN realiza um processo de extração de característica na imagem inserida, desse modo, extraindo os dados de característica da imagem. Além do mais, a DNN executa o processo de identificação nos dados de característica extraídos e obtém o resultado da identificação.
[00169] As figuras 13A e 13B são diagramas que ilustram
36 / 193 esquematicamente um primeiro exemplo de um processo de identificação realizado por uma DNN quando a informação da série de tempo for usada. Nos exemplos das figuras 13A e 13B, o processo de identificação com a DNN é realizado usando um número fixo de peças de informação passadas na série de tempo. No exemplo da figura 13A, uma imagem [T] no tempo T, uma imagem [T-1] no tempo T-1 antes do tempo T, e uma imagem [T-2] no tempo T-2 antes do tempo T-1 são inseridas na DNN. A DNN executa um processo de identificação em cada uma das imagens inseridas [T], [T-1], e [T-2], desse modo, obtendo um resultado da identificação [T] no tempo T.
[00170] A figura 13B é um diagrama para prover uma ilustração mais específica do processo da figura 13A. Da forma ilustrada na figura 13B, a DNN executa o processo de extração de característica descrito em relação à figura 12B exposta em cada uma das imagens inseridas [T], [T-1], e [T-2], desse modo, extraindo as peças de dados de característica individualmente correspondentes às imagens [T], [T-1], e [T-2]. A DNN integra os dados de característica obtidos com base nestas imagens [T], [T-1], e [T-2], e executa adicionalmente um processo de identificação nos dados de característica integrados, desse modo, obtendo um resultado da identificação [T] no tempo T.
[00171] Os métodos das figuras 13A e 13B tornarão necessário ter uma pluralidade de configurações para realizar a extração dos dados de característica, bem como necessário ter uma configuração para realizar a extração dos dados de característica de acordo com o número de imagens passadas usáveis, levando à ampliação da configuração da DNN.
[00172] As figuras 14A e 14B são diagramas que ilustram esquematicamente um segundo exemplo de um processo de identificação realizado por uma DNN quando a informação da série de tempo for usada. No exemplo da figura 14A, uma imagem [T] no tempo T é inserida na DNN cujo estado interno foi atualizado para o estado do tempo T-1, desse modo,
37 / 193 obtendo um resultado da identificação [T] no tempo T.
[00173] A figura 14B é um diagrama para prover uma ilustração mais específica do processo da figura 14A. Da forma ilustrada na figura 14B, a DNN executa o processo de extração de característica supradescrito em relação à figura 12B na imagem inserida [T] no tempo T, desse modo, extraindo os dados de característica correspondentes à imagem [T]. Na DNN, o estado interno foi atualizado pela imagem antes do tempo T, e os dados de característica relacionados ao estado interno atualizado são retidos. A característica relacionada à informação interna retida e os dados de característica na imagem [T] são integrados, e o processo de identificação é executado nos dados de característica integrados.
[00174] O processo de identificação ilustrado nas figuras 14A e 14B é executado usando a DNN cujo estado interno foi atualizado usando o resultado da identificação imediatamente precedente e, assim, é um processo recorrente. Uma DNN que realiza um processo recorrente desta maneira é referida como uma rede neural recorrente (RNN). O processo de identificação realizado pela RNN é tipicamente usado no reconhecimento de imagem em movimento ou similares, em que é possível melhorar a precisão da identificação pela atualização sequencialmente do estado interno da DNN com uma imagem de quadro atualizada em série de tempo, por exemplo.
[00175] Na presente descrição, as RNNs são aplicadas nas estruturas do método do obturador de rolamento. Isto é, no método do obturador de rolamento, os sinais de pixel são lidos sequencialmente na ordem das linhas. Os sinais de pixel lidos sequencialmente na ordem das linhas são aplicados na RNN como a informação na série de tempo. Isto torna possível executar o processo de identificação com base em uma pluralidade de linhas com uma configuração menor, se comparado com o caso de uso de uma CNN (consulte a figura 13B). Não limitado a isto, uma RNN também pode ser aplicada na estrutura do método de obturador global. Neste caso, por exemplo, é
38 / 193 concebível considerar as linhas adjacentes como a informação em série de tempo. (2-4. Velocidade de acionamento)
[00176] A seguir, um relacionamento entre a velocidade de acionamento de quadro e a quantidade de leitura do sinal de pixel será descrito em relação às figuras 15A e 15B. A figura 15A é um diagrama que ilustra um exemplo de leitura de todas as linhas na imagem. Aqui, considera- se que a resolução da imagem como um alvo do processo de reconhecimento é 640 pixels horizontalmente x 480 pixels verticalmente (480 linhas). Neste caso, durante o acionamento em uma velocidade de acionamento de 14.400 [linhas/seg], é possível transmitir em 30 [quadros por segundo (fps)].
[00177] A seguir, aqui há um caso considerável de realização de formação de imagem ao mesmo tempo em que se reduzem as linhas. Por exemplo, da forma ilustrada na figura 15B, considera-se que a formação de imagem é realizada por ignorar cada outra linha, a saber, a formação de imagem é realizada pela leitura usando 1/2 redução. Como um primeiro exemplo de 1/2 redução, o acionamento em uma velocidade de acionamento de 14.400 [linhas/seg] da forma supradescrita divide ao meio o número de linhas lidas a partir da imagem. Embora a resolução seja reduzida, é possível alcançar uma transmissão na taxa de 60 [fps], que é duas vezes mais rápida que um caso sem redução, levando à melhoria da taxa de quadro. Um segundo exemplo de 1/2 redução é um caso em que o acionamento é realizado em uma velocidade de acionamento de 7.200 [fps], que é a metade do primeiro exemplo. Neste caso, embora a taxa de quadro seja 30 [fps] similarmente ao caso sem redução, a economia de energia é alcançada.
[00178] Durante a leitura de uma linha da imagem, é possível selecionar se a redução não é realizada, se a redução é realizada para aumentar a velocidade de acionamento, ou se a redução é realizada e a velocidade de acionamento é mantida na mesma velocidade do caso sem
39 / 193 redução, de acordo com o propósito do processo de reconhecimento com base no sinal de pixel para leitura. [3. Visão geral da presente descrição]
[00179] A seguir, cada uma das modalidades da presente descrição será descrita com mais detalhes. Primeiro, os processos de acordo com cada uma das modalidades da presente descrição serão esquematicamente descritos. A figura 16 é um diagrama esquemático que ilustra esquematicamente um processo de reconhecimento de acordo com cada uma das modalidades da presente descrição. Na figura 16, na Etapa S1, um aparelho de formação de imagem 1 (consulte a figura 1) de acordo com cada uma das modalidades inicia a formação de imagem de uma imagem alvo, como um alvo de reconhecimento.
[00180] Note que a imagem alvo é uma imagem em que há um número escrito a mão “8”, por exemplo. Além do mais, como pré-condições, a memória 13 armazena preliminarmente um modelo de aprendizado treinado para poder identificar os números por dados de treinamento pré-determinados, como um programa, e a unidade de processamento de reconhecimento 12 lê este programa a partir da memória 13 e executa o programa, desse modo, habilitando a identificação dos números incluídos na imagem. Além do mais, o aparelho de formação de imagem 1 deve realizar a formação de imagem pelo método do obturador de rolamento. Mesmo quando o aparelho de formação de imagem 1 realizar a formação de imagem pelo método de obturador global, os seguintes processos podem ser aplicados similarmente ao caso do método do obturador de rolamento.
[00181] Quando a formação de imagem for iniciada, o aparelho de formação de imagem 1 lê sequencialmente o quadro em unidades de linha do lado da extremidade superior até o lado da extremidade inferior do quadro na Etapa S2.
[00182] Quando a linha for lida até uma certa posição, a unidade de
40 / 193 processamento de reconhecimento 12 identifica os números “8” ou “9” a partir da imagem das linhas lidas (Etapa S3). Por exemplo, os números “8” e “9” incluem uma característica comum à parte da metade superior. Desta maneira, em um ponto em que a linha é lida na ordem a partir do topo e a característica é reconhecida, o objeto reconhecido pode ser identificado tanto como o número “8” quanto como o número “9”.
[00183] Aqui, da forma ilustrada na Etapa S4a, a íntegra da figura do objeto reconhecido aparece pela leitura até a linha na extremidade inferior do quadro ou a linha próxima da extremidade inferior, e o objeto que foi identificado como qualquer um dos números “8” ou “9” na Etapa S2 é agora determinado como o número “8”.
[00184] Ao contrário, as Etapas S4b e S4c são processos relacionados à presente descrição.
[00185] Da forma ilustrada na Etapa S4b, quando a linha for lida adicionalmente a partir da posição da linha lida na Etapa S3, o objeto reconhecido pode ser identificado como o número “8” mesmo antes de alcançar a extremidade inferior do número “8”. Por exemplo, a metade inferior do número “8” e a metade inferior do número “9” têm características diferentes. Pela leitura da linha até a parte que esclarece a diferença na característica, é possível identificar se o objeto reconhecido na Etapa S3 compreende os números “8” ou “9”. No exemplo da figura 16, o objeto é determinado como o número “8” na Etapa S4b.
[00186] Além do mais, da forma ilustrada na Etapa S4c, também é concebível ler adicionalmente a partir da posição da linha da Etapa S3 no estado da Etapa S3 para pular para uma posição da linha em que o objeto identificado na Etapa S3 parece poder ser determinado tanto como o número “8” quanto como o número “9”. Pela leitura da linha alcançada pelo pulo, é possível determinar se o objeto identificado na Etapa S3 compreende os números “8” ou “9”. A posição da linha alcançada pelo pulo pode ser
41 / 193 determinada com base em um modelo de aprendizado preliminarmente treinado com base em dados de treinamento pré-determinados.
[00187] Aqui, em um caso em que o objeto for identificado na Etapa S4b ou na Etapa S4c supradescritas, o aparelho de formação de imagem 1 pode terminar o processo de reconhecimento. Isto torna possível encurtar o processo de reconhecimento e poupar a energia no aparelho de formação de imagem 1.
[00188] Note que os dados de treinamento são os dados que contêm uma pluralidade de combinações de sinais de entrada e de sinais de saída para cada unidade de leitura. Como um exemplo, na tarefa de identificação de números supradescrita, os dados para cada unidade de leitura (dados de linha, dados subamostrados ou similares) são aplicáveis como um sinal de entrada, e os dados que indicam um “número correto” são aplicáveis como um sinal de saída. Como um outro exemplo, em uma tarefa de detecção de um objeto, os dados para cada unidade de leitura (dados de linha, dados subamostrados ou similares) são aplicáveis como um sinal de entrada, e uma classe de objeto (humano/veículo/não objeto), coordenadas do objeto (x, y, h, w) ou similares são aplicáveis como um sinal de saída. Além do mais, o sinal de saída pode ser gerado apenas a partir do sinal de entrada pelo uso de aprendizado auto- supervisionado. [4. Primeira modalidade]
[00189] A seguir, uma primeira modalidade da presente descrição será descrita. (4-1. Exemplo de operação na unidade de processamento de reconhecimento)
[00190] No aparelho de formação de imagem 1 de acordo com uma primeira modalidade, como exposto, a unidade de processamento de reconhecimento 12 lê e executa um programa armazenado na memória 13 como um modelo de aprendizado treinado em antecipação com base em dados de treinamento pré-determinados, desse modo, funcionando como um
42 / 193 reconhecedor usando uma DNN.
[00191] A figura 17 é um fluxograma que ilustra um exemplo de um processo de reconhecimento realizado pela unidade de processamento de reconhecimento 12 de acordo com a primeira modalidade. Na figura 17, na Etapa S121, o DSP que constitui a unidade de processamento de reconhecimento 12 no aparelho de formação de imagem 1 lê o modelo de aprendizado da memória 13 e executa o mesmo. Com estes processos, o DSP funciona como a unidade de processamento de reconhecimento 12.
[00192] A seguir, na Etapa S122, a unidade de processamento de reconhecimento 12 no aparelho de formação de imagem 1 instrui o controlador do sensor 11 a iniciar a leitura de um quadro a partir da unidade sensora 10. Nesta leitura de quadro, por exemplo, um quadro de dados de imagem é lido sequencialmente em unidades de linha (também referidas como unidades de fileira). A unidade de processamento de reconhecimento 12 determina se um número de linhas pré-determinado dos dados de imagem em um quadro foi lido.
[00193] Quando a unidade de processamento de reconhecimento 12 determinar que os dados de imagem de um número de linhas pré-determinado em um quadro foram lidos (Etapa S123, “SIM”), a unidade de processamento de reconhecimento 12 prossegue para o processo da Etapa S124. Na Etapa S124, a unidade de processamento de reconhecimento 12 executa um processo de reconhecimento como um processo de aprendizado de máquina usando uma CNN nos dados de imagem lidos no número de linhas pré- determinado. Isto é, a unidade de processamento de reconhecimento 12 executa um processo de aprendizado de máquina usando um modelo de aprendizado nos dados de imagem de um número de linhas pré-determinado como uma região de unidade. O processo de aprendizado de máquina usando uma CNN inclui a execução de vários processos de reconhecimento ou de detecção, tais como detecção de face, autenticação de face, detecção da linha
43 / 193 de visão, reconhecimento da expressão facial, detecção da direção da face, detecção de objeto, reconhecimento de objeto, detecção de movimento (corpo em movimento), detecção de animal de estimação, reconhecimento de cena, detecção de estado, reconhecimento de objeto alvo de evitação e outros processos.
[00194] Aqui, a detecção de face é um processo de detecção da face de uma pessoa incluída nos dados de imagem. A autenticação de face é uma de autenticação biométrica, e é um processo de autenticação se a face de uma pessoa incluída nos dados de imagem corresponde à face de uma pessoa registrada em antecipação. A detecção da linha de visão é um processo de detecção da direção da linha de visão de uma pessoa incluída nos dados de imagem. O reconhecimento da expressão facial é um processo de reconhecimento da expressão facial de uma pessoa incluída nos dados de imagem. A detecção da direção da face é um processo de detecção da direção para cima/para baixo da face de uma pessoa incluída nos dados de imagem. A detecção de objeto é um processo de detecção de um objeto incluído nos dados de imagem. O reconhecimento de objeto é um processo de reconhecimento de o que é um objeto incluído nos dados de imagem. A detecção de movimento (corpo em movimento) é um processo de detecção de um corpo em movimento incluído nos dados de imagem. A detecção de animal de estimação é um processo de detecção de um animal de estimação, tais como um cão ou um gato, incluído nos dados de imagem. O reconhecimento de cena é um processo de reconhecimento de uma cena (mar, montanha ou similares) que é fotografada. A detecção de estado é um processo de detecção de um estado (estado normal, estado anormal ou similares) de uma pessoa ou similares incluídos nos dados de imagem. O reconhecimento de objeto alvo de evitação é um processo de reconhecimento de um objeto como um alvo de evitação que existe na frente da direção de deslocamento em um caso em que a pessoa se mover. O processo de
44 / 193 aprendizado de máquina executado pela unidade de processamento de reconhecimento 12 não é limitado a estes exemplos.
[00195] Na Etapa S125, a unidade de processamento de reconhecimento 12 determina se o processo de aprendizado de máquina usando a CNN na Etapa S124 é bem-sucedido. Quando a unidade de processamento de reconhecimento 12 determinar que o processo de aprendizado de máquina usando a CNN é bem-sucedido (Etapa S125, “SIM”), a unidade de processamento de reconhecimento 12 prossegue para o processo da Etapa S129. Ao contrário, quando a unidade de processamento de reconhecimento 12 determinar que o processo de aprendizado de máquina usando a CNN na Etapa S124 é uma falha (Etapa S125, “NÃO”), a unidade de processamento de reconhecimento 12 prossegue para o processo da Etapa S126. Na Etapa S126, a unidade de processamento de reconhecimento 12 espera pelo próximo número de linhas pré-determinado dos dados de imagem a serem lidos a partir do controlador do sensor 11 (Etapa S126, “NÃO”).
[00196] Nesta descrição, um sucesso no processo de aprendizado de máquina significa que um certo resultado da detecção, resultado do reconhecimento, ou autenticação foi obtido na detecção de face, na autenticação de face ou similares, da forma ilustrada anteriormente, por exemplo. Ao contrário, uma falha no processo de aprendizado de máquina significa que resultados da detecção, resultados do reconhecimento e autenticação suficientes não foram obtidos na detecção de face, na autenticação de face ou similares, da forma ilustrada anteriormente, por exemplo.
[00197] A seguir, na Etapa S126, quando o próximo número de linhas pré-determinado dos dados de imagem (região de unidade) for lido (Etapa S126, “SIM”), a unidade de processamento de reconhecimento 12 executa na Etapa S127 o processo de aprendizado de máquina usando uma RNN no número de linhas pré-determinado dos dados de imagem lidos. O processo de
45 / 193 aprendizado de máquina usando uma RNN também utiliza os resultados do processo de aprendizado de máquina usando a CNN ou a RNN executado até aqui, para os dados de imagem do mesmo quadro.
[00198] Em um caso de ter determinado na Etapa S128 que o processo de aprendizado de máquina usando a RNN na Etapa S127 é bem-sucedido (Etapa S128, “SIM”), a unidade de processamento de reconhecimento 12 prossegue para o processo até a Etapa S129.
[00199] Na Etapa S129, a unidade de processamento de reconhecimento 12 supre o resultado do aprendizado de máquina obtido com sucesso na Etapa S124 ou na Etapa S127, por exemplo, a partir da unidade de processamento de reconhecimento 12 para o controlador de saída 15. O resultado do aprendizado de máquina transmitido na Etapa S129 é um resultado do reconhecimento válido obtido pela unidade de processamento de reconhecimento 12, por exemplo. A unidade de processamento de reconhecimento 12 pode armazenar o resultado do aprendizado de máquina na memória 13.
[00200] Além do mais, quando a unidade de processamento de reconhecimento 12 determinar na Etapa S128 que o processo de aprendizado de máquina usando a RNN na Etapa S127 é uma falha (Etapa S128, “NÃO”), a unidade de processamento de reconhecimento 12 prossegue para o processo da Etapa S130. Na Etapa S130, a unidade de processamento de reconhecimento 12 determina se a leitura dos dados de imagem para um quadro está completa. Quando tiver determinado que a leitura dos dados de imagem para um quadro não está completa (Etapa S130, “NÃO”), a unidade de processamento de reconhecimento 12 retorna o processo para a Etapa S126, em que o processo para o próximo número de linhas pré-determinado dos dados de imagem será executado.
[00201] Ao contrário, quando a unidade de processamento de reconhecimento 12 determinar na Etapa S130 que a leitura dos dados de
46 / 193 imagem para um quadro está completa (Etapa S130, “SIM”), a unidade de processamento de reconhecimento 12 determina se termina a série de processos do fluxograma na figura 17 na Etapa S131. Quando a unidade de processamento de reconhecimento 12 determinar não terminar o processo (Etapa S131, “NÃO”), a unidade de processamento de reconhecimento 12 retorna o processo para a Etapa S122 e executa as operações similares no próximo quadro. Quando a unidade de processamento de reconhecimento 12 determinar terminar o processo (Etapa S131, “SIM”), a unidade de processamento de reconhecimento 12 termina a série de processos do fluxograma da figura 17.
[00202] A determinação em relação a se prossegue-se para o próximo quadro na Etapa S131 pode ser feita com base em se uma instrução de término foi inserida a partir do exterior do aparelho de formação de imagem 1, ou com base em se a série de processos para o número pré-determinado de quadros dos dados de imagem foi concluída.
[00203] Além do mais, há uma situação considerável em que os processos de aprendizado de máquina, tais como detecção de face, autenticação de face, detecção da linha de visão, reconhecimento da expressão facial, detecção da direção da face, detecção de objeto, reconhecimento de objeto, detecção de movimento (corpo em movimento), reconhecimento de cena ou detecção de estado, são realizados sucessivamente. Nesta situação, em um caso em que o processo de aprendizado de máquina anterior for uma falha, o último processo de aprendizado de máquina pode ser ignorado. Por exemplo, quando a autenticação de face precisar ser executada depois da detecção de face, o último processo de autenticação de face pode ser ignorado em um caso em que a detecção de face tiver sido uma falha. (4-2. Exemplo específico das operações na unidade de processamento de reconhecimento)
[00204] A seguir, as operações da unidade de aprendizado de máquina
47 / 193 descritas em relação à figura 17 serão descritas em relação a exemplos específicos. A seguir, um caso em que detecção de face é executada usando a DNN será ilustrado.
[00205] A figura 18 é uma vista que ilustra um exemplo de dados de imagem para um quadro. A figura 19 é uma vista que ilustra um fluxo de um processo de aprendizado de máquina executado pela unidade de processamento de reconhecimento 12 de acordo com a primeira modalidade.
[00206] Quando a detecção de face for executada para os dados de imagem, da forma ilustrada na figura 18, pelo aprendizado de máquina, da forma ilustrada na Seção (a) da figura 19, a unidade de processamento de reconhecimento 12 primeiro recebe uma entrada de um número de linhas pré- determinado dos dados de imagem (correspondente à Etapa S123 na figura 17). Pela execução de um processo de aprendizado de máquina usando uma CNN no número de linhas pré-determinado dos dados de imagem que foram inseridos, a unidade de processamento de reconhecimento 12 executa a detecção de face (correspondente à Etapa S124 na figura 17). Entretanto, já que os dados de imagem da íntegra da face ainda não foram inseridos no estágio da Seção (a) da figura 19, a unidade de processamento de reconhecimento 12 falha na detecção de face (correspondente a “NÃO” na Etapa S125 da figura 17).
[00207] Subsequentemente, da forma ilustrada na Seção (b) da figura 19, um próximo número de linhas pré-determinado dos dados de imagem são inseridas na unidade de processamento de reconhecimento 12 (correspondente à Etapa S126 da figura 17). Durante a utilização do resultado do processo de aprendizado de máquina usando a CNN executada no número de linhas pré- determinado dos dados de imagem inseridos na Seção (a) da figura 19, a unidade de processamento de reconhecimento 12 executa o processo de aprendizado de máquina usando uma RNN no número de linhas pré- determinado recentemente inserido dos dados de imagem, desse modo,
48 / 193 executando a detecção de face (correspondente à Etapa S127 na figura 17).
[00208] No estágio da Seção (b) da figura 19, os dados de imagem da íntegra da face são inseridos juntamente com um número de linhas pré- determinado dos dados de pixel inseridos no estágio da Seção (a) da figura 19. Desta maneira, no estágio da Seção (b) da figura 19, a unidade de processamento de reconhecimento 12 é bem-sucedida na detecção de face (correspondente a “SIM” na Etapa S128 da figura 17). Isto faz com que esta operação transmita um resultado da detecção de face sem leitura da próxima e subsequentes peças de dados de imagem (dados de imagem nas Seções (c) até (f) da figura 19) (correspondente à Etapa S129 na figura 17).
[00209] Desta maneira, pela execução do processo de aprendizado de máquina usando uma DNN para o número de linhas pré-determinado dos dados de imagem, é possível omitir a leitura dos dados de imagem e a execução do processo de aprendizado de máquina depois do ponto em que a detecção de face é bem-sucedida. Isto torna possível completar os processos, tais como detecção, reconhecimento e autenticação, em um tempo curto, levando à redução do tempo de processamento e do consumo de energia.
[00210] O número de linhas pré-determinado é o número de linhas determinado pelo tamanho de um filtro exigido pelo algoritmo do modelo de aprendizado, e o número mínimo é uma linha.
[00211] Além do mais, os dados de imagem lidos a partir da unidade sensora 10 pelo controlador do sensor 11 podem ser os dados de imagem reduzidos em pelo menos uma da direção da coluna e da direção da linha. Neste caso, por exemplo, quando os dados de imagem forem lidos em cada outra linha na direção da coluna, os dados de imagem no 2(N-1)+ésima (N é um número inteiro de 1 ou maior) linha serão lidos.
[00212] Além do mais, em um caso em que o filtro exigido pelo algoritmo do modelo de aprendizado for formado não em unidades de unidade de linha, mas formado como uma região retangular em unidades de pixels,
49 / 193 tais como 1 x 1 pixel ou 5 x 5 pixels, os dados de imagem em uma região retangular correspondente à forma e ao tamanho do filtro podem ser inseridos na unidade de processamento de reconhecimento 12 em vez do número de linhas pré-determinado dos dados de imagem como os dados de imagem para uma região de unidade na qual a unidade de processamento de reconhecimento 12 executa o processo de aprendizado de máquina.
[00213] Além do mais, embora o exposto ilustre a CNN e a RNN como exemplos da DNN, a presente descrição não é limitada às mesmas, e outros modelos de aprendizado podem ser usados. (4-3. Exemplo de aplicação da primeira modalidade)
[00214] A seguir, um exemplo de aplicação da primeira modalidade será descrito. Aqui, como um exemplo de aplicação da primeira modalidade, o seguinte é um exemplo de controle da exposição em um número de linhas pré-determinado nas quais a próxima leitura deve ser realizada com base no resultado do processo de aprendizado de máquina realizado pela CNN na Etapa S124 do fluxograma da figura 17 e no resultado do processo de aprendizado de máquina realizado pela RNN na Etapa S127, por exemplo. As figuras 20A e 20B são vistas esquemáticas que ilustram um exemplo de aplicação da primeira modalidade.
[00215] A Seção (a) da figura 20A é uma vista esquemática que ilustra um exemplo de uma imagem 60a que é sobre-exposta. A sobre-exposição da imagem 60a faz com que a imagem 60a apareça esbranquiçada como um todo. Por exemplo, um monitor 62 como um objeto incluído na imagem 60a tem um fenômeno referido como destaque explodido na tela, tornando difícil para o humano olho distinguir os detalhes. Por outro lado, uma pessoa 61 como um outro objeto incluído na imagem 60a fica ligeiramente esbranquiçada devido à sobre-exposição, mas aparece facilmente identificável pelo olho humano, se comparada com o monitor 62.
[00216] A Seção (b) da figura 20A é uma vista esquemática que ilustra
50 / 193 um exemplo de uma imagem 60b que é sub-exposta. A sub-exposição da imagem 60b faz com que a imagem 60b apareça escurecida como um todo. Por exemplo, a pessoa 61 visível na imagem 60a é agora difícil de identificar pelo olho humano. Por outro lado, o monitor 62 incluído na imagem 60b pode ser identificado com detalhes pelo olho humano, se comparado com a imagem 60a.
[00217] A figura 20B é um diagrama esquemático que ilustra um método de leitura de acordo com um exemplo de aplicação da primeira modalidade. As Seções (a) e (b) da figura 20B ilustram um caso em que a leitura de quadro é iniciada em um estado sub-exposto na Etapa S122 do fluxograma da figura 17 supradescrito.
[00218] A Seção (a) da figura 20B ilustra um método de leitura de acordo com um primeiro exemplo no exemplo de aplicação da primeira modalidade. Uma imagem 60c da Seção (a) da figura 20B indica, por exemplo, que o processo de reconhecimento usando a CNN na Etapa S124 em relação a uma linha L nº 1 no topo de um quadro falhou, ou um escore que representa a confiabilidade do resultado do reconhecimento é um valor pré- determinado ou menor. Neste caso, a unidade de processamento de reconhecimento 12 instrui o controlador do sensor 11 a definir a exposição de uma linha L nº 2 a ser lida na Etapa S126 em uma exposição adequada para o processo de reconhecimento (neste caso, definir em uma quantidade de exposição maior). Na figura 20B, as linhas L nº 1, L nº 2 e assim por diante podem ser uma linha individual, ou podem ser uma pluralidade de linhas adjacentes umas às outras.
[00219] No exemplo na Seção (a) da figura 20B, a quantidade de exposição para a linha L nº 2 é maior do que a quantidade de exposição da linha L nº 1. É considerado, neste caso, que o resultado é a sobre-exposição da linha L nº 2 e o processo de reconhecimento usando a RNN na Etapa S127 falhou ou o escore é um valor pré-determinado ou menor. A unidade de
51 / 193 processamento de reconhecimento 12 instrui o controlador do sensor 11 a definir a quantidade de exposição para a linha L nº 3 a ser lida depois que o processo retornar da Etapa S130 para a Etapa S126 para ser menor do que a quantidade de exposição para a linha L nº 2. Similarmente, a quantidade de exposição da próxima linha será sequencialmente definida, também, para as linhas L nº 4, ... L nº m, ... de acordo com o resultado do processo de reconhecimento.
[00220] Desta maneira, pelo ajuste da quantidade de exposição da linha a ser lida a seguir com base no resultado do reconhecimento de uma certa linha, é possível executar o processo de reconhecimento com precisão mais alta.
[00221] Além do mais, como uma aplicação adicional do exemplo de aplicação exposto, da forma ilustrada na Seção (b) da figura 20B, há um método concebível de redefinição da exposição em um ponto em que a leitura é constituída em uma linha pré-determinada e, então, execução da leitura novamente a partir da primeira linha do quadro. Da forma ilustrada na Seção (b) da figura 20B, a unidade de processamento de reconhecimento 12 lê a partir da linha L nº 1 no topo do quadro até a linha L nº m, por exemplo, similarmente à Seção (a) supradescrita (1º), e redefine a exposição com base no resultado do reconhecimento. A unidade de processamento de reconhecimento 12 lê as linhas individuais L nº 1, L nº 2 e assim por diante novamente para o quadro com base na exposição redefinida (2º).
[00222] Desta maneira, a exposição é redefinida com base no resultado da leitura de um número de linhas pré-determinado, e as linhas L nº 1, L nº 2, ... serão lidas novamente a partir do topo do quadro com base na exposição redefinida, tornando possível executar o processo de reconhecimento com precisão mais alta. [5. Segunda modalidade] (5-0-1. Exemplo de configuração de acordo com a segunda modalidade)
52 / 193
[00223] A seguir, uma segunda modalidade da presente descrição será descrita. A segunda modalidade é uma extensão do processo de reconhecimento de acordo com a primeira modalidade supradescrita. A figura 21 é um diagrama de blocos funcional de um exemplo que ilustra as funções de um aparelho de formação de imagem de acordo com a segunda modalidade. Note que a figura 21 omite a ilustração da unidade óptica 30, da unidade sensora 10, da memória 13 e da unidade de exibição 31 ilustradas na figura 1. Além do mais, a figura 21 tem um gerador de gatilho 16 que é adicionado na configuração da figura 1.
[00224] Na figura 21, o controlador do sensor 11 inclui uma unidade de leitura 110 e um controlador de leitura 111. A unidade de processamento de reconhecimento 12 inclui uma unidade de cálculo dos dados de característica 120, um controlador de armazenamento dos dados de característica 121, um determinador de leitura 123, e uma unidade de execução do processo de reconhecimento 124. O controlador de armazenamento dos dados de característica 121 inclui uma unidade de armazenamento dos dados de característica 122. Além do mais, a unidade de processamento de reconhecimento visual 14 inclui um controlador de armazenamento dos dados de imagem 140, um determinador de leitura 142, e uma unidade de processamento de imagem 143. O controlador de armazenamento dos dados de imagem 140 inclui uma unidade de armazenamento dos dados de imagem 141.
[00225] No controlador do sensor 11, o controlador de leitura 111 recebe a informação da região de leitura que indica uma região de leitura para a leitura realizada pela unidade de processamento de reconhecimento 12 a partir do determinador de leitura 123 incluído na unidade de processamento de reconhecimento 12. A informação da região de leitura representa o(s) número(s) de linha de uma ou mais linhas. Não limitado a isto, a informação da região de leitura pode ser a informação que indica a posição do pixel em
53 / 193 uma linha. Além do mais, pela provisão da informação da região de leitura obtida pela combinação de um ou mais números de linha e da informação que indica as posições de pixel de um ou mais pixels na linha, é possível designar vários padrões de regiões de leitura. A região de leitura é equivalente às unidades de leitura. Não limitado a isto, a região de leitura e as unidades de leitura podem ser diferentes.
[00226] Similarmente, o controlador de leitura 111 recebe a informação da região de leitura que indica uma região de leitura para a leitura realizada pela unidade de processamento de reconhecimento visual 14 a partir do determinador de leitura 142 incluído na unidade de processamento de reconhecimento visual 14.
[00227] Com base nestes determinadores de leitura 123 e 142, o controlador de leitura 111 passa a informação da região de leitura que indica a região de leitura usada para a leitura real para a unidade de leitura 110. Por exemplo, em um caso em que houver um conflito entre a informação da região de leitura recebida a partir do determinador de leitura 123 e a informação da região de leitura recebida a partir do determinador de leitura 142, o controlador de leitura 111 pode realizar a mediação e o ajuste da informação da região de leitura a ser passada para a unidade de leitura 110.
[00228] Além do mais, o controlador de leitura 111 pode receber a informação que indica a exposição e o ganho analógico a partir do determinador de leitura 123 ou do determinador de leitura 142. O controlador de leitura 111 passa a informação recebida que indica a exposição e o ganho analógico para a unidade de leitura 110.
[00229] A unidade de leitura 110 lê os dados de pixel a partir da unidade sensora 10 de acordo com a informação da região de leitura passada a partir do controlador de leitura 111. Por exemplo, a unidade de leitura 110 obtém o número de linha que indica a linha a ser lida e a informação da posição do pixel que indica a posição do pixel a ser lido na linha com base na
54 / 193 informação da região de leitura, e passa o número de linha e a informação da posição do pixel obtidos para a unidade sensora 10. A unidade de leitura 110 passa as peças de dados de pixel individuais adquiridas a partir da unidade sensora 10 para a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14 juntamente com a informação da região de leitura.
[00230] Além do mais, a unidade de leitura 110 define a exposição e o ganho analógico (AG) para a unidade sensora 10 de acordo com a informação que indica a exposição e o ganho analógico recebida a partir do controlador de leitura 111. Além do mais, a unidade de leitura 110 pode gerar um sinal de sincronismo vertical e um sinal de sincronismo horizontal e suprir os sinais gerados para a unidade sensora 10.
[00231] Na unidade de processamento de reconhecimento 12, o determinador de leitura 123 recebe a informação de leitura que indica a região de leitura a ser lida a seguir a partir do controlador de armazenamento dos dados de característica 121. O determinador de leitura 123 gera a informação da região de leitura com base na informação de leitura recebida e passa a informação gerada para o controlador de leitura 111.
[00232] Aqui, o determinador de leitura 123 pode usar, por exemplo, a informação em que a informação da posição de leitura para a leitura dos dados de pixel das unidades de leitura foi adicionada em uma unidade de leitura pré-determinada como uma região de leitura indicada na informação da região de leitura. A unidade de leitura é um conjunto de um ou mais pixels, e corresponde à unidade do processo realizado pela unidade de processamento de reconhecimento 12 e pela unidade de processamento de reconhecimento visual 14. Como um exemplo, quando a unidade de leitura for uma linha, um número de linha [L nº x] que indica a posição da linha será adicionado como a informação da posição de leitura. Além do mais, quando a unidade de leitura for uma região retangular que inclui uma pluralidade de pixels, a informação
55 / 193 que indica a posição da região retangular na unidade do arranjo de pixels 101, por exemplo, a informação que indica a posição do pixel no canto superior esquerdo será adicionada como a informação da posição de leitura. O determinador de leitura 123 designa preliminarmente a unidade de leitura a ser aplicada. Não limitado a isto, o determinador de leitura 123 também pode determinar a unidade de leitura, por exemplo, em resposta a uma instrução proveniente do exterior do determinador de leitura 123. Portanto, o determinador de leitura 123 funciona como um controlador da unidade de leitura que controla a unidade de leitura.
[00233] Note que o determinador de leitura 123 também pode determinar uma região de leitura a ser lida a seguir com base na informação de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124, o que será descrito a seguir, e pode gerar a informação da região de leitura que indica a região de leitura determinada.
[00234] Similarmente, na unidade de processamento de reconhecimento visual 14, o determinador de leitura 142 recebe a informação de leitura que indica uma região de leitura a ser lida a seguir a partir do controlador de armazenamento dos dados de imagem 140, por exemplo. O determinador de leitura 142 gera a informação da região de leitura com base na informação de leitura recebida e passa a informação gerada para o controlador de leitura 111.
[00235] Na unidade de processamento de reconhecimento 12, a unidade de cálculo dos dados de característica 120 calcula os dados de característica na região indicada pela informação da região de leitura com base nos dados de pixel e na informação da região de leitura passada a partir da unidade de leitura 110. A unidade de cálculo dos dados de característica 120 passa os dados de característica calculados para o controlador de armazenamento dos dados de característica 121.
[00236] Como será descrito a seguir, a unidade de cálculo dos dados de
56 / 193 característica 120 pode calcular os dados de característica com base nos dados de pixel passados a partir da unidade de leitura 110 e nos dados de característica anteriores passados a partir do controlador de armazenamento dos dados de característica 121. Não limitado a isto, a unidade de cálculo dos dados de característica 120 pode adquirir a informação para definir a exposição e o ganho analógico a partir da unidade de leitura 110, por exemplo, e pode usar adicionalmente a informação adquirida para calcular os dados de característica.
[00237] Na unidade de processamento de reconhecimento 12, o controlador de armazenamento dos dados de característica 121 armazena os dados de característica passados a partir da unidade de cálculo dos dados de característica 120 na unidade de armazenamento dos dados de característica
122. Além do mais, quando a característica for passada a partir da unidade de cálculo dos dados de característica 120, o controlador de armazenamento dos dados de característica 121 gera a informação de leitura que indica uma região de leitura para a próxima leitura e passa a informação gerada para o determinador de leitura 123.
[00238] Aqui, o controlador de armazenamento dos dados de característica 121 pode realizar o armazenamento integrado dos dados de característica já armazenados e dos dados de característica recentemente passados. Além do mais, o controlador de armazenamento dos dados de característica 121 pode deletar os dados de característica desnecessários dos dados de característica armazenados na unidade de armazenamento dos dados de característica 122. Os exemplos dos dados de característica desnecessários podem ser os dados de característica relacionados ao quadro prévio ou os dados de característica calculados com base em uma imagem de quadro em relação a uma cena diferente da imagem de quadro em que os novos dados de característica são calculados e já armazenados. Além do mais, o controlador de armazenamento dos dados de característica 121 também pode deletar e
57 / 193 inicializar todos os dados de característica armazenados na unidade de armazenamento dos dados de característica 122 conforme necessário.
[00239] Além do mais, o controlador de armazenamento dos dados de característica 121 gera os dados de característica a serem usados pela unidade de execução do processo de reconhecimento 124 para o processo de reconhecimento com base nos dados de característica passados a partir da unidade de cálculo dos dados de característica 120 e nos dados de característica armazenados na unidade de armazenamento dos dados de característica 122. O controlador de armazenamento dos dados de característica 121 passa os dados de característica gerados para a unidade de execução do processo de reconhecimento 124.
[00240] A unidade de execução do processo de reconhecimento 124 executa o processo de reconhecimento com base nos dados de característica passados a partir do controlador de armazenamento dos dados de característica 121. A unidade de execução do processo de reconhecimento 124 realiza a detecção de objeto, a detecção de face ou similares pelo processo de reconhecimento. A unidade de execução do processo de reconhecimento 124 passa o resultado do reconhecimento obtido pelo processo de reconhecimento para o controlador de saída 15. A unidade de execução do processo de reconhecimento 124 também pode passar a informação de reconhecimento que inclui o resultado do reconhecimento gerado pelo processo de reconhecimento para o determinador de leitura 123. A unidade de execução do processo de reconhecimento 124 pode receber os dados de característica a partir do controlador de armazenamento dos dados de característica 121 e executar o processo de reconhecimento, por exemplo, de acordo com a execução de um gatilho gerado pelo gerador de gatilho 16.
[00241] Neste ínterim, na unidade de processamento de reconhecimento visual 14, o controlador de armazenamento dos dados de imagem 140 recebe os dados de pixel lidos a partir da região de leitura e a
58 / 193 informação da região de leitura correspondente aos dados de imagem a partir da unidade de leitura 110. O controlador de armazenamento dos dados de imagem 140 armazena os dados de pixel e a informação da região de leitura na unidade de armazenamento dos dados de imagem 141 em associação uns com os outros.
[00242] O controlador de armazenamento dos dados de imagem 140 gera os dados de imagem usados pela unidade de processamento de imagem 143 para realizar o processamento de imagem, com base nos dados de pixel passados a partir da unidade de leitura 110 e nos dados de imagem armazenados na unidade de armazenamento dos dados de imagem 141. O controlador de armazenamento dos dados de imagem 140 passa os dados de imagem gerados para a unidade de processamento de imagem 143. Não limitado a isto, o controlador de armazenamento dos dados de imagem 140 também pode passar os dados de pixel passados a partir da unidade de leitura 110 para a unidade de processamento de imagem 143 como estão.
[00243] Além do mais, o controlador de armazenamento dos dados de imagem 140 gera a informação de leitura que indica uma região de leitura para a próxima leitura com base na informação da região de leitura passada a partir da unidade de leitura 110, e passa a informação de leitura gerada para o determinador de leitura 142.
[00244] Aqui, o controlador de armazenamento dos dados de imagem 140 pode realizar o armazenamento integrado dos dados de imagem já armazenados e dos dados de pixel recentemente passados usando ponderação de adição, por exemplo. Além do mais, o controlador de armazenamento dos dados de imagem 140 pode deletar os dados de imagem desnecessários a partir dos dados de imagem armazenados na unidade de armazenamento dos dados de imagem 141. O exemplo dos dados de imagem desnecessários pode compreender os dados de imagem relacionados ao quadro prévio, ou os dados de imagem calculados com base em uma imagem de quadro em relação a uma
59 / 193 cena diferente da imagem de quadro em que novos dados de imagem são calculados e já armazenados. Além do mais, o controlador de armazenamento dos dados de imagem 140 também pode deletar e inicializar todos os dados de imagem armazenados na unidade de armazenamento dos dados de imagem 141, conforme necessário.
[00245] Além do mais, o controlador de armazenamento dos dados de imagem 140 pode adquirir a informação para definir a exposição e o ganho analógico a partir da unidade de leitura 110, e pode armazenar os dados de imagem corrigidos usando a informação adquirida na unidade de armazenamento dos dados de imagem 141.
[00246] A unidade de processamento de imagem 143 realiza um processamento de imagem pré-determinado nos dados de imagem passados a partir do controlador de armazenamento dos dados de imagem 140. Por exemplo, a unidade de processamento de imagem 143 pode realizar um processo de melhoria da qualidade da imagem pré-determinado nos dados de imagem. Além do mais, em um caso em que os dados de imagem passados forem os dados de imagem com dados espacialmente reduzidos pela redução de linha ou similares, é possível usar um processo de interpolação para preencher a informação de imagem na parte reduzida. A unidade de processamento de imagem 143 passa os dados de imagem que passaram pelo processamento de imagem para o controlador de saída 15.
[00247] A unidade de processamento de imagem 143 pode receber os dados de imagem a partir do controlador de armazenamento dos dados de imagem 140 e executar o processamento de imagem, por exemplo, de acordo com a execução de um gatilho gerado pelo gerador de gatilho 16.
[00248] O controlador de saída 15 transmite um ou ambos do resultado do reconhecimento passado a partir da unidade de execução do processo de reconhecimento 124 e dos dados de imagem passados a partir da unidade de processamento de imagem 143. O controlador de saída 15 transmite um ou
60 / 193 ambos do resultado do reconhecimento e dos dados de imagem de acordo com o gatilho gerado pelo gerador de gatilho 16, por exemplo.
[00249] Com base na informação relacionada ao processo de reconhecimento passada a partir da unidade de processamento de reconhecimento 12 e na informação relacionada ao processamento de imagem passada a partir da unidade de processamento de reconhecimento visual 14, o gerador de gatilho 16 gera os gatilhos que incluem um gatilho a ser passado para a unidade de execução do processo de reconhecimento 124, um gatilho a ser passado para a unidade de processamento de imagem 143, e um gatilho a ser passado para o controlador de saída 15. O gerador de gatilho 16 passa cada um dos gatilhos gerados para a unidade de execução do processo de reconhecimento 124, a unidade de processamento de imagem 143, e o controlador de saída 15 em sincronismos pré-determinados, individualmente. (5-0-2. O exemplo dos processos na unidade de processamento de reconhecimento de acordo com a segunda modalidade)
[00250] A figura 22 é um diagrama esquemático que ilustra com mais detalhes um exemplo dos processos na unidade de processamento de reconhecimento 12 de acordo com uma segunda modalidade. Aqui, considera- se que a região de leitura é uma linha, e a unidade de leitura 110 lê os dados de pixel em unidades de linha da extremidade superior até a extremidade inferior do quadro de uma imagem 60. Os dados de imagem da linha (dados de linha) da linha L nº x lida pela unidade de leitura 110 em unidades de linha serão inseridos na unidade de cálculo dos dados de característica 120.
[00251] A unidade de cálculo dos dados de característica 120 executa um processo de extração dos dados de característica 1200 e um processo de integração 1202. A unidade de cálculo dos dados de característica 120 realiza o processo de extração dos dados de característica 1200 nos dados de linha inseridos para extrair os dados de característica 1201 a partir dos dados de linha. Aqui, o processo de extração dos dados de característica 1200 extrai os
61 / 193 dados de característica 1201 a partir dos dados de linha com base nos parâmetros obtidos pelo aprendizado em antecipação. Usando o processo de integração 1202, os dados de característica 1201 extraídos pelo processo de extração dos dados de característica 1200 são integrados com os dados de característica 1212 processados pelo controlador de armazenamento dos dados de característica 121. Os dados de característica integrados 1210 são passados para o controlador de armazenamento dos dados de característica
121.
[00252] O controlador de armazenamento dos dados de característica 121 executa um processo de atualização do estado interno 1211. Os dados de característica 1210 passados para o controlador de armazenamento dos dados de característica 121 são passados para a unidade de execução do processo de reconhecimento 124 e passam pelo processo de atualização do estado interno
1211. O processo de atualização do estado interno 1211 reduz os dados de característica 1210 com base nos parâmetros aprendidos em antecipação para atualizar o estado interno da DNN, e, então, gera os dados de característica 1212 correspondentes ao estado interno atualizado. Os dados de característica 1212 são integrados com os dados de característica 1201 pelo processo de integração 1202. O processo realizado pelo controlador de armazenamento dos dados de característica 121 corresponde ao processo usando uma RNN.
[00253] A unidade de execução do processo de reconhecimento 124 executa um processo de reconhecimento 1240 nos dados de característica 1210 passados a partir do controlador de armazenamento dos dados de característica 121 com base nos parâmetros aprendidos em antecipação usando os dados de treinamento pré-determinados, por exemplo, e transmite um resultado do reconhecimento.
[00254] Da forma supradescrita, com base nos parâmetros aprendidos em antecipação, a unidade de processamento de reconhecimento 12 de acordo com a segunda modalidade executa os processos, especificamente, o processo
62 / 193 de extração dos dados de característica 1200, o processo de integração 1202, o processo de atualização do estado interno 1211, e o processo de reconhecimento 1240. O aprendizado de parâmetro é realizado usando os dados de treinamento com base em um alvo de reconhecimento considerável.
[00255] Note que as funções da unidade de cálculo dos dados de característica 120, do controlador de armazenamento dos dados de característica 121, do determinador de leitura 123 e da unidade de execução do processo de reconhecimento 124 supradescritos são implementadas quando um programa armazenado na memória 13 ou similares for lido em e executado por um DSP incluído no aparelho de formação de imagem 1, por exemplo. Similarmente, as funções do controlador de armazenamento dos dados de imagem 140, do determinador de leitura 142 e da unidade de processamento de imagem 143 supradescritos são implementadas quando um programa armazenado na memória 13 ou similares for lido em e executado por um ISP incluído no aparelho de formação de imagem 1, por exemplo. Estes programas podem ser armazenados na memória 13 em antecipação, ou podem ser supridos para o aparelho de formação de imagem 1 a partir do exterior e gravados na memória 13. (5-0-3. Detalhes do processo de reconhecimento de acordo com a segunda modalidade)
[00256] A seguir, a segunda modalidade será descrita com mais detalhes. A figura 23 é um diagrama de blocos funcional de um exemplo que ilustra as funções de acordo com a segunda modalidade. Já que a segunda modalidade descreve principalmente o processo de reconhecimento realizado pela unidade de processamento de reconhecimento 12, a figura 23 omite a ilustração da unidade de processamento de reconhecimento visual 14, do controlador de saída 15 e do gerador de gatilho 16, que são ilustrados na configuração da figura 21. Além do mais, a figura 23 omite a ilustração do controlador de leitura 111 a partir do controlador do sensor 11.
63 / 193
[00257] A figura 24 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com a segunda modalidade. Na segunda modalidade, a unidade de leitura é uma linha, e a leitura dos dados de pixel é realizada sequencialmente na ordem das linhas para o quadro Fr(x). No exemplo da figura 24, a leitura da linha é realizada no m-ésimo quadro Fr(m) sequencialmente na ordem das linhas começando a partir da linha L nº 1 na extremidade superior do quadro Fr(m), para continuar até a linha L nº 2, L nº 3, e assim por diante. Quando a leitura de linha no quadro Fr(m) estiver completa, no próximo quadro Fr(m + 1), que é o (m + 1)-ésimo quadro, a leitura das linhas é realizada sequencialmente na ordem das linhas a partir da linha da extremidade superior L nº 1 de uma maneira similar.
[00258] A figura 25 é um diagrama esquemático que ilustra esquematicamente um processo de reconhecimento de acordo com a segunda modalidade. Da forma ilustrada na figura 25, o processo de reconhecimento é realizado pela execução sequencial do processo realizado por uma CNN 52’ e uma atualização da informação interna 55 para cada uma das peças da informação de pixel 54 de cada uma das linhas L nº 1, L nº 2, L nº 3 e assim por diante. Portanto, é suficiente inserir a informação de pixel 54 para uma linha na CNN 52’, tornando possível formar um reconhecedor 56 em uma escala extremamente pequena. Note que o reconhecedor 56 tem uma configuração como uma RNN em virtude de o mesmo executar os processos da CNN 52’ na informação sequencialmente inserida e realizar a atualização da informação interna 55.
[00259] Pela realização do processo de reconhecimento sequencialmente na ordem das linhas usando uma RNN, um resultado do reconhecimento válido pode ser obtido sem realizar a leitura de todas as linhas incluídas no quadro. Neste caso, a unidade de processamento de reconhecimento 12 pode terminar o processo de reconhecimento em um ponto em que um resultado do reconhecimento válido é obtido. Um exemplo de
64 / 193 término do processo de reconhecimento no meio da leitura de quadro será descrito em relação às figuras 26 e 27.
[00260] A figura 26 é um diagrama que ilustra um caso exemplar em que o alvo de reconhecimento é o número “8”. No exemplo da figura 26, o número “8” é reconhecido em um ponto em que um alcance 71 de cerca de 3/4 de um quadro 70 na direção vertical foi lido. Portanto, a unidade de processamento de reconhecimento 12 pode transmitir um resultado do reconhecimento válido que indica que o número “8” é reconhecido em um ponto em que o alcance 71 foi lido, e pode terminar o processo de leitura de linha e o processo de reconhecimento para o quadro 70.
[00261] A figura 27 é um diagrama que ilustra um exemplo quando o alvo de reconhecimento for uma pessoa. No exemplo da figura 27, uma pessoa 74 é reconhecida em um ponto em que um alcance 73 de cerca de 1/2 de um quadro 72 na direção vertical foi lido. Portanto, a unidade de processamento de reconhecimento 12 pode transmitir um resultado do reconhecimento válido que indica que a pessoa 74 é reconhecida em um ponto em que o alcance 73 foi lido, e pode terminar o processo de leitura de linha e o processo de reconhecimento para o quadro 72.
[00262] Desta maneira, na segunda modalidade, quando um resultado do reconhecimento válido for obtido no meio da leitura de linha para o quadro, é possível terminar o processo de leitura de linha e de reconhecimento. Isto torna possível poupar a energia no processo de reconhecimento e encurtar o tempo exigido para o processo de reconhecimento.
[00263] Embora o exposto seja um exemplo em que a leitura de linha é realizada a partir do lado da extremidade superior até o lado da extremidade inferior do quadro, a direção da leitura não é limitada a este exemplo. Por exemplo, a leitura de linha pode ser realizada do lado da extremidade inferior até o lado da extremidade superior do quadro. Isto é, um objeto que tem a
65 / 193 existência localizada distante do aparelho de formação de imagem 1 pode, no geral, ser reconhecido anteriormente pela realização da leitura de linha do lado da extremidade superior até o lado da extremidade inferior do quadro. Ao contrário, um objeto que tem a existência no lado frontal em relação ao aparelho de formação de imagem 1 pode, no geral, ser reconhecido anteriormente pela realização da leitura de linha do lado da extremidade inferior até o lado da extremidade superior do quadro.
[00264] Por exemplo, há uma situação concebível em que o aparelho de formação de imagem 1 é instalado para a aplicação em veículo para formar a imagem da vista frontal. Neste caso, o objeto na frente (por exemplo, um veículo ou um pedestre na frente do próprio veículo) existe na parte inferior da tela que terá imagem formada. Portanto, a realização da leitura de linha do lado da extremidade inferior até o lado da extremidade superior do quadro será mais efetiva. Além do mais, quando um Sistema Avançado de Assistência a Condutor (ADAS) exigir parada imediata, será necessário apenas reconhecer pelo menos um objeto correspondente. Além do mais, em um caso em que um objeto tiver sido reconhecido, a execução da leitura de linha a partir do lado da extremidade inferior do quadro novamente é considerada mais efetiva. Além do mais, há os casos em que um objeto distante deve ser priorizado, por exemplo, em uma autoestrada. Neste caso, é preferível executar a leitura de linha do lado da extremidade superior até o lado da extremidade inferior do quadro.
[00265] Além do mais, a unidade de leitura pode ser definida na direção da coluna dentre as direções da matriz (linha-coluna) na unidade do arranjo de pixels 101. Por exemplo, é concebível usar uma pluralidade de pixels arranjados em uma coluna na unidade do arranjo de pixels 101 como a unidade de leitura. A aplicação do método de obturador global como o método de formação de imagem torna possível realizar a leitura com base em coluna usando as colunas como a unidade de leitura. No método de obturador
66 / 193 global, é possível executar a leitura pela comutação entre a leitura com base em coluna e a leitura com base em linha. Quando a leitura for fixa na leitura com base em coluna, por exemplo, é concebível rotar a unidade do arranjo de pixels 101 em 90° e usar o método do obturador de rolamento.
[00266] Por exemplo, um objeto que tem a existência no lado esquerdo do aparelho de formação de imagem 1 pode ser reconhecido anteriormente pela leitura sequencial a partir do lado da extremidade esquerda do quadro pela leitura com base em coluna. Similarmente, um objeto que tem a existência no lado direito em relação ao aparelho de formação de imagem 1 pode ser reconhecido anteriormente pela leitura sequencial a partir do lado da extremidade direita do quadro pela leitura com base em coluna.
[00267] Em um exemplo de uso, o aparelho de formação de imagem 1 é usado para a aplicação em veículo, por exemplo, quando o veículo estiver virando, um objeto que tem a existência no lado da virada será priorizado em alguns casos. Em um caso como este, é preferível realizar a leitura a partir da extremidade no lado da virada pela leitura com base em coluna. A direção do giro pode ser adquirida com base na informação de direção do veículo, por exemplo. Não limitado a isto, por exemplo, é possível prover o aparelho de formação de imagem 1 com um sensor capaz de detectar a velocidade angular em três direções, e de adquirir a direção do giro com base no resultado da detecção deste sensor.
[00268] A figura 28 é um fluxograma que ilustra um exemplo do processo de reconhecimento de acordo com a segunda modalidade. O processo de acordo com o fluxograma da figura 28 é um processo correspondente à leitura dos dados de pixel na unidade de leitura (por exemplo, uma linha) a partir de um quadro, por exemplo. Aqui, considera-se que a unidade de leitura é uma linha. Por exemplo, a informação da região de leitura pode ser representada por um número de linha que indica uma linha a ser lida.
67 / 193
[00269] Na Etapa S100, a unidade de processamento de reconhecimento 12 lê os dados de linha a partir da linha indicada pela linha de leitura do quadro. Mais especificamente, na unidade de processamento de reconhecimento 12, o determinador de leitura 123 passa o número de linha em relação à linha a ser lida a seguir para o controlador do sensor 11. No controlador do sensor 11, a unidade de leitura 110 lê os dados de pixel da linha indicada pelo número de linha a partir da unidade sensora 10 como os dados de linha de acordo com o número de linha passado. A unidade de leitura 110 passa os dados de linha lidos a partir da unidade sensora 10 para a unidade de cálculo dos dados de característica 120. Além do mais, a unidade de leitura 110 passa a informação da região de leitura (por exemplo, um número de linha) que indica a região usada para a leitura dos dados de pixel para a unidade de cálculo dos dados de característica 120.
[00270] Na próxima Etapa S101, a unidade de cálculo dos dados de característica 120 calcula os dados de característica com base na dados de linha com base nos dados de pixel passados a partir da unidade de leitura 110, e calcula os dados de característica da linha. Na próxima Etapa S102, a unidade de cálculo dos dados de característica 120 adquire os dados de característica armazenados na unidade de armazenamento dos dados de característica 122 a partir do controlador de armazenamento dos dados de característica 121. Na próxima Etapa S103, a unidade de cálculo dos dados de característica 120 integra os dados de característica calculados na Etapa S101 e os dados de característica adquiridos a partir do controlador de armazenamento dos dados de característica 121 na Etapa S102. Os dados de característica integrados são passados para o controlador de armazenamento dos dados de característica 121. O controlador de armazenamento dos dados de característica 121 armazena os dados de característica integrados passados a partir da unidade de cálculo dos dados de característica 120 na unidade de armazenamento dos dados de característica 122 (Etapa S104).
68 / 193
[00271] Note que uma série de processos a partir da Etapa S100 é o processo para a primeira linha de um quadro e, assim, quando a unidade de armazenamento dos dados de característica 122 for inicializada, por exemplo, os processos nas Etapas S102 e S103 podem ser omitidos. Neste momento, o processo de acordo com a Etapa S104 é um processo de acúmulo dos dados de linha de característica calculados com base na primeira linha na unidade de armazenamento dos dados de característica 122.
[00272] Além do mais, o controlador de armazenamento dos dados de característica 121 passa os dados de característica integrados passados a partir da unidade de cálculo dos dados de característica 120 para a unidade de execução do processo de reconhecimento 124, também. Na Etapa S105, a unidade de execução do processo de reconhecimento 124 executa o processo de reconhecimento usando os dados de característica integrados passados a partir do controlador de armazenamento dos dados de característica 121. Na próxima Etapa S106, a unidade de execução do processo de reconhecimento 124 transmite o resultado do reconhecimento do processo de reconhecimento da Etapa S105.
[00273] Na Etapa S107, o determinador de leitura 123 na unidade de processamento de reconhecimento 12 determina uma linha de leitura para realizar a próxima leitura de acordo com a informação de leitura passada a partir do controlador de armazenamento dos dados de característica 121. Por exemplo, o controlador de armazenamento dos dados de característica 121 recebe a informação da região de leitura juntamente com os dados de característica a partir da unidade de cálculo dos dados de característica 120. Com base nesta informação da região de leitura, o controlador de armazenamento dos dados de característica 121 determina uma linha de leitura a ser lida a seguir de acordo com, por exemplo, um padrão de leitura pré-determinado (sequencialmente na ordem das linhas, neste exemplo). O processo a partir da Etapa S100 é executado novamente para a linha de leitura
69 / 193 determinada. (5-0-4. O exemplo de controle dos processos de leitura e de reconhecimento de acordo com a segunda modalidade)
[00274] A seguir, um exemplo do controle de um processo de leitura e de reconhecimento de acordo com uma segunda modalidade será descrito. As figuras 29A e 29B são cronogramas que ilustram um exemplo do controle do processo de leitura e de reconhecimento de acordo com a segunda modalidade. Os exemplos das figuras 29A e 29B são os exemplos em que um tempo em branco blk durante o qual nenhuma operação de formação de imagem é realizada é provido em um período de formação de imagem (um período de quadro). As figuras 29A e 29B ilustram que o tempo passa para a direita.
[00275] A figura 29A ilustra um exemplo de atribuição de 1/2 do período de formação de imagem continuamente ao tempo em branco blk. Na figura 29A, o período de formação de imagem corresponde a um período de quadro, que é 1/30 [seg], por exemplo. A leitura do quadro a partir da unidade sensora 10 é realizada neste período de quadro. O tempo de formação de imagem é uma duração de tempo exigida para formar a imagem de todas as linhas incluídas no quadro. No exemplo da figura 29A, considera-se que o quadro inclui n linhas, e a formação de imagem de n linhas da linha L nº 1 até a linha L nº n está completa em 1/60 [seg], que é 1/2 do período de quadro de 1/30 [seg]. A duração de tempo atribuída à formação de imagem de uma linha é 1/(60 x n) [seg]. O período de 1/30 [seg] do sincronismo de formação de imagem da última linha L nº n no quadro até o sincronismo de formação de imagem da primeira linha L nº 1 do próximo quadro é definido como o tempo em branco blk.
[00276] Por exemplo, em um sincronismo em que a formação de imagem da linha L nº 1 está completa, a formação de imagem da próxima linha L nº 2 é iniciada. Ao mesmo tempo, a unidade de processamento de
70 / 193 reconhecimento 12 executa um processo de reconhecimento de linha para a linha L nº 1, isto é, um processo de reconhecimento para os dados de pixel incluídos na linha L nº 1. A unidade de processamento de reconhecimento 12 termina o processo de reconhecimento de linha para a linha L nº 1 antes da formação de imagem da próxima linha L nº 2 ser iniciada. Quando o processo de reconhecimento de linha para a linha L nº 1 estiver completo, a unidade de processamento de reconhecimento 12 transmite um resultado do reconhecimento em relação ao processo de reconhecimento.
[00277] Similarmente para a próxima linha L nº 2, a formação de imagem da próxima linha L nº 3 é iniciada no sincronismo em que a formação de imagem da linha L nº 2 está completa. Subsequentemente, a unidade de processamento de reconhecimento 12 executa um processo de reconhecimento de linha para a linha L nº 2 e termina este processo de reconhecimento de linha executado antes do início da formação de imagem da próxima linha L nº 3. No exemplo da figura 29A, as formações de imagem das linhas L nº 1, L nº 2, nº 3, ... L nº m, ... são sequencialmente executadas desta maneira. Em cada uma das linhas L nº 1, L nº 2, L nº 3, ... L nº m, ... no sincronismo do final da formação de imagem, a formação de imagem da linha próxima da linha com formação de imagem completa é iniciada. No mesmo tempo do início, o processo de reconhecimento de linha para a linha com formação de imagem completa é executado.
[00278] Desta maneira, pela execução sequencial do processo de reconhecimento em unidades de leitura (linha neste exemplo), é possível obter sequencialmente o resultado do reconhecimento sem inserir todos os dados de imagem do quadro no reconhecedor (unidade de processamento de reconhecimento 12), tornando possível reduzir o atraso até que o resultado do reconhecimento seja obtido. Além do mais, quando um resultado do reconhecimento válido for obtido em uma certa linha, é possível terminar o processo de reconhecimento neste ponto, levando à redução do tempo para o
71 / 193 processo de reconhecimento e à economia de energia. Além do mais, pela propagação da informação no eixo geométrico do tempo e integração dos resultados do reconhecimento para cada uma das linhas, é possível melhorar gradualmente a precisão do reconhecimento.
[00279] No exemplo da figura 29A, o tempo em branco blk no período de quadro pode ser usado para executar outros processos que supõe-se que sejam executados no período de quadro (por exemplo, processamento de imagem na unidade de processamento de reconhecimento visual 14 usando o resultado do reconhecimento).
[00280] A figura 29B ilustra um exemplo em que um tempo em branco blk é provido para cada um dos tempos de formação de imagem de uma linha. No exemplo da figura 29B, o período de quadro (período de formação de imagem) é definido em 1/30 [seg], similar ao exemplo da figura 29A. Por outro lado, a tempo de formação de imagem é definido em 1/30 [seg], que é igual ao período de formação de imagem. Além do mais, é considerado, no exemplo da figura 29B, que as formações de imagem de linha de n linhas, a saber, linhas L nº 1 até L nº n, são executadas em um intervalo de tempo de 1/(30 x n) [seg] em um período de quadro, e que o tempo de formação de imagem para uma linha é 1/(60 x n) [seg].
[00281] Neste caso, é possível prover um tempo em branco blk de 1/(60 x n) [seg] para cada um dos tempos de formação de imagem de cada uma das linhas L nº 1 até L nº n. Em cada um dos tempos em branco blk de cada uma das linhas L nº 1 até L nº n, é possível executar outros processos que supõe-se que sejam executados para a imagem capturada da linha correspondente (por exemplo, processamento de imagem na unidade de processamento de reconhecimento visual 14 usando o resultado do reconhecimento). Neste momento, é possível atribuir o tempo (aproximadamente 1/(30 x n) [seg] neste exemplo) até imediatamente antes do final da formação de imagem da próxima linha da linha alvo aos outros
72 / 193 processos. No exemplo da figura 29B, os resultados do processamento dos outros processos podem ser transmitidos linha por linha, tornando possível adquirir os resultados do processamento dos outros processos mais rapidamente.
[00282] A figura 30 é um cronograma que ilustra um outro exemplo do controle do processo de leitura e de reconhecimento de acordo com a segunda modalidade. No exemplo da figura 29 supradescrito, a formação de imagem de todas as linhas L nº 1 até L nº n incluídas no quadro está completa em um período de 1/2 do período de quadro, com o 1/2 período restante do período de quadro definido como um tempo em branco. Ao contrário, no exemplo ilustrado na figura 30, a formação de imagem de todas as linhas L nº 1 até L nº n incluídas no quadro é realizada usando todo o período de quadro sem ter o tempo em branco no período de quadro.
[00283] Aqui, quando o tempo de formação de imagem de uma linha for 1/(60 x n) [seg] que é igual ao tempo das figuras 29A e 29B e o número de linhas incluídas no quadro for n que é igual ao número das figuras 29A e 29B, o período de quadro, isto é, o período de formação de imagem será 1/60 [seg]. Portanto, no exemplo em que o tempo em branco blk ilustrado na figura 30 não é provido, é possível aumentar a taxa de quadro, se comparada com os exemplos das figuras 29A e 29B supradescritos. [5-1. Primeira modificação da segunda modalidade]
[00284] A seguir, uma primeira modificação de acordo com a segunda modalidade será descrita. A primeira modificação de acordo com a segunda modalidade é um exemplo em que a unidade de leitura é definida em uma pluralidade de linhas sequencialmente adjacentes umas às outras. Note que a configuração descrita em relação à figura 23 pode ser aplicada como está na primeira modificação da segunda modalidade e, também, nas segunda até sétima modificações da segunda modalidade descritas a seguir e, assim, a descrição detalhada da configuração será omitida.
73 / 193
[00285] A figura 31 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com a primeira modificação da segunda modalidade. Da forma ilustrada na figura 31, na primeira modificação da segunda modalidade, um grupo de linhas que inclui uma pluralidade de linhas adjacentes umas às outras é definido como uma unidade de leitura, e a leitura dos dados de pixel é realizada sequencialmente nos grupos de linhas para um quadro Fr(m). Na unidade de processamento de reconhecimento 12, o determinador de leitura 123 determina um grupo de linhas Ls nº x que inclui o número de linhas pré-designado como a unidade de leitura, por exemplo.
[00286] O determinador de leitura 123 passa a informação da região de leitura em que a informação da posição de leitura para a leitura dos dados de pixel na unidade de leitura foi adicionada na informação que indica a unidade de leitura determinada como o grupo de linhas Ls nº x para o controlador de leitura 111. O controlador de leitura 111 passa a informação da região de leitura passada a partir do determinador de leitura 123 para a unidade de leitura 110. A unidade de leitura 110 lê os dados de pixel a partir da unidade sensora 10 de acordo com a informação da região de leitura passada a partir do controlador de leitura 111.
[00287] No exemplo da figura 31, a leitura do grupo de linhas Ls nº x é realizada no m-ésimo quadro Fr(m), sequencialmente na ordem das linhas, começando a partir do grupo de linhas Ls nº 1 na extremidade superior do quadro Fr(m), para continuar até Ls nº 2, Ls nº 3, ... Ls nº p e assim por diante. Quando a leitura do grupo de linhas Ls nº x no quadro Fr(m) estiver completa, no próximo quadro Fr(m + 1), que é o (m + 1)-ésimo quadro, a leitura do grupo de linhas será similarmente realizada sequencialmente na ordem das linhas a partir do grupo de linhas da extremidade superior Ls nº 1 para continuar até os grupos de linhas Ls nº 2, Ls nº 3 e assim por diante.
[00288] Desta maneira, pela leitura dos dados de pixel usando o grupo
74 / 193 de linhas Ls nº x que inclui uma pluralidade de linhas como a unidade de leitura, é possível ler os dados de pixel para um quadro em uma taxa mais alta do que no caso de realização da leitura sequencialmente na ordem das linhas. Além do mais, a unidade de processamento de reconhecimento 12 pode usar uma grande quantidade de dados de pixel em um processo de reconhecimento, levando à melhoria da velocidade da resposta de reconhecimento. Além do mais, já que o número de tempos de leitura em um quadro é menor do que no caso de realização da leitura sequencialmente na ordem das linhas, é possível suprimir a distorção de uma imagem de quadro capturada em um caso em que o método de formação de imagem da unidade sensora 10 for o método do obturador de rolamento.
[00289] Note que, na primeira modificação da segunda modalidade, é possível executar a leitura do grupo de linhas Ls nº x a partir do lado da extremidade inferior até o lado da extremidade superior do quadro similarmente à segunda modalidade supradescrita. Além do mais, quando um resultado do reconhecimento válido for obtido no meio da leitura do grupo de linhas Ls nº x para o quadro, é possível terminar a leitura dos grupos de linhas e o processo de reconhecimento. Isto torna possível poupar a energia no processo de reconhecimento e encurtar o tempo exigido para o processo de reconhecimento. [5-2. Segunda modificação da segunda modalidade]
[00290] A seguir, uma segunda modificação da segunda modalidade será descrita. A segunda modificação da segunda modalidade é um exemplo em que a unidade de leitura é uma parte de uma linha.
[00291] A figura 32 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com a segunda modificação da segunda modalidade. Da forma ilustrada na figura 32, na segunda modificação da segunda modalidade, na leitura de linha realizada sequencialmente na ordem das linhas, uma parte (referida como uma linha
75 / 193 parcial) de cada uma das linhas é definida como uma unidade de leitura, e a leitura dos dados de pixel é realizada em uma linha parcial Lp nº x em cada uma das linhas sequencialmente na ordem das linhas sobre o quadro Fr(m). Na unidade de processamento de reconhecimento 12, o determinador de leitura 123 determina, por exemplo, uma pluralidade de pixels incluídos na linha, que são sequencialmente adjacentes uns aos outros e têm um número menor do que o número total de pixels incluídos na linha, como uma unidade de leitura.
[00292] O determinador de leitura 123 passa a informação da região de leitura em que a informação da posição de leitura para a leitura dos dados de pixel na linha parcial Lp nº x foi adicionada na informação que indica a unidade de leitura determinada como a linha parcial Lp nº x para o controlador de leitura 111. Aqui, é concebível que a informação que indica a unidade de leitura seja constituída com a posição da linha parcial Lp nº x em uma linha e o número de pixels incluídos na linha parcial Lp nº x. Além do mais, é concebível que a informação da posição de leitura seja constituída usando o número de linha que inclui a linha parcial Lp nº x na qual a leitura deve ser realizada. O controlador de leitura 111 passa a informação da região de leitura passada a partir do determinador de leitura 123 para a unidade de leitura 110. A unidade de leitura 110 lê os dados de pixel a partir da unidade sensora 10 de acordo com a informação da região de leitura passada a partir do controlador de leitura 111.
[00293] No exemplo da figura 32, a leitura de cada uma das linhas parciais Lp nº x é realizada no m-ésimo quadro Fr(m), sequencialmente na ordem das linhas, começando a partir da linha parcial Lp nº 1 na extremidade superior do quadro Fr(m), para continuar até Lp nº 2, Lp nº 3 e assim por diante. Quando a leitura do grupo de linhas no quadro Fr(m) estiver completa, no próximo quadro Fr(m + 1), que é o (m + 1)-ésimo quadro, a leitura da linha parcial Lp nº x será similarmente realizada sequencialmente na ordem
76 / 193 das linhas a partir da linha parcial Lp nº 1 incluída na linha da extremidade superior.
[00294] Desta maneira, pela limitação dos pixels a serem lidos na leitura de linha aos pixels incluídos em uma parte da linha, é possível transferir os dados de pixel em uma banda mais estreita, se comparado com o caso em que os dados de pixel são lidos a partir da íntegra da linha. No método de leitura de acordo com a segunda modificação da segunda modalidade, a quantidade de transferência dos dados de pixel é menor do que aquela no caso de leitura dos dados de pixel a partir da íntegra da linha, tornando possível alcançar a economia de energia.
[00295] Note que, na segunda modificação da segunda modalidade, é possível executar a leitura da linha parcial do lado da extremidade inferior até o lado da extremidade superior do quadro similarmente à segunda modalidade supradescrita. Além do mais, quando um resultado do reconhecimento válido for obtido no meio da leitura da linha parcial para o quadro, é possível terminar a leitura da linha parcial Lp nº x e o processo de reconhecimento. Isto torna possível poupar a energia no processo de reconhecimento e encurtar o tempo exigido para o processo de reconhecimento. [5-3. Terceira modificação da segunda modalidade]
[00296] A seguir, uma terceira modificação da segunda modalidade será descrita. A terceira modificação da segunda modalidade é um exemplo em que a unidade de leitura é definida como uma área de um tamanho pré- determinado em um quadro.
[00297] A figura 33 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com uma terceira modificação da segunda modalidade. Da forma ilustrada na figura 33, na terceira modificação da segunda modalidade, uma área Ar nº x-y de um tamanho pré-determinado que inclui uma pluralidade de pixels sequencialmente adjacentes uns aos outros na direção da linha e na direção vertical é definida como uma unidade
77 / 193 de leitura em um quadro. Com esta unidade de leitura, a leitura é realizada para o quadro Fr(m) de maneira tal que a área Ar nº x-y seja lida sequencialmente na direção da linha, por exemplo, e, então, a leitura sequencial desta área Ar nº x-y na direção da linha seja, então, sequencialmente repetida na direção vertical. Na unidade de processamento de reconhecimento 12, o determinador de leitura 123 determina, por exemplo, a área Ar nº x-y definida pelo tamanho na direção da linha (número de pixels) e pelo tamanho na direção vertical (número de linhas) como a unidade de leitura.
[00298] O determinador de leitura 123 passa a informação da região de leitura em que a informação da posição de leitura para a leitura dos dados de pixel da área Ar nº x-y foi adicionada na informação que indica a unidade de leitura determinada como a área Ar nº x-y para o controlador de leitura 111. Aqui, é concebível que a informação que indica a unidade de leitura seja constituída com os supradescritos tamanho na direção da linha (número de pixels) e tamanho na direção vertical (número de linhas), por exemplo. Além do mais, é concebível que a informação da posição de leitura seja constituída usando a posição de um pixel pré-determinado incluído na área Ar nº x-y na qual a leitura deve ser realizada, por exemplo, a posição do pixel em relação ao pixel no canto superior esquerdo da área Ar nº x-y. O controlador de leitura 111 passa a informação da região de leitura passada a partir do determinador de leitura 123 para a unidade de leitura 110. A unidade de leitura 110 lê os dados de pixel a partir da unidade sensora 10 de acordo com a informação da região de leitura passada a partir do controlador de leitura 111.
[00299] No exemplo da figura 33, no m-ésimo quadro Fr(m), a leitura de cada uma das áreas Ar nº x-y é sequencialmente realizada na direção da linha, começando a partir da área Ar nº 1-1 localizada no canto superior esquerdo do quadro Fr(m) para continuar até as áreas Ar nº 2-1, Ar nº 3-1 e assim por diante. Depois que a leitura do quadro Fr(m) for finalizada até a
78 / 193 extremidade direita na direção da linha, a posição de leitura na direção vertical é deslocada. Subsequentemente, a leitura de cada uma das áreas Ar nº x-y é sequencialmente realizada novamente na direção da linha a partir da extremidade esquerda do quadro Fr(m) na ordem da área Ar nº 1-2, Ar nº 2-2, Ar nº 3-2 e assim por diante.
[00300] A figura 34 é um diagrama esquemático que ilustra um esboço de um processo de reconhecimento de acordo com a terceira modificação da segunda modalidade. Da forma ilustrada na figura 34, o processo de reconhecimento é realizado pela execução sequencial do processo realizado por uma CNN 52’ e uma atualização da informação interna 55 para cada uma das peças da informação de pixel 54 de cada uma das áreas Ar nº 1-1, Ar nº 2- 1, Ar nº 3-1 e assim por diante. Portanto, é suficiente inserir a informação de pixel 54 para uma área na CNN 52’, tornando possível formar o reconhecedor 56 em uma escala extremamente pequena. Note que o reconhecedor 56 tem uma configuração como uma RNN em virtude de o mesmo executar os processos da CNN 52’ na informação sequencialmente inserida e realizar a atualização da informação interna 55.
[00301] Pela realização do processo de reconhecimento sequencialmente na ordem das linhas usando uma RNN, um resultado do reconhecimento válido pode ser obtido sem realizar a leitura de todas as linhas incluídas no quadro. Neste caso, a unidade de processamento de reconhecimento 12 pode terminar o processo de reconhecimento em um ponto em que um resultado do reconhecimento válido é obtido. Em relação às figuras 35 e 36, trata-se de um exemplo de terminação do processo de reconhecimento no meio da leitura de quadro em um caso em que a unidade de leitura for uma área Ar nº x-y.
[00302] A figura 35 é um diagrama que ilustra um caso exemplar em que o alvo de reconhecimento é o número “8”. No exemplo da figura 35, em um quadro 80, o número “8” é reconhecido em uma posição P1 em um ponto
79 / 193 em que um alcance 81 de aproximadamente 2/3 do todo foi lido. Portanto, a unidade de processamento de reconhecimento 12 pode transmitir um resultado do reconhecimento válido que indica que o número “8” é reconhecido em um ponto em que o alcance 81 foi lido, e pode terminar o processo de leitura de linha e o processo de reconhecimento para o quadro 80.
[00303] A figura 36 é um diagrama que ilustra um exemplo quando o alvo de reconhecimento for uma pessoa. No exemplo da figura 36, em um quadro 82, uma pessoa 84 é reconhecida em uma posição P2 em um ponto em que um alcance 83 de aproximadamente 1/2 na direção vertical foi lido. Portanto, a unidade de processamento de reconhecimento 12 pode transmitir um resultado do reconhecimento válido que indica que a pessoa 84 foi reconhecida em um ponto em que o alcance 83 foi lido, e pode terminar o processo de leitura de linha e de reconhecimento para o quadro 82.
[00304] Desta maneira, na terceira modificação da segunda modalidade, quando um resultado do reconhecimento válido for obtido no meio da leitura de área para o quadro, é possível terminar a leitura de área e o processo de reconhecimento. Isto torna possível poupar a energia no processo de reconhecimento e encurtar o tempo exigido para o processo de reconhecimento. Além do mais, se comparada com o exemplo de realização da leitura através da íntegra da largura na direção da linha de acordo com a segunda modalidade e a primeira modificação da segunda modalidade supradescrita, por exemplo, a terceira modificação da segunda modalidade torna possível reduzir os casos de leitura redundante e possível reduzir o tempo exigido para o processo de reconhecimento.
[00305] No exposto, a área Ar nº x-y é lida do lado da extremidade esquerda até o lado da extremidade direita na direção da linha, e do lado da extremidade superior até o lado da extremidade inferior do quadro na direção vertical. Entretanto, a presente descrição não é limitada a estes exemplos. Por exemplo, a leitura na direção da linha pode ser realizada do lado da
80 / 193 extremidade direita até o lado da extremidade esquerda, e a leitura na direção vertical pode ser realizada do lado da extremidade inferior até o lado da extremidade superior do quadro. [5-4. Quarta modificação da segunda modalidade]
[00306] A seguir, uma quarta modificação da segunda modalidade será descrita. A quarta modificação da segunda modalidade é um exemplo em que a unidade de leitura é definida como um padrão formado com uma pluralidade de pixels que incluem os pixels não adjacentes.
[00307] A figura 37 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com a quarta modificação da segunda modalidade. Da forma ilustrada na figura 37, na quarta modificação da segunda modalidade, por exemplo, um padrão Pφ nº x-y formado com uma pluralidade de pixels arranjados discretamente e periodicamente na direção da linha e na direção vertical, individualmente, será a unidade de leitura. No exemplo da figura 37, o padrão Pφ nº x-y é constituído com seis pixels, a saber, três pixels arranjados em intervalos pré-determinados na direção da linha e três pixels arranjados em intervalos pré-determinados na direção vertical correspondentes às posições dos três pixels na direção da linha. Na unidade de processamento de reconhecimento 12, o determinador de leitura 123 determina a pluralidade de pixels arranjados de acordo com este padrão Pφ nº x-y como uma unidade de leitura.
[00308] Embora a descrição exposta seja um exemplo em que o padrão Pφ nº x-y é formado com uma pluralidade de pixels discretos, isto não é limitado a este exemplo. Por exemplo, uma pluralidade de grupos de pixels, cada qual incluindo uma pluralidade de pixels adjacentes uns aos outros pode ser arranjada discretamente para formar o padrão Pφ nº x-y. Por exemplo, uma pluralidade de grupos de pixels, cada qual sendo formado com 4 pixels que incluem 2 pixels x 2 pixels adjacentes uns aos outros pode ser arranjada discretamente e periodicamente, da forma ilustrada na figura 37, para formar
81 / 193 o padrão Pφ nº x-y.
[00309] O determinador de leitura 123 passa a informação da região de leitura em que a informação da posição de leitura para a leitura o padrão Pφ nº x-y foi adicionada na informação que indica a unidade de leitura determinada como o padrão Pφ nº x-y para o controlador de leitura 111. Aqui, é concebível que a informação que indica a unidade de leitura deva ser constituída com a informação que indica um relacionamento posicional entre um pixel pré- determinado dentre os pixels que constituem o padrão Pφ nº x-y (por exemplo, o pixel no canto superior esquerdo dos pixels que constituem o padrão Pφ nº x-y) e cada um dos outros pixels que constituem o padrão Pφ nº x-y. Além do mais, é concebível que a informação da posição de leitura seja constituída usando a informação que indica a posição de um pixel pré- determinado incluído no padrão Pφ nº x-y a ser lido (informação que indica a posição na linha e o número de linha). O controlador de leitura 111 passa a informação da região de leitura passada a partir do determinador de leitura 123 para a unidade de leitura 110. A unidade de leitura 110 lê os dados de pixel a partir da unidade sensora 10 de acordo com a informação da região de leitura passada a partir do controlador de leitura 111.
[00310] No exemplo da figura 37, no m-ésimo quadro Fr(m), a leitura de cada um dos padrões Pφ nº x-y é sequencialmente realizada, começando a partir do padrão Pφ nº 1-1 em que o pixel no canto superior esquerdo fica localizado no canto superior esquerdo do quadro Fr(m), ao mesmo tempo em que desloca um pixel de cada vez na direção da linha, por exemplo, para continuar até os padrões Pφ nº 2-1 e Pφ nº 3-1 e assim por diante. Por exemplo, quando a extremidade direita do padrão Pφ nº x-y alcançar a extremidade direita do quadro Fr(m), a posição do padrão Pφ nº x-y é deslocada na direção vertical em um pixel (uma linha) a partir da extremidade esquerda do quadro Fr(m) para permitir que a leitura de cada um dos padrões Pφ nº x-y continue até os padrões Pφ nº 1-2, Pφ nº 2-2, Pφ nº 3-2, e assim por
82 / 193 diante.
[00311] Já que o padrão Pφ nº x-y tem uma configuração em que os pixels são arranjados periodicamente, a operação de deslocamento do padrão Pφ nº x-y em um pixel pode ser considerada como uma operação de deslocamento da fase do padrão Pφ nº x-y. Isto é, na quarta modificação da segunda modalidade, a leitura de cada um dos padrões P nº x-y é realizada durante o deslocamento do padrão Pφ nº x-y em uma fase ∆φ na direção da linha. O movimento do padrão Pφ nº x-y na direção vertical é realizado pelo deslocamento de uma fase ∆φ‘ na direção vertical em relação à posição do padrão inicial Pφ nº 1-y na direção da linha.
[00312] A figura 38 é um diagrama esquemático que ilustra um esboço de um processo de reconhecimento aplicável na quarta modificação da segunda modalidade. A figura 38 ilustra um exemplo em que um padrão Pφ nº z é formado com quatro pixels separados por meio de um pixel cada na direção horizontal (direção da linha) e na direção vertical. Da forma ilustrada nas Seções (a), (b), (c) e (d) da figura 38, com uma configuração que tem os padrões Pφ nº 1, Pφ nº 2, Pφ nº 3, e Pφ nº 4 com quatro pixels deslocados em fase em um pixel nas direções horizontal e vertical, é possível ler todos os 16 pixels incluídos em uma área de 4 pixels x 4 pixels sem duplicação. Cada um dos quatro pixels lidos de acordo com os padrões Pφ nº 1, Pφ nº 2, Pφ nº 3, e Pφ nº 4 é, cada qual, correspondente às subamostras Sub nº 1, Sub nº 2, Sub nº 3, e Sub nº 4, respectivamente, que foram extraídas a partir de 16 pixels incluídos em uma região de amostra de 4 pixels x 4 pixels para evitar a duplicação.
[00313] No exemplo das Seções (a) até (d) da figura 38, o processo de reconhecimento é realizado pela execução do processo da CNN 52’ e pela atualização da informação interna 55 sobre as subamostras Sub nº 1, Sub nº 2, Sub nº 3, e Sub nº 4, individualmente. Portanto, é necessário apenas inserir quatro peças de dados de pixel na CNN 52’ para um processo de
83 / 193 reconhecimento, o que habilita que o reconhecedor 56 seja configurado em uma escala extremamente pequena.
[00314] A figura 39 é um cronograma que ilustra um exemplo de leitura e controle de acordo com a quarta modificação da segunda modalidade. Na figura 39, o período de formação de imagem corresponde a um período de quadro, que é 1/30 [seg], por exemplo. A leitura do quadro a partir da unidade sensora 10 é realizada neste período de quadro. O tempo de formação de imagem é uma duração de tempo exigida para formar imagem de todas as subamostras Sub nº 1 até Sub nº 4 incluídas no quadro. No exemplo da figura 39, o tempo de formação de imagem é definido em 1/30 [seg], que é igual ao período de formação de imagem. A formação de imagem de uma subamostra Sub nº x é referida como formação de imagem de subamostra.
[00315] Na quarta modificação da segunda modalidade, o tempo de formação de imagem é dividido em quatro durações, e a formação de imagem de subamostra de cada uma das subamostras Sub nº 1, Sub nº 2, Sub nº 3, e Sub nº 4 é executada em cada uma das durações.
[00316] Mais especificamente, o controlador do sensor 11 executa a formação de imagem de subamostra usando a subamostra Sub nº 1 através da íntegra do quadro na primeira duração dentre as primeira até quarta durações obtidas pela divisão do tempo de formação de imagem. O controlador do sensor 11 extrai a subamostra Sub nº 1 durante o movimento das regiões de amostra de 4 pixels x 4 pixels na direção da linha para não causar a duplicação, por exemplo. A operação de extração da subamostra Sub nº 1 durante o movimento da região de amostra na direção da linha é repetidamente executada na direção vertical pelo controlador do sensor 11.
[00317] Quando a extração da subamostra Sub nº 1 para um quadro estiver completa, a unidade de processamento de reconhecimento 12 insere a subamostra extraída Sub nº 1 para um quadro no reconhecedor 56 para cada subamostra Sub nº 1 para executar o processo de reconhecimento. A unidade
84 / 193 de processamento de reconhecimento 12 transmite o resultado do reconhecimento depois da conclusão do processo de reconhecimento para um quadro. Não limitado a isto, a unidade de processamento de reconhecimento 12 pode transmitir um resultado do reconhecimento quando um resultado do reconhecimento válido for obtido no meio do processo de reconhecimento para um quadro, e pode terminar o processo de reconhecimento para a subamostra Sub nº 1.
[00318] Posteriormente, em cada uma da segunda, da terceira e da quarta durações, a formação de imagem de subamostra através da íntegra do quadro será executada similarmente usando as subamostras Sub nº 2, Sub nº 3, e Sub nº 4.
[00319] Em relação às figuras 40 e 41, um processo de leitura de quadro de acordo com a quarta modificação da segunda modalidade será descrito mais especificamente. A figura 40 é um diagrama que ilustra um exemplo em que o alvo de reconhecimento é o número “8” e três números “8” que têm tamanhos diferentes são incluídos em um quadro. Nas Seções (a), (b) e (c) da figura 40, um quadro 90 inclui três objetos 93L, 93M, e 93S, cada um dos quais indicando o número “8” e tendo um tamanho diferente uns dos outros. Destes, o objeto 93L é o maior e o objeto 93S é o menor.
[00320] Na Seção (a) da figura 40, uma subamostra Sub nº 1 é extraída em uma região de amostra 92. Pela extração de uma subamostra Sub nº 1 em cada uma das regiões de amostra 92 incluídas no quadro 90, os pixels são lidos em um padrão de grade em intervalos de cada outro pixel a partir do quadro 90 em cada uma das direções horizontal e vertical, da forma ilustrada na Seção (a) da figura 40. No exemplo da Seção (a) da figura 40, a unidade de processamento de reconhecimento 12 reconhece o maior objeto 93L dentre os objetos 93L, 93M, e 93S com base nos dados de pixel dos pixels lidos em um padrão de grade.
[00321] Depois da conclusão da extração da subamostra Sub nº 1 a
85 / 193 partir do quadro 90, a extração da subamostra Sub nº 2 na região de amostra 92 é realizada a seguir. A subamostra Sub nº 2 é constituída com pixels que são deslocados em um pixel, cada qual nas direções horizontal e vertical na região de amostra 92 em relação à subamostra Sub nº 1. Já que o estado interno do reconhecedor 56 foi atualizado com base no resultado do reconhecimento da subamostra Sub nº 1, o resultado do reconhecimento correspondente à extração da subamostra Sub nº 2 terá uma influência do processo de reconhecimento da subamostra Sub nº 1. Portanto, pode ser considerado que o processo de reconhecimento de acordo com a extração da subamostra Sub nº 2 foi realizado com base nos dados de pixel em relação aos pixels lidos em um padrão xadrez, da forma ilustrada na Seção (b) da figura
40. Portanto, o estado ilustrado na Seção (b) da figura 40 em que a subamostra Sub nº 2 é adicionalmente extraída pode levar à resolução mais alta com base nos dados de pixel e habilitar o processo de reconhecimento com precisão mais alta, se comparado com o estado ilustrado na Seção (a) da figura 40 em que apenas a subamostra Sub nº 1 é extraída. No exemplo na Seção (b) da figura 40, o próximo maior objeto 93M depois do objeto 93L supradescrito é adicionalmente reconhecido.
[00322] A Seção (c) da figura 40 ilustra um estado em que a extração de todas as subamostras Sub nº 1 até Sub nº 4 incluídas na região de amostra 92 está completa no quadro 90. Na Seção (c) da figura 40, todos os pixels incluídos no quadro 90 devem ser lidos, resultando em um estado em que o menor objeto 93S é reconhecido além dos objetos 93L e 93M reconhecidos na extração das subamostras Sub nº 1 e Sub nº 2.
[00323] A figura 41 é uma vista que ilustra um exemplo em que o alvo de reconhecimento é uma pessoa e as imagens de três pessoas localizadas em distâncias diferentes a partir do aparelho de formação de imagem 1 são incluídas em um quadro. Nas Seções (a), (b), e (c) da figura 41, um quadro 95 inclui três objetos 96L, 96M, e 96S, cada um dos quais sendo uma imagem de
86 / 193 uma pessoa e tendo um tamanho diferente uns dos outros. Destes, o objeto 96L é o maior, e, das três pessoas incluídas no quadro 95, a pessoa correspondente ao objeto 96L é a mais próxima do aparelho de formação de imagem 1. Além do mais, o menor objeto 96S dentre os objetos 96L, 96M, e 96S representa um estado em que uma pessoa que corresponde ao objeto 96S dentre as três pessoas incluídas no quadro 95 é a pessoa mais distante do aparelho de formação de imagem 1.
[00324] Na figura 41, a Seção (a) corresponde à Seção (a) na figura 40, e indica um exemplo em que a supradescrita subamostra Sub nº 1 é extraída e o processamento de reconhecimento é executado, e o maior objeto 96L é reconhecido. A seção (b) da figura 41 corresponde à Seção (b) da figura 40, e indica um exemplo em que a subamostra Sub nº 2 é adicionalmente extraída e o processo de reconhecimento é executado para o estado da Seção (a) da figura 41, e o próximo maior objeto 96M é reconhecido. Além do mais, a Seção (c) da figura 41 corresponde à Seção (c) da figura 40, e indica um exemplo em que as subamostras Sub nº 3 e Sub nº 4 são adicionalmente extraídas e reconhecidas para o estado da Seção (b) da figura 41, o processo de reconhecimento é executado, e o processo de reconhecimento é executado com base nos dados de pixel de todos os pixels incluídos no quadro 95. A Seção (c) da figura 41 ilustra uma cena em que o menor objeto 96S foi reconhecido além dos objetos 96L e 96M.
[00325] Desta maneira, pela extração das subamostras Sub nº 1, Sub nº 2 e assim por diante e repetição do processo de reconhecimento, é possível reconhecer sequencialmente uma pessoa que está mais distante.
[00326] Nos exemplos das figuras 40 e 41, a leitura de quadro e o processamento de reconhecimento podem ser controlados de acordo com o tempo que pode ser atribuído ao processo de reconhecimento, por exemplo. Como um exemplo, em um caso em que o tempo que pode ser atribuído ao processo de reconhecimento for curto, é concebível terminar a leitura de
87 / 193 quadro e o processo de reconhecimento em um ponto em que a extração da subamostra Sub nº 1 no quadro 90 estiver completa e o objeto 93L for reconhecido. Ao contrário, em um caso em que o tempo que pode ser atribuído ao processo de reconhecimento for longo, é concebível continuar a leitura de quadro e a execução do processo de reconhecimento até que as extrações de todas as subamostras Sub nº 1 até Sub nº 4 estejam completas.
[00327] Não limitado a isto, a unidade de processamento de reconhecimento 12 pode controlar a leitura de quadro e o processamento de reconhecimento de acordo com a confiabilidade (escore) do resultado do reconhecimento. Por exemplo, quando o escore para o resultado do reconhecimento com base na extração da subamostra Sub nº 2 e o processo de reconhecimento for um valor pré-determinado ou maior na Seção (b) da figura 41, a unidade de processamento de reconhecimento 12 pode terminar o processo de reconhecimento e suprimir a execução da extração da próxima subamostra Sub nº 3.
[00328] Desta maneira, na quarta modificação da segunda modalidade, o processo de reconhecimento pode ser terminado em um ponto em que um resultado do reconhecimento pré-determinado for obtido, levando à redução da quantidade de processamento na unidade de processamento de reconhecimento 12 e à economia de energia.
[00329] Além do mais, com a quarta modificação da segunda modalidade, é possível aumentar a velocidade da resposta de reconhecimento para um objeto que tem um grande tamanho no quadro, e possível alcançar uma taxa de quadro mais alta. [5-5. Quinta modificação da segunda modalidade]
[00330] A seguir, uma quinta modificação da segunda modalidade será descrita. A quinta modificação da segunda modalidade é um exemplo em que a unidade de leitura é definida como um padrão em que uma pluralidade de pixels que incluem os pixels não adjacentes é aleatoriamente arranjada.
88 / 193
[00331] A figura 42 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com a quinta modificação da segunda modalidade. Da forma ilustrada na figura 42, na quinta modificação da segunda modalidade, por exemplo, um padrão Rd nº m_x formado com uma pluralidade de pixels arranjados discretamente e aperiodicamente no quadro Fr(m) é usado como a unidade de leitura. Isto é, a unidade de leitura de acordo com a quinta modificação da segunda modalidade é a íntegra de um quadro.
[00332] Na quinta modificação da segunda modalidade, em relação à figura 39 supradescrita, um período de quadro é dividido em uma pluralidade de durações, e o padrão é comutado para cada uma das durações. No exemplo da figura 42, na primeira duração do período de quadro dividido do m-ésimo quadro Fr(m), a unidade de processamento de reconhecimento 12 executa um processo de reconhecimento pela leitura dos pixels de acordo com um padrão Rd nº m_1 formado com a pluralidade de pixels arranjados discretamente e aperiodicamente no quadro Fr(m). Como um exemplo, quando o número total de pixels incluídos no quadro Fr(m) for s e o número de divisões do período de quadro for D, a unidade de processamento de reconhecimento 12 seleciona s/D pixels arranjados discretamente e aperiodicamente no quadro Fr(m) para formar o padrão Rd nº m_1.
[00333] Na próxima duração depois que o período de quadro for dividido, a unidade de processamento de reconhecimento 12 executa o processo de reconhecimento pela leitura dos pixels de acordo com um padrão Rd nº m_2 em que os pixels diferentes do padrão Rd nº m_1 foram selecionados no quadro Fr(m).
[00334] Similarmente, no próximo (m + 1)-ésimo quadro Fr(m + 1), na primeira duração do período de quadro dividido do quadro Fr(m + 1), a unidade de processamento de reconhecimento 12 executa um processo de reconhecimento pela leitura dos pixels de acordo com um padrão Rd nº
89 / 193 (m+1)_1 formado com a pluralidade de pixels arranjados discretamente e aperiodicamente em um quadro Fr(m+1). Na próxima duração, a unidade de processamento de reconhecimento 12 executa o processo de reconhecimento pela leitura dos pixels de acordo com um padrão Rd nº (m + 1) _2 em que os pixels diferentes do padrão Rd nº (m + 1) _1 foram selecionados.
[00335] Na unidade de processamento de reconhecimento 12, o determinador de leitura 123 realiza, na primeira duração do período de quadro dividido do quadro Fr(m), por exemplo, a seleção de um número pré- determinado de pixels a partir de todos os pixels incluídos no quadro Fr(m) com base em um número pseudoaleatório para determinar o padrão Rd nº m_1 como uma unidade de leitura. Na próxima duração, com base em um número pseudoaleatório, o determinador de leitura 123 seleciona um número pré-determinado de pixels a partir de todos os pixels incluídos no quadro Fr(m), excluindo os pixels selecionados no padrão Rd nº m_1, e determina o padrão Rd nº m_2 como uma unidade de leitura. Não limitado a isto, a unidade de processamento de reconhecimento 12 pode selecionar novamente um número pré-determinado de pixels a partir de todos os pixels incluídos no quadro Fr(m) com base em um número pseudoaleatório para determinar o padrão Rd nº m_2 como a unidade de leitura.
[00336] O determinador de leitura 123 passa a informação da região de leitura em que a informação da posição de leitura para a leitura dos dados de pixel do padrão Rd nº m_x foi adicionada na informação que indica a unidade de leitura determinada como o padrão Rd nº m_x para o controlador de leitura
111. O controlador de leitura 111 passa a informação da região de leitura passada a partir do determinador de leitura 123 para a unidade de leitura 110. A unidade de leitura 110 lê os dados de pixel a partir da unidade sensora 10 de acordo com a informação da região de leitura passada a partir do controlador de leitura 111.
[00337] Aqui, é concebível que a informação que indica a unidade de
90 / 193 leitura seja constituída com, por exemplo, a informação de posição (por exemplo, o número de linha e a informação que indica a posição do pixel na linha) de cada um dos pixels incluídos no padrão Rd nº m_1 no quadro Fr(m). Além do mais, já que a unidade de leitura neste caso cobre a íntegra do quadro Fr(m), a informação da posição de leitura pode ser omitida. Como a informação da posição de leitura, é permissível usar a informação que indica a posição de um pixel pré-determinado no quadro Fr(m).
[00338] Desta maneira, a quinta modificação da segunda modalidade realiza o processo de leitura de quadro pelo uso do padrão Rd nº m_x formado com uma pluralidade de pixels discretamente e aperiodicamente arranjados a partir de todos os pixels do quadro Fr(m). Isto torna possível reduzir os artefatos de amostragem, se comparado com o case de uso de padrões periódicos. Por exemplo, de acordo com o processo de leitura de quadro de acordo com a quinta modificação da segunda modalidade, é possível suprimir a detecção errônea ou a não detecção de um padrão periódico temporal (por exemplo, cintilação) no processo de reconhecimento. Além do mais, de acordo com o processo de leitura de quadro, é possível suprimir a detecção errônea e a não detecção de padrões periódicos espaciais (grades, estruturas tipo malha ou similares) no processo de reconhecimento.
[00339] Além do mais, de acordo com o processo de leitura de quadro, os dados de pixel usáveis para o processo de reconhecimento aumentam com a passagem de tempo, tornando possível aumentar a velocidade da resposta de reconhecimento para um objeto que tem um grande tamanho no quadro Fr(m), levando ao alcance de uma taxa de quadro mais alta.
[00340] Embora a descrição exposta seja um exemplo em que a unidade de processamento de reconhecimento 12 gera cada um dos padrões Rd nº m_x cada vez, a presente descrição não é limitada a este exemplo. Por exemplo, cada um dos padrões Rd nº m_x pode ser gerado em antecipação e armazenado na memória ou similares, e o determinador de leitura 123 pode
91 / 193 ler o padrão Rd nº m_x armazenado a partir da memória e usar o mesmo. [5-6. Sexta modificação da segunda modalidade]
[00341] A seguir, uma sexta modificação da segunda modalidade será descrita. A sexta modificação da segunda modalidade é um exemplo em que a configuração da unidade de leitura é mudada de acordo com o resultado do processo de reconhecimento. A figura 43 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com a sexta modificação da segunda modalidade. Aqui, uma unidade de leitura com base em um padrão formado com uma pluralidade de pixels que incluem os pixels não adjacentes, que foi descrito em relação à figura 37, será descrita como um exemplo.
[00342] Na figura 43, no m-ésimo quadro Fr(m), o determinador de leitura 123 gera um padrão Pt nº x-y formado com uma pluralidade de pixels discretamente e periodicamente arranjados individualmente na direção da linha e na direção vertical, similarmente ao padrão Pφ nº x-y descrito em relação à figura 37, e define o padrão gerado Pt nº x-y como uma unidade de leitura inicial. O determinador de leitura 123 passa a informação da região de leitura em que a informação da posição de leitura para a leitura do padrão Pt nº x-y foi adicionada na informação que indica a unidade de leitura determinada como o padrão Pt nº x-y para o controlador de leitura 111. O controlador de leitura 111 passa a informação da região de leitura passada a partir do determinador de leitura 123 para a unidade de leitura 110. A unidade de leitura 110 lê os dados de pixel a partir da unidade sensora 10 de acordo com a informação da região de leitura passada a partir do controlador de leitura 111.
[00343] Da forma ilustrada na figura 43, a unidade de processamento de reconhecimento 12 realiza a leitura e um processo de reconhecimento a partir do lado da extremidade esquerda durante o deslocamento das posições na direção horizontal em uma fase ∆φ na ordem dos padrões Pt nº 1-1, Pt nº 2-
92 / 193 1, e Pt nº 3-1 no quadro Fr(m). Quando a extremidade direita do padrão Pt nº x-y alcançar a extremidade direita do quadro Fr(m), a posição é deslocada na direção vertical em uma fase ∆φ‘, e a leitura e o processo de reconhecimento serão novamente realizados a partir do lado da extremidade direita do quadro Fr(m) durante o deslocamento da posição na direção horizontal na fase ∆φ, na ordem a partir de Pt nº 1-2, e assim por diante.
[00344] A unidade de processamento de reconhecimento 12 gera um novo padrão Pt’ nº x-y de acordo com o resultado do reconhecimento no quadro Fr(m). Como um exemplo, considera-se que a unidade de processamento de reconhecimento 12 reconheceu um objeto alvo (por exemplo, uma pessoa) na parte central do quadro Fr(m) no processo de reconhecimento para o quadro Fr(m). Com base no resultado do reconhecimento, o determinador de leitura 123 da unidade de processamento de reconhecimento 12 gera, como uma nova unidade de leitura, um padrão Pt’ nº x-y de leitura que concentra nos pixels na parte central do quadro Fr(m).
[00345] O determinador de leitura 123 pode gerar um padrão Pt’ nº x-1 com menos pixels do que o padrão Pt nº x-y. Além do mais, o determinador de leitura 123 pode arranjar os pixels do padrão Pt’ nº x-y com densidade mais alta do que no arranjo de pixels do padrão Pt nº x-y.
[00346] O determinador de leitura 123 passa a informação da região de leitura em que a informação da posição de leitura para a leitura do padrão Pt’ nº x-y foi adicionada na informação que indica a unidade de leitura determinada como o padrão Pt’ nº x-y para o controlador de leitura 111. Aqui, o determinador de leitura 123 aplica este padrão Pt’ nº x-y no próximo quadro Fr(m + 1). O controlador de leitura 111 passa a informação da região de leitura passada a partir do determinador de leitura 123 para a unidade de leitura 110. A unidade de leitura 110 lê os dados de pixel a partir da unidade sensora 10 de acordo com a informação da região de leitura passada a partir do controlador de leitura 111.
93 / 193
[00347] No exemplo da figura 43, no quadro Fr(m + 1), a unidade de processamento de reconhecimento 12 primeiro realiza a leitura e o processo de reconhecimento usando um padrão Pt’ nº 1-1 na parte central do quadro Fr(m + 1), e, então, realiza a leitura e o processo de reconhecimento usando um padrão Pt’ nº 2-1 com uma posição deslocada na direção horizontal na fase ∆φ, por exemplo. Além do mais, a unidade de processamento de reconhecimento 12 desloca a posição do padrão Pt’ nº 1-1 na direção vertical na fase ∆φ‘, e realiza adicionalmente a leitura dos padrões Pt’ nº 1-2 e Pt’ nº 2-2 com a posição sequencialmente deslocada na direção horizontal na fase ∆φ.
[00348] Desta maneira, na sexta modificação da segunda modalidade, com base no resultado do reconhecimento no quadro Fr(m) com base no padrão Pt nº x-y que é o padrão inicial, o padrão Pt’ nº x-y a ser usado para a leitura do pixel no próximo quadro Fr(m + 1) será gerado. Isto habilita que o processo de reconhecimento seja realizado com precisão mais alta. Além do mais, pelo uso de um novo padrão Pt’ nº x-y gerado de acordo com o resultado do processo de reconhecimento e pela execução do processo de reconhecimento de estreitamento até a parte em que um objeto foi reconhecido, é possível alcançar a redução da quantidade de processamento na unidade de processamento de reconhecimento 12, a economia de energia e uma taxa de quadro mais alta. (Um outro exemplo da sexta modificação)
[00349] A seguir, um outro exemplo da sexta modificação da segunda modalidade será descrito. A figura 44 é um diagrama que ilustra um exemplo de um padrão para realizar a leitura e um processo de reconhecimento de acordo com a sexta modificação da segunda modalidade. Um padrão Cc nº x ilustrado na figura 44 é uma unidade de leitura que tem uma forma anular e que tem um raio anular que muda com a passagem de tempo. No exemplo da figura 44, um padrão Cc nº 1 que tem um raio menor é usado na primeira
94 / 193 duração do período de quadro dividido do quadro Fr(m), um padrão Cc nº 2 que tem um raio maior do que o padrão Cc nº 1 é usado na próxima duração, e um padrão Cc nº 3 que tem um raio ainda maior do que o padrão Cc nº 2 é usado na duração subsequente.
[00350] Por exemplo, da forma ilustrada na figura 43 exposta, a unidade de processamento de reconhecimento 12 realiza a leitura e um processo de reconhecimento a partir do lado da extremidade esquerda durante o deslocamento das posições na direção horizontal em uma fase ∆φ na ordem dos padrões Pt nº 1-1, Pt nº 2-1, e Pt nº 3-1 no quadro Fr(m). Quando a extremidade direita do padrão Pt nº x-y alcançar a extremidade direita do quadro Fr(m), a posição é deslocada na direção vertical em uma fase ∆φ‘, e a leitura e o processo de reconhecimento serão novamente realizados a partir do lado da extremidade direita do quadro Fr(m) durante o deslocamento da posição na direção horizontal na fase ∆φ, na ordem a partir de Pt nº 1-2, e assim por diante.
[00351] A unidade de processamento de reconhecimento 12 gera um novo padrão Cc nº 1 que tem uma forma anular de acordo com o resultado do reconhecimento no quadro Fr(m). Como um exemplo, considera-se que a unidade de processamento de reconhecimento 12 reconheceu um objeto alvo (por exemplo, uma pessoa) na parte central do quadro Fr(m) no processo de reconhecimento para o quadro Fr(m). Com base no resultado do reconhecimento, o determinador de leitura 123 da unidade de processamento de reconhecimento 12 gera os padrões Cc nº 1, Cc nº 2, e assim por diante, e realiza o processo de reconhecimento com base nestes padrões gerados Cc nº 1, Cc nº 2, e assim por diante.
[00352] Na figura 44, o raio do padrão Cc nº m é aumentado com a passagem do tempo. Entretanto, a presente descrição não é limitada a este exemplo, e o raio do padrão Cc nº m pode diminuir com a passagem do tempo.
95 / 193
[00353] Como ainda um outro exemplo da sexta modificação da segunda modalidade, é permissível variar a densidade dos pixels no padrão no qual a leitura é realizada. Além do mais, embora o tamanho seja mudado do centro da forma anular até a circunferência externa ou da circunferência externa até o centro no padrão Cc nº m ilustrado na figura 44, a presente descrição não é limitada a este exemplo. [5-7. Sétima modificação da segunda modalidade]
[00354] A seguir, uma sétima modificação da segunda modalidade será descrita. Na segunda modalidade supradescrita e nas primeiras até quartas modificações da segunda modalidade, as linhas, as áreas e os padrões para a leitura dos pixels são sequencialmente movidos seguindo a ordem de coordenadas no quadro (número de linha, ordem de pixel na linha). Ao contrário, na sétima modificação da segunda modalidade, as linhas, as áreas e os padrões para a leitura dos pixels são definidos de forma que os pixels no quadro possam ser lidos com uniformidade superior em um tempo curto.
[00355] A figura 45 é um diagrama esquemático que ilustra um primeiro exemplo de um processo de leitura de quadro de acordo com a sétima modificação da segunda modalidade. Na figura 45, a título de explicação, o quadro Fr(m) contém oito linhas, a saber, as linhas L nº 1, L nº 2, L nº 3, L nº 4, L nº 5, L nº 6, L nº 7, e L nº 8.
[00356] O processo de leitura ilustrado na Seção (a) da figura 45 corresponde ao processo de leitura descrito em relação à figura 24 na segunda modalidade, que ilustra um exemplo em que a unidade de leitura é uma linha, e a leitura dos dados de pixel é realizada sequencialmente na ordem das linhas para o quadro Fr(m), especificamente, na ordem das linhas L nº 1, L nº 2, ... L nº 8. No exemplo desta Seção (a), há um grande atraso desde o início da leitura do quadro Fr(m) até a aquisição dos dados de pixel na base do quadro Fr(m).
[00357] A Seção (b) da figura 45 ilustra um exemplo do processo de
96 / 193 leitura de acordo com a sétima modificação da segunda modalidade. A Seção (b) também usa uma linha como a unidade de leitura similarmente à Seção (a) da figura 45 supradescrita. No exemplo da Seção (b), no quadro Fr(m), em linhas individuais do número de linha ímpar e linhas individuais do número de linha par, duas linhas individuais que têm a distância entre as linhas sendo 1/2 do número de linhas do quadro Fr(m) são pareadas. Entre estes pares, os pares que têm números de linha ímpar são lidos sequencialmente e, então, o par que tem números de linha par são lidos sequencialmente.
[00358] Mais especificamente, no exemplo da Seção (b) da figura 45, na primeira metade do período de quadro, por exemplo, dentre as linhas L nº x incluídas no quadro Fr(m), as linhas com números de linha ímpar, a saber, as linhas L nº 1 e L nº 3, L nº 5, e L nº 7 são lidas na ordem de leitura alterada, isto é, na ordem das linhas L nº 1, L nº 5, L nº 3, e L nº 7. Similarmente, para a última metade do período de quadro, dentre as linhas L nº x incluídas no quadro Fr(m), as linhas com números de linha par, a saber, as linhas L nº 2, L nº 4, L nº 6, e L nº 8 são lidas na ordem de leitura alterada, isto é, na ordem das linhas L nº 2, L nº 6, L nº 4, e L nº 8.
[00359] Este tipo de controle da ordem de leitura das linhas individuais L nº x é implementado pelo determinador de leitura 123 que define sequencialmente a informação da posição de leitura de acordo com a ordem de leitura, da forma ilustrada na Seção (b) da figura 45.
[00360] Pela decisão da ordem de leitura desta maneira, é possível reduzir o atraso desde o início da leitura do quadro Fr(m) até a aquisição dos dados de pixel na base do quadro Fr(m), se comparado com o exemplo na Seção (a). Além do mais, com a sétima modificação da segunda modalidade, é possível aumentar a velocidade da resposta de reconhecimento para um objeto que tem um grande tamanho no quadro, e possível alcançar uma taxa de quadro mais alta.
[00361] A ordem de leitura das linhas individuais L nº x descrita em
97 / 193 relação à Seção (b) da figura 45 é um exemplo, e a região de leitura pode ser definida de forma que o objeto considerado possa ser facilmente reconhecido. Por exemplo, o determinador de leitura 123 pode definir uma região no quadro para executar preferivelmente os processos de reconhecimento com base na informação externa dada a partir do exterior do aparelho de formação de imagem 1, e pode determinar a informação da posição de leitura para executar preferivelmente a leitura da região de leitura correspondente a esta região. Além do mais, o determinador de leitura 123 também pode definir uma região na qual o processo de reconhecimento é preferivelmente executado no quadro de acordo com a cena que passou por formação de imagem no quadro.
[00362] Além do mais, também na sétima modificação da segunda modalidade, quando um resultado do reconhecimento válido for obtido no meio da leitura de cada uma das linhas no quadro, é possível terminar a leitura e o processo de reconhecimento para a linha, similarmente à segunda modalidade supradescrita. Isto torna possível poupar a energia no processo de reconhecimento e encurtar o tempo exigido para o processo de reconhecimento. (Primeiro outro exemplo da sétima modificação da segunda modalidade)
[00363] A seguir, um primeiro outro exemplo da sétima modificação da segunda modalidade será descrito. Embora a sétima modificação da segunda modalidade supradescrita seja um exemplo em que uma linha é usada como a unidade de leitura, a presente descrição não é limitada a este exemplo. No primeiro outro exemplo, duas linhas não adjacentes são usadas como uma unidade de leitura.
[00364] A figura 46 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com o primeiro outro exemplo da sétima modificação da segunda modalidade. No exemplo da figura 46, no quadro Fr(m) descrito na Seção (b) da figura 45, em linhas individuais que
98 / 193 têm o número de linha ímpar e linhas individuais que têm número de linha par, duas linhas individuais que são pareadas e que têm a distância entre as linhas sendo 1/2 do número de linhas são definidas como a unidade de leitura. Mais especificamente, um par de linhas L nº 1 e L nº 5, um par de linhas L nº 3 e L nº 7, um par de linhas L nº 2 e L nº 6 e um par de linhas L nº 4 e L nº 8 são definidos como a unidade de leitura. Entre estes pares, o par que tem números de linha ímpar é lido sequencialmente primeiro, e, então, o par que tem números de linha par será lido sequencialmente.
[00365] Neste primeiro outro exemplo, já que a unidade de leitura inclui duas linhas, o tempo exigido para o processo de reconhecimento pode ser adicionalmente encurtado, se comparado com a sétima modificação da segunda modalidade supradescrita. (Segundo outro exemplo da sétima modificação da segunda modalidade)
[00366] A seguir, um segundo outro exemplo da sétima modificação da segunda modalidade será descrito. Este segundo outro exemplo é uma modificação obtida pela aplicação de um exemplo de definição de uma região de leitura para a leitura de uma unidade de leitura a fim de alcançar a leitura dos pixels em um quadro com tempo mais curto e uniformidade superior no exemplo de acordo com a terceira modificação da segunda modalidade, que são ilustrados usando a figura 33, em que uma área de um tamanho pré- determinado no quadro é definida como a unidade de leitura.
[00367] A figura 47 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com o segundo outro exemplo da sétima modificação da segunda modalidade. No exemplo da figura 47, a leitura do quadro Fr(m) é realizada pela designação discretamente, no quadro Fr(m), da posição de cada uma das áreas Ar nº x-y descritas em relação à figura 33. Como um exemplo, depois da execução da leitura e do processo de reconhecimento de uma área Ar nº 1-1 no canto superior esquerdo do quadro Fr(m), a leitura e um processo de reconhecimento são realizados em uma área
99 / 193 Ar nº 3-1 que inclui a mesma linha que a área Ar nº 1-1 no quadro Fr(m) e que fica localizada em uma parte central do quadro Fr(m) na direção da linha. A seguir, a leitura e um processo de reconhecimento são realizados em uma área Ar nº 1-3 no canto superior esquerdo em uma região que é 1/2 da parte inferior do quadro Fr(m), e, então, a leitura e um processo de reconhecimento são realizados em uma área Ar nº 3-3 que inclui a mesma linha que a área Ar nº 1-3 no quadro Fr(m) e que fica localizada em uma parte central do quadro Fr(m) na direção da linha.
[00368] A leitura e o processo de reconhecimento serão similarmente realizados nas áreas Ar nº 2-2 e Ar nº 4-2, bem como nas áreas Ar nº 2-4 e Ar nº 4-4.
[00369] Pela decisão da ordem de leitura desta maneira, é possível reduzir o atraso do início da leitura do quadro Fr(m) a partir do lado da extremidade esquerda do quadro Fr(m) até a aquisição dos dados de pixel na base e no lado da extremidade direita do quadro Fr(m), se comparado com o exemplo na figura 33. Além do mais, com o segundo outro exemplo, é possível aumentar a velocidade da resposta de reconhecimento para um objeto que tem um grande tamanho no quadro, e possível alcançar uma taxa de quadro mais alta.
[00370] Além do mais, também no segundo outro exemplo, quando um resultado do reconhecimento válido for obtido no meio da leitura de cada uma das áreas Ar nº x-y no quadro, é possível terminar a leitura e o processo de reconhecimento para a área Ar nº x-y, similarmente à segunda modalidade supradescrita. Isto torna possível poupar a energia no processo de reconhecimento e encurtar o tempo exigido para o processo de reconhecimento. (Terceiro outro exemplo da sétima modificação da segunda modalidade)
[00371] A seguir, um terceiro outro exemplo da sétima modificação da segunda modalidade será descrito. Este terceiro outro exemplo é uma
100 / 193 modificação obtida pela aplicação de um exemplo de definição de uma região de leitura para a leitura de uma unidade de leitura a fim de alcançar a leitura dos pixels em um quadro com tempo mais curto e uniformidade superior no exemplo de acordo com a terceira modificação da segunda modalidade, que são ilustrados usando a figura 37, em que uma pluralidade de pixels arranjados discretamente e periodicamente individualmente na direção da linha e na direção vertical é definida como a unidade de leitura.
[00372] A figura 48 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com o terceiro outro exemplo da sétima modificação da segunda modalidade. No exemplo da figura 48, que tem um padrão Pφ nº z que tem uma configuração equivalente àquela do padrão Pφ nº x-y descrito usando a figura 37, a leitura do quadro Fr(m) é realizada pela designação discretamente da posição do padrão Pφ nº z no quadro Fr(m).
[00373] Como um exemplo, a unidade de processamento de reconhecimento 12 realiza a leitura e um processo de reconhecimento de um padrão Pφ nº 1 localizado no canto superior esquerdo do quadro Fr(m) com o canto superior esquerdo como uma posição inicial. A seguir, a leitura e um processo de reconhecimento são realizados em um padrão Pφ nº 2 cuja posição é deslocada em uma distância de 1/2 do intervalo individualmente na direção da linha e na direção vertical dos pixels no padrão Pφ nº 1. A seguir, a leitura e um processo de reconhecimento são realizados em um padrão Pφ nº 3 obtido pelo deslocamento da posição do padrão Pφ nº 1 em 1/2 do intervalo na direção da linha, e, então, a leitura e um processo de reconhecimento são realizados em um padrão Pφ nº 4 obtido pelo deslocamento da posição do padrão Pφ nº 1 em 1/2 do intervalo na direção vertical. A leitura e o processo de reconhecimento para estes padrões Pφ nº 1 até Pφ nº 4 são repetidamente executados durante o deslocamento da posição do padrão Pφ nº 1 na direção da linha em um pixel, por exemplo, e repetem-se os processos pelo
101 / 193 deslocamento adicional em um pixel na direção vertical.
[00374] Pela decisão da ordem de leitura desta maneira, é possível reduzir o atraso do início da leitura do quadro Fr(m) a partir do lado da extremidade esquerda do quadro Fr(m) até a aquisição dos dados de pixel na base e no lado da extremidade direita do quadro Fr(m), se comparado com o exemplo na figura 37. Além do mais, com o terceiro outro exemplo, é possível aumentar a velocidade da resposta de reconhecimento para um objeto que tem um grande tamanho no quadro, e possível alcançar uma taxa de quadro mais alta.
[00375] Além do mais, também no terceiro outro exemplo, quando um resultado do reconhecimento válido for obtido no meio da leitura de cada um dos padrões Pφ nº z no quadro, é possível terminar a leitura e o processo de reconhecimento para o padrão Pφ nº z, similarmente à segunda modalidade supradescrita. Isto torna possível poupar a energia no processo de reconhecimento e encurtar o tempo exigido para o processo de reconhecimento. [5-8. Oitava modificação da segunda modalidade]
[00376] A seguir, uma oitava modificação da segunda modalidade será descrita. A oitava modificação da segunda modalidade é um exemplo em que pelo menos um da exposição ou de um ganho analógico na unidade sensora 10 é controlado de acordo com um padrão pré-determinado. A seguir, o ganho analógico será abreviado como “AG” conforme apropriado.
[00377] A figura 49 é um diagrama de blocos funcional que ilustra um exemplo das funções de acordo com a oitava modificação da segunda modalidade. Na figura 49, um determinador de leitura 123a gera a informação da região de leitura e a informação que indica o tempo de exposição e o ganho analógico, com base na informação de leitura passada a partir do controlador de armazenamento dos dados de característica 121. Não limitado a isto, o determinador de leitura 123a pode gerar pelo menos um do tempo de
102 / 193 exposição ou do ganho analógico. O determinador de leitura 123a passa a informação da região de leitura gerada, o tempo de exposição e o ganho analógico para a unidade de leitura 110.
[00378] A figura 50 é um fluxograma de um exemplo que ilustra um processo de reconhecimento de acordo com a oitava modificação da segunda modalidade. O processo de acordo com o fluxograma da figura 50 é um processo correspondente à leitura dos dados de pixel na unidade de leitura (por exemplo, uma linha) a partir de um quadro, por exemplo. Aqui, considera-se que a unidade de leitura é uma linha e que a informação da região de leitura é um número de linha que indica uma linha como um alvo de leitura.
[00379] No fluxograma da figura 50, os processos das Etapas S100 até S107 são respectivamente equivalentes aos processos das Etapas S100 até S107 no fluxograma da figura 28 descrito na segunda modalidade.
[00380] Isto é, na Etapa S100, a unidade de processamento de reconhecimento 12 realiza a leitura dos dados de linha a partir da linha indicada pela linha de leitura do quadro. Na próxima Etapa S101, a unidade de cálculo dos dados de característica 120 calcula os dados de característica da linha com base nos dados de linha passados a partir da unidade de leitura
110. Na próxima Etapa S102, a unidade de cálculo dos dados de característica 120 adquire os dados de característica armazenados na unidade de armazenamento dos dados de característica 122 a partir do controlador de armazenamento dos dados de característica 121. Na próxima Etapa S103, a unidade de cálculo dos dados de característica 120 integra os dados de característica calculados na Etapa S101 e os dados de característica adquiridos a partir do controlador de armazenamento dos dados de característica 121 na Etapa S102, e passa os dados integrados para o controlador de armazenamento dos dados de característica 121.
[00381] Na próxima Etapa S104, o controlador de armazenamento dos
103 / 193 dados de característica 121 armazena os dados de característica integrados na unidade de armazenamento dos dados de característica 122 (Etapa S104). Na próxima Etapa S105, a unidade de execução do processo de reconhecimento 124 executa o processo de reconhecimento usando os dados de característica integrados. Na próxima Etapa S106, a unidade de execução do processo de reconhecimento 124 transmite o resultado do reconhecimento do processo de reconhecimento da Etapa S105. Na Etapa S107, o determinador de leitura 123 na unidade de processamento de reconhecimento 12 determina uma linha de leitura para realizar a próxima leitura de acordo com a informação de leitura passada a partir do controlador de armazenamento dos dados de característica
121.
[00382] Depois do processo da Etapa S107, o processo prossegue para a Etapa S1070. Na Etapa S1070, o determinador de leitura 123 determina o tempo de exposição na próxima leitura de acordo com um padrão de exposição pré-determinado. Na próxima Etapa S1071, o determinador de leitura 123 determina o ganho analógico na próxima leitura de acordo com um padrão AG pré-determinado.
[00383] O tempo de exposição e o ganho analógico respectivamente determinados na Etapa S1070 e na Etapa S1071 são aplicados na linha de leitura determinada na Etapa S107 para executar o processo a partir da Etapa S100 novamente.
[00384] A ordem das Etapas S107 até S1071 não é limitada à ordem supradescrita. Além do mais, um dos processos da Etapa S1070 ou da Etapa S1071 pode ser omitido. (Primeiro exemplo do processo de leitura e reconhecimento)
[00385] A seguir, um primeiro exemplo do processo de leitura e reconhecimento de acordo com a oitava modificação da segunda modalidade será descrito em relação às figuras 51A e 51B. A figura 51A é um diagrama esquemático que ilustra um exemplo de um padrão de exposição aplicável na
104 / 193 oitava modificação da segunda modalidade. Na figura 51A, o eixo geométrico vertical representa as linhas e o eixo geométrico horizontal representa o tempo. No exemplo da figura 51A, o padrão de exposição toma um padrão em que o primeiro tempo de exposição e o segundo tempo de exposição, que é mais curto do que o primeiro tempo de exposição, alternam linha por linha, como em L nº 1, L nº 2, e assim por diante. Portanto, as linhas L nº 1, L nº 3, ... L nº (2n-1) que têm números de linha ímpar são expostas com o primeiro tempo de exposição, ao mesmo tempo as linhas L nº 2, L nº 4, ... L nº 2n que têm números de linha par são expostas com o segundo tempo de exposição mais curto do que o primeiro tempo de exposição. Note que o tempo de transferência dos dados de linha é constante, independente do tempo de exposição.
[00386] A figura 51B é uma vista que ilustra um exemplo de uma imagem capturada quando a formação de imagem for realizada de acordo com o padrão de exposição da figura 51A. Neste exemplo, o primeiro tempo de exposição é definido nas linhas L nº 1, L nº 3, ... L nº (2n-1) com números de linha ímpar para causar a sobre-exposição nestas linhas, ao mesmo tempo em que o segundo tempo de exposição é definido nas linhas L nº 2, L nº 4, ... L nº 2n com números de linha par para causar a sub-exposição nestas linhas.
[00387] Aqui, os processos da unidade de processamento de reconhecimento 12, mais especificamente, em relação à figura 22, o processo de extração dos dados de característica 1200, o processo de integração 1202, o processo de atualização do estado interno 1211 e o processo de reconhecimento 1240 são executados usando os parâmetros preliminarmente obtidos pelo aprendizado com base nas imagens, da forma ilustrada na figura 51B, em que os níveis de contraste são comutados linha por linha. Não limitado a isto, a unidade de processamento de reconhecimento 12 pode realizar o aprendizado usando uma imagem geral.
[00388] Pela definição alternativamente de diferentes exposições para
105 / 193 cada uma das linhas em um quadro desta maneira, a unidade de processamento de reconhecimento 12 pode reconhecer os objetos brilhantes e os objetos escuros no processo de reconhecimento em um quadro individualmente.
[00389] O exemplo da figura 51A é um exemplo em que o tempo de exposição é alternadamente comutado para cada uma das linhas de acordo com um padrão de exposição pré-determinado. Entretanto, a presente descrição não é limitada a este exemplo. Isto é, o ganho analógico pode ser comutado alternadamente para cada uma das linhas de acordo com um padrão AG pré-determinado, ou o tempo de exposição e o ganho analógico podem ser comutados de acordo com um padrão de exposição e o padrão AG pré- determinados, respectivamente.
[00390] Além do mais, no exemplo da figura 51A, a unidade de leitura é definida como uma linha, e o primeiro tempo de exposição e o segundo tempo de exposição são alternadamente definidos para cada uma das linhas. Entretanto, a presente descrição não é limitada a este exemplo. Por exemplo, a definição do tempo de exposição e do ganho analógico para cada uma das unidades de leitura de acordo com a oitava modificação da segunda modalidade também é aplicável em cada uma das unidades de leitura das primeira até sétima modificações da segunda modalidade supradescrita. [5-9. Nona modificação da segunda modalidade]
[00391] A seguir, uma nona modificação da segunda modalidade será descrita. A nona modificação da segunda modalidade é um exemplo em que o comprimento do tempo de exposição é definido para ser espacialmente diferente na densidade no quadro. Na nona modificação da segunda modalidade, a configuração descrita em relação à figura 49 pode ser aplicada como está, e, portanto, a descrição detalhada da configuração será omitida.
[00392] A figura 52 é um diagrama que ilustra um exemplo de um padrão de exposição de acordo com a nona modificação da segunda
106 / 193 modalidade. Nas Seções (a) até (c) da figura 52, cada uma das células representa uma área que contém uma pluralidade de pixels, por exemplo. Em cada Seção (a) até (c) da figura 52, as células em branco são as áreas nas quais nenhuma exposição ou leitura devem ser realizadas. Além do mais, na figura 52, o tempo de exposição é expressado em três níveis pela tonalidade da célula, e a célula com o tempo de exposição mais curto é preenchida em cor escura. A seguir, as células em branco indicam as áreas nas quais nenhuma exposição deve ser realizada. Além do mais, as células preenchidas serão descritas como as áreas em que a exposição é realizada com vários tempos de exposição, especificamente, tempo curto, tempo médio e tempo longo, de acordo com as tonalidades das células. O tempo médio é mais longo do que o tempo curto e mais curto do que o tempo longo. Em cada uma das Seções (a) até (c) da figura 52, por exemplo, um conjunto de células preenchidas irá formar uma unidade de leitura.
[00393] Especificamente, um quadro 210a ilustrado na Seção (a) é um exemplo em que as áreas em que o tempo de exposição é definido no tempo curto estão presentes em alta densidade na parte central e diminuem a densidade na direção da parte periférica (referida como um primeiro padrão). Além do mais, um quadro 210b ilustrado na Seção (b) é um exemplo em que as áreas em que o tempo de exposição é definido no tempo médio estão presentes de forma substancialmente uniforme através da íntegra do quadro 210b (referido como um segundo padrão). Além do mais, um quadro 210c ilustrado na Seção (c) é um exemplo em que as áreas em que o tempo de exposição é definido no tempo longo estão presentes com alta densidade na parte periférica e diminuem a densidade na direção da parte central (referida como um terceiro padrão).
[00394] O determinador de leitura 123 da unidade de processamento de reconhecimento 12 seleciona um padrão de acordo com a informação de leitura passada a partir do controlador de armazenamento dos dados de
107 / 193 característica 121 e a informação de reconhecimento (não ilustrada) passada a partir da unidade de execução do processo de reconhecimento 124, a partir dos primeiro até terceiro padrões supradescritos. Não limitado a isto, o determinador de leitura 123 pode selecionar um padrão a partir dos primeiro até terceiro padrões de acordo com a informação de controle externa, tal como uma operação de usuário.
[00395] O determinador de leitura 123 gera a informação da região de leitura que inclui o tempo de exposição do padrão selecionado e a posição de cada uma das áreas, e passa a informação da região de leitura gerada para o controlador do sensor 11. No controlador do sensor 11, a unidade de leitura 110 lê os dados de pixel a partir da unidade sensora 10 de acordo com a informação da região de leitura recebida. É preferível que a leitura nos supradescritos primeiro até terceiro padrões seja aplicada no método de obturador global.
[00396] Aqui, há um caso concebível em que o aparelho de formação de imagem 1 de acordo com a nona modificação da segunda modalidade é instalado para a aplicação em veículo para formar a imagem da vista frontal. Neste caso, particularmente à noite ou similares, os faróis causam uma diferença espacial no brilho em uma imagem capturada. Especificamente, é considerado que o valor da luminância da imagem capturada aumenta na parte central e diminui na direção da parte periférica. Desta maneira, quando o farol for aceso em um local escuro, o primeiro padrão (Seção (a) na figura 52) será selecionado.
[00397] Além do mais, as áreas que têm diferentes tempos de exposição podem ser arranjadas em um padrão diferente dos supradescritos primeiro até terceiro padrões. Os exemplos de padrões consideráveis incluem: um quarto padrão em que a área em que o tempo de exposição é definido no tempo longo tem alta densidade na parte central e diminui a densidade na direção da parte periférica; e um quinto padrão em que a área em que o tempo
108 / 193 de exposição é definido no tempo curto tem alta densidade na parte periférica e diminui a densidade na direção da parte central.
[00398] No supradescrito exemplo em veículo, quando o veículo no qual o aparelho de formação de imagem 1 é montado estiver se movendo para frente, o movimento do veículo causa o borrão da imagem capturada. O nível do borrão é pequeno na parte central da imagem e aumenta na direção da periferia. Portanto, em um caso em que se pretende executar o processo de reconhecimento para a parte central da imagem, é concebível selecionar o quarto padrão, e em um caso em que se pretende executar o processo de reconhecimento para a parte periférica da imagem, é concebível selecionar o quinto padrão.
[00399] Desta maneira, pela definição da duração do tempo de exposição para ser espacialmente diferente na densidade no quadro, a unidade de processamento de reconhecimento 12 pode reconhecer os objetos brilhantes e os objetos escuros no processo de reconhecimento em um quadro, individualmente. Além do mais, já que a densidade da área exposta é mudada de acordo com a posição no quadro, é possível detectar a frequência da aparição espacial dos objetos brilhantes e dos objetos escuros. [5-10. Décima modificação da segunda modalidade]
[00400] A seguir, uma décima modificação da segunda modalidade será descrita. A décima modificação da segunda modalidade é um exemplo de determinação de uma região de leitura para realizar a leitura na unidade da próxima leitura, com base nos dados de característica gerados pelo controlador de armazenamento dos dados de característica 121.
[00401] A figura 53 é um diagrama de blocos funcional que ilustra um exemplo das funções de acordo com a décima modificação da segunda modalidade. Na Seção (a) da figura 53, um controlador de armazenamento dos dados de característica 121a integra os dados de característica passados a partir da unidade de cálculo dos dados de característica 120 e os dados de
109 / 193 característica armazenados na unidade de armazenamento dos dados de característica 122, e passa os dados de característica integrados para um determinador de leitura 123b, juntamente com a informação de leitura. Um determinador de leitura 123b gera a informação da região de leitura e a informação que indica o tempo de exposição e o ganho analógico, com base nos dados de característica e na informação de leitura passados a partir do controlador de armazenamento dos dados de característica 121a. Não limitado a isto, o determinador de leitura 123b pode gerar pelo menos um do tempo de exposição ou do ganho analógico. O determinador de leitura 123a / o determinador de leitura 123b passam a informação da região de leitura gerada, o tempo de exposição e o ganho analógico para a unidade de leitura 110.
[00402] A Seção (b) da figura 53 é um diagrama de blocos funcional de um exemplo que ilustra com mais detalhes a função do determinador de leitura 123b de acordo com a décima modificação da segunda modalidade. Na Seção (b) da figura 53, o determinador de leitura 123b inclui um determinador da região de leitura 1230, um determinador do tempo de exposição 1231, e um determinador da quantidade de AG 1232.
[00403] A informação de leitura e os dados de característica passados a partir do controlador de armazenamento dos dados de característica 121 para o determinador de leitura 123b são inseridos no determinador da região de leitura 1230, no determinador do tempo de exposição 1231 e no determinador da quantidade de AG 1232, individualmente. O determinador da região de leitura 1230 gera e transmite a informação da região de leitura (por exemplo, um número de linha) que indica uma região de leitura a ser lida a seguir, com base na informação de leitura e nos dados de característica inseridos. O determinador do tempo de exposição 1231 gera e transmite a informação que indica o tempo de exposição na próxima formação de imagem com base nos dados de característica inseridos. Além do mais, o determinador da quantidade de AG 1232 gera e transmite a informação que indica o ganho
110 / 193 analógico na próxima formação de imagem com base nos dados de característica inseridos.
[00404] A figura 54 é um fluxograma de um exemplo que ilustra um processo de acordo com a décima modificação da segunda modalidade. O processo de acordo com o fluxograma da figura 54 é um processo correspondente à leitura dos dados de pixel na unidade de leitura (por exemplo, uma linha) a partir de um quadro, por exemplo. Aqui, considera-se que a unidade de leitura é uma linha e que a informação da região de leitura é um número de linha que indica uma linha como um alvo de leitura.
[00405] No fluxograma da figura 54, os processos das Etapas S100 até S106 são equivalentes aos processos das Etapas S100 até S107 no fluxograma da figura 28 descrito na segunda modalidade.
[00406] Isto é, na Etapa S100, a unidade de processamento de reconhecimento 12 realiza a leitura dos dados de linha a partir da linha indicada pela linha de leitura do quadro. Na próxima Etapa S101, a unidade de cálculo dos dados de característica 120 calcula os dados de característica da linha com base nos dados de linha passados a partir da unidade de leitura
110. Na próxima Etapa S102, a unidade de cálculo dos dados de característica 120 adquire os dados de característica armazenados na unidade de armazenamento dos dados de característica 122 a partir do controlador de armazenamento dos dados de característica 121. Na próxima Etapa S103, a unidade de cálculo dos dados de característica 120 integra os dados de característica calculados na Etapa S101 e os dados de característica adquiridos a partir do controlador de armazenamento dos dados de característica 121 na Etapa S102, e passa os dados integrados para o controlador de armazenamento dos dados de característica 121.
[00407] Na próxima Etapa S104, o controlador de armazenamento dos dados de característica 121 armazena os dados de característica integrados na unidade de armazenamento dos dados de característica 122. Na próxima
111 / 193 Etapa S105, a unidade de execução do processo de reconhecimento 124 executa o processo de reconhecimento usando os dados de característica integrados. Na próxima Etapa S106, a unidade de execução do processo de reconhecimento 124 transmite o resultado do reconhecimento do processo de reconhecimento da Etapa S105.
[00408] Na próxima Etapa S1080, o determinador da região de leitura 1230 no determinador de leitura 123b determina a linha de leitura na qual a próxima leitura deve ser realizada, pelo uso da informação de leitura passada a partir do controlador de armazenamento dos dados de característica 121 e dos dados de característica obtidos pela integração dos dados de característica calculados na Etapa S101 com os dados de característica adquiridos a partir do controlador de armazenamento dos dados de característica 121 na Etapa S102. Na próxima Etapa S1081, o determinador do tempo de exposição 1231 do determinador de leitura 123b determina o tempo de exposição na próxima leitura com base nos dados de característica integrados passados a partir do controlador de armazenamento dos dados de característica 121. Na próxima Etapa S1082, o determinador da quantidade de AG 1232 do determinador de leitura 123b determina o ganho analógico na próxima leitura com base nos dados de característica integrados passados a partir do controlador de armazenamento dos dados de característica 121.
[00409] O tempo de exposição e o ganho analógico respectivamente determinados na Etapa S1081 e na Etapa S1082 são aplicados na linha de leitura determinada na Etapa S1080 para executar o processo a partir da Etapa S100 novamente.
[00410] A ordem das Etapas S1080 até S1082 não é limitada à ordem supradescrita. Além do mais, um dos processos da Etapa S1081 ou da Etapa S1082 pode ser omitido. (Primeiro processo)
[00411] Primeiro, um primeiro processo de acordo com a décima
112 / 193 modificação da segunda modalidade será descrito. A figura 55 é um diagrama esquemático que ilustra o primeiro processo de acordo com a décima modificação da segunda modalidade. O processo ilustrado na figura 55 corresponde ao processo das Etapas S1 até S4c da figura 16 supradescrita. Além do mais, é aqui considerado que a formação de imagem é realizada pelo uso de uma linha como a unidade de leitura e pelo uso do método do obturador de rolamento.
[00412] Na figura 55, na Etapa S1, o aparelho de formação de imagem 1 (consulte a figura 1) inicia a formação de imagem de uma imagem alvo como um alvo de reconhecimento (número “8” escrito a mão). Aqui, como pré-condições, a memória 13 armazena preliminarmente um modelo de aprendizado treinado para poder identificar os números por dados de treinamento pré-determinados, como um programa, e a unidade de processamento de reconhecimento 12 lê este programa a partir da memória 13 e executa o programa, desse modo, habilitando a identificação dos números incluídos na imagem.
[00413] Quando a formação de imagem for iniciada, na Etapa S2, o controlador do sensor 11 lê um quadro sequencialmente na ordem das linhas do lado da extremidade superior até o lado da extremidade inferior de acordo com a informação da região de leitura passada a partir da unidade de processamento de reconhecimento 12.
[00414] Quando a linha for lida até uma certa posição, a unidade de processamento de reconhecimento 12 identifica os números “8” ou “9” a partir da imagem das linhas lidas (Etapa S3). Com base nos dados de característica integrados passados a partir do controlador de armazenamento dos dados de característica 121, o determinador de leitura 123b da unidade de processamento de reconhecimento 12 gera a informação da região de leitura que designa uma linha L nº m a partir da qual é previsível que o objeto identificado na Etapa S3 seja qual dos números “8” ou “9”, e passa a
113 / 193 informação gerada para a unidade de leitura 110. Subsequentemente, a unidade de processamento de reconhecimento 12 executa um processo de reconhecimento com base nos dados de pixel obtidos pela leitura da linha L nº m pela unidade de leitura 110 (Etapa S4c).
[00415] Aqui, em um caso em que o objeto for identificado na Etapa S4c supradescrita, a unidade de processamento de reconhecimento 12 pode terminar o processo de reconhecimento. Isto torna possível encurtar o processo de reconhecimento e poupar a energia. (Segundo processo)
[00416] A seguir, um segundo processo de acordo com a décima modificação da segunda modalidade será descrito. A figura 56 é um diagrama esquemático que ilustra o segundo processo de acordo com a décima modificação da segunda modalidade. O processo ilustrado na figura 56 corresponde ao processo ilustrado na figura 55 supradescrita. Neste segundo processo, a leitura do quadro em unidades de linha é executada durante a redução das linhas.
[00417] Na figura 56, na Etapa S10, o aparelho de formação de imagem 1 inicia a formação de imagem de uma imagem alvo como um alvo de reconhecimento (número “8” escrito a mão). Aqui, como pré-condições, similar ao exposto, a memória 13 armazena preliminarmente um modelo de aprendizado treinado para poder identificar os números na leitura realizada na unidade de linha, por dados de treinamento pré-determinados, como um programa, e a unidade de processamento de reconhecimento 12 lê este programa a partir da memória 13 e executa o programa, desse modo, habilitando a identificação dos números incluídos na imagem.
[00418] Quando a formação de imagem for iniciada, na Etapa S11, o controlador do sensor 11 lê um quadro nas unidades de linha do lado da extremidade superior até o lado da extremidade inferior durante a redução das linhas, de acordo com a informação da região de leitura passada a partir da
114 / 193 unidade de processamento de reconhecimento 12. No exemplo da figura 56, o controlador do sensor 11 primeiro lê a linha L nº 1 na extremidade superior do quadro, e, então, lê a linha L nº p obtida pela redução de um número de linhas pré-determinado, de acordo com a informação da região de leitura. A unidade de processamento de reconhecimento 12 executa o processo de reconhecimento para cada um dos tempos de leitura, para cada uma das peças de dados de linha das linhas L nº 1 e L nº p.
[00419] Aqui, em decorrência da realização da leitura adicional nas unidades de linha com redução e execução do processo de reconhecimento pela unidade de processamento de reconhecimento 12 nos dados de linha obtidos pela leitura da linha L nº q, os números “8” ou “0” são reconhecidos (Etapa S12). Com base nos dados de característica integrados passados a partir do controlador de armazenamento dos dados de característica 121, o determinador de leitura 123b gera a informação da região de leitura que designa uma linha L nº r a partir da qual é previsível que o objeto identificado na Etapa S12 seja qual dos números “8” ou “0”, e passa a informação gerada para a unidade de leitura 110. Neste momento, a posição da linha L nº r pode ser o lado da extremidade superior do quadro ou o lado da extremidade inferior do quadro em relação à linha L nº q.
[00420] A unidade de processamento de reconhecimento 12 executa um processo de reconhecimento com base nos dados de pixel obtidos pela leitura da linha L nº r pela unidade de leitura 110 (Etapa S13).
[00421] Já que este segundo processo executa a leitura de linha do quadro durante a redução das linhas, é possível realizar adicionalmente o encurtamento do processo de reconhecimento e a economia de energia. (Terceiro processo)
[00422] A seguir, um terceiro processo de acordo com a décima modificação da segunda modalidade será descrito. No terceiro processo de acordo com a décima modificação da segunda modalidade, o tempo de
115 / 193 exposição e o ganho analógico são adaptativamente definidos durante a realização da leitura na unidade de leitura.
[00423] As figuras 57A e 57B, 58A e 58B, e 59A e 59B são diagramas esquemáticos que ilustram o terceiro processo de acordo com a décima modificação da segunda modalidade. O seguinte é um caso em que o tempo de exposição é adaptativamente definido dentre o tempo de exposição e o ganho analógico.
[00424] As figuras 57A e 57B são diagramas correspondentes às figuras 51A e 51B supradescritas, e ilustram um exemplo no caso em que o tempo de exposição não é adaptativamente definido. Comparado com o padrão de exposição ilustrado na figura 51A supradescrita, o padrão de exposição ilustrado na figura 57A tem uma diferença maior no tempo entre o primeiro tempo de exposição e o segundo tempo de exposição mais curto do que o primeiro tempo de exposição. Similar ao exemplo da figura 51A, o padrão de exposição na figura 57A é um padrão em que o primeiro tempo de exposição e o segundo tempo de exposição são alternadamente aplicados nas linhas, tais como as linhas L nº 1, L nº 2, e assim por diante.
[00425] A figura 57B é uma vista que ilustra um exemplo de uma imagem capturada 200a quando a formação de imagem for realizada de acordo com o padrão de exposição da figura 57A. Neste exemplo, o primeiro tempo de exposição é definido nas linhas L nº 1, L nº 3, ... L nº (2n-1) com números de linha ímpar para causar a sobre-exposição nestas linhas, ao mesmo tempo em que o segundo tempo de exposição é definido nas linhas L nº 2, L nº 4, ... L nº 2n com números de linha par para causar a sub-exposição nestas linhas.
[00426] As figuras 58A e 58B ilustram um caso em que a formação de imagem é realizada de acordo com o padrão de exposição da figura 57A e o tempo de exposição para cada uma das linhas L nº 2, L nº 3, ... L nº 2n é definido com base nos dados de característica integrados de acordo com os
116 / 193 dados de pixel lidos a partir de cada uma das linhas L nº 1, L nº 2, ... L nº (2n- 1).
[00427] Depois da execução da leitura a partir da linha L nº 1, o determinador de leitura 123b define o tempo de exposição (tempo de exposição (L nº 3)) para a linha L nº 3 que é a próxima linha com número de linha ímpar com base nos dados de característica integrados obtidos pelo controlador de armazenamento dos dados de característica 121 pela integração dos dados de característica calculados pela unidade de cálculo dos dados de característica 120 com base nos dados de pixel lidos a partir da linha L nº 1 com os dados de característica armazenados na unidade de armazenamento dos dados de característica 122. No exemplo da figura 58A, o tempo de exposição (L nº 3) é definido mais curto do que o tempo de exposição para a linha L nº 1. O determinador de leitura 123b mantém este tempo de exposição (L nº 3). O processo de definição do tempo de exposição pelo determinador de leitura 123b é executado durante o período de transferência da próxima linha (neste caso, linha L nº 2), por exemplo.
[00428] A seguir, a leitura é realizada começando a partir da linha L nº 2 que tem um número de linha par. O determinador de leitura 123b define o tempo de exposição (tempo de exposição (L nº 4)) para a linha L nº 4 sendo a próxima linha com número de linha par com base nos dados de característica integrados obtidos pelo controlador de armazenamento dos dados de característica 121 pela integração dos dados de característica calculados pela unidade de cálculo dos dados de característica 120 com base nos dados de pixel lidos a partir da linha L nº 2 com os dados de característica armazenados na unidade de armazenamento dos dados de característica 122. No exemplo da figura 58A, o tempo de exposição (L nº 4) é definido mais curto do que o tempo de exposição para a linha L nº 2.
[00429] Quando a leitura e o processo de reconhecimento para a linha L nº 2 estiverem completos, o determinador de leitura 123b passa o tempo de
117 / 193 exposição (L nº 3) mantido e a informação da região de leitura para instruir a leitura da próxima linha L nº 3 para a unidade de leitura 110.
[00430] Similarmente, em relação à leitura da linha L nº 3, o determinador de leitura 123b define o tempo de exposição (L nº 5) da próxima linha L nº 5 com número de linha ímpar com base nos dados de pixel lidos a partir da linha L nº 3. No exemplo da figura 58A, o tempo de exposição (L nº 5) é definido mais curto do que o tempo de exposição da linha L nº 3. O determinador de leitura 123b mantém este tempo de exposição (L nº 5). A seguir, a leitura a partir da linha L nº 4 que é a próxima linha com número de linha par é realizada, e o determinador de leitura 123b define o tempo de exposição (L nº 6) para a próxima linha com número de linha par L nº 6 com base nos dados de pixel lidos a partir da linha L nº 4. No exemplo da figura 58A, o tempo de exposição (L nº 6) é definido mais curto do que o tempo de exposição da linha L nº 4. O determinador de leitura 123b mantém este tempo de exposição (L nº 6).
[00431] Desta maneira, a leitura de linha e a definição da exposição são alternadamente repetidas entre a linha com número de linha ímpar e a linha com número de linha par. Com este procedimento, da forma ilustrada na figura 58B, o tempo de exposição será apropriadamente definido para cada uma das linhas L nº 1, L nº 3, ... L nº (2n-1) com números de linha ímpar que passam por definição de sobre-exposição e cada uma das linhas L nº 2, L nº 4, ... L nº 2n com números de linha par que passam por definição de sub- exposição.
[00432] Aqui, o determinador de leitura 123b define o tempo de exposição pelo uso dos dados de característica obtidos com base na informação de pixel lida a partir da linha. Portanto, o determinador de leitura 123b pode definir um tempo de exposição adequado para que a unidade de execução do processo de reconhecimento 124 execute o processo de reconhecimento.
118 / 193
[00433] Comparando a figura 57B e a figura 58B, no exemplo da figura 58B, a luminância é suprimida nas linhas com números de linha ímpar L nº 1, L nº 3, e assim por diante, com definição de sobre-exposição, ao mesmo tempo em que a luminância é aumentada nas linhas com números de linha par L nº 2, L nº 4, e assim por diante, com definição de sub-exposição. Portanto, no exemplo da figura 58B, espera-se, em cada uma das linhas com números de linha ímpar e das linhas com números de linha par, que o processo de reconhecimento seja executado com precisão mais alta, se comparado com o exemplo da figura 57B.
[00434] Note que, pelo uso do tempo de exposição definido para as linhas com números de linha ímpar e as linhas com números de linha par na extremidade inferior do quadro, é possível definir o tempo de exposição para cada uma das linhas com números de linha ímpar e das linhas com números de linha par.
[00435] Embora a íntegra da linha do quadro seja lida no exemplo das figuras 58A e 58B supradescritas, a presente descrição não é limitada a este exemplo. Por exemplo, também é possível realizar a leitura das linhas a meio caminho no quadro e possível retornar a posição de leitura de acordo com o resultado da leitura.
[00436] Isto será descrito em relação às figuras 59A e 59B. Similarmente ao exemplo das figuras 58A e 58B supradescritas, as figuras 59A e 59B ilustram um caso em que a formação de imagem é realizada de acordo com o padrão de exposição da figura 57A e o tempo de exposição para cada uma das linhas L nº 2, L nº 3, ... L nº 2n é definido com base nos dados de característica integrados de acordo com os dados de pixel lidos a partir de cada uma das linhas L nº 1, L nº 2, ... L nº (2n-1).
[00437] No exemplo da figura 59A, considera-se que um objeto pré- determinado (que é uma pessoa) é reconhecido pelo processo de reconhecimento realizado pela unidade de execução do processo de
119 / 193 reconhecimento 124 com base nos dados de pixel lidos a partir da linha L nº 2, por exemplo. Por exemplo, a unidade de execução do processo de reconhecimento 124 passa a informação de reconhecimento que indica que a pessoa foi reconhecida para o determinador de leitura 123b. O determinador de leitura 123b define o tempo de exposição de uma linha L nº 2’ correspondente à linha L nº 2 no próximo quadro de acordo com a informação de reconhecimento. No exemplo da figura 59A, o determinador de leitura 123b define o tempo de exposição para a linha L nº 2’ mais longo do que o tempo de exposição para a linha L nº 2.
[00438] Depois da definição do tempo de exposição para a linha L nº 2’, o determinador de leitura 123b passa a informação da região de leitura que indica a linha L nº 2’ e o tempo de exposição definido para a linha L nº 2’ para a unidade de leitura 110. De acordo com a informação da região de leitura e o tempo de exposição, a unidade de leitura 110 inicia a exposição da linha L nº 2’ depois da conclusão do processo de transferência para a linha L nº 3, por exemplo.
[00439] Em relação à linha L nº 3 e as linhas subsequentes, o determinador de leitura 123b define o tempo de exposição individualmente para as linhas com números de linha ímpar L nº 3, L nº 5, e assim por diante, e para as linhas com números de linha par L nº 4 e L nº 6, similarmente à figura 58A. Aqui, no exemplo da figura 59A, imediatamente depois do final do processo de transferência da linha L nº 7, a exposição da linha L nº 2’ termina e a transferência dos dados de pixel lidos a partir da linha L nº 2’ inicia.
[00440] Da forma ilustrada na figura 59B, a linha L nº 2’ tem uma luminância superior, se comparada com a linha L nº 2 ilustrada na figura 58B, levando à alta possibilidade de habilitar o reconhecimento com precisão mais alta.
[00441] Note que o determinador de leitura 123b realiza a definição do
120 / 193 tempo de exposição e a leitura para as linhas subsequentes à linha L nº 2’, a saber, as linhas individuais L nº 3’, L nº 4’ e assim por diante incluídas no mesmo quadro da linha L nº 2’, similarmente ao processo ilustrado nas figuras 58A e 58B.
[00442] O tempo de exposição da linha L nº 2’ é definido de acordo com a informação de reconhecimento com base nos dados de pixel lidos a partir da linha L nº 2 do quadro prévio. Portanto, a unidade de execução do processo de reconhecimento 124 pode executar o processo de reconhecimento com base na linha L nº 2’ com precisão mais alta, se comparado com o processo de reconhecimento com base na linha L nº 2.
[00443] Note que, embora o terceiro processo na décima modificação da segunda modalidade seja um exemplo em que o tempo de exposição da linha é definido com base no resultado da leitura da linha, a presente descrição não é limitada a este exemplo, e o ganho analógico da linha pode ser definido.
[00444] Aqui, aumentar o tempo de exposição irá tornar possível alcançar a formação de imagem com um alto valor da luminância e a redução de ruído. Por outro lado, aumentar o tempo de exposição pode aumentar o borrão, particularmente em cenas dinâmicas, por exemplo. Ao contrário, o ajuste do ganho analógico não irá causar uma mudança no borrão, mas aumentar o ganho analógico pode aumentar o ruído.
[00445] Em vista disto, é preferível selecionar se define-se o tempo de exposição ou o ganho analógico de acordo com o propósito do processo de reconhecimento e o alvo da formação de imagem. Por exemplo, em um caso em que o alvo da formação de imagem for uma cena dinâmica, o ganho analógico é preferivelmente aumentado para suprimir o borrão, embora, em um caso em que o alvo da formação de imagem for uma cena estática, o tempo de exposição é preferivelmente aumentado para capturar uma imagem brilhante com ruído suprimido.
121 / 193
[00446] A figura 60 é um diagrama esquemático que ilustra com mais detalhes um exemplo dos processos na unidade de processamento de reconhecimento 12 de acordo com a décima modificação da segunda modalidade. Na configuração ilustrada na figura 60, um determinador de leitura 123b é adicionado na configuração ilustrada na figura 22 supradescrita. O determinador de leitura 123b recebe uma entrada de dados de característica 1212 relacionada ao estado interno atualizado pelo processo de atualização do estado interno 1211.
[00447] O processo no determinador de leitura 123b inclui um processo de determinação da próxima linha 1233, um processo de determinação da próxima exposição 1234, e um processo de determinação do próximo AG 1235. O processo de determinação da próxima linha 1233, o processo de determinação da próxima exposição 1234, e o processo de determinação do próximo AG 1235 são processos a serem executados pelo determinador da região de leitura 1230, pelo determinador do tempo de exposição 1231 e pelo determinador da quantidade de AG, 1232 respectivamente, que são descritos usando a Seção (b) da figura 53.
[00448] O processo de determinação da próxima linha 1233, o processo de determinação da próxima exposição 1234, e o processo de determinação do próximo AG 1235 são, cada qual, executados com base nos parâmetros aprendidos em antecipação. O aprendizado de parâmetro é realizado usando os dados de treinamento com base em um padrão de leitura e um alvo de reconhecimento considerados, por exemplo. No exemplo exposto, um exemplo do padrão de leitura considerado pode ser um padrão que lê alternadamente as linhas sobre-expostas e as linhas sub-expostas.
[00449] Note que, nas figuras 57A e 57B, nas figuras 58A e 58B e nas figuras 59A e 59B supradescritas, a unidade de leitura é considerada como uma linha, mas a presente descrição não é limitada a este exemplo. Isto é, uma outra unidade de leitura, tal como uma pluralidade de linhas
122 / 193 sequencialmente adjacentes, pode ser aplicada na décima modificação da segunda modalidade.
[00450] O aparelho de formação de imagem 1 de acordo com a segunda modalidade e suas modificações individuais supradescritas realiza um processo de reconhecimento pela unidade de processamento de reconhecimento 12 para cada um dos tempos de leitura com base na unidade de leitura. Entretanto, a presente descrição não é limitada a este exemplo. Por exemplo, é permissível para realizar tanto o processo de reconhecimento para cada uma das unidades de leitura quanto o processo de reconhecimento normal, isto é, a leitura para a íntegra do quadro, e permissível habilitar a comutação entre o processo de reconhecimento para a unidade de leitura e o processo de reconhecimento com base nos dados de pixel em relação aos pixels lidos a partir da íntegra do quadro. Isto é, o processo de reconhecimento normal é executado com base nos pixels da íntegra do quadro, tornando possível obter um resultado do reconhecimento com precisão mais alta, se comparado com o processo de reconhecimento para a unidade de leitura.
[00451] Por exemplo, é possível realizar o processo de reconhecimento normal em certos intervalos de tempo em relação ao processo de reconhecimento para cada uma das unidades de leitura. Além do mais, o processo de reconhecimento normal pode ser realizado, em emergência, no processo de reconhecimento para cada uma das unidades de leitura para melhorar a estabilidade de reconhecimento. Além do mais, em um caso em que o processo de reconhecimento para cada uma das unidades de leitura for comutado para o processo de reconhecimento normal, já que o processo de reconhecimento normal tem imediatismo inferior ao processo de reconhecimento para cada uma das unidades de leitura. Desta maneira, é permissível comutar o relógio para as operações do dispositivo para um relógio mais rápido no processo de reconhecimento normal. Além do mais, é
123 / 193 permissível comutar para o processo de reconhecimento normal quando a confiabilidade do processo de reconhecimento para cada uma das unidades de leitura for baixa, e é permissível retornar para o processo de reconhecimento para cada uma das unidades de leitura quando a confiabilidade do processo de reconhecimento se tornar alta. [6. Terceira modalidade]
[00452] A seguir, uma terceira modalidade da presente descrição será descrita. A terceira modalidade é um exemplo da definição adaptativa dos parâmetros no momento da leitura de um quadro. Os exemplos dos parâmetros no momento da leitura de um quadro incluem a unidade de leitura, a ordem de leitura no quadro com base na unidade de leitura, na região de leitura, no tempo de exposição e no ganho analógico. Já que a função descrita em relação à figura 21 pode ser aplicada na função do aparelho de formação de imagem 1 de acordo com a terceira modalidade como um todo, a descrição da configuração geral será omitida.
[00453] A figura 61 é um diagrama de blocos funcional de um exemplo que ilustra as funções de acordo com a terceira modalidade. Já que a terceira modalidade descreve principalmente o processo de reconhecimento realizado pela unidade de processamento de reconhecimento 12, a configuração ilustrada na Seção (a) da figura 61 omite a ilustração da unidade de processamento de reconhecimento visual 14, do controlador de saída 15, do gerador de gatilho 16 e do controlador de leitura 111 do controlador do sensor 11, que são ilustrados na configuração da figura 21 exposta.
[00454] Por outro lado, na configuração ilustrada na Seção (a) da figura 61, uma unidade de aquisição da informação externa 17 é adicionada na configuração da figura 21, e os dados de pixel são passados a partir da unidade de leitura 110 para um determinador de leitura 123c. Além do mais, o determinador de leitura 123c recebe a informação de reconhecimento a partir da unidade de execução do processo de reconhecimento 124.
124 / 193
[00455] Além do mais, a unidade de aquisição da informação externa 17 adquire a informação externa gerada no exterior do aparelho de formação de imagem 1, e passa a informação externa adquirida para o determinador de leitura 123c.
[00456] Especificamente, a unidade de aquisição da informação externa 17 pode usar uma interface que transmite e recebe um sinal de um formato pré-determinado. Em um caso em que o aparelho de formação de imagem 1 for usado como para a aplicação em veículo, por exemplo, a informação de veículo é aplicável como a informação externa. A informação de veículo é, por exemplo, a informação adquirida a partir do sistema do veículo, tais como a informação de direção e a informação de velocidade. A informação ambiental é a informação que indica o ambiente circundante do aparelho de formação de imagem 1, e inclui, por exemplo, o brilho das cercanias. A seguir, a menos que de outra forma especificada, a descrição será dada sobre a condição em que o aparelho de formação de imagem 1 é usado como um aparelho no veículo, e a informação externa é a informação de veículo adquirida a partir do veículo no qual o aparelho de formação de imagem 1 é montado.
[00457] A Seção (b) da figura 61 é um diagrama de blocos funcional de um exemplo que ilustra com mais detalhes as funções do determinador de leitura 123c de acordo com a terceira modalidade. Na Seção (b) da figura 61, o determinador de leitura 123c inclui uma unidade de seleção de padrão da unidade de leitura 300, uma unidade de seleção de padrão da ordem de leitura 302, e uma unidade de processamento de determinação de leitura 304. A unidade de seleção de padrão da unidade de leitura 300 inclui uma DB (base de dados) de padrão da unidade de leitura 301 em que uma pluralidade de diferentes padrões de leitura é armazenada em antecipação. Além do mais, a unidade de seleção de padrão da ordem de leitura 302 inclui uma DB de padrão da ordem de leitura 303 em que uma pluralidade de diferentes padrões
125 / 193 da ordem de leitura é armazenada em antecipação.
[00458] Com base em uma ou mais das peças da informação de reconhecimento, dos dados de pixel, da informação de veículo e da informação ambiental passados, o determinador de leitura 123c define a prioridade para os padrões da ordem da unidade de leitura individuais armazenados na DB de padrão da unidade de leitura 301 e para os padrões da ordem da unidade de leitura individuais armazenados na DB de padrão da unidade de leitura 303.
[00459] A unidade de seleção de padrão da unidade de leitura 300 seleciona o padrão da unidade de leitura definida com a prioridade mais alta a partir dos padrões de unidade de leitura armazenados na DB de padrão da unidade de leitura 301. A unidade de seleção de padrão da unidade de leitura 300 passa o padrão da unidade de leitura selecionada a partir da DB de padrão da unidade de leitura 301 para a unidade de processamento de determinação de leitura 304. Similarmente, a unidade de seleção de padrão da ordem de leitura 302 seleciona o padrão de ordem de leitura definido com a prioridade mais alta a partir dos padrões da ordem de leitura armazenados na DB de padrão da ordem de leitura 303. A unidade de seleção de padrão da ordem de leitura 302 passa o padrão de ordem de leitura selecionado a partir da DB de padrão da ordem de leitura 303 para a unidade de processamento de determinação de leitura 304.
[00460] Com base na informação de leitura passada a partir do controlador de armazenamento dos dados de característica 121, no padrão da unidade de leitura passado a partir da unidade de seleção de padrão da unidade de leitura 300 e no padrão de ordem de leitura passado a partir da unidade de seleção de padrão da ordem de leitura 302, a unidade de processamento de determinação de leitura 304 determina uma região de leitura a ser lida a seguir a partir do quadro e passa a informação da região de leitura que indica a região de leitura determinada para a unidade de leitura
126 / 193
110. Além do mais, com base nos dados de pixel e em uma ou mais peças de informação dentre a informação de reconhecimento, a informação de veículo e a informação ambiental passadas para o determinador de leitura 123c, a unidade de processamento de determinação de leitura 304 gera o tempo de exposição e o ganho analógico para o uso na próxima execução da leitura a partir do quadro, e passa as peças de informação geradas para a unidade de leitura 110. (6-0-1. Método de definição dos padrões de unidade de leitura e dos padrões da ordem de leitura)
[00461] Um exemplo de um método de definição dos padrões de unidade de leitura e dos padrões da ordem de leitura de acordo com a terceira modalidade com as configurações ilustradas nas Seções (a) e (b) da figura 61 será descrito. (6-0-1-1. O exemplo dos padrões de unidade de leitura e dos padrões da ordem de leitura)
[00462] Aqui, um exemplo dos padrões de unidade de leitura e dos padrões da ordem de leitura aplicável na terceira modalidade será descrita. A figura 62 é um diagrama esquemático que ilustra um exemplo dos padrões de unidade de leitura aplicáveis na terceira modalidade. O exemplo da figura 62 ilustra cinco padrões de unidade de leitura 410, 411, 412, 413, e 414.
[00463] O padrão da unidade de leitura 410 corresponde à figura 24 supradescrita, e é um padrão da unidade de leitura em que uma linha é definida como uma unidade de leitura e a leitura é realizada para cada uma das linhas em um quadro 400. O padrão da unidade de leitura 411 é um padrão de leitura correspondente à figura 33 supradescrita e em que uma área de um tamanho pré-determinado é definida como uma unidade de leitura no quadro 400, e a leitura é realizada para cada uma das áreas no quadro 400.
[00464] O padrão da unidade de leitura 412 é um padrão da unidade de leitura correspondente à figura 37 supradescrita e em que um conjunto de
127 / 193 pixels que inclui uma pluralidade de pixels que incluem os pixels não adjacentes e periodicamente arranjados é definido como uma unidade de leitura, e a leitura é realizada para cada um da pluralidade de pixels no quadro
400. O padrão da unidade de leitura 413 é um padrão da unidade de leitura correspondente à figura 42 supradescrita e em que uma pluralidade de pixels discretamente e aperiodicamente arranjados (em padrões aleatórios) é definida como unidade de leitura, e a leitura é realizada durante a atualização do padrão aleatório no quadro 400. Estes padrões de unidade de leitura 412 e 413 tornam possível amostrar os pixels com uniformidade superior a partir do quadro 400.
[00465] Além do mais, o padrão da unidade de leitura 414 é um padrão da unidade de leitura correspondente à figura 43 supradescrita e em que um padrão é adaptativamente gerado com base na informação de reconhecimento.
[00466] Cada padrão da unidade de leitura 410 a 414 descrito em relação à figura 62 é armazenado em antecipação na DB de padrão da unidade de leitura 301 ilustrada na Seção (b) da figura 61.
[00467] A unidade de leitura aplicável como o padrão da unidade de leitura de acordo com a terceira modalidade não é limitada ao exemplo ilustrado na figura 62. Por exemplo, as unidades individuais de leitura descritas na segunda modalidade e sua modificação são aplicáveis como um padrão da unidade de leitura de acordo com a terceira modalidade.
[00468] A figura 63 é um diagrama esquemático que ilustra um exemplo de um padrão de ordem de leitura aplicável na terceira modalidade. A Seção (a) da figura 63 ilustra um exemplo de um padrão de ordem de leitura em que a unidade de leitura é uma linha. A Seção (b) ilustra um exemplo do padrão de ordem de leitura em que a unidade de leitura é uma área. A Seção (c) ilustra um exemplo de um padrão de ordem de leitura em que a unidade de leitura é um conjunto de pixels supradescrito.
[00469] Além do mais, os padrões da ordem de leitura 420a, 430a, e
128 / 193 440a no lado esquerdo, respectivamente, nas Seções (a), (b), e (c) da figura 63 ilustram os exemplos de padrões da ordem de leitura em que leitura é sequencialmente realizada na ordem das linhas ou dos pixels.
[00470] Aqui, o padrão de ordem de leitura 420a da Seção (a) é um exemplo de leitura na ordem da ordem das linhas do lado da extremidade superior até o lado da extremidade inferior do quadro 400. Os padrões da ordem de leitura 430a e 440a nas Seções (b) e (c) são os exemplos em que a leitura é realizada sequencialmente a partir do canto superior esquerdo do quadro 400 para cada uma das áreas ou pixels na direção da linha, e a leitura na direção da linha é repetida na direção vertical do quadro 400. Estes padrões da ordem de leitura 420a, 430a, e 440a são referidos como os padrões da ordem de leitura para frente.
[00471] Ao contrário, o padrão de ordem de leitura 420b da Seção (a) é um exemplo de leitura na ordem das linhas do lado da extremidade inferior até o lado da extremidade superior do quadro 400. Os padrões da ordem de leitura 430b e 440b nas Seções (b) e (c) são os exemplos em que a leitura é realizada sequencialmente a partir do canto inferior direito do quadro 400 para cada uma das áreas ou conjunto de pixels na direção da linha, e a leitura na direção da linha é repetida na direção vertical do quadro 400. Estes padrões da ordem de leitura 420b, 430b, e 440b são referidos como os padrões da ordem de leitura para trás.
[00472] Além do mais, o padrão de ordem de leitura 420c da Seção (a) é um exemplo de leitura do lado da extremidade superior até o lado da extremidade inferior do quadro 400 durante a redução das linhas. Os padrões da ordem de leitura 430c e 440c nas Seções (b) e (c) são os exemplos de realização individual da leitura em áreas no quadro 400 em posições e ordem de leitura discretas. No padrão de ordem de leitura 430c, em um caso em que a unidade de leitura for formada com quatro pixels, por exemplo, cada um dos pixels é lido na ordem indicada pelas setas na figura. No padrão de ordem de
129 / 193 leitura 440c, da forma ilustrada em uma região 442 na figura, por exemplo, a leitura de pixels individuais é realizada ao mesmo tempo em que os pixels que são a referência do padrão são movidos para as posições discretas em uma ordem diferente das ordens na direção da linha ou na direção da coluna das posições de pixel.
[00473] Os padrões da ordem de leitura 420a até 420c, os padrões da ordem de leitura 430a até 430c e os padrões da ordem de leitura 420a até 420c descritos em relação à figura 63 são armazenados em antecipação na DB de padrão da ordem de leitura 303 ilustrada na Seção (b) da figura 61. (6-0-1-2. Exemplo específico do método de definição do padrão da unidade de leitura)
[00474] Um exemplo de um método de definição do padrão da unidade de leitura de acordo com a terceira modalidade será descrito com mais detalhes em relação às figuras 62 e 63 supradescritas.
[00475] Primeiro, um método de definição de um padrão da unidade de leitura com base na informação de imagem (dados de pixel) será descrito. O determinador de leitura 123c detecta o ruído incluído nos dados de pixel passados a partir da unidade de leitura 110. Aqui, com uma configuração de arranjo de uma pluralidade de pixels em um grupo, a resistência ao ruído é mais alta do que no caso em que os pixels forem arranjados discretamente como pixels separados. Em vista disto, em um caso em que os dados de pixel passados a partir da unidade de leitura 110 contiverem o ruído de um nível pré-determinado ou maior, o determinador de leitura 123c dá definição de prioridade mais alta ao padrão da unidade de leitura 410 ou 411 dentre os padrões de unidade de leitura 410 a 414 armazenados na DB de padrão da unidade de leitura 301, se comparada com a prioridade dos outros padrões de unidade de leitura.
[00476] A seguir, um método de definição do padrão da unidade de leitura com base na informação de reconhecimento será descrito. O primeiro
130 / 193 método de definição é um exemplo em que muitos objetos de um tamanho pré-determinado ou maior são reconhecidos no quadro 400 com base na informação de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124. Neste caso, o determinador de leitura 123c dá definição de prioridade mais alta ao padrão da unidade de leitura 412 ou 413 dentre os padrões de unidade de leitura 410 a 414 armazenados na DB de padrão da unidade de leitura 301, se comparada com a prioridade dos outros padrões de unidade de leitura. Isto é em virtude de a amostragem da íntegra do quadro 400 com uniformidade superior tornar possível melhorar o imediatismo.
[00477] O segundo método de definição é um exemplo em que a cintilação é detectada em uma imagem obtida com base em dados de pixel, por exemplo. Neste caso, o determinador de leitura 123c dá definição de prioridade mais alta ao padrão da unidade de leitura 413 dentre os padrões de unidade de leitura 410 a 414 armazenados na DB de padrão da unidade de leitura 301, se comparada com a prioridade dos outros padrões de unidade de leitura. Isto é em virtude de, em um caso de cintilação, a amostragem da íntegra do quadro 400 usando um padrão aleatório tornar possível suprimir o artefato causado pela cintilação.
[00478] O terceiro método de definição é um exemplo de um caso de geração de uma configuração da unidade de leitura em que a mudança adaptativa da configuração com base na informação de reconhecimento irá habilitar que o processo de reconhecimento seja executado com eficiência superior. Neste caso, o determinador de leitura 123c dá definição de prioridade mais alta ao padrão da unidade de leitura 414 dentre os padrões de unidade de leitura 410 a 414 armazenados na DB de padrão da unidade de leitura 301, se comparada com a prioridade dos outros padrões de unidade de leitura.
[00479] A seguir, um método de definição de um padrão da unidade de
131 / 193 leitura com base na informação externa adquirida pela unidade de aquisição da informação externa 17 será descrito. O primeiro método de definição é um exemplo em que o veículo equipado com o aparelho de formação de imagem 1 vira ou na direção esquerda ou na direção direita com base na informação externa. Neste caso, o determinador de leitura 123c dá uma prioridade mais alta ao padrão da unidade de leitura 410 ou 411 dentre os padrões de unidade de leitura 410 a 414 armazenados na DB de padrão da unidade de leitura 301, se comparada com a prioridade dos outros padrões de unidade de leitura.
[00480] Aqui, o primeiro método de definição considera a definição em que o determinador de leitura 123c define, para o padrão da unidade de leitura 410, a direção da coluna como a unidade de leitura dentre as direções da matriz (linha-coluna) na unidade do arranjo de pixels 101, e realiza a leitura sequencialmente na ordem de colunas na direção da linha do quadro
400. Além do mais, a definição para o padrão da unidade de leitura 411 será de maneira tal que a leitura seja realizada nas áreas na direção da coluna, e isto será repetido na direção da linha.
[00481] Em um caso em que o veículo virar para a esquerda, o determinador de leitura 123c realiza a definição, na direção da unidade de processamento de determinação de leitura 304, para executar a leitura sequencialmente na ordem das colunas ou a leitura das áreas sequencialmente na direção da coluna, começando a partir do lado da extremidade esquerda do quadro 400. Em um caso oposto em que o veículo virar para a direita, o determinador de leitura 123c realiza a definição, na direção da unidade de processamento de determinação de leitura 304, para executar a leitura sequencialmente na ordem das colunas ou a leitura das áreas sequencialmente na direção da coluna, começando a partir do lado da extremidade direita do quadro 400.
[00482] Note que, em um caso em que o veículo estiver se deslocando reto, o determinador de leitura 123c pode realizar a leitura sequencialmente na
132 / 193 ordem da linha, da forma comum, ou na direção da linha da área, e, em um caso em que o veículo virar para a esquerda ou para a direita, o determinador de leitura 123c pode realizar, por exemplo, a inicialização dos dados de característica armazenados na unidade de armazenamento dos dados de característica 122 para reiniciar o processo de leitura com a leitura realizada sequencialmente na ordem das colunas ou com a leitura das áreas realizada sequencialmente na direção da coluna, como exposto.
[00483] O segundo método de definição do padrão da unidade de leitura com base na informação externa é um exemplo em que o veículo equipado com o aparelho de formação de imagem 1 está se deslocando na via expressa com base na informação externa. Neste caso, o determinador de leitura 123c dá uma prioridade mais alta ao padrão da unidade de leitura 410 ou 411 dentre os padrões de unidade de leitura 410 a 414 armazenados na DB de padrão da unidade de leitura 301, se comparada com a prioridade dos outros padrões de unidade de leitura. Durante o acionamento em uma via expressa, é considerado importante reconhecer um objeto que está em uma existência em pequena dimensão na distância. Em vista disto, a realização da leitura sequencialmente a partir do lado da extremidade superior do quadro 400 irá tornar possível melhorar adicionalmente o imediatismo em relação ao objeto que está em uma existência em pequena dimensão na distância. (6-0-1-3. Exemplo específico do método de definição do padrão de ordem de leitura)
[00484] Um exemplo de um método de definição do padrão de ordem de leitura de acordo com a terceira modalidade será descrito com mais detalhes em relação às figuras 62 e 63 supradescritas.
[00485] Primeiro, um método de definição de um padrão de ordem de leitura com base na informação de imagem (dados de pixel) será descrito. O determinador de leitura 123c detecta o ruído incluído nos dados de pixel passados a partir da unidade de leitura 110. Aqui, quanto menor for a
133 / 193 mudança na região como um alvo do processo de reconhecimento, menos o processo de reconhecimento será afetado pelo ruído, facilitando mais o processo de reconhecimento. Em vista disto, em um caso em que os dados de pixel passados a partir da unidade de leitura 110 contiverem o ruído de um nível pré-determinado ou maior, o determinador de leitura 123c dá definição de prioridade mais alta a um dos padrões da ordem de leitura 420a, 430a, ou 440a, dentre os padrões da ordem de leitura 420a até 420c, 430a até 430c, e 440a até 440c armazenados na DB de padrão da ordem de leitura 303, se comparada com a prioridade dos outros padrões da ordem de leitura. Não limitado a isto, a prioridade de qualquer um dos padrões da ordem de leitura 420b, 430b, e 440b pode ser definida mais alta do que a prioridade dos outros padrões da ordem de leitura.
[00486] Note que qual dos padrões da ordem de leitura 420a, 430a, e 440a e dos padrões da ordem de leitura 420b, 430b, e 440b deve ser definido na prioridade mais alta pode ser determinado, por exemplo, por qual dos padrões de unidade de leitura 410 a 414 foi definido na prioridade mais alta na unidade de seleção de padrão da unidade de leitura 300, ou por a partir de qual do lado da extremidade superior ou do lado da extremidade inferior do quadro 400 a leitura foi iniciada.
[00487] A seguir, um método de definição do padrão de ordem de leitura com base na informação de reconhecimento será descrito. Em um caso em que for determinado que muitos objetos de um tamanho pré-determinado ou maior foram reconhecidos no quadro 400 com base na informação de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124, o determinador de leitura 123c dá definição de prioridade mais alta a qualquer um dos padrões da ordem de leitura 420c, 430c, e 440c, dentre os padrões da ordem de leitura 420a até 420c, 430a até 430c, e 440a até 440c armazenados na DB de padrão da ordem de leitura 303, se comparados com os outros padrões da ordem de leitura. Isto é em virtude
134 / 193 de a amostragem da íntegra do quadro 400 com uniformidade superior, em vez da leitura sequencial do quadro 400, tornar possível melhorar o imediatismo.
[00488] A seguir, um método de definição de um padrão de ordem de leitura com base na informação externa será descrito. O primeiro método de definição é um exemplo em que o veículo equipado com o aparelho de formação de imagem 1 vira ou na direção esquerda ou na direção direita com base na informação externa. Neste caso, o determinador de leitura 123c dá prioridade mais alta a um dos padrões da ordem de leitura 420a, 430a, ou 440a, dentre os padrões da ordem de leitura 420a até 420c, 430a até 430c, e 440a até 440c armazenados na DB de padrão da ordem de leitura 303, se comparada com a prioridade dos outros padrões de unidade de leitura.
[00489] Aqui, o primeiro método de definição considera a definição em que o determinador de leitura 123c define, para o padrão de ordem de leitura 420a, a direção da coluna como a unidade de leitura dentre as direções da matriz (linha-coluna) na unidade do arranjo de pixels 101, e realiza a leitura sequencialmente na ordem das colunas na direção da linha do quadro
400. Além do mais, a definição para o padrão de ordem de leitura 430a será de maneira tal que a leitura seja realizada nas áreas na direção da coluna e isto será repetido na direção da linha. Além do mais, a definição para o padrão de ordem de leitura 440a será de maneira tal que a leitura seja realizada no conjunto de pixels na direção da coluna e isto será repetido na direção da linha.
[00490] Em um caso em que o veículo virar para a esquerda, o determinador de leitura 123c realiza a definição, na direção da unidade de processamento de determinação de leitura 304, para executar a leitura sequencialmente na ordem das colunas ou a leitura das áreas sequencialmente na direção da coluna, começando a partir do lado da extremidade esquerda do quadro 400. Em um caso oposto em que o veículo virar para a direita, o
135 / 193 determinador de leitura 123c realiza a definição, na direção da unidade de processamento de determinação de leitura 304, para executar a leitura sequencialmente na ordem das colunas ou a leitura das áreas sequencialmente na direção da coluna, começando a partir do lado da extremidade direita do quadro 400.
[00491] Note que, em um caso em que o veículo estiver se deslocando reto, o determinador de leitura 123c pode realizar a leitura sequencialmente na ordem da linha, da forma comum, ou na direção da linha da área, e, em um caso em que o veículo virar para a esquerda ou para a direita, o determinador de leitura 123c pode realizar, por exemplo, a inicialização dos dados de característica armazenados na unidade de armazenamento dos dados de característica 122 para reiniciar o processo de leitura com a leitura realizada sequencialmente na ordem das colunas ou com a leitura das áreas realizada sequencialmente na direção da coluna, como exposto.
[00492] O segundo método de definição do padrão de ordem de leitura com base na informação externa é um exemplo em que o veículo equipado com o aparelho de formação de imagem 1 está se deslocando na via expressa com base na informação externa. Neste caso, o determinador de leitura 123c dá prioridade mais alta a um dos padrões da ordem de leitura 420a, 430a, ou 440a, dentre os padrões da ordem de leitura 420a até 420c, 430a até 430c, e 440a até 440c armazenados na DB de padrão da ordem de leitura 303, se comparada com a prioridade dos outros padrões da ordem de leitura. Durante o acionamento em uma via expressa, é considerado importante reconhecer um objeto que está em uma existência em pequena dimensão na distância. Em vista disto, a realização da leitura sequencialmente a partir do lado da extremidade superior do quadro 400 irá tornar possível melhorar adicionalmente o imediatismo em relação ao objeto que está em uma existência em pequena dimensão na distância.
[00493] Aqui, como exposto, quando a prioridade dos padrões de
136 / 193 unidade de leitura ou dos padrões da ordem de leitura for definida com base em uma pluralidade de peças de informação diferente (a informação de imagem, a informação de reconhecimento e a informação externa), há uma possibilidade de ocorrência de uma colisão entre diferentes padrões de unidade de leitura ou entre diferentes padrões da ordem de leitura. A fim de evitar esta colisão, por exemplo, é concebível tornar níveis de prioridade individuais que foram definidos com base em peças de informação individuais em níveis diferentes em antecipação. [6-1. Primeira modificação da terceira modalidade]
[00494] A seguir, uma primeira modificação da terceira modalidade será descrita. A primeira modificação da terceira modalidade é um exemplo de definição adaptativa da região de leitura no caso de realização da leitura de quadro.
[00495] A figura 64 é um diagrama de blocos funcional que ilustra um exemplo das funções de acordo com a primeira modificação da terceira modalidade. Já que a primeira modificação da terceira modalidade descreve principalmente o processo de reconhecimento realizado pela unidade de processamento de reconhecimento 12, a configuração ilustrada na Seção (a) da figura 64 omite a ilustração da unidade de processamento de reconhecimento visual 14, do controlador de saída 15, do gerador de gatilho 16 e do controlador de leitura 111 do controlador do sensor 11, que são ilustrados na configuração da figura 21 exposta. Além do mais, um determinador de leitura 123d ilustrado nas Seções (a) e (b) da figura 64 tem uma função diferente do determinador de leitura 123c de acordo com a terceira modalidade ilustrada na figura 61.
[00496] Na Seção (b) da figura 64, o determinador de leitura 123b tem uma configuração correspondente ao determinador de leitura 123b ilustrado na Seção (b) da figura 53 supradescrita. Desta maneira, o determinador de leitura 123b inclui um determinador da região de leitura 1230’, um
137 / 193 determinador do tempo de exposição 1231’ e um determinador da quantidade de AG 1232’.
[00497] A informação de leitura e os dados de característica passados a partir do controlador de armazenamento dos dados de característica 121 para o determinador de leitura 123d são individualmente inseridos no determinador da região de leitura 1230’, no determinador do tempo de exposição 1231’ e no determinador da quantidade de AG 1232’. Além do mais, os dados de pixel passados a partir da unidade de leitura 110, a informação de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124, e a informação de veículo e a informação ambiental passadas a partir da unidade de aquisição da informação externa 17 são individualmente inseridos no determinador da região de leitura 1230’, no determinador do tempo de exposição 1231’ e no determinador da quantidade de AG 1232’.
[00498] O determinador da região de leitura 1230 gera e transmite a informação da região de leitura (por exemplo, um número de linha) que indica uma região de leitura a ser lida a seguir, com base em pelo menos uma peça da informação inserida, isto é, a informação de leitura, os dados de característica, os dados de pixel, a informação de reconhecimento, a informação de veículo e a informação ambiental. O determinador do tempo de exposição 1231’ gera e transmite a informação que indica o tempo de exposição na próxima formação de imagem com base em pelo menos uma peça da informação inserida, isto é, a informação de leitura, os dados de característica, os dados de pixel, a informação de reconhecimento, a informação de veículo e a informação ambiental. Além do mais, o determinador da quantidade de AG 1232’ gera e transmite a informação que indica o ganho analógico na próxima formação de imagem com base em pelo menos uma peça da informação inserida, isto é, a informação de leitura, os dados de característica, os dados de pixel, a informação de reconhecimento, a informação de veículo e a informação ambiental.
138 / 193 (Método de definição adaptativa da região de leitura)
[00499] A seguir, um método de definição adaptativa da região de leitura de acordo com a primeira modificação da terceira modalidade será descrito mais especificamente. Além do mais, aqui, considera-se que o aparelho de formação de imagem 1 é usado como um aparelho no veículo. (Exemplo de definição da região de leitura com base na informação de reconhecimento)
[00500] Primeiro, um primeiro método de definição para definir adaptativamente a região de leitura com base na informação de reconhecimento será descrito. No primeiro método de definição, o determinador de leitura 123d define adaptativamente uma região no quadro usando a região ou a classe detectadas pelo processo de reconhecimento da unidade de execução do processo de reconhecimento 124 para restringir uma região de leitura a ser lida a seguir. Este primeiro método de definição será descrito mais especificamente em relação à figura 65.
[00501] A figura 65 é um diagrama esquemático que ilustra o primeiro método de definição da primeira modificação da terceira modalidade. Na Seção (a) da figura 65, a leitura de linha é realizada para um quadro 500a sequencialmente na ordem das linhas e usando a redução de linha, com uma linha definida como a unidade de leitura. No exemplo da Seção (a) da figura 65, a unidade de execução do processo de reconhecimento 124 executa um processo de reconhecimento com base nos dados de pixel lidos pela leitura de linha na íntegra do quadro 500a. Em decorrência disto, a unidade de execução do processo de reconhecimento 124 detectou um objeto específico (pessoa, neste exemplo) em uma região 501 no quadro 500a. A unidade de execução do processo de reconhecimento 124 passa a informação de reconhecimento que indica o resultado do reconhecimento para o determinador de leitura 123d.
[00502] O determinador da região de leitura 1230’ do determinador de
139 / 193 leitura 123d determina uma região de leitura a ser lida a seguir com base na informação de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124. Por exemplo, o determinador da região de leitura 1230’ determina uma região que inclui a região reconhecida 501 e a parte periférica da região 501 como a região de leitura a ser lida a seguir. O determinador da região de leitura 1230’ passa a informação da região de leitura que indica a região de leitura definida por uma região 502 para a unidade de leitura 110.
[00503] De acordo com a informação da região de leitura passada a partir do determinador da região de leitura 1230’, a unidade de leitura 110 realiza a leitura de quadro sem redução das linhas, por exemplo, e passa os dados de pixel lidos para a unidade de processamento de reconhecimento 12. A Seção (b) da figura 65 ilustra um exemplo de uma imagem lida de acordo com a região de leitura. Neste exemplo, em um quadro 500b, que é o próximo quadro do quadro 500a, por exemplo, os dados de pixel da região 502 indicada pela informação da região de leitura foram adquiridos, desconsiderando o exterior da região 502. Na unidade de processamento de reconhecimento 12, a unidade de execução do processo de reconhecimento 124 realiza um processo de reconhecimento na região 502. Com este processo, a pessoa detectada na região 501 é reconhecida como um pedestre.
[00504] Desta maneira, pela restrição da região de leitura a ser lida a seguir com base na região detectada pela unidade de execução do processo de reconhecimento 124, é possível executar um processo de reconhecimento de alta precisão em velocidade mais alta.
[00505] Não limitado a isto, neste primeiro método de determinação, com base na determinação se um objeto reconhecido no quadro 500a é um corpo estacionário ou corpo em movimento, também é possível prever a posição do objeto 500a no próximo quadro 500b, o que habilita a restrição da região de leitura a ser lida a seguir com base na posição prevista. Além do
140 / 193 mais, neste momento, em um caso em que o objeto reconhecido for um corpo em movimento, a previsão adicional da velocidade do corpo em movimento tornará possível restringir a região de leitura a ser lida a seguir com precisão mais alta.
[00506] Além do mais, neste primeiro método de determinação, também é possível restringir a região de leitura a ser lida a seguir de acordo com o tipo do objeto reconhecido. Por exemplo, em um caso em que o objeto reconhecido no quadro 500a for um semáforo, o determinador de leitura 123d pode restringir a região de leitura a ser lida no próximo quadro 500b a uma parte da lâmpada do semáforo. Além do mais, em um caso em que o objeto reconhecido no quadro 500a for um semáforo, o determinador de leitura 123d pode mudar o método de leitura de quadro para um método de leitura efetivo para reduzir a influência de cintilação e pode realizar a leitura no próximo quadro 500b usando o novo método. Como um exemplo do método de leitura efetivo para reduzir a influência de cintilação, o padrão Rd nº m_x de acordo com a quinta modificação da segunda modalidade supradescrita pode ser aplicado.
[00507] A seguir, um segundo método de definição para definir adaptativamente a região de leitura com base na informação de reconhecimento será descrito. No segundo método de definição, o determinador de leitura 123d restringe a região de leitura a ser lida a seguir pelo uso da informação de reconhecimento no meio do processo de reconhecimento realizado pela unidade de execução do processo de reconhecimento 124. Este segundo método de definição será descrito mais especificamente em relação à figura 66.
[00508] A figura 66 é um diagrama esquemático que ilustra um segundo método de definição da primeira modificação da terceira modalidade. Neste exemplo, considera-se que o objeto como um alvo de reconhecimento é uma placa de licenciamento de um veículo. A Seção (a) da figura 66 é um
141 / 193 diagrama que ilustra um exemplo em que um objeto que indica um veículo tipo ônibus é reconhecido em uma região 503 no meio do processo de reconhecimento correspondente à leitura de quadro para um quadro 500c. A Seção (a) da figura 66 pode ser usada para corresponder ao exemplo ilustrado na Seção (b) da figura 65 supradescrita, por exemplo, em que a região de leitura é limitada à região 502 e o processo de leitura e reconhecimento é realizado.
[00509] Aqui, quando for reconhecido que o objeto é um veículo tipo ônibus na região 503 no meio do processo de reconhecimento, o determinador da região de leitura 1230’ pode prever a posição da placa de licenciamento do veículo tipo ônibus com base na informação reconhecida na região 503. Com base na posição prevista da placa de licenciamento, o determinador da região de leitura 1230’ determina a região de leitura a ser lida a seguir, e passa a informação da região de leitura que indica a região de leitura determinada para a unidade de leitura 110.
[00510] De acordo com a informação da região de leitura passada a partir do determinador da região de leitura 1230’, a unidade de leitura 110 lê um próximo quadro 500d do quadro 500c, por exemplo, e passa os dados de pixel lidos para a unidade de processamento de reconhecimento 12. A Seção (b) da figura 66 ilustra um exemplo de uma imagem lida de acordo com a região de leitura. Neste exemplo, no quadro 500d, os dados de pixel da região 504 que incluem a posição prevista da placa de licenciamento indicada pela informação da região de leitura foram adquiridos. Na unidade de processamento de reconhecimento 12, a unidade de execução do processo de reconhecimento 124 realiza um processo de reconhecimento na região 504. Com este processo, o processo de reconhecimento é realizado sobre a placa de licenciamento como um objeto incluído na região 504, tornando possível adquirir, por exemplo, o número de veículo do veículo tipo ônibus detectado pelo processo de reconhecimento na região 503.
142 / 193
[00511] Neste segundo método de definição, a região de leitura do próximo quadro 500d é determinada no meio do processo de reconhecimento para a íntegra do objeto alvo correspondente à leitura do quadro 500c executado pela unidade de execução do processo de reconhecimento 124, tornando possível executar um processo de reconhecimento de alta precisão em velocidade mais alta.
[00512] No processo de reconhecimento para o quadro 500c ilustrado na Seção (a) da figura 66, é possível habilitar o determinador de leitura 123d para realizar a determinação da região 504 como a região de leitura a ser lida a seguir e realizar a leitura ilustrada na Seção (b) da figura 66 em um caso em que a confiabilidade indicada pela informação de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124 no meio do reconhecimento for um nível pré-determinado ou maior. Neste caso, em um caso em que a confiabilidade indicada pela informação de reconhecimento for menor do que um nível pré-determinado, o processo de reconhecimento para a íntegra do objeto será executado no quadro 500c.
[00513] A seguir, um terceiro método de definição para definir adaptativamente a região de leitura com base na informação de reconhecimento será descrito. No terceiro método de definição, o determinador de leitura 123d restringe a região de leitura a ser lida a seguir pelo uso da confiabilidade do processo de reconhecimento realizado pela unidade de execução do processo de reconhecimento 124. Este terceiro método de definição será descrito mais especificamente em relação à figura
67.
[00514] Na Seção (a) da figura 67, a leitura de linha é realizada para um quadro 500e sequencialmente na ordem das linhas e usando a redução de linha, com uma linha definida como a unidade de leitura. No exemplo da Seção (a) da figura 67, a unidade de execução do processo de reconhecimento 124 executa um processo de reconhecimento com base nos dados de pixel
143 / 193 lidos pela leitura de linha na íntegra do quadro 500a, e detectou um objeto específico (uma pessoa, neste exemplo) em uma região 505a no quadro 500e. A unidade de execução do processo de reconhecimento 124 passa a informação de reconhecimento que indica o resultado do reconhecimento para o determinador de leitura 123d.
[00515] No determinador de leitura 123d, o determinador da região de leitura 1230’ gera a informação da região de leitura que indica que, quando a confiabilidade indicada pela informação de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124 estiver em um nível pré-determinado ou maior, a leitura em um próximo quadro do quadro 500e não será realizada, por exemplo. O determinador da região de leitura 1230’ passa a informação da região de leitura gerada para a unidade de leitura
110.
[00516] Ao contrário, o determinador da região de leitura 1230’ gera a informação da região de leitura que indica que, quando a confiabilidade indicada pela informação de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124 for menor do que um nível pré- determinado, a leitura em um próximo quadro do quadro 500e será realizada. Por exemplo, o determinador da região de leitura 1230’ gera a informação da região de leitura que designa a região correspondente à região 505a em que um objeto específico (pessoa) é detectado no quadro 500e como a região de leitura. O determinador da região de leitura 1230’ passa a informação da região de leitura gerada para a unidade de leitura 110.
[00517] A unidade de leitura 110 lê o próximo quadro do quadro 500e de acordo com a informação da região de leitura passada a partir do determinador da região de leitura 1230’. Aqui, o determinador da região de leitura 1230’ pode adicionar uma instrução para ler uma região correspondente à região 505a no quadro a seguir ao quadro 500e sem realizar redução na informação da região de leitura. A unidade de leitura 110 lê o
144 / 193 próximo quadro do quadro 500e de acordo com a informação da região de leitura, e passa os dados de pixel lidos para a unidade de processamento de reconhecimento 12.
[00518] A Seção (b) da figura 67 ilustra um exemplo de uma imagem lida de acordo com a informação da região de leitura. Neste exemplo, no quadro 500f, que é o próximo quadro do quadro 500e, por exemplo, os dados de pixel de uma região 505b correspondente à região 505a ilustrada na informação da região de leitura foram adquiridos. Para a parte do quadro 500f diferente da região 505b, os dados de pixel do quadro 500e podem ser usados como estão sem realizar leitura, por exemplo. Na unidade de processamento de reconhecimento 12, a unidade de execução do processo de reconhecimento 124 realiza um processo de reconhecimento na região 505b. Este processo torna possível reconhecer que a pessoa detectada na região 501 é um pedestre com uma confiabilidade mais alta. (Exemplo de definição adaptativa da região de leitura com base na informação externa)
[00519] A seguir, um primeiro método de definição para definir adaptativamente a região de leitura com base na informação externa será descrito. No primeiro método de definição, o determinador de leitura 123d define adaptativamente a região no quadro com base na informação de veículo passada a partir da unidade de aquisição da informação externa 17, e restringe a região de leitura a ser lida a seguir. Isto torna possível executar o processo de reconhecimento adequado para o deslocamento de um veículo.
[00520] Por exemplo, no determinador de leitura 123d, o determinador da região de leitura 1230’ adquire a inclinação do veículo com base na informação de veículo, e determina a região de leitura de acordo com a inclinação adquirida. Como um exemplo, em um caso em que o determinador da região de leitura 1230’ tiver adquirido que o veículo está em uma Etapa ou similares e o lado frontal estiver elevado com base na informação de veículo,
145 / 193 o determinador da região de leitura 1230’ corrige a região de leitura para ser direcionada na direção do lado da extremidade superior do quadro. Além do mais, em um caso em que o determinador da região de leitura 1230’ tiver adquirido um estado em que o veículo está virando com base na informação de veículo, o determinador da região de leitura 1230’ determina uma região não observada na direção do giro (por exemplo, a região no lado da extremidade esquerda no caso de um giro para a esquerda) como a região de leitura.
[00521] A seguir, um segundo método de definição para definir adaptativamente a região de leitura com base na informação externa será descrito. No segundo método de definição, a informação de mapa que pode refletir sequencialmente a posição atual é usada como a informação externa. Neste caso, o determinador da região de leitura 1230’ gera a informação da região de leitura que instrui para aumentar a frequência da leitura de quadro em um caso em que a posição atual for uma área que exige o acionamento cuidadoso de um veículo (por exemplo, ao redor de uma escola ou uma creche). Isto torna possível impedir os acidentes causados por crianças correndo até a estrada.
[00522] A seguir, um terceiro método de definição para definir adaptativamente a região de leitura com base na informação externa será descrito. No terceiro método de definição, a informação de detecção obtida por um outro sensor é usada como a informação externa. Um exemplo de um outro sensor pode ser um sensor tipo Detecção e Telemetria da Formação de Imagem a Laser (LiDAR). O determinador da região de leitura 1230’ gera a informação da região de leitura que indica a omissão da leitura de uma região na qual a confiabilidade da informação detectada pelo outro sensor é um nível pré-determinado ou maior. Com isto, é possível alcançar a economia de energia e a velocidade mais alta na leitura de quadro e no processo de reconhecimento.
146 / 193 [6-2. Segunda modificação da terceira modalidade]
[00523] A seguir, uma segunda modificação da terceira modalidade será descrita. A segunda modificação da terceira modalidade é um exemplo em que pelo menos um do tempo de exposição ou do ganho analógico no caso de realização da leitura de quadro é adaptativamente definido. (Exemplo de definição adaptativa do tempo de exposição e do ganho analógico com base na informação de imagem)
[00524] Primeiro, um método de definição adaptativa do tempo de exposição e do ganho analógico com base na informação de imagem (dados de pixel) será descrito. O determinador de leitura 123d detecta o ruído incluído nos dados de pixel passados a partir da unidade de leitura 110. Em um caso em que os dados de pixel passados a partir da unidade de leitura 110 incluírem o ruído de um nível pré-determinado ou maior, o determinador do tempo de exposição 1231’ define o tempo de exposição para ser mais longo, e o determinador da quantidade de AG 1232’ define o ganho analógico para ser mais alto. (Exemplo de definição adaptativa do tempo de exposição e do ganho analógico com base na informação de reconhecimento)
[00525] A seguir, um método de definição adaptativa do tempo de exposição e do ganho analógico com base na informação de reconhecimento será descrito. Em um caso em que a confiabilidade indicada pela informação de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124 for menor do que um valor pré-determinado, o determinador do tempo de exposição 1231’ e o determinador da quantidade de AG 1232’ no determinador de leitura 123d ajustam o tempo de exposição e o ganho analógico, respectivamente. A unidade de leitura 110 realiza a leitura do próximo quadro, por exemplo, pelo uso do tempo de exposição e do ganho analógico ajustados. (Exemplo de definição adaptativa do tempo de exposição e do ganho
147 / 193 analógico com base na informação externa)
[00526] A seguir, um método de definição adaptativa do tempo de exposição e do ganho analógico com base na informação externa será descrito. Aqui, a informação de veículo é usada como a informação externa.
[00527] Como um primeiro exemplo, no determinador de leitura 123d, o determinador do tempo de exposição 1231’ e o determinador da quantidade de AG 1232’ definem diferentes ganhos analógicos para a parte central e a parte periférica do quadro em um caso em que a informação de veículo passada a partir da unidade de aquisição da informação externa 17 indicar que o farol é ativado. Isto é, quando os faróis do veículo forem ativados, o valor da luminância fica alto na parte central do quadro e baixo na parte periférica do quadro. Em vista disto, no caso em que os faróis forem ativados, o determinador do tempo de exposição 1231’ define um tempo de exposição mais curto, ao mesmo tempo em que o determinador da quantidade de AG 1232’ define um ganho analógico mais alto para a parte central do quadro. Ao contrário, no caso em que os faróis forem ativados, o determinador do tempo de exposição 1231’ define um tempo de exposição mais longo, ao mesmo tempo em que o determinador da quantidade de AG 1232’ define um ganho analógico inferior para a parte periférica do quadro.
[00528] Como um segundo exemplo, no determinador de leitura 123d, o determinador do tempo de exposição 1231’ e o determinador da quantidade de AG 1232’ definem adaptativamente o tempo de exposição e o ganho analógico com base na velocidade do veículo indicada pela informação de veículo passada a partir da unidade de aquisição da informação externa 17. Por exemplo, a parte central do quadro tem uma pequena quantidade de borrão devido ao movimento do veículo. Portanto, o determinador do tempo de exposição 1231’ define um tempo de exposição mais longo, ao mesmo tempo em que o determinador da quantidade de AG 1232’ define um ganho analógico inferior para a parte central do quadro. Ao contrário, a parte
148 / 193 periférica do quadro tem uma grande quantidade de borrão devido ao movimento do veículo. Portanto, o determinador do tempo de exposição 1231’ define um tempo de exposição mais curto, ao mesmo tempo em que o determinador da quantidade de AG 1232’ define um ganho analógico mais alto para a parte periférica do quadro.
[00529] Aqui, quando a velocidade do veículo tiver sido mudada para uma velocidade mais alta com base na informação de veículo, o determinador do tempo de exposição 1231’ muda o tempo de exposição para um tempo mais curto e o determinador da quantidade de AG 1232’ muda o ganho analógico para um ganho mais alto para a parte central do quadro.
[00530] Pela definição adaptativamente do tempo de exposição e do ganho analógico desta maneira, é possível suprimir a influência das mudanças no ambiente de formação de imagem no processo de reconhecimento. [6-3. Terceira modificação da terceira modalidade]
[00531] A seguir, uma terceira modificação da terceira modalidade será descrita. A terceira modificação da terceira modalidade é um exemplo em que a região de leitura, o tempo de exposição, o ganho analógico e a velocidade de acionamento são definidos de acordo com um modo de prioridade pré- determinado. A velocidade de acionamento é a velocidade na qual a unidade sensora 10 é acionada. Pelo aumento da velocidade de acionamento em um alcance permissível para a unidade sensora 10, por exemplo, é possível aumentar a velocidade de leitura de quadro.
[00532] A figura 68 é um diagrama de blocos funcional de um exemplo que ilustra a função do aparelho de formação de imagem de acordo com a terceira modificação da terceira modalidade. Na configuração ilustrada na Seção (a) da figura 68, uma unidade de instrução do modo de prioridade 2020 é adicionada na configuração ilustrada na Seção (a) da figura 64. Além do mais, um determinador de leitura 123e inclui uma função diferente daquela do determinador de leitura 123d ilustrado na figura 64.
149 / 193
[00533] A Seção (b) da figura 68 é um diagrama de blocos funcional de um exemplo que ilustra com mais detalhes a função do determinador de leitura 123e de acordo com a terceira modificação da terceira modalidade. Na Seção (b) da figura 68, o determinador de leitura 123e inclui uma unidade de ajuste de recurso 2000. A unidade de ajuste de recurso 2000 inclui um determinador da região de leitura 2010, um determinador do tempo de exposição 2011, um determinador da quantidade de AG 2012 e um determinador da velocidade de acionamento 2013.
[00534] A informação de leitura e os dados de característica passados a partir do controlador de armazenamento dos dados de característica 121 para o determinador de leitura 123e são inseridos no determinador da região de leitura 2010, no determinador do tempo de exposição 2011, no determinador da quantidade de AG 2012 e no determinador da velocidade de acionamento 2013, individualmente. Além do mais, a informação de veículo e a informação ambiental passadas a partir da unidade de aquisição da informação externa 17 e os dados de pixel passados a partir da unidade de leitura 110 são inseridos no determinador da região de leitura 2010, no determinador do tempo de exposição 2011, no determinador da quantidade de AG 2012 e no determinador da velocidade de acionamento 2013 individualmente.
[00535] O determinador da região de leitura 2010 gera e transmite a informação da região de leitura (por exemplo, um número de linha) que indica uma região de leitura a ser lida a seguir, com base nas peças de informação inseridas. O determinador do tempo de exposição 2011 gera e transmite a informação que indica o tempo de exposição na próxima formação de imagem com base nas peças de informação inseridas. Além do mais, o determinador da quantidade de AG 2012 gera e transmite a informação que indica o ganho analógico na próxima formação de imagem com base em cada uma das peças de informação inseridas.
150 / 193
[00536] Além do mais, o determinador da velocidade de acionamento 2013 gera e transmite a informação da velocidade de acionamento para ajustar a velocidade de acionamento da unidade sensora 10 com base em cada uma das peças de informação inseridas. Os exemplos dos métodos para ajustar a velocidade de acionamento pelo determinador da velocidade de acionamento 2013 incluem um método de mudança da frequência do sinal do relógio da unidade sensora 10. Neste método, o consumo de energia na unidade sensora 10 irá mudar de acordo com a velocidade de acionamento. Além do mais, outros exemplos de método de ajuste da velocidade de acionamento incluem um método de ajuste da velocidade de acionamento usando uma quantidade fixa de consumo de energia da unidade sensora 10. Por exemplo, o determinador da velocidade de acionamento 2013 pode ajustar a velocidade de acionamento pela mudança da profundidade de bit dos dados de pixel lidos a partir da unidade sensora 10. O determinador da velocidade de acionamento 2013 passa a informação da velocidade de acionamento gerada para a unidade de leitura 110. A unidade de leitura 110 inclui a informação da velocidade de acionamento na informação de controle da formação de imagem e passa a mesma para a unidade sensora 10.
[00537] A unidade de instrução do modo de prioridade 2020 transmite a informação de definição do modo de prioridade para definir o modo de prioridade de acordo com uma instrução em resposta à operação do usuário ou uma instrução proveniente de um sistema de nível superior. A informação de definição do modo de prioridade é inserida na unidade de ajuste de recurso
2000. De acordo com a informação de definição do modo de prioridade inserida, a unidade de ajuste de recurso 2000 ajusta a geração da informação da região de leitura pelo determinador da região de leitura 2010, a geração do tempo de exposição pelo determinador do tempo de exposição 2011, a geração do ganho analógico pelo determinador da quantidade de AG 2012 e a geração da informação da velocidade de acionamento pelo determinador da
151 / 193 velocidade de acionamento 2013.
[00538] A unidade de instrução do modo de prioridade 2020 é capaz de instruir vários modos de prioridade. Os exemplos de modos de prioridade concebíveis incluem: o modo de prioridade de precisão que prioriza a precisão do reconhecimento, o modo de economia de energia que prioriza o consumo de energia, o modo de prioridade de prontidão que prioriza a prontidão dos resultados do reconhecimento e o modo de prioridade de região ampla que prioriza um processo de reconhecimento para uma região ampla, um modo de local escuro que prioriza um processo de reconhecimento para a formação de imagem em um ambiente escuro, um modo de prioridade de pequeno objeto que prioriza um processo de reconhecimento para pequenos objetos, e um modo de prioridade de objeto em alta velocidade que prioriza um processo de reconhecimento para objetos em rápido movimento. A unidade de instrução do modo de prioridade 2020 pode instruir um modo de prioridade a partir destes modos de prioridade, ou pode instruir uma pluralidade de modos de prioridade a partir destes modos de prioridade. (Exemplo de operação no modo de prioridade)
[00539] Um exemplo de operação no modo de prioridade será descrito. Como um primeiro exemplo, um exemplo em que a unidade de ajuste de recurso 2000 adota a definição correspondente ao modo de prioridade no qual uma instrução é dada pela unidade de instrução do modo de prioridade 2020 será descrito. Por exemplo, a primeira definição é com base na consideração de que o ambiente de formação de imagem é um ambiente escuro e os dados de pixel capturados contêm um nível pré-determinado de ruído ou maior, com um tempo de exposição de 10 [mseg] e um ganho analógico de 1 vez. Além do mais, uma segunda definição é definida como uma definição que considera um caso em que o veículo equipado com o aparelho de formação de imagem 1 de acordo com a terceira modificação da terceira modalidade se desloca em uma alta velocidade, que é uma velocidade pré-determinada ou maior, isto é,
152 / 193 a definição que considera um caso em que o aparelho de formação de imagem 1 se move em uma velocidade mais alta e a imagem capturada inclui uma grande quantidade de borrão, com o tempo de exposição de 1 [mseg], e o ganho analógico de 10 vezes.
[00540] Neste caso, em um caso em que a unidade de instrução do modo de prioridade 2020 tiver instruído a unidade de ajuste de recurso 2000 a realizar o modo de prioridade de local escuro, a unidade de ajuste de recurso 2000 adota a primeira definição. De acordo com a primeira definição adotada, a unidade de ajuste de recurso 2000 instrui o determinador do tempo de exposição 2011 e o determinador da quantidade de AG 2012 a definir o tempo de exposição = 10 [mseg] e o ganho analógico = 1 vez. O determinador do tempo de exposição 2011 e o determinador da quantidade de AG 2012 passam o tempo de exposição no qual uma instrução é dada e o ganho analógico respectivamente para a unidade de leitura 110. A unidade de leitura 110 define o tempo de exposição e o ganho analógico respectivamente passados a partir do determinador do tempo de exposição 2011 e do determinador da quantidade de AG 2012 para a unidade sensora 10.
[00541] Como um segundo exemplo, um exemplo em que a unidade de ajuste de recurso 2000 determina a definição a ser adotada para o modo de prioridade no qual uma instrução é dada pela unidade de instrução do modo de prioridade 2020 por ponderação será descrito. Como um exemplo, tomando as supradescritas primeira definição e segunda definição como um exemplo, a unidade de ajuste de recurso 2000 aplica a ponderação em cada uma da primeira definição e da segunda definição de acordo com o modo de prioridade no qual uma instrução é dada pela unidade de instrução do modo de prioridade 2020. A unidade de ajuste de recurso 2000 determina a definição usando o modo de prioridade no qual uma instrução é dada de acordo com a primeira definição e a segunda definição em que a ponderação foi aplicada. Por exemplo, o alvo da definição (tempo de exposição, ganho
153 / 193 analógico ou similares) e o valor da ponderação correspondente ao alvo podem ser definidos e armazenados em antecipação para cada um dos modos de prioridade nos quais uma instrução pode ser dada pela unidade de instrução do modo de prioridade 2020.
[00542] Como um terceiro exemplo, a seguinte descrição é um exemplo em que a unidade de ajuste de recurso 2000 aplica a ponderação na frequência da definição a ser adotada para o modo de prioridade no qual uma instrução é dada pela unidade de instrução do modo de prioridade 2020 e determina a definição para o modo de prioridade. Como um exemplo, é concebível ter uma terceira definição de realização de leitura uniforme que lê a íntegra do quadro substancialmente uniformemente, e uma quarta definição de realização de leitura periférica que realiza a leitura intensa na parte periférica do quadro. Aqui, a terceira definição é definida como uma definição de leitura normal. Além do mais, a quarta definição é definida como uma definição de leitura em um caso em que um objeto que tem uma confiabilidade inferior a um valor pré-determinado é reconhecido.
[00543] Neste caso, por exemplo, quando a unidade de instrução do modo de prioridade 2020 instruir a unidade de ajuste de recurso 2000 a usar o modo de prioridade de região ampla, a unidade de ajuste de recurso 2000 pode definir a frequência da leitura e de um processo de reconhecimento com a terceiro definição para ser superior à frequência da leitura e de um processo de reconhecimento com a quarta definição. Como um exemplo específico, a unidade de ajuste de recurso 2000 realiza a designação em série de tempo das quadro unidades, por exemplo, “terceira definição”, “terceira definição”, “quarta definição”, “terceira definição”, “terceira definição”, “quarta definição”, e assim por diante, para aumentar a frequência de operação com a terceira definição em superior à frequência de operação com a quarta definição.
[00544] Como um outro exemplo, quando a unidade de instrução do
154 / 193 modo de prioridade 2020 instruir a unidade de ajuste de recurso 2000 a usar o modo de prioridade de precisão, a unidade de ajuste de recurso 2000 pode definir a frequência da leitura e de um processo de reconhecimento com a quarta definição para ser superior à frequência da leitura e de um processo de reconhecimento com a terceira definição. Como um exemplo específico, a unidade de ajuste de recurso 2000 realiza a designação em série de tempo de quadro unidades, por exemplo, “quarta definição”, “quarta definição”, “terceira definição”, “quarta definição”, “quarta definição”, “terceira definição”, e assim por diante, para aumentar a frequência de operação com a quarta definição para superior à frequência de operação com a terceira definição.
[00545] Pela determinação da operação no modo de prioridade desta maneira, é possível executar os apropriados processos de leitura e reconhecimento de quadro em várias situações. (Exemplo do ajuste da velocidade de acionamento)
[00546] O determinador da velocidade de acionamento 2013 pode ajustar a velocidade de acionamento em relação ao acionamento da unidade sensora 10 com base em cada uma das peças de informação passadas para o determinador de leitura 123d. Por exemplo, o determinador da velocidade de acionamento 2013 pode aumentar a velocidade de acionamento a fim de melhorar a precisão e a responsividade do processo de reconhecimento, por exemplo, quando a informação de veículo indicar uma emergência. O determinador da velocidade de acionamento 2013 pode aumentar a velocidade de acionamento quando a confiabilidade do processo de reconhecimento estiver em um nível pré-determinado ou menor com base na informação de reconhecimento e o quadro precisar ser lido novamente. Além do mais, quando for determinado que o veículo está virando com base na informação de veículo e uma região não observada aparecer no quadro com base na informação de reconhecimento, o determinador da velocidade de acionamento
155 / 193 2013 pode aumentar a velocidade de acionamento até que a leitura da região não observada esteja completa. Além do mais, o determinador da velocidade de acionamento 2013 pode aumentar a velocidade de acionamento quando a posição atual for uma área que exige o deslocamento cuidadoso pelo veículo com base na informação de mapa que pode refletir sequencialmente a posição atual, por exemplo.
[00547] Por outro lado, quando uma instrução no modo de economia de energia for dada pela unidade de instrução do modo de prioridade 2020, é possível suprimir um aumento da velocidade de acionamento, exceto no caso em que a supradescrita informação de veículo indicar uma emergência. Similarmente, quando a instrução no modo de economia de energia for dada, o determinador da região de leitura 2010 pode determinar a região na qual é previsto que um objeto seja reconhecido no quadro como uma região de leitura, e o determinador da velocidade de acionamento 2013 pode diminuir a velocidade de acionamento. [7. Quarta modalidade]
[00548] A seguir, uma quarta modalidade da presente descrição será descrita. Nas primeira até terceira modalidades supradescritas e suas modificações, várias formas do processo de reconhecimento de acordo com a presente descrição foram descritas. Aqui, por exemplo, uma imagem processada para o processo de reconhecimento de imagem usando o aprendizado de máquina é frequentemente não adequada para o reconhecimento visual humano. A quarta modalidade habilita uma saída de uma imagem que tem uma qualidade tolerável para o reconhecimento visual humano durante a realização de processos de reconhecimento na imagem para a qual a leitura de quadro foi realizada.
[00549] A figura 69 é um diagrama de blocos funcional de um exemplo que ilustra as funções de um aparelho de formação de imagem de acordo com a quarta modalidade. O aparelho de formação de imagem ilustrado na figura
156 / 193 69 difere do aparelho de formação de imagem ilustrado na figura 21 exposta em que a unidade de execução do processo de reconhecimento 124 supre a informação de reconhecimento para um determinador de leitura 142a na unidade de processamento de reconhecimento visual 14.
[00550] A figura 70 é um diagrama esquemático que ilustra esquematicamente o processamento de imagem de acordo com a quarta modalidade. Aqui, considera-se que o quadro é lido sequencialmente na direção horizontal e, então, na direção vertical do quadro com a área Ar nº z de um tamanho pré-determinado como a unidade de leitura descrita em relação à figura 33. A Seção (a) da figura 70 ilustra esquematicamente como os dados de pixel de cada uma das áreas Ar nº 10, Ar nº 11, ... Ar nº 15 são lidos sequencialmente pela unidade de leitura 110. A unidade de processamento de reconhecimento 12 de acordo com a presente descrição pode executar o processo de reconhecimento com base nos dados de pixel de cada uma das áreas Ar nº 10, Ar nº 11, ... Ar nº 15 lidos nesta ordem.
[00551] Na unidade de processamento de reconhecimento visual 14, por exemplo, da forma ilustrada na Seção (b) da figura 70, a imagem de quadro é atualizada sequencialmente pelos dados de pixel de cada uma das áreas Ar nº 10, Ar nº 11, ... Ar nº 15 lidos nesta ordem, por exemplo. Isto torna possível gerar uma imagem adequada para o reconhecimento visual.
[00552] Mais especificamente, a unidade de processamento de reconhecimento visual 14 armazena os dados de pixel de cada uma das áreas Ar nº 10, Ar nº 11, ... Ar nº 15 lidos na ordem pela unidade de leitura 110 na unidade de armazenamento dos dados de imagem 141 do controlador de armazenamento dos dados de imagem 140. Neste momento, o controlador de armazenamento dos dados de imagem 140 realiza o armazenamento na unidade de armazenamento dos dados de imagem 141 ao mesmo tempo em que mantém o relacionamento posicional no quadro em relação aos dados de pixel de cada uma das áreas Ar nº 10, Ar nº 11, ... Ar nº 15 lidos a partir do
157 / 193 mesmo quadro. Isto é, o controlador de armazenamento dos dados de imagem 140 armazena cada uma das peças de dados de pixel na unidade de armazenamento dos dados de imagem 141 como os dados de imagem em um estado em que os dados de pixel são mapeados para cada uma das posições no quadro.
[00553] Em resposta a uma solicitação proveniente da unidade de processamento de imagem 143, por exemplo, o controlador de armazenamento dos dados de imagem 140 lê cada uma das peças de dados de pixel para cada uma das áreas Ar nº 10, Ar nº 11, ... Ar nº 15 do mesmo quadro armazenadas na unidade de armazenamento dos dados de imagem 141 a partir da unidade de armazenamento dos dados de imagem 141 como os dados de imagem do quadro.
[00554] Aqui, na presente descrição, na unidade de processamento de reconhecimento 12, por exemplo, quando um resultado do reconhecimento desejado for obtido no meio da leitura de um quadro, a leitura do quadro pode ser terminada neste ponto (consulte a segunda modalidade, figuras 26, 27 ou similares). Além do mais, na unidade de processamento de reconhecimento 12, quando um resultado do reconhecimento pré-determinado for obtido no meio da leitura de um quadro, a posição da leitura de quadro pode ser pulada para uma posição onde é previsto que um resultado do reconhecimento desejado seja obtido com base no resultado do reconhecimento (consulte a décima modificação da segunda modalidade, figuras 55, 56 ou similares). Nestes casos, a leitura de quadro termina com o término do processo de reconhecimento e, assim, há uma possibilidade de que uma parte ausente da imagem ocorra na imagem de quadro.
[00555] Portanto, na quarta modalidade, em um caso em que houver uma região não processada que não foi lida no quadro no ponto em que o processo de reconhecimento pela unidade de processamento de reconhecimento 12 é terminado, a unidade de processamento de
158 / 193 reconhecimento visual 14 irá realizar a leitura da região não processada depois do término do processo de reconhecimento para preencher a parte ausente da imagem de quadro.
[00556] A figura 71 é um diagrama que ilustra um exemplo de um processo de leitura de acordo com a quarta modalidade. O processo de leitura de acordo com a quarta modalidade será descrito em relação ao exemplo da figura 55 supradescrita. A Etapa S20 da figura 71 corresponde ao processo da Etapa S4c da figura 55. Isto é, em relação à figura 55, na Etapa S1, o aparelho de formação de imagem 1 inicia a formação de imagem de uma imagem alvo como um alvo de reconhecimento (número “8” escrito a mão). Na Etapa S2, o controlador do sensor 11 lê um quadro sequencialmente na ordem das linhas do lado da extremidade superior até o lado da extremidade inferior de acordo com a informação da região de leitura passada a partir da unidade de processamento de reconhecimento 12. Quando a linha for lida até uma certa posição, a unidade de processamento de reconhecimento 12 identifica os números “8” ou “9” a partir da imagem das linhas lidas (Etapa S3).
[00557] Note que os dados de pixel lidos pela unidade de leitura 110 na Etapa S2 são passados para a unidade de processamento de reconhecimento 12 e, também, para a unidade de processamento de reconhecimento visual 14. Na unidade de processamento de reconhecimento visual 14, o controlador de armazenamento dos dados de imagem 140 armazena sequencialmente os dados de pixel passados a partir da unidade de leitura 110 na unidade de armazenamento dos dados de imagem 141.
[00558] Com base no resultado do processo de reconhecimento até a Etapa S3, um determinador de leitura 123f da unidade de processamento de reconhecimento 12 gera a informação da região de leitura que designa uma linha de previsão a partir da qual é previsível que o objeto identificado na Etapa S3 seja qual dos números “8” ou “9”, e passa a informação gerada para a unidade de leitura 110. A unidade de leitura 110 passa a linha de previsão
159 / 193 lida de acordo com a informação da região de leitura para a unidade de processamento de reconhecimento 12 e também para a unidade de processamento de reconhecimento visual 14. Na unidade de processamento de reconhecimento visual 14, o controlador de armazenamento dos dados de imagem 140 armazena os dados de pixel da linha de previsão passados a partir da unidade de leitura 110 na unidade de armazenamento dos dados de imagem 141.
[00559] A unidade de processamento de reconhecimento 12 executa o processo de reconhecimento com base nos dados de pixel da linha de previsão passados a partir da unidade de leitura 110 (Etapa S20). Quando o objeto for identificado na Etapa S20, a unidade de processamento de reconhecimento 12 transmite o resultado do reconhecimento (Etapa S21).
[00560] Quando o resultado do reconhecimento tiver sido transmitido na Etapa S21, a unidade de execução do processo de reconhecimento 124 na unidade de processamento de reconhecimento 12 passa a informação de reconhecimento que indica o término do processo de reconhecimento para a unidade de processamento de reconhecimento visual 14. A unidade de processamento de reconhecimento visual 14 lê uma região não processada no ponto da Etapa S20 de acordo com a informação de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124 (Etapa S22).
[00561] Mais especificamente, a informação de reconhecimento que indica o término do processo de reconhecimento, que é passada para a unidade de processamento de reconhecimento visual 14, será passada para o determinador de leitura 142a. O determinador de leitura 142a define uma região de leitura para a leitura da região não processada de acordo com a informação de reconhecimento passada. O determinador de leitura 142a passa a informação da região de leitura que indica a região de leitura definida para a unidade de leitura 110. A unidade de leitura 110 lê a região não processada no
160 / 193 quadro de acordo com a informação da região de leitura passada, e passa os dados de pixel lidos para a unidade de processamento de reconhecimento visual 14. Na unidade de processamento de reconhecimento visual 14, o controlador de armazenamento dos dados de imagem 140 armazena os dados de pixel da região não processada passados a partir da unidade de leitura 110 na unidade de armazenamento dos dados de imagem 141.
[00562] A leitura da íntegra do quadro fica completa com a conclusão da leitura da região não processada do quadro pela unidade de leitura 110. A unidade de armazenamento dos dados de imagem 141 armazena os dados de pixel lidos para o processo de reconhecimento e os dados de pixel lidos a partir de uma região não processada depois da conclusão do processo de reconhecimento. Portanto, por exemplo, o controlador de armazenamento dos dados de imagem 140 pode transmitir os dados de imagem da íntegra da imagem de quadro pela leitura dos dados de pixel do mesmo quadro a partir da unidade de armazenamento dos dados de imagem 141 (Etapa S23).
[00563] Note que a execução da série de processos das Etapas S1 até S23 descritas em relação à figura 71 em um período de quadro será preferível em virtude de isto habilitar que a unidade de processamento de reconhecimento visual 14 transmita uma imagem em movimento substancialmente em tempo real com o sincronismo de formação de imagem.
[00564] A leitura para o processo de reconhecimento até Etapa S20 e a leitura para o processamento do reconhecimento visual na Etapa S22 são realizados em uma ordem diferente da leitura realizada sequencialmente na ordem das linhas do quadro. Portanto, por exemplo, quando o método de formação de imagem da unidade sensora 10 for o método do obturador de rolamento, o desvio (referido como um desvio temporal) ocorre devido à inconsistência entre a ordem de leitura e o tempo em cada um dos grupos de linhas em que a ordem de leitura é dividida. Este desvio temporal pode ser corrigido pelo processamento de imagem com base nos números de linha de
161 / 193 cada um dos grupos de linhas e no período de quadro, por exemplo.
[00565] Além do mais, quando o aparelho de formação de imagem 1 estiver se movendo em relação ao objeto, este desvio temporal torna-se mais notável. Neste caso, por exemplo, pela provisão ao aparelho de formação de imagem 1 de um giroscópio capaz de detectar a velocidade angular em três direções, é possível obter o método do movimento e a velocidade do aparelho de formação de imagem 1 com base na saída de detecção do giroscópio, o que habilita a correção do desvio temporal pelo uso da direção e da velocidade do movimento obtidas.
[00566] A figura 72 é um fluxograma de um exemplo que ilustra o processo de acordo com a quarta modalidade. No fluxograma da figura 72, os processos das Etapas S200 até S206 são equivalentes aos processos das Etapas S100 até S1080 no fluxograma da figura 54 supradescrita.
[00567] Isto é, na Etapa S200, a unidade de leitura 110 realiza a leitura dos dados de linha a partir da linha indicada pela linha de leitura do quadro alvo. A unidade de leitura 110 passa os dados de linha com base em cada uma das peças de dados de pixel da linha que foi lida para a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14.
[00568] Quando o processamento da Etapa S200 estiver completo, o processo prossegue para a Etapa S201 e a Etapa S211. Os processos das Etapas S201 até S208 são os processos na unidade de processamento de reconhecimento 12. Ao contrário, os processos das Etapas S211 até S214 são os processos na unidade de processamento de reconhecimento visual 14. O processo na unidade de processamento de reconhecimento 12 e o processo na unidade de processamento de reconhecimento visual 14 podem ser executados em paralelo.
[00569] Primeiro, o processo pela unidade de processamento de reconhecimento 12 a partir da Etapa S201 será descrito. Na Etapa S201, a
162 / 193 unidade de processamento de reconhecimento 12 determina se o processo de reconhecimento para o quadro alvo foi concluído. Quando a determinação for a conclusão do processo (Etapa S201, “Sim”), a unidade de processamento de reconhecimento 12 não irá executar os processos na Etapa S202 ou Etapas subsequentes. Ao contrário, quando a determinação for não conclusão (Etapa S201, “Não”), a unidade de processamento de reconhecimento 12 prossegue para o processo da Etapa S202.
[00570] Os processos das Etapas S202 até S208 são equivalentes aos processos das Etapas S101 até S1080 da figura 54. Isto é, na Etapa S202, a unidade de cálculo dos dados de característica 120 na unidade de processamento de reconhecimento 12 calcula os dados de característica da linha com base nos dados de linha passados a partir da unidade de leitura 110. Na próxima Etapa S203, a unidade de cálculo dos dados de característica 120 adquire os dados de característica armazenados na unidade de armazenamento dos dados de característica 122 a partir do controlador de armazenamento dos dados de característica 121. Na próxima Etapa S204, a unidade de cálculo dos dados de característica 120 integra os dados de característica calculados na Etapa S202 e os dados de característica adquiridos a partir do controlador de armazenamento dos dados de característica 121 na Etapa S203, e passa os dados integrados para o controlador de armazenamento dos dados de característica 121.
[00571] Na próxima Etapa S205, o controlador de armazenamento dos dados de característica 121 armazena os dados de característica integrados na unidade de armazenamento dos dados de característica 122. Na próxima Etapa S206, a unidade de execução do processo de reconhecimento 124 executa o processo de reconhecimento usando os dados de característica integrados. Na próxima Etapa S207, a unidade de execução do processo de reconhecimento 124 transmite o resultado do reconhecimento do processo de reconhecimento da Etapa S206. Aqui, a unidade de execução do processo de
163 / 193 reconhecimento 124 passa a informação de reconhecimento que inclui o resultado do reconhecimento para o determinador de leitura 142a da unidade de processamento de reconhecimento visual 14.
[00572] Na próxima Etapa S208, o determinador da região de leitura 1230 no determinador de leitura 123f determina a linha de leitura na qual a próxima leitura deve ser realizada, pelo uso da informação de leitura passada a partir do controlador de armazenamento dos dados de característica 121 e dos dados de característica obtidos pela integração dos dados de característica calculados na Etapa S202 com os dados de característica adquiridos a partir do controlador de armazenamento dos dados de característica 121 na Etapa S203. O determinador de leitura 123f passa a informação que indica a linha de leitura determinada (informação da região de leitura) para o controlador de leitura 111 do controlador do sensor 11. Depois que o processo da Etapa S208 estiver completo, o processo prossegue para a Etapa S220.
[00573] A seguir, os processos realizados pela unidade de processamento de reconhecimento visual 14 a partir da Etapa S211 serão descritos. Na Etapa S211, o controlador de armazenamento dos dados de imagem 140 na unidade de processamento de reconhecimento visual 14 armazena os dados de linha passados a partir da unidade de leitura 110 na unidade de armazenamento dos dados de imagem 141. Na próxima Etapa S212, a unidade de processamento de imagem 143 na unidade de processamento de reconhecimento visual 14 realiza o processamento de imagem para o reconhecimento visual nos dados de imagem formados com os dados de linha armazenados na unidade de armazenamento dos dados de imagem 141, por exemplo. Na próxima Etapa S213, a unidade de processamento de imagem 143 transmite os dados de imagem que passaram pelo processamento de imagem para o reconhecimento visual.
[00574] Não limitado a isto, a unidade de processamento de imagem 143 pode armazenar os dados de imagem sujeitos ao processamento de
164 / 193 imagem para o reconhecimento visual na unidade de armazenamento dos dados de imagem 141 novamente na Etapa S213. Além do mais, em um caso em que os dados de imagem da íntegra do quadro alvo forem armazenados na unidade de armazenamento dos dados de imagem 141, a unidade de processamento de imagem 143 pode realizar o processamento de imagem da Etapa S212 nos dados de imagem.
[00575] Na próxima Etapa S214, o determinador de leitura 142a na unidade de processamento de reconhecimento visual 14 determina a linha de leitura a ser lida a seguir com base na informação de linha que indica os dados de linha lidos na Etapa S200 e na informação de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124 na Etapa S207. O determinador de leitura 142a passa a informação (informação da região de leitura) que indica a linha de leitura determinada para o controlador de leitura 111. Quando o processamento da Etapa S214 estiver completo, o processo prossegue para a Etapa S220.
[00576] Na Etapa S220, o controlador de leitura 111 passa a informação da região de leitura que indica qualquer uma das linhas de leitura dentre a linha de leitura passada a partir da unidade de processamento de reconhecimento 12 na Etapa S208 ou a linha de leitura passada a partir da unidade de processamento de reconhecimento visual 14 na Etapa S214 para a unidade de leitura 110. Aqui, em um caso em que o processo de reconhecimento tiver sido realizado na unidade de processamento de reconhecimento 12 (Etapa S201, “Não”), há uma correspondência entre a linha de leitura passada a partir da unidade de processamento de reconhecimento 12 na Etapa S208 e a linha de leitura passada a partir da unidade de processamento de reconhecimento visual 14 na Etapa S214. Portanto, o controlador de leitura 111 pode passar a informação da região de leitura que indica ou a linha de leitura passada a partir da unidade de processamento de reconhecimento 12 ou a linha de leitura passada a partir da
165 / 193 unidade de processamento de reconhecimento visual 14 para a unidade de leitura 110. Ao contrário, em um caso em que o processo de reconhecimento não tiver sido realizado na unidade de processamento de reconhecimento 12 (Etapa S201, “Sim”), o controlador de leitura 111 passa a informação da região de leitura passada a partir da unidade de processamento de reconhecimento visual 14 para a unidade de leitura 110.
[00577] Desta maneira, na quarta modalidade, a região não processada do quadro é lida depois que o processo de reconhecimento estiver completo. Portanto, mesmo em um caso em que o processo de reconhecimento for terminado no meio ou onde a posição de leitura pulou no processo de reconhecimento, é possível adquirir uma imagem da íntegra do quadro.
[00578] Embora a descrição exposta seja um exemplo em que a unidade de processamento de reconhecimento visual 14 atualiza sequencialmente a imagem do quadro pelos dados de pixel lidos pela leitura de quadro, a presente descrição não é limitada a este exemplo. Por exemplo, a unidade de processamento de reconhecimento visual 14 pode armazenar os dados de pixel lidos pela leitura de quadro na unidade de armazenamento dos dados de imagem 141, por exemplo, e quando a quantidade de dados de pixel armazenados do mesmo quadro exceder um limite, os dados de pixel do mesmo quadro podem ser coletivamente lidos a partir da unidade de armazenamento dos dados de imagem 141. Além do mais, em um caso em que a leitura de quadro for realizada por redução de linha, por exemplo, a parte reduzida pode ser interpolada pelos dados de pixel nas cercanias. (Exemplo de gatilho para a transmissão dos dados de imagem)
[00579] Em um caso em que a transmissão dos dados de imagem for realizada em unidades de quadro, a unidade de processamento de reconhecimento visual 14 transmite os dados de imagem depois que os dados de imagem correspondentes a um quadro tiverem sido armazenados na unidade de armazenamento dos dados de imagem 141. Ao contrário, em um
166 / 193 caso em que a transmissão dos dados de imagem não tiver sido realizada em unidades de quadro, a unidade de processamento de reconhecimento visual 14 pode transmitir sequencialmente os dados de linha passados a partir da unidade de leitura 110, por exemplo. (Controle de armazenamento dos dados de imagem)
[00580] A seguir, um exemplo de controle em relação à unidade de armazenamento dos dados de imagem 141, que pode ser aplicado na quarta modalidade, será descrito. Como um primeiro exemplo de controle em relação à unidade de armazenamento dos dados de imagem 141, em um caso em que os dados de imagem armazenados na unidade de armazenamento dos dados de imagem 141 forem insuficientes, o controlador de armazenamento dos dados de imagem 140 armazena os dados de linha passados a partir da unidade de leitura 110 na unidade de armazenamento dos dados de imagem
141.
[00581] Como um exemplo, em um caso em que os dados de imagem correspondentes à unidade do processamento de imagem realizado pela unidade de processamento de imagem 143 não forem armazenados na unidade de armazenamento dos dados de imagem 141, os dados de linha passados a partir da unidade de leitura 110 são armazenados na unidade de armazenamento dos dados de imagem 141. Como um específico mais exemplo, é concebível que, quando a unidade de processamento de imagem 143 realizar o processamento de imagem em uma base quadro a quadro e quando os dados de imagem do quadro alvo armazenados na unidade de armazenamento dos dados de imagem 141 forem menos do que um quadro, os dados de pixel passados a partir da unidade de leitura 110 são armazenados na unidade de armazenamento dos dados de imagem 141.
[00582] Como um segundo exemplo de controle em relação à unidade de armazenamento dos dados de imagem 141, os dados de imagem armazenados na unidade de armazenamento dos dados de imagem 141 são
167 / 193 descartados quando houver uma mudança em uma cena no alvo da formação de imagem. A mudança na cena no alvo da formação de imagem ocorre, por exemplo, devido a uma repentina mudança no brilho, no movimento, na configuração da tela ou similares no alvo da formação de imagem. Em um caso em que o aparelho de formação de imagem 1 for usado como um aparelho no veículo, pode haver uma mudança na cena quando o veículo entrar em um túnel ou similares, ou sair do túnel, para causar uma repentina mudança no brilho do alvo da formação de imagem. Além do mais, em um caso de ocorrência de aceleração repentina do veículo, de parada no veículo, ou em um caso em que o veículo fizer uma virada brusca, o movimento do alvo da formação de imagem muda repentinamente, levando a uma mudança na cena. Além do mais, quando o veículo sair repentinamente de um local lotado para um local aberto, a configuração da tela do alvo da formação de imagem muda repentinamente, levando a uma mudança na cena. Estas mudanças na cena no alvo da formação de imagem podem ser determinadas com base nos dados de pixel passados a partir da unidade de leitura 110. Não limitado a isto, também é possível determinar uma mudança na cena no alvo da formação de imagem com base na informação de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124 para a unidade de processamento de reconhecimento visual 14.
[00583] Como um terceiro exemplo de controle da unidade de armazenamento dos dados de imagem 141, os dados de linha passados a partir da unidade de leitura 110 não serão armazenados na unidade de armazenamento dos dados de imagem 141. O terceiro exemplo de controle em relação à unidade de armazenamento dos dados de imagem 141 de acordo com a quarta modalidade será descrito em relação à figura 73. Na figura 73, a Etapa S30 ilustra um estado em que todos os dados de pixel incluídos em um quadro 510 foram lidos no quadro 510, incluindo uma região 511 em que uma pessoa foi reconhecida.
168 / 193
[00584] Na próxima Etapa S31, a unidade de processamento de reconhecimento 12 lê o quadro pela unidade de leitura 110 depois da passagem de um certo período de tempo desde a Etapa S30, e determina se há uma mudança no resultado do reconhecimento na região 511 reconhecida na Etapa S30. Neste exemplo, a unidade de processamento de reconhecimento 12 faz uma determinação pela execução de um processo de reconhecimento em uma parte da região 511 (linha L nº tgt neste exemplo) em que uma pessoa foi reconhecida. Por exemplo, a unidade de processamento de reconhecimento 12 pode determinar que não há mudança no resultado do reconhecimento quando a quantidade de mudança do escore de reconhecimento da parte na qual o processo de reconhecimento foi executado na Etapa S31 em relação ao estado da Etapa S30 for um limite ou menor. Em um caso em que a unidade de processamento de reconhecimento 12 tiver determinado que não há mudança no resultado do reconhecimento, a unidade de processamento de reconhecimento 12 não irá armazenar os dados de linha lidos na Etapa S31 na unidade de armazenamento dos dados de imagem 141.
[00585] Por exemplo, quando apenas a oscilação do cabelo humano incluído na região 511 for reconhecida e não houver mudança posicional na pessoa, o escore de reconhecimento pode ser inferior ao limite, e o resultado do reconhecimento pode ser nenhuma mudança. Neste caso, a consistência dos dados de imagem pode ser mantida a partir do ponto de vista da visibilidade sem armazenamento dos dados de pixel lidos na Etapa S31. Desta maneira, pela supressão do armazenamento dos dados de pixel lidos quando não houver mudança no resultado do reconhecimento mesmo com uma mudança na imagem, é possível poupar a capacidade da unidade de armazenamento dos dados de imagem 141. [7-1. Primeira modificação da quarta modalidade]
[00586] A seguir, uma primeira modificação da quarta modalidade será descrita. A primeira modificação da quarta modalidade é um exemplo de
169 / 193 mascaramento de uma região em que um objeto específico é reconhecido ou é previsto que seja reconhecido no momento da transmissão de uma imagem obtida pela leitura de um quadro.
[00587] A primeira modificação da quarta modalidade será descrita em relação à figura 74. Na figura 74, em um ponto em que a unidade de processamento de reconhecimento 12 tiver lidos os dados de linha da extremidade superior de um quadro 520 até a posição de linha L nº m na Etapa S41, a unidade de processamento de reconhecimento 12 reconheceu uma parte do objeto específico (pessoa, neste exemplo) em uma região 521a. A unidade de processamento de reconhecimento visual 14 transmite uma imagem com base nos dados de linha até a linha L nº m. Alternativamente, a unidade de processamento de reconhecimento visual 14 armazena os dados de linha até a linha L nº m na unidade de armazenamento dos dados de imagem
141.
[00588] Aqui, em um ponto em que a unidade de processamento de reconhecimento 12 reconheceu uma parte do objeto específico, a íntegra da unidade de processamento de reconhecimento 12 pode prever a íntegra do objeto específico (ilustrado como uma região 521b na Etapa S42). A unidade de processamento de reconhecimento 12 passa a informação de reconhecimento que inclui a informação em relação à região 521b em que um objeto específico é reconhecido e previsto para a unidade de processamento de reconhecimento visual 14. Além do mais, a unidade de processamento de reconhecimento 12 termina o processo de reconhecimento na posição da linha L nº m em que o objeto específico é reconhecido.
[00589] A unidade de processamento de reconhecimento visual 14 continua a ler os dados de linha a partir do quadro 520 mesmo depois da linha L nº m, transmite uma imagem com base nos dados de linha lidos ou armazena os dados de linha lidos na unidade de armazenamento dos dados de imagem 141. Neste momento, a unidade de processamento de reconhecimento
170 / 193 visual 14 mascara a parte lida depois da linha L nº m na região 521b prevista para incluir um objeto específico (Etapa S42). Por exemplo, na unidade de processamento de reconhecimento visual 14, a unidade de processamento de imagem 143 transmite a imagem com a máscara aplicada em uma parte desta região 521b. Não limitado a isto, a unidade de processamento de imagem 143 pode armazenar uma imagem de quadro com uma máscara aplicada em uma parte da região 521b na unidade de armazenamento dos dados de imagem
141. Alternativamente, a unidade de processamento de reconhecimento visual 14 pode suprimir a leitura dos dados de pixel depois da linha L nº m na região 521b.
[00590] Além do mais, a unidade de processamento de reconhecimento visual 14 pode mascarar toda a região 521b prevista para incluir um objeto específico, da forma ilustrada na Etapa S43. Neste caso, o alvo a ser mascarado são os dados de pixel a serem transmitidos pela unidade de processamento de reconhecimento visual 14, e os dados de pixel usados pela unidade de processamento de reconhecimento 12 para o processo de reconhecimento não devem ser mascarados, por exemplo.
[00591] O exposto é um exemplo em que a região 521b em que o objeto específico é reconhecido é mascarada e as imagens das outras partes são transmitidas, por exemplo, no quadro 520. A presente descrição não é limitada a este exemplo, e é permissível ter um método em que as partes diferentes da região 521b são mascaradas ao mesmo tempo em que as imagens na região 521b são transmitidas, por exemplo.
[00592] Pelo mascaramento da região 521b em que um objeto específico é reconhecido na imagem para o reconhecimento visual desta maneira, é possível proteger a privacidade. Por exemplo, em um caso em que o aparelho de formação de imagem 1 de acordo com a primeira modificação da quarta modalidade for aplicado em uma câmera de vigilância de estrada, um gravador de direção, um dispositivo em drone ou similares, é possível
171 / 193 apagar somente a informação pessoal a partir dos dados de imagem capturados (por exemplo, os mesmos dados de imagem) para fazer a imagem em um formato que é fácil de tratar. Os exemplos dos objetos específicos a serem mascarados em tais aplicações incluem pessoas, faces, veículos, números de veículo ou similares. [7-2. Segunda modificação da quarta modalidade]
[00593] A seguir, uma segunda modificação da quarta modalidade será descrita. A segunda modificação da quarta modalidade é um exemplo para um caso em que uma exibição é integrada usando tanto uma saída de um sensor que realiza a detecção de objeto ou similares por um outro método quanto uma imagem transmitida pelo aparelho de formação de imagem 1, e em que uma região adequada para a exibição no quadro é lida com prioridade mais alta.
[00594] A segunda modificação da quarta modalidade será descrita em relação à figura 75. Aqui, um sensor tipo LiDAR (a seguir referido como um sensor LiDAR) é aplicado como um outro tipo de sensor. Não limitado a isto, um radar ou similares podem ser aplicados como o sensor de um outro tipo. Embora não ilustrado, considera-se que o aparelho de formação de imagem 1 de acordo com a segunda modificação da quarta modalidade insere o resultado da detecção do sensor do outro tipo, em vez da informação de reconhecimento proveniente da unidade de execução do processo de reconhecimento 124, no determinador de leitura 142a.
[00595] Na figura 75, a Seção (a) ilustra um exemplo de uma imagem 530 adquirida por um sensor LiDAR. Nesta Seção (a), considera-se que uma região 531 é uma imagem adquirida em um alcance de distância pré- determinado (por exemplo, 10[m] até diversas dezenas de [m]) a partir do sensor LiDAR.
[00596] Na figura 75, a Seção (b) ilustra um exemplo de um quadro 540 que passou por formação de imagem pelo aparelho de formação de
172 / 193 imagem 1 de acordo com a segunda modificação da quarta modalidade. Neste quadro 540, uma região hachurada 541 corresponde à região 531 na Seção (a) e inclui objetos, tal como a existência em uma distância pré-determinada a partir do aparelho de formação de imagem 1. Ao contrário, uma região 542 é uma região na qual uma imagem é tomada além de uma distância pré- determinada a partir do aparelho de formação de imagem 1, e inclui um céu ou uma paisagem distante ou similares.
[00597] Na Seção (a) da figura 75, a região 531 correspondente ao alcance de distância pré-determinado a partir do sensor LiDAR e o aparelho de formação de imagem 1 é considerado uma região em que os objetos são densos e adequados para a exibição. Ao contrário, a parte diferente da região 531 é considerada uma região em que os objetos são esparsos e há pouca necessidade de realizar exibição intensa. Desta maneira, na unidade de processamento de reconhecimento visual 14, o determinador de leitura 142a executa a leitura do quadro 540 sobre a região 541 correspondente à região 531 com prioridade mais alta, dentre as regiões 541 e 542. Por exemplo, o determinador de leitura 142a executa a leitura da região 541 em uma alta resolução sem redução. Ao contrário, o determinador de leitura 142a lê a região 542 em uma baixa resolução com redução, por exemplo, ou não iria realizar a leitura de nenhuma maneira.
[00598] Desta maneira, o aparelho de formação de imagem 1 de acordo com a segunda modificação da quarta modalidade pode definir a resolução da leitura de quadro de acordo com o resultado da detecção obtido pelo sensor de um outro método e, desse modo, pode otimizar a leitura do quadro 540. [7-3. Terceira modificação da quarta modalidade]
[00599] A seguir, uma terceira modificação da quarta modalidade será descrita. A terceira modificação da quarta modalidade é um exemplo em que a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14 leem adaptativamente o quadro.
173 / 193 Em um primeiro exemplo da terceira modificação da quarta modalidade, a leitura da região em que o objeto específico é reconhecido deve ser realizada com prioridade mais alta, e, então, a leitura da região não processada será realizada. Neste momento, a leitura da região não processada é realizada por um método de leitura de baixa resolução, tal como a leitura com redução.
[00600] O primeiro exemplo na terceira modificação da quarta modalidade será descrito em relação à figura 76. Na figura 76, a unidade de processamento de reconhecimento 12 reconheceu um objeto específico (pessoa, neste exemplo) em uma região 541 em um ponto em que a leitura dos dados de linha é realizada da extremidade superior do quadro 540 até a posição da linha L nº m na Etapa S50. A unidade de processamento de reconhecimento visual 14 transmite uma imagem com base nos dados de linha até a linha L nº m. Alternativamente, a unidade de processamento de reconhecimento visual 14 armazena os dados de linha até a linha L nº m na unidade de armazenamento dos dados de imagem 141.
[00601] Na Etapa S50 da figura 76, similarmente à Etapa S40 da figura 74 supradescrita, em um ponto em que a unidade de processamento de reconhecimento 12 reconheceu uma parte de um objeto específico (região até a linha L nº m), a unidade de processamento de reconhecimento 12 previu a íntegra da região 541 do objeto específico.
[00602] Na próxima Etapa S51, a unidade de processamento de reconhecimento 12 realiza a leitura, com prioridade mais alta, da região 541 reconhecida na Etapa S50 na parte abaixo da linha L nº m do quadro 540. A unidade de processamento de reconhecimento 12 pode executar um processo de reconhecimento mais detalhado com base nos dados de pixel lidos a partir da região 541. Tendo reconhecido o objeto específico na região 541, a unidade de processamento de reconhecimento 12 termina o processo de reconhecimento. Além do mais, a unidade de processamento de reconhecimento visual 14 transmite uma imagem com base nos dados de pixel
174 / 193 da região 541. Alternativamente, a unidade de processamento de reconhecimento visual 14 armazena os dados de pixel da região 541 na unidade de armazenamento dos dados de imagem 141.
[00603] Na próxima Etapa S52, a unidade de processamento de reconhecimento visual 14 lê a região depois da linha L nº m do quadro 540. Neste momento, a unidade de processamento de reconhecimento visual 14 pode ler a região depois da linha L nº m em uma resolução mais baixa do que na leitura antes da linha L nº m. No exemplo da figura 76, a unidade de processamento de reconhecimento visual 14 lê as linhas L nº m e as partes subsequentes pelo uso da leitura com redução. A unidade de processamento de reconhecimento visual 14 pode realizar esta leitura nas partes, exceto para a parte da região 541, por exemplo.
[00604] A unidade de processamento de reconhecimento visual 14 transmite uma imagem com base nos dados de linha depois da linha L nº m do quadro 540 lido pela leitura com redução. Neste caso, na unidade de processamento de reconhecimento visual 14, a unidade de processamento de imagem 143 pode transmitir os dados de linha em que as linhas reduzidas são interpoladas pelas outras linhas. Alternativamente, a unidade de processamento de reconhecimento visual 14 armazena os dados de linha depois da linha L nº m na unidade de armazenamento dos dados de imagem
141.
[00605] Desta maneira, no primeiro exemplo da terceira modificação da quarta modalidade, depois que a unidade de processamento de reconhecimento 12 reconheceu um objeto específico, a região não processada é lida pela unidade de processamento de reconhecimento visual 14 em uma baixa resolução. Portanto, é possível realizar um processo de reconhecimento com precisão mais alta em um objeto específico, ao mesmo tempo em que se habilita a transmissão da íntegra de uma imagem de quadro em uma velocidade mais alta.
175 / 193
[00606] A seguir, um segundo exemplo da terceira modificação da quarta modalidade será descrito. Neste segundo exemplo, as condições de leitura são variadas entre o processo de reconhecimento e o processo de reconhecimento visual. Como um exemplo, pelo menos um do tempo de exposição ou do ganho analógico é definido para ter a diferença entre o processo de reconhecimento e o processo visual. Como um exemplo específico, a unidade de processamento de reconhecimento 12 realiza a leitura de quadro pela formação de imagem com o ganho analógico maximizado. Ao contrário, a unidade de processamento de reconhecimento visual 14 realiza a leitura de quadro pela formação de imagem com um tempo de exposição apropriadamente definido.
[00607] Neste momento, a leitura de quadro pela unidade de processamento de reconhecimento 12 e a leitura de quadro pela unidade de processamento de reconhecimento visual 14 podem ser alternadamente executadas para cada um dos quadros. Não limitado a isto, a leitura de quadro pela unidade de processamento de reconhecimento 12 e leitura de quadro pela unidade de processamento de reconhecimento visual 14 podem ser alternadamente executadas para cada unidade de leitura (por exemplo, linha). Isto torna possível executar o processo de reconhecimento e o processo de reconhecimento visual sob condições apropriadas individualmente. [8. Quinta modalidade]
[00608] A seguir, como uma quinta modalidade, os exemplos de aplicação do aparelho de formação de imagem 1 de acordo com a primeira até a quarta modalidades e as modificações individuais de acordo com a presente descrição serão descritos. A figura 77 é um diagrama que ilustra um exemplo de uso do aparelho de formação de imagem 1 de acordo com a primeira até a quarta modalidades e as modificações individuais supradescritas.
[00609] O aparelho de formação de imagem 1 supradescrito é aplicável nas seguintes várias situações em que a percepção é realizada para a luz que
176 / 193 inclui a luz visual, a luz infravermelha, a luz ultravioleta e o raio X.
[00610] - Um dispositivo que captura as imagens usadas para visualização para entretenimento, tais como câmeras digitais e dispositivos móveis com uma função de câmera.
[00611] - Um dispositivo para transporte, tal como um sensor em veículo que forma imagem da frente, da traseira, das cercanias, do interior ou similares, de um veículo a fim de garantir o acionamento seguro, incluindo parada automática ou similares, e para reconhecer os estados do motorista, uma câmera de vigilância para monitorar os veículos em deslocamento e as estradas, e um sensor de telemetria para realizar a medição de uma distância entre veículos ou similares.
[00612] - Um dispositivo para utensílios domésticos, incluindo uma TV, um refrigerador, um condicionador de ar ou similares para formar imagem do gesto do usuário e realizar a operação do aparelho de acordo com o gesto.
[00613] - Um dispositivo usado para o tratamento médico e cuidados com a saúde, tais como endoscópios e dispositivos que realizam angiografia pela recepção de luz infravermelha.
[00614] - Um dispositivo usado para segurança, tais como câmeras de vigilância para prevenção criminal e câmeras para autenticação pessoal.
[00615] - Um dispositivo usado para beleza, tais como um dispositivo de medição da pele que forma imagem da pele e um microscópio que forma imagem do couro cabeludo.
[00616] - Um dispositivo usado para esportes, tais como câmeras de ação e câmeras vestíveis para aplicações esportivas.
[00617] - Um dispositivo usado para agricultura, tais como câmeras para monitorar as condições de campos e plantações. [Exemplo de aplicação adicional da tecnologia de acordo com a presente descrição]
177 / 193
[00618] A tecnologia de acordo com a presente descrição (a presente tecnologia) é aplicável em vários produtos. Por exemplo, a tecnologia de acordo com a presente descrição pode ser aplicada em dispositivos montados em vários objetos em movimento, tais como automóveis, veículos elétricos, veículos elétricos híbridos, motocicletas, bicicletas, mobilidade pessoal, aeroplanos, drones, navios, e robôs.
[00619] A figura 78 é um diagrama de blocos que ilustra um exemplo de configuração esquemática de um sistema de controle de veículo, que é um exemplo de um sistema de controle móvel no qual a técnica de acordo com a presente descrição é aplicável.
[00620] Um sistema de controle de veículo 12000 inclui uma pluralidade de unidades de controle eletrônico conectadas por meio de uma rede de comunicação 12001. No exemplo ilustrado na figura 78, o sistema de controle de veículo 12000 inclui uma unidade de controle do sistema de direção 12010, uma unidade de controle do sistema do corpo 12020, uma unidade de detecção de informação no exterior do veículo 12030, uma unidade de detecção de informação no interior do veículo 12040, e uma unidade de controle integrado 12050. Além do mais, como uma configuração funcional da unidade de controle integrado 12050, um microcomputador 12051, uma unidade de transmissão de áudio e imagem 12052, e uma interface (I/F) de rede no veículo 12053 são ilustrados.
[00621] A unidade de controle do sistema de direção 12010 controla a operação do aparelho relacionado ao sistema de direção do veículo de acordo com vários programas. Por exemplo, a unidade de controle do sistema de direção 12010 funciona como um aparelho de controle de um aparelho de geração de força de acionamento que gera uma força de acionamento de um veículo, tais como um motor de combustão interna ou um motor de acionamento, um mecanismo de transmissão da força de acionamento que transmite uma força de acionamento para as rodas, um mecanismo de direção
178 / 193 que ajusta o ângulo de direção do veículo, um aparelho de frenagem que gera uma força de frenagem do veículo ou similares.
[00622] A unidade de controle do sistema do corpo 12020 controla a operação de vários dispositivos montados no corpo do veículo de acordo com vários programas. Por exemplo, a unidade de controle do sistema do corpo 12020 funciona como um aparelho de controle para um sistema de entrada sem chaves, um sistema de chave inteligente, um dispositivo de vidros elétricos, ou várias lâmpadas, tais como um farol, um farol traseiro, uma luz de freio, uma luz de seta ou um farol de neblina. Neste caso, a unidade de controle do sistema do corpo 12020 pode receber entrada de ondas de rádio transmitidas a partir de um dispositivo portátil que substitui a chave ou os sinais provenientes de vários comutadores. A unidade de controle do sistema do corpo 12020 recebe a entrada destas ondas de rádio ou sinais e controla o dispositivo de trava da porta, o dispositivo de vidros elétricos, a lâmpada ou similares do veículo.
[00623] A unidade de detecção de informação no exterior do veículo 12030 detecta a informação no exterior do veículo equipado com o sistema de controle de veículo 12000. Por exemplo, uma unidade de formação de imagem 12031 é conectada na unidade de detecção de informação no exterior do veículo 12030. A unidade de detecção de informação no exterior do veículo 12030 faz com que a unidade de formação de imagem 12031 capture uma imagem a partir do exterior do veículo e receba a imagem capturada. A unidade de detecção de informação no exterior do veículo 12030 pode realizar um processo de detecção de objeto ou um processo de detecção de distância de pessoas, veículos, obstáculos, sinais ou singularidades na superfície da estrada com base na imagem recebida. A unidade de detecção de informação no exterior do veículo 12030 realiza o processamento de imagem na imagem recebida, por exemplo, e realiza um processo de detecção de objeto e um processo de detecção de distância com base no resultado do processamento de
179 / 193 imagem.
[00624] A unidade de formação de imagem 12031 é um sensor óptico que recebe a luz e transmite um sinal elétrico correspondente à quantidade de luz recebida. A unidade de formação de imagem 12031 pode transmitir o sinal elétrico como uma imagem e também como a informação da medição de distância. A luz recebida pela unidade de formação de imagem 12031 pode ser luz visível ou luz invisível, tal como luz infravermelha.
[00625] A unidade de detecção de informação no interior do veículo 12040 detecta a informação no interior do veículo. A unidade de detecção de informação no interior do veículo 12040 é conectada em um detector do estado do motorista 12041 que detecta o estado do motorista, por exemplo. O detector do estado do motorista 12041 pode incluir uma câmera que forma imagem do motorista, por exemplo. A unidade de detecção de informação no interior do veículo 12040 pode calcular o grau de fadiga ou o grau de concentração do motorista ou pode determinar se o motorista está adormecendo com base na informação de detecção inserida a partir do detector do estado do motorista 12041.
[00626] O microcomputador 12051 pode calcular um valor do alvo de controle do aparelho de geração de força de acionamento, do mecanismo de direção ou do aparelho de frenagem com base em informação externa/interna do veículo obtida pela unidade de detecção de informação no exterior do veículo 12030 ou pela unidade de detecção de informação no interior do veículo 12040, e pode transmitir um comando de controle para a unidade de controle do sistema de direção 12010. Por exemplo, o microcomputador 12051 pode realizar o controle cooperativo com o propósito de alcançar uma função de um sistema de assistência avançada do motorista (ADAS) que inclui evitação de colisão ou mitigação de impacto de veículos, execução de acompanhamento com base em uma distância interveículos, controle de cruzeiro, aviso de colisão de veículo, aviso de afastamento da via pelo veículo
180 / 193 ou similares.
[00627] Além do mais, é permissível de maneira tal que o microcomputador 12051 controle o aparelho de geração de força de acionamento, o mecanismo de direção, o aparelho de frenagem ou similares, com base na informação em relação às cercanias do veículo obtida pela unidade de detecção de informação no exterior do veículo 12030 ou pela unidade de detecção de informação no interior do veículo 12040, desse modo, realizando o controle cooperativo com o propósito de acionamento autônomo ou similares, em que o veículo realiza deslocamento autônomo sem depender da operação do motorista.
[00628] Além do mais, o microcomputador 12051 pode transmitir um comando de controle para a unidade de controle do sistema do corpo 12020 com base na informação do exterior do veículo adquirida pela unidade de detecção de informação no exterior do veículo 12030. Por exemplo, o microcomputador 12051 pode controlar o farol de acordo com a posição do veículo precedente ou do veículo em sentido contrário percebida pela unidade de detecção de informação no exterior do veículo 12030 e, desse modo, pode realizar o controle cooperativo que visa ao efeito antiofuscante, tal como a comutação do farol alto para o farol baixo.
[00629] A unidade de transmissão de áudio e imagem 12052 transmite um sinal de saída na forma de pelo menos um de áudio ou de imagem para um aparelho de saída capaz de notificar de forma visual ou audível o ocupante do veículo ou o exterior do veículo da informação. No exemplo da figura 78, um alto-falante de áudio 12061, uma unidade de exibição 12062 e um painel de instrumento 12063 são ilustrados como os aparelhos de saída exemplares. A unidade de exibição 12062 pode incluir pelo menos um de um visor a bordo ou um visor de cabeça, por exemplo.
[00630] A figura 79 é uma vista que ilustra um exemplo de uma posição de instalação da unidade de formação de imagem 12031. Na figura
181 / 193 79, um veículo 12100 tem as unidades de formação de imagem 12101, 12102, 12103, 12104, e 12105 como as unidades de formação de imagem 12031.
[00631] Por exemplo, as unidades de formação de imagem 12101, 12102, 12103, 12104, e 12105 são instaladas em posições em um veículo 12100, incluindo um nariz, um espelho lateral, um para-choques traseiro, uma porta traseira, uma parte superior do para-brisa no interior de um veículo ou similares. A unidade de formação de imagem 12101 provida no nariz frontal e a unidade de formação de imagem 12105 provida na parte superior do para- brisa no interior do veículo, principalmente, adquirem uma imagem na frente do veículo 12100. As unidades de formação de imagem 12102 e 12103 providas nos espelhos laterais, principalmente, adquirem as imagens do lado do veículo 12100. A unidade de formação de imagem 12104 provida no para- choques traseiro ou na porta traseira, principalmente, adquire uma imagem atrás do veículo 12100. As imagens de vista frontal adquiridas pelas unidades de formação de imagem 12101 e 12105 são principalmente usadas para detecção de um veículo precedente ou um pedestre, um obstáculo, um semáforo, um sinal de trânsito, uma via ou similares.
[00632] Note que a figura 79 ilustra um exemplo do alcance da formação de imagem das unidades de formação de imagem 12101 até 12104. Um alcance da formação de imagem 12111 indica um alcance da formação de imagem da unidade de formação de imagem 12101 provida no nariz frontal, os alcances da formação de imagem 12112 e 12113 indicam os alcances da formação de imagem das unidades de formação de imagem 12102 e 12103 providas nos espelhos laterais, respectivamente, e um alcance da formação de imagem 12114 indica um alcance da formação de imagem da unidade de formação de imagem 12104 provida no para-choques traseiro ou na porta traseira. Por exemplo, pela sobreposição das peças dos dados de imagem capturados pelas unidades de formação de imagem 12101 até 12104, é possível obter uma imagem em visualização tipo olho de pássaro do veículo
182 / 193 12100 como visualizado a partir de cima.
[00633] Pelo menos uma das unidades de formação de imagem 12101 até 12104 pode ter uma função de aquisição da informação de distância. Por exemplo, pelo menos uma das unidades de formação de imagem 12101 até 12104 pode ser uma câmera estéreo que inclui uma pluralidade de elementos de formação de imagem ou um elemento de formação de imagem que tem pixels para a detecção da diferença de fase.
[00634] Por exemplo, o microcomputador 12051 pode calcular uma distância até cada um dos objetos tridimensionais nos alcances da formação de imagem 12111 até 12114 e uma mudança temporal (velocidade relativa em relação ao veículo 12100) da distância com base na informação de distância obtida a partir das unidades de formação de imagem 12101 até 12104 e, desse modo, pode extrair um objeto tridimensional que se desloca em uma velocidade pré-determinada (por exemplo, 0 km/h ou mais) substancialmente na mesma direção do veículo 12100 que é o objeto tridimensional mais próximo no caminho de deslocamento do veículo 12100 como um veículo precedente. Além do mais, o microcomputador 12051 pode definir uma distância interveículos a ser garantida na frente do veículo precedente em antecipação, e pode realizar o controle de frenagem automático (incluindo o controle de parada de acompanhamento), o controle de aceleração automático (incluindo o controle de início de acompanhamento) ou similares. Desta maneira, é possível realizar o controle cooperativo com o propósito de acionamento autônomo ou similares, em que o veículo se desloca autonomamente sem depender da operação do motorista.
[00635] Por exemplo, com base na informação de distância obtida a partir das unidades de formação de imagem 12101 até 12104, o microcomputador 12051 pode extrair os dados do objeto tridimensional em relação ao objeto tridimensional com classificação em objetos tridimensionais, tais como um veículo de duas rodas, um veículo regular, um
183 / 193 veículo grande, um pedestre, e outros objetos tridimensionais, tal como um poste de utilidades, e pode usar os dados para a evitação automática de obstáculos. Por exemplo, o microcomputador 12051 distingue os obstáculos ao redor do veículo 12100 em obstáculos que têm alta visibilidade para o motorista do veículo 12100 e obstáculos que têm baixa visibilidade para o motorista. Subsequentemente, o microcomputador 12051 determina um risco de colisão que indica o risco de colisão com cada um dos obstáculos. Quando o risco de colisão for um valor definido ou maior e houver uma possibilidade de colisão, o microcomputador 12051 pode transmitir um alarme para o motorista por meio do alto-falante de áudio 12061 e da unidade de exibição 12062, e pode realizar a desaceleração forçada e a direção de evitação por meio da unidade de controle do sistema de direção 12010, desse modo, alcançando a assistência de direção para a evitação de colisão.
[00636] Pelo menos uma das unidades de formação de imagem 12101 até 12104 pode ser uma câmera infravermelha que detecta os raios infravermelhos. Por exemplo, o microcomputador 12051 pode reconhecer um pedestre pela determinação se um pedestre está presente nas imagens capturadas das unidades de formação de imagem 12101 até 12104. Tal reconhecimento de pedestre é realizado, por exemplo, por um procedimento de extração dos pontos de característica em uma imagem capturada das unidades de formação de imagem 12101 até 12104 como uma câmera infravermelha, e por um procedimento de realização do processamento de correspondência de padrão em uma série de pontos de característica que indicam o contorno do objeto para discriminar se o mesmo é um pedestre. Quando o microcomputador 12051 determinar que um pedestre está presente nas imagens capturadas das unidades de formação de imagem 12101 até 12104 e reconhecer um pedestre, a unidade de transmissão de áudio e imagem 12052 faz com que a unidade de exibição 12062 realize a exibição sobreposta de uma linha de contorno retangular para ênfase ao pedestre reconhecido.
184 / 193 Além do mais, a unidade de transmissão de áudio e imagem 12052 pode fazer com que a unidade de exibição 12062 exiba um ícone que indica um pedestre ou similares em uma posição desejada.
[00637] Até aqui, um exemplo do sistema de controle de veículo no qual a tecnologia de acordo com a presente descrição é aplicável foi descrito. A tecnologia de acordo com a presente descrição é aplicável na unidade de formação de imagem 12031, por exemplo, dentre as configurações supradescritas. Com a aplicação do aparelho de formação de imagem 1 de acordo com a presente descrição na unidade de formação de imagem 12031, é possível executar o reconhecimento de pedestres, obstáculos ou similares em velocidade mais alta, e possível poupar energia.
[00638] Os efeitos descritos na presente especificação são meramente exemplos e, assim, pode haver outros efeitos, não limitado aos efeitos exemplificados.
[00639] Note que a presente tecnologia também pode ter as seguintes configurações.
[00640] (1) Um aparelho de formação de imagem compreendendo: uma unidade de formação de imagem tendo uma região de pixel na qual uma pluralidade de pixels é arranjada; um controlador de leitura que controla a leitura de sinais de pixel de pixels incluídos na região de pixel; uma primeira unidade de definição de unidade de leitura que define uma unidade de leitura como uma parte da região de pixel, para a qual o controlador de leitura realiza a leitura do sinal de pixel; uma unidade de transmissão de imagem que transmite uma primeira imagem com base no sinal de pixel lido da primeira unidade de leitura, para um estágio subsequente; uma segunda unidade de definição de unidade de leitura que define a unidade de leitura na qual o controlador de leitura realiza a leitura do
185 / 193 sinal de pixel; e uma unidade de reconhecimento que aprende dados de treinamento para cada uma das unidades de leitura, realiza um processo de reconhecimento no sinal de pixel para cada uma das unidade de leitura, e transmite um resultado de reconhecimento que é um resultado do processo de reconhecimento.
[00641] (2) O aparelho de formação de imagem, como definido em (1), em que a primeira unidade de definição de unidade de leitura determina a unidade de leitura de acordo com o resultado de reconhecimento.
[00642] (3) O aparelho de formação de imagem, como definido em (1) ou (2), em que a primeira unidade de definição de unidade de leitura executa uma transmissão da primeira imagem pela unidade de transmissão de imagem em um sincronismo diferente de um sincronismo de uma transmissão de uma segunda imagem com base no sinal de pixel para a unidade de reconhecimento realizar o processo de reconhecimento.
[00643] (4) O aparelho de formação de imagem como definido em qualquer um de (1) a (3), em que a primeira unidade de definição de unidade de leitura não define a unidade de leitura em uma região dentro de uma imagem de quadro na qual um objeto específico tenha sido reconhecido pela unidade de reconhecimento..
[00644] (5) O aparelho de formação de imagem como definido em qualquer um de (1) a (3), em que a unidade de transmissão de imagem mascara uma região dentro de uma imagem de quadro na qual um objeto específico tenha sido reconhecido pela unidade de reconhecimento.
[00645] (6) O aparelho de formação de imagem, como definido em
186 / 193 (4), em que a unidade de transmissão de imagem mascara uma região que é lida após o reconhecimento, fora das regiões dentro de uma imagem de quadro na qual um objeto específico tenha sido reconhecido pela unidade de reconhecimento.
[00646] (7) O aparelho de formação de imagem, como definido em qualquer um de (1) a (6), em que a primeira unidade de definição de unidade de leitura define a unidade de leitura de acordo com a transmissão de detecção de outro dispositivo sensor.
[00647] (8) O aparelho de formação de imagem, como definido em qualquer um de (1) a (3), em que a primeira unidade de definição de unidade de leitura define a unidade de leitura com maior prioridade para uma região dentro de uma imagem de quadro na qual um objeto específico tenha sido reconhecido pela unidade de reconhecimento, comparado com outra região no quadro de imagem.
[00648] (9) O aparelho de formação de imagem, como definido em (8), em que a primeira unidade de definição de unidade de leitura define a unidade de leitura para a outra região de modo que a leitura do sinal de pixel seja realizada com resolução inferior à resolução para a região dentro da imagem de quadro na qual o objeto específico tenha sido reconhecido.
[00649] (10) O aparelho de formação de imagem, como definido em (8) ou (9), em que a primeira unidade de definição de unidade de leitura define a unidade de leitura para a outra região após a conclusão da leitura da região dentro da imagem de quadro na qual o objeto específico tenha sido reconhecido.
187 / 193
[00650] (11) O aparelho de formação de imagem, como definido em qualquer um de (1) a (10), em que a primeira unidade de definição de unidade de leitura define, para a unidade de leitura, uma condição de formação de imagem diferente de uma condição de formação de imagem definida para a unidade de leitura pela segunda unidade de definição de unidade de leitura.
[00651] (12) O aparelho de formação de imagem, como definido em qualquer um de (1) a (11), compreendendo adicionalmente um controlador de armazenamento que controla o armazenamento do sinal de pixel lido da unidade de leitura na unidade de armazenamento, em que o controlador de armazenamento controla o armazenamento sinal de pixel na unidade de armazenamento com base em pelo menos um dentre o sinal de pixel ou o resultado de reconhecimento da unidade de reconhecimento.
[00652] (13) O aparelho de formação de imagem, como definido em (12), em que, em um caso no qual uma quantidade de mudança de um segundo resultado de reconhecimento da unidade de reconhecimento após a passagem de um tempo predeterminado de um primeiro resultado de reconhecimento da unidade de reconhecimento, com relação ao primeiro resultado de reconhecimento, for um limite ou menos, o controlador de armazenamento não realizará o armazenamento do sinal de pixel lido correspondente ao segundo resultado de reconhecimento, na unidade de armazenamento.
[00653] (14) O aparelho de formação de imagem, como definido em (12) ou (13), em que o controlador de armazenamento armazena o sinal de pixel na unidade de armazenamento em
188 / 193 um caso no qual o sinal de pixel pela unidade para a unidade de transmissão de imagem para transmitir a primeira imagem para o estágio subsequente não for armazenado na unidade de armazenamento.
[00654] (15) O aparelho de formação de imagem, como definido em qualquer um de (12) a (14), em que o controlador de armazenamento descarta o sinal de pixel armazenado na unidade de armazenamento em um caso no qual for determinado que há uma mudança em uma cena como um alvo de formação de imagem com base no sinal de pixel lido pelo controlador de leitura.
[00655] (16) O aparelho de formação de imagem, como definido em qualquer um de (1) a (15), em que, em um caso no qual uma unidade de processamento da primeira imagem não está em uma unidade de quadro, a unidade de transmissão de imagem sequencialmente transmite a primeira imagem de acordo com o sinal de pixel lido da unidade de leitura.
[00656] (17) Um sistema de formação de imagem, compreendendo: um aparelho de formação de imagem equipado com uma unidade de formação de imagem tendo uma região de pixel na qual uma pluralidade de pixels é arranjada, um controlador de leitura que controla a leitura de sinais de pixel de pixels incluídos na região de pixel, uma primeira unidade de definição de unidade de leitura que define uma unidade de leitura como uma parte da região de pixel, para a qual o controlador de leitura realiza a leitura do sinal de pixel, uma unidade de transmissão de imagem que transmite uma primeira imagem com base no sinal de pixel lido da primeira unidade de leitura para um estágio subsequente, e
189 / 193 um segundo controlador de unidade de leitura que define a unidade de leitura na qual o controlador de leitura realiza a leitura do sinal de pixel; e um aparelho de processamento de informações equipado com uma unidade de reconhecimento que aprende dados de treinamento para cada uma das unidades de leitura, realiza um processo de reconhecimento no sinal de pixel para cada uma das unidade de leitura, e transmite um resultado de reconhecimento que é um resultado do processo de reconhecimento.
[00657] (18) Um método de formação de imagem executado por um processador, compreendendo: uma etapa de controle de leitura de controlar a leitura de sinais de pixel de pixels incluídos na região de pixel na qual uma pluralidade de pixels está arranjada, incluídos em uma unidade de formação de imagem; uma primeira etapa de definição de unidade de leitura de definir uma unidade de leitura como uma parte da região de pixel, para a qual a etapa de controle de leitura realiza a leitura do sinal de pixel; uma etapa de transmissão de imagem de transmitir uma primeira imagem com base no sinal de pixel lido da unidade de leitura para um estágio subsequente; uma segunda etapa de controle de unidade de leitura de controlar a unidade de leitura na qual a etapa de controle de leitura realiza a leitura do sinal de pixel; e uma etapa de reconhecimento de aprender dados de treinamento para cada uma das unidades de leitura, realizando um processo de reconhecimento no sinal de pixel para cada uma das unidade de leitura, e transmitindo um resultado de reconhecimento que é um resultado do processo de reconhecimento.
[00658] (19) Programa de formação de imagem que faz com que um processador execute:
190 / 193 uma etapa de controle de leitura de controlar a leitura de sinais de pixel de pixels incluídos na região de pixel na qual uma pluralidade de pixels está arranjada, incluídos em uma unidade de formação de imagem; uma primeira etapa de definição de unidade de leitura de definir uma unidade de leitura como uma parte da região de pixel, para a qual a etapa de controle de leitura realiza a leitura do sinal de pixel; uma etapa de transmissão de imagem de transmitir uma primeira imagem com base no sinal de pixel lido da unidade de leitura para um estágio subsequente; uma etapa de controle de unidade de leitura de controlar a unidade de leitura na qual a etapa de controle de leitura realiza a leitura do sinal de pixel; e uma etapa de reconhecimento de aprender dados de treinamento para cada uma das unidades de leitura, realizando um processo de reconhecimento no sinal de pixel para cada uma das unidade de leitura, e transmitindo um resultado de reconhecimento que é um resultado do processo de reconhecimento.
[00659] Além do mais, a presente tecnologia também pode ter as seguintes configurações.
[00660] (20) Um aparelho eletrônico incluindo: uma unidade de formação de imagem que gera dados de imagem; uma unidade de aprendizado de máquina que executa um processo de aprendizado de máquina usando um modelo de aprendizado em dados de imagem para cada uma das regiões de unidade lidas da unidade de formação de imagem; e uma unidade de execução de função que executa uma função predeterminada com base em um resultado do processo de aprendizado de máquina.
191 / 193
[00661] (21) O aparelho eletrônico como definido em (20), em que a unidade de aprendizado de máquina executa um processo de aprendizado de máquina usando uma Rede Neural de Convolução (CNN) nos dados de imagem da primeira região de unidade introduzida entre os dados de imagem de um mesmo quadro.
[00662] (22) O aparelho eletrônico como definido em (21), em que, em um caso no qual o processo de aprendizado de máquina usando a CNN para os dados de imagem com a região de unidade inseridos primeiro tiver falhado, a unidade de aprendizado de máquina executa um processo de aprendizado de máquina usando uma rede neural recorrente (RNN) nos dados de imagem inseridos a seguir com a região de unidade no mesmo quadro.
[00663] (23) O aparelho eletrônico como definido em qualquer um de (20) a (22), incluindo adicionalmente uma parte de controle que lê os dados de imagem a partir da unidade de formação de imagem em unidades de linha, em que os dados de imagem são inseridos na unidade de aprendizado de máquina na unidade de linha.
[00664] (24) O aparelho eletrônico, como definido em qualquer um de (20) a (23), em que os dados de imagem na região de unidade são os dados de imagem que têm um número de linhas pré-determinado.
[00665] (25) O aparelho eletrônico, como definido em qualquer um de (20) a (23), em que os dados de imagem na região de unidade são os dados de imagem em uma região retangular.
[00666] (26) O aparelho eletrônico como definido em qualquer um de (20) a (25), incluindo adicionalmente uma memória que grava um programa do modelo de
192 / 193 aprendizado, em que a unidade de aprendizado de máquina executa o processo de aprendizado de máquina realizado pela leitura do programa a partir da memória e pela execução do programa Lista dos Sinais de Referência
[00667] 1 APARELHO DE FORMAÇÃO DE IMAGEM 10 UNIDADE SENSORA 11 CONTROLADOR DO SENSOR 12 UNIDADE DE PROCESSAMENTO DE
RECONHECIMENTO 14 UNIDADE DE PROCESSAMENTO DE
RECONHECIMENTO VISUAL 110 UNIDADE DE LEITURA 111 CONTROLADOR DE LEITURA 120 UNIDADE DE CÁLCULO DOS DADOS DE
CARACTERÍSTICA 121 CONTROLADOR DE ARMAZENAMENTO DOS
DADOS DE CARACTERÍSTICA 122 UNIDADE DE ARMAZENAMENTO DOS DADOS DE
CARACTERÍSTICA 123, 123a, 123b, 123c, 123d, 123e, 123f, 142, 142a
DETERMINADOR DE LEITURA 124 UNIDADE DE EXECUÇÃO DO PROCESSO DE
RECONHECIMENTO 140 CONTROLADOR DE ARMAZENAMENTO DOS
DADOS DE IMAGEM 141 UNIDADE DE ARMAZENAMENTO DOS DADOS DE
IMAGEM 143 UNIDADE DE PROCESSAMENTO DE IMAGEM
193 / 193 300 UNIDADE DE SELEÇÃO DE PADRÃO DA UNIDADE
DE LEITURA 301 DB DE PADRÃO DA UNIDADE DE LEITURA 302 UNIDADE DE SELEÇÃO DE PADRÃO DA ORDEM
DE LEITURA 303 DB DE PADRÃO DA ORDEM DE LEITURA 304 UNIDADE DE PROCESSAMENTO DE
DETERMINAÇÃO DE LEITURA 1230, 1230’, 2010 DETERMINADOR DA REGIÃO DE
LEITURA 1231, 1231’, 2011 DETERMINADOR DO TEMPO DE
EXPOSIÇÃO 1232, 1232’, 2012 DETERMINADOR DA QUANTIDADE
DE AG 2000 UNIDADE DE AJUSTE DE RECURSO 2013 DETERMINADOR DA VELOCIDADE DE
ACIONAMENTO 2020 UNIDADE DE INSTRUÇÃO DO MODO DE
PRIORIDADE

Claims (19)

1 /7 REIVINDICAÇÕES
1. Aparelho de formação de imagem, caracterizado pelo fato de que compreende: uma unidade de formação de imagem tendo uma região de pixel na qual uma pluralidade de pixels é arranjada; um controlador de leitura que controla a leitura de sinais de pixel de pixels incluídos na região de pixel; uma primeira unidade de definição de unidade de leitura que define uma unidade de leitura como uma parte da região de pixel, para a qual o controlador de leitura realiza a leitura do sinal de pixel; uma unidade de transmissão de imagem que transmite uma primeira imagem com base no sinal de pixel lido da primeira unidade de leitura, para um estágio subsequente; uma segunda unidade de definição de unidade de leitura que define a unidade de leitura na qual o controlador de leitura realiza a leitura do sinal de pixel; e uma unidade de reconhecimento que aprende dados de treinamento para cada uma das unidades de leitura, realiza um processo de reconhecimento no sinal de pixel para cada uma das unidade de leitura, e transmite um resultado de reconhecimento que é um resultado do processo de reconhecimento.
2. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a primeira unidade de definição de unidade de leitura determina a unidade de leitura de acordo com o resultado de reconhecimento.
3. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a primeira unidade de definição de unidade de leitura executa uma transmissão da primeira imagem pela unidade de transmissão de imagem
2 /7 em um sincronismo diferente de um sincronismo de uma transmissão de uma segunda imagem com base no sinal de pixel para a unidade de reconhecimento realizar o processo de reconhecimento.
4. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a primeira unidade de definição de unidade de leitura não define a unidade de leitura em uma região dentro de uma imagem de quadro na qual um objeto específico tenha sido reconhecido pela unidade de reconhecimento.
5. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de transmissão de imagem mascara uma região dentro de uma imagem de quadro na qual um objeto específico tenha sido reconhecido pela unidade de reconhecimento.
6. Aparelho de formação de imagem de acordo com a reivindicação 4, caracterizado pelo fato de que a unidade de transmissão de imagem mascara uma região que é lida após o reconhecimento, fora das regiões dentro de uma imagem de quadro na qual um objeto específico tenha sido reconhecido pela unidade de reconhecimento.
7. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a primeira unidade de definição de unidade de leitura define a unidade de leitura de acordo com a transmissão de detecção de outro dispositivo sensor.
8. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a primeira unidade de definição de unidade de leitura define a unidade de leitura com maior prioridade para uma região dentro de uma
3 /7 imagem de quadro na qual um objeto específico tenha sido reconhecido pela unidade de reconhecimento, comparado com outra região no quadro de imagem.
9. Aparelho de formação de imagem de acordo com a reivindicação 8, caracterizado pelo fato de que a primeira unidade de definição de unidade de leitura define a unidade de leitura para a outra região de modo que a leitura do sinal de pixel seja realizada com resolução inferior à resolução para a região dentro da imagem de quadro na qual o objeto específico tenha sido reconhecido.
10. Aparelho de formação de imagem de acordo com a reivindicação 8, caracterizado pelo fato de que a primeira unidade de definição de unidade de leitura define a unidade de leitura para a outra região após a conclusão da leitura da região dentro da imagem de quadro na qual o objeto específico tenha sido reconhecido.
11. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a primeira unidade de definição de unidade de leitura define, para a unidade de leitura, uma condição de formação de imagem diferente de uma condição de formação de imagem definida para a unidade de leitura pela segunda unidade de definição de unidade de leitura.
12. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que compreende adicionalmente um controlador de armazenamento que controla o armazenamento do sinal de pixel lido da unidade de leitura na unidade de armazenamento, em que o controlador de armazenamento controla o armazenamento sinal de pixel na unidade de armazenamento com base em pelo menos um dentre o sinal de pixel ou o resultado de reconhecimento da
4 /7 unidade de reconhecimento.
13. Aparelho de formação de imagem de acordo com a reivindicação 12, caracterizado pelo fato de que, em um caso no qual uma quantidade de mudança de um segundo resultado de reconhecimento da unidade de reconhecimento após a passagem de um tempo predeterminado de um primeiro resultado de reconhecimento da unidade de reconhecimento, com relação ao primeiro resultado de reconhecimento, for um limite ou menos, o controlador de armazenamento não realizará o armazenamento do sinal de pixel lido correspondente ao segundo resultado de reconhecimento, na unidade de armazenamento.
14. Aparelho de formação de imagem de acordo com a reivindicação 12, caracterizado pelo fato de que o controlador de armazenamento armazena o sinal de pixel na unidade de armazenamento em um caso no qual o sinal de pixel pela unidade para a unidade de transmissão de imagem para transmitir a primeira imagem para o estágio subsequente não for armazenado na unidade de armazenamento.
15. Aparelho de formação de imagem de acordo com a reivindicação 12, caracterizado pelo fato de que o controlador de armazenamento descarta o sinal de pixel armazenado na unidade de armazenamento em um caso no qual for determinado que há uma mudança em uma cena como um alvo de formação de imagem com base no sinal de pixel lido pelo controlador de leitura.
16. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que, em um caso no qual uma unidade de processamento da primeira imagem não está em uma unidade de quadro,
5 /7 a unidade de transmissão de imagem sequencialmente transmite a primeira imagem de acordo com o sinal de pixel lido da unidade de leitura.
17. Sistema de formação de imagem, caracterizado pelo fato de que compreende: um aparelho de formação de imagem equipado com uma unidade de formação de imagem tendo uma região de pixel na qual uma pluralidade de pixels é arranjada, um controlador de leitura que controla a leitura de sinais de pixel de pixels incluídos na região de pixel, uma primeira unidade de definição de unidade de leitura que define uma unidade de leitura como uma parte da região de pixel, para a qual o controlador de leitura realiza a leitura do sinal de pixel, uma unidade de transmissão de imagem que transmite uma primeira imagem com base no sinal de pixel lido da primeira unidade de leitura para um estágio subsequente, e um segundo controlador de unidade de leitura que define a unidade de leitura na qual o controlador de leitura realiza a leitura do sinal de pixel; e um aparelho de processamento de informações equipado com uma unidade de reconhecimento que aprende dados de treinamento para cada uma das unidades de leitura, realiza um processo de reconhecimento no sinal de pixel para cada uma das unidade de leitura, e transmite um resultado de reconhecimento que é um resultado do processo de reconhecimento.
18. Método de formação de imagem executado por um processador, caracterizado pelo fato de que compreende: uma etapa de controle de leitura de controlar a leitura de sinais de pixel de pixels incluídos na região de pixel na qual uma pluralidade de pixels está arranjada, incluídos em uma unidade de formação de imagem;
6 /7 uma primeira etapa de definição de unidade de leitura de definir uma unidade de leitura como uma parte da região de pixel, para a qual a etapa de controle de leitura realiza a leitura do sinal de pixel; uma etapa de transmissão de imagem de transmitir uma primeira imagem com base no sinal de pixel lido da unidade de leitura para um estágio subsequente; uma segunda etapa de controle de unidade de leitura de controlar a unidade de leitura na qual a etapa de controle de leitura realiza a leitura do sinal de pixel; e uma etapa de reconhecimento de aprender dados de treinamento para cada uma das unidades de leitura, realizando um processo de reconhecimento no sinal de pixel para cada uma das unidade de leitura, e transmitindo um resultado de reconhecimento que é um resultado do processo de reconhecimento.
19. Programa de formação de imagem, caracterizado pelo fato de fazer com que um processador execute uma etapa de controle de leitura de controlar a leitura de sinais de pixel de pixels incluídos na região de pixel na qual uma pluralidade de pixels está arranjada, incluídos em uma unidade de formação de imagem; uma primeira etapa de definição de unidade de leitura de definir uma unidade de leitura como uma parte da região de pixel, para a qual a etapa de controle de leitura realiza a leitura do sinal de pixel; uma etapa de transmissão de imagem de transmitir uma primeira imagem com base no sinal de pixel lido da unidade de leitura para um estágio subsequente; uma etapa de controle de unidade de leitura de controlar a unidade de leitura na qual a etapa de controle de leitura realiza a leitura do sinal de pixel; e uma etapa de reconhecimento de aprender dados de
7 /7 treinamento para cada uma das unidades de leitura, realizando um processo de reconhecimento no sinal de pixel para cada uma das unidade de leitura, e transmitindo um resultado de reconhecimento que é um resultado do processo de reconhecimento.
BR112021003183-9A 2018-08-31 2019-09-02 aparelho, sistema, método e programa de formação de imagem BR112021003183A2 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018-163700 2018-08-31
JP2018163700 2018-08-31
JP2019-159133 2019-08-30
JP2019159133A JP6635222B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
PCT/JP2019/034500 WO2020045685A1 (ja) 2018-08-31 2019-09-02 撮像装置、撮像システム、撮像方法および撮像プログラム

Publications (1)

Publication Number Publication Date
BR112021003183A2 true BR112021003183A2 (pt) 2021-05-11

Family

ID=69166772

Family Applications (4)

Application Number Title Priority Date Filing Date
BR112021003115-4A BR112021003115A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema, método, e, programa de formação de imagem
BR112021003119-7A BR112021003119A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema, método, e, programa de formação de imagem
BR112021003183-9A BR112021003183A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema, método e programa de formação de imagem
BR112021003084-0A BR112021003084A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema e programa de formação de imagem, e, método de formação de imagem executado por um processador.

Family Applications Before (2)

Application Number Title Priority Date Filing Date
BR112021003115-4A BR112021003115A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema, método, e, programa de formação de imagem
BR112021003119-7A BR112021003119A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema, método, e, programa de formação de imagem

Family Applications After (1)

Application Number Title Priority Date Filing Date
BR112021003084-0A BR112021003084A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema e programa de formação de imagem, e, método de formação de imagem executado por um processador.

Country Status (7)

Country Link
US (7) US11763554B2 (pt)
EP (4) EP3846443A4 (pt)
JP (9) JP6635221B1 (pt)
KR (4) KR20210052444A (pt)
CN (4) CN112585531B (pt)
BR (4) BR112021003115A2 (pt)
WO (4) WO2020045684A1 (pt)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7076972B2 (ja) * 2017-09-29 2022-05-30 キヤノン株式会社 撮像素子及び撮像装置
JP6635221B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
JP7492345B2 (ja) 2020-02-27 2024-05-29 キヤノン株式会社 撮像素子及びその制御方法、及び、撮像装置及びその制御方法
US20230128031A1 (en) * 2020-03-19 2023-04-27 Sony Semiconductor Solutions Corporation Solid-state imaging apparatus
JPWO2021192714A1 (pt) * 2020-03-24 2021-09-30
WO2021200330A1 (ja) * 2020-03-31 2021-10-07 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US20230171510A1 (en) * 2020-07-15 2023-06-01 Arriver Software Ab Vision system for a motor vehicle
WO2022019025A1 (ja) * 2020-07-20 2022-01-27 ソニーグループ株式会社 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
KR20220105292A (ko) * 2021-01-20 2022-07-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
WO2022163130A1 (ja) * 2021-01-29 2022-08-04 ソニーグループ株式会社 情報処理装置及び情報処理方法、コンピュータプログラム、並びにセンサ装置
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
KR20220156327A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 비전 센서 및 이의 동작 방법
JP2022186333A (ja) * 2021-06-04 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2022270000A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
CN113344778B (zh) * 2021-08-05 2021-11-05 成都市谛视科技有限公司 一种成像控制方法、装置、设备及计算机可读存储介质
CN118044216A (zh) * 2021-09-27 2024-05-14 富士胶片株式会社 图像生成方法、处理器及程序
US20230133057A1 (en) * 2021-10-29 2023-05-04 Keysight Technologies, Inc. System and method for configuring network elements in a design network topology
WO2023090036A1 (ja) 2021-11-22 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム
WO2023127614A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127653A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127612A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127615A1 (ja) * 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023149188A1 (ja) * 2022-02-02 2023-08-10 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP2023141906A (ja) * 2022-03-24 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2023189080A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193875A (ja) * 1987-10-05 1989-04-12 Mitsubishi Heavy Ind Ltd 文字認識装置
JP2910534B2 (ja) 1993-11-18 1999-06-23 ノーリツ鋼機株式会社 写真フィルム用コード情報読取装置
JPH09138802A (ja) * 1995-11-15 1997-05-27 Hitachi Ltd 文字認識翻訳システム
US6252975B1 (en) 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
DE60213559T2 (de) 2001-01-22 2007-10-18 Hand Held Products, Inc. Optischer leser mit teilbild-ausschnitt-funktion
US20040028137A1 (en) 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP4130180B2 (ja) 2004-05-26 2008-08-06 株式会社リコー 画像読取装置、画像形成装置及び画像読取方法
JP4546157B2 (ja) * 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
JP4830270B2 (ja) * 2004-06-14 2011-12-07 ソニー株式会社 固体撮像装置および固体撮像装置の信号処理方法
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP2007201660A (ja) 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
JPWO2007119818A1 (ja) 2006-04-14 2009-08-27 日本電気株式会社 機能ロック解除システム、機能ロック解除方法、および機能ロック解除用プログラム
JP5150067B2 (ja) 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
JP2008015860A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Ind Co Ltd 画像認識カメラ
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
JP4362537B2 (ja) 2007-06-06 2009-11-11 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
US8925459B2 (en) * 2008-03-27 2015-01-06 Pressline Services, Inc. Printing press, folder, and methods of operation
JP5288915B2 (ja) 2008-07-08 2013-09-11 キヤノン株式会社 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP5279517B2 (ja) * 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
KR20110056616A (ko) 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
JP5505007B2 (ja) 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
GB2478911B (en) 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5220828B2 (ja) 2010-11-11 2013-06-26 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体
JP5691736B2 (ja) 2011-03-29 2015-04-01 ブラザー工業株式会社 読取装置
JP5866826B2 (ja) * 2011-06-30 2016-02-24 株式会社ニコン 撮像装置
JP5979967B2 (ja) 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5839872B2 (ja) 2011-07-19 2016-01-06 オリンパス株式会社 固体撮像装置、撮像装置、および信号読み出し方法
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム
CN110572586A (zh) * 2012-05-02 2019-12-13 株式会社尼康 拍摄元件及电子设备
JP5909147B2 (ja) 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
US9294703B2 (en) * 2012-12-03 2016-03-22 Samsung Electronics Co., Ltd. Image sensor including data transmission circuit having split bus segments
CN103077407B (zh) 2013-01-21 2017-05-17 信帧电子技术（北京）有限公司 车标定位识别方法及系统
JP2014139732A (ja) 2013-01-21 2014-07-31 Sony Corp 画像処理装置、画像処理方法、プログラムおよび表示装置
JP6369911B2 (ja) * 2013-01-25 2018-08-08 テレダイン・イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・ユニパーソナルＴｅｌｅｄｙｎｅ Ｉｎｎｏｖａｃｉｏｎｅｓ Ｍｉｃｒｏｅｌｅｃｔｒｏｎｉｃａｓ，Ｓｌｕ 画像センサ用の自動関心領域機能
JP6155786B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
CN103716661A (zh) 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种视频打分上报方法及装置
JP6350863B2 (ja) 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6289184B2 (ja) * 2014-03-14 2018-03-07 オリンパス株式会社 画像認識装置および画像認識方法
JP6338436B2 (ja) * 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
KR102192088B1 (ko) * 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
JP2016061797A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 焦点調節装置及びその制御方法
JP6168022B2 (ja) * 2014-09-30 2017-07-26 株式会社デンソー 画像認識装置
US10175345B2 (en) * 2014-10-17 2019-01-08 Voxtel, Inc. Event tracking imager
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
US9418319B2 (en) 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
CN107736014B (zh) 2015-07-16 2020-12-18 索尼公司 摄像设备和信息处理系统
CN105373785B (zh) 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
JP2017112409A (ja) 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法
JP6762710B2 (ja) * 2015-12-14 2020-09-30 キヤノン株式会社 撮像装置及びその制御方法
US9773196B2 (en) 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP7058933B2 (ja) 2016-05-09 2022-04-25 株式会社ニコン 撮像素子及びこれを用いた撮像装置
JP2017207650A (ja) * 2016-05-19 2017-11-24 キヤノン株式会社 レンズ装置
JP2017228975A (ja) 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
JP2018005520A (ja) * 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
JP2018022935A (ja) 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
EP3515057B1 (en) 2016-09-16 2024-02-21 Sony Semiconductor Solutions Corporation Image pickup device and electronic apparatus
JP2018081545A (ja) 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
TWI754696B (zh) 2016-12-14 2022-02-11 日商索尼半導體解決方案公司 固體攝像元件及電子機器
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
US10380853B1 (en) * 2017-05-22 2019-08-13 Amazon Technologies, Inc. Presence detection and detection localization
AU2017279806B2 (en) * 2017-05-29 2023-10-12 Saltor Pty Ltd Method and system for abnormality detection
CN107563168A (zh) 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
CN107944351B (zh) 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
JP7091635B2 (ja) * 2017-11-15 2022-06-28 大日本印刷株式会社 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ
KR102661596B1 (ko) * 2018-08-08 2024-04-29 삼성전자주식회사 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
JP6635221B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
TWI820194B (zh) * 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
JPWO2020049958A1 (ja) * 2018-09-06 2021-08-12 ソニーグループ株式会社 情報処理システム、情報処理方法、端末装置および情報処理装置
US11290640B2 (en) * 2020-06-10 2022-03-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Also Published As

Publication number Publication date
BR112021003115A2 (pt) 2021-05-11
JP2020039123A (ja) 2020-03-12
EP3846444A4 (en) 2021-10-06
BR112021003084A2 (pt) 2021-05-11
EP3846446A4 (en) 2021-10-20
CN112567728A (zh) 2021-03-26
EP3846441A1 (en) 2021-07-07
US20210329164A1 (en) 2021-10-21
CN112585531B (zh) 2023-05-30
JP6635222B1 (ja) 2020-01-22
US11595608B2 (en) 2023-02-28
US11704904B2 (en) 2023-07-18
CN112585943B (zh) 2022-12-27
US20210329163A1 (en) 2021-10-21
KR20210053884A (ko) 2021-05-12
JP2020039126A (ja) 2020-03-12
KR20210052446A (ko) 2021-05-10
US20240029424A1 (en) 2024-01-25
CN112585948A (zh) 2021-03-30
JP7380180B2 (ja) 2023-11-15
WO2020045682A1 (ja) 2020-03-05
WO2020045685A1 (ja) 2020-03-05
JP7424034B2 (ja) 2024-01-30
JP2020043614A (ja) 2020-03-19
EP3846441A4 (en) 2021-10-13
US11763554B2 (en) 2023-09-19
EP3846446A1 (en) 2021-07-07
US20210306586A1 (en) 2021-09-30
WO2020045686A1 (ja) 2020-03-05
US11741700B2 (en) 2023-08-29
BR112021003119A2 (pt) 2021-05-11
EP3846443A4 (en) 2021-09-22
WO2020045684A1 (ja) 2020-03-05
US20210321054A1 (en) 2021-10-14
KR20210052444A (ko) 2021-05-10
JP2020043615A (ja) 2020-03-19
JP6638852B1 (ja) 2020-01-29
JP2020054007A (ja) 2020-04-02
EP3846444A1 (en) 2021-07-07
JP2024028531A (ja) 2024-03-04
JP7424051B2 (ja) 2024-01-30
JP2020048225A (ja) 2020-03-26
JP2020039124A (ja) 2020-03-12
JP2020039125A (ja) 2020-03-12
JP6638851B1 (ja) 2020-01-29
CN112585531A (zh) 2021-03-30
US20230334848A1 (en) 2023-10-19
JP6635221B1 (ja) 2020-01-22
CN112567728B (zh) 2023-06-09
KR20210053883A (ko) 2021-05-12
US20230394813A1 (en) 2023-12-07
CN112585943A (zh) 2021-03-30
EP3846443A1 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
BR112021003183A2 (pt) aparelho, sistema, método e programa de formação de imagem