BR112021003119A2 - aparelho, sistema, método, e, programa de formação de imagem - Google Patents

aparelho, sistema, método, e, programa de formação de imagem Download PDF

Info

Publication number
BR112021003119A2
BR112021003119A2 BR112021003119-7A BR112021003119A BR112021003119A2 BR 112021003119 A2 BR112021003119 A2 BR 112021003119A2 BR 112021003119 A BR112021003119 A BR 112021003119A BR 112021003119 A2 BR112021003119 A2 BR 112021003119A2
Authority
BR
Brazil
Prior art keywords
unit
read
recognition
reading
mediation
Prior art date
Application number
BR112021003119-7A
Other languages
English (en)
Inventor
Ryuta SATOH
Suguru Aoki
Keitaro Yamamoto
Ryoji Eki
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Publication of BR112021003119A2 publication Critical patent/BR112021003119A2/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745—Circuitry for generating timing or clock signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/441—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading contiguous pixels from selected rows or columns of the array, e.g. interlaced scanning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Vascular Medicine (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Character Discrimination (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

APARELHO, SISTEMA, MÉTODO, E, PROGRAMA DE FORMAÇÃO DE IMAGEM. A presente invenção inclui: uma parte de captura de imagem (10) que inclui uma área de pixel em que uma pluralidade de pixels é arranjada, lê os sinais de pixel a partir dos pixels incluídos na área de pixel, e transmite os sinais de pixel; uma parte de controle da unidade de leitura (111a) que controla uma unidade de leitura que é definida como uma parte da área de pixel; uma primeira parte de definição da unidade de leitura (123) que define uma primeira unidade de leitura pela qual os sinais de pixel são lidos a partir da área de pixel para um processo de reconhecimento em que os dados educadores foram aprendidos para cada unidade de leitura; uma segunda parte de definição da unidade de leitura (142) que define uma segunda unidade de leitura pela qual os sinais de pixel são lidos a partir da área de pixel para transmitir os sinais de pixel para um estágio posterior; e uma parte de arbitração (1110) que realiza a arbitração pela primeira unidade de leitura e pela segunda unidade de leitura, em que a parte de controle da unidade de leitura define a unidade de leitura por meio da arbitração da parte de arbitração.

Description

1 / 149 APARELHO, SISTEMA, MÉTODO, E, PROGRAMA DE FORMAÇÃO DE
IMAGEM Campo Técnico
[001] A presente descrição se refere a um aparelho de formação de imagem, a um sistema de formação de imagem, a um método de formação de imagem e a um programa de formação de imagem. Fundamentos
[002] Nos últimos anos, com a sofisticação dos aparelhos de formação de imagem, tais como câmeras fotográficas digitais, câmeras de vídeo digitais e pequenas câmeras montadas em telefones celulares multifuncionais (telefones inteligentes), houve os desenvolvimentos de aparelhos de formação de imagem equipados com uma função de reconhecimento de imagem para reconhecer um objeto predeterminado incluído em uma imagem capturada. Lista de Citação Literatura Patentária
[003] Literatura Patentária 1: JP 2017-112409 A Sumário Problema Técnico
[004] No geral, uma imagem adequada para os processos de reconhecimento na função de reconhecimento de imagem é diferente de uma imagem adequada para o reconhecimento visual por humanos. Portanto, em uma tentativa de melhorar a precisão do reconhecimento em um aparelho de formação de imagem equipado com uma função de reconhecimento de imagem, pode ser difícil usar uma imagem capturada para o processo de reconhecimento como uma imagem que pode prover suficientemente a informação como uma imagem para o reconhecimento visual.
[005] A presente descrição visa a prover um aparelho de formação de imagem, um sistema de formação de imagem, um método de formação de
2 / 149 imagem e um programa de formação de imagem capazes de alcançar tanto a formação de imagem para os processos de reconhecimento quanto a formação de imagem para o reconhecimento visual. Solução para o Problema
[006] Para resolver o problema supradescrito, um aparelho de formação de imagem de acordo com um aspecto da presente descrição tem uma unidade de formação de imagem que tem uma região de pixel na qual uma pluralidade de pixels é arranjada e lê e transmite um sinal de pixel a partir dos pixels incluídos na região de pixel; um controlador da unidade de leitura que controla uma unidade de leitura definida como uma parte da região de pixel; uma primeira unidade de definição da unidade de leitura que define uma primeira unidade de leitura que é usada para ler o sinal de pixel a partir da região de pixel para um processo de reconhecimento que aprendeu os dados de treinamento para cada uma das unidades de leitura; uma segunda unidade de definição da unidade de leitura que define uma segunda unidade de leitura que é usada para ler o sinal de pixel a partir da região de pixel para transmitir o sinal de pixel para um estágio subsequente; e uma unidade de mediação que realiza a mediação entre a primeira unidade de leitura e a segunda unidade de leitura, em que o controlador da unidade de leitura define a unidade de leitura pela mediação pela unidade de mediação. Breve Descrição dos Desenhos
[007] A figura 1 é um diagrama de blocos que ilustra uma configuração de um exemplo de um aparelho de formação de imagem aplicável em cada uma das modalidades da presente descrição.
[008] A figura 2A é um diagrama esquemático que ilustra um exemplo de uma configuração de hardware de um aparelho de formação de imagem de acordo com cada uma das modalidades.
[009] A figura 2B é um diagrama esquemático que ilustra um exemplo de uma configuração de hardware de um aparelho de formação de
3 / 149 imagem de acordo com cada uma das modalidades.
[0010] A figura 3A é um diagrama que ilustra um exemplo em que um aparelho de formação de imagem de acordo com cada uma das modalidades é formado como um CIS empilhado com uma estrutura de duas camadas.
[0011] A figura 3B é um diagrama que ilustra um exemplo em que um aparelho de formação de imagem de acordo com cada uma das modalidades é formado como um CIS empilhado com uma estrutura de três camadas.
[0012] A figura 4 é um diagrama de blocos que ilustra uma configuração de um exemplo de uma unidade sensora aplicável em cada uma das modalidades.
[0013] A figura 5A é uma vista esquemática que ilustra um método do obturador de rolamento.
[0014] A figura 5B é uma vista esquemática que ilustra um método do obturador de rolamento.
[0015] A figura 5C é uma vista esquemática que ilustra um método do obturador de rolamento.
[0016] A figura 6A é um diagrama esquemático que ilustra a redução de linha no método do obturador de rolamento.
[0017] A figura 6B é um diagrama esquemático que ilustra a redução de linha no método do obturador de rolamento.
[0018] A figura 6C é um diagrama esquemático que ilustra a redução de linha no método do obturador de rolamento.
[0019] A figura 7A é um diagrama que ilustra esquematicamente um exemplo de um outro método de formação de imagem no método do obturador de rolamento.
[0020] A figura 7B é um diagrama que ilustra esquematicamente um exemplo de um outro método de formação de imagem no método do
4 / 149 obturador de rolamento.
[0021] A figura 8A é um diagrama esquemático que ilustra um método de obturador global.
[0022] A figura 8B é um diagrama esquemático que ilustra um método de obturador global.
[0023] A figura 8C é um diagrama esquemático que ilustra um método de obturador global.
[0024] A figura 9A é um diagrama que ilustra esquematicamente um exemplo de um padrão de amostragem implementável no método de obturador global.
[0025] A figura 9B é um diagrama que ilustra esquematicamente um exemplo de um padrão de amostragem implementável no método de obturador global.
[0026] A figura 10 é um diagrama que ilustra esquematicamente um processo de reconhecimento de imagem realizado por uma CNN.
[0027] A figura 11 é um diagrama que ilustra esquematicamente um processo de reconhecimento de imagem para obter um resultado do reconhecimento a partir de uma parte de uma imagem como um alvo de reconhecimento.
[0028] A figura 12A é um diagrama que ilustra esquematicamente um exemplo de um processo de identificação realizado pela DNN quando a informação da série de tempo não for usada.
[0029] A figura 12B é um diagrama que ilustra esquematicamente um exemplo de um processo de identificação realizado pela DNN quando a informação da série de tempo não for usada.
[0030] A figura 13A é um diagrama que ilustra esquematicamente um primeiro exemplo de um processo de identificação realizado pela DNN quando a informação da série de tempo for usada.
[0031] A figura 13B é um diagrama que ilustra esquematicamente o
5 / 149 primeiro exemplo de um processo de identificação realizado pela DNN quando a informação da série de tempo for usada.
[0032] A figura 14A é um diagrama que ilustra esquematicamente um segundo exemplo de um processo de identificação realizado pela DNN quando a informação da série de tempo for usada.
[0033] A figura 14B é um diagrama que ilustra esquematicamente o segundo exemplo de um processo de identificação realizado pela DNN quando a informação da série de tempo for usada.
[0034] A figura 15A é um diagrama que ilustra um relacionamento entre uma velocidade de acionamento de quadro e uma quantidade de leitura do sinal de pixel.
[0035] A figura 15B é um diagrama que ilustra um relacionamento entre uma velocidade de acionamento de quadro e uma quantidade de leitura do sinal de pixel.
[0036] A figura 16 é um diagrama esquemático que ilustra esquematicamente um processo de reconhecimento de acordo com cada uma das modalidades da presente descrição.
[0037] A figura 17 é um fluxograma que ilustra um exemplo de um processo de reconhecimento realizado por uma unidade de processamento de reconhecimento de acordo com uma primeira modalidade.
[0038] A figura 18 é uma vista que ilustra um exemplo de dados de imagem para um quadro.
[0039] A figura 19 é uma vista que ilustra um fluxo de um processo de aprendizado de máquina executado pela unidade de processamento de reconhecimento de acordo com a primeira modalidade.
[0040] A figura 20A é uma vista esquemática que ilustra um exemplo de aplicação da primeira modalidade.
[0041] A figura 20B é uma vista esquemática que ilustra um exemplo de aplicação da primeira modalidade.
6 / 149
[0042] A figura 21 é um diagrama de blocos funcional de um exemplo que ilustra as funções de um aparelho de formação de imagem de acordo com uma segunda modalidade.
[0043] A figura 22 é um diagrama esquemático que ilustra com mais detalhes um exemplo dos processos na unidade de processamento de reconhecimento de acordo com a segunda modalidade.
[0044] A figura 23 é um diagrama de blocos funcional de um exemplo que ilustra as funções de acordo com a segunda modalidade.
[0045] A figura 24 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com a segunda modalidade.
[0046] A figura 25 é um diagrama esquemático que ilustra um esboço de um processo de reconhecimento de acordo com a segunda modalidade.
[0047] A figura 26 é um diagrama que ilustra um exemplo para terminar o processo de reconhecimento no meio da leitura de quadro.
[0048] A figura 27 é um diagrama que ilustra um exemplo para terminar o processo de reconhecimento no meio da leitura de quadro.
[0049] A figura 28 é um fluxograma que ilustra um exemplo do processo de reconhecimento de acordo com a segunda modalidade.
[0050] A figura 29A é um cronograma que ilustra um exemplo para controlar o processo de leitura e de reconhecimento de acordo com a segunda modalidade.
[0051] A figura 29B é um cronograma que ilustra um exemplo para controlar o processo de leitura e de reconhecimento de acordo com a segunda modalidade.
[0052] A figura 30 é um cronograma que ilustra um outro exemplo para controlar o processo de leitura e de reconhecimento de acordo com a segunda modalidade.
[0053] A figura 31 é um fluxograma de um exemplo que ilustra o controle de acordo com uma terceira modalidade.
7 / 149
[0054] A figura 32 é um diagrama esquemático que ilustra esquematicamente um exemplo de um processo de controle de saída de acordo com a terceira modalidade.
[0055] A figura 33A é um diagrama de blocos funcional que ilustra uma função de um exemplo em um lado da unidade de processamento de reconhecimento do aparelho de formação de imagem de acordo com a terceira modalidade.
[0056] A figura 33B é um diagrama de blocos funcional que ilustra uma função de um exemplo em um lado da unidade de processamento de reconhecimento visual do aparelho de formação de imagem de acordo com a terceira modalidade.
[0057] A figura 34 é um fluxograma que ilustra um exemplo de um processo quando um sinal de gatilho for transmitido de acordo com o tempo de acordo com a terceira modalidade.
[0058] A figura 35 é um diagrama esquemático que ilustra esquematicamente um exemplo de um processo de controle de saída de acordo com uma primeira modificação da terceira modalidade.
[0059] A figura 36A é um diagrama de blocos funcional que ilustra uma função de um exemplo em um lado da unidade de processamento de reconhecimento do aparelho de formação de imagem de acordo com a primeira modificação da terceira modalidade.
[0060] A figura 36B é um diagrama de blocos funcional que ilustra uma função de um exemplo em um lado da unidade de processamento de reconhecimento visual do aparelho de formação de imagem de acordo com a primeira modificação da terceira modalidade.
[0061] A figura 37 é um fluxograma de um exemplo que ilustra um processo de acordo com a primeira modificação da terceira modalidade.
[0062] A figura 38 é um diagrama esquemático que ilustra esquematicamente um exemplo de um processo de controle de saída de
8 / 149 acordo com uma segunda modificação da terceira modalidade.
[0063] A figura 39A é um diagrama de blocos funcional que ilustra uma função de um exemplo em um lado da unidade de processamento de reconhecimento do aparelho de formação de imagem de acordo com a segunda modificação da terceira modalidade.
[0064] A figura 39B é um diagrama de blocos funcional que ilustra uma função de um exemplo em um lado da unidade de processamento de reconhecimento visual da unidade de processamento de reconhecimento do aparelho de formação de imagem de acordo com a segunda modificação da terceira modalidade.
[0065] A figura 40 é um fluxograma de um exemplo que ilustra um processo de acordo com a segunda modificação da terceira modalidade.
[0066] A figura 41A é um diagrama de blocos funcional que ilustra uma função de um exemplo em um lado da unidade de processamento de reconhecimento de um aparelho de formação de imagem de acordo com uma terceira modificação da terceira modalidade.
[0067] A figura 41B é um diagrama de blocos funcional que ilustra uma função de um exemplo em um lado da unidade de processamento de reconhecimento visual do aparelho de formação de imagem de acordo com a terceira modificação da terceira modalidade.
[0068] A figura 42 é um fluxograma de um exemplo que ilustra um processo de acordo com a terceira modificação da terceira modalidade.
[0069] A figura 43 é um diagrama esquemático que ilustra esquematicamente um exemplo de um processo de controle de saída de acordo com uma quarta modalidade.
[0070] A figura 44 é um diagrama de blocos funcional que ilustra uma função de um exemplo de um aparelho de formação de imagem de acordo com a quarta modalidade.
[0071] A figura 45 é um fluxograma de um exemplo que ilustra os
9 / 149 processos de acordo com a quarta modalidade.
[0072] A figura 46 é um diagrama de blocos funcional que ilustra uma função de um exemplo de um aparelho de formação de imagem de acordo com uma primeira modificação da quarta modalidade.
[0073] A figura 47 é um fluxograma de um exemplo que ilustra um processo de acordo com a primeira modificação da quarta modalidade.
[0074] A figura 48 é um diagrama esquemático que ilustra esquematicamente um exemplo de um processo de controle de saída de acordo com uma segunda modificação da quarta modalidade.
[0075] A figura 49 é um diagrama de blocos funcional que ilustra uma função de um exemplo de um aparelho de formação de imagem 1 de acordo com a segunda modificação da quarta modalidade.
[0076] A figura 50 é um fluxograma de um exemplo que ilustra um processo de acordo com a primeira modificação da quarta modalidade.
[0077] A figura 51 é um fluxograma de um exemplo que ilustra um esboço de um processo de mediação de acordo com uma quinta modalidade.
[0078] A figura 52 é um diagrama de blocos funcional de um exemplo que ilustra a função do aparelho de formação de imagem 1 aplicável na quinta modalidade.
[0079] A figura 53 é um diagrama esquemático que ilustra o processo de mediação de acordo com a quinta modalidade.
[0080] A figura 54 é um fluxograma exemplificativo que ilustra um processo de mediação de acordo com a quinta modalidade.
[0081] A figura 55 é um diagrama de blocos funcional de um exemplo que ilustra a função do aparelho de formação de imagem aplicável na primeira modificação da quinta modalidade.
[0082] A figura 56 é um diagrama esquemático que ilustra um primeiro exemplo de um processo de mediação de acordo com uma primeira modificação da quinta modalidade.
10 / 149
[0083] A figura 57 é um diagrama esquemático que ilustra um segundo exemplo do processo de mediação de acordo com a primeira modificação da quinta modalidade.
[0084] A figura 58 é um fluxograma de um exemplo que ilustra o processo de mediação de acordo com a primeira modificação da quinta modalidade.
[0085] A figura 59 é um diagrama de blocos funcional de um exemplo que ilustra uma função de um aparelho de formação de imagem aplicável em uma segunda modificação da quinta modalidade.
[0086] A figura 60 é um diagrama esquemático que ilustra um processo de mediação de acordo com a segunda modificação da quinta modalidade.
[0087] A figura 61 é um fluxograma de um exemplo que ilustra o processo de mediação de acordo com a segunda modificação da quinta modalidade.
[0088] A figura 62 é um diagrama de blocos funcional de um exemplo que ilustra as funções do aparelho de formação de imagem 1 aplicáveis em uma terceira modificação da quinta modalidade.
[0089] A figura 63 é um fluxograma que ilustra um exemplo de um processo de mediação de acordo com a terceira modificação da quinta modalidade.
[0090] A figura 64 é um diagrama que ilustra um exemplo de uso de um aparelho de formação de imagem no qual a técnica da presente descrição é aplicada.
[0091] A figura 65 é um diagrama de blocos que ilustra um exemplo de uma configuração esquemática de um sistema de controle de veículo.
[0092] A figura 66 é uma vista que ilustra um exemplo de posições de instalação de uma unidade de detecção de informação no exterior do veículo e uma unidade de formação de imagem.
11 / 149 Descrição das Modalidades
[0093] As modalidades da presente descrição serão descritas com detalhes a seguir em relação aos desenhos. Em cada uma das seguintes modalidades, as mesmas partes são denotadas pelos mesmos símbolos de referência, e uma descrição repetitiva das mesmas será omitida.
[0094] A seguir, as modalidades da presente descrição serão descritas na seguinte ordem.
[0095] 1. Exemplo de configuração de acordo com cada uma das modalidades da presente descrição
2. Exemplos de tecnologias existentes aplicáveis na presente descrição 2-1. Visão geral do obturador de rolamento 2-2. Visão geral do obturador global 2-3. Rede neural profunda (DNN) 2-3-1. Visão geral da rede neural convolucional (CNN) 2-3-2. Visão geral da rede neural recorrente (RNN) 2-4. Velocidade de acionamento
3. Visão geral da presente descrição
4. Primeira modalidade 4-1. Exemplos de operação na unidade de processamento de reconhecimento 4-2. Exemplo específico das operações na unidade de processamento de reconhecimento 4-3. Exemplo de aplicação da primeira modalidade
5. Segunda modalidade 5-0-1. Exemplo de configuração de acordo com a segunda modalidade 5-0-2. Exemplo dos processos na unidade de processamento de reconhecimento de acordo com a segunda modalidade
12 / 149 5-0-3. Detalhes do processo de reconhecimento de acordo com a segunda modalidade 5-0-4. Exemplo de controle dos processos de leitura e de reconhecimento de acordo com a segunda modalidade
6. Terceira modalidade 6-0. Esboço da terceira modalidade 6-0-1. Exemplo da transmissão do sinal de gatilho pelo tempo 6-1. Primeira modificação da terceira modalidade 6-2. Segunda modificação da terceira modalidade 6-3. Terceira modificação da terceira modalidade
7. Quarta modalidade 7-1. Primeira modificação da quarta modalidade 7-2. Segunda modificação da quarta modalidade
8. Quinta modalidade 8-0-1. Exemplo específico do processo de mediação 8-1. Primeira modificação da quinta modalidade 8-2. Segunda modificação da quinta modalidade 8-3. Terceira modificação da quinta modalidade
9. Sexta modalidade [1. Exemplo de configuração de acordo com cada uma das modalidades da presente descrição]
[0096] Uma configuração de um aparelho de formação de imagem de acordo com a presente descrição será esquematicamente descrita. A figura 1 é um diagrama de blocos que ilustra uma configuração de um exemplo de um aparelho de formação de imagem aplicável em cada uma das modalidades da presente descrição. Na figura 1, um aparelho de formação de imagem 1 inclui uma unidade sensora 10, um controlador do sensor 11, uma unidade de processamento de reconhecimento 12, uma memória 13, uma unidade de processamento de reconhecimento visual 14 e um controlador de saída 15. O
13 / 149 aparelho de formação de imagem 1 é um sensor de imagem de semicondutor de óxido de metal complementar (CMOS) (CIS) em que estas unidades individuais são integralmente formadas pelo uso do CMOS. O aparelho de formação de imagem 1 não é limitado a este exemplo, e pode ser um outro tipo de sensor óptico, tal como um sensor de luz infravermelha que realiza a formação de imagem com a luz infravermelha.
[0097] A unidade sensora 10 transmite um sinal de pixel correspondente à luz emitida para uma superfície de recepção de luz por meio de uma unidade óptica 30. Mais especificamente, a unidade sensora 10 tem um arranjo de pixels em que os pixels que incluem pelo menos um elemento de conversão fotoelétrica são arranjados em uma matriz. A superfície de recepção de luz é formada por pixels individuais arranjados em uma matriz no arranjo de pixels. A unidade sensora 10 inclui adicionalmente: um circuito de acionamento para acionar os pixels individuais incluídos no arranjo de pixels e um circuito de processamento de sinal que realiza o processamento de sinal predeterminado no sinal lido a partir de cada um dos pixels e transmite o sinal processado como um sinal de pixel de cada um dos pixels. A unidade sensora 10 transmite o sinal de pixel de cada um dos pixels incluídos na região de pixel como os dados de imagem em formato digital.
[0098] A seguir, no arranjo de pixels incluído na unidade sensora 10, uma região na qual os pixels válidos para gerar o sinal de pixel são arranjados será referida como um quadro. Os dados de imagem do quadro são formados pelos dados de pixel com base em cada um dos sinais de pixel transmitidos a partir de cada um dos pixels incluídos no quadro. Além do mais, cada uma das fileiras no arranjo de pixels da unidade sensora 10 é referida como uma linha, e os dados de pixel com base em um sinal de pixel transmitido a partir de cada um dos pixels incluídos na linha irão formar os dados de imagem da linha. A operação em que a unidade sensora 10 transmite um sinal de pixel correspondente à luz aplicada na superfície de recepção de luz é referida
14 / 149 como formação de imagem. A unidade sensora 10 controla a exposição no momento da formação de imagem e o ganho (ganho analógico) do sinal de pixel de acordo com o sinal de controle da formação de imagem suprido a partir do controlador do sensor 11 descrito a seguir.
[0099] Constituído com um microprocessador, por exemplo, o controlador do sensor 11 controla a leitura dos dados de pixel a partir da unidade sensora 10, e transmite os dados de pixel com base em cada um dos sinais de pixel lidos a partir de cada um dos pixels incluídos no quadro. Os dados de pixel transmitidos a partir do controlador do sensor 11 são passados para a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14.
[00100] Além do mais, o controlador do sensor 11 gera um sinal de controle da formação de imagem para controlar a formação de imagem na unidade sensora 10. O controlador do sensor 11 gera o sinal de controle da formação de imagem de acordo com as instruções provenientes da unidade de processamento de reconhecimento 12 e da unidade de processamento de reconhecimento visual 14, que serão descritas a seguir, por exemplo. O sinal de controle da formação de imagem contém a informação que indica os supradescritos exposição e ganho analógico definidos no momento da formação de imagem na unidade sensora 10. O sinal de controle da formação de imagem contém adicionalmente um sinal de controle (sinal de sincronismo vertical, sinal de sincronismo horizontal ou similares) usado pela unidade sensora 10 para realizar a operação de formação de imagem. O controlador do sensor 11 supre o sinal de controle da formação de imagem gerado para a unidade sensora 10.
[00101] A unidade óptica 30 é provida para aplicar a luz proveniente do objeto na superfície de recepção de luz da unidade sensora 10 e fica disposta em uma posição correspondente à unidade sensora 10, por exemplo. A unidade óptica 30 inclui, por exemplo, uma pluralidade de lentes, um
15 / 149 mecanismo de diafragma para ajustar o tamanho de uma abertura em relação à luz incidente, e um mecanismo de foco para ajustar o foco da luz aplicada em uma superfície de recepção de luz. A unidade óptica 30 pode incluir adicionalmente um mecanismo obturador (obturador mecânico) que ajusta a duração pela qual a luz é aplicada na superfície de recepção de luz. O mecanismo de diafragma, o mecanismo de foco e o mecanismo obturador da unidade óptica 30 podem ser controlados pelo controlador do sensor 11, por exemplo. Não limitado a isto, a abertura / o diafragma e o foco da unidade óptica 30 podem ser controlados a partir do exterior do aparelho de formação de imagem 1. Também é possível configurar integralmente a unidade óptica 30 com o aparelho de formação de imagem 1.
[00102] A unidade de processamento de reconhecimento 12 realiza o processamento de reconhecimento em um objeto incluído na imagem que contém os dados de pixel com base nos dados de pixel passados a partir do controlador do sensor 11. Na presente descrição, por exemplo, um processador de sinal digital (DSP) lê e executa um programa que passou por aprendizado preliminar usando os dados de treinamento e que é armazenado como um modelo de aprendizado na memória 13, desse modo, realizando a unidade de processamento de reconhecimento 12 como uma unidade de aprendizado de máquina que realiza o processo de reconhecimento usando uma rede neural profunda (DNN). A unidade de processamento de reconhecimento 12 pode instruir o controlador do sensor 11 a ler os dados de pixel necessários para o processo de reconhecimento a partir da unidade sensora 10. O resultado do reconhecimento obtido pela unidade de processamento de reconhecimento 12 é passado para o controlador de saída
15.
[00103] A unidade de processamento de reconhecimento visual 14 executa o processamento para obter uma imagem adequada para o reconhecimento humano nos dados de pixel passados a partir do controlador
16 / 149 do sensor 11, e transmite os dados de imagem que contêm um conjunto de dados de pixel, por exemplo. Por exemplo, um processador de sinal de imagem (ISP) lê e executa um programa armazenado antecipadamente na memória (não ilustrada), desse modo, realizando a unidade de processamento de reconhecimento visual 14.
[00104] Por exemplo, em um caso em que um filtro de cor for provido para cada um dos pixels incluídos na unidade sensora 10 e os dados de pixel tiverem tipos individuais de informação de cor, a saber, a informação de vermelho (R), verde (G), e azul (B), a unidade de processamento de reconhecimento visual 14 pode executar um processo de desmosaicação, um processo de equilíbrio de branco ou similares. Além do mais, a unidade de processamento de reconhecimento visual 14 pode instruir o controlador do sensor 11 a ler os dados de pixel necessários para o processo de reconhecimento visual a partir da unidade sensora 10. Os dados de imagem em que os dados de pixel passaram pelo processamento de imagem realizado pela unidade de processamento de reconhecimento visual 14 são passados para o controlador de saída 15.
[00105] O controlador de saída 15 é constituído com um microprocessador, por exemplo, e transmite um ou ambos do resultado do reconhecimento passado a partir da unidade de processamento de reconhecimento 12 e dos dados de imagem passados como um resultado do processamento do reconhecimento visual a partir da unidade de processamento de reconhecimento visual 14 para o exterior do aparelho de formação de imagem 1. O controlador de saída 15 pode transmitir os dados de imagem para uma unidade de exibição 31 que tem um dispositivo de exibição, por exemplo. Isto habilita que o usuário reconheça visualmente os dados de imagem exibidos pela unidade de exibição 31. A unidade de exibição 31 pode ser construída no aparelho de formação de imagem 1 ou pode ser provida no exterior do aparelho de formação de imagem 1.
17 / 149
[00106] As figuras 2A e 2B são diagramas esquemáticos que ilustram um exemplo de uma configuração de hardware do aparelho de formação de imagem 1 de acordo com cada uma das modalidades. A figura 2A em um exemplo em que a unidade sensora 10, o controlador do sensor 11, a unidade de processamento de reconhecimento 12, a memória 13, a unidade de processamento de reconhecimento visual 14 e o controlador de saída 15, dentre os componentes da figura 1, são montados em um chip 2. Note que a figura 2A omite a ilustração da memória 13 e do controlador de saída 15 para simplificação.
[00107] Na configuração ilustrada na figura 2A, o resultado do reconhecimento obtido pela unidade de processamento de reconhecimento 12 é transmitido para o exterior do chip 2 por meio do controlador de saída 15 (não ilustrado). Além do mais, na configuração da figura 2A, a unidade de processamento de reconhecimento 12 pode adquirir os dados de pixel para uso no reconhecimento do controlador do sensor 11 por meio de uma interface interna do chip 2.
[00108] A figura 2B é um exemplo em que a unidade sensora 10, o controlador do sensor 11, a unidade de processamento de reconhecimento visual 14 e o controlador de saída 15, dentre os componentes da figura 1, são montados em um chip 2, e a unidade de processamento de reconhecimento 12 e a memória 13 (não ilustrada) ficam dispostas no exterior do chip 2. A figura 2B também omite a ilustração da memória 13 e do controlador de saída 15 para simplificação, similarmente à figura 2A.
[00109] Na configuração da figura 2B, a unidade de processamento de reconhecimento 12 adquire os dados de pixel a serem usados para o reconhecimento por meio de uma interface provida para a comunicação interchips. Além do mais, na figura 2B, o resultado do reconhecimento obtido pela unidade de processamento de reconhecimento 12 é transmitido a partir da unidade de processamento de reconhecimento 12 diretamente para o exterior,
18 / 149 mas o método de transmissão não é limitado a este exemplo. Isto é, na configuração da figura 2B, a unidade de processamento de reconhecimento 12 pode retornar o resultado do reconhecimento para o chip 2 e pode realizar o controle para transmitir o resultado a partir do controlador de saída 15 (não ilustrado) montado no chip 2.
[00110] Na configuração ilustrada na figura 2A, a unidade de processamento de reconhecimento 12 é montada no chip 2 juntamente com o controlador do sensor 11, o que habilita que a comunicação em alta velocidade entre a unidade de processamento de reconhecimento 12 e o controlador do sensor 11 seja executada pela interface interna do chip 2. Por outro lado, a configuração ilustrada na figura 2A tem uma dificuldade na substituição da unidade de processamento de reconhecimento 12, levando a uma dificuldade na mudança do processo de reconhecimento. Ao contrário, a unidade de processamento de reconhecimento 12 na configuração ilustrada na figura 2B é provida no exterior do chip 2, e há uma necessidade de realizar a comunicação entre a unidade de processamento de reconhecimento 12 e o controlador do sensor 11 por meio de uma interface entre os chips. Isto torna a comunicação entre a unidade de processamento de reconhecimento 12 e o controlador do sensor 11 mais lenta do que na configuração ilustrada na figura 2A, levando a uma possibilidade de uma ocorrência de atraso no controle. Por outro lado, a unidade de processamento de reconhecimento 12 pode ser facilmente substituída e, assim, vários processos de reconhecimento podem ser implementados.
[00111] A seguir, a menos que de outra forma especificada, o aparelho de formação de imagem 1 tem uma configuração que inclui a unidade sensora 10, o controlador do sensor 11, a unidade de processamento de reconhecimento 12, a memória 13, a unidade de processamento de reconhecimento visual 14 e o controlador de saída 15, que são montados em um chip 2 na figura 2A.
19 / 149
[00112] Na configuração ilustrada na figura 2A supradescrita, o aparelho de formação de imagem 1 pode ser formado em um substrato. Não limitado a isto, o aparelho de formação de imagem 1 pode ser implementado como um CIS empilhado em que uma pluralidade de chips semicondutores é empilhada e integralmente formada.
[00113] Como um exemplo, o aparelho de formação de imagem 1 pode ser formado para ter uma estrutura de duas camadas em que os chips semicondutores são empilhados em duas camadas. A figura 3A é um diagrama que ilustra um exemplo em que o aparelho de formação de imagem 1 de acordo com cada uma das modalidades é formado como um CIS empilhado com uma estrutura de duas camadas. Na estrutura da figura 3A, uma unidade de pixel 20a é formada em um chip semicondutor na primeira camada, e uma memória + unidade lógica 20b é formada em um chip semicondutor na segunda camada. A unidade de pixel 20a inclui pelo menos um arranjo de pixels na unidade sensora 10. Por exemplo, a memória + unidade lógica 20b inclui o controlador do sensor 11, a unidade de processamento de reconhecimento 12, a memória 13, a unidade de processamento de reconhecimento visual 14 e o controlador de saída 15, bem como uma interface provida para a comunicação entre o aparelho de formação de imagem 1 e o exterior. A memória + unidade lógica 20b inclui adicionalmente uma parte do ou todo o circuito de acionamento que aciona o arranjo de pixels na unidade sensora 10. Além do mais, embora não ilustrado, a memória + unidade lógica 20b pode incluir adicionalmente a memória usada pela unidade de processamento de reconhecimento visual 14 para o processamento dos dados de imagem.
[00114] Como ilustrado no lado direito da figura 3A, o chip semicondutor da primeira camada e o chip semicondutor da segunda camada são ligados em conjunto, ao mesmo tempo em que têm contato elétrico um com o outro, o que habilita que o aparelho de formação de imagem 1 seja
20 / 149 configurado como um elemento de formação de imagem em estado sólido.
[00115] Como um outro exemplo, o aparelho de formação de imagem 1 pode ser formado para ter uma estrutura de três camadas em que os chips semicondutores são empilhados em três camadas. A figura 3B é um diagrama que ilustra um exemplo em que o aparelho de formação de imagem 1 de acordo com cada uma das modalidades é formado como um CIS empilhado com uma estrutura de três camadas. Na estrutura da figura 3B, uma unidade de pixel 20a é formada em um chip semicondutor na primeira camada, uma unidade de memória 20c é formada em um semicondutor na segunda camada, e uma unidade lógica 20b’ é formada em um chip semicondutor na terceira camada. Neste caso, a unidade lógica 20b’ inclui o controlador do sensor 11, a unidade de processamento de reconhecimento 12, a unidade de processamento de reconhecimento visual 14, o controlador de saída 15, e a interface provida para a comunicação entre o aparelho de formação de imagem 1 e o exterior, por exemplo. Além do mais, a unidade de memória 20c pode incluir a memória 13 e a memória usada pela unidade de processamento de reconhecimento visual 14 para o processamento dos dados de imagem, por exemplo. A memória 13 pode ser incluída na unidade lógica 20b’.
[00116] Como ilustrado no lado direito da figura 3B, o chip semicondutor da primeira camada, o chip semicondutor da segunda camada e o chip semicondutor da terceira camada são ligados em conjunto, ao mesmo tempo em que têm contato elétrico uns com os outros, o que habilita que o aparelho de formação de imagem 1 seja configurado como um elemento de formação de imagem em estado sólido.
[00117] A figura 4 é um diagrama de blocos que ilustra uma configuração de um exemplo da unidade sensora 10 aplicável em cada uma das modalidades. Na figura 4, a unidade sensora 10 inclui uma unidade do arranjo de pixels 101, uma unidade de escaneamento vertical 102, uma unidade de conversão analógico para digital (AD) 103, uma linha do sinal de
21 / 149 pixel 106, uma linha do sinal vertical VSL, uma unidade de controle 1100, e uma unidade de processamento de sinal 1101. Na figura 4, a unidade de controle 1100 e a unidade de processamento de sinal 1101 podem ser incluídas no controlador do sensor 11 ilustrado na figura 1, por exemplo.
[00118] A unidade do arranjo de pixels 101 inclui uma pluralidade de circuitos de pixel 100, cada um dos quais incluindo um elemento de conversão fotoelétrica que usa um fotodiodo, por exemplo, que realiza a conversão fotoelétrica na luz recebida, e um circuito que realiza a leitura de uma carga do elemento de conversão fotoelétrica. Na unidade do arranjo de pixels 101, a pluralidade dos circuitos de pixel 100 é arranjada em uma matriz na direção horizontal (direção da linha) e na direção vertical (direção da coluna). Na unidade do arranjo de pixels 101, o arranjo dos circuitos de pixel 100 na direção da fileira é referido como uma linha. Por exemplo, em um caso em que uma imagem de um quadro for formada por 1.920 pixels x 1.080 linhas, a unidade do arranjo de pixels 101 inclui pelo menos 1.080 linhas incluindo pelo menos 1.920 circuitos de pixel 100. Um sinal de pixel lido a partir do circuito de pixel 100 incluído no quadro forma uma imagem (uma peça de dados de imagem) de um quadro.
[00119] A seguir, uma operação de leitura de um sinal de pixel a partir de cada um dos circuitos de pixel 100 incluídos no quadro na unidade sensora 10 será descrita como uma operação de leitura de um pixel a partir do quadro, conforme apropriado. Além do mais, uma operação de leitura de um sinal de pixel a partir de cada um dos circuitos de pixel 100 da linha incluída no quadro será descrita como uma operação de leitura de uma linha, conforme apropriado.
[00120] Além do mais, na unidade do arranjo de pixels 101, a linha do sinal de pixel 106 é conectada em cada uma das linhas e a linha do sinal vertical VSL é conectada em cada uma das colunas, considerando as linhas e as colunas de cada um dos circuitos de pixel 100. Uma extremidade da linha
22 / 149 do sinal de pixel 106 que não é conectada na unidade do arranjo de pixels 101 é conectada na unidade de escaneamento vertical 102. A unidade de escaneamento vertical 102 transmite um sinal de controle, tal como um pulso de acionamento usado no momento da leitura de um sinal de pixel a partir de um pixel, para a unidade do arranjo de pixels 101 por meio da linha do sinal de pixel 106 sob o controle da unidade de controle 1100 descrita a seguir. A extremidade da linha do sinal vertical VSL que não é conectada na unidade do arranjo de pixels 101 é conectada na unidade de conversão AD 103. O sinal de pixel lido a partir do pixel é transmitido para a unidade de conversão AD 103 por meio da linha do sinal vertical VSL.
[00121] O controle de leitura do sinal de pixel proveniente do circuito de pixel 100 será esquematicamente descrito. A leitura de um sinal de pixel proveniente do circuito de pixel 100 é realizada em processos de transferência da carga armazenada no elemento de conversão fotoelétrica pela exposição à camada de difusão flutuante (FD) e pela conversão da carga transferida na camada de difusão flutuante em uma voltagem. A voltagem convertida a partir da carga na camada de difusão flutuante é transmitida para a linha do sinal vertical VSL por meio de um amplificador.
[00122] Mais especificamente, o circuito de pixel 100 é definido, durante a exposição, para desativar (abrir) a conexão entre o elemento de conversão fotoelétrica e a camada de difusão flutuante para armazenar a carga gerada pela luz incidente pela conversão fotoelétrica no elemento de conversão fotoelétrica. Depois do final da exposição, a camada de difusão flutuante e a linha do sinal vertical VSL são conectadas de acordo com um sinal de seleção suprido por meio da linha do sinal de pixel 106. Além do mais, a camada de difusão flutuante é conectada na linha de suprimento da voltagem do suprimento de energia VDD ou da voltagem em nível de preto em um curto período de tempo de acordo com um pulso de redefinição suprido por meio da linha do sinal de pixel 106 para redefinir a camada de
23 / 149 difusão flutuante. A voltagem no nível de redefinição (definida como voltagem A) da camada de difusão flutuante é transmitida para a linha do sinal vertical VSL. Posteriormente, o pulso de transferência suprido por meio da linha do sinal de pixel 106 ativa (fecha) a conexão entre o elemento de conversão fotoelétrica e a camada de difusão flutuante para transferir a carga elétrica armazenada no elemento de conversão fotoelétrica para a camada de difusão flutuante. Uma voltagem (definida como voltagem B) correspondente à quantidade de carga na camada de difusão flutuante é transmitida para a linha do sinal vertical VSL.
[00123] A unidade de conversão AD 103 inclui um conversor AD 107 provido para cada uma das linhas do sinal vertical VSL, um gerador do sinal de referência 104 e uma unidade de escaneamento horizontal 105. O conversor AD 107 é um conversor AD de coluna que realiza um processo de conversão AD em cada uma das colunas da unidade do arranjo de pixels 101. O conversor AD 107 realiza o processo de conversão AD no sinal de pixel suprido a partir do circuito de pixel 100 por meio da linha do sinal vertical VSL e, desse modo, gera dois valores digitais (valores correspondentes às Voltagens A e B usadas no processo de amostragem dupla correlacionada (CDS) para a redução de ruído.
[00124] O conversor AD 107 supre os dois valores digitais gerados para a unidade de processamento de sinal 1101. A unidade de processamento de sinal 1101 realiza o processo CDS com base nos dois valores digitais supridos a partir do conversor AD 107 e, desse modo, gera um sinal de pixel (uma peça de dados de pixel) formado de um sinal digital. Os dados de pixel gerados pela unidade de processamento de sinal 1101 são transmitidos para o exterior da unidade sensora 10.
[00125] Com base no sinal de controle inserido a partir da unidade de controle 1100, o gerador do sinal de referência 104 gera um sinal de rampa como um sinal de referência, que é usado por cada um dos conversores AD
24 / 149 107 para converter o sinal de pixel em dois valores digitais. O sinal de rampa é um sinal em que o nível (valor de voltagem) diminui com uma inclinação constante em relação ao tempo ou um sinal em que o nível diminui gradualmente. O gerador do sinal de referência 104 supre o sinal de rampa gerado para cada conversor AD 107. O gerador do sinal de referência 104 é configurado pelo uso de um conversor digital para analógico (DAC) ou similares.
[00126] Quando um sinal de rampa em que a voltagem cai gradualmente com uma inclinação predeterminada for suprido a partir do gerador do sinal de referência 104, o contador inicia a contagem de acordo com o sinal do relógio. Um comparador compara a voltagem do sinal de pixel suprido a partir da linha do sinal vertical VSL com a voltagem do sinal de rampa, e para a contagem pelo contador no sincronismo em que a voltagem do sinal de rampa cruza a voltagem do sinal de pixel. O conversor AD 107 transmite um valor correspondente ao valor de contagem no momento em que a contagem é interrompida, desse modo, convertendo o sinal de pixel que é o sinal analógico em um valor digital.
[00127] O conversor AD 107 supre os dois valores digitais gerados para a unidade de processamento de sinal 1101. A unidade de processamento de sinal 1101 realiza o processo CDS com base nos dois valores digitais supridos a partir do conversor AD 107 e, desse modo, gera um sinal de pixel (uma peça de dados de pixel) formado de um sinal digital. O sinal de pixel que é o sinal digital gerado pela unidade de processamento de sinal 1101 é transmitido para o exterior da unidade sensora 10.
[00128] Sob o controle da unidade de controle 1100, a unidade de escaneamento horizontal 105 realiza o escaneamento seletivo em que cada um dos conversores AD 107 é selecionado em uma ordem predeterminada para transmitir sequencialmente cada um dos valores digitais temporariamente mantidos em cada um dos conversores AD 107 para a unidade de
25 / 149 processamento de sinal 1101. A unidade de escaneamento horizontal 105 é implementada como um registro de deslocamento ou um decodificador de endereço, por exemplo.
[00129] Com base no sinal de controle da formação de imagem suprido a partir do controlador do sensor 11, a unidade de controle 1100 realiza o controle de acionamento da unidade de escaneamento vertical 102, da unidade de conversão AD 103, do gerador do sinal de referência 104, da unidade de escaneamento horizontal 105 ou similares. A unidade de controle 1100 gera vários sinais de acionamento que fazem uma referência para a operação da unidade de escaneamento vertical 102, da unidade de conversão AD 103, do gerador do sinal de referência 104 e da unidade de escaneamento horizontal
105. Com base no sinal de sincronismo vertical ou no sinal de gatilho externo, e no sinal de sincronismo horizontal, incluídos no sinal de controle da formação de imagem, por exemplo, a unidade de controle 1100 gera um sinal de controle a ser suprido pela unidade de escaneamento vertical 102 para cada um dos circuitos de pixel 100 por meio da linha do sinal de pixel 106. A unidade de controle 1100 supre o sinal de controle gerado para a unidade de escaneamento vertical 102.
[00130] Além do mais, a unidade de controle 1100 passa, por exemplo, a informação que indica um ganho analógico incluído no sinal de controle da formação de imagem suprido a partir do controlador do sensor 11 para a unidade de conversão AD 103. Com base na informação que indica o ganho analógico, a unidade de conversão AD 103 controla o ganho do sinal de pixel inserido em cada um dos conversores AD 107 incluídos na unidade de conversão AD 103 por meio da linha do sinal vertical VSL.
[00131] Com base no sinal de controle suprido a partir da unidade de controle 1100, a unidade de escaneamento vertical 102 supre vários sinais, incluindo um pulso de acionamento na linha do sinal de pixel 106 da fileira de pixel selecionada da unidade do arranjo de pixels 101, para cada um dos
26 / 149 circuitos de pixel 100 linha por linha, para permitir que o sinal de pixel seja transmitido a partir de cada um dos circuitos de pixel 100 para a linha do sinal vertical VSL. A unidade de escaneamento vertical 102 é implementada como um registro de deslocamento ou um decodificador de endereço, por exemplo. Além do mais, a unidade de escaneamento vertical 102 controla a exposição em cada um dos circuitos de pixel 100 com base na informação que indica a exposição suprida a partir da unidade de controle 1100.
[00132] A unidade sensora 10 configurada desta maneira é um sensor de imagem de semicondutor de óxido de metal complementar (CMOS) tipo AD de coluna em que os conversores AD 107 são arranjados em colunas. [2. Exemplos de tecnologias existentes aplicáveis na presente descrição]
[00133] Antes da descrição de cada uma das modalidades de acordo com a presente descrição, as tecnologias existentes aplicáveis na presente descrição serão esboçadas a fim de facilitar o entendimento. (2-1. Visão geral do obturador de rolamento)
[00134] Os métodos de formação de imagem conhecidos usados na execução da formação de imagem pela unidade do arranjo de pixels 101 incluem um método do obturador de rolamento (RS) e um método do obturador global (GS). Primeiro, o método do obturador de rolamento será esquematicamente descrito. As figuras 5A, 5B, e 5C são vistas esquemáticas que ilustram o método do obturador de rolamento. No método do obturador de rolamento, conforme ilustrado na figura 5A, a formação de imagem é realizada na ordem a partir da linha 201 em uma extremidade superior de um quadro 200, por exemplo, em unidades de linhas.
[00135] A descrição acima descreveu “formação de imagem” como a representação de uma operação em que a unidade sensora 10 transmite um sinal de pixel correspondente à luz aplicada na superfície de recepção de luz. Mais especificamente, a “formação de imagem” é usada para representar uma série de operações começando a partir da exposição de um pixel até a
27 / 149 transferência do sinal de pixel com base na carga armazenada pela exposição ao elemento de conversão fotoelétrica incluído no pixel para o controlador do sensor 11. Além do mais, como descrito acima, um quadro se refere a uma região da unidade do arranjo de pixels 101 em que o circuito de pixel 100 válido para gerar um sinal de pixel é arranjado.
[00136] Por exemplo, na configuração da figura 4, a exposição é simultaneamente executada para cada um dos circuitos de pixel 100 incluídos em uma linha. Depois do final da exposição, os sinais de pixel com base nas cargas armazenadas pela exposição são simultaneamente transferidos em cada um dos circuitos de pixel 100 incluídos na linha por meio de cada uma das linhas do sinal vertical VSL correspondentes a cada um dos circuitos de pixel
100. Pela execução sequencial desta operação em unidades de linha, é possível implementar a formação de imagem com um obturador de rolamento.
[00137] A figura 5B ilustra esquematicamente um exemplo de um relacionamento entre a formação de imagem e o tempo no método do obturador de rolamento. Na figura 5B, o eixo geométrico vertical representa a posição da linha e o eixo geométrico horizontal representa o tempo. No método do obturador de rolamento, já que a exposição para cada uma das linhas é realizada sequencialmente na ordem das linhas, o sincronismo de exposição em cada uma das linhas desloca sequencialmente com a posição da linha, conforme ilustrado na figura 5B. Portanto, por exemplo, em um caso em que o relacionamento posicional horizontal entre o aparelho de formação de imagem 1 e o objeto mudar em alta velocidade, a imagem capturada do quadro 200 é distorcida, conforme ilustrado na figura 5C. No exemplo da figura 5C, a imagem 202 correspondente ao quadro 200 é uma imagem inclinada em um ângulo correspondente à velocidade e à direção da mudança no relacionamento posicional horizontal entre o aparelho de formação de imagem 1 e o objeto.
[00138] No método do obturador de rolamento, também é possível
28 / 149 reduzir as linhas para a formação de imagem. As figuras 6A, 6B, e 6C são vistas esquemáticas que ilustram a redução de linha no método do obturador de rolamento. Conforme ilustrado na figura 6A, similarmente ao exemplo da figura 5A supradescrito, a formação de imagem é realizada em unidades de linha a partir da linha 201 na extremidade superior do quadro 200 na direção da extremidade inferior do quadro 200. Neste momento, a formação de imagem é realizada ao mesmo tempo em que se ignora as linhas em números predeterminados.
[00139] Aqui, a título de explicação, considera-se que a formação de imagem é realizada em cada outra linha pela realização da redução de uma linha. Isto é, depois da formação de imagem da n-ésima linha, a formação de imagem da linha (n + 2) é realizada. Neste momento, o tempo da formação de imagem da n-ésima linha até a formação de imagem da linha (n + 2) é considerado igual ao tempo da formação de imagem da n-ésima linha até a formação de imagem da linha (n + 1) quando a redução não for realizada.
[00140] A figura 6B ilustra esquematicamente um exemplo de um relacionamento entre a formação de imagem e o tempo em que a redução de uma linha é realizada no método do obturador de rolamento. Na figura 6B, o eixo geométrico vertical representa a posição da linha e o eixo geométrico horizontal representa o tempo. Na figura 6B, a exposição A corresponde à exposição da figura 5B sem redução, e a exposição B ilustra a exposição quando a redução de uma linha for realizada. Conforme ilustrada na exposição B, a execução da redução de linha torna possível reduzir o desvio do sincronismo de exposição na mesma posição da linha, se comparado com o caso em que a redução de linha não é executada. Portanto, da forma ilustrada como a imagem 203 na figura 6C, a distorção na direção da inclinação que ocorre na imagem do quadro capturado 200 é menor, se comparada com o caso em que a redução de linha ilustrada na figura 5C não é realizada. Por outro lado, a resolução da imagem quando a redução de linha for realizada é
29 / 149 inferior, se comparada com o caso em que a redução de linha não é realizada.
[00141] A descrição acima é um exemplo do método do obturador de rolamento em que a formação de imagem é realizada sequencialmente na ordem das linhas da extremidade superior até a extremidade inferior do quadro 200. Entretanto, o presente foi descrito, mas a presente descrição não é limitada a este exemplo. As figuras 7A e 7B são diagramas que ilustram esquematicamente os exemplos de outros métodos de formação de imagem no método do obturador de rolamento. Por exemplo, conforme ilustrado na figura 7A, é possível, no método do obturador de rolamento, realizar a formação de imagem sequencialmente na ordem das linhas da extremidade inferior até a extremidade superior do quadro 200. Neste caso, a direção da distorção da imagem 202 na direção horizontal seria oposta à direção no caso em que as imagens têm imagem formada sequencialmente na ordem das linhas da extremidade superior até a extremidade inferior de outro quadro 200.
[00142] Além do mais, pela definição do alcance da linha do sinal vertical VSL usada para a transferência do sinal de pixel, por exemplo, também é possível ler seletivamente uma parte da linha. Além do mais, pela definição individualmente da linha usada para a formação de imagem e da linha do sinal vertical VSL usada para a transferência do sinal de pixel, também é possível definir as linhas inicial/final da formação de imagem em posições diferentes da extremidade superior e da extremidade inferior do quadro 200. A figura 7B ilustra esquematicamente um exemplo em que uma região 205 que tem um formato retangular e largura e altura menores do que a largura e a altura do quadro 200 é definida como um alcance da formação de imagem. No exemplo da figura 7B, a formação de imagem é realizada sequencialmente na ordem das linhas a partir da linha 204 na extremidade superior da região 205 na direção da extremidade inferior da região 205. (2-2. Visão geral do obturador global)
[00143] A seguir, o método do obturador global (GS) será
30 / 149 esquematicamente descrito como um método de formação de imagem no momento da formação de imagem pelo uso da unidade do arranjo de pixels
101. As figuras 8A, 8B, e 8C são vistas esquemáticas que ilustram o método de obturador global. Conforme ilustrado na figura 8A, o método de obturador global expõe simultaneamente todos os circuitos de pixel 100 incluídos no quadro 200.
[00144] Quando o método de obturador global for implementado na configuração da figura 4, é concebível, como um exemplo, usar uma configuração dos circuitos de pixel 100 em que um capacitor é adicionalmente provido entre o elemento de conversão fotoelétrica e a FD. Além do mais, a configuração inclui adicionalmente um primeiro comutador provido entre o elemento de conversão fotoelétrica e o capacitor, e um segundo comutador provido entre o capacitor e a camada de difusão flutuante, individualmente, e a abertura e o fechamento de cada um do primeiro e do segundo comutadores são controlados pelos pulsos supridos por meio da linha do sinal de pixel 106.
[00145] Em uma configuração como esta, em todos os circuitos de pixel 100 incluídos no quadro 200, o primeiro e o segundo comutadores são definidos para abrir durante o período de exposição e, então, na conclusão da exposição, o primeiro comutador é comutado do estado aberto para fechado para transferir a carga do elemento de conversão fotoelétrica para o capacitor. Posteriormente, com o capacitor considerado como um elemento de conversão fotoelétrica, a carga será lida a partir do capacitor na sequência similar à sequência usada na operação de leitura para o método do obturador de rolamento supradescrito. Isto torna possível realizar a exposição simultânea em todos os circuitos de pixel 100 incluídos no quadro 200.
[00146] A figura 8B ilustra esquematicamente um exemplo de um relacionamento entre a formação de imagem e o tempo no método de obturador global. Na figura 8B, o eixo geométrico vertical representa a
31 / 149 posição da linha e o eixo geométrico horizontal representa o tempo. No método de obturador global, a exposição é realizada simultaneamente em todos os circuitos de pixel 100 incluídos no quadro 200. Isto torna possível obter o sincronismo de exposição que é o mesmo para cada uma das linhas, conforme ilustrado na figura 8B. Portanto, por exemplo, mesmo em um caso em que o relacionamento posicional horizontal entre o aparelho de formação de imagem 1 e o objeto mudar em alta velocidade, uma imagem 206 capturada no quadro 200 não tem distorção devido à mudança, conforme ilustrado na figura 8C.
[00147] O método de obturador global torna possível garantir a simultaneidade do sincronismo de exposição em todos os circuitos de pixel 100 incluídos no quadro 200. Portanto, pelo controle do sincronismo de cada um dos pulsos supridos pela linha do sinal de pixel 106 de cada uma das linhas e do sincronismo de transferência por cada uma das linhas do sinal vertical VSL, é possível alcançar a amostragem (leitura do sinal de pixel) em vários padrões.
[00148] As figuras 9A e 9B são diagramas que ilustram esquematicamente um exemplo de um padrão de amostragem que pode ser alcançado no método de obturador global. A figura 9A é um exemplo em que uma amostra 208 da leitura do sinal de pixel é extraída em um padrão xadrez a partir de cada um dos circuitos de pixel 100 arranjados em uma matriz incluída no quadro 200. Além do mais, a figura 9B é um exemplo de extração da amostra 208 da leitura do sinal de pixel a partir de cada um dos circuitos de pixel 100 em um padrão de grade. Além do mais, no método de obturador global, também, a formação de imagem pode ser realizada sequencialmente na ordem das linhas similarmente ao método do obturador de rolamento supradescrito. (2-3. Rede neural profunda (DNN))
[00149] A seguir, um processo de reconhecimento usando uma rede
32 / 149 neural profunda (DNN) aplicável em cada uma das modalidades será esquematicamente descrito. Em cada uma das modalidades, o processo de reconhecimento para os dados de imagem é realizado pelo uso de uma rede neural convolucional (CNN) e uma rede neural recorrente (RNN), em particular, entre as DNNs. A seguir, o “processo de reconhecimento para os dados de imagem” será referido como um “processo de reconhecimento de imagem” ou similares, conforme apropriado. (2-3-1. Visão geral da CNN)
[00150] Primeiro, uma CNN será descrita esquematicamente. No processo de reconhecimento de imagem usando uma CNN, um processo de reconhecimento de imagem é realizado com base na informação de imagem provida por pixels arranjados em uma matriz. A figura 10 é um diagrama que ilustra esquematicamente um processo de reconhecimento de imagem realizado por uma CNN. A informação de pixel 51 para a íntegra de uma imagem 50 que inclui um desenho de um número “8”, que é um objeto como um alvo de reconhecimento, é processada por uma CNN 52 que foi treinada de uma maneira predeterminada. Com este processo, o número “8” é reconhecido como um resultado do reconhecimento 53.
[00151] Ao contrário, também é possível aplicar o processo pela CNN com base em uma imagem para cada uma das linhas para obter o resultado do reconhecimento a partir de uma parte da imagem como um alvo de reconhecimento. A figura 11 é um diagrama que ilustra esquematicamente um processo de reconhecimento de imagem de obter um resultado do reconhecimento a partir de uma parte da imagem como um alvo de reconhecimento. Na figura 11, uma imagem 50’ é uma imagem parcialmente adquirida do número “8”, que é um objeto como um alvo de reconhecimento, obtida em unidades de linha. Por exemplo, as informações de pixel 54a, 54b, e 54c para as linhas individuais que formam a informação de pixel 51’ de uma imagem 50’ são sequencialmente processadas por uma CNN 52’ que foi
33 / 149 treinada de uma maneira predeterminada.
[00152] Por exemplo, aqui há um caso considerável em que um resultado do reconhecimento 53a obtido pelo processo de reconhecimento realizado pela CNN 52’ para a informação de pixel 54a da primeira linha não é um resultado do reconhecimento válido. Aqui, um resultado do reconhecimento válido se refere a um resultado do reconhecimento para o qual um escore que indica a confiabilidade do resultado reconhecido é um valor predeterminado ou mais alto. A CNN 52’ realiza uma atualização do estado interno 55 com base neste resultado do reconhecimento 53a. A seguir, a informação de pixel 54b da segunda linha passa por um processo de reconhecimento realizado pela CNN 52’, que realizou a atualização do estado interno 55 com base no resultado do reconhecimento prévio 53a. Na figura 11, em decorrência deste processo, um resultado do reconhecimento 53b que indica que o número como o alvo de reconhecimento é tanto “8” quanto “9” foi obtido. Além do mais, com base neste resultado do reconhecimento 53b, a informação interna da CNN 52’ é atualizada 55. A seguir, a informação de pixel 54c da terceira linha passa por um processo de reconhecimento realizado pela CNN 52’, que realizou a atualização do estado interno 55 com base no resultado do reconhecimento prévio 53b. Em decorrência disto, na figura 11, o número como o alvo de reconhecimento é restringido em “8” dentre “8” ou “9”.
[00153] Aqui, o processo de reconhecimento ilustrado na figura 11 atualiza o estado interno da CNN usando o resultado do processo de reconhecimento prévio. A seguir, a CNN cujo estado interno foi atualizado usa a informação de pixel da linha adjacente à linha na qual o processo de reconhecimento prévio foi realizado para realizar o processo de reconhecimento. Isto é, o processo de reconhecimento ilustrado na figura 11 é executado sequencialmente na ordem das linhas para a imagem com o estado interno da CNN atualizado com base no resultado do reconhecimento prévio.
34 / 149 Portanto, o processo de reconhecimento ilustrado na figura 11 é um processo que é recorrentemente executado sequencialmente na ordem das linhas e pode ser considerado tendo uma estrutura equivalente ao processo de uma RNN. (2-3-2. Visão geral da RNN)
[00154] A seguir, a RNN será descrita esquematicamente. As figuras 12A e 12B são diagramas que ilustram esquematicamente um exemplo de um processo de identificação (processo de reconhecimento) realizado por uma DNN quando a informação da série de tempo não for usada. Neste caso, uma imagem é inserida em uma DNN, conforme ilustrado na figura 12A. A DNN realiza um processo de identificação na imagem inserida e transmite um resultado da identificação.
[00155] A figura 12B é um diagrama para prover uma ilustração mais específica do processo da figura 12A. Conforme ilustrada na figura 12B, a DNN executa um processo de extração de característica e um processo de identificação. A DNN realiza um processo de extração de característica na imagem inserida, desse modo, extraindo os dados de característica da imagem. Além do mais, a DNN executa o processo de identificação nos dados de característica extraídos e obtém o resultado da identificação.
[00156] As figuras 13A e 13B são diagramas que ilustram esquematicamente um primeiro exemplo de um processo de identificação realizado por uma DNN quando a informação da série de tempo for usada. Nos exemplos das figuras 13A e 13B, o processo de identificação com a DNN é realizado usando um número fixo de informações passadas na série de tempo. No exemplo da figura 13A, uma imagem [T] no tempo T, uma imagem [T-1] no tempo T-1 antes do tempo T, e uma imagem [T-2] no tempo T-2 antes do tempo T-1 são inseridas na DNN. A DNN executa um processo de identificação em cada uma das imagens inseridas [T], [T-1], e [T-2], desse modo, obtendo um resultado da identificação [T] no tempo T.
[00157] A figura 13B é um diagrama para prover uma ilustração mais
35 / 149 específica do processo da figura 13A. Conforme ilustrada na figura 13B, a DNN executa o processo de extração de característica descrito em relação à figura 12B acima em cada uma das imagens inseridas [T], [T-1], e [T-2], desse modo, extraindo as peças de dados de característica individualmente correspondentes às imagens [T], [T-1], e [T-2]. A DNN integra os dados de característica obtidos com base nestas imagens [T], [T-1], e [T-2], e executa adicionalmente um processo de identificação nos dados de característica integrados, desse modo, obtendo um resultado da identificação [T] no tempo T.
[00158] Os métodos das figuras 13A e 13B tornarão necessário ter uma pluralidade de configurações para realizar a extração dos dados de característica, bem como necessário ter uma configuração para realizar a extração dos dados de característica de acordo com o número de imagens passadas usáveis, levando à ampliação da configuração da DNN.
[00159] As figuras 14A e 14B são diagramas que ilustram esquematicamente um segundo exemplo de um processo de identificação realizado por uma DNN quando a informação da série de tempo for usada. No exemplo da figura 14A, uma imagem [T] no tempo T é inserida na DNN cujo estado interno foi atualizado para o estado do tempo T-1, desse modo, obtendo um resultado da identificação [T] no tempo T.
[00160] A figura 14B é um diagrama para prover uma ilustração mais específica do processo da figura 14A. Conforme ilustrada na figura 14B, a DNN executa o processo de extração de característica supradescrito em relação à figura 12B na imagem inserida [T] no tempo T, desse modo, extraindo os dados de característica correspondentes à imagem [T]. Na DNN, o estado interno foi atualizado pela imagem antes do tempo T, e os dados de característica relacionados ao estado interno atualizado são retidos. A característica relacionada à informação interna retida e os dados de característica na imagem [T] são integrados, e o processo de identificação é
36 / 149 executado nos dados de característica integrados.
[00161] O processo de identificação ilustrado nas figuras 14A e 14B é executado usando a DNN cujo estado interno foi atualizado usando o resultado da identificação imediatamente precedente e, assim, é um processo recorrente. Uma DNN que realiza um processo recorrente desta maneira é referida como uma rede neural recorrente (RNN). O processo de identificação realizado pela RNN é tipicamente usado no reconhecimento de imagem em movimento ou similares, em que é possível melhorar a precisão da identificação pela atualização sequencialmente do estado interno da DNN com uma imagem de quadro atualizada em série de tempo, por exemplo.
[00162] Na presente descrição, as RNNs são aplicadas nas estruturas do método do obturador de rolamento. Isto é, no método do obturador de rolamento, os sinais de pixel são lidos sequencialmente na ordem das linhas. Os sinais de pixel lidos sequencialmente na ordem das linhas são aplicados na RNN como informação na série de tempo. Isto torna possível executar o processo de identificação com base em uma pluralidade de linhas com uma configuração menor, se comparado com o caso de uso de uma CNN (consulte a figura 13B). Não limitado a isto, uma RNN também pode ser aplicada na estrutura do método de obturador global. Neste caso, por exemplo, é concebível considerar linhas adjacentes como informação em série de tempo. (2-4. Velocidade de acionamento)
[00163] A seguir, um relacionamento entre a velocidade de acionamento de quadro e a quantidade de leitura do sinal de pixel será descrito em relação às figuras 15A e 15B. A figura 15A é um diagrama que ilustra um exemplo de leitura de todas as linhas na imagem. Aqui, considera- se que a resolução da imagem como um alvo do processo de reconhecimento é 640 pixels horizontalmente x 480 pixels verticalmente (480 linhas). Neste caso, durante o acionamento em uma velocidade de acionamento de 14.400 [linhas/seg], é possível transmitir em 30 [quadros por segundo (fps)].
37 / 149
[00164] A seguir, aqui há um caso considerável de realização de formação de imagem ao mesmo tempo em que se reduzem as linhas. Por exemplo, conforme ilustrado na figura 15B, considera-se que a formação de imagem é realizada por ignorar cada outra linha, a saber, a formação de imagem é realizada pela leitura usando 1/2 redução. Como um primeiro exemplo de 1/2 redução, o acionamento em uma velocidade de acionamento de 14.400 [linhas/seg] da forma supradescrita divide ao meio o número de linhas lidas a partir da imagem. Embora a resolução seja reduzida, é possível alcançar uma transmissão na taxa de 60 [fps], que é duas vezes mais rápida que um caso sem redução, levando à melhoria da taxa de quadro. Um segundo exemplo de 1/2 redução é um caso em que o acionamento é realizado em uma velocidade de acionamento de 7.200 [fps], que é a metade do primeiro exemplo. Neste caso, embora a taxa de quadro seja 30 [fps] similarmente ao caso sem redução, a economia de energia é alcançada.
[00165] Durante a leitura de uma linha da imagem, é possível selecionar se a redução não é realizada, se a redução é realizada para aumentar a velocidade de acionamento ou se a redução é realizada e a velocidade de acionamento é mantida na mesma velocidade do caso sem redução, de acordo com o propósito do processo de reconhecimento com base no sinal de pixel para leitura. [3. Visão geral da presente descrição]
[00166] A seguir, cada uma das modalidades da presente descrição será descrita com mais detalhes. Primeiro, os processos de acordo com cada uma das modalidades da presente descrição serão esquematicamente descritos. A figura 16 é um diagrama esquemático que ilustra esquematicamente um processo de reconhecimento de acordo com cada uma das modalidades da presente descrição. Na figura 16, na Etapa S1, um aparelho de formação de imagem 1 (consulte a figura 1) de acordo com cada uma das modalidades inicia a formação de imagem de uma imagem alvo, como um alvo de
38 / 149 reconhecimento.
[00167] Note que a imagem alvo é uma imagem em que há um número “8” escrito a mão, por exemplo. Além do mais, como pré-condições, a memória 13 armazena preliminarmente um modelo de aprendizado treinado para poder identificar os números por dados de treinamento predeterminados, como um programa, e a unidade de processamento de reconhecimento 12 lê este programa a partir da memória 13 e executa o programa, desse modo, habilitando a identificação dos números incluídos na imagem. Além do mais, o aparelho de formação de imagem 1 deve realizar a formação de imagem pelo método do obturador de rolamento. Mesmo quando o aparelho de formação de imagem 1 realizar a formação de imagem pelo método de obturador global, os seguintes processos podem ser aplicados similarmente ao caso do método do obturador de rolamento.
[00168] Quando a formação de imagem for iniciada, o aparelho de formação de imagem 1 lê sequencialmente o quadro em unidades de linha a partir do lado da extremidade superior até o lado da extremidade inferior do quadro na Etapa S2.
[00169] Quando a linha for lida até uma certa posição, a unidade de processamento de reconhecimento 12 identifica os números “8” ou “9” a partir da imagem das linhas lidas (Etapa S3). Por exemplo, os números “8” e “9” incluem uma característica comum à parte da metade superior. Desta maneira, em um ponto em que a linha é lida na ordem a partir do topo e a característica é reconhecida, o objeto reconhecido pode ser identificado tanto como o número “8” quanto como o número “9”.
[00170] Aqui, conforme ilustrada na Etapa S4a, a íntegra da figura do objeto reconhecido aparece pela leitura até a linha na extremidade inferior do quadro ou a linha próxima da extremidade inferior, e o objeto que foi identificado como qualquer um dos números “8” ou “9” na Etapa S2 é agora determinado como o número “8”.
39 / 149
[00171] Ao contrário, as Etapas S4b e S4c são processos relacionados à presente descrição.
[00172] Conforme ilustrado na Etapa S4b, quando a linha for lida adicionalmente a partir da posição da linha lida na Etapa S3, o objeto reconhecido pode ser identificado como o número “8” mesmo antes de alcançar a extremidade inferior do número “8”. Por exemplo, a metade inferior do número “8” e a metade inferior do número “9” têm características diferentes. Pela leitura da linha até a parte que esclarece a diferença na característica, é possível identificar se o objeto reconhecido na Etapa S3 é o número “8” ou “9”. No exemplo da figura 16, o objeto é determinado como o número “8” na Etapa S4b.
[00173] Além do mais, conforme ilustrado na Etapa S4c, também é concebível ler adicionalmente a partir da posição da linha da Etapa S3 no estado da Etapa S3 para pular para uma posição da linha em que o objeto identificado na Etapa S3 parece poder ser determinado tanto como o número “8” quanto como o número “9”. Pela leitura da linha alcançada pelo pulo, é possível determinar se o objeto identificado na Etapa S3 é o número “8” ou “9”. A posição da linha alcançada pelo pulo pode ser determinada com base em um modelo de aprendizado preliminarmente treinado com base em dados de treinamento predeterminados.
[00174] Aqui, em um caso em que o objeto for identificado na Etapa S4b ou na Etapa S4c supradescritas, o aparelho de formação de imagem 1 pode terminar o processo de reconhecimento. Isto torna possível encurtar o processo de reconhecimento e poupar a energia no aparelho de formação de imagem 1.
[00175] Note que os dados de treinamento são os dados que contêm uma pluralidade de combinações de sinais de entrada e de sinais de saída para cada unidade de leitura. Como um exemplo, na tarefa de identificação de números supradescrita, os dados para cada unidade de leitura (dados de linha,
40 / 149 dados subamostrados ou similares) são aplicáveis como um sinal de entrada, e os dados que indicam um “número correto” são aplicáveis como um sinal de saída. Como um outro exemplo, em uma tarefa de detecção de um objeto, os dados para cada unidade de leitura (dados de linha, dados subamostrados ou similares) são aplicáveis como um sinal de entrada, e uma classe de objeto (humano/veículo/não objeto), coordenadas do objeto (x, y, h, w) ou similares são aplicáveis como um sinal de saída. Além do mais, o sinal de saída pode ser gerado apenas a partir do sinal de entrada pelo uso de aprendizado auto supervisionado. [4. Primeira modalidade]
[00176] A seguir, uma primeira modalidade da presente descrição será descrita. (4-1. Exemplo de operação na unidade de processamento de reconhecimento)
[00177] No aparelho de formação de imagem 1 de acordo com uma primeira modalidade, como descrito acima, a unidade de processamento de reconhecimento 12 lê e executa um programa armazenado na memória 13 como um modelo de aprendizado treinado em antecipação com base em dados de treinamento predeterminados, desse modo, funcionando como um reconhecedor usando uma DNN.
[00178] A figura 17 é um fluxograma que ilustra um exemplo de um processo de reconhecimento realizado pela unidade de processamento de reconhecimento 12 de acordo com a primeira modalidade. Na figura 17, na Etapa S121, o DSP que constitui a unidade de processamento de reconhecimento 12 no aparelho de formação de imagem 1 lê o modelo de aprendizado a partir da memória 13 e executa o mesmo. Com estes processos, o DSP funciona como a unidade de processamento de reconhecimento 12.
[00179] A seguir, na Etapa S122, a unidade de processamento de reconhecimento 12 no aparelho de formação de imagem 1 instrui o controlador do sensor 11 a iniciar a leitura de um quadro a partir da unidade
41 / 149 sensora 10. Nesta leitura de quadro, por exemplo, um quadro de dados de imagem é lido sequencialmente em unidades de linha (também referidas como unidades de fileira). A unidade de processamento de reconhecimento 12 determina se um número de linhas predeterminado dos dados de imagem em um quadro foi lido.
[00180] Quando a unidade de processamento de reconhecimento 12 determinar que os dados de imagem de um número de linhas predeterminado em um quadro foram lidos (Etapa S123, “SIM”), a unidade de processamento de reconhecimento 12 prossegue para o processo da Etapa S124. Na Etapa S124, a unidade de processamento de reconhecimento 12 executa um processo de reconhecimento como um processo de aprendizado de máquina usando uma CNN nos dados de imagem lidos no número de linhas predeterminado. Isto é, a unidade de processamento de reconhecimento 12 executa um processo de aprendizado de máquina usando um modelo de aprendizado nos dados de imagem de um número de linhas predeterminado como uma região de unidade. O processo de aprendizado de máquina usando uma CNN inclui a execução de vários processos de reconhecimento ou de detecção, tais como detecção de face, autenticação de face, detecção da linha de visão, reconhecimento da expressão facial, detecção da direção da face, detecção de objeto, reconhecimento de objeto, detecção de movimento (corpo em movimento), detecção de animal de estimação, reconhecimento de cena, detecção de estado, reconhecimento de objeto alvo de evitação e outros processos.
[00181] Aqui, a detecção de face é um processo de detecção da face de uma pessoa incluída nos dados de imagem. A autenticação de face é uma de autenticação biométrica, e é um processo de autenticação se a face de uma pessoa incluída nos dados de imagem corresponde à face de uma pessoa registrada em antecipação. A detecção da linha de visão é um processo de detecção da direção da linha de visão de uma pessoa incluída nos dados de
42 / 149 imagem. O reconhecimento da expressão facial é um processo de reconhecimento da expressão facial de uma pessoa incluída nos dados de imagem. A detecção da direção da face é um processo de detecção da direção para cima/para baixo da face de uma pessoa incluída nos dados de imagem. A detecção de objeto é um processo de detecção de um objeto incluído nos dados de imagem. O reconhecimento de objeto é um processo de reconhecimento de o que é um objeto incluído nos dados de imagem. A detecção de movimento (corpo em movimento) é um processo de detecção de um corpo em movimento incluído nos dados de imagem. A detecção de animal de estimação é um processo de detecção de um animal de estimação, tais como um cão ou um gato, incluído nos dados de imagem. O reconhecimento de cena é um processo de reconhecimento de uma cena (mar, montanha ou similares) que é fotografada. A detecção de estado é um processo de detecção de um estado (estado normal, estado anormal ou similares) de uma pessoa ou similares incluídos nos dados de imagem. O reconhecimento de objeto alvo de evitação é um processo de reconhecimento de um objeto como um alvo de evitação que existe na frente da direção de deslocamento em um caso em que a pessoa se mover. O processo de aprendizado de máquina executado pela unidade de processamento de reconhecimento 12 não é limitado a estes exemplos.
[00182] Na Etapa S125, a unidade de processamento de reconhecimento 12 determina se o processo de aprendizado de máquina usando a CNN na Etapa S124 é bem-sucedido. Quando a unidade de processamento de reconhecimento 12 determinar que o processo de aprendizado de máquina usando a CNN é bem-sucedido (Etapa S125, “SIM”), a unidade de processamento de reconhecimento 12 prossegue para o processo da Etapa S129. Ao contrário, quando a unidade de processamento de reconhecimento 12 determinar que o processo de aprendizado de máquina usando a CNN na Etapa S124 é uma falha (Etapa S125, “NÃO”), a unidade
43 / 149 de processamento de reconhecimento 12 prossegue para o processo da Etapa S126. Na Etapa S126, a unidade de processamento de reconhecimento 12 espera pelo próximo número de linhas predeterminado dos dados de imagem a serem lidos a partir do controlador do sensor 11 (Etapa S126, “NÃO”).
[00183] Nesta descrição, um sucesso no processo de aprendizado de máquina significa que um certo resultado da detecção, resultado do reconhecimento ou autenticação foi obtido na detecção de face, na autenticação de face ou similares, conforme ilustrado anteriormente, por exemplo. Ao contrário, uma falha no processo de aprendizado de máquina significa que resultados da detecção, resultados do reconhecimento e autenticação suficientes não foram obtidos na detecção de face, na autenticação de face ou similares, conforme ilustrado anteriormente, por exemplo,
[00184] A seguir, na Etapa S126, quando o próximo número de linhas predeterminado dos dados de imagem (região de unidade) for lido (Etapa S126, “SIM”), a unidade de processamento de reconhecimento 12 executa na Etapa S127 o processo de aprendizado de máquina usando uma RNN no número de linhas predeterminado dos dados de imagem lidos. O processo de aprendizado de máquina usando uma RNN também utiliza os resultados do processo de aprendizado de máquina usando a CNN ou a RNN executado até aqui, para os dados de imagem do mesmo quadro.
[00185] Em um caso de ter determinado na Etapa S128 que o processo de aprendizado de máquina usando a RNN na Etapa S127 é bem-sucedido (Etapa S128, “SIM”), a unidade de processamento de reconhecimento 12 prossegue para o processo até a etapa S129.
[00186] Na Etapa S129, a unidade de processamento de reconhecimento 12 supre o resultado do aprendizado de máquina obtido com sucesso na Etapa S124 ou na Etapa S127, por exemplo, a partir da unidade de processamento de reconhecimento 12 para o controlador de saída 15. O
44 / 149 resultado do aprendizado de máquina transmitido na Etapa S129 é um resultado do reconhecimento válido obtido pela unidade de processamento de reconhecimento 12, por exemplo. A unidade de processamento de reconhecimento 12 pode armazenar o resultado do aprendizado de máquina na memória 13.
[00187] Além do mais, quando a unidade de processamento de reconhecimento 12 determinar na Etapa S128 que o processo de aprendizado de máquina usando a RNN na Etapa S127 é uma falha (Etapa S128, “NÃO”), a unidade de processamento de reconhecimento 12 prossegue para o processo da Etapa S130. Na Etapa S130, a unidade de processamento de reconhecimento 12 determina se a leitura dos dados de imagem para um quadro está completa. Quando tiver determinado que a leitura dos dados de imagem para um quadro não está completa (Etapa S130, “NÃO”), a unidade de processamento de reconhecimento 12 retorna o processo para a etapa S126, em que o processo para o próximo número de linhas predeterminado dos dados de imagem será executado.
[00188] Ao contrário, quando a unidade de processamento de reconhecimento 12 determinar na Etapa S130 que a leitura dos dados de imagem para um quadro está completa (Etapa S130, “SIM”), a unidade de processamento de reconhecimento 12 determina se termina a série de processos do fluxograma na figura 17 na Etapa S131. Quando a unidade de processamento de reconhecimento 12 determinar não terminar o processo (Etapa S131, “NÃO”), a unidade de processamento de reconhecimento 12 retorna o processo para a etapa S122 e executa as operações similares no próximo quadro. Quando a unidade de processamento de reconhecimento 12 determinar terminar o processo (Etapa S131, “SIM”), a unidade de processamento de reconhecimento 12 termina a série de processos do fluxograma da figura 17.
[00189] A determinação em relação a se prossegue-se para o próximo
45 / 149 quadro na Etapa S131 pode ser feita com base em se uma instrução de término foi inserida a partir do exterior do aparelho de formação de imagem 1 ou com base em se a série de processos para o número predeterminado de quadros dos dados de imagem foi concluída.
[00190] Além do mais, há uma situação considerável em que os processos de aprendizado de máquina, tais como detecção de face, autenticação de face, detecção da linha de visão, reconhecimento da expressão facial, detecção da direção da face, detecção de objeto, reconhecimento de objeto, detecção de movimento (corpo em movimento), reconhecimento de cena ou detecção de estado, são realizados sucessivamente. Nesta situação, em um caso em que o processo de aprendizado de máquina anterior for uma falha, o último processo de aprendizado de máquina pode ser ignorado. Por exemplo, quando a autenticação de face precisar ser executada depois da detecção de face, o último processo de autenticação de face pode ser ignorado em um caso em que a detecção de face tiver sido uma falha. (4-2. Exemplo específico das operações na unidade de processamento de reconhecimento)
[00191] A seguir, as operações da unidade de aprendizado de máquina descritas em relação à figura 17 serão descritas em relação a exemplos específicos. A seguir, um caso em que a detecção de face é executada usando a DNN será ilustrado.
[00192] A figura 18 é uma vista que ilustra um exemplo de dados de imagem para um quadro. A figura 19 é uma vista que ilustra um fluxo de um processo de aprendizado de máquina executado pela unidade de processamento de reconhecimento 12 de acordo com a primeira modalidade.
[00193] Quando a detecção de face for executada para os dados de imagem, conforme ilustrada na figura 18, pelo aprendizado de máquina, conforme ilustrado na Seção (a) da figura 19, a unidade de processamento de reconhecimento 12 primeiro recebe uma entrada de um número de linhas
46 / 149 predeterminado dos dados de imagem (correspondente à Etapa S123 na figura 17). Pela execução de um processo de aprendizado de máquina usando uma CNN no número de linhas predeterminado dos dados de imagem que foram inseridos, a unidade de processamento de reconhecimento 12 executa a detecção de face (correspondente à Etapa S124 na figura 17). Entretanto, já que os dados de imagem da íntegra da face ainda não foram inseridos no estágio da Seção (a) da figura 19, a unidade de processamento de reconhecimento 12 falha na detecção de face (correspondente a “NÃO” na Etapa S125 da figura 17).
[00194] Subsequentemente, conforme ilustrado na Seção (b) da figura 19, um próximo número de linhas predeterminado dos dados de imagem é inserido na unidade de processamento de reconhecimento 12 (correspondente à Etapa S126 da figura 17). Durante a utilização do resultado do processo de aprendizado de máquina usando a CNN executada no número de linhas predeterminado dos dados de imagem inseridos na Seção (a) da figura 19, a unidade de processamento de reconhecimento 12 executa o processo de aprendizado de máquina usando uma RNN no número de linhas predeterminado recentemente inserido dos dados de imagem, desse modo, executando a detecção de face (correspondente à Etapa S127 na figura 17).
[00195] No estágio da Seção (b) da figura 19, os dados de imagem da íntegra da face são inseridos juntamente com um número de linhas predeterminado dos dados de pixel inseridos no estágio da Seção (a) da figura
19. Desta maneira, no estágio da Seção (b) da figura 19, a unidade de processamento de reconhecimento 12 é bem-sucedida na detecção de face (correspondente a “SIM” na Etapa S128 da figura 17). Isto faz com que esta operação transmita um resultado da detecção de face sem leitura da próxima e subsequentes peças de dados de imagem (dados de imagem nas Seções (c) até (f) da figura 19) (correspondente à Etapa S129 na figura 17).
[00196] Desta maneira, pela execução do processo de aprendizado de
47 / 149 máquina usando uma DNN para o número de linhas predeterminado dos dados de imagem, é possível omitir a leitura dos dados de imagem e a execução do processo de aprendizado de máquina depois do ponto em que a detecção de face é bem-sucedida. Isto torna possível completar os processos, tais como detecção, reconhecimento e autenticação, em um tempo curto, levando à redução do tempo de processamento e do consumo de energia.
[00197] O número de linhas predeterminado é o número de linhas determinado pelo tamanho de um filtro exigido pelo algoritmo do modelo de aprendizado, e o número mínimo é uma linha.
[00198] Além do mais, os dados de imagem lidos a partir da unidade sensora 10 pelo controlador do sensor 11 podem ser os dados de imagem reduzidos em pelo menos uma da direção da coluna e da direção da linha. Neste caso, por exemplo, quando os dados de imagem forem lidos em cada outra linha na direção da coluna, os dados de imagem na 2(N-1) + ésima (N é um número inteiro de 1 ou maior) linha serão lidos.
[00199] Além do mais, em um caso em que o filtro exigido pelo algoritmo do modelo de aprendizado for formado não em unidades de unidade de linha, mas formado como uma região retangular em unidades de pixels, tais como 1 x 1 pixel ou 5 x 5 pixels, os dados de imagem em uma região retangular correspondente ao formato e ao tamanho do filtro podem ser inseridos na unidade de processamento de reconhecimento 12 em vez do número de linhas predeterminado dos dados de imagem como os dados de imagem para uma região de unidade na qual a unidade de processamento de reconhecimento 12 executa o processo de aprendizado de máquina.
[00200] Além do mais, embora o acima ilustre a CNN e a RNN como exemplos da DNN, a presente descrição não é limitada às mesmas, e outros modelos de aprendizado podem ser usados. (4-3. Exemplo de aplicação da primeira modalidade)
[00201] A seguir, um exemplo de aplicação da primeira modalidade
48 / 149 será descrito. Aqui, como um exemplo de aplicação da primeira modalidade, o seguinte é um exemplo de controle da exposição em um número de linhas predeterminado nas quais a próxima leitura deve ser realizada com base no resultado do processo de aprendizado de máquina realizado pela CNN na Etapa S124 do fluxograma da figura 17 e no resultado do processo de aprendizado de máquina realizado pela RNN na Etapa S127, por exemplo. As figuras 20A e 20B são vistas esquemáticas que ilustram um exemplo de aplicação da primeira modalidade.
[00202] A Seção (a) da figura 20A é uma vista esquemática que ilustra um exemplo de uma imagem 60a que é sobre exposta. A sobre-exposição da imagem 60a faz com que a imagem 60a apareça esbranquiçada como um todo. Por exemplo, um monitor 62 como um objeto incluído na imagem 60a tem um fenômeno referido como destaque explodido na tela, tornando difícil para o olho humano distinguir os detalhes. Por outro lado, uma pessoa 61 como um outro objeto incluído na imagem 60a fica ligeiramente esbranquiçada devido à sobre-exposição, mas aparece facilmente identificável pelo olho humano, se comparada com o monitor 62.
[00203] A Seção (b) da figura 20A é uma vista esquemática que ilustra um exemplo de uma imagem 60b que é subexposta. A subexposição da imagem 60b faz com que a imagem 60b apareça escurecida como um todo. Por exemplo, a pessoa 61 visível na imagem 60a é agora difícil de identificar pelo olho humano. Por outro lado, o monitor 62 incluído na imagem 60b pode ser identificado com detalhes pelo olho humano, se comparado com a imagem 60a.
[00204] A figura 20B é um diagrama esquemático que ilustra um método de leitura de acordo com um exemplo de aplicação da primeira modalidade. As Seções (a) e (b) da figura 20B ilustram um caso em que a leitura de quadro é iniciada em um estado subexposto na Etapa S122 do fluxograma da figura 17 supradescrito.
49 / 149
[00205] A Seção (a) da figura 20B ilustra um método de leitura de acordo com um primeiro exemplo no exemplo de aplicação da primeira modalidade. Uma imagem 60c da Seção (a) da figura 20B indica, por exemplo, que o processo de reconhecimento usando a CNN na Etapa S124 em relação a uma linha L nº 1 no topo de um quadro falhou ou um escore que representa a confiabilidade do resultado do reconhecimento é um valor predeterminado ou menor. Neste caso, a unidade de processamento de reconhecimento 12 instrui o controlador do sensor 11 a definir a exposição de uma linha L nº 2 a ser lida na Etapa S126 em uma exposição adequada para o processo de reconhecimento (neste caso, definir em uma quantidade de exposição maior). Na figura 20B, as linhas L nº 1, L nº 2 e assim por diante podem ser uma linha individual ou podem ser uma pluralidade de linhas adjacentes umas às outras.
[00206] No exemplo na Seção (a) da figura 20B, a quantidade de exposição para a linha L nº 2 é maior do que a quantidade de exposição da linha L nº 1. É considerado, neste caso, que o resultado é a sobre-exposição da linha L nº 2 e o processo de reconhecimento usando a RNN na Etapa S127 falhou ou o escore é um valor predeterminado ou menor. A unidade de processamento de reconhecimento 12 instrui o controlador do sensor 11 a definir a quantidade de exposição para a linha L nº 3 a ser lida depois que o processo retornar da Etapa S130 para a etapa S126 para ser menor do que a quantidade de exposição para a linha L nº 2. Similarmente, a quantidade de exposição da próxima linha será sequencialmente definida, também, para as linhas L nº 4, ... L nº m, ... de acordo com o resultado do processo de reconhecimento.
[00207] Desta maneira, pelo ajuste da quantidade de exposição da linha a ser lida a seguir com base no resultado do reconhecimento de uma certa linha, é possível executar o processo de reconhecimento com precisão mais alta.
50 / 149
[00208] Além do mais, como uma aplicação adicional do exemplo de aplicação acima, conforme ilustrada na Seção (b) da figura 20B, há um método concebível de redefinição da exposição em um ponto em que a leitura é constituída em uma linha predeterminada e, então, execução da leitura novamente a partir da primeira linha do quadro. Conforme ilustrada na Seção (b) da figura 20B, a unidade de processamento de reconhecimento 12 lê a partir da linha L nº 1 no topo do quadro até a linha L nº m, por exemplo, similarmente à Seção (a) supradescrita (1º), e redefine a exposição com base no resultado do reconhecimento. A unidade de processamento de reconhecimento 12 lê as linhas individuais L nº 1, L nº 2 e assim por diante novamente para o quadro com base na exposição redefinida (2º).
[00209] Desta maneira, a exposição é redefinida com base no resultado da leitura de um número de linhas predeterminado, e as linhas L nº 1, L nº 2, ... serão lidas novamente a partir do topo do quadro com base na exposição redefinida, tornando possível executar o processo de reconhecimento com precisão mais alta. [5. Segunda modalidade] (5-0-1. Exemplo de configuração de acordo com a segunda modalidade)
[00210] A seguir, uma segunda modalidade da presente descrição será descrita. A segunda modalidade é uma extensão do processo de reconhecimento de acordo com a primeira modalidade supradescrita. A figura 21 é um diagrama de blocos funcional de um exemplo que ilustra as funções de um aparelho de formação de imagem de acordo com a segunda modalidade. Note que a figura 21 omite a ilustração da unidade óptica 30, da unidade sensora 10, da memória 13 e da unidade de exibição 31 ilustradas na figura 1. Além do mais, a figura 21 tem um gerador de gatilho 16 que é adicionado na configuração da figura 1.
[00211] Na figura 21, o controlador do sensor 11 inclui uma unidade de leitura 110 e um controlador de leitura 111. A unidade de processamento
51 / 149 de reconhecimento 12 inclui uma unidade de cálculo dos dados de característica 120, um controlador de armazenamento dos dados de característica 121, um determinador de leitura 123, e uma unidade de execução do processo de reconhecimento 124. O controlador de armazenamento dos dados de característica 121 inclui uma unidade de armazenamento dos dados de característica 122. Além do mais, a unidade de processamento de reconhecimento visual 14 inclui um controlador de armazenamento dos dados de imagem 140, um determinador de leitura 142, e uma unidade de processamento de imagem 143. O controlador de armazenamento dos dados de imagem 140 inclui uma unidade de armazenamento dos dados de imagem 141.
[00212] No controlador do sensor 11, o controlador de leitura 111 recebe a informação da região de leitura que indica uma região de leitura para a leitura realizada pela unidade de processamento de reconhecimento 12 a partir do determinador de leitura 123 incluído na unidade de processamento de reconhecimento 12. A informação da região de leitura representa o(s) número(s) de linha de uma ou mais linhas. Não limitado a isto, a informação da região de leitura pode ser a informação que indica a posição do pixel em uma linha. Além do mais, pela provisão da informação da região de leitura obtida pela combinação de um ou mais números de linha e da informação que indica as posições de pixel de um ou mais pixels na linha, é possível designar vários padrões de regiões de leitura. A região de leitura é equivalente às unidades de leitura. Não limitado a isto, a região de leitura e as unidades de leitura podem ser diferentes.
[00213] Similarmente, o controlador de leitura 111 recebe a informação da região de leitura que indica uma região de leitura para a leitura realizada pela unidade de processamento de reconhecimento visual 14 a partir do determinador de leitura 142 incluído na unidade de processamento de reconhecimento visual 14.
52 / 149
[00214] Com base nestes determinadores de leitura 123 e 142, o controlador de leitura 111 passa a informação da região de leitura que indica a região de leitura usada para a leitura real para a unidade de leitura 110. Por exemplo, em um caso em que houver um conflito entre a informação da região de leitura recebida a partir do determinador de leitura 123 e a informação da região de leitura recebida a partir do determinador de leitura 142, o controlador de leitura 111 pode realizar a mediação e o ajuste da informação da região de leitura a ser passada para a unidade de leitura 110.
[00215] Além do mais, o controlador de leitura 111 pode receber a informação que indica a exposição e o ganho analógico a partir do determinador de leitura 123 ou do determinador de leitura 142. O controlador de leitura 111 passa a informação recebida que indica a exposição e o ganho analógico para a unidade de leitura 110.
[00216] A unidade de leitura 110 lê os dados de pixel a partir da unidade sensora 10 de acordo com a informação da região de leitura passada a partir do controlador de leitura 111. Por exemplo, a unidade de leitura 110 obtém o número de linha que indica a linha a ser lida e a informação da posição do pixel que indica a posição do pixel a ser lido na linha com base na informação da região de leitura, e passa o número de linha e a informação da posição do pixel obtidos para a unidade sensora 10. A unidade de leitura 110 passa as peças de dados de pixel individuais adquiridas a partir da unidade sensora 10 para a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14 juntamente com a informação da região de leitura.
[00217] Além do mais, a unidade de leitura 110 define a exposição e o ganho analógico (AG) para a unidade sensora 10 de acordo com a informação que indica a exposição e o ganho analógico recebida a partir do controlador de leitura 111. Além do mais, a unidade de leitura 110 pode gerar um sinal de sincronismo vertical e um sinal de sincronismo horizontal e suprir os sinais
53 / 149 gerados para a unidade sensora 10.
[00218] Na unidade de processamento de reconhecimento 12, o determinador de leitura 123 recebe a informação de leitura que indica a região de leitura a ser lida a seguir a partir do controlador de armazenamento dos dados de característica 121. O determinador de leitura 123 gera a informação da região de leitura com base na informação de leitura recebida e passa a informação gerada para o controlador de leitura 111.
[00219] Aqui, o determinador de leitura 123 pode usar, por exemplo, a informação em que a informação da posição de leitura para a leitura dos dados de pixel das unidades de leitura foi adicionada em uma unidade de leitura predeterminada como uma região de leitura indicada na informação da região de leitura. A unidade de leitura é um conjunto de um ou mais pixels, e corresponde à unidade do processo realizado pela unidade de processamento de reconhecimento 12 e pela unidade de processamento de reconhecimento visual 14. Como um exemplo, quando a unidade de leitura for uma linha, um número de linha [L nº x] que indica a posição da linha será adicionado como a informação da posição de leitura. Além do mais, quando a unidade de leitura for uma região retangular que inclui uma pluralidade de pixels, a informação que indica a posição da região retangular na unidade do arranjo de pixels 101, por exemplo, a informação que indica a posição do pixel no canto superior esquerdo será adicionada como a informação da posição de leitura. O determinador de leitura 123 designa preliminarmente a unidade de leitura a ser aplicada. Não limitado a isto, o determinador de leitura 123 também pode determinar a unidade de leitura, por exemplo, em resposta a uma instrução proveniente do exterior do determinador de leitura 123. Portanto, o determinador de leitura 123 funciona como um controlador da unidade de leitura que controla a unidade de leitura.
[00220] Note que o determinador de leitura 123 também pode determinar uma região de leitura a ser lida a seguir com base na informação
54 / 149 de reconhecimento passada a partir da unidade de execução do processo de reconhecimento 124, o que será descrito a seguir, e pode gerar a informação da região de leitura que indica a região de leitura determinada.
[00221] Similarmente, na unidade de processamento de reconhecimento visual 14, o determinador de leitura 142 recebe a informação de leitura que indica uma região de leitura a ser lida a seguir a partir do controlador de armazenamento dos dados de imagem 140, por exemplo. O determinador de leitura 142 gera a informação da região de leitura com base na informação de leitura recebida e passa a informação gerada para o controlador de leitura 111.
[00222] Na unidade de processamento de reconhecimento 12, a unidade de cálculo dos dados de característica 120 calcula os dados de característica na região indicada pela informação da região de leitura com base nos dados de pixel e na informação da região de leitura passada a partir da unidade de leitura 110. A unidade de cálculo dos dados de característica 120 passa os dados de característica calculados para o controlador de armazenamento dos dados de característica 121.
[00223] Como será descrito a seguir, a unidade de cálculo dos dados de característica 120 pode calcular os dados de característica com base nos dados de pixel passados a partir da unidade de leitura 110 e nos dados de característica anteriores passados a partir do controlador de armazenamento dos dados de característica 121. Não limitado a isto, a unidade de cálculo dos dados de característica 120 pode adquirir a informação para definir a exposição e o ganho analógico a partir da unidade de leitura 110, por exemplo, e pode usar adicionalmente a informação adquirida para calcular os dados de característica.
[00224] Na unidade de processamento de reconhecimento 12, o controlador de armazenamento dos dados de característica 121 armazena os dados de característica passados a partir da unidade de cálculo dos dados de
55 / 149 característica 120 na unidade de armazenamento dos dados de característica
122. Além do mais, quando a característica for passada a partir da unidade de cálculo dos dados de característica 120, o controlador de armazenamento dos dados de característica 121 gera a informação de leitura que indica uma região de leitura para a próxima leitura e passa a informação gerada para o determinador de leitura 123.
[00225] Aqui, o controlador de armazenamento dos dados de característica 121 pode realizar o armazenamento integrado dos dados de característica já armazenados e dos dados de característica recentemente passados. Além do mais, o controlador de armazenamento dos dados de característica 121 pode deletar os dados de característica desnecessários dos dados de característica armazenados na unidade de armazenamento dos dados de característica 122. Os exemplos dos dados de característica desnecessários podem ser os dados de característica relacionados ao quadro prévio ou os dados de característica calculados com base em uma imagem de quadro em relação a uma cena diferente da imagem de quadro em que os novos dados de característica são calculados e já armazenados. Além do mais, o controlador de armazenamento dos dados de característica 121 também pode deletar e inicializar todos os dados de característica armazenados na unidade de armazenamento dos dados de característica 122 conforme necessário.
[00226] Além do mais, o controlador de armazenamento dos dados de característica 121 gera os dados de característica a serem usados pela unidade de execução do processo de reconhecimento 124 para o processo de reconhecimento com base nos dados de característica passados a partir da unidade de cálculo dos dados de característica 120 e nos dados de característica armazenados na unidade de armazenamento dos dados de característica 122. O controlador de armazenamento dos dados de característica 121 passa os dados de característica gerados para a unidade de execução do processo de reconhecimento 124.
56 / 149
[00227] A unidade de execução do processo de reconhecimento 124 executa o processo de reconhecimento com base nos dados de característica passados a partir do controlador de armazenamento dos dados de característica 121. A unidade de execução do processo de reconhecimento 124 realiza a detecção de objeto, a detecção de face ou similares pelo processo de reconhecimento. A unidade de execução do processo de reconhecimento 124 passa o resultado do reconhecimento obtido pelo processo de reconhecimento para o controlador de saída 15. A unidade de execução do processo de reconhecimento 124 também pode passar a informação de reconhecimento que inclui o resultado do reconhecimento gerado pelo processo de reconhecimento para o determinador de leitura 123. A unidade de execução do processo de reconhecimento 124 pode receber os dados de característica a partir do controlador de armazenamento dos dados de característica 121 e executar o processo de reconhecimento, por exemplo, de acordo com a execução de um gatilho gerado pelo gerador de gatilho 16.
[00228] Neste ínterim, na unidade de processamento de reconhecimento visual 14, o controlador de armazenamento dos dados de imagem 140 recebe os dados de pixel lidos a partir da região de leitura e a informação da região de leitura correspondente aos dados de imagem a partir da unidade de leitura 110. O controlador de armazenamento dos dados de imagem 140 armazena os dados de pixel e a informação da região de leitura na unidade de armazenamento dos dados de imagem 141 em associação uns com os outros.
[00229] O controlador de armazenamento dos dados de imagem 140 gera os dados de imagem usados pela unidade de processamento de imagem 143 para realizar o processamento de imagem, com base nos dados de pixel passados a partir da unidade de leitura 110 e nos dados de imagem armazenados na unidade de armazenamento dos dados de imagem 141. O controlador de armazenamento dos dados de imagem 140 passa os dados de
57 / 149 imagem gerados para a unidade de processamento de imagem 143. Não limitado a isto, o controlador de armazenamento dos dados de imagem 140 também pode passar os dados de pixel passados a partir da unidade de leitura 110 para a unidade de processamento de imagem 143 como estão.
[00230] Além do mais, o controlador de armazenamento dos dados de imagem 140 gera a informação de leitura que indica uma região de leitura para a próxima leitura com base na informação da região de leitura passada a partir da unidade de leitura 110, e passa a informação de leitura gerada para o determinador de leitura 142.
[00231] Aqui, o controlador de armazenamento dos dados de imagem 140 pode realizar o armazenamento integrado dos dados de imagem já armazenados e dos dados de pixel recentemente passados usando ponderação de adição, por exemplo. Além do mais, o controlador de armazenamento dos dados de imagem 140 pode deletar os dados de imagem desnecessários a partir dos dados de imagem armazenados na unidade de armazenamento dos dados de imagem 141. O exemplo dos dados de imagem desnecessários pode compreender os dados de imagem relacionados ao quadro prévio ou os dados de imagem calculados com base em uma imagem de quadro em relação a uma cena diferente da imagem de quadro em que novos dados de imagem são calculados e já armazenados. Além do mais, o controlador de armazenamento dos dados de imagem 140 também pode deletar e inicializar todos os dados de imagem armazenados na unidade de armazenamento dos dados de imagem 141, conforme necessário.
[00232] Além do mais, o controlador de armazenamento dos dados de imagem 140 pode adquirir a informação para definir a exposição e o ganho analógico a partir da unidade de leitura 110, e pode armazenar os dados de imagem corrigidos usando a informação adquirida na unidade de armazenamento dos dados de imagem 141.
[00233] A unidade de processamento de imagem 143 realiza um
58 / 149 processamento de imagem predeterminado nos dados de imagem passados a partir do controlador de armazenamento dos dados de imagem 140. Por exemplo, a unidade de processamento de imagem 143 pode realizar um processo de melhoria da qualidade da imagem predeterminado nos dados de imagem. Além do mais, em um caso em que os dados de imagem passados forem os dados de imagem com os dados espacialmente reduzidos pela redução de linha ou similares, é possível usar um processo de interpolação para preencher a informação de imagem na parte reduzida. A unidade de processamento de imagem 143 passa os dados de imagem que passaram pelo processamento de imagem para o controlador de saída 15.
[00234] A unidade de processamento de imagem 143 pode receber os dados de imagem a partir do controlador de armazenamento dos dados de imagem 140 e executar o processamento de imagem, por exemplo, de acordo com a execução de um gatilho gerado pelo gerador de gatilho 16.
[00235] O controlador de saída 15 transmite um ou ambos do resultado do reconhecimento passado a partir da unidade de execução do processo de reconhecimento 124 e dos dados de imagem passados a partir da unidade de processamento de imagem 143. O controlador de saída 15 transmite um ou ambos do resultado do reconhecimento e dos dados de imagem de acordo com o gatilho gerado pelo gerador de gatilho 16, por exemplo.
[00236] Com base na informação relacionada ao processo de reconhecimento passada a partir da unidade de processamento de reconhecimento 12 e na informação relacionada ao processamento de imagem passada a partir da unidade de processamento de reconhecimento visual 14, o gerador de gatilho 16 gera os gatilhos que incluem um gatilho a ser passado para a unidade de execução do processo de reconhecimento 124, um gatilho a ser passado para a unidade de processamento de imagem 143, e um gatilho a ser passado para o controlador de saída 15. O gerador de gatilho 16 passa cada um dos gatilhos gerados para a unidade de execução do processo de
59 / 149 reconhecimento 124, a unidade de processamento de imagem 143, e o controlador de saída 15 em sincronismos predeterminados, individualmente. (5-0-2. Exemplo dos processos na unidade de processamento de reconhecimento de acordo com a segunda modalidade)
[00237] A figura 22 é um diagrama esquemático que ilustra com mais detalhes um exemplo dos processos na unidade de processamento de reconhecimento 12 de acordo com uma segunda modalidade. Aqui, considera- se que a região de leitura é uma linha, e a unidade de leitura 110 lê os dados de pixel em unidades de linha da extremidade superior até a extremidade inferior do quadro de uma imagem 60. Os dados de imagem de linha (dados de linha) da linha L nº x lida pela unidade de leitura 110 em unidades de linha serão inseridos na unidade de cálculo dos dados de característica 120.
[00238] A unidade de cálculo dos dados de característica 120 executa um processo de extração dos dados de característica 1200 e um processo de integração 1202. A unidade de cálculo dos dados de característica 120 realiza o processo de extração dos dados de característica 1200 nos dados de linha inseridos para extrair os dados de característica 1201 a partir dos dados de linha. Aqui, o processo de extração dos dados de característica 1200 extrai os dados de característica 1201 a partir dos dados de linha com base nos parâmetros obtidos pelo aprendizado em antecipação. Usando o processo de integração 1202, os dados de característica 1201 extraídos pelo processo de extração dos dados de característica 1200 são integrados com os dados de característica 1212 processados pelo controlador de armazenamento dos dados de característica 121. Os dados de característica integrados 1210 são passados para o controlador de armazenamento dos dados de característica
121.
[00239] O controlador de armazenamento dos dados de característica 121 executa um processo de atualização do estado interno 1211. Os dados de característica 1210 passados para o controlador de armazenamento dos dados
60 / 149 de característica 121 são passados para a unidade de execução do processo de reconhecimento 124 e passam pelo processo de atualização do estado interno
1211. O processo de atualização do estado interno 1211 reduz os dados de característica 1210 com base nos parâmetros aprendidos em antecipação para atualizar o estado interno da DNN, e, então, gera os dados de característica 1212 correspondentes ao estado interno atualizado. Os dados de característica 1212 são integrados com os dados de característica 1201 pelo processo de integração 1202. O processo realizado pelo controlador de armazenamento dos dados de característica 121 corresponde ao processo usando uma RNN.
[00240] A unidade de execução do processo de reconhecimento 124 executa um processo de reconhecimento 1240 nos dados de característica 1210 passados a partir do controlador de armazenamento dos dados de característica 121 com base nos parâmetros aprendidos em antecipação usando os dados de treinamento predeterminados, por exemplo, e transmite um resultado do reconhecimento.
[00241] Da forma supradescrita, com base nos parâmetros aprendidos em antecipação, a unidade de processamento de reconhecimento 12 de acordo com a segunda modalidade executa os processos, especificamente, o processo de extração dos dados de característica 1200, o processo de integração 1202, o processo de atualização do estado interno 1211, e o processo de reconhecimento 1240. O aprendizado de parâmetro é realizado usando os dados de treinamento com base em um alvo de reconhecimento considerável.
[00242] Note que as funções da unidade de cálculo dos dados de característica 120, do controlador de armazenamento dos dados de característica 121, do determinador de leitura 123 e da unidade de execução do processo de reconhecimento 124 supradescritos são implementadas quando um programa armazenado na memória 13 ou similares for lido em e executado por um DSP incluído no aparelho de formação de imagem 1, por exemplo. Similarmente, as funções do controlador de armazenamento dos
61 / 149 dados de imagem 140, do determinador de leitura 142 e da unidade de processamento de imagem 143 supradescritos são implementadas quando um programa armazenado na memória 13 ou similares for lido em e executado por um ISP incluído no aparelho de formação de imagem 1, por exemplo. Estes programas podem ser armazenados na memória 13 em antecipação ou podem ser supridos para o aparelho de formação de imagem 1 a partir do exterior e gravados na memória 13. (5-0-3. Detalhes do processo de reconhecimento de acordo com a segunda modalidade)
[00243] A seguir, a segunda modalidade será descrita com mais detalhes. A figura 23 é um diagrama de blocos funcional de um exemplo que ilustra as funções de acordo com a segunda modalidade. Já que a segunda modalidade descreve principalmente o processo de reconhecimento realizado pela unidade de processamento de reconhecimento 12, a figura 23 omite a ilustração da unidade de processamento de reconhecimento visual 14, do controlador de saída 15 e do gerador de gatilho 16, que são ilustrados na configuração da figura 21. Além do mais, a figura 23 omite a ilustração do controlador de leitura 111 a partir do controlador do sensor 11.
[00244] A figura 24 é um diagrama esquemático que ilustra um processo de leitura de quadro de acordo com a segunda modalidade. Na segunda modalidade, a unidade de leitura é uma linha, e a leitura dos dados de pixel é realizada sequencialmente na ordem das linhas para o quadro Fr(x). No exemplo da figura 24, a leitura da linha é realizada no m-ésimo quadro Fr(m) sequencialmente na ordem das linhas começando a partir da linha L nº 1 na extremidade superior do quadro Fr(m), para continuar até a linha L nº 2, L nº 3, e assim por diante. Quando a leitura de linha no quadro Fr(m) estiver completa, no próximo quadro Fr(m + 1), que é o (m + 1)-ésimo quadro, a leitura das linhas é realizada sequencialmente na ordem das linhas a partir da linha da extremidade superior L nº 1 de uma maneira similar.
62 / 149
[00245] A figura 25 é um diagrama esquemático que ilustra esquematicamente um processo de reconhecimento de acordo com a segunda modalidade. Da forma ilustrada na figura 25, o processo de reconhecimento é realizado pela execução sequencial do processo realizado por uma CNN 52’ e uma atualização da informação interna 55 para cada uma das peças da informação de pixel 54 de cada uma das linhas L nº 1, L nº 2, L nº 3 e assim por diante. Portanto, é suficiente inserir a informação de pixel 54 para uma linha na CNN 52’, tornando possível formar o reconhecedor 56 em uma escala extremamente pequena. Note que o reconhecedor 56 tem uma configuração como uma RNN em virtude de o mesmo executar os processos da CNN 52’ na informação sequencialmente inserida e realizar a atualização da informação interna 55.
[00246] Pela realização do processo de reconhecimento sequencialmente na ordem das linhas usando uma RNN, um resultado do reconhecimento válido pode ser obtido sem realizar a leitura de todas as linhas incluídas no quadro. Neste caso, a unidade de processamento de reconhecimento 12 pode terminar o processo de reconhecimento em um ponto em que um resultado do reconhecimento válido é obtido. Um exemplo de término do processo de reconhecimento no meio da leitura de quadro será descrito em relação às figuras 26 e 27.
[00247] A figura 26 é um diagrama que ilustra um caso exemplificativo em que o alvo de reconhecimento é o número “8”. No exemplo da figura 26, o número “8” é reconhecido em um ponto em que um alcance 71 de cerca de 3/4 de um quadro 70 na direção vertical foi lido. Portanto, a unidade de processamento de reconhecimento 12 pode transmitir um resultado do reconhecimento válido que indica que o número “8” é reconhecido em um ponto em que o alcance 71 foi lido, e pode terminar o processo de leitura de linha e o processo de reconhecimento para o quadro 70.
[00248] A figura 27 é um diagrama que ilustra um exemplo quando o
63 / 149 alvo de reconhecimento for uma pessoa. No exemplo da figura 27, uma pessoa 74 é reconhecida em um ponto em que um alcance 73 de cerca de 1/2 de um quadro 72 na direção vertical foi lido. Portanto, a unidade de processamento de reconhecimento 12 pode transmitir um resultado do reconhecimento válido que indica que a pessoa 74 é reconhecida em um ponto em que o alcance 73 foi lido, e pode terminar o processo de leitura de linha e o processo de reconhecimento para o quadro 72.
[00249] Desta maneira, na segunda modalidade, quando um resultado do reconhecimento válido for obtido no meio da leitura de linha para o quadro, é possível terminar o processo de leitura de linha e de reconhecimento. Isto torna possível poupar a energia no processo de reconhecimento e encurtar o tempo exigido para o processo de reconhecimento.
[00250] Embora o exposto seja um exemplo em que a leitura de linha é realizada a partir do lado da extremidade superior até o lado da extremidade inferior do quadro, a direção da leitura não é limitada a este exemplo. Por exemplo, a leitura de linha pode ser realizada do lado da extremidade inferior até o lado da extremidade superior do quadro. Isto é, um objeto que tem a existência localizada distante do aparelho de formação de imagem 1 pode, no geral, ser reconhecido anteriormente pela realização da leitura de linha do lado da extremidade superior até o lado da extremidade inferior do quadro. Ao contrário, um objeto que tem a existência no lado frontal em relação ao aparelho de formação de imagem 1 pode, no geral, ser reconhecido anteriormente pela realização da leitura de linha do lado da extremidade inferior até o lado da extremidade superior do quadro.
[00251] Por exemplo, há uma situação concebível em que o aparelho de formação de imagem 1 é instalado para a aplicação em veículo para formar a imagem da vista frontal. Neste caso, o objeto na frente (por exemplo, um veículo ou um pedestre na frente do próprio veículo) existe na parte inferior
64 / 149 da tela que terá imagem formada. Portanto, a realização da leitura de linha do lado da extremidade inferior até o lado da extremidade superior do quadro será mais efetiva. Além do mais, quando um Sistema Avançado de Assistência a Condutor (ADAS) exigir parada imediata, será necessário apenas reconhecer pelo menos um objeto correspondente. Além do mais, em um caso em que um objeto tiver sido reconhecido, a execução da leitura de linha a partir do lado da extremidade inferior do quadro novamente é considerada mais efetiva. Além do mais, há os casos em que um objeto distante deve ser priorizado, por exemplo, em uma autoestrada. Neste caso, é preferível executar a leitura de linha do lado da extremidade superior até o lado da extremidade inferior do quadro.
[00252] Além do mais, a unidade de leitura pode ser definida na direção da coluna dentre as direções da matriz (linha-coluna) na unidade do arranjo de pixels 101. Por exemplo, é concebível usar uma pluralidade de pixels arranjados em uma coluna na unidade do arranjo de pixels 101 como a unidade de leitura. A aplicação do método de obturador global como o método de formação de imagem torna possível realizar a leitura com base em coluna usando as colunas como a unidade de leitura. No método de obturador global, é possível executar a leitura pela comutação entre a leitura com base em coluna e a leitura com base em linha. Quando a leitura for fixa na leitura com base em coluna, por exemplo, é concebível rotar a unidade do arranjo de pixels 101 em 90° e usar o método do obturador de rolamento.
[00253] Por exemplo, um objeto que tem a existência no lado esquerdo do aparelho de formação de imagem 1 pode ser reconhecido anteriormente pela leitura sequencial a partir do lado da extremidade esquerda do quadro pela leitura com base em coluna. Similarmente, um objeto que tem a existência no lado direito em relação ao aparelho de formação de imagem 1 pode ser reconhecido anteriormente pela leitura sequencial a partir do lado da extremidade direita do quadro pela leitura com base em coluna.
65 / 149
[00254] Em um exemplo de uso, o aparelho de formação de imagem 1 é usado para a aplicação em veículo, por exemplo, quando o veículo estiver virando, um objeto que tem a existência no lado da virada será priorizado em alguns casos. Em um caso como este, é preferível realizar a leitura a partir da extremidade no lado da virada pela leitura com base em coluna. A direção do giro pode ser adquirida com base na informação de direção do veículo, por exemplo. Não limitado a isto, por exemplo, é possível prover o aparelho de formação de imagem 1 com um sensor capaz de detectar a velocidade angular em três direções, e de adquirir a direção do giro com base no resultado da detecção deste sensor.
[00255] A figura 28 é um fluxograma que ilustra um exemplo do processo de reconhecimento de acordo com a segunda modalidade. O processo de acordo com o fluxograma da figura 28 é um processo correspondente à leitura dos dados de pixel na unidade de leitura (por exemplo, uma linha) a partir de um quadro, por exemplo. Aqui, considera-se que a unidade de leitura é uma linha. Por exemplo, a informação da região de leitura pode ser representada por um número de linha que indica uma linha a ser lida.
[00256] Na Etapa S100, a unidade de processamento de reconhecimento 12 lê os dados de linha a partir da linha indicada pela linha de leitura do quadro. Mais especificamente, na unidade de processamento de reconhecimento 12, o determinador de leitura 123 passa o número de linha em relação à linha a ser lida a seguir para o controlador do sensor 11. No controlador do sensor 11, a unidade de leitura 110 lê os dados de pixel da linha indicada pelo número de linha a partir da unidade sensora 10 como os dados de linha de acordo com o número de linha passado. A unidade de leitura 110 passa os dados de linha lidos a partir da unidade sensora 10 para a unidade de cálculo dos dados de característica 120. Além do mais, a unidade de leitura 110 passa a informação da região de leitura (por exemplo, um
66 / 149 número de linha) que indica a região usada para a leitura dos dados de pixel para a unidade de cálculo dos dados de característica 120.
[00257] Na próxima Etapa S101, a unidade de cálculo dos dados de característica 120 calcula os dados de característica com base nos dados de linha com base nos dados de pixel passados a partir da unidade de leitura 110, e calcula os dados de característica da linha. Na próxima Etapa S102, a unidade de cálculo dos dados de característica 120 adquire os dados de característica armazenados na unidade de armazenamento dos dados de característica 122 a partir do controlador de armazenamento dos dados de característica 121. Na próxima Etapa S103, a unidade de cálculo dos dados de característica 120 integra os dados de característica calculados na Etapa S101 e os dados de característica adquiridos a partir do controlador de armazenamento dos dados de característica 121 na Etapa S102. Os dados de característica integrados são passados para o controlador de armazenamento dos dados de característica 121. O controlador de armazenamento dos dados de característica 121 armazena os dados de característica integrados passados a partir da unidade de cálculo dos dados de característica 120 na unidade de armazenamento dos dados de característica 122 (Etapa S104).
[00258] Note que uma série de processos a partir da Etapa S100 é o processo para a primeira linha de um quadro e, assim, quando a unidade de armazenamento dos dados de característica 122 for inicializada, por exemplo, os processos nas Etapas S102 e S103 podem ser omitidos. Neste momento, o processo de acordo com a etapa S104 é um processo de acúmulo dos dados de linha de característica calculados com base na primeira linha na unidade de armazenamento dos dados de característica 122.
[00259] Além do mais, o controlador de armazenamento dos dados de característica 121 passa os dados de característica integrados passados a partir da unidade de cálculo dos dados de característica 120 para a unidade de execução do processo de reconhecimento 124, também. Na Etapa S105, a
67 / 149 unidade de execução do processo de reconhecimento 124 executa o processo de reconhecimento usando os dados de característica integrados passados a partir do controlador de armazenamento dos dados de característica 121. Na próxima Etapa S106, a unidade de execução do processo de reconhecimento 124 transmite o resultado do reconhecimento do processo de reconhecimento da Etapa S105.
[00260] Na Etapa S107, o determinador de leitura 123 na unidade de processamento de reconhecimento 12 determina uma linha de leitura para realizar a próxima leitura de acordo com a informação de leitura passada a partir do controlador de armazenamento dos dados de característica 121. Por exemplo, o controlador de armazenamento dos dados de característica 121 recebe a informação da região de leitura juntamente com os dados de característica a partir da unidade de cálculo dos dados de característica 120. Com base nesta informação da região de leitura, o controlador de armazenamento dos dados de característica 121 determina uma linha de leitura a ser lida a seguir de acordo com, por exemplo, um padrão de leitura predeterminado (sequencialmente na ordem das linhas, neste exemplo). O processo a partir da Etapa S100 é executado novamente para a linha de leitura determinada. (5-0-4. Exemplo de controle dos processos de leitura e de reconhecimento de acordo com a segunda modalidade)
[00261] A seguir, um exemplo do controle de um processo de leitura e de reconhecimento de acordo com uma segunda modalidade será descrito. As figuras 29A e 29B são cronogramas que ilustram um exemplo do controle do processo de leitura e de reconhecimento de acordo com a segunda modalidade. Os exemplos das figuras 29A e 29B são os exemplos em que um tempo em branco blk durante o qual nenhuma operação de formação de imagem é realizada é provido em um período de formação de imagem (um período de quadro). As figuras 29A e 29B ilustram que o tempo passa para a
68 / 149 direita.
[00262] A figura 29A ilustra um exemplo de atribuição de 1/2 do período de formação de imagem continuamente ao tempo em branco blk. Na figura 29A, o período de formação de imagem corresponde a um período de quadro, que é 1/30 [seg], por exemplo. A leitura do quadro a partir da unidade sensora 10 é realizada neste período de quadro. O tempo de formação de imagem é uma duração de tempo exigida para formar a imagem de todas as linhas incluídas no quadro. No exemplo da figura 29A, considera-se que o quadro inclui n linhas, e a formação de imagem de n linhas da linha L nº 1 até a linha L nº n está completa em 1/60 [seg], que é 1/2 do período de quadro de 1/30 [seg]. A duração de tempo atribuída à formação de imagem de uma linha é 1/(60 x n) [seg]. O período de 1/30 [seg] do sincronismo de formação de imagem da última linha L nº n no quadro até o sincronismo de formação de imagem da primeira linha L nº 1 do próximo quadro é definido como o tempo em branco blk.
[00263] Por exemplo, em um sincronismo em que a formação de imagem da linha L nº 1 está completa, a formação de imagem da próxima linha L nº 2 é iniciada. Ao mesmo tempo, a unidade de processamento de reconhecimento 12 executa um processo de reconhecimento de linha para a linha L nº 1, isto é, um processo de reconhecimento para os dados de pixel incluídos na linha L nº 1. A unidade de processamento de reconhecimento 12 termina o processo de reconhecimento de linha para a linha L nº 1 antes da formação de imagem da próxima linha L nº 2 ser iniciada. Quando o processo de reconhecimento de linha para a linha L nº 1 estiver completo, a unidade de processamento de reconhecimento 12 transmite um resultado do reconhecimento em relação ao processo de reconhecimento.
[00264] Similarmente para a próxima linha L nº 2, a formação de imagem da próxima linha L nº 3 é iniciada no sincronismo em que a formação de imagem da linha L nº 2 está completa. Subsequentemente, a unidade de
69 / 149 processamento de reconhecimento 12 executa um processo de reconhecimento de linha para a linha L nº 2 e termina este processo de reconhecimento de linha executado antes do início da formação de imagem da próxima linha L nº 3. No exemplo da figura 29A, as formações de imagem das linhas L nº 1, L nº 2, nº 3, ... L nº m, ... são sequencialmente executadas desta maneira. Em cada uma das linhas L nº 1, L nº 2, L nº 3, ... L nº m, ... no sincronismo do fim da formação de imagem, a formação de imagem da linha próxima da linha com formação de imagem completa é iniciada. No mesmo tempo do início, o processo de reconhecimento de linha para a linha com formação de imagem completa é executado.
[00265] Desta maneira, pela execução sequencial do processo de reconhecimento em unidades de leitura (linha neste exemplo), é possível obter sequencialmente o resultado do reconhecimento sem inserir todos os dados de imagem do quadro no reconhecedor (unidade de processamento de reconhecimento 12), tornando possível reduzir o atraso até que o resultado do reconhecimento seja obtido. Além do mais, quando um resultado do reconhecimento válido for obtido em uma certa linha, é possível terminar o processo de reconhecimento neste ponto, levando à redução do tempo para o processo de reconhecimento e à economia de energia. Além do mais, pela propagação da informação no eixo geométrico do tempo e integração dos resultados do reconhecimento para cada uma das linhas, é possível melhorar gradualmente a precisão do reconhecimento.
[00266] No exemplo da figura 29A, o tempo em branco blk no período de quadro pode ser usado para executar outros processos que supõe-se que sejam executados no período de quadro (por exemplo, processamento de imagem na unidade de processamento de reconhecimento visual 14 usando o resultado do reconhecimento).
[00267] A figura 29B ilustra um exemplo em que um tempo em branco blk é provido para cada um dos tempos de formação de imagem de uma linha.
70 / 149 No exemplo da figura 29B, o período de quadro (período de formação de imagem) é definido em 1/30 [seg], similar ao exemplo da figura 29A. Por outro lado, o tempo de formação de imagem é definido em 1/30 [seg], que é igual ao período de formação de imagem. Além do mais, é considerado, no exemplo da figura 29B, que as formações de imagem de linha de n linhas, a saber, as linhas L nº 1 até L nº n, são executadas em um intervalo de tempo de 1/(30 x n) [seg] em um período de quadro, e que o tempo de formação de imagem para uma linha é 1/(60 x n) [seg].
[00268] Neste caso, é possível prover um tempo em branco blk de 1/(60 x n) [seg] para cada um dos tempos de formação de imagem de cada uma das linhas L nº 1 até L nº n. Em cada um dos tempos em branco blk de cada uma das linhas L nº 1 até L nº n, é possível executar outros processos que supõe-se que sejam executados para a imagem capturada da linha correspondente (por exemplo, processamento de imagem na unidade de processamento de reconhecimento visual 14 usando o resultado do reconhecimento). Neste momento, é possível atribuir o tempo (aproximadamente 1/(30 x n) [seg] neste exemplo) até imediatamente antes do final da formação de imagem da próxima linha da linha alvo aos outros processos. No exemplo da figura 29B, os resultados do processamento dos outros processos podem ser transmitidos linha por linha, tornando possível adquirir os resultados do processamento dos outros processos mais rapidamente.
[00269] A figura 30 é um cronograma que ilustra um outro exemplo do controle do processo de leitura e de reconhecimento de acordo com a segunda modalidade. No exemplo da figura 29 supradescrito, a formação de imagem de todas as linhas L nº 1 até L nº n incluídas no quadro está completa em um período de 1/2 do período de quadro, com o 1/2 período restante do período de quadro definido como um tempo em branco. Ao contrário, no exemplo ilustrado na figura 30, a formação de imagem de todas as linhas L nº 1 até L
71 / 149 nº n incluídas no quadro é realizada usando todo o período de quadro sem ter o tempo em branco no período de quadro.
[00270] Aqui, quando o tempo de formação de imagem de uma linha for 1/(60 x n) [seg] que é igual ao tempo das figuras 29A e 29B e o número de linhas incluídas no quadro for n que é igual ao número das figuras 29A e 29B, o período de quadro, isto é, o período de formação de imagem será 1/60 [seg]. Portanto, no exemplo em que o tempo em branco blk ilustrado na figura 30 não for provido, é possível aumentar a taxa de quadro, se comparada com os exemplos das figuras 29A e 29B supradescritos. [6. Terceira modalidade]
[00271] A seguir, uma terceira modalidade da presente descrição será descrita. A terceira modalidade é um exemplo de controle de um sincronismo de saída do resultado do reconhecimento pela unidade de processamento de reconhecimento 12 e dos dados de imagem para o reconhecimento visual pela unidade de processamento de reconhecimento visual 14. Na terceira modalidade, em relação à figura 21, o controle é realizado na saída do resultado do reconhecimento a partir da unidade de execução do processo de reconhecimento 124 e na saída dos dados de imagem a partir da unidade de processamento de imagem 143 com base em um sinal de gatilho gerado pelo gerador de gatilho 16. (6-0. Esboço da terceira modalidade)
[00272] A figura 31 é um fluxograma de um exemplo que ilustra um esboço do processo de controle de saída de acordo com a terceira modalidade. O processo no fluxograma da figura 31 é um processo executado para cada um dos tempos de leitura da unidade de leitura. A seguir, considera-se que a unidade de leitura é uma linha e o controlador do sensor 11 lê os dados de pixel a partir da unidade sensora 10 na unidade de linha.
[00273] Na Etapa S200, a unidade de leitura 110 lê os dados de pixel na unidade de linha (a seguir, apropriadamente referidos como dados de linha)
72 / 149 a partir da unidade sensora 10. A unidade de leitura 110 passa os dados de linha lidos a partir da unidade sensora 10 para a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual
14. A unidade de processamento de reconhecimento visual 14 passa os dados de pixel passados a partir da unidade de leitura 110 para o controlador de armazenamento dos dados de imagem 140. O controlador de armazenamento dos dados de imagem 140 armazena os dados de pixel recebidos na unidade de armazenamento dos dados de imagem 141 e também passa os dados de pixel para a unidade de processamento de imagem 143, por exemplo.
[00274] Neste ínterim, na Etapa S201, a unidade de processamento de reconhecimento 12 executa o cálculo dos dados de característica pela unidade de cálculo dos dados de característica 120 com base nos dados de linha passados a partir da unidade de leitura 110, o armazenamento dos dados de característica calculados na unidade de armazenamento dos dados de característica 122, e um processo de reconhecimento por uma unidade de execução do processo de reconhecimento 124 com base nos dados de característica integrados armazenados na unidade de armazenamento dos dados de característica 122 ou similares. Na próxima Etapa S202, a unidade de processamento de reconhecimento 12 transmite um resultado do reconhecimento do processo de reconhecimento a partir da unidade de execução do processo de reconhecimento 124. Na próxima Etapa S203, na unidade de processamento de reconhecimento 12, o determinador de leitura 123 gera a informação da região de leitura que indica a próxima linha de leitura e passa a informação para o controlador do sensor 11.
[00275] Na próxima Etapa S204, o gerador de gatilho 16 determina se transmite uma imagem para o reconhecimento visual a partir da unidade de processamento de imagem 143 de acordo com, por exemplo, a saída do resultado do reconhecimento na Etapa S202. Em um caso em que o gerador de gatilho 16 determinar não transmitir a imagem para o reconhecimento
73 / 149 visual (Etapa S204, “Não”), o gerador de gatilho 16 prossegue para o processo da Etapa S206. Ao contrário, quando o gerador de gatilho 16 determinar transmitir uma imagem para o reconhecimento visual (Etapa S204, “Sim”), o gerador de gatilho 16 prossegue para o processo da Etapa S205.
[00276] Na Etapa S205, o gerador de gatilho 16 executa um processo de transmissão para transmitir um sinal de gatilho. O sinal de gatilho é passado para a unidade de execução do processo de reconhecimento 124, a unidade de processamento de imagem 143, e o controlador de saída 15. A unidade de execução do processo de reconhecimento 124 e a unidade de processamento de imagem 143 transmitem o resultado do reconhecimento e os dados de imagem, respectivamente, em resposta ao sinal de gatilho. Os resultados do reconhecimento e os dados de imagem transmitidos a partir da unidade de execução do processo de reconhecimento 124 e da unidade de processamento de imagem 143 são passados para o controlador de saída 15, individualmente.
[00277] Na próxima Etapa S206, o controlador de saída 15 realiza um processo de controle de saída de acordo com o sinal de gatilho passado a partir do gerador de gatilho 16 na Etapa S205, e transmite um resultado do reconhecimento e os dados de imagem para o estágio subsequente.
[00278] Desta maneira, pelo controle da unidade de execução do processo de reconhecimento 124, da unidade de processamento de imagem 143 e do controlador de saída 15 de acordo com o sinal de gatilho gerado pelo gerador de gatilho 16, é possível transmitir o resultado do reconhecimento e os dados de imagem em um sincronismo apropriado. (6-0-1. Exemplo do sinal de gatilho transmitido pelo tempo)
[00279] A figura 32 é um diagrama esquemático que ilustra esquematicamente um exemplo do processo de controle de saída de acordo com a terceira modalidade. Aqui, um caso em que o gerador de gatilho 16 transmite um sinal de gatilho com base em tempo será descrito.
74 / 149
[00280] Na figura 32, o aparelho de formação de imagem 1 (consulte a figura 1) inicia a formação de imagem de uma imagem alvo (número “8” escrito a mão) como um alvo de reconhecimento. Na Etapa S10, o controlador do sensor 11 inicia a leitura do quadro na unidade de linhas no quadro no tempo t0 de acordo com a informação da região de leitura passada a partir da unidade de processamento de reconhecimento 12. O controlador do sensor 11 lê sequencialmente o quadro na unidade de linha do lado da extremidade superior até o lado da extremidade inferior do quadro.
[00281] Quando a linha for lida até uma certa posição, a unidade de processamento de reconhecimento 12 identifica os números “8” ou “9” a partir da imagem das linhas lidas (Etapa S11). Com base nos dados de característica integrados passados a partir do controlador de armazenamento dos dados de característica 121, o determinador de leitura 123 da unidade de processamento de reconhecimento 12 gera a informação da região de leitura que designa uma linha a partir da qual é previsto que o objeto identificado na Etapa S11 possa ser identificado como qual dos números “8” ou “9”, e passa a informação gerada para a unidade de leitura 110. Subsequentemente, a unidade de processamento de reconhecimento 12 executa um processo de reconhecimento com base nos dados de pixel obtidos pela leitura da linha designada pela unidade de leitura 110 (Etapa S12).
[00282] O gerador de gatilho 16 transmite um sinal de gatilho no tempo tTRG depois da passagem de um tempo predeterminado a partir do tempo t0 no qual a leitura iniciou. Por exemplo, quando a leitura do quadro na unidade de linha for realizada em um período de quadro, o gerador de gatilho 16 deve transmitir um sinal de gatilho em certos intervalos de tempo correspondentes ao período de quadro. No exemplo da figura 32, o tempo tTRG decorreu em um ponto do processo da Etapa S12, e o gerador de gatilho 16 transmitiu um sinal de gatilho. Em resposta ao sinal de gatilho, a unidade de execução do processo de reconhecimento 124 transmite um resultado do
75 / 149 reconhecimento, e a unidade de processamento de imagem 143 transmite os dados de imagem. Além do mais, em resposta ao sinal de gatilho, o controlador de saída 15 transmite o resultado do reconhecimento transmitido a partir da unidade de execução do processo de reconhecimento 124 e os dados de imagem transmitidos a partir da unidade de processamento de imagem 143 para o estágio subsequente.
[00283] Note que a unidade de processamento de reconhecimento 12 executa o processo em um sincronismo diferente do sincronismo na unidade de processamento de reconhecimento visual 14 e no gerador de gatilho 16. Portanto, a unidade de processamento de reconhecimento 12, algumas vezes, completa o processo de reconhecimento em um tempo antes do tempo tTRG. Neste caso, a unidade de processamento de reconhecimento 12 espera pelo próximo processo até que o sinal de gatilho seja transmitido a partir do gerador de gatilho 16 no tempo tTRG.
[00284] Além do mais, neste momento, em um caso em que houver uma linha não processada que não foi lida a partir do quadro em um ponto em que o processo de reconhecimento na unidade de processamento de reconhecimento 12 está completo, a unidade de processamento de reconhecimento visual 14 pode ler adicionalmente a linha não processada. O controlador de saída 15 pode transmitir os dados de linha em relação à linha não processada lida pela unidade de processamento de reconhecimento visual 14 juntamente com os dados de linha lidos para o processo de reconhecimento pela unidade de processamento de reconhecimento 12.
[00285] Pode haver casos em que a unidade de processamento de reconhecimento 12 não completou o processo de reconhecimento em um ponto de tempo tTRG. Neste caso, a unidade de processamento de reconhecimento 12 transmite o resultado do reconhecimento em um ponto de tempo tTRG em resposta a um sinal de gatilho.
[00286] As figuras 33A e 33B são diagramas de blocos funcionais,
76 / 149 respectivamente, que ilustram as funções exemplificativas do lado da unidade de processamento de reconhecimento 12 e as funções exemplificativas do lado da unidade de processamento de reconhecimento visual 14 do aparelho de formação de imagem 1 de acordo com a terceira modalidade. As figuras 33A e 33B ilustram, respectivamente, as funções exemplificativas no lado da unidade de processamento de reconhecimento 12 e as funções exemplificativas no lado da unidade de processamento de reconhecimento visual 14, a partir da configuração da figura 21 supradescrita.
[00287] Conforme ilustrado na figura 33A, um gerador de gatilho 16a transmite um sinal de gatilho para a unidade de execução do processo de reconhecimento 124 em certos intervalos de tempo. Além do mais, da forma ilustrada na figura 33B, o gerador de gatilho 16a transmite um sinal de gatilho para a unidade de processamento de imagem 143 em certos intervalos de tempo.
[00288] A figura 34 é um fluxograma que ilustra um exemplo de um processo quando um sinal de gatilho for transmitido de acordo com o tempo de acordo com a terceira modalidade. Na figura 34, os processos das Etapas S200 até S203 são similares aos processos das Etapas S200 até S203 de acordo com o fluxograma da figura 31 supradescrito.
[00289] Isto é, na Etapa S200, a unidade de leitura 110 lê os dados de linha a partir da unidade sensora 10 e passa os dados de linha para a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14. A unidade de processamento de reconhecimento visual 14 passa os dados de pixel passados a partir da unidade de leitura 110 para o controlador de armazenamento dos dados de imagem 140. O controlador de armazenamento dos dados de imagem 140 armazena os dados de pixel recebidos na unidade de armazenamento dos dados de imagem 141 e também passa os dados de pixel para a unidade de processamento de imagem 143, por exemplo.
77 / 149
[00290] Na Etapa S201, a unidade de processamento de reconhecimento 12 executa o cálculo dos dados de característica com base nos dados de linha passados a partir da unidade de leitura 110, o armazenamento dos dados de característica calculados, um processo de reconhecimento com base nos dados de característica armazenados e integrados ou similares. Na próxima Etapa S202, a unidade de processamento de reconhecimento 12 transmite um resultado do reconhecimento do processo de reconhecimento a partir da unidade de execução do processo de reconhecimento 124. Na próxima Etapa S203, na unidade de processamento de reconhecimento 12, o determinador de leitura 123 gera a informação da região de leitura que indica a próxima linha de leitura e passa a informação para o controlador do sensor 11.
[00291] Na próxima Etapa S2040, o gerador de gatilho 16 determina se um certo tempo decorreu a partir do início da leitura de linha na Etapa S200. Em um caso em que for determinado que o tempo não decorreu (Etapa S2040, “Não”), uma série de processos de acordo com o fluxograma da figura 34 é terminada. Ao contrário, quando o gerador de gatilho 16 determinar que um certo tempo decorreu (Etapa S2040, “Sim”), o gerador de gatilho 16 prossegue para o processo da Etapa S205.
[00292] Na Etapa S205, o gerador de gatilho 16 executa um processo de transmissão para transmitir um sinal de gatilho. O sinal de gatilho é passado para a unidade de execução do processo de reconhecimento 124, a unidade de processamento de imagem 143, e o controlador de saída 15. A unidade de execução do processo de reconhecimento 124 e a unidade de processamento de imagem 143 transmitem o resultado do reconhecimento e os dados de imagem, respectivamente, em resposta ao sinal de gatilho. Os resultados do reconhecimento e os dados de imagem transmitidos a partir da unidade de execução do processo de reconhecimento 124 e da unidade de processamento de imagem 143 são transmitidos para o estágio subsequente
78 / 149 por meio do controlador de saída 15, individualmente.
[00293] Desta maneira, na terceira modalidade, já que o sinal de gatilho é transmitido pelo gerador de gatilho 16 em um período fixo, o resultado do reconhecimento e os dados de imagem para o reconhecimento visual podem ser transmitidos em um período fixo, por exemplo, um período de quadro. [6-1. Primeira modificação da terceira modalidade]
[00294] A seguir, uma primeira modificação da terceira modalidade será descrita. A primeira modificação da terceira modalidade é um exemplo em que o sinal de gatilho é gerado de acordo com a região lida a partir do quadro pelo controlador do sensor 11.
[00295] A figura 35 é um diagrama esquemático que ilustra esquematicamente um exemplo de um processo de controle de saída de acordo com a primeira modificação da terceira modalidade. Na figura 35, a Seção (a) ilustra uma mudança no tempo da razão (razão de uma região de leitura) da região lida a partir do quadro pelo controlador do sensor 11 em relação à íntegra do quadro. Além do mais, a Seção (b) é um diagrama correspondente à figura 32 supradescrita, e ilustra esquematicamente um estado da leitura de quadro pelo controlador do sensor 11. Isto é, os quadros são lidos sequencialmente na ordem das linhas na Etapa S10, e o processo salta para a posição na qual é previsto que o objeto é identificável e a leitura é realizada na Etapa S11. Subsequentemente, o resultado do reconhecimento é transmitido na Etapa S12.
[00296] Na Seção (a) da figura 35, a razão da região de leitura muda em uma taxa constante até a Etapa S11 e muda, a partir da Etapa S11, em uma taxa inferior àquela na Etapa S11. Aqui, o gerador de gatilho 16 gera um sinal de gatilho no tempo tTRG em que a razão da região de leitura alcançar um limite Rth. Em resposta ao sinal de gatilho, a unidade de execução do processo de reconhecimento 124 transmite um resultado do reconhecimento, e a
79 / 149 unidade de processamento de imagem 143 transmite os dados de imagem. Além do mais, em resposta ao sinal de gatilho, o controlador de saída 15 transmite o resultado do reconhecimento transmitido a partir da unidade de execução do processo de reconhecimento 124 e os dados de imagem transmitidos a partir da unidade de processamento de imagem 143 para o estágio subsequente.
[00297] As figuras 36A e 36B são diagramas de blocos funcionais que ilustram, respectivamente, as funções exemplificativas do lado da unidade de processamento de reconhecimento 12 e as funções exemplificativas do lado da unidade de processamento de reconhecimento visual 14 do aparelho de formação de imagem 1 de acordo com a primeira modificação da terceira modalidade. As figuras 36A e 36B ilustram, respectivamente, as funções exemplificativas no lado da unidade de processamento de reconhecimento 12 e as funções exemplificativas no lado da unidade de processamento de reconhecimento visual 14, a partir da configuração da figura 21 supradescrita.
[00298] Da forma individualmente ilustrada nas figuras 36A e 36B, um gerador de gatilho 16b recebe a informação da região de leitura a partir do controlador de leitura 111 do controlador do sensor 11 e obtém a razão da região de leitura com base na informação da região de leitura recebida. Quando o gerador de gatilho 16b determinar que a razão da região de leitura obtida excede o limite Rth, o gerador de gatilho 16b gera um sinal de gatilho, e transmite o sinal de gatilho gerado individualmente para a unidade de execução do processo de reconhecimento 124 (consulte a figura 36A) e a unidade de processamento de imagem 143 (consulte a figura 36B).
[00299] A figura 37 é um fluxograma de um exemplo que ilustra o processo de acordo com a primeira modificação da terceira modalidade. Na figura 37, os processos das Etapas S200 até S203 são similares aos processos das Etapas S200 até S203 de acordo com o fluxograma da figura 34 supradescrito e, assim, a descrição dos mesmos será aqui omitida. Na Etapa
80 / 149 S203, o determinador de leitura 123 na unidade de processamento de reconhecimento 12 passa a informação da região de leitura que indica a próxima linha de leitura para o controlador do sensor 11 e, então, o processo prossegue para a Etapa S2041.
[00300] Na Etapa S2041, o gerador de gatilho 16b determina se a razão da região de leitura excede o limite Rth com base na informação da região de leitura recebida a partir do controlador do sensor 11. Quando for determinado que a razão não excede o limite Rth (Etapa S2041, “Não”), a série de processos de acordo com o fluxograma da figura 37 termina. Posteriormente, os próximos dados de linha são lidos a partir da Etapa S200, por exemplo.
[00301] Ao contrário, em um caso em que o gerador de gatilho 16b determinar que a razão da região de leitura excede o limite Rth (Etapa S2041, “Sim”), o gerador de gatilho 16b prossegue para o processo da Etapa S205, executa o processo de transmissão para transmitir o sinal de gatilho. Em resposta a este sinal de gatilho, a unidade de execução do processo de reconhecimento 124 e a unidade de processamento de imagem 143 transmitem os resultados do reconhecimento e os dados de imagem, respectivamente.
[00302] Desta maneira, na primeira modificação da terceira modalidade, o sinal de gatilho é transmitido pelo gerador de gatilho 16b de acordo com a razão da região de leitura, tornando possível transmitir os dados de imagem em uma certa região ou mais no quadro como os dados de imagem para o reconhecimento visual. [6-2. Segunda modificação da terceira modalidade]
[00303] A seguir, uma segunda modificação da terceira modalidade será descrita. A segunda modificação da terceira modalidade é um exemplo em que um sinal de gatilho é gerado de acordo com a confiança do reconhecimento que indica um nível de confiança de um resultado do processamento de reconhecimento da unidade de execução do processo de
81 / 149 reconhecimento 124.
[00304] A figura 38 é um diagrama esquemático que ilustra esquematicamente um exemplo de um processo de controle de saída de acordo com a primeira modificação da terceira modalidade. Na figura 38, a Seção (a) ilustra a mudança no tempo do escore de confiança do reconhecimento que indica a confiança do reconhecimento do processo de reconhecimento pela unidade de execução do processo de reconhecimento 124 para os dados de linha lidos a partir do quadro pelo controlador do sensor
11. Além do mais, a Seção (b) é um diagrama correspondente à figura 32 supradescrita, e ilustra esquematicamente um estado da leitura de quadro pelo controlador do sensor 11. Isto é, os quadros são lidos sequencialmente na ordem das linhas na Etapa S10, e o processo salta para a posição na qual é previsto que o objeto é identificável e a leitura é realizada na Etapa S11. Subsequentemente, o resultado do reconhecimento é transmitido na Etapa S12.
[00305] Na Seção (a) da figura 38, o escore de confiança do reconhecimento muda em uma taxa constante até a Etapa S11, e, depois que os números “8” ou “9” forem identificados na Etapa S11, a taxa mudou em uma taxa maior do que na Etapa S11. Aqui, o gerador de gatilho 16 gera um sinal de gatilho no tempo tTRG quando o escore de confiança do reconhecimento alcançar um limite Cth. Em resposta ao sinal de gatilho, a unidade de execução do processo de reconhecimento 124 transmite um resultado do reconhecimento, e a unidade de processamento de imagem 143 transmite os dados de imagem. Além do mais, em resposta ao sinal de gatilho, o controlador de saída 15 transmite o resultado do reconhecimento transmitido a partir da unidade de execução do processo de reconhecimento 124 e os dados de imagem transmitidos a partir da unidade de processamento de imagem 143 para o estágio subsequente.
[00306] As figuras 39A e 39B são diagramas de blocos funcionais que
82 / 149 ilustram, respectivamente, as funções exemplificativas do lado da unidade de processamento de reconhecimento 12 e as funções exemplificativas do lado da unidade de processamento de reconhecimento visual 14 do aparelho de formação de imagem 1 de acordo com a segunda modificação da terceira modalidade. A figura 39A ilustra um exemplo da função no lado da unidade de processamento de reconhecimento 12 extraída a partir da configuração da figura 21 supradescrita.
[00307] Da forma individualmente ilustrada nas figuras 39A e 39B, a unidade de execução do processo de reconhecimento 124 transmite o resultado do reconhecimento que inclui o escore de confiança do reconhecimento conforme apropriado. Um gerador de gatilho 16c recebe um resultado do reconhecimento a partir da unidade de execução do processo de reconhecimento 124, e adquire o escore de confiança do reconhecimento incluído no resultado do reconhecimento recebido. Quando o gerador de gatilho 16c determinar que o escore de confiança do reconhecimento adquirido excede o limite Cth, o gerador de gatilho 16c gera um sinal de gatilho, e transmite o sinal de gatilho gerado individualmente para a unidade de execução do processo de reconhecimento 124 (consulte a figura 39A) e a unidade de processamento de imagem 143 (consulte a figura 39B).
[00308] A figura 40 é um fluxograma de um exemplo que ilustra o processo de acordo com a segunda modificação da terceira modalidade. Na figura 40, os processos das Etapas S200 até S203 são similares aos processos das Etapas S200 até S203 de acordo com o fluxograma da figura 34 supradescrito e, assim, a descrição dos mesmos será aqui omitida. Na Etapa S203, o determinador de leitura 123 na unidade de processamento de reconhecimento 12 passa a informação da região de leitura que indica a próxima linha de leitura para o controlador do sensor 11 e, então, o processo prossegue para a Etapa S2041.
[00309] Na Etapa S2042, o gerador de gatilho 16c determina se o
83 / 149 escore de confiança do reconhecimento incluído no resultado do reconhecimento recebido a partir da unidade de execução do processo de reconhecimento 124 excede o limite Cth. Quando for determinado que o escore não excede o limite Ch (Etapa S2042, “Não”), a série de processos de acordo com o fluxograma da figura 40 termina. Posteriormente, os próximos dados de linha são lidos a partir da Etapa S200, por exemplo.
[00310] Ao contrário, em um caso em que o gerador de gatilho 16c determinar que o escore de confiança do reconhecimento excede o limite Cth (Etapa S2042, “Sim”), o gerador de gatilho 16c prossegue para o processo da Etapa S205, executa o processo de transmissão para transmitir o sinal de gatilho. Em resposta a este sinal de gatilho, a unidade de execução do processo de reconhecimento 124 e a unidade de processamento de imagem 143 transmitem os resultados do reconhecimento e os dados de imagem, respectivamente.
[00311] Desta maneira, na segunda modificação da terceira modalidade, o gerador de gatilho 16 transmite o sinal de gatilho de acordo com o escore de confiança do reconhecimento, tornando possível adquirir a informação de reconhecimento de precisão superior relacionada ao objeto incluída nos dados de imagem para o reconhecimento visual. [6-3. Terceira modificação da terceira modalidade]
[00312] A seguir, uma terceira modificação da terceira modalidade será descrita. A terceira modificação da terceira modalidade é um exemplo em que um sinal de gatilho é gerado de acordo com a informação externa adquirida a partir do exterior do aparelho de formação de imagem 1.
[00313] As figuras 41A e 41B são diagramas de blocos funcionais que ilustram, respectivamente, as funções exemplificativas do lado da unidade de processamento de reconhecimento 12 e as funções exemplificativas do lado da unidade de processamento de reconhecimento visual 14 do aparelho de formação de imagem 1 de acordo com a terceira modificação da terceira
84 / 149 modalidade. As figuras 41A e 41B ilustram, respectivamente, as funções exemplificativas no lado da unidade de processamento de reconhecimento 12 e as funções exemplificativas no lado da unidade de processamento de reconhecimento visual 14, a partir da configuração da figura 21 supradescrita.
[00314] Conforme ilustrado nas figuras 41A e 41B2, o aparelho de formação de imagem 1 de acordo com a terceira modificação da terceira modalidade inclui uma unidade de aquisição da informação externa 17 que adquire a informação a partir do exterior. A unidade de aquisição da informação externa 17 passa a informação externa adquirida a partir do exterior para um gerador de gatilho 16d. O gerador de gatilho 16d gera um sinal de gatilho de acordo com a informação externa passada a partir da unidade de aquisição da informação externa 17, e transmite o sinal de gatilho gerado individualmente para a unidade de execução do processo de reconhecimento 124 (consulte a figura 41A) e a unidade de processamento de imagem 143 (consulte a figura 41B).
[00315] Aqui, como a informação externa adquirida pela unidade de aquisição da informação externa 17, várias informações que podem ser adquiridas a partir do exterior do aparelho de formação de imagem 1, tais como um sinal de gatilho proveniente do exterior e um resultado do reconhecimento pelo dispositivo de reconhecimento externo, podem ser aplicadas. Os exemplos do dispositivo externo que transmite tal informação externa incluem outros aparelhos de formação de imagem, sistema sensor de Detecção e Telemetria da Formação de Imagem a Laser (LiDAR) (referidos como sensores LiDAR) ou dispositivos de radar. Por exemplo, quando o aparelho de formação de imagem 1 for usado para aplicações em veículo, é desejável habilitar a informação externa, tais como a informação de reconhecimento, os sinais de gatilho e a informação de veículo, transmitida a partir de outros aparelhos de formação de imagem, sensores LiDAR, dispositivos de radar ou similares montados no mesmo veículo, para ser
85 / 149 inserida no aparelho de formação de imagem 1.
[00316] Como um exemplo, em um caso em que a informação externa for o resultado do reconhecimento por um outro aparelho de formação de imagem ou o resultado do reconhecimento pelo sensor LiDAR ou o dispositivo de radar, é concebível que o gerador de gatilho 16d gere os sinais de gatilho de acordo com o escore de confiança do reconhecimento do resultado do reconhecimento adquirido como a informação externa pela unidade de aquisição da informação externa 17.
[00317] Note que, durante o uso da informação externa transmitida a partir destes dispositivos externos, é preferível executar a calibração relacionada à posição do aparelho de formação de imagem 1 em relação à imagem capturada ou relacionada ao tempo. Além do mais, embora a descrição acima seja um exemplo em que o dispositivo externo é usado como um mestre, e o aparelho de formação de imagem 1 transmite um sinal de gatilho em resposta à informação externa transmitida a partir do dispositivo externo, a presente descrição não é limitada a este exemplo. Por exemplo, também é permissível usar uma configuração em que o aparelho de formação de imagem 1 é usado como um mestre, e o gerador de gatilho 16d transmite o sinal de gatilho gerado por outros métodos (razão de tempo e região de leitura, escore de confiança do reconhecimento ou similares) para o dispositivo externo.
[00318] Não limitado ao exemplo acima, a informação de tempo adquirida pelo uso de um sistema do satélite de navegação global (GNSS) também pode ser usada como a informação externa. Além do mais, em um caso em que o aparelho de formação de imagem 1 for para as aplicações em veículo, a unidade de aquisição da informação externa 17 pode adquirir a informação de veículo (informação de direção, informação de velocidade, informação do freio, informação do indicador de direção ou similares) em relação ao veículo no qual o aparelho de formação de imagem 1 é montado
86 / 149 como a informação externa.
[00319] A figura 42 é um fluxograma de um exemplo que ilustra o processo de acordo com a terceira modificação da terceira modalidade. Na figura 42, os processos das Etapas S200 até S203 são similares aos processos das Etapas S200 até S203 de acordo com o fluxograma da figura 34 supradescrito e, assim, a descrição dos mesmos será aqui omitida. Na Etapa S203, o determinador de leitura 123 na unidade de processamento de reconhecimento 12 passa a informação da região de leitura que indica a próxima linha de leitura para o controlador do sensor 11 e, então, o processo prossegue para a Etapa S2043.
[00320] Na Etapa S2043, o gerador de gatilho 16d determina se a informação externa predeterminada foi adquirida pela unidade de aquisição da informação externa 17. Em um caso em que for determinado que a informação não foi adquirida (Etapa S2043, “Não”), a série de processos de acordo com o fluxograma da figura 42 é terminada. Posteriormente, os próximos dados de linha são lidos a partir da Etapa S200, por exemplo.
[00321] Ao contrário, quando o gerador de gatilho 16d determinar que a informação externa predeterminada foi adquirida pela unidade de aquisição da informação externa 17 (Etapa S2043, “Sim”), o gerador de gatilho 16d prossegue para o processo da Etapa S205. O gerador de gatilho 16d adquire a informação externa predeterminada inserida a partir do dispositivo externo na unidade de aquisição da informação externa 17 a partir da unidade de aquisição da informação externa 17. O gerador de gatilho 16d executa um processo de transmissão de acordo com a informação externa predeterminada adquirida e transmite um sinal de gatilho. Em resposta a este sinal de gatilho, a unidade de execução do processo de reconhecimento 124 e a unidade de processamento de imagem 143 transmitem os resultados do reconhecimento e os dados de imagem, respectivamente.
[00322] Desta maneira, na terceira modificação da terceira modalidade,
87 / 149 a transmissão do sinal de gatilho de acordo com a informação externa inserida a partir do exterior torna possível usar os resultados do reconhecimento obtidos pela pluralidade de dispositivos sensores. Portanto, o aparelho de formação de imagem 1 de acordo com a terceira modificação da terceira modalidade pode ser ligado com um dispositivo externo. [7. Quarta modalidade]
[00323] A seguir, uma quarta modalidade será descrita. A quarta modalidade é um exemplo correspondente ao desvio entre a saída do resultado do reconhecimento pela unidade de processamento de reconhecimento 12 e a saída dos dados de imagem para o reconhecimento visual pela unidade de processamento de reconhecimento visual 14.
[00324] A figura 43 é um diagrama esquemático que ilustra esquematicamente um exemplo do processo de controle de saída de acordo com a quarta modalidade. Na quarta modalidade, o sinal de gatilho para a unidade de execução do processo de reconhecimento 124 e o sinal de gatilho para a unidade de processamento de imagem 143 são transmitidos independentemente. Além do mais, no seguinte exemplo, os sinais de gatilho para cada uma da unidade de execução do processo de reconhecimento 124 e da unidade de processamento de imagem 143 são transmitidos de acordo com a razão da região de leitura em cada um dos processos para o quadro descrito na segunda modificação da terceira modalidade. Um limite da razão da região de leitura em relação ao processo da unidade de execução do processo de reconhecimento 124 é definido como um limite Rth1, e um limite da razão da região de leitura em relação ao processo da unidade de processamento de imagem 143 é definido como um limite Rth2.
[00325] Na figura 43, a leitura de quadro é iniciada no tempo t0 (Etapa S10), e os quadros são lidos sequencialmente na ordem das linhas na Etapa S11. Neste exemplo, seguinte à Etapa S11, o processo salta para a linha na qual é previsto que o objeto seja identificável e a leitura é realizada na Etapa
88 / 149 S20. Aqui, no processo da Etapa S20, considera-se que a razão da região de leitura em relação ao processo realizado pela unidade de execução do processo de reconhecimento 124 alcança o limite Rth1 no tempo tTRG1. Neste caso, um sinal de gatilho é transmitido para a unidade de execução do processo de reconhecimento 124 no tempo tTRG1. A unidade de execução do processo de reconhecimento 124 transmite um resultado do reconhecimento em resposta a este sinal de gatilho. O resultado do reconhecimento transmitido no tempo tTRG1 pela unidade de execução do processo de reconhecimento 124 é submetido a cache em uma região de armazenamento predeterminada (referida como memória cache) (Etapa S21). Quando o resultado do reconhecimento for transmitido e submetido a cache, a unidade de processamento de reconhecimento 12 termina o processo de reconhecimento.
[00326] Aqui, em um ponto do tempo tTRG1, considera-se que um tempo predeterminado, por exemplo, um período de quadro, não decorreu desde o tempo t0 no qual a leitura de quadro é iniciada.
[00327] Depois do processo de reconhecimento realizado pela unidade de processamento de reconhecimento 12 terminado na Etapa S21, a unidade de processamento de reconhecimento visual 14 executa a leitura de quadro a partir do tempo de início de leitura t0 até um tempo predeterminado, por exemplo, um período de quadro decorrer. Aqui, considera-se que a razão da região de leitura em relação ao processo pela unidade de processamento de imagem 143 alcança um limite Rth2 no tempo tTRG2. Neste momento tTRG2, um sinal de gatilho é transmitido para a unidade de processamento de imagem
143.
[00328] A unidade de processamento de imagem 143 transmite os dados de imagem para o reconhecimento visual em resposta ao sinal de gatilho em tTRG2. Além do mais, o resultado do reconhecimento submetido a cache na Etapa S21 é lido e transmitido a partir da memória cache em
89 / 149 resposta ao sinal de gatilho no tempo tTRG2. Isto torna possível transmitir simultaneamente os dados de imagem para o reconhecimento visual e o resultado do reconhecimento.
[00329] Na descrição acima, apenas o resultado do reconhecimento é submetido a cache na Etapa S21. Entretanto, a presente descrição não é limitada a este exemplo, e os dados de imagem para o reconhecimento visual podem ser adicionalmente submetidos a cache.
[00330] A figura 44 é um diagrama de blocos funcional que ilustra uma função de um exemplo do aparelho de formação de imagem 1 de acordo com a quarta modalidade. Na figura 44, no aparelho de formação de imagem 1, são providos dois geradores de gatilho, a saber, um gerador de gatilho 16e1 que gera um sinal de gatilho para a unidade de execução do processo de reconhecimento 124, e um gerador de gatilho 16e2 que gera um sinal de gatilho para a unidade de processamento de imagem 143.
[00331] Para o gerador de gatilho 16e1, o limite Rth1 em relação à razão da região de leitura na unidade de execução do processo de reconhecimento 124 é definido. Similarmente, para o gerador de gatilho 16e2, o limite Rth2 em relação à razão da região de leitura na unidade de processamento de imagem 143 é definido. Estes limites Rth1 e Rth2 podem ser pré-ajustados para os geradores de gatilho 16e1 e 16e2, respectivamente, ou podem ser adaptativamente definidos de acordo com o estado da leitura de quadro, por exemplo.
[00332] Além do mais, um controlador de saída 15a inclui uma memória cache 150 que submete a cache um resultado do reconhecimento e uma memória cache 151 que submete a cache os dados de imagem para o reconhecimento visual.
[00333] O controlador de leitura 111 passa a informação da região de leitura que indica a linha de leitura a ser lida a seguir para os geradores de gatilho 16e1 e 16e2, individualmente. Os geradores de gatilho 16e1 e 16e2 obtêm
90 / 149 a razão da atual região de leitura com base na informação da região de leitura passada. O gerador de gatilho 16e1 transmite um sinal de gatilho para a unidade de execução do processo de reconhecimento 124 quando a razão obtida da atual região de leitura alcançar o limite Rth1. Similarmente, o gerador de gatilho 16e2 transmite um sinal de gatilho para a unidade de processamento de imagem 143 quando a razão obtida da atual região de leitura alcançar o limite Rth2.
[00334] O resultado do reconhecimento transmitido a partir da unidade de execução do processo de reconhecimento 124 em resposta ao sinal de gatilho é passado para o controlador de saída 15a e armazenado na memória cache 150. Similarmente, os dados de imagem para o reconhecimento visual transmitidos a partir da unidade de processamento de imagem 143 em resposta ao sinal de gatilho são passados para o controlador de saída 15a e armazenados na memória cache 151. O controlador de saída 15a transmite o resultado do reconhecimento e os dados de imagem para o reconhecimento visual armazenados na memória cache 150 e 151, respectivamente, em um sincronismo predeterminado, por exemplo, um sincronismo sincronizado com o período de quadro.
[00335] A figura 45 é um fluxograma de um exemplo que ilustra o processo de acordo com a quarta modalidade. Na figura 45, os processos das Etapas S200 até S203 são similares aos processos das Etapas S200 até S203 de acordo com o fluxograma da figura 34 supradescrito e, assim, a descrição dos mesmos será aqui omitida. Na Etapa S203, o determinador de leitura 123 na unidade de processamento de reconhecimento 12 passa a informação da região de leitura que indica a próxima linha de leitura para o controlador do sensor 11 e, então, o processo prossegue para a Etapa S2044.
[00336] Os processos da Etapa S2044 e da Etapa S205 seguinte à Etapa S2044 são executados em paralelo, por exemplo, nos geradores de gatilho 16e1 e 16e2, respectivamente.
91 / 149
[00337] No gerador de gatilho 16e1, na Etapa S2044, é determinado se permite-se que a unidade de execução do processo de reconhecimento 124 transmita o resultado do reconhecimento. Mais especificamente, na Etapa S2044, o gerador de gatilho 16e1 obtém a razão da atual região de leitura com base na informação da região de leitura que indica a próxima linha de leitura determinada na Etapa S203, e determina permitir que a unidade de execução do processo de reconhecimento 124 transmita o resultado do reconhecimento em um caso em que a razão da atual região de leitura obtida alcançar o limite Rth1. Quando o gerador de gatilho 16e1 determinar que o resultado do reconhecimento não deve ser transmitido em um ponto atual (Etapa S2044, “Não”), o gerador de gatilho 16e1 prossegue para o processo da Etapa S2060.
[00338] Ao contrário, quando o gerador de gatilho 16e1 determinar que o resultado do reconhecimento deve ser transmitido (Etapa S2044, “Sim”), o processo prossegue para a Etapa S205. Na Etapa S205, o gerador de gatilho 16e1 executa um processo de transmissão para transmitir um sinal de gatilho para a unidade de execução do processo de reconhecimento 124. Quando o processo de transmissão for executado, o processo prossegue para a etapa S2060.
[00339] O processo no gerador de gatilho 16e2 é similar ao processo no gerador de gatilho 16e1. Isto é, o gerador de gatilho 16e2 determina, na Etapa S2044, se permite que a unidade de processamento de imagem 143 transmita os dados de imagem para o reconhecimento visual. Mais especificamente, na Etapa S2044, o gerador de gatilho 16e2 obtém a razão da atual região de leitura com base na informação da região de leitura que indica a próxima linha de leitura determinada na Etapa S203, e determina permitir que a unidade de processamento de imagem 143 transmita os dados de imagem para o reconhecimento visual em um caso em que a razão da atual região de leitura obtida alcançar o limite Rth2. Quando o gerador de gatilho 16e2 determinar não para transmitir o resultado do reconhecimento em um ponto atual (Etapa
92 / 149 S2044, “Não”), o gerador de gatilho 16e1 prossegue para o processo da Etapa S2060.
[00340] Ao contrário, quando um gerador de gatilho 15f determinar, na Etapa S2044, transmitir o resultado do reconhecimento (Etapa S2044, “Não”), o gerador de gatilho 15f prossegue para o processo da Etapa S205. Na Etapa S205, o gerador de gatilho 16e2 executa um processo de transmissão para transmitir um sinal de gatilho para a unidade de processamento de imagem
143. Quando o processo de transmissão for executado, o processo prossegue para a etapa S2060.
[00341] O processo da Etapa S2060 e o processo da Etapa S2061 seguinte à Etapa S2060 são os processos executados pelo controlador de saída 15a. O controlador de saída 15a executa o processo de controle de saída individualmente no resultado do reconhecimento transmitido a partir da unidade de execução do processo de reconhecimento 124 e nos dados de imagem para o reconhecimento visual transmitidos a partir da unidade de processamento de imagem 143.
[00342] O controlador de saída 15a armazena o resultado do reconhecimento transmitido a partir da unidade de execução do processo de reconhecimento 124 na memória cache 150 na Etapa S2060, para realizar um processo de armazenamento de saída. Depois que o controlador de saída 15a tiver armazenado o resultado do reconhecimento na memória cache 150, o controlador de saída 15a prossegue para o processo da Etapa S2061. Na Etapa S2061, o controlador de saída 15a executa o processo de controle de saída para transmitir o resultado do reconhecimento armazenado na memória cache 150 em um sincronismo predeterminado, por exemplo, um sincronismo sincronizado com o período de quadro.
[00343] Similarmente, o controlador de saída 15a armazena os dados de imagem para o reconhecimento visual transmitidos a partir da unidade de processamento de imagem 143 na memória cache 151 na Etapa S2060, para
93 / 149 realizar o processo de armazenamento de saída. Depois que o controlador de saída 15a tiver armazenado os dados de imagem para o reconhecimento visual na memória cache 150, o controlador de saída 15a prossegue para o processo da Etapa S2061. Na Etapa S2061, o controlador de saída 15a executa o processo de controle de saída para transmitir os dados de imagem para o reconhecimento visual armazenados na memória cache 151 em um sincronismo predeterminado, por exemplo, um sincronismo sincronizado com o período de quadro.
[00344] Aqui, o controlador de saída 15a executa a saída do resultado do reconhecimento na Etapa S2061 em sincronismo com a saída dos dados de imagem para o reconhecimento visual. Isto torna possível transmitir o resultado do reconhecimento e os dados de imagem para o reconhecimento visual sem nenhum desfasamento.
[00345] Depois que o processo de transmissão para o resultado do reconhecimento e os dados de imagem para o reconhecimento visual tiver sido executado na Etapa S2061, por exemplo, os dados de linha da próxima linha de leitura são lidos a partir da Etapa S200.
[00346] Desta maneira, na quarta modalidade, o resultado do reconhecimento e os dados de imagem para o reconhecimento visual são individualmente submetidos a cache, e o resultado do reconhecimento e os dados de imagem para o reconhecimento visual submetidos a cache são transmitidos em um sincronismo predeterminado. Isto torna possível transmitir o resultado do reconhecimento e os dados de imagem para o reconhecimento visual em um estado que suprime o desfasamento entre o resultado do reconhecimento e os dados de imagem para o reconhecimento visual. [7-1. Primeira modificação da quarta modalidade]
[00347] A seguir, uma primeira modificação da quarta modalidade será descrita. Na quarta modalidade supradescrita, o desfasamento entre o
94 / 149 resultado do reconhecimento e os dados de imagem para o reconhecimento visual é suprimido. Ao contrário, na primeira modificação da quarta modalidade, o desvio espacial entre o resultado do reconhecimento e os dados de imagem para o reconhecimento visual deve ser suprimido. Por exemplo, quando o aparelho de formação de imagem 1 estiver se movendo em alta velocidade durante a formação de imagem para uma aplicação em veículo, pode haver um caso de ocorrência de um desvio espacial (por exemplo, o desvio posicional do objeto no plano bidimensional) entre o resultado do reconhecimento e os dados de imagem para o reconhecimento visual. Além do mais, em um caso em que um corpo em movimento se movendo em alta velocidade tiver imagem formada pelo aparelho de formação de imagem 1, o desvio espacial pode ocorrer nos objetos nos dados de imagem do corpo em movimento. Na primeira modificação da quarta modalidade, um desvio como este deve ser suprimido com base na informação adquirida a partir de um sensor externo.
[00348] A figura 46 é um diagrama de blocos funcional que ilustra uma função de um exemplo de um aparelho de formação de imagem 1 de acordo com a primeira modificação da quarta modalidade. A configuração ilustrada na figura 46 é um exemplo de supressão do desvio espacial que ocorre quando o aparelho de formação de imagem 1 se mover em alta velocidade.
[00349] Na configuração ilustrada na figura 46, a saída de um sensor externo 18 é suprida para um controlador de saída 15b, se comparada com a configuração ilustrada na figura 44 supradescrita. O sensor externo 18 é, por exemplo, um dispositivo capaz de detectar o movimento do aparelho de formação de imagem 1, e pode ser implementado pela aplicação de um sensor de velocidade angular montado no aparelho de formação de imagem. Por exemplo, a velocidade angular em cada uma das direções é medida usando um sensor de giro de 3 eixos geométricos, a informação de movimento do aparelho de formação de imagem 1 é adquirida, e a informação de movimento
95 / 149 adquirida é inserida no controlador de saída 15b. Além do mais, o sensor externo 18 pode ser implementado pelo uso de um outro aparelho de formação de imagem que realiza a compressão da imagem em movimento ou a correção de tremor da câmera usando detecção de movimento. Este um outro aparelho de formação de imagem é mobilmente instalado integralmente ou em sincronia com o aparelho de formação de imagem 1, e o resultado de detecção da detecção de movimento neste um outro aparelho de formação de imagem deve ser inserido no controlador de saída 15b como a informação de movimento do aparelho de formação de imagem 1.
[00350] Com base na informação de movimento inserida a partir do sensor externo 18 e no sincronismo de transmissão de cada um dos sinais de gatilho transmitidos pelos geradores de gatilho 16e1 e 16e2, o controlador de saída 15b estima uma quantidade de desvio espacial entre o resultado do reconhecimento e os dados de imagem para o reconhecimento visual. Por exemplo, o controlador de saída 15b obtém uma diferença no sincronismo de transmissão de cada um dos sinais de gatilho transmitidos pelos geradores de gatilho 16e1 e 16e2.
[00351] Note que o sincronismo de entrada do resultado do reconhecimento proveniente da unidade de execução do processo de reconhecimento 124 no controlador de saída 15b e o sincronismo de entrada dos dados de imagem para o reconhecimento visual provenientes da unidade de processamento de imagem 143 no controlador de saída 15b podem ser considerados como os sincronismos de saída dos sinais de gatilho individualmente transmitidos pelos geradores de gatilho 16e1 e 16e2.
[00352] Além do mais, o controlador de saída 15b obtém a direção e a velocidade do movimento a partir do aparelho de formação de imagem 1 com base na informação de movimento inserida a partir do sensor externo 18. O controlador de saída 15b calcula a quantidade de desvio espacial entre o resultado do reconhecimento e os dados de imagem para o reconhecimento
96 / 149 visual com base na diferença no sincronismo de transmissão de sinais de gatilho individuais e na direção e na velocidade do movimento do aparelho de formação de imagem 1. O controlador de saída 15b corrige os dados de imagem para o reconhecimento visual armazenados na memória cache 151 com base na quantidade de desvio espacial calculada. Os exemplos da correção incluem ajuste nos dados de imagem para o reconhecimento visual, correção de inclinação ou similares. O controlador de saída 15b armazena os dados de imagem corrigidos para o reconhecimento visual na memória cache
151.
[00353] O controlador de saída 15b transmite o resultado do reconhecimento armazenado na memória cache 150 e os dados de imagem corrigidos para o reconhecimento visual armazenados na memória cache 151 em um sincronismo predeterminado, por exemplo, um sincronismo sincronizado com o período de quadro.
[00354] A descrição acima é um exemplo em que o controlador de saída 15b corrige os dados de imagem para o reconhecimento visual armazenados na memória cache 151 com base na quantidade de desvio espacial calculada. Entretanto, a presente descrição não é limitada a este exemplo. Isto é, o controlador de saída 15b também pode corrigir o resultado do reconhecimento armazenado na memória cache 150 com base na quantidade de desvio espacial calculada. Isto inclui um caso em que o controlador de saída 15b corrige a informação de coordenada do objeto reconhecido incluído no resultado do reconhecimento, por exemplo, com base na quantidade de desvio espacial calculada. Além do mais, o controlador de saída 15b pode corrigir o resultado do reconhecimento e os dados de imagem para o reconhecimento visual, individualmente.
[00355] A figura 47 é um fluxograma de um exemplo que ilustra o processo de acordo com a primeira modificação da quarta modalidade. Na figura 47, os processos das Etapas S200 até S203 são similares aos processos
97 / 149 das Etapas S200 até S203 de acordo com o fluxograma da figura 34 supradescrito e, assim, a descrição dos mesmos será aqui omitida. Além do mais, os processos da Etapa S204 e da Etapa S205 da figura 47 são os processos similares aos processos da Etapa S2044 e da Etapa S205 da figura 45 supradescrita, e são executados em paralelo, por exemplo, nos geradores de gatilho 16e1 e 16e2, respectivamente. A descrição detalhada dos processos das Etapas S2044 e S205 será aqui omitida.
[00356] O gerador de gatilho 16e1 determina na Etapa S2044 se permite que a unidade de execução do processo de reconhecimento 124 transmita o resultado do reconhecimento similarmente à Etapa S2044 do fluxograma da figura 45 supradescrito. Quando o gerador de gatilho 16e1 determinar que o resultado do reconhecimento não deve ser transmitido em um ponto atual (Etapa S2044, “Não”), o gerador de gatilho 16e1 prossegue para o processo da Etapa S2060.
[00357] Ao contrário, quando o gerador de gatilho 15f determinar, na Etapa S2044, transmitir o resultado do reconhecimento (Etapa S2044, “Sim”), o gerador de gatilho 15f prossegue para o processo da Etapa S205. Na Etapa S205, o gerador de gatilho 16e1 executa um processo de transmissão para transmitir um sinal de gatilho para a unidade de execução do processo de reconhecimento 124. Quando o processo de transmissão for executado, o processo prossegue para a etapa S2060.
[00358] O processo no gerador de gatilho 16e2 é similar ao processo no gerador de gatilho 16e1. Isto é, o gerador de gatilho 16e2 determina, na Etapa S2044, se permite que a unidade de processamento de imagem 143 transmita os dados de imagem para o reconhecimento visual. Quando o gerador de gatilho 16e1 determinar que o resultado do reconhecimento não deve ser transmitido em um ponto atual (Etapa S2044, “Não”), o gerador de gatilho 16e1 prossegue para o processo da Etapa S2060. Ao contrário, quando o gerador de gatilho 15f determinar que o resultado do reconhecimento deve ser
98 / 149 transmitido (Etapa S2044, “Sim”), o processo prossegue para a Etapa S205. Na Etapa S205, o gerador de gatilho 16e2 executa um processo de transmissão para transmitir um sinal de gatilho para a unidade de processamento de imagem 143. Quando o processo de transmissão for executado, o processo prossegue para a etapa S2060.
[00359] O processo da Etapa S2060 e o processo da Etapa S2062 seguinte à Etapa S2060 são os processos executados pelo controlador de saída 15b. O controlador de saída 15b executa o processo de controle de saída individualmente no resultado do reconhecimento transmitido a partir da unidade de execução do processo de reconhecimento 124 e nos dados de imagem para o reconhecimento visual transmitidos a partir da unidade de processamento de imagem 143.
[00360] O controlador de saída 15b armazena o resultado do reconhecimento transmitido a partir da unidade de execução do processo de reconhecimento 124 na memória cache 150 na Etapa S2060, para realizar um processo de armazenamento de saída. Depois que o controlador de saída 15a tiver armazenado o resultado do reconhecimento na memória cache 150, o controlador de saída 15a prossegue para o processo da Etapa S2062.
[00361] Na Etapa S2062, o controlador de saída 15b realiza um processo de correção nos dados de imagem para o reconhecimento visual armazenados na memória cache 151 na Etapa S2060 usando a informação de movimento inserida a partir do sensor externo 18, e armazena os dados de imagem corrigidos para o reconhecimento visual na memória cache 151. Não limitado a isto, na Etapa S2062, o controlador de saída 15b pode realizar o processo de correção no resultado do reconhecimento armazenado na memória cache 150 na Etapa S2060. O controlador de saída 15b armazena o resultado do reconhecimento corrigido na memória cache 150.
[00362] O controlador de saída 15b transmite o resultado do reconhecimento armazenado na memória cache 150 e os dados de imagem
99 / 149 corrigidos para o reconhecimento visual armazenados na memória cache 151 em um sincronismo predeterminado.
[00363] Desta maneira, na primeira modificação da quarta modalidade, o resultado do reconhecimento e os dados de imagem para o reconhecimento visual são individualmente submetidos a cache, e o resultado do reconhecimento ou os dados de imagem para o reconhecimento visual são corrigidos usando a informação de movimento inserida a partir do sensor externo 18. Isto torna possível transmitir o resultado do reconhecimento e os dados de imagem para o reconhecimento visual em um estado que suprime o desvio espacial entre o resultado do reconhecimento e os dados de imagem para o reconhecimento visual. [7-2. Segunda modificação da quarta modalidade]
[00364] A seguir, uma segunda modificação da quarta modalidade será descrita. A segunda modificação da quarta modalidade é um exemplo em que a leitura dos dados de pixel pela unidade de processamento de reconhecimento visual 14 depois do processo de reconhecimento pela unidade de processamento de reconhecimento 12 é realizada em alta velocidade para suprimir a diferença entre o sincronismo de transmissão do resultado do reconhecimento e o sincronismo de transmissão dos dados de imagem para o reconhecimento visual.
[00365] A figura 48 é um diagrama esquemático que ilustra esquematicamente um exemplo de um processo de controle de saída de acordo com a segunda modificação da quarta modalidade. Na figura 48, as Etapas S10 a S12 são os diagramas correspondentes à figura 32 supradescrita, e ilustram esquematicamente um estado da leitura de quadro pelo controlador do sensor 11. Isto é, os quadros são lidos sequencialmente na ordem das linhas na Etapa S10, e o processo salta para a posição na qual é previsto que o objeto seja identificável e a leitura é realizada na Etapa S11. Subsequentemente, o resultado do reconhecimento é transmitido na Etapa
100 / 149 S12.
[00366] Na figura 48, o resultado do reconhecimento foi transmitido em um estado em que todos os dados de linha do quadro não foram lidos na Etapa S12. Desta maneira, na próxima Etapa S20, a unidade de processamento de reconhecimento visual 14 realiza a leitura da linha que não foi lida nos processos até a Etapa S12 no quadro. Neste momento, a unidade de processamento de reconhecimento visual 14 executa a leitura de quadro em uma taxa de leitura mais alta do que a taxa de leitura em relação à leitura realizada pela unidade de processamento de reconhecimento 12 nos processos até a Etapa S12. A unidade de processamento de reconhecimento visual 14 finaliza a leitura em um sincronismo predeterminado e transmite os dados de imagem para o reconhecimento visual.
[00367] Isto torna possível, na segunda modificação da quarta modalidade, suprimir a diferença de tempo entre o sincronismo de transmissão do resultado do reconhecimento e o sincronismo de transmissão dos dados de imagem para o reconhecimento visual.
[00368] A figura 49 é um diagrama de blocos funcional que ilustra uma função de um exemplo de um aparelho de formação de imagem 1 de acordo com a segunda modificação da quarta modalidade. Na figura 49, suprido com o resultado do reconhecimento proveniente da unidade de execução do processo de reconhecimento 124 conforme apropriado, um gerador de gatilho 16f gera um sinal de gatilho com base no escore de confiança do reconhecimento, que é passado no formado de ser incluído no resultado do reconhecimento proveniente da unidade de execução do processo de reconhecimento 124, da forma descrita na segunda modificação da terceira modalidade (consulte as figuras 38 a 40).
[00369] O gerador de gatilho 16f gera um sinal de gatilho no tempo tTRG quando o escore de confiança do reconhecimento incluído no resultado do reconhecimento passado a partir da unidade de execução do processo de
101 / 149 reconhecimento 124 alcançar o limite Cth. Em resposta a este sinal de gatilho, a unidade de execução do processo de reconhecimento 124 passa o resultado do reconhecimento para um controlador de saída 15c. O controlador de saída 15c armazena o resultado do reconhecimento recebido na memória cache 150.
[00370] Por outro lado, o gerador de gatilho 16f transmite um sinal de gatilho para a unidade de execução do processo de reconhecimento 124, gera uma instrução de leitura em alta velocidade que instrui a leitura em velocidade mais alta dos dados de pixel a partir da unidade sensora 10, e passa a instrução de leitura em alta velocidade para o determinador de leitura
142.
[00371] O determinador de leitura 142 gera a informação da região de leitura que inclui a instrução de leitura em alta velocidade passada a partir do controlador de saída 15b, e passa a informação da região de leitura gerada para o controlador do sensor 11. No controlador do sensor 11, a informação da região de leitura que inclui a instrução de leitura em alta velocidade é passada a partir do controlador de leitura 111 para a unidade de leitura 110. Em resposta à instrução de leitura em alta velocidade incluída na informação da região de leitura, a unidade de leitura 110 gera um sinal de controle da formação de imagem para acionar a unidade sensora 10 em uma velocidade de acionamento mais alta do que a velocidade de acionamento antes da ocorrência do sinal de gatilho. A unidade sensora 10 aciona a unidade sensora 10 em alta velocidade de acordo com o sinal de controle da formação de imagem, e lê os dados de pixel em uma velocidade mais alta do que antes da ocorrência do sinal de gatilho.
[00372] Os dados de pixel lidos pela unidade de leitura 110 são passados para a unidade de processamento de imagem 143 como os dados de imagem para o reconhecimento visual por meio do controlador de armazenamento dos dados de imagem 140. A unidade de processamento de imagem 143 realiza o processamento de imagem nos dados de imagem
102 / 149 recebidos e passa os dados processados para o controlador de saída 15c. O controlador de saída 15c armazena os dados de imagem passados a partir da unidade de processamento de imagem 143 na memória cache 151. O controlador de saída 15c lê o resultado do reconhecimento armazenado na memória cache 150 e os dados de imagem para o reconhecimento visual armazenados na memória cache 151 em um sincronismo predeterminado, por exemplo, um sincronismo sincronizado com o período de quadro, e transmite os dados individualmente.
[00373] A figura 50 é um fluxograma de um exemplo que ilustra o processo de acordo com a primeira modificação da quarta modalidade. Na figura 50, os processos das Etapas S200 até S203 são similares aos processos das Etapas S200 até S203 de acordo com o fluxograma da figura 34 supradescrito e, assim, a descrição dos mesmos será aqui omitida. Além do mais, os processos da Etapa S204 e da Etapa S205 da figura 50 são os processos similares aos processos da Etapa S2044 e da Etapa S205 da figura 50 supradescritos, e são executados em paralelo, por exemplo, nos geradores de gatilho 16e1 e 16e2, respectivamente. A descrição detalhada dos processos das Etapas S2044 e S205 será aqui omitida.
[00374] O gerador de gatilho 16e1 determina na Etapa S2044 se permite que a unidade de execução do processo de reconhecimento 124 transmita o resultado do reconhecimento similarmente à Etapa S2044 do fluxograma da figura 45 supradescrito. Quando o gerador de gatilho 16e1 determinar não transmitir o resultado do reconhecimento em um ponto atual (Etapa S2044, “Não”), o gerador de gatilho 16e1 prossegue para o processo da Etapa S2063. Ao contrário, quando o gerador de gatilho 16f determinar que o resultado do reconhecimento deve ser transmitido (Etapa S2044, “Sim”), o processo prossegue para a Etapa S205. Na Etapa S205, o gerador de gatilho 16e1 executa um processo de transmissão para transmitir um sinal de gatilho para a unidade de execução do processo de reconhecimento 124. Quando o processo
103 / 149 de transmissão for executado, o processo prossegue para a etapa S2051.
[00375] Na Etapa S2051, um processo de leitura em alta velocidade é realizado. Isto é, na Etapa S2051, o gerador de gatilho 16f gera uma instrução de leitura em alta velocidade e passa a instrução para o determinador de leitura 142. Esta instrução de leitura em alta velocidade é incluída na informação da região de leitura gerada pelo determinador de leitura 142 e passada para o controlador do sensor 11. O controlador do sensor 11 passa a informação da região de leitura recebida para a unidade de leitura 110. A unidade de leitura 110 aciona a unidade sensora 10 em uma velocidade mais alta em resposta à instrução de leitura em alta velocidade incluída na informação da região de leitura recebida. Neste momento, a unidade de leitura 110 pode realizar a leitura com redução na unidade sensora 10 para aumentar a velocidade de leitura ou pode reduzir a profundidade de bit dos dados de imagem a serem lidos para aumentar a velocidade de leitura.
[00376] Tendo lido os dados de pixel a partir da unidade sensora 10 acionada em alta velocidade, a unidade de leitura 110 passa os dados de pixel para a unidade de processamento de reconhecimento visual 14. A unidade de processamento de reconhecimento visual 14 passa os dados de pixel recebidos a partir da unidade de leitura 110 para a unidade de processamento de imagem 143 por meio do controlador de armazenamento dos dados de imagem 140. A unidade de processamento de imagem 143 realiza o processamento de imagem nos dados de imagem recebidos e transmite os dados processados como os dados de imagem para o reconhecimento visual. Os dados de imagem para o reconhecimento visual transmitidos a partir da unidade de processamento de imagem 143 são passados para o controlador de saída 15c e armazenados na memória cache 151.
[00377] Na próxima Etapa S2063, o controlador de saída 15c transmite o resultado do reconhecimento armazenado na memória cache 150 e os dados de imagem corrigidos para o reconhecimento visual armazenados na memória
104 / 149 cache 151 em um sincronismo predeterminado, por exemplo, o sincronismo sincronizado com o período de quadro.
[00378] Desta maneira, na segunda modificação da quarta modalidade, depois que o resultado do reconhecimento for transmitido, os dados de imagem para o reconhecimento visual são adquiridos pela leitura em alta velocidade, e os dados de imagem para o reconhecimento visual e o resultado do reconhecimento adquiridos são transmitidos em um sincronismo predeterminado. Isto torna possível transmitir o resultado do reconhecimento e os dados de imagem para o reconhecimento visual em um estado que suprime o desfasamento entre o resultado do reconhecimento e os dados de imagem para o reconhecimento visual.
[00379] Embora a descrição acima seja um exemplo em que a leitura em alta velocidade para os dados de imagem para o reconhecimento visual é realizada depois da transmissão do resultado do reconhecimento, a presente descrição não é limitada a este exemplo. Isto é, a leitura em alta velocidade para os processos de reconhecimento pode ser realizada depois da conclusão da leitura dos dados de imagem para o processo de reconhecimento visual.
[00380] Neste caso, o gerador de gatilho 16f gera uma instrução de leitura em alta velocidade de acordo com a transmissão do sinal de gatilho para a unidade de processamento de imagem 143, e passa a instrução de leitura em alta velocidade gerada para o determinador de leitura 123 por meio de um caminho ilustrado em linha pontilhada na figura 49. Esta instrução de leitura em alta velocidade é incluída na informação da região de leitura gerada pelo determinador de leitura 142 e passada para o controlador do sensor 11. O controlador do sensor 11 passa a informação da região de leitura recebida para a unidade de leitura 110. A unidade de leitura 110 aciona a unidade sensora 10 em uma velocidade mais alta em resposta à instrução de leitura em alta velocidade incluída na informação da região de leitura recebida. A unidade de leitura 110 lê os dados de pixel a partir da unidade sensora 10 acionada em
105 / 149 alta velocidade e passa os dados de pixel para a unidade de processamento de reconhecimento 12. [8. Quinta modalidade]
[00381] A seguir, uma quinta modalidade será descrita. A quinta modalidade é um exemplo em que a mediação é realizada entre a região de leitura em que a unidade de processamento de reconhecimento 12 realiza a leitura e a região de leitura em que a unidade de processamento de reconhecimento visual 14 realiza a leitura. Por exemplo, quando uma da unidade de processamento de reconhecimento 12 ou da unidade de processamento de reconhecimento visual 14 realizar a leitura de linha pela redução de linha e a outra realizar a leitura sequencialmente na ordem das linhas, a linha alvo da linha de saída irá diferir entre a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14 em um certo sincronismo. Em um caso como este, a mediação da região de leitura é realizada entre a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14 para determinar a linha como o alvo da leitura.
[00382] A figura 51 é um fluxograma de um exemplo que ilustra um esboço de um processo de mediação de acordo com a quinta modalidade. O processo no fluxograma da figura 51 é um processo executado para cada um dos tempos de leitura da unidade de leitura. A seguir, considera-se que a unidade de leitura é uma linha e o controlador do sensor 11 lê os dados de pixel a partir da unidade sensora 10 na unidade de linha.
[00383] O processo de acordo com o fluxograma da figura 51 será descrito em relação à figura 21. Na Etapa S300, a unidade de leitura 110 lê os dados de pixel (dados de linha) na unidade de linha a partir da unidade sensora 10. A unidade de leitura 110 passa os dados de linha lidos a partir da unidade sensora 10 para a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14. A unidade de
106 / 149 processamento de reconhecimento visual 14 passa os dados de pixel passados a partir da unidade de leitura 110 para o controlador de armazenamento dos dados de imagem 140. O controlador de armazenamento dos dados de imagem 140 armazena os dados de pixel recebidos na unidade de armazenamento dos dados de imagem 141, por exemplo, e passa os dados para a unidade de processamento de imagem 143.
[00384] Quando o processamento da Etapa S300 estiver completo, o processo prossegue para a Etapa S301 e a Etapa S311. Os processos das Etapas S301 até S303 são os processos na unidade de processamento de reconhecimento 12. Ao contrário, os processos das Etapas S311 até S313 são os processos na unidade de processamento de reconhecimento visual 14. O processo na unidade de processamento de reconhecimento 12 e o processo na unidade de processamento de reconhecimento visual 14 podem ser executados em paralelo.
[00385] Primeiro, o processo pela unidade de processamento de reconhecimento 12 a partir da Etapa S301 será descrito. Na Etapa S301, a unidade de processamento de reconhecimento 12 executa o cálculo dos dados de característica pela unidade de cálculo dos dados de característica 120 com base nos dados de linha passados a partir da unidade de leitura 110, o armazenamento dos dados de característica calculados na unidade de armazenamento dos dados de característica 122, e um processo de reconhecimento por uma unidade de execução do processo de reconhecimento 124 com base nos dados de característica integrados armazenados na unidade de armazenamento dos dados de característica 122 ou similares. Na próxima Etapa S302, a unidade de processamento de reconhecimento 12 transmite um resultado do reconhecimento do processo de reconhecimento a partir da unidade de execução do processo de reconhecimento 124. Na próxima Etapa S303, na unidade de processamento de reconhecimento 12, o determinador de leitura 123 usa os dados de característica integrados para gerar a informação
107 / 149 da linha de leitura que indica a próxima linha de leitura como a informação da região de leitura e passa a informação gerada para o controlador do sensor 11. Quando o processo da Etapa S303 estiver completo, o processo prossegue para a etapa S320a.
[00386] A seguir, os processos realizados pela unidade de processamento de reconhecimento visual 14 a partir da Etapa S311 serão descritos. Na Etapa S311, a unidade de processamento de reconhecimento visual 14 executa o armazenamento dos dados de linha passados a partir da unidade de leitura 110 na unidade de armazenamento dos dados de imagem 141, o processamento de imagem nos dados de imagem armazenados na unidade de armazenamento dos dados de imagem 141 pela unidade de processamento de imagem 143 ou similares. Na próxima Etapa S312, a unidade de processamento de imagem 143 na unidade de processamento de reconhecimento visual 14 transmite os dados de imagem sujeitos ao processamento de imagem na Etapa S311. Na próxima Etapa S312, o determinador de leitura 142 na unidade de processamento de reconhecimento visual 14 usa a informação de linha da linha lida na Etapa S300 e o resultado do reconhecimento transmitido pela unidade de processamento de reconhecimento 12 na Etapa S302 para gerar a informação da linha de leitura que indica a próxima linha de leitura como a informação da região de leitura e passa a informação gerada para o controlador do sensor 11. Quando o processamento da Etapa S313 estiver completo, o processo prossegue para a etapa S320a.
[00387] Na Etapa S320a, o controlador do sensor 11 adquire a informação da mediação para uso na mediação para a região de leitura por um controlador de mediação descrito a seguir. Os exemplos específicos da informação da mediação serão descritos a seguir.
[00388] Na próxima Etapa S321, o controlador de mediação usa a informação da mediação adquirida na Etapa S320a para determinar qual da
108 / 149 linha de leitura indicada pela informação da linha de leitura passada a partir da unidade de processamento de reconhecimento 12 na Etapa S303 e da linha de leitura indicada pela informação da linha de leitura passada a partir da unidade de processamento de reconhecimento visual 14 na Etapa S313 será usada como a linha de leitura para a próxima leitura. Na próxima Etapa S322, o controlador do sensor 11 executa um processo de controle de linha para realizar a leitura da linha de leitura determinada pelo controlador de mediação na Etapa S321.
[00389] Desta maneira, na quinta modalidade, o controlador de mediação realiza a mediação da linha de leitura a ser lida a seguir entre a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14 com base na informação da mediação adquirida de uma maneira predeterminada. Portanto, por exemplo, mesmo quando a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14 tiverem determinado linhas diferentes como as linhas de leitura, é possível evitar a ocorrência de um problema na realização da leitura das linhas. (8-0-1. Exemplo específico do processo de mediação)
[00390] A seguir, o processo de mediação de acordo com a quinta modalidade será descrito mais especificamente. A figura 52 é um diagrama de blocos funcional de um exemplo que ilustra a função do aparelho de formação de imagem 1 aplicável na quinta modalidade.
[00391] Em uma configuração ilustrada na figura 52, um controlador de leitura 111a no controlador do sensor 11 inclui um controlador de mediação 1110 e um controlador do processo de leitura 1111, se comparada com a configuração ilustrada na figura 21. Uma ou mais informações da região de leitura individualmente provenientes do determinador de leitura 123 da unidade de processamento de reconhecimento 12 e do determinador de leitura 142 da unidade de processamento de reconhecimento visual 14 são
109 / 149 inseridas no controlador de mediação 1110 como sinais de controle para controlar o processo de mediação. Em outras palavras, o controlador de mediação 1110 neste exemplo usa este sinal de controle como a informação da mediação para realizar o controle de mediação.
[00392] Aqui, considera-se que uma informação da região de leitura indica uma linha. Isto é, o controlador de mediação 1110 recebe a entrada de uma ou mais informações de linha individualmente a partir dos determinadores de leitura 123 e 142.
[00393] Na quinta modalidade, o controlador de mediação 1110 obtém um produto lógico do sinal de controle inserido a partir do determinador de leitura 123 e do sinal de controle inserido a partir da unidade de processamento de reconhecimento visual 14 para determinar uma linha de leitura para a próxima leitura.
[00394] O controlador de mediação 1110 passa um sinal de controle que indica uma linha de leitura determinada pelo processo de mediação para o controlador do processo de leitura 1111. O controlador do processo de leitura 1111 passa o sinal de controle recebido para a unidade de leitura 110 como a informação da região de leitura que indica uma linha de leitura.
[00395] Na configuração da figura 52, o controlador de saída 15 transmite o resultado do reconhecimento transmitido a partir da unidade de execução do processo de reconhecimento 124 e os dados de imagem para o reconhecimento visual transmitidos a partir da unidade de processamento de imagem 143 para um dispositivo no estágio subsequente. Aqui, o dispositivo no estágio subsequente pode ser implementado pela aplicação de um outro dispositivo sensor que realiza o processo de reconhecimento. Neste caso, o resultado do reconhecimento e os dados de imagem para o reconhecimento visual transmitidos a partir do aparelho de formação de imagem 1 podem ser aplicados no processo de reconhecimento no outro dispositivo sensor.
[00396] A figura 53 é um diagrama esquemático que ilustra o processo
110 / 149 de mediação de acordo com a quinta modalidade. A figura 53 ilustra um exemplo em que o controlador de mediação 1110 realiza um processo de mediação com base em um sinal de controle. Aqui, a informação da região de leitura é usada como o sinal de controle.
[00397] A figura 53 ilustra que o tempo passa para a direita. Além do mais, a direção vertical indica o controle de reconhecimento pela unidade de processamento de reconhecimento 12, o controle de reconhecimento visual pela unidade de processamento de reconhecimento visual 14, a leitura da imagem lida a partir da unidade sensora 10, e o resultado da mediação pelo controlador de mediação 1110 individualmente. Como exposto, o controlador de mediação 1110 realiza a mediação pela obtenção de um produto lógico do sinal de controle (informação da região de leitura) transmitido pela unidade de processamento de reconhecimento 12 e do sinal de controle transmitido pela unidade de processamento de reconhecimento visual 14.
[00398] Na Etapa S40, a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14 geram a informação da região de leitura para a leitura da i-ésima linha (linha i). A unidade de processamento de reconhecimento 12 transmite a informação da região de leitura para a leitura das três linhas da linha (i + 1), da linha (i + 2) e da linha (i + 3), individualmente. Similarmente, a unidade de processamento de reconhecimento visual 14 também transmite os sinais de controle para a leitura das três linhas da linha (i + 1), da linha (i + 2) e da linha (i + 3), individualmente. A informação da região de leitura transmitida a partir da unidade de processamento de reconhecimento 12 e a informação da região de leitura transmitida a partir da unidade de processamento de reconhecimento visual 14 são, cada qual, inseridas no controlador de mediação 1110 como os sinais de controle a serem usados pelo controlador de mediação 1110 para realizar o controle de mediação.
[00399] O controlador de mediação 1110 obtém o produto lógico dos
111 / 149 sinais de controle individuais para a linha (i + 1), a linha (i + 2), e a linha (i + 3) provenientes da unidade de processamento de reconhecimento 12 e dos sinais de controle individuais para a linha (i + 1), a linha (i + 2), e a linha (i + 3) provenientes da unidade de processamento de reconhecimento visual 14. Aqui, já que os sinais de controle individuais provenientes da unidade de processamento de reconhecimento 12 e os sinais de controle individuais provenientes da unidade de processamento de reconhecimento visual 14 correspondem, todas as linhas indicadas pelos sinais de controle individuais podem ser lidas. O controlador de mediação 1110 seleciona a linha (i + 1), a linha (i + 2) e a linha (i + 3) uma por uma de acordo com a ordem de leitura no quadro, e transmite sequencialmente as linhas. O controlador de mediação 1110, primeiro, seleciona, por exemplo, o sinal de controle que indica a linha (i + 1), que é mais próxima da extremidade superior do quadro dentre a linha (i + 1), a linha (i + 2), e a linha (i + 3), como um resultado da mediação. Posteriormente, o controlador de mediação 1110 seleciona o sinal de controle que indica a linha (i + 2), o sinal de controle que indica a linha (i + 3), isto é, seleciona os sinais de controle um por um sequencialmente na ordem das linhas.
[00400] O controlador de mediação 1110 passa o sinal de controle selecionado como o resultado da mediação para o controlador do processo de leitura 1111. O controlador do processo de leitura 1111 passa o sinal de controle recebido a partir do controlador de mediação 1110 para a unidade de leitura 110 como a informação da região de leitura. A unidade de leitura 110 lê os dados de linha da linha (linha (i + 1)) indicados na informação da região de leitura a partir da unidade sensora 10. A unidade de leitura 110 passa os dados de linha da linha (i + 1) lidos a partir da unidade sensora 10 para a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14.
[00401] Com estes processos, na Etapa S40, conforme ilustrada na
112 / 149 leitura da imagem da figura 53, os dados de linha são lidos sequencialmente na ordem das linhas, por exemplo, a partir da linha L nº i no lado da extremidade superior do quadro na direção do lado da extremidade inferior do quadro.
[00402] O quadro é lido sequencialmente na ordem das linhas, e considera-se que, em um ponto em que o quadro for lido até a j-ésima linha (j- ésima linha) próxima do centro, por exemplo, a unidade de processamento de reconhecimento 12 reconheceu os números “8” ou “9” com base nos dados de linha lidos (Etapa S41).
[00403] A unidade de processamento de reconhecimento 12 pode realizar a leitura pela omissão da linha na linha a partir da qual é previsto que o objeto reconhecido na Etapa S41 possa ser identificado como qual dos números “8” ou “9”. Neste exemplo, a unidade de processamento de reconhecimento 12 transmite a informação da região de leitura para três linhas individualmente lidas, a saber, a linha (j + 3), a linha (j + 5), e a linha (j + 7), para realizar a redução de cada uma linha na leitura. Cada uma das informações da região de leitura transmitida a partir da unidade de processamento de reconhecimento 12 é inserida no controlador de mediação 1110 como cada informação de controle para o controlador de mediação 1110 para realizar o controle de mediação.
[00404] Por outro lado, já que a imagem para o reconhecimento visual precisa ser densa na razão de reconhecimento, a unidade de processamento de reconhecimento visual 14 tem a primeira (j + 1) linha, a (j + 2) linha, e a linha (j + 3). A informação da região de leitura para a leitura de três linhas em sequência é transmitida. Cada uma das informações da região de leitura transmitida a partir da unidade de processamento de reconhecimento visual 14 é inserida no controlador de mediação 1110 como cada informação de controle para o controlador de mediação 1110 para realizar o controle de mediação.
113 / 149
[00405] O controlador de mediação 1110 obtém um produto lógico de cada um dos sinais de controle passados a partir da unidade de processamento de reconhecimento 12 e cada um dos sinais de controle passados a partir da unidade de processamento de reconhecimento visual 14. Neste caso, cada um dos sinais de controle passados a partir da unidade de processamento de reconhecimento 12 corresponde à (j + 3) linha, à linha (j + 5), e à linha (j + 7), e cada um dos sinais de controle passados a partir da unidade de processamento de reconhecimento visual 14 corresponde à (j + 1) linha, à (j + 2) linha, e à linha (j + 3). Portanto, pela obtenção do produto lógico pelo controlador de mediação 1110, o sinal de controle que indica a linha (j + 3) é transmitido a partir do controlador de mediação 1110 como o resultado da mediação.
[00406] A seguir, considera-se que, em um ponto em que a k-ésima linha no lado da extremidade inferior do quadro é lida a partir da j-ésima linha supradescrita na Etapa S42, o objeto identificado como qualquer um dos números “8” ou “9” na Etapa S41 é determinado como o número “8”. Neste caso, a unidade de processamento de reconhecimento 12 pode terminar o processo de reconhecimento. Quando o processo de reconhecimento estiver completo, o sinal de controle inserido a partir da unidade de processamento de reconhecimento 12 no controlador de mediação 1110 pode ser opcional.
[00407] Por outro lado, em relação à imagem para o reconhecimento visual, é necessário ler as linhas adicionais. Neste exemplo, a unidade de processamento de reconhecimento visual 14 transmite a informação da região de leitura para a leitura de três linhas sequencialmente na ordem da linha da linha (k + 1), da linha (k + 2) e da linha (k + 3), individualmente.
[00408] Quando o processo de reconhecimento pela unidade de processamento de reconhecimento 12 estiver completo, o controlador de mediação 1110 desconsidera o sinal de controle inserido a partir da unidade de processamento de reconhecimento 12, por exemplo. Portanto, por
114 / 149 exemplo, o controlador de mediação 1110 seleciona a primeira (k + 1) linha, a (k + 2) linha e a (k + 3) linha indicadas pelo sinal de controle inserido a partir da unidade de processamento de reconhecimento visual 14 uma por uma de acordo com a ordem de leitura no quadro, e transmite sequencialmente as linhas. O controlador de mediação 1110, primeiro, seleciona, por exemplo, o sinal de controle que indica a linha (k + 1), que é mais próxima da extremidade superior do quadro dentre a linha (k + 1), a linha (k + 2) e a linha (k + 3), como um resultado da mediação.
[00409] Desta maneira, na quinta modalidade, o controlador de mediação 1110 obtém o produto lógico de cada um dos sinais de controle inseridos a partir da unidade de processamento de reconhecimento 12 e cada um dos sinais de controle inseridos a partir da unidade de processamento de reconhecimento visual 14 e, desse modo, realiza a mediação para determinar a linha de leitura a ser lida a seguir. Portanto, por exemplo, mesmo quando a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14 tiverem determinado linhas diferentes como as linhas de leitura, é possível evitar uma ocorrência de um problema na realização da leitura das linhas.
[00410] Incidentemente, pode haver um caso em que a linha indicada pelo sinal de controle inserido a partir da unidade de processamento de reconhecimento 12 e a linha indicada pelo sinal de controle inserido a partir da unidade de processamento de reconhecimento visual 14 não são duplicadas. Por exemplo, quando os sinais de controle individuais inseridos a partir da unidade de processamento de reconhecimento 12 no controlador de mediação 1110 forem relacionados à linha (i + 1), à linha (i + 3), e à linha (i + 5), e os sinais de controle individuais inseridos a partir da unidade de processamento de reconhecimento visual 14 no controlador de mediação 1110 são relacionados à linha (i + 2), à linha (i + 4) e à linha (i + 6), não haverá duplicação entre as linhas.
115 / 149
[00411] Obter o produto lógico de ambos pelo controlador de mediação 1110 irá produzir uma saída de conjunto vazio, levando a nenhuma determinação da linha de leitura a ser lida a seguir. Como um primeiro exemplo para evitar isto, é concebível determinar preliminarmente o sinal de controle a ser usado com prioridade mais alta dentre o sinal de controle inserido a partir da unidade de processamento de reconhecimento 12 e o sinal de controle inserido a partir da unidade de processamento de reconhecimento visual 14. Como um exemplo, o sinal de controle inserido a partir da unidade de processamento de reconhecimento 12 é selecionado com prioridade mais alta em relação ao sinal de controle inserido a partir da unidade de processamento de reconhecimento visual 14. Neste momento, é concebível adotar um sinal de controle mais próximo do sinal de controle inserido a partir da unidade de processamento de reconhecimento visual 14 dentre os sinais de controle inseridos a partir da unidade de processamento de reconhecimento priorizado 12.
[00412] Como um segundo exemplo, é concebível que a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual 14 definam um limite em antecipação no número de informações da região de leitura que podem ser transmitidas. Por exemplo, em cada uma da unidade de processamento de reconhecimento 12 e da unidade de processamento de reconhecimento visual 14, três linhas dentre cinco linhas sequencialmente adjacentes são selecionadas como candidatos.
[00413] A figura 54 é um fluxograma de exemplo que ilustra o processo de mediação de acordo com a quinta modalidade. O processo de acordo com o fluxograma da figura 54 é um processo executado para cada um dos tempos de leitura da unidade de leitura.
[00414] Na Etapa S300, a unidade de leitura 110 lê os dados de linha a partir da unidade sensora 10. A unidade de leitura 110 passa os dados de linha lidos a partir da unidade sensora 10 para a unidade de processamento de
116 / 149 reconhecimento 12 e a unidade de processamento de reconhecimento visual
14. A seguir, os processos no lado da unidade de processamento de reconhecimento 12 das Etapas S301 até S303 e os processos no lado da unidade de processamento de reconhecimento visual 14 nas Etapas S311 até S313 na figura 54 são os mesmos processos correspondentes na figura 51 supradescritos e, assim, a explicação é aqui omitida.
[00415] Na figura 54, na Etapa S303, como descrito acima, a unidade de processamento de reconhecimento 12 gera a informação da linha de leitura que indica a próxima linha de leitura como a informação da região de leitura e passa a informação gerada para o controlador do sensor 11. A informação da região de leitura passada para o controlador do sensor 11 será inserida no controlador de mediação 1110 como a informação de controle. Similarmente, na Etapa S313, a unidade de processamento de reconhecimento visual 14 gera a informação da linha de leitura que indica a próxima linha de leitura como a informação da região de leitura e passa a informação gerada para o controlador do sensor 11. A informação da região de leitura passada para o controlador do sensor 11 será inserida no controlador de mediação 1110 como a informação de controle.
[00416] Depois que um sinal de controle for inserido a partir da unidade de processamento de reconhecimento 12 e da unidade de processamento de reconhecimento visual 14 no controlador de mediação 1110 nas Etapas S303 e S313, o processo prossegue para a etapa S321. Na Etapa S321, o controlador de mediação realiza a mediação dos sinais de controle individuais pelo uso dos sinais de controle individuais inseridos a partir da unidade de processamento de reconhecimento 12 e da unidade de processamento de reconhecimento visual 14 como a informação da mediação. Esta mediação determina qual da linha de leitura indicada pelo sinal de controle passado a partir da unidade de processamento de reconhecimento 12 na Etapa S303 e da linha de leitura indicada pelo sinal de controle passado a
117 / 149 partir da unidade de processamento de reconhecimento visual 14 na Etapa S313 é definida como uma linha de leitura a ser lida a seguir. Na próxima Etapa S322, o controlador do sensor 11 executa um processo de controle de linha para realizar a leitura da linha de leitura determinada pelo controlador de mediação na Etapa S321. [8-1. Primeira modificação da quinta modalidade]
[00417] A seguir, uma primeira modificação da quinta modalidade será descrita. A primeira modificação da quinta modalidade é um exemplo em que o resultado do reconhecimento pela unidade de processamento de reconhecimento 12 é aplicado como a informação da mediação usada por um controlador de mediação 1110a para o processo de mediação. A figura 55 é um diagrama de blocos funcional de um exemplo que ilustra as funções do aparelho de formação de imagem 1 aplicáveis na primeira modificação da quinta modalidade.
[00418] Na configuração ilustrada na figura 55, o resultado do reconhecimento transmitido a partir da unidade de execução do processo de reconhecimento 124 é inserido em um controlador de mediação 1110ab, conforme comparada com a configuração ilustrada na figura 51 supradescrita. O controlador de mediação 1110ab de acordo com a primeira modificação da quinta modalidade usa este resultado do reconhecimento como a informação da mediação e, desse modo, realiza um processo de mediação entre a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento 12 e a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento visual 14.
[00419] A figura 56 é um diagrama esquemático que ilustra um primeiro exemplo do processo de mediação de acordo com a primeira modificação da quinta modalidade. A figura 56 ilustra que o tempo passa para a direita. Além do mais, a figura indica a partir do topo na direção vertical: o controle de leitura e os resultados do reconhecimento; a imagem de leitura
118 / 149 lida pelo controlador do sensor 11; e o resultado da mediação obtido pelo controlador de mediação 1110a. Além do mais, no exemplo da figura 56, o aparelho de formação de imagem 1 é usado para uma aplicação em veículo, e o quadro é lido na unidade de linha a partir do lado da extremidade inferior até o lado da extremidade superior.
[00420] No exemplo da figura 56, quando um corpo em movimento for reconhecido no processo de reconhecimento, o controle da unidade de processamento de reconhecimento visual 14 é priorizado.
[00421] No lado da extremidade inferior do quadro (Etapa S50), uma superfície da estrada é reconhecida pela unidade de execução do processo de reconhecimento 124 na unidade de processamento de reconhecimento 12 com base nos dados de linha. Neste caso, já que o alvo de reconhecimento é a superfície da estrada, a leitura pode ser realizada pela omissão das linhas em alguma extensão. Além do mais, o controlador de mediação 1110a realiza a mediação de acordo com o processo de reconhecimento com base no resultado do reconhecimento. Por exemplo, o controlador de mediação 1110a seleciona a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento 12 com prioridade mais alta em relação à informação da região de leitura inserida a partir da unidade de processamento de reconhecimento visual 14 de acordo com o resultado do reconhecimento em que a superfície da estrada é reconhecida e, então, passa a informação de seleção para o controlador do processo de leitura 1111. Por exemplo, em um caso em que a unidade de processamento de reconhecimento 12 controlar a leitura pela redução das linhas, a informação da região de leitura gerada pela redução das linhas em intervalos predeterminados será inserida no controlador de mediação 1110a. O controlador de mediação 1110a passa a informação da região de leitura que indica esta redução para o controlador do processo de leitura 1111.
[00422] Considera-se que o corpo em movimento é reconhecido pela
119 / 149 unidade de processamento de reconhecimento 12 com base nos dados de linha obtidos pela leitura as linhas com redução. No exemplo da figura 56, na Etapa S51, a unidade de execução do processo de reconhecimento 124 adquire um resultado da detecção de objeto que indica que um objeto é detectado ligeiramente antes da posição da linha de 1/2 do quadro, e é detectado que o objeto detectado é um corpo em movimento (humano). Na unidade de processamento de reconhecimento 12, a unidade de execução do processo de reconhecimento 124 passa o resultado do reconhecimento que indica que o humano foi reconhecido para o controlador de mediação 1110a.
[00423] A mudança posicional de um corpo em movimento com o tempo é grande e, assim, no caso de realização da leitura de linha que inclui a omissão de linhas, o desvio de posição do objeto reconhecido em cada uma das linhas de leitura será grande, levando à necessidade de corrigir o desvio. Portanto, o controlador de mediação 1110a dá prioridade mais alta ao controle para o reconhecimento visual com base no resultado do reconhecimento que indica que o humano foi reconhecido, e seleciona a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento visual 14 com prioridade mais alta em relação à informação da região de leitura inserida a partir da unidade de processamento de reconhecimento 12, e passa a informação selecionada para o controlador do processo de leitura
1111. Neste caso, a unidade de processamento de reconhecimento visual 14 gera, por exemplo, a informação da região de leitura para realizar sequencialmente a leitura na ordem das linhas e insere a informação gerada no controlador de mediação 1110a.
[00424] Além do mais, considera-se que a leitura de linha foi realizada na direção do lado da extremidade superior do quadro, e o resultado do reconhecimento que indica a superfície não estrada foi obtido pela unidade de execução do processo de reconhecimento 124 na unidade de processamento de reconhecimento 12. No caso de superfície não estrada, é considerado que
120 / 149 não há problema na realização da leitura de linha pelo uso de redução mais grosseira na superfície da estrada reconhecida na Etapa S50. Portanto, a unidade de processamento de reconhecimento 12 gera a informação da região de leitura em que o intervalo de redução é maior do que aquele no caso da superfície da estrada, e insere a informação gerada no controlador de mediação 1110a. O controlador de mediação 1110a seleciona a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento 12 de acordo com o resultado do reconhecimento que indica superfície não estrada transmitido a partir da unidade de execução do processo de reconhecimento 124 com prioridade mais alta em relação à informação da região de leitura inserida a partir da unidade de processamento de reconhecimento visual 14, e passa a informação selecionada para o controlador do processo de leitura 1111.
[00425] Na figura 56, a Etapa S52 ilustra que a região da superfície não estrada no lado da extremidade superior do quadro está sendo lida mais grosseiramente do que a região na superfície da estrada no lado da extremidade inferior do quadro, de acordo com a informação da região de leitura. Além do mais, na Etapa S52, é ilustrado que a parte central em que o humano é detectado no quadro é lida densamente para o reconhecimento visual.
[00426] A figura 57 é um diagrama esquemático que ilustra um segundo exemplo do processo de mediação de acordo com a primeira modificação da quinta modalidade. Já que as partes individuais da figura 57 são similares ao caso na figura 56 supradescrita, a descrição das mesmas será aqui omitida. Além do mais, cada uma das imagens ilustradas na figura 57 é uma imagem escura com baixa luminância como um todo, em que o lado frontal (lado da extremidade inferior do quadro) é mais brilhante com luminância ligeiramente superior.
[00427] Neste segundo exemplo, o controlador de mediação 1110a usa
121 / 149 a confiança que indica o nível de confiança do resultado do reconhecimento como a informação da mediação, e realiza a mediação entre a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento 12 e a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento visual 14.
[00428] Considera-se que a leitura de linha é iniciada a partir do lado da extremidade inferior do quadro, e a superfície da estrada é reconhecida pela unidade de execução do processo de reconhecimento 124 na unidade de processamento de reconhecimento 12 com uma confiança (alta confiança) com um nível predeterminado, com base nos dados de linha (Etapa S60). Neste caso, já que o alvo da formação de imagem é a superfície da estrada, a leitura pode ser realizada pela omissão de linhas em alguma extensão. A unidade de processamento de reconhecimento 12 gera a informação da região de leitura em que as linhas foram reduzidas em intervalos predeterminados de acordo com o resultado do reconhecimento, e insere a informação gerada no controlador de mediação 1110a.
[00429] Já que o resultado do reconhecimento transmitido a partir da unidade de execução do processo de reconhecimento 124 tem um alto nível de confiança, o controlador de mediação 1110a confia o resultado do reconhecimento, e seleciona a informação da região de leitura que indica a redução inserida a partir da unidade de processamento de reconhecimento 12 dentre a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento 12 e a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento visual 14. O controlador de mediação 1110a passa a informação da região de leitura que indica esta redução para o controlador do processo de leitura 1111.
[00430] Considera-se que o corpo em movimento é reconhecido pela unidade de processamento de reconhecimento 12 com base nos dados de linha obtidos pela leitura das linhas com redução. No exemplo da figura 57, na
122 / 149 Etapa S51, a unidade de execução do processo de reconhecimento 124 reconhece o corpo em movimento (humano) ligeiramente antes da posição da linha de 1/2 do quadro. Aqui, no exemplo da figura 57, considera-se que a parte em que o humano é reconhecido tem baixa luminância e, assim, a unidade de execução do processo de reconhecimento 124 reconheceu a detecção do humano com um grau de confiança (baixa confiança) menor do que um nível predeterminado. A unidade de execução do processo de reconhecimento 124 passa o resultado do reconhecimento que indica que o humano foi reconhecido com baixo nível de confiança para o controlador de mediação 1110a.
[00431] Neste caso, já que o humano é reconhecido com um baixo nível de confiança, a confirmação visual pelo humano é considerada necessária. Portanto, o controlador de mediação 1110a dá prioridade mais alta à informação da região de leitura transmitida a partir da unidade de processamento de reconhecimento visual 14 em relação à informação da região de leitura transmitida a partir da unidade de processamento de reconhecimento 12.
[00432] Aqui, o controlador de mediação 1110a pode dar uma instrução de leitura para o controlador do processo de leitura 1111 para alcançar o reconhecimento visual mais fácil de acordo com a confiança transmitida a partir da unidade de execução do processo de reconhecimento
124. Por exemplo, seria possível realizar o controle de maneira tal que as linhas no alcance da linha onde um humano foi reconhecido com baixa confiança devam ser lidas uma pluralidade de vezes. Neste caso, na unidade de processamento de reconhecimento visual 14, a unidade de processamento de imagem 143 ou similares podem combinar os dados da linha de leitura entre as linhas que têm posições mutuamente correspondentes, e realizam adicionalmente o processamento de imagem (por exemplo, processamento de alta resolução, ajuste de contraste) para aumentar a clareza da imagem da
123 / 149 pessoa reconhecida por baixa confiança.
[00433] Além do mais, quando o aparelho de formação de imagem 1 for montado em um veículo capaz de acionamento autônomo, é concebível definir o número de vezes de leitura, os detalhes do processamento de imagem ou similares, de acordo com o nível de acionamento autônomo compatível com o veículo (por exemplo, níveis 2 até 4).
[00434] Além do mais, considera-se que a leitura de linha foi realizada na direção do lado da extremidade superior do quadro, e o resultado do reconhecimento que indica a superfície não estrada foi obtido com alta confiança pela unidade de execução do processo de reconhecimento 124 na unidade de processamento de reconhecimento 12 (Etapa S62). No caso de superfície não estrada, é considerado que não há problema na realização da leitura de linha pelo uso de redução mais grosseira na superfície da estrada reconhecida na Etapa S60. Portanto, a unidade de processamento de reconhecimento 12 gera a informação da região de leitura em que o intervalo de redução é maior do que aquele no caso da superfície da estrada, e insere a informação gerada no controlador de mediação 1110a.
[00435] Note que é considerado que a alta qualidade de imagem não será exigida para a imagem da superfície não estrada na imagem para o reconhecimento visual. Portanto, é concebível que a unidade de processamento de reconhecimento visual 14 transmita os dados de imagem para o reconhecimento visual com a definição de qualidade de imagem padrão em um caso em que a unidade de execução do processo de reconhecimento 124 reconhecer como superfície não estrada.
[00436] A figura 58 é um fluxograma de um exemplo que ilustra o processo de mediação de acordo com a primeira modificação da quinta modalidade. O processo de acordo com o fluxograma da figura 58 é um processo executado para cada um dos tempos de leitura da unidade de leitura.
[00437] Na Etapa S300, a unidade de leitura 110 lê os dados de linha a
124 / 149 partir da unidade sensora 10. A unidade de leitura 110 passa os dados de linha lidos a partir da unidade sensora 10 para a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual
14. A seguir, os processos no lado da unidade de processamento de reconhecimento 12 das Etapas S301 até S303 e os processos no lado da unidade de processamento de reconhecimento visual 14 nas Etapas S311 até S313 na figura 58 são os mesmos processos correspondentes na figura 51 supradescritos e, assim, a explicação é aqui omitida.
[00438] Na figura 58, na Etapa S303, conforme descrito acima, a unidade de processamento de reconhecimento 12 gera a informação da linha de leitura que indica a próxima linha de leitura como a informação da região de leitura e passa a informação gerada para o controlador do sensor 11. A informação da região de leitura passada para o controlador do sensor 11 será inserida no controlador de mediação 1110a como a informação de controle. Similarmente, na Etapa S313, a unidade de processamento de reconhecimento visual 14 gera a informação da linha de leitura que indica a próxima linha de leitura como a informação da região de leitura e passa a informação gerada para o controlador do sensor 11. A informação da região de leitura passada para o controlador do sensor 11 será inserida no controlador de mediação 1110a como a informação de controle.
[00439] Depois que um sinal de controle for inserido a partir da unidade de processamento de reconhecimento 12 e da unidade de processamento de reconhecimento visual 14 no controlador de mediação 1110a nas Etapas S303 e S313, o processo prossegue para a etapa S320b. Na Etapa S320b, o controlador de mediação 1110a adquire o resultado do reconhecimento transmitido a partir da unidade de execução do processo de reconhecimento 124 como a informação da mediação.
[00440] Na próxima Etapa S321, um controlador de mediação 1110b determina qual da informação da região de leitura passada a partir da unidade
125 / 149 de processamento de reconhecimento 12 na Etapa S303 e da informação da região de leitura passada a partir da unidade de processamento de reconhecimento visual 14 na Etapa S313 deve ser definida como a informação da região de leitura que indica a linha a ser lida a seguir, de acordo com a confiança indicada no resultado do reconhecimento adquirido na Etapa S320b. Na próxima Etapa S322, o controlador do sensor 11 passa a informação da região de leitura determinada pelo controlador de mediação 1110b na Etapa S321 para o controlador do processo de leitura 1111, e executa o processo de controle de linha para ler a linha de leitura indicada na informação da região de leitura.
[00441] Desta maneira, na primeira modificação da quinta modalidade, é possível determinar adaptativamente qual da informação da região de leitura transmitida a partir da unidade de processamento de reconhecimento 12 e da informação da região de leitura transmitida a partir da unidade de processamento de reconhecimento visual 14 deve ser usada como a informação da região de leitura que indica a linha de leitura a ser lida a seguir, de acordo com o resultado do reconhecimento com base nos dados de linha. Isto torna possível obter uma imagem apropriada para o reconhecimento visual de acordo com várias cenas como os alvos da formação de imagem. [8-2. Segunda modificação da quinta modalidade]
[00442] A seguir, uma segunda modificação da quinta modalidade será descrita. A segunda modificação da quinta modalidade é um exemplo em que o controlador de mediação 1110 aplica a imagem para o reconhecimento visual transmitida a partir da unidade de processamento de reconhecimento visual 14 como a informação da mediação usada para os processos de mediação. A figura 59 é um diagrama de blocos funcional de um exemplo que ilustra as funções do aparelho de formação de imagem 1 aplicáveis na segunda modificação da quinta modalidade.
[00443] Na configuração ilustrada na figura 59, um resultado do
126 / 149 processamento de sinal obtido pela unidade de processamento de imagem 143 na execução do processamento de imagem é inserido no controlador de mediação 1110b, conforme comparada com a configuração ilustrada na figura 51 supradescrita. O resultado do processamento de sinal pode ser os dados de imagem não processados para o reconhecimento visual transmitidos a partir da unidade de processamento de imagem 143 ou pode ser os dados de imagem processados para facilitar a determinação pelo controlador de mediação 1110. O controlador de mediação 1110b de acordo com a segunda modificação da quinta modalidade usa este resultado do processamento de sinal como a informação da mediação e, desse modo, realiza um processo de mediação entre a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento 12 e a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento visual 14.
[00444] A figura 60 é um diagrama esquemático que ilustra um processo de mediação de acordo com a segunda modificação da quinta modalidade. Já que as partes individuais da figura 60 são similares ao caso na figura 60 supradescrito, a descrição das mesmas será aqui omitida. Além do mais, cada uma das imagens ilustradas na figura 60 corresponde a cada uma das imagens usadas na figura 57 supradescrita e é uma imagem escura com baixa luminância como um todo, em que o lado frontal (lado da extremidade inferior do quadro) é mais brilhante com luminância ligeiramente superior.
[00445] Conforme ilustrada na Etapa S70, a leitura de linha é iniciada a partir do lado da extremidade inferior do quadro. A unidade de processamento de imagem 143 calcula o valor da luminância dos dados de linha lidos (por exemplo, um valor médio dos valores da luminância das peças de dados de pixel individuais incluídas na linha) e passa um resultado do processamento de sinal que inclui o valor da luminância calculado para o controlador de mediação 1110b. Em um caso em que o valor da luminância incluído no resultado do processamento de sinal passado a partir da unidade de
127 / 149 processamento de imagem 143 for um primeiro limite ou maior, o controlador de mediação 1110b determina que a região lida é brilhante e adequada para o reconhecimento visual e, assim, realiza o controle que dá prioridade mais alta ao reconhecimento visual. Especificamente, o controlador de mediação 1110b seleciona a informação da região de leitura transmitida a partir da unidade de processamento de reconhecimento visual 14 dentre a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento 12 e a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento visual 14. O controlador de mediação 1110b seleciona a informação da região de leitura transmitida a partir da unidade de processamento de reconhecimento visual selecionada 14 como a informação da região de leitura que indica a linha a ser lida a seguir.
[00446] No exemplo da figura 60, considera-se que a unidade de processamento de reconhecimento visual 14 é solicitada para realizar a redução de linha quando o valor da luminância da linha for um valor predeterminado ou maior. A unidade de processamento de reconhecimento visual 14 gera a informação da região de leitura para a redução de linhas na extremidade inferior deste quadro, e passa a informação gerada para o controlador de mediação 1110.
[00447] Com base nos dados de linha obtidos pela leitura subsequentemente das linhas, a unidade de processamento de imagem 143 passa o resultado do processamento de sinal que inclui o valor da luminância dos dados de linha para o controlador de mediação 1110b. Em um caso em que o valor da luminância incluído no resultado do processamento de sinal recebido for menor do que um primeiro limite, o controlador de mediação 1110b determina que a região lida é escura e inadequada para o reconhecimento visual e, assim, realiza o controle que dá prioridade mais alta ao reconhecimento. Especificamente, o controlador de mediação 1110b seleciona a informação da região de leitura transmitida a partir da unidade de
128 / 149 processamento de reconhecimento 12, dentre a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento 12 e a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento visual 14 (Etapa S71).
[00448] A leitura de linha é adicionalmente realizada na direção do lado da extremidade superior do quadro, e o resultado do processamento de sinal que inclui o valor da luminância dos dados de linha é passado a partir da unidade de processamento de imagem 143 para o controlador de mediação 1110b. Em um caso em que o valor da luminância incluído no resultado do processamento de sinal passado a partir da unidade de processamento de imagem 143 for um primeiro limite ou maior, o controlador de mediação 1110b determina que a região lida é brilhante e adequada para o reconhecimento visual e, assim, retorna o controle para o controle que dá prioridade mais alta ao reconhecimento visual. Especificamente, o controlador de mediação 1110b seleciona a informação da região de leitura transmitida a partir da unidade de processamento de reconhecimento visual 14, dentre a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento 12 e a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento visual 14 como a informação da região de leitura que indica a linha a ser lida a seguir (Etapa S72).
[00449] Embora a descrição acima seja um exemplo em que o valor da luminância é determinado apenas pelo primeiro limite, a presente descrição não é limitada a este exemplo. Por exemplo, é permissível prover um segundo valor da luminância que tem um valor da luminância mais alto do que o valor do primeiro limite para aplicar este segundo limite no controle em que a prioridade mais alta é dada ao reconhecimento visual. Pelo uso deste segundo limite, é possível evitar um fenômeno referido como estado “estourado” em que o valor da luminância é saturado no controle de dar prioridade mais alta ao reconhecimento visual.
129 / 149
[00450] A figura 61 é um fluxograma de um exemplo que ilustra o processo de mediação de acordo com a segunda modificação da quinta modalidade. O processo de acordo com o fluxograma da figura 61 é um processo executado para cada um dos tempos de leitura da unidade de leitura.
[00451] Na Etapa S300, a unidade de leitura 110 lê os dados de linha a partir da unidade sensora 10. A unidade de leitura 110 passa os dados de linha lidos a partir da unidade sensora 10 para a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual
14. A seguir, os processos no lado da unidade de processamento de reconhecimento 12 das Etapas S301 até S303 e os processos no lado da unidade de processamento de reconhecimento visual 14 das Etapas S311 até S313 na figura 61 são os mesmos processos correspondentes na figura 51 supradescritos e, assim, a explicação é aqui omitida.
[00452] Na figura 61, na Etapa S303, conforme descrita acima, a unidade de processamento de reconhecimento 12 gera a informação da linha de leitura que indica a próxima linha de leitura como a informação da região de leitura e passa a informação gerada para o controlador do sensor 11. A informação da região de leitura passada para o controlador do sensor 11 será inserida no controlador de mediação 1110b como a informação de controle. Similarmente, na Etapa S313, a unidade de processamento de reconhecimento visual 14 gera a informação da linha de leitura que indica a próxima linha de leitura como a informação da região de leitura e passa a informação gerada para o controlador do sensor 11. A informação da região de leitura passada para o controlador do sensor 11 será inserida no controlador de mediação 1110b como a informação de controle.
[00453] Depois que um sinal de controle for inserido a partir da unidade de processamento de reconhecimento 12 e da unidade de processamento de reconhecimento visual 14 no controlador de mediação 1110b nas Etapas S303 e S313, o processo prossegue para a etapa S320c. Na
130 / 149 Etapa S320c, o controlador de mediação 1110b adquire o resultado do processamento de sinal transmitido a partir da unidade de processamento de imagem 143 como a informação da mediação.
[00454] Na próxima Etapa S321, um controlador de mediação 1110b determina qual da informação da região de leitura passada a partir da unidade de processamento de reconhecimento 12 na Etapa S303 e da informação da região de leitura passada a partir da unidade de processamento de reconhecimento visual 14 na Etapa S313 deve ser definida como a informação da região de leitura que indica a linha a ser lida a seguir, de acordo com o valor da luminância incluído no resultado do processamento de sinal adquirido na Etapa S320c. Na próxima Etapa S322, o controlador do sensor 11 passa a informação da região de leitura determinada pelo controlador de mediação 1110b na Etapa S321 para o controlador do processo de leitura 1111, e executa o processo de controle de linha para ler a linha de leitura indicada na informação da região de leitura.
[00455] Desta maneira, na segunda modificação da quinta modalidade, é possível determinar adaptativamente qual da informação da região de leitura transmitida a partir da unidade de processamento de reconhecimento 12 e da informação da região de leitura transmitida a partir da unidade de processamento de reconhecimento visual 14 deve ser usada como a informação da região de leitura que indica a linha de leitura a ser lida a seguir, de acordo com o valor da luminância com base nos dados de linha. Isto torna possível obter uma imagem apropriada para o reconhecimento visual de acordo com o brilho do ambiente de formação de imagem. [8-3. Terceira modificação da quinta modalidade]
[00456] A seguir, uma terceira modificação da quinta modalidade será descrita. A terceira modificação da quinta modalidade é um exemplo em que o controlador de mediação 1110 aplica a informação de controle externa suprida a partir do exterior como a informação da mediação usada para o
131 / 149 processo de mediação. A figura 62 é um diagrama de blocos funcional de um exemplo que ilustra as funções do aparelho de formação de imagem 1 aplicáveis na terceira modificação da quinta modalidade.
[00457] A configuração ilustrada na figura 62 é de maneira tal que a informação de controle externa possa ser inserida em um controlador de mediação 1110c, conforme comparada com a configuração ilustrada na figura 51 supradescrita. Quando o aparelho de formação de imagem 1 for montado em um veículo capaz de acionamento autônomo, é possível aplicar a informação que indica o nível de acionamento autônomo compatível com o veículo (por exemplo, níveis 2 até 4) na informação de controle externa. Não limitado a isto, os sinais de saída de outros sensores podem ser aplicados como a informação de controle externa. Neste caso, os exemplos dos outros sensores incluem um outro aparelho de formação de imagem, um sensor LiDAR, um dispositivo de radar ou similares. Além do mais, também é possível usar a saída de uma câmera de um espelho eletrônico que monitora a situação ao redor do veículo pelo uso da câmera e do visor como a informação de controle externa. Além do mais, a informação que indica os modos de operação de um dispositivo externo pode ser usada como a informação de controle externa, por exemplo.
[00458] O controlador de mediação 1110c de acordo com a terceira modificação da quinta modalidade usa esta informação de controle externa como a informação da mediação e, desse modo, realiza um processo de mediação entre a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento 12 e a informação da região de leitura inserida a partir da unidade de processamento de reconhecimento visual 14.
[00459] A figura 63 é um fluxograma de um exemplo que ilustra o processo de mediação de acordo com a terceira modificação da quinta modalidade. O processo de acordo com o fluxograma da figura 63 é um processo executado para cada um dos tempos de leitura da unidade de leitura.
132 / 149
[00460] Na Etapa S300, a unidade de leitura 110 lê os dados de linha a partir da unidade sensora 10. A unidade de leitura 110 passa os dados de linha lidos a partir da unidade sensora 10 para a unidade de processamento de reconhecimento 12 e a unidade de processamento de reconhecimento visual
14. A seguir, os processos no lado da unidade de processamento de reconhecimento 12 das Etapas S301 até S303 e os processos no lado da unidade de processamento de reconhecimento visual 14 nas Etapas S311 até S313 na figura 63 são os mesmos processos correspondentes na figura 51 supradescritos e, assim, a explicação é aqui omitida.
[00461] Na figura 63, na Etapa S303, conforme descrita acima, a unidade de processamento de reconhecimento 12 gera a informação da linha de leitura que indica a próxima linha de leitura como a informação da região de leitura e passa a informação gerada para o controlador do sensor 11. A informação da região de leitura passada para o controlador do sensor 11 será inserida no controlador de mediação 1110c como a informação de controle. Similarmente, na Etapa S313, a unidade de processamento de reconhecimento visual 14 gera a informação da linha de leitura que indica a próxima linha de leitura como a informação da região de leitura e passa a informação gerada para o controlador do sensor 11. A informação da região de leitura passada para o controlador do sensor 11 será inserida no controlador de mediação 1110c como a informação de controle.
[00462] Depois que um sinal de controle for inserido a partir da unidade de processamento de reconhecimento 12 e da unidade de processamento de reconhecimento visual 14 no controlador de mediação 1110b nas Etapas S303 e S313, o processo prossegue para a etapa S320d. Na Etapa S320d, o controlador de mediação 1110c adquire a informação de controle externa inserida a partir do dispositivo externo como a informação da mediação.
[00463] Na próxima Etapa S321, um controlador de mediação 1110b
133 / 149 determina qual da informação da região de leitura passada a partir da unidade de processamento de reconhecimento 12 na Etapa S303 e da informação da região de leitura passada a partir da unidade de processamento de reconhecimento visual 14 na Etapa S313 deve ser definida como a informação da região de leitura que indica a linha a ser lida a seguir, de acordo com a informação de controle externa adquirida na Etapa S320c.
[00464] Neste momento, em um caso em que a confiabilidade da informação de reconhecimento for baixa quando o controlador de mediação 1110c usar a informação de reconhecimento inserida a partir de um outro sensor como a informação de controle externa, por exemplo, o controlador de mediação 1110c controla para não selecionar a informação da região de leitura passada a partir da unidade de processamento de reconhecimento 12 na Etapa S303. Além do mais, em relação à informação de controle externa, é concebível que, quando o aparelho de formação de imagem 1 for montado em um veículo capaz de acionamento autônomo e usar a informação que indica o nível de acionamento autônomo compatível com o veículo (por exemplo, níveis 2 até 4), a informação da região de leitura passada a partir da unidade de processamento de reconhecimento 12 na Etapa S303 será usada com prioridade mais alta.
[00465] Na próxima Etapa S322, o controlador do sensor 11 passa a informação da região de leitura determinada pelo controlador de mediação 1110b na Etapa S321 para o controlador do processo de leitura 1111, e executa o processo de controle de linha para ler a linha de leitura indicada na informação da região de leitura.
[00466] Desta maneira, na terceira modificação da quinta modalidade, o controlador de mediação 1110c realiza a mediação pelo uso da informação de controle externa transmitida a partir do dispositivo externo como a informação da mediação. Isto habilita aplicações em várias situações, e em um caso em que o dispositivo externo for um sensor externo que não tem uma
134 / 149 saída de dados de imagem para o reconhecimento visual, é possível prover uma imagem com base em dados de imagem para o reconhecimento visual para o sensor externo. [9. Sexta modalidade]
[00467] A seguir, como uma sexta modalidade, os exemplos de aplicação do aparelho de formação de imagem 1 de acordo com a primeira até a quinta modalidades e as modificações individuais de acordo com a presente descrição serão descritos. A figura 64 é um diagrama que ilustra um exemplo de uso do aparelho de formação de imagem 1 de acordo com a primeira até a quinta modalidades e as modificações individuais supradescritas.
[00468] O aparelho de formação de imagem 1 supradescrito é aplicável nas seguintes várias situações em que a percepção é realizada para a luz que inclui luz visual, luz infravermelha, luz ultravioleta, e raio X.
[00469] - Um dispositivo que captura as imagens usadas para visualização para entretenimento, tais como as câmeras digitais e os dispositivos móveis, com uma função de câmera.
[00470] - Um dispositivo para transporte, tal como um sensor em veículo que forma imagem da frente, da traseira, das cercanias, do interior ou similares, de um veículo a fim de garantir o acionamento seguro, incluindo parada automática ou similares, e para reconhecer estados do motorista, uma câmera de vigilância para monitorar os veículos em deslocamento e as estradas, e um sensor de telemetria para realizar a medição de uma distância entre veículos ou similares.
[00471] - Um dispositivo para utensílios domésticos, incluindo uma TV, um refrigerador, um condicionador de ar ou similares para formar imagem do gesto do usuário e realizar a operação do aparelho de acordo com o gesto.
[00472] - Um dispositivo usado para o tratamento médico e cuidados com a saúde, tais como endoscópios e dispositivos que realizam angiografia
135 / 149 pela recepção de luz infravermelha.
[00473] - Um dispositivo usado para segurança, tais como câmeras de vigilância para prevenção criminal e câmeras para autenticação pessoal.
[00474] - Um dispositivo usado para beleza, tais como um dispositivo de medição da pele que forma imagem da pele e um microscópio que forma imagem do couro cabeludo.
[00475] - Um dispositivo usado para esportes, tais como câmeras de ação e câmeras vestíveis para aplicações esportivas.
[00476] - Um dispositivo usado para agricultura, tais como câmeras para monitorar as condições de campos e plantações. [Exemplo de aplicação adicional da tecnologia de acordo com a presente descrição]
[00477] A tecnologia de acordo com a presente descrição (a presente tecnologia) é aplicável em vários produtos. Por exemplo, a tecnologia de acordo com a presente descrição pode ser aplicada em dispositivos montados em vários objetos em movimento, tais como automóveis, veículos elétricos, veículos elétricos híbridos, motocicletas, bicicletas, mobilidade pessoal, aeroplanos, drones, navios, e robôs.
[00478] A figura 65 é um diagrama de blocos que ilustra um exemplo de configuração esquemática de um sistema de controle de veículo, que é um exemplo de um sistema de controle móvel no qual a técnica de acordo com a presente descrição é aplicável.
[00479] Um sistema de controle de veículo 12000 inclui uma pluralidade de unidades de controle eletrônico conectadas por meio de uma rede de comunicação 12001. No exemplo ilustrado na figura 65, o sistema de controle de veículo 12000 inclui uma unidade de controle do sistema de direção 12010, uma unidade de controle do sistema do corpo 12020, uma unidade de detecção de informação no exterior do veículo 12030, uma unidade de detecção de informação no interior do veículo 12040, e uma
136 / 149 unidade de controle integrada 12050. Além do mais, como uma configuração funcional da unidade de controle integrada 12050, um microcomputador 12051, uma unidade de transmissão de áudio e imagem 12052, e uma interface (I/F) de rede no veículo 12053 são ilustrados.
[00480] A unidade de controle do sistema de direção 12010 controla a operação do aparelho relacionado ao sistema de direção do veículo de acordo com vários programas. Por exemplo, a unidade de controle do sistema de direção 12010 funciona como um aparelho de controle de um aparelho de geração de força de acionamento que gera uma força de acionamento de um veículo, tais como um motor de combustão interna ou um motor de acionamento, um mecanismo de transmissão da força de acionamento que transmite uma força de acionamento para as rodas, um mecanismo de direção que ajusta o ângulo de direção do veículo, um aparelho de frenagem que gera uma força de frenagem do veículo ou similares.
[00481] A unidade de controle do sistema do corpo 12020 controla a operação de vários dispositivos montados no corpo do veículo de acordo com vários programas. Por exemplo, a unidade de controle do sistema do corpo 12020 funciona como um aparelho de controle para um sistema de entrada sem chaves, um sistema de chave inteligente, um dispositivo de vidros elétricos ou várias lâmpadas, tais como um farol, um farol traseiro, uma luz de freio, uma luz de seta ou um farol de neblina. Neste caso, a unidade de controle do sistema do corpo 12020 pode receber a entrada de ondas de rádio transmitidas a partir de um dispositivo portátil que substitui a chave ou os sinais provenientes de vários comutadores. A unidade de controle do sistema do corpo 12020 recebe a entrada destas ondas de rádio ou sinais e controla o dispositivo de trava da porta, o dispositivo de vidros elétricos, a lâmpada ou similares do veículo.
[00482] A unidade de detecção de informação no exterior do veículo 12030 detecta a informação no exterior do veículo equipado com o sistema de
137 / 149 controle de veículo 12000. Por exemplo, uma unidade de formação de imagem 12031 é conectada na unidade de detecção de informação no exterior do veículo 12030. A unidade de detecção de informação no exterior do veículo 12030 faz com que a unidade de formação de imagem 12031 capture uma imagem a partir do exterior do veículo e receba a imagem capturada. A unidade de detecção de informação no exterior do veículo 12030 pode realizar um processo de detecção de objeto ou um processo de detecção de distância de pessoas, veículos, obstáculos, sinais ou indivíduos na superfície da estrada com base na imagem recebida. A unidade de detecção de informação no exterior do veículo 12030 realiza o processamento de imagem na imagem recebida, por exemplo, e realiza um processo de detecção de objeto e um processo de detecção de distância com base no resultado do processamento de imagem.
[00483] A unidade de formação de imagem 12031 é um sensor óptico que recebe a luz e transmite um sinal elétrico correspondente à quantidade de luz recebida. A unidade de formação de imagem 12031 pode transmitir o sinal elétrico como uma imagem e também como a informação da medição de distância. A luz recebida pela unidade de formação de imagem 12031 pode ser luz visível ou luz invisível, tal como luz infravermelha.
[00484] A unidade de detecção de informação no interior do veículo 12040 detecta a informação no interior do veículo. A unidade de detecção de informação no interior do veículo 12040 é conectada em um detector do estado do motorista 12041 que detecta o estado do motorista, por exemplo. O detector do estado do motorista 12041 pode incluir uma câmera que forma imagem do motorista, por exemplo. A unidade de detecção de informação no interior do veículo 12040 pode calcular o grau de fadiga ou o grau de concentração do motorista ou pode determinar se o motorista está adormecendo com base na informação de detecção inserida a partir do detector do estado do motorista 12041.
138 / 149
[00485] O microcomputador 12051 pode calcular um valor do alvo de controle do aparelho de geração de força de acionamento, do mecanismo de direção ou do aparelho de frenagem com base em informação externa/interna do veículo obtida pela unidade de detecção de informação no exterior do veículo 12030 ou pela unidade de detecção de informação no interior do veículo 12040, e pode transmitir um comando de controle para a unidade de controle do sistema de direção 12010. Por exemplo, o microcomputador 12051 pode realizar o controle cooperativo com o propósito de alcançar uma função de um sistema de assistência avançada do motorista (ADAS) que inclui evitação de colisão ou mitigação de impacto de veículos, execução de acompanhamento com base em uma distância interveículos, controle de cruzeiro, aviso de colisão de veículo, aviso de afastamento da via pelo veículo ou similares.
[00486] Além do mais, é permissível de maneira tal que o microcomputador 12051 controle o aparelho de geração de força de acionamento, o mecanismo de direção, o aparelho de frenagem ou similares, com base na informação em relação às cercanias do veículo obtida pela unidade de detecção de informação no exterior do veículo 12030 ou pela unidade de detecção de informação no interior do veículo 12040, desse modo, realizando o controle cooperativo com o propósito de acionamento autônomo ou similares, em que o veículo realiza deslocamento autônomo sem depender da operação do motorista.
[00487] Além do mais, o microcomputador 12051 pode transmitir um comando de controle para a unidade de controle do sistema do corpo 12020 com base na informação do exterior do veículo adquirida pela unidade de detecção de informação no exterior do veículo 12030. Por exemplo, o microcomputador 12051 pode controlar o farol de acordo com a posição do veículo precedente ou do veículo em sentido contrário percebida pela unidade de detecção de informação no exterior do veículo 12030 e, desse modo, pode
139 / 149 realizar o controle cooperativo que visa ao efeito antiofuscante, tal como a comutação do farol alto para o farol baixo.
[00488] A unidade de transmissão de áudio e imagem 12052 transmite um sinal de saída na forma de pelo menos um de áudio ou de imagem para um aparelho de saída capaz de notificar de forma visual ou audível o ocupante do veículo ou o exterior do veículo da informação. No exemplo da figura 65, um alto-falante de áudio 12061, uma unidade de exibição 12062 e um painel de instrumento 12063 são ilustrados como os aparelhos de saída exemplificativos. A unidade de exibição 12062 pode incluir pelo menos um de um visor a bordo ou um visor de cabeça, por exemplo.
[00489] A figura 66 é uma vista que ilustra um exemplo de uma posição de instalação da unidade de formação de imagem 12031. Na figura 66, um veículo 12100 tem as unidades de formação de imagem 12101, 12102, 12103, 12104, e 12105 como as unidades de formação de imagem 12031.
[00490] Por exemplo, as unidades de formação de imagem 12101, 12102, 12103, 12104, e 12105 são instaladas em posições em um veículo 12100, incluindo um nariz, um espelho lateral, um para-choques traseiro, uma porta traseira, uma parte superior do para-brisa no interior de um veículo ou similares. A unidade de formação de imagem 12101 provida no nariz frontal e a unidade de formação de imagem 12105 provida na parte superior do para- brisa no interior do veículo, principalmente, adquirem uma imagem na frente do veículo 12100. As unidades de formação de imagem 12102 e 12103 providas nos espelhos laterais, principalmente, adquirem as imagens do lado do veículo 12100. A unidade de formação de imagem 12104 provida no para- choques traseiro ou na porta traseira, principalmente, adquire uma imagem atrás do veículo 12100. As imagens de vista frontal adquiridas pelas unidades de formação de imagem 12101 e 12105 são principalmente usadas para detecção de um veículo precedente ou um pedestre, um obstáculo, um semáforo, um sinal de trânsito, uma via ou similares.
140 / 149
[00491] Note que a figura 66 ilustra um exemplo do alcance da formação de imagem das unidades de formação de imagem 12101 até 12104. Um alcance da formação de imagem 12111 indica um alcance da formação de imagem da unidade de formação de imagem 12101 provida no nariz frontal, os alcances da formação de imagem 12112 e 12113 indicam os alcances da formação de imagem das unidades de formação de imagem 12102 e 12103 providas nos espelhos laterais, respectivamente, e um alcance da formação de imagem 12114 indica um alcance da formação de imagem da unidade de formação de imagem 12104 provida no para-choques traseiro ou na porta traseira. Por exemplo, pela sobreposição das peças dos dados de imagem capturados pelas unidades de formação de imagem 12101 até 12104, é possível obter uma imagem de vista aérea do veículo 12100 como visualizado a partir de cima.
[00492] Pelo menos uma das unidades de formação de imagem 12101 até 12104 pode ter uma função de aquisição da informação de distância. Por exemplo, pelo menos uma das unidades de formação de imagem 12101 até 12104 pode ser uma câmera estéreo que inclui uma pluralidade de elementos de formação de imagem ou um elemento de formação de imagem que tem pixels para a detecção da diferença de fase.
[00493] Por exemplo, o microcomputador 12051 pode calcular uma distância até cada um dos objetos tridimensionais nos alcances da formação de imagem 12111 até 12114 e uma mudança temporal (velocidade relativa em relação ao veículo 12100) da distância com base na informação de distância obtida a partir das unidades de formação de imagem 12101 até 12104 e, desse modo, pode extrair um objeto tridimensional que se desloca em uma velocidade predeterminada (por exemplo, 0 km/h ou mais) substancialmente na mesma direção do veículo 12100 que é o objeto tridimensional mais próximo no caminho de deslocamento do veículo 12100 como um veículo precedente. Além do mais, o microcomputador 12051 pode definir uma
141 / 149 distância interveículos a ser garantida na frente do veículo precedente em antecipação, e pode realizar o controle de frenagem automático (incluindo o controle de parada de acompanhamento), o controle de aceleração automático (incluindo o controle de início de acompanhamento) ou similares. Desta maneira, é possível realizar o controle cooperativo com o propósito de acionamento autônomo ou similares, em que o veículo se desloca autonomamente sem depender da operação do motorista.
[00494] Por exemplo, com base na informação de distância obtida a partir das unidades de formação de imagem 12101 até 12104, o microcomputador 12051 pode extrair os dados do objeto tridimensional em relação ao objeto tridimensional com classificação em objetos tridimensionais, tais como um veículo de duas rodas, um veículo comum, um veículo grande, um pedestre, e outros objetos tridimensionais, tal como um poste de utilidades, e pode usar os dados para a evitação automática dos obstáculos. Por exemplo, o microcomputador 12051 distingue os obstáculos ao redor do veículo 12100 em obstáculos que têm alta visibilidade para o motorista do veículo 12100 e obstáculos que têm baixa visibilidade para o motorista. Subsequentemente, o microcomputador 12051 determina um risco de colisão que indica o risco de colisão com cada um dos obstáculos. Quando o risco de colisão for um valor definido ou maior e houver uma possibilidade de colisão, o microcomputador 12051 pode transmitir um alarme para o motorista por meio do alto-falante de áudio 12061 e da unidade de exibição 12062, e pode realizar a desaceleração forçada e a direção de evitação por meio da unidade de controle do sistema de direção 12010, desse modo, alcançando a assistência de direção para a evitação de colisão.
[00495] Pelo menos uma das unidades de formação de imagem 12101 até 12104 pode ser uma câmera infravermelha que detecta os raios infravermelhos. Por exemplo, o microcomputador 12051 pode reconhecer um pedestre pela determinação se um pedestre está presente nas imagens
142 / 149 capturadas das unidades de formação de imagem 12101 até 12104. Tal reconhecimento de pedestre é realizado, por exemplo, por um procedimento de extração dos pontos de característica em uma imagem capturada das unidades de formação de imagem 12101 até 12104 como uma câmera infravermelha, e por um procedimento de realização do processamento de correspondência de padrão em uma série de pontos de característica que indicam o contorno do objeto para discriminar se o mesmo é um pedestre. Quando o microcomputador 12051 determinar que um pedestre está presente nas imagens capturadas das unidades de formação de imagem 12101 até 12104 e reconhecer um pedestre, a unidade de transmissão de áudio e imagem 12052 faz com que a unidade de exibição 12062 realize a exibição sobreposta de uma linha de contorno retangular para ênfase ao pedestre reconhecido. Além do mais, a unidade de transmissão de áudio e imagem 12052 pode fazer com que a unidade de exibição 12062 exiba um ícone que indica um pedestre ou similares em uma posição desejada.
[00496] Até aqui, um exemplo do sistema de controle de veículo no qual a tecnologia de acordo com a presente descrição é aplicável foi descrito. A tecnologia de acordo com a presente descrição é aplicável na unidade de formação de imagem 12031, por exemplo, dentre as configurações supradescritas. Com a aplicação do aparelho de formação de imagem 1 de acordo com a presente descrição na unidade de formação de imagem 12031, é possível alcançar tanto a formação de imagem para os processos de reconhecimento quanto a formação de imagem para o reconhecimento visual, e para prover a informação suficiente para cada um do processo de reconhecimento e do reconhecimento visual por humanos.
[00497] Os efeitos descritos no presente relatório descrito são meramente exemplos e, assim, pode haver outros efeitos, não limitado aos efeitos exemplificados.
[00498] Note que a presente tecnologia também pode ter as seguintes
143 / 149 configurações.
[00499] Além do mais, a presente tecnologia também pode ter as seguintes configurações.
[00500] (1) Um aparelho de formação de imagem, que compreende: uma unidade de formação de imagem que tem uma região de pixel na qual uma pluralidade de pixels é arranjada e lê e transmite um sinal de pixel a partir dos pixels incluídos na região de pixel; um controlador da unidade de leitura que controla uma unidade de leitura definida como uma parte da região de pixel; uma primeira unidade de definição da unidade de leitura que define uma primeira unidade de leitura que é usada para leitura do sinal de pixel a partir da região de pixel para um processo de reconhecimento que aprendeu os dados de treinamento para cada uma das unidades de leitura; uma segunda unidade de definição da unidade de leitura que define uma segunda unidade de leitura que é usada para leitura do sinal de pixel a partir da região de pixel para transmitir o sinal de pixel para um estágio subsequente; e uma unidade de mediação que realiza a mediação entre a primeira unidade de leitura e a segunda unidade de leitura, em que o controlador da unidade de leitura define a unidade de leitura pela mediação pela unidade de mediação.
[00501] (2) O aparelho de formação de imagem como definido em (1), em que a unidade de mediação realiza a mediação por um produto lógico da primeira unidade de leitura e da segunda unidade de leitura.
[00502] (3) O aparelho de formação de imagem como definido em (1), em que a unidade de mediação realiza a mediação com base em um resultado do processo de reconhecimento.
[00503] (4) O aparelho de formação de imagem como definido em (3), em que a unidade de mediação seleciona a segunda unidade de
144 / 149 leitura em um caso em que o resultado do processo de reconhecimento indicar um reconhecimento de um corpo em movimento.
[00504] (5) O aparelho de formação de imagem como definido em (3) ou (4), em que a unidade de mediação seleciona a segunda unidade de leitura em um caso em que o resultado do processo de reconhecimento indicar uma confiança do reconhecimento de um limite ou menor.
[00505] (6) O aparelho de formação de imagem como definido em (1), em que a unidade de mediação realiza a mediação com base no sinal de pixel lido a partir da segunda unidade de leitura.
[00506] (7) O aparelho de formação de imagem como definido em (6), em que a unidade de mediação seleciona a segunda unidade de leitura em um caso em que a luminância com base no sinal de pixel exceder um limite.
[00507] (8) O aparelho de formação de imagem como definido em qualquer um de (1) até (7), em que a unidade de mediação realiza a mediação com base na informação externa suprida a partir do exterior do aparelho de formação de imagem.
[00508] (9) O aparelho de formação de imagem como definido em (8), em que a unidade de mediação realiza a mediação com base em um modo de operação suprido a partir do exterior.
[00509] (10) O aparelho de formação de imagem como definido em (8) ou (9), em que a unidade de mediação realiza a mediação com base em uma saída da detecção de um outro dispositivo sensor suprido a partir do exterior.
[00510] (11) Um sistema de formação de imagem que compreende: um aparelho de formação de imagem equipado com
145 / 149 uma unidade de formação de imagem que tem uma região de pixel na qual uma pluralidade de pixels é arranjada e lê e transmite um sinal de pixel a partir dos pixels incluídos na região de pixel, um controlador da unidade de leitura que controla uma unidade de leitura definida como uma parte da região de pixel, uma primeira unidade de definição da unidade de leitura que define uma primeira unidade de leitura que é usada para leitura do sinal de pixel a partir da região de pixel para um processo de reconhecimento que aprendeu os dados de treinamento para cada uma das unidades de leitura, uma segunda unidade de definição da unidade de leitura que define uma segunda unidade de leitura que é usada para leitura do sinal de pixel a partir da região de pixel para transmitir o sinal de pixel para um estágio subsequente, e uma unidade de mediação que realiza a mediação entre a primeira unidade de leitura e a segunda unidade de leitura; e um aparelho de processamento de informação equipado com uma unidade de reconhecimento que executa o processo de reconhecimento, em que o controlador da unidade de leitura define a unidade de leitura pela mediação pela unidade de mediação.
[00511] (12) Um método de formação de imagem executado por um processador, que compreende: uma etapa de controle da unidade de leitura para controlar uma unidade de leitura definida como uma parte de uma região de pixel na qual uma pluralidade de pixels é arranjada, incluída em uma unidade de formação de imagem; uma primeira etapa de definição da unidade de leitura para definir uma primeira unidade de leitura que é usada para leitura de um sinal de pixel a partir do pixel incluído na região de pixel para um processo de reconhecimento que aprendeu os dados de treinamento para cada uma das
146 / 149 unidades de leitura; uma segunda etapa de definição da unidade de leitura para definir uma segunda unidade de leitura que é usada para leitura do sinal de pixel a partir da região de pixel para transmitir o sinal de pixel para um estágio subsequente; e uma etapa de mediação de realização da mediação entre a primeira unidade de leitura e a segunda unidade de leitura, em que a etapa de controle da unidade de leitura define a unidade de leitura pela mediação pela etapa de mediação.
[00512] (13) Um programa de formação de imagem, que faz com que um processador execute: uma etapa de controle da unidade de leitura para controlar uma unidade de leitura definida como uma parte de uma região de pixel na qual uma pluralidade de pixels é arranjada, incluída em uma unidade de formação de imagem; uma primeira etapa de definição da unidade de leitura para definir uma primeira unidade de leitura que é usada para leitura de um sinal de pixel a partir do pixel incluído na região de pixel para um processo de reconhecimento que aprendeu os dados de treinamento para cada uma das unidades de leitura; uma segunda etapa de definição da unidade de leitura para definir uma segunda unidade de leitura que é usada para leitura do sinal de pixel a partir da região de pixel para transmitir o sinal de pixel para um estágio subsequente; e uma etapa de mediação de realização da mediação entre a primeira unidade de leitura e a segunda unidade de leitura, em que a etapa de controle da unidade de leitura define a unidade de leitura pela mediação pela etapa de mediação.
[00513] (14) Um aparelho eletrônico, que inclui:
147 / 149 uma unidade de formação de imagem que gera os dados de imagem; uma unidade de aprendizado de máquina que executa um processo de aprendizado de máquina usando um modelo de aprendizado nos dados de imagem para cada uma das regiões de unidade lidas a partir da unidade de formação de imagem; e uma unidade de execução de função que executa uma função predeterminada com base em um resultado do processo de aprendizado de máquina.
[00514] (15) O aparelho eletrônico como definido em (14), em que a unidade de aprendizado de máquina executa um processo de aprendizado de máquina usando uma Rede Neural de Convolução (CNN) nos dados de imagem da região de unidade inseridos primeiro dentre os dados de imagem de um mesmo quadro.
[00515] (16) O aparelho eletrônico como definido em (15), em que, em um caso em que o processo de aprendizado de máquina usando a CNN para os dados de imagem com a região de unidade inseridos primeiro tiver falhado, a unidade de aprendizado de máquina executa um processo de aprendizado de máquina usando uma rede neural recorrente (RNN) nos dados de imagem inseridos a seguir com a região de unidade no mesmo quadro.
[00516] (17) O aparelho eletrônico, como definido em qualquer um de (14) até (16), que inclui adicionalmente uma parte de controle que lê os dados de imagem a partir da unidade de formação de imagem em unidades de linha, em que os dados de imagem são inseridos na unidade de aprendizado de máquina na unidade de linha.
[00517] (18) O aparelho eletrônico, como definido em qualquer um de (14) até (17),
148 / 149 em que os dados de imagem na região de unidade são os dados de imagem que têm um número de linhas predeterminado.
[00518] (19) O aparelho eletrônico, como definido em qualquer um de (14) até (17), em que os dados de imagem na região de unidade são os dados de imagem em uma região retangular.
[00519] (20) O aparelho eletrônico como definido em qualquer um de (14) até (19), que inclui adicionalmente uma memória que grava um programa do modelo de aprendizado, em que a unidade de aprendizado de máquina executa o processo de aprendizado de máquina realizado pela leitura do programa a partir da memória e pela execução do programa. Lista dos Sinais de Referência
[00520] 1 APARELHO DE FORMAÇÃO DE IMAGEM 10 UNIDADE SENSORA 11 CONTROLADOR DO SENSOR 12 UNIDADE DE PROCESSAMENTO DE
RECONHECIMENTO 14 UNIDADE DE PROCESSAMENTO DE
RECONHECIMENTO VISUAL 110 UNIDADE DE LEITURA 111 CONTROLADOR DE LEITURA 120 UNIDADE DE CÁLCULO DOS DADOS DE
CARACTERÍSTICA 121 CONTROLADOR DE ARMAZENAMENTO DOS
DADOS DE CARACTERÍSTICA 122 UNIDADE DE ARMAZENAMENTO DOS DADOS DE
CARACTERÍSTICA
149 / 149 123 DETERMINADOR DE LEITURA 124 UNIDADE DE EXECUÇÃO DO PROCESSO DE
RECONHECIMENTO 140 CONTROLADOR DE ARMAZENAMENTO DOS
DADOS DE IMAGEM 141 UNIDADE DE ARMAZENAMENTO DOS DADOS DE
IMAGEM 143 UNIDADE DE PROCESSAMENTO DE IMAGEM

Claims (13)

REIVINDICAÇÕES
1. Aparelho de formação de imagem, caracterizado pelo fato de que compreende: uma unidade de formação de imagem que tem uma região de pixel na qual uma pluralidade de pixels é arranjada e lê e transmite um sinal de pixel a partir dos pixels incluídos na região de pixel; um controlador da unidade de leitura que controla uma unidade de leitura definida como uma parte da região de pixel; uma primeira unidade de definição da unidade de leitura que define uma primeira unidade de leitura que é usada para ler o sinal de pixel a partir da região de pixel para um processo de reconhecimento que aprendeu os dados de treinamento para cada uma das unidades de leitura; uma segunda unidade de definição da unidade de leitura que define uma segunda unidade de leitura que é usada para ler o sinal de pixel a partir da região de pixel para transmitir o sinal de pixel para um estágio subsequente; e uma unidade de mediação que realiza a mediação entre a primeira unidade de leitura e a segunda unidade de leitura, em que o controlador da unidade de leitura define a unidade de leitura pela mediação pela unidade de mediação.
2. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de mediação realiza a mediação por um produto lógico da primeira unidade de leitura e da segunda unidade de leitura.
3. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de mediação realiza a mediação com base em um resultado do processo de reconhecimento.
4. Aparelho de formação de imagem de acordo com a reivindicação 3, caracterizado pelo fato de que a unidade de mediação seleciona a segunda unidade de leitura em um caso em que o resultado do processo de reconhecimento indicar um reconhecimento de um corpo em movimento.
5. Aparelho de formação de imagem de acordo com a reivindicação 3, caracterizado pelo fato de que a unidade de mediação seleciona a segunda unidade de leitura em um caso em que o resultado do processo de reconhecimento indicar uma confiança do reconhecimento de um limite ou menor.
6. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de mediação realiza a mediação com base no sinal de pixel lido a partir da segunda unidade de leitura.
7. Aparelho de formação de imagem de acordo com a reivindicação 6, caracterizado pelo fato de que a unidade de mediação seleciona a segunda unidade de leitura em um caso em que a luminância com base no sinal de pixel exceder um limite.
8. Aparelho de formação de imagem de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de mediação realiza a mediação com base na informação externa suprida a partir do exterior do aparelho de formação de imagem.
9. Aparelho de formação de imagem de acordo com a reivindicação 8,
caracterizado pelo fato de que a unidade de mediação realiza a mediação com base em um modo de operação suprido a partir do exterior.
10. Aparelho de formação de imagem de acordo com a reivindicação 8, caracterizado pelo fato de que a unidade de mediação realiza a mediação com base em uma saída da detecção de um outro dispositivo sensor suprida a partir do exterior.
11. Sistema de formação de imagem, caracterizado pelo fato de que compreende: um aparelho de formação de imagem equipado com uma unidade de formação de imagem que tem uma região de pixel na qual uma pluralidade de pixels é arranjada e lê e transmite um sinal de pixel a partir dos pixels incluídos na região de pixel, um controlador da unidade de leitura que controla uma unidade de leitura definida como uma parte da região de pixel, uma primeira unidade de definição da unidade de leitura que define uma primeira unidade de leitura que é usada para ler o sinal de pixel a partir da região de pixel para um processo de reconhecimento que aprendeu os dados de treinamento para cada uma das unidades de leitura, uma segunda unidade de definição da unidade de leitura que define uma segunda unidade de leitura que é usada para ler o sinal de pixel a partir da região de pixel para transmitir o sinal de pixel para um estágio subsequente, e uma unidade de mediação que realiza a mediação entre a primeira unidade de leitura e a segunda unidade de leitura; e um aparelho de processamento de informação equipado com uma unidade de reconhecimento que executa o processo de reconhecimento, em que o controlador da unidade de leitura define a unidade de leitura pela mediação pela unidade de mediação.
12. Método de formação de imagem executado por um processador, caracterizado pelo fato de que compreende: uma etapa de controle da unidade de leitura para controlar uma unidade de leitura definida como uma parte de uma região de pixel na qual uma pluralidade de pixels é arranjada, incluída em uma unidade de formação de imagem; uma primeira etapa de definição da unidade de leitura para definir uma primeira unidade de leitura que é usada para ler um sinal de pixel a partir do pixel incluído na região de pixel para um processo de reconhecimento que aprendeu os dados de treinamento para cada uma das unidades de leitura; uma segunda etapa de definição da unidade de leitura para definir uma segunda unidade de leitura que é usada para ler o sinal de pixel a partir da região de pixel para transmitir o sinal de pixel para um estágio subsequente; e uma etapa de mediação para realizar a mediação entre a primeira unidade de leitura e a segunda unidade de leitura, em que a etapa de controle da unidade de leitura define a unidade de leitura pela mediação pela etapa de mediação.
13. Programa de formação de imagem, caracterizado pelo fato de que faz com que um processador execute: uma etapa de controle da unidade de leitura para controlar uma unidade de leitura definida como uma parte de uma região de pixel na qual uma pluralidade de pixels é arranjada, incluída em uma unidade de formação de imagem; uma primeira etapa de definição da unidade de leitura para definir uma primeira unidade de leitura que é usada para ler um sinal de pixel a partir do pixel incluído na região de pixel para um processo de reconhecimento que aprendeu os dados de treinamento para cada uma das unidades de leitura; uma segunda etapa de definição da unidade de leitura para definir uma segunda unidade de leitura que é usada para ler o sinal de pixel a partir da região de pixel para transmitir o sinal de pixel para um estágio subsequente; e uma etapa de mediação para realizar a mediação entre a primeira unidade de leitura e a segunda unidade de leitura, em que a etapa de controle da unidade de leitura define a unidade de leitura pela mediação pela etapa de mediação.
BR112021003119-7A 2018-08-31 2019-09-02 aparelho, sistema, método, e, programa de formação de imagem BR112021003119A2 (pt)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2018163700 2018-08-31
JP2018-163700 2018-08-31
JP2019-159151 2019-08-30
JP2019159151A JP6638852B1 (ja) 2018-08-31 2019-08-30 撮像装置、撮像システム、撮像方法および撮像プログラム
PCT/JP2019/034499 WO2020045684A1 (ja) 2018-08-31 2019-09-02 撮像装置、撮像システム、撮像方法および撮像プログラム

Publications (1)

Publication Number Publication Date
BR112021003119A2 true BR112021003119A2 (pt) 2021-05-11

Family

ID=69166772

Family Applications (4)

Application Number Title Priority Date Filing Date
BR112021003115-4A BR112021003115A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema, método, e, programa de formação de imagem
BR112021003084-0A BR112021003084A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema e programa de formação de imagem, e, método de formação de imagem executado por um processador.
BR112021003183-9A BR112021003183A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema, método e programa de formação de imagem
BR112021003119-7A BR112021003119A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema, método, e, programa de formação de imagem

Family Applications Before (3)

Application Number Title Priority Date Filing Date
BR112021003115-4A BR112021003115A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema, método, e, programa de formação de imagem
BR112021003084-0A BR112021003084A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema e programa de formação de imagem, e, método de formação de imagem executado por um processador.
BR112021003183-9A BR112021003183A2 (pt) 2018-08-31 2019-09-02 aparelho, sistema, método e programa de formação de imagem

Country Status (7)

Country Link
US (7) US11704904B2 (pt)
EP (4) EP3846444A4 (pt)
JP (9) JP6638852B1 (pt)
KR (4) KR20210052446A (pt)
CN (4) CN112585531B (pt)
BR (4) BR112021003115A2 (pt)
WO (4) WO2020045685A1 (pt)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7076972B2 (ja) * 2017-09-29 2022-05-30 キヤノン株式会社 撮像素子及び撮像装置
US12034015B2 (en) 2018-05-25 2024-07-09 Meta Platforms Technologies, Llc Programmable pixel array
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
US11962928B2 (en) 2018-12-17 2024-04-16 Meta Platforms Technologies, Llc Programmable pixel array
US11888002B2 (en) 2018-12-17 2024-01-30 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US12108141B2 (en) 2019-08-05 2024-10-01 Meta Platforms Technologies, Llc Dynamically programmable image sensor
US11935291B2 (en) 2019-10-30 2024-03-19 Meta Platforms Technologies, Llc Distributed sensor system
US11948089B2 (en) 2019-11-07 2024-04-02 Meta Platforms Technologies, Llc Sparse image sensing and processing
US11125575B2 (en) * 2019-11-20 2021-09-21 Here Global B.V. Method and apparatus for estimating a location of a vehicle
KR20220134538A (ko) * 2020-01-31 2022-10-05 소니 세미컨덕터 솔루션즈 가부시키가이샤 촬상 장치 및 촬상 방법
JP7492345B2 (ja) * 2020-02-27 2024-05-29 キヤノン株式会社 撮像素子及びその制御方法、及び、撮像装置及びその制御方法
WO2021187121A1 (ja) * 2020-03-19 2021-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置
DE112021001771T5 (de) * 2020-03-24 2023-01-05 Sony Semiconductor Solutions Corporation Renderingsystem und system zur verifizierung automatisierten fahrens
US20230162468A1 (en) * 2020-03-31 2023-05-25 Sony Group Corporation Information processing device, information processing method, and information processing program
CN111510650B (zh) * 2020-04-26 2021-06-04 豪威芯仑传感器(上海)有限公司 一种图像传感器
US11825228B2 (en) 2020-05-20 2023-11-21 Meta Platforms Technologies, Llc Programmable pixel array having multiple power domains
US20230171510A1 (en) * 2020-07-15 2023-06-01 Arriver Software Ab Vision system for a motor vehicle
US20230254600A1 (en) * 2020-07-20 2023-08-10 Sony Group Corporation Information processing apparatus, information processing system, information processing method, and information processing program
KR20220028928A (ko) * 2020-08-31 2022-03-08 삼성전자주식회사 부분 영상 기반의 영상 처리 방법 및 장치
US12075175B1 (en) * 2020-09-08 2024-08-27 Meta Platforms Technologies, Llc Programmable smart sensor with adaptive readout
KR20220105292A (ko) * 2021-01-20 2022-07-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법
US20240078803A1 (en) * 2021-01-29 2024-03-07 Sony Group Corporation Information processing apparatus, information processing method, computer program, and sensor apparatus
JP2022119379A (ja) * 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置
KR20220156327A (ko) * 2021-05-18 2022-11-25 삼성전자주식회사 비전 센서 및 이의 동작 방법
JP2022186333A (ja) * 2021-06-04 2022-12-15 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2022270000A1 (ja) * 2021-06-25 2022-12-29 ソニーグループ株式会社 制御装置、制御方法、およびプログラム
CN113344778B (zh) * 2021-08-05 2021-11-05 成都市谛视科技有限公司 一种成像控制方法、装置、设备及计算机可读存储介质
WO2023047775A1 (ja) * 2021-09-27 2023-03-30 富士フイルム株式会社 画像生成方法、プロセッサ、及びプログラム
US12119989B2 (en) * 2021-10-29 2024-10-15 Keysight Technologies, Inc. System and method for configuring network elements in a design network topology
WO2023090036A1 (ja) 2021-11-22 2023-05-25 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、プログラム
WO2023127614A1 (ja) 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
WO2023127654A1 (ja) 2021-12-28 2023-07-06 ソニーグループ株式会社 情報処理装置、情報処理方法、情報処理プログラムおよび情報処理システム
JPWO2023127615A1 (pt) * 2021-12-28 2023-07-06
CN118451721A (zh) * 2021-12-28 2024-08-06 索尼集团公司 信息处理设备、信息处理方法、信息处理程序和信息处理系统
JPWO2023127653A1 (pt) * 2021-12-28 2023-07-06
WO2023149188A1 (ja) * 2022-02-02 2023-08-10 ソニーグループ株式会社 信号処理装置および方法、並びにプログラム
JP2023141906A (ja) * 2022-03-24 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法および撮像プログラム
WO2023189080A1 (ja) * 2022-03-30 2023-10-05 ソニーグループ株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2024090345A (ja) * 2022-12-23 2024-07-04 ソニーセミコンダクタソリューションズ株式会社 光検出装置、および、光検出装置の制御方法

Family Cites Families (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0193875A (ja) * 1987-10-05 1989-04-12 Mitsubishi Heavy Ind Ltd 文字認識装置
JP2910534B2 (ja) 1993-11-18 1999-06-23 ノーリツ鋼機株式会社 写真フィルム用コード情報読取装置
JPH09138802A (ja) * 1995-11-15 1997-05-27 Hitachi Ltd 文字認識翻訳システム
US6252975B1 (en) 1998-12-17 2001-06-26 Xerox Corporation Method and system for real time feature based motion analysis for key frame selection from a video
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
US6839452B1 (en) * 1999-11-23 2005-01-04 California Institute Of Technology Dynamically re-configurable CMOS imagers for an active vision system
EP1354291B1 (en) 2001-01-22 2006-08-02 Hand Held Products, Inc. Optical reader having partial frame operating mode
US20040028137A1 (en) * 2002-06-19 2004-02-12 Jeremy Wyn-Harris Motion detection camera
JP4130180B2 (ja) 2004-05-26 2008-08-06 株式会社リコー 画像読取装置、画像形成装置及び画像読取方法
JP4546157B2 (ja) * 2004-06-03 2010-09-15 キヤノン株式会社 情報処理方法、情報処理装置、撮像装置
JP4830270B2 (ja) * 2004-06-14 2011-12-07 ソニー株式会社 固体撮像装置および固体撮像装置の信号処理方法
JP4934326B2 (ja) * 2005-09-29 2012-05-16 富士フイルム株式会社 画像処理装置およびその処理方法
JP4640155B2 (ja) * 2005-12-15 2011-03-02 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP2007201660A (ja) 2006-01-25 2007-08-09 Fuji Xerox Co Ltd 画像処理装置、画像形成装置、画像処理方法及びプログラム
US20090258667A1 (en) 2006-04-14 2009-10-15 Nec Corporation Function unlocking system, function unlocking method, and function unlocking program
JP5150067B2 (ja) 2006-07-05 2013-02-20 パナソニック株式会社 監視システム、監視装置及び監視方法
JP2008015860A (ja) * 2006-07-07 2008-01-24 Matsushita Electric Ind Co Ltd 画像認識カメラ
KR100846498B1 (ko) * 2006-10-18 2008-07-17 삼성전자주식회사 영상 해석 방법 및 장치, 및 동영상 영역 분할 시스템
JP4362537B2 (ja) 2007-06-06 2009-11-11 シャープ株式会社 画像処理装置、画像形成装置、画像送信装置、画像読取装置、画像処理システム、画像処理方法、画像処理プログラムおよびその記録媒体
WO2009120582A2 (en) * 2008-03-27 2009-10-01 Pressline Services, Inc Printing press, folder, and methods of operation
JP5288915B2 (ja) 2008-07-08 2013-09-11 キヤノン株式会社 文字認識装置、文字認識方法、コンピュータプログラム、記憶媒体
JP5279517B2 (ja) * 2009-01-09 2013-09-04 キヤノン株式会社 物体検知装置及び物体検知方法
US8179466B2 (en) * 2009-03-11 2012-05-15 Eastman Kodak Company Capture of video with motion-speed determination and variable capture rate
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
KR20110056616A (ko) * 2009-11-23 2011-05-31 한국전자통신연구원 객체 검출 유닛 및 이를 이용한 데이터 전송 방법
JP5505007B2 (ja) 2010-03-18 2014-05-28 富士通株式会社 画像処理装置、画像処理方法及び画像処理用コンピュータプログラム
GB2478911B (en) * 2010-03-22 2014-01-08 Timocco Ltd Object locating and tracking in video frames using smoothness check along specified line sections
JP5761601B2 (ja) 2010-07-01 2015-08-12 株式会社リコー 物体識別装置
JP5220828B2 (ja) 2010-11-11 2013-06-26 シャープ株式会社 画像処理装置、画像形成装置、画像読取装置、画像処理方法、プログラム及び記録媒体
JP5691736B2 (ja) 2011-03-29 2015-04-01 ブラザー工業株式会社 読取装置
JP5979967B2 (ja) 2011-06-30 2016-08-31 キヤノン株式会社 被写体検出機能を備えた撮像装置、撮像装置の制御方法、及び、プログラム
JP5866826B2 (ja) * 2011-06-30 2016-02-24 株式会社ニコン 撮像装置
JP5839872B2 (ja) 2011-07-19 2016-01-06 オリンパス株式会社 固体撮像装置、撮像装置、および信号読み出し方法
JP5879831B2 (ja) * 2011-09-02 2016-03-08 株式会社ニコン 電子カメラおよび画像処理プログラム
JP5987306B2 (ja) 2011-12-06 2016-09-07 ソニー株式会社 画像処理装置、画像処理方法、プログラム
JPWO2013164915A1 (ja) * 2012-05-02 2015-12-24 株式会社ニコン 撮像装置
JP5909147B2 (ja) 2012-05-08 2016-04-26 キヤノン株式会社 撮像装置、撮像装置の制御方法、およびプログラム
JP5955170B2 (ja) * 2012-09-06 2016-07-20 キヤノン株式会社 表示制御装置、表示制御方法、及びプログラム
US9294703B2 (en) * 2012-12-03 2016-03-22 Samsung Electronics Co., Ltd. Image sensor including data transmission circuit having split bus segments
CN103077407B (zh) 2013-01-21 2017-05-17 信帧电子技术（北京）有限公司 车标定位识别方法及系统
JP2014139732A (ja) 2013-01-21 2014-07-31 Sony Corp 画像処理装置、画像処理方法、プログラムおよび表示装置
US9979904B2 (en) * 2013-01-25 2018-05-22 Innovaciones Microelectrónicas S.L. (Anafocus) Advanced region of interest function for image sensors
JP6155786B2 (ja) 2013-04-15 2017-07-05 オムロン株式会社 ジェスチャ認識装置、ジェスチャ認識方法、電子機器、制御プログラムおよび記録媒体
CN103716661A (zh) 2013-12-16 2014-04-09 乐视致新电子科技（天津）有限公司 一种视频打分上报方法及装置
JP6350863B2 (ja) * 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6289184B2 (ja) * 2014-03-14 2018-03-07 オリンパス株式会社 画像認識装置および画像認識方法
JP6338436B2 (ja) * 2014-04-25 2018-06-06 キヤノン株式会社 撮像装置及びその制御方法
KR102192088B1 (ko) * 2014-07-18 2020-12-16 삼성전자주식회사 인지센서 및 이의 구동방법
JP2016061797A (ja) * 2014-09-12 2016-04-25 キヤノン株式会社 焦点調節装置及びその制御方法
JP6168022B2 (ja) * 2014-09-30 2017-07-26 株式会社デンソー 画像認識装置
US10175345B2 (en) * 2014-10-17 2019-01-08 Voxtel, Inc. Event tracking imager
US9684830B2 (en) * 2014-11-14 2017-06-20 Intel Corporation Automatic target selection for multi-target object tracking
US9418319B2 (en) * 2014-11-21 2016-08-16 Adobe Systems Incorporated Object detection using cascaded convolutional neural networks
US10045726B2 (en) 2015-06-14 2018-08-14 Facense Ltd. Selecting a stressor based on thermal measurements of the face
US10602084B2 (en) 2015-07-16 2020-03-24 Sony Corporation Imaging apparatus which performs compressive sensing reading data for a partitioned block output from an image sensor
CN105373785B (zh) 2015-11-30 2019-08-02 北京地平线机器人技术研发有限公司 基于深度神经网络的手势识别检测方法与装置
JP6762710B2 (ja) * 2015-12-14 2020-09-30 キヤノン株式会社 撮像装置及びその制御方法
JP2017112409A (ja) 2015-12-14 2017-06-22 ソニー株式会社 撮像装置および方法
US9773196B2 (en) * 2016-01-25 2017-09-26 Adobe Systems Incorporated Utilizing deep learning for automatic digital image segmentation and stylization
JP7058933B2 (ja) * 2016-05-09 2022-04-25 株式会社ニコン 撮像素子及びこれを用いた撮像装置
JP2017207650A (ja) * 2016-05-19 2017-11-24 キヤノン株式会社 レンズ装置
JP2017228975A (ja) * 2016-06-23 2017-12-28 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、イメージセンサ、情報処理装置、並びにプログラム
JP2018005520A (ja) 2016-06-30 2018-01-11 クラリオン株式会社 物体検出装置及び物体検出方法
JP2018022935A (ja) * 2016-08-01 2018-02-08 ソニー株式会社 撮像装置、および、撮像装置の制御方法
EP4064679A1 (en) * 2016-09-16 2022-09-28 Sony Semiconductor Solutions Corporation Imaging device and electronic device
JP2018081545A (ja) 2016-11-17 2018-05-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像データ抽出装置及び画像データ抽出方法
TWI754696B (zh) * 2016-12-14 2022-02-11 日商索尼半導體解決方案公司 固體攝像元件及電子機器
JP6787102B2 (ja) 2016-12-14 2020-11-18 株式会社デンソー 物体検出装置、物体検出方法
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP6780537B2 (ja) * 2017-02-22 2020-11-04 オムロン株式会社 光学センサ、学習装置、及び画像処理システム
US10380853B1 (en) * 2017-05-22 2019-08-13 Amazon Technologies, Inc. Presence detection and detection localization
AU2017279806B2 (en) * 2017-05-29 2023-10-12 Saltor Pty Ltd Method and system for abnormality detection
CN107563168A (zh) 2017-09-05 2018-01-09 广东欧珀移动通信有限公司 移动终端的解锁方法、装置及移动终端
CN107944351B (zh) 2017-11-07 2020-08-04 深圳市易成自动驾驶技术有限公司 图像识别方法、装置及计算机可读存储介质
JP7091635B2 (ja) * 2017-11-15 2022-06-28 大日本印刷株式会社 対象物検出器、画像解析装置、対象物検出方法、画像解析方法、プログラム、及び、学習データ
KR102661596B1 (ko) * 2018-08-08 2024-04-29 삼성전자주식회사 이미지에 대한 인식 정보, 인식 정보와 관련된 유사 인식 정보, 및 계층 정보를 이용하여 외부 객체에 대한 인식 결과를 제공하는 전자 장치 및 그의 동작 방법
JP6638852B1 (ja) * 2018-08-31 2020-01-29 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
TWI820194B (zh) * 2018-08-31 2023-11-01 日商索尼半導體解決方案公司 電子機器及固體攝像裝置
CN112585605A (zh) * 2018-09-06 2021-03-30 索尼公司 信息处理系统、信息处理方法、终端装置和信息处理装置
US11290640B2 (en) * 2020-06-10 2022-03-29 Samsung Electronics Co., Ltd. Electronic device and controlling method of electronic device

Also Published As

Publication number Publication date
US11595608B2 (en) 2023-02-28
EP3846446A4 (en) 2021-10-20
CN112585943B (zh) 2022-12-27
BR112021003084A2 (pt) 2021-05-11
JP2020039126A (ja) 2020-03-12
CN112585943A (zh) 2021-03-30
WO2020045686A1 (ja) 2020-03-05
US20210306586A1 (en) 2021-09-30
US20230334848A1 (en) 2023-10-19
KR20210052446A (ko) 2021-05-10
CN112567728A (zh) 2021-03-26
JP7424051B2 (ja) 2024-01-30
EP3846441A4 (en) 2021-10-13
EP3846441A1 (en) 2021-07-07
EP3846443A4 (en) 2021-09-22
JP2024028531A (ja) 2024-03-04
JP7500962B2 (ja) 2024-06-18
EP3846446A1 (en) 2021-07-07
US11763554B2 (en) 2023-09-19
US20240029424A1 (en) 2024-01-25
JP7424034B2 (ja) 2024-01-30
US11704904B2 (en) 2023-07-18
EP3846444A4 (en) 2021-10-06
JP7380180B2 (ja) 2023-11-15
WO2020045685A1 (ja) 2020-03-05
CN112585948B (zh) 2024-09-13
JP2020039124A (ja) 2020-03-12
KR20210053884A (ko) 2021-05-12
CN112585531B (zh) 2023-05-30
KR20210052444A (ko) 2021-05-10
EP3846443A1 (en) 2021-07-07
US11741700B2 (en) 2023-08-29
JP2020039125A (ja) 2020-03-12
JP2020048225A (ja) 2020-03-26
JP2020043615A (ja) 2020-03-19
CN112585948A (zh) 2021-03-30
JP6635222B1 (ja) 2020-01-22
JP2020039123A (ja) 2020-03-12
JP6635221B1 (ja) 2020-01-22
BR112021003115A2 (pt) 2021-05-11
CN112585531A (zh) 2021-03-30
US20210329164A1 (en) 2021-10-21
BR112021003183A2 (pt) 2021-05-11
US20210321054A1 (en) 2021-10-14
US20210329163A1 (en) 2021-10-21
WO2020045684A1 (ja) 2020-03-05
US12080061B2 (en) 2024-09-03
JP6638851B1 (ja) 2020-01-29
EP3846444A1 (en) 2021-07-07
KR20210053883A (ko) 2021-05-12
CN112567728B (zh) 2023-06-09
US20230394813A1 (en) 2023-12-07
WO2020045682A1 (ja) 2020-03-05
JP6638852B1 (ja) 2020-01-29
JP2020054007A (ja) 2020-04-02
JP2020043614A (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
BR112021003119A2 (pt) aparelho, sistema, método, e, programa de formação de imagem
WO2022019026A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム