BR112021004210A2 - aparelho e método de processamento de informações, aparelho de formação de imagem, dispositivo móvel, e, programa de computador - Google Patents
aparelho e método de processamento de informações, aparelho de formação de imagem, dispositivo móvel, e, programa de computador Download PDFInfo
- Publication number
- BR112021004210A2 BR112021004210A2 BR112021004210-5A BR112021004210A BR112021004210A2 BR 112021004210 A2 BR112021004210 A2 BR 112021004210A2 BR 112021004210 A BR112021004210 A BR 112021004210A BR 112021004210 A2 BR112021004210 A2 BR 112021004210A2
- Authority
- BR
- Brazil
- Prior art keywords
- unit
- vehicle
- processing
- recognition
- image
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000004590 computer program Methods 0.000 title claims abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 232
- 238000001514 detection method Methods 0.000 claims abstract description 199
- 238000011161 development Methods 0.000 claims abstract description 71
- 238000003384 imaging method Methods 0.000 claims abstract description 66
- 238000003672 processing method Methods 0.000 claims abstract description 7
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 33
- 238000004458 analytical method Methods 0.000 claims description 26
- 230000001133 acceleration Effects 0.000 claims description 14
- 230000002265 prevention Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 6
- 238000010977 unit operation Methods 0.000 claims description 2
- VJYFKVYYMZPMAB-UHFFFAOYSA-N ethoprophos Chemical compound CCCSP(=O)(OCC)SCCC VJYFKVYYMZPMAB-UHFFFAOYSA-N 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 15
- 230000001276 controlling effect Effects 0.000 description 10
- 230000008859 change Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011017 operating method Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000005856 abnormality Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000037007 arousal Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002079 cooperative effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000004260 weight control Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/28—Circuitry to measure or to take account of the object contrast
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
- G03B7/08—Control effected solely on the basis of the response, to the intensity of the light received by the camera, of a built-in light-sensitive device
- G03B7/091—Digital circuits
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Traffic Control Systems (AREA)
- Image Processing (AREA)
- Exposure Control For Cameras (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
APARELHO E MÉTODO DE PROCESSAMENTO DE
INFORMAÇÕES, APARELHO DE FORMAÇÃO DE IMAGEM, DISPOSITIVO MÓVEL, E,
PROGRAMA DE COMPUTADOR.
São fornecidos um dispositivo de processamento de informações e um
método de processamento de informações para realizar o processamento
para controlar a exposição de uma câmera embutida, um dispositivo de
formação de imagem, um dispositivo de corpo móvel e um programa de
computador. O dispositivo de processamento de informações está equipado
com: uma unidade de reconhecimento para reconhecer uma imagem obtida por
uma unidade de processamento processando um sinal de saída de um sensor
de imagem; e uma unidade de controle para controlar uma operação de
formação de imagem do sensor de imagem e/ou a operação de processamento
da unidade de processamento com base em um resultado de reconhecimento
da unidade de reconhecimento. O sensor de imagem é usado a bordo de um
veículo, e a unidade de reconhecimento reconhece uma imagem de um
veículo circundante e/ou da superfície da estrada. Além disso, a unidade
de controle controla o processamento de detecção e/ou desenvolvimento
de uma área correspondente ao veículo circundante ou à superfície da
estrada na imagem.
Description
1 / 56 APARELHO E MÉTODO DE PROCESSAMENTO DE INFORMAÇÕES, APARELHO DE FORMAÇÃO DE IMAGEM, DISPOSITIVO MÓVEL, E,
[001] A tecnologia descrita neste documento se refere a um aparelho de processamento de informações e um método de processamento de informações, um aparelho de formação de imagem, um dispositivo móvel e um programa de computador que realiza o processamento para controlar a exposição de uma câmera no veículo.
[002] Para realizar a condução automática e o sistema avançado de assistência ao condutor (ADAS), é necessário detectar vários objetos, como outros veículos, pessoas e vias, e, além disso, é necessário detectar objetos em vários ambientes não apenas durante o dia com bom tempo, mas também com tempo chuvoso e à noite. Por esse motivo, vários sensores de reconhecimento externo, como câmeras, radares de ondas milimétricas e radares a laser, começam a ser montados nos veículos.
[003] Por exemplo, foi proposto um dispositivo de controle de exposição que mede o brilho mais longe do que uma região de reconhecimento em uma imagem capturada por uma câmera no veículo, detecta uma mudança no brilho comparando o brilho medido com uma diferença de tempo, prevê o tempo em que a mudança no brilho ocorre na região de reconhecimento com base na velocidade de deslocamento do veículo e realiza o controle de exposição da câmera no veículo no tempo previsto (ver Documento Patentário 1).
[004] Além disso, foi proposto um método para determinar um valor de controle de exposição de uma câmera no veículo, o método incluindo a detecção de um alvo a partir de uma imagem capturada por uma câmera no veículo em um estado onde o alvo está arranjado em um intervalo de formação
2 / 56 de imagem, a medição da luminância do alvo na imagem capturada detectada e o cálculo de um valor de controle de exposição para definir a luminância medida como um valor alvo adequado para o reconhecimento do alvo (ver o Documento Patentário 2).
[005] Além disso, foi proposto um método de controle de exposição de uma câmera de monitor no veículo, a câmera de monitor no veículo com uma função de formação de imagem de autotriangulação de realização de formação de imagem de autotriangulação com um valor de exposição de referência predeterminado e, em seguida, selecionando dados de imagem de exposição apropriada ou o mais próximo da exposição apropriada a partir da pluralidade de dados de imagem obtida, para definir os dados de imagem selecionados como um novo valor de exposição de referência (ver Documento Patentário 3).
[006] Documento Patentário 1: Pedido de patente japonesa aberto a inspeção pública nº 2012-134845 Documento Patentário 2: Pedido de patente japonesa aberto a inspeção pública nº 2012-138688 Documento Patentário 3: Pedido de patente japonesa aberto a inspeção pública nº 2012-138688.
[007] Um objetivo da tecnologia descrita neste documento é prover um aparelho de processamento de informações e um método de processamento de informações, um aparelho de formação de imagem, um dispositivo móvel e um programa de computador que realiza o processamento para controlar a exposição de uma câmera no veículo.
3 / 56
[008] Um primeiro aspecto da tecnologia descrita neste documento é um aparelho de processamento de informações incluindo: uma unidade de reconhecimento que reconhece uma imagem após um sinal de saída de um sensor de imagem ser processado por uma unidade de processamento; e uma unidade de controle que controla pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento da unidade de reconhecimento.
[009] O sensor de imagem é montado em um veículo e usado, e a unidade de reconhecimento reconhece por imagem pelo menos um veículo circundante ou uma superfície de estrada. Em seguida, a unidade de controle controla o processamento de detecção ou desenvolvimento da região do veículo circundante ou da superfície da estrada na imagem.
[0010] Além disso, um segundo aspecto da tecnologia descrita neste documento é um método de processamento de informações incluindo: uma etapa de reconhecimento para reconhecer uma imagem após um sinal de saída de um sensor de imagem ser processado por uma unidade de processamento; e uma etapa de controle para controlar pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento na etapa de reconhecimento.
[0011] Além disso, um terceiro aspecto da tecnologia descrita neste documento é um aparelho de formação de imagem incluindo: um sensor de imagem; uma unidade de processamento que processa um sinal de saída
4 / 56 do sensor de imagem; uma unidade de reconhecimento que reconhece uma imagem após ser processada pela unidade de processamento; e uma unidade de controle que controla pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento da unidade de reconhecimento.
[0012] Além disso, um quarto aspecto da tecnologia descrita neste documento é um dispositivo móvel incluindo: um corpo móvel; um sensor de imagem montado no corpo móvel; uma unidade de processamento que processa um sinal de saída do sensor de imagem; uma unidade de reconhecimento que reconhece uma imagem após ser processada pela unidade de processamento; uma unidade de controle que controla pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento da unidade de reconhecimento; e uma unidade de controle de operação que controla a operação no corpo móvel com base em um resultado de reconhecimento de uma imagem capturada pelo sensor de imagem sob controle da unidade de controle.
[0013] Além disso, um quinto aspecto da tecnologia descrita neste documento é um programa de computador gravado em um formato legível por computador para fazer com que um computador funcione como uma unidade de reconhecimento que reconhece uma imagem após um sinal de saída de um sensor de imagem ser processado por uma
5 / 56 unidade de processamento, e uma unidade de controle que controla pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento da unidade de reconhecimento.
[0014] O programa de computador de acordo com o quinto aspecto define um programa de computador gravado em um formato legível por computador de modo a realizar processamento predeterminado em um computador. Em outras palavras, ao instalar o programa de computador de acordo com o quinto aspecto em um computador, uma ação cooperativa é exibida no computador, e um efeito similar ao aparelho de processamento de informações de acordo com o primeiro aspecto pode ser obtido.
[0015] De acordo com a tecnologia descrita neste documento, podem ser providos um aparelho de processamento de informações e um método de processamento de informações, aparelho de formação de imagem, um dispositivo móvel e um programa de computador que realiza o processamento para controlar a exposição de uma câmera no veículo.
[0016] Deve-se observar que os efeitos descritos no presente relatório descritivo são apenas exemplos, e os efeitos da presente invenção não se limitam aos mesmos. Além disso, além dos efeitos acima, a presente invenção pode adicionalmente exercer efeitos adicionais.
[0017] Ainda outros objetivos, características e vantagens da tecnologia descrita no presente relatório descritivo ficarão aparentes a partir de uma descrição detalhada com base nas modalidades conforme descritas posteriormente e desenhos anexos.
[0018] A Figura 1 é um diagrama de blocos que mostra um exemplo de configuração de função esquemática de um sistema de controle de veículo 100.
6 / 56
[0019] A Figura 2 é um diagrama que mostra esquematicamente um exemplo de configuração funcional de um aparelho de formação de imagem 200 de acordo com uma primeira modalidade.
[0020] A Figura 3 é um diagrama que mostra esquematicamente um circuito de controle de exposição geral em um aparelho de formação de imagem.
[0021] A Figura 4 é um diagrama que mostra esquematicamente um circuito de controle de exposição ao qual a tecnologia descrita no presente relatório descritivo é aplicada.
[0022] A Figura 5 é um fluxograma que mostra um procedimento de operação básico do aparelho de formação de imagem 200.
[0023] A Figura 6 é um diagrama que mostra esquematicamente um exemplo de configuração funcional de um aparelho de formação de imagem 600 de acordo com uma segunda modalidade.
[0024] A Figura 7 é um fluxograma que mostra um procedimento de operação básico do aparelho de formação de imagem 600.
[0025] A Figura 8 é um diagrama que ilustra uma paisagem fotografada pelo aparelho de formação de imagem 600.
[0026] A Figura 9 é uma vista que mostra uma vista aérea da paisagem mostrada na Figura 8.
[0027] A Figura 10 é um diagrama que mostra um estado no qual um quadro de detecção é arranjado em uma imagem capturada mostrada na Figura
8.
[0028] A Figura 11 é um diagrama para explicar um método para calcular um ponto de fuga e um quadro de detecção de ponto de fuga.
[0029] A Figura 12 é um diagrama para explicar um método para calcular o grau de contraste de uma imagem com base em um valor de detecção.
[0030] A Figura 13 é um diagrama para explicar um método para calcular o grau de contraste da imagem com base no valor de detecção (em um
7 / 56 caso onde uma função multiquadro é assumida).
[0031] A Figura 14 é um diagrama que mostra um estado em que um quadro de detecção é arranjado sobre a imagem inteira.
[0032] A Figura 15 é um diagrama que ilustra um histograma adquirido arranjando o quadro de detecção sobre a imagem inteira mostrada na Figura 14.
[0033] A Figura 16 é um diagrama que mostra uma situação em que o quadro de detecção do ponto de fuga está arranjado na entrada do túnel.
[0034] A Figura 17 é um diagrama que mostra uma situação em que o quadro de detecção de ponto de fuga está arranjado em uma saída de túnel.
[0035] A Figura 18 é um diagrama que mostra uma relação entre um valor de detecção de ponto de fuga e uma velocidade de convergência do controle automático de exposição.
[0036] A Figura 19 é um diagrama que ilustra uma paisagem fotografada pelo aparelho de formação de imagem 600.
[0037] A Figura 20 é um diagrama que mostra a distância e a velocidade relativa de cada veículo mostrado na imagem capturada mostrada na Figura 19.
[0038] A seguir, as modalidades da tecnologia descrita no presente relatório descritivo serão descritas em detalhes com referência aos desenhos.
[0039] A Figura 1 é um diagrama de blocos que mostra um exemplo de configuração de função esquemática de um sistema de controle de veículo 100 que é um exemplo de um sistema de controle de corpo móvel ao qual a tecnologia atual pode ser aplicada.
[0040] Deve-se observar que, a seguir, no caso de distinguir um veículo provido com o sistema de controle de veículo 100 de outros veículos, o veículo é referido como veículo próprio.
[0041] O sistema de controle de veículo 100 inclui uma unidade de entrada 101, uma unidade de aquisição de dados 102, uma unidade de
8 / 56 comunicação 103, um dispositivo interno do veículo 104, uma unidade de controle de saída 105, uma unidade de saída 106, uma unidade de controle de sistema de acionamento 107, um sistema de acionamento 108, uma unidade de controle de sistema de corpo 109, um sistema de corpo 110, uma unidade de armazenamento 111 e uma unidade de controle de condução automática 112. A unidade de entrada 101, a unidade de aquisição de dados 102, a unidade de comunicação 103, a unidade de controle de saída 105, a unidade de controle do sistema de acionamento 107, a unidade de controle do sistema de corpo 109, a unidade de armazenamento 111 e a unidade de controle de condução automática 112 estão conectadas entre si por meio de uma rede de comunicação
121. A rede de comunicação 121 pode ser, por exemplo, uma rede de comunicação no veículo, um barramento ou similares em conformidade com um padrão arbitrário, como a rede de área do controlador (CAN), a rede de interconexão local (LIN), a rede de área local (LAN) ou FlexRay (marca registrada). Deve-se observar que cada unidade do sistema de controle do veículo 100 está diretamente conectada sem usar a rede de comunicação 121 em alguns casos.
[0042] Deve-se notar que, a seguir, em um caso em que cada unidade do sistema de controle de veículo 100 se comunica através da rede de comunicação 121, a descrição da rede de comunicação 121 é omitida. Por exemplo, em um caso onde a unidade de entrada 101 e a unidade de controle de condução automática 112 se comunicam uma com a outra através da rede de comunicação 121, é simplesmente descrito que a unidade de entrada 101 e a unidade de controle de condução automática 112 se comunicam uma com a outra.
[0043] A unidade de entrada 101 inclui um dispositivo usado por um passageiro para inserir vários tipos de dados e instruções. Por exemplo, a unidade de entrada 101 inclui um dispositivo de operação, como um painel de toque, um botão, um microfone, um comutador e uma alavanca, e um
9 / 56 dispositivo de operação no qual a entrada pode ser realizada por um método diferente de operação manual, como voz ou gesto. Além disso, por exemplo, a unidade de entrada 101 pode ser um dispositivo de controle remoto que usa raios infravermelhos ou outras ondas de rádio, ou um dispositivo conectado externamente, como um dispositivo móvel ou um dispositivo usável que corresponde à operação do sistema de controle do veículo 100. A unidade de entrada 101 gera um sinal de entrada com base nos dados e instruções introduzidos pelo passageiro e fornece o sinal de entrada para cada unidade do sistema de controle do veículo 100.
[0044] A unidade de aquisição de dados 102 inclui vários sensores que adquirem dados usados para processamento do sistema de controle de veículo 100 e fornece os dados adquiridos para cada unidade do sistema de controle de veículo 100.
[0045] Por exemplo, a unidade de aquisição de dados 102 inclui vários sensores para detectar o estado do próprio veículo e similares. Especificamente, por exemplo, a unidade de aquisição de dados 102 inclui, por exemplo, um sensor giroscópico, um sensor de aceleração, uma unidade de medição inercial (IMU), um sensor para detectar uma quantidade de operação de um pedal de acelerador, uma quantidade de operação de um pedal de freio, direção de um volante, uma velocidade de rotação do propulsor, uma velocidade de rotação do motor ou uma velocidade de rotação da roda e similares.
[0046] Além disso, por exemplo, a unidade de aquisição de dados 102 inclui vários sensores para detectar informações fora do próprio veículo. Especificamente, por exemplo, a unidade de aquisição de dados 102 inclui um aparelho de formação de imagem, como uma câmera de tempo de voo (ToF), uma câmera estéreo, uma câmera monocular, uma câmera de infravermelho e outras câmeras. Além disso, por exemplo, a unidade de aquisição de dados 102 inclui um sensor de ambiente para detectar tempo, clima ou similares, e um sensor de detecção de informação ambiente para detectar um objeto em torno
10 / 56 do próprio veículo. O sensor de ambiente inclui, por exemplo, um sensor de gota de chuva, um sensor de neblina, um sensor de luz do sol, um sensor de neve e similares. Por exemplo, o sensor de detecção de informação ambiente inclui um sensor ultrassônico, um radar, um dispositivo de detecção e alcance de luz, detecção e alcance de formação de imagem a laser (LIDAR), um sonar e similares.
[0047] Além disso, por exemplo, a unidade de aquisição de dados 102 inclui vários sensores para detectar a posição atual do próprio veículo. Especificamente, por exemplo, a unidade de aquisição de dados 102 inclui um receptor de sistema de navegação global por satélite (GNSS) que recebe um sinal GNSS de um satélite GNSS e similares.
[0048] Além disso, por exemplo, a unidade de aquisição de dados 102 inclui vários sensores para detectar informações dentro do veículo. Especificamente, por exemplo, a unidade de aquisição de dados 102 inclui um aparelho de formação de imagem que gera imagens de um condutor, um sensor biométrico que detecta informações biométricas do condutor, um microfone que coleta som no interior do veículo e similares. O sensor biométrico é provido, por exemplo, em uma superfície de assento, um volante ou similares, e detecta informações biométricas de um ocupante sentado em um assento ou de um condutor segurando um volante.
[0049] A unidade de comunicação 103 se comunica com o dispositivo interno do veículo 104 e vários dispositivos fora do veículo, um servidor, uma estação de base e similares, transmite dados fornecidos a partir de cada unidade do sistema de controle do veículo 100 e fornece os dados recebidos para cada unidade do sistema de controle do veículo 100. Deve-se notar que o protocolo de comunicação suportado pela unidade de comunicação 103 não é particularmente limitado e, além disso, a unidade de comunicação 103 pode suportar uma pluralidade de tipos de protocolos de comunicação.
[0050] Por exemplo, a unidade de comunicação 103 realiza
11 / 56 comunicação sem fio com o dispositivo interno do veículo 104 por LAN sem fio, Bluetooth (marca registrada), comunicação de campo próximo (NFC) ou USB sem fio (WUSB). Além disso, por exemplo, a unidade de comunicação 103 realiza comunicação por fio com o dispositivo interno do veículo 104 por um barramento serial universal (USB), uma interface multimídia de alta definição (HDMI) ou um enlace móvel de alta definição (MHL) através de um terminal de conexão não mostrado (e um cabo, se necessário).
[0051] Além disso, por exemplo, a unidade de comunicação 103 realiza comunicação com um dispositivo (por exemplo, um servidor de aplicativos ou um servidor de controle) existente em uma rede externa (por exemplo, a Internet, uma rede em nuvem ou uma rede específica da empresa) através de um estação de base ou um ponto de acesso. Além disso, por exemplo, a unidade de comunicação 103 usa a tecnologia ponto a ponto (P2P) para funcionar com um terminal existente na proximidade do próprio veículo (por exemplo, um terminal de um pedestre, ou uma loja, ou um terminal de comunicação tipo máquina (MTC)). Além disso, por exemplo, a unidade de comunicação 103 realiza comunicação V2X, como uma comunicação de veículo para veículo, uma comunicação de veículo para infraestrutura, uma comunicação de veículo para doméstico e uma comunicação de veículo para pedestre. Além disso, por exemplo, a unidade de comunicação 103 inclui uma unidade de recepção de farol, recebe ondas de rádio ou ondas eletromagnéticas transmitidas a partir de uma estação de rádio ou similares instalada na estrada e adquire informações, como a posição atual, congestionamento, fechamento de estrada ou tempo necessário.
[0052] O dispositivo interno do veículo 104 inclui, por exemplo, um dispositivo móvel ou um dispositivo usável possuído por um ocupante, um dispositivo de informação transportado ou afixado ao próprio veículo, um dispositivo de navegação que procura uma rota para um destino arbitrário e similares.
12 / 56
[0053] A unidade de controle de saída 105 controla a saída de vários tipos de informações para os ocupantes do próprio veículo ou do exterior do veículo. Por exemplo, a unidade de controle de saída 105 gera um sinal de saída incluindo pelo menos um dentre informações visuais (por exemplo, dados de imagem) e informações auditivas (por exemplo, dados de áudio) e fornece o sinal de saída para a unidade de saída 106 para controlar a saída de informações visuais e auditivas da unidade de saída 106. Especificamente, por exemplo, a unidade de controle de saída 105 sintetiza dados de imagem capturados por diferentes aparelhos de formação de imagem da unidade de aquisição de dados 102 para gerar uma imagem aérea ou uma imagem panorâmica e fornece um sinal de saída incluindo a imagem gerada para a unidade de saída 106. Além disso, por exemplo, a unidade de controle de saída 105 gera dados de áudio incluindo um som de aviso ou uma mensagem de aviso para um perigo, como colisão, contato ou entrada em uma zona perigosa, e fornece um sinal de saída incluindo os dados de áudio gerados para a unidade de saída 106.
[0054] A unidade de saída 106 inclui um dispositivo capaz de emitir informações visuais ou auditivas para um ocupante do próprio veículo ou fora do veículo. Por exemplo, a unidade de saída 106 inclui um dispositivo de exibição, um painel de instrumentos, um alto-falante de áudio, fones de ouvido, um dispositivo usável, como um visor do tipo óculos usado por um ocupante, um projetor, uma lâmpada e similares. O dispositivo de exibição incluído na unidade de saída 106 pode ser, além de um dispositivo com um visor normal, por exemplo, um dispositivo de exibição que exibe informações visuais em um campo visual de um condutor, como um visor de cabeça, um visor transmissivo, ou um dispositivo com uma função de exibição de realidade aumentada (AR).
[0055] A unidade de controle do sistema de acionamento 107 controla o sistema de acionamento 108 gerando vários sinais de controle e fornecendo os sinais de controle ao sistema de acionamento 108. Além disso, a unidade de controle do sistema de acionamento 107 fornece um sinal de controle para cada
13 / 56 unidade diferente do sistema de acionamento 108 conforme necessário para notificar o estado de controle do sistema de acionamento 108 e similares.
[0056] O sistema de acionamento 108 inclui vários dispositivos relacionados ao sistema de acionamento do próprio veículo. Por exemplo, o sistema de acionamento 108 inclui um dispositivo de geração de força de acionamento para gerar uma força de acionamento de um propulsor de combustão interna ou um motor de acionamento, um mecanismo de transmissão de força de acionamento para transmitir a força de acionamento para as rodas, um mecanismo de direção para ajustar o ângulo de direção, um dispositivo de frenagem que gera uma força de frenagem, um sistema de freio antitravamento (ABS), um controle eletrônico de estabilidade (ESC), um dispositivo de direção de energia elétrica e similares.
[0057] A unidade de controle do sistema de corpo 109 controla o sistema de corpo 110 gerando vários sinais de controle e fornecendo os sinais de controle ao sistema de corpo 110. Além disso, a unidade de controle do sistema de corpo 109 fornece um sinal de controle para cada unidade diferente do sistema de corpo 110 conforme necessário para notificar o estado de controle do sistema de corpo 110 e similares.
[0058] O sistema de corpo 110 inclui vários dispositivos do tipo corpo montados no corpo do veículo. Por exemplo, o sistema de corpo 110 inclui um sistema de entrada sem chave, um sistema de chave inteligente, um dispositivo de janela elétrica, um assento elétrico, um volante, um ar condicionado e várias lâmpadas (por exemplo, faróis dianteiros, uma lâmpada traseira, uma lâmpada de freio, um indicador de curva, uma lâmpada de neblina e similares) e similares.
[0059] A unidade de armazenamento 111 inclui, por exemplo, um dispositivo de armazenamento magnético, como uma memória somente de leitura (ROM), uma memória de acesso aleatório (RAM), uma unidade de disco rígido (HDD), um dispositivo de armazenamento semicondutor, um dispositivo
14 / 56 de armazenamento óptico, um dispositivo de armazenamento magneto-óptico e similares. A unidade de armazenamento 111 armazena vários programas, dados e similares usados por cada unidade do sistema de controle de veículo
100. Por exemplo, a unidade de armazenamento 111 armazena dados de mapa, como um mapa tridimensional de alta precisão, como um mapa dinâmico, um mapa global que é menos preciso do que o mapa de alta precisão e cobre uma grande área e um mapa local incluindo informações sobre o próprio veículo.
[0060] A unidade de controle de condução automática 112 realiza o controle relacionado à condução automática, como condução autônoma ou assistência de condução. Especificamente, por exemplo, a unidade de controle de condução automática 112 realiza controle cooperativo com a finalidade de realização da função de um sistema avançado de assistência ao condutor (ADAS), incluindo prevenção de colisão ou mitigação de impacto do próprio veículo, corrida de acompanhamento com base na distância entre veículos, manutenção da velocidade do veículo em execução, aviso de colisão do próprio veículo, aviso de saída da pista do próprio veículo ou similares. Além disso, por exemplo, a unidade de controle de condução automática 112 realiza um controle cooperativo para fins de acionamento automático ou similares que funciona de forma autônoma, sem depender da operação do condutor. A unidade de controle de condução automática 112 inclui uma unidade de detecção 131, uma unidade de estimativa de autoposição 132, uma unidade de análise de situação 133, uma unidade de planejamento 134 e uma unidade de controle de operação 135.
[0061] A unidade de detecção 131 detecta vários tipos de informações necessárias para controlar a condução automática. A unidade de detecção 131 inclui uma unidade de detecção de informações externas do veículo 141, uma unidade de detecção de informações internas do veículo 142 e uma unidade de detecção de estado do veículo 143.
[0062] A unidade de detecção de informações externas do veículo 141
15 / 56 realiza o processamento de detecção de informações fora do próprio veículo com base nos dados ou sinais de cada unidade do sistema de controle do veículo
100. Por exemplo, a unidade de detecção de informações externas do veículo 141 realiza o processamento de detecção, processamento de reconhecimento e processamento de rastreamento de um objeto em torno do próprio veículo e processamento de detecção de uma distância para o objeto. Exemplos de objetos a serem detectados incluem veículos, pessoas, obstáculos, estruturas, estradas, semáforos, placas de trânsito, marcações de estradas e similares. Além disso, por exemplo, a unidade de detecção de informações externas do veículo 141 realiza o processamento de detecção do ambiente em torno do próprio veículo. Exemplos do ambiente circundante a serem detectados incluem clima, temperatura, umidade, brilho, condição da superfície da estrada e similares. A unidade de detecção de informações externas do veículo 141 fornece dados que indicam o resultado do processamento de detecção para a unidade de estimativa de autoposição 132, uma unidade de análise de mapa 151 da unidade de análise de situação 133, a unidade de reconhecimento de regras de tráfego 152, uma unidade de reconhecimento de situação 153, uma unidade de prevenção de emergência 171 da unidade de controle de operação 135 e similares.
[0063] A unidade de detecção de informações internas do veículo 142 realiza o processamento de detecção de informações do interior do veículo com base nos dados ou sinais de cada unidade do sistema de controle do veículo
100. Por exemplo, a unidade de detecção de informações internas do veículo 142 realiza processamento de autenticação e processamento de reconhecimento de um condutor, processamento de detecção do estado de um condutor, processamento de detecção de um ocupante, processamento de detecção do ambiente interno do veículo e similares. Exemplos do estado do condutor a ser detectado incluem condição física, nível de excitação, nível de concentração, nível de fadiga, direção da linha de visão e similares. Exemplos do ambiente dentro do veículo a ser detectado incluem temperatura, umidade, brilho, odor e
16 / 56 similares. A unidade de detecção de informações internas do veículo 142 fornece os dados que indicam o resultado do processamento de detecção para a unidade de reconhecimento de situação 153 da unidade de análise de situação 133, a unidade de prevenção de emergência 171 da unidade de controle de operação 135 e similares.
[0064] A unidade de detecção de estado do veículo 143 realiza o processamento de detecção do estado do próprio veículo com base nos dados ou sinais de cada unidade do sistema de controle do veículo 100. Exemplos do estado do veículo a ser detectado incluem velocidade, aceleração, ângulo de direção, presença ou ausência de anormalidade, estado de operação de condução, posição e inclinação do assento elétrico, estado da trava da porta e o estado de outros dispositivos no veículo. A unidade de detecção de estado do veículo 143 fornece os dados que indicam o resultado do processamento de detecção para a unidade de reconhecimento de situação 153 da unidade de análise de situação 133, a unidade de prevenção de emergência 171 da unidade de controle de operação 135 e similares.
[0065] A unidade de estimativa de autoposição 132 realiza o processamento de estimativa da posição e orientação, por exemplo, do próprio veículo com base em dados ou sinais de cada unidade do sistema de controle de veículo 100, como a unidade de detecção de informações externas do veículo 141 e a unidade de reconhecimento de situação 153 da unidade de análise de situação 133. Além disso, a unidade de estimativa de autoposição 132 gera um mapa local (a seguir, chamado de mapa de estimativa de autoposição) usado para estimar a autoposição, se necessário. O mapa de estimativa de autoposição é, por exemplo, um mapa altamente preciso que usa uma técnica como localização e mapeamento simultâneos (SLAM). A unidade de estimativa de autoposição 132 fornece dados que indicam o resultado do processamento de detecção para a unidade de análise de mapa 151 da unidade de análise de situação 133, a unidade de reconhecimento de regras de tráfego 152, a unidade
17 / 56 de reconhecimento de situação 153 e similares. Além disso, a unidade de estimativa de autoposição 132 faz com que a unidade de armazenamento 111 armazene o mapa de estimativa de autoposição.
[0066] A unidade de análise de situação 133 realiza o processamento de análise da situação do próprio veículo e arredores. A unidade de análise de situação 133 inclui uma unidade de análise de mapa 151, uma unidade de reconhecimento de regras de tráfego 152, uma unidade de reconhecimento de situação 153 e uma unidade de previsão de situação 154.
[0067] Ao usar dados ou sinais de cada unidade do sistema de controle de veículo 100, como a unidade de estimativa de autoposição 132 e a unidade de detecção de informações externas do veículo 141, a unidade de análise de mapa 151 realiza processamento de análise de vários mapas armazenados na unidade de armazenamento 111 para construir um mapa contendo as informações necessárias para o processamento de condução automática. A unidade de análise de mapa 151 fornece o mapa construído para a unidade de reconhecimento de regras de tráfego 152, a unidade de reconhecimento de situação 153, a unidade de previsão de situação 154, a unidade de planejamento de rota 161, a unidade de planejamento de comportamento 162 e a unidade de planejamento de operação 163 da unidade de planejamento 134 e similares.
[0068] A unidade de reconhecimento de regras de tráfego 152 realiza o processamento de reconhecimento de regras de tráfego em torno do veículo com base em dados ou sinais de cada unidade do sistema de controle de veículo 100, como a unidade de estimativa de autoposição 132, a unidade de detecção de informações externas do veículo 141, e a unidade de análise de mapa 151. Por esse processamento de reconhecimento, são reconhecidos, por exemplo, a posição e o estado do sinal em torno do próprio veículo, o conteúdo das regras de trânsito em torno do próprio veículo, a pista em que o veículo pode se deslocar e similares. A unidade de reconhecimento de regras de tráfego 152 fornece dados que indicam o resultado do processamento de reconhecimento
18 / 56 para a unidade de previsão de situação 154 e similares.
[0069] A unidade de reconhecimento de situação 153 realiza o processamento de reconhecimento de uma situação relacionada ao próprio veículo com base em dados ou sinais de cada unidade do sistema de controle de veículo 100, como a unidade de estimativa de autoposição 132, a unidade de detecção de informações externas do veículo 141, a unidade de detecção de informações internas do veículo 142, a unidade de detecção do estado do veículo 143, e a unidade de análise de mapa 151. Por exemplo, a unidade de reconhecimento de situação 153 realiza o processamento de reconhecimento da situação do próprio veículo, a situação em torno do próprio veículo, a situação do condutor do próprio veículo e similares. Além disso, a unidade de reconhecimento de situação 153 também gera um mapa local (daqui em diante, chamado de um mapa de reconhecimento de situação) usado para reconhecer a situação em torno do próprio veículo, se necessário. O mapa de reconhecimento de situação é, por exemplo, um mapa de grade de ocupação.
[0070] Exemplos da situação do próprio veículo a ser reconhecido incluem a posição, orientação, movimento (por exemplo, velocidade, aceleração, direção do movimento e similares) do próprio veículo, e a presença ou ausência e conteúdo de anormalidade. Exemplos da situação em torno do próprio veículo a ser reconhecido incluem o tipo e a posição dos objetos estacionários circundantes, o tipo, a posição e o movimento (por exemplo, velocidade, aceleração, direção do movimento e similares) dos objetos em movimento circundantes, a configuração da estrada circundante e as condições da superfície da estrada, e o clima, temperatura, umidade e brilho circundantes. Exemplos do estado do condutor a ser reconhecido incluem condição física, nível de excitação, nível de concentração, nível de fadiga, movimento na linha de visão, operação de condução e similares.
[0071] A unidade de reconhecimento de situação 153 fornece dados que indicam o resultado do processamento de reconhecimento (incluindo um
19 / 56 mapa de reconhecimento de situação, se necessário) para a unidade de estimativa de autoposição 132, a unidade de previsão de situação 154 e similares. Além disso, a unidade de reconhecimento de situação 153 armazena o mapa de reconhecimento de situação na unidade de armazenamento 111.
[0072] A unidade de previsão de situação 154 realiza o processamento de previsão da situação em relação ao próprio veículo com base em dados ou sinais de cada unidade do sistema de controle de veículo 100, como a unidade de análise de mapa 151, a unidade de reconhecimento de regras de tráfego 152 e a unidade de reconhecimento de situação 153. Por exemplo, a unidade de previsão de situação 154 realiza um processamento de previsão da situação do próprio veículo, a situação em torno do próprio veículo, a situação do condutor e similares.
[0073] Exemplos da situação do próprio veículo a ser prevista incluem o comportamento do próprio veículo, a ocorrência de uma anomalia e a distância a ser percorrida. Exemplos da situação em torno do próprio veículo a ser prevista incluem o comportamento de um corpo em movimento em torno do próprio veículo, uma mudança no estado de um sinal e uma mudança no ambiente, como o clima. Exemplos da situação do condutor a ser prevista incluem o comportamento e a condição física do condutor.
[0074] A unidade de previsão de situação 154 fornece dados indicando o resultado do processamento de previsão, juntamente com os dados da unidade de reconhecimento de regras de tráfego 152 e da unidade de reconhecimento de situação 153, para a unidade de planejamento de rota 161, a unidade de planejamento de comportamento 162, a unidade de planejamento de operação 163 da unidade de planejamento 134 e similares.
[0075] A unidade de planejamento de rota 161 planeja uma rota para o destino com base em dados ou sinais de cada unidade do sistema de controle de veículo 100, como a unidade de análise de mapa 151 e a unidade de previsão de situação 154. Por exemplo, a unidade de planejamento de rota 161 define
20 / 56 uma rota a partir da posição atual para o destino designado com base no mapa global. Além disso, por exemplo, a unidade de planejamento de rota 161 altera apropriadamente a rota com base em engarrafamentos, acidentes, regras de tráfego, condições de construção e a condição física do condutor. A unidade de planejamento de rota 161 fornece dados que indicam a rota planejada para a unidade de planejamento de comportamento 162 e similares.
[0076] A unidade de planejamento de comportamento 162 planeja o comportamento do próprio veículo para viajar com segurança a rota planejada pela unidade de planejamento de rota 161 dentro do tempo planejado com base em dados ou sinais de cada unidade do sistema de controle de veículo 100, como a unidade de análise de mapa 151 e a unidade de previsão de situação
154. Por exemplo, a unidade de planejamento de comportamento 162 faz um plano de partida, parada, direção de deslocamento (por exemplo, para frente, para trás, curva à esquerda, curva à direita e mudança de direção), pista de deslocamento, velocidade de deslocamento, ultrapassagem e similares. A unidade de planejamento de comportamento 162 fornece dados que indicam o comportamento planejado do próprio veículo para a unidade de planejamento de operação 163 e similares.
[0077] A unidade de planejamento de operação 163 planeja a operação do próprio veículo para alcançar o comportamento planejado pela unidade de planejamento de comportamento 162 com base em dados ou sinais de cada unidade do sistema de controle de veículo 100, como a unidade de análise de mapa 151 e a unidade de previsão de situação 154. Por exemplo, a unidade de planejamento de operação 163 faz um plano de aceleração, desaceleração, faixa de deslocamento e similares. A unidade de planejamento de operação 163 fornece dados que indicam a operação planejada do próprio veículo para a unidade de controle de aceleração e desaceleração 172 e a unidade de controle de direção 173 da unidade de controle de operação 135 e similares.
[0078] A unidade de controle de operação 135 controla a operação do
21 / 56 próprio veículo. A unidade de controle de operação 135 inclui a unidade de prevenção de emergência 171, a unidade de controle de aceleração e desaceleração 172 e a unidade de controle de direção 173.
[0079] A unidade de prevenção de emergência 171 realiza o processamento de detecção de colisão, contato, entrada em uma zona de perigo, anormalidade de um condutor, anormalidade de um veículo e similares com base nos resultados de detecção da unidade de detecção de informações externas do veículo 141, da unidade de detecção de informações internas do veículo 142 e da unidade de detecção de estado do veículo 143. Em um caso em que a ocorrência de uma emergência é detectada, a unidade de prevenção de emergência 171 planeja a operação do próprio veículo para evitar uma emergência, como uma parada repentina ou uma curva acentuada. A unidade de prevenção de emergência 171 fornece dados indicando a operação planejada do próprio veículo para a unidade de controle de aceleração e desaceleração 172, a unidade de controle de direção 173 e similares.
[0080] A unidade de controle de aceleração e desaceleração 172 realiza o controle de aceleração e desaceleração para realizar a operação do próprio veículo planejado pela unidade de planejamento de operação 163 ou pela unidade de prevenção de emergência 171. Por exemplo, a unidade de controle de aceleração e desaceleração 172 opera o valor alvo de controle do dispositivo de geração de força motriz ou o dispositivo de frenagem para realizar a aceleração, desaceleração ou parada repentina planejada e fornece um comando de controle indicando o valor alvo de controle operado para a unidade de controle do sistema de acionamento 107.
[0081] A unidade de controle de direção 173 realiza o controle de direção para realizar a operação do próprio veículo planejado pela unidade de planejamento de operação 163 ou pela unidade de prevenção de emergência
171. Por exemplo, a unidade de controle de direção 173 opera o valor alvo de controle do mecanismo de direção para realizar a faixa de deslocamento ou
22 / 56 curva acentuada planejada pela unidade de planejamento de operação 163 ou a unidade de prevenção de emergência 171, e fornece o comando de controle indicando o valor alvo de controle operado para a unidade de controle do sistema de acionamento 107.
[0082] Vários sensores de reconhecimento externo, como câmeras, radares de ondas milimétricas e radares a laser, estão começando a ser montados nos veículos para realizar um reconhecimento externo mais preciso para a realização de condução automática e ADAS. Cada sensor tem seus pontos fortes e fracos, dependendo do princípio de detecção. Por exemplo, uma câmera que captura a luz visível não é boa em locais escuros, e um radar que detecta o reflexo de ondas de rádio não é bom em objetos que não refletem facilmente as ondas de rádio, como pessoas e animais. A Tabela 1 abaixo resume os pontos fortes e fracos do radar (radar de ondas milimétricas), câmeras e radar a laser (LiDAR). Na tabela, significa grande força (tem alta precisão de reconhecimento), ○ significa boa (tem boa precisão de reconhecimento) e ρ significa fraca (precisão de reconhecimento insuficiente). Além disso, usando a tecnologia de fusão em dois ou mais sensores, é possível realizar um reconhecimento externo mais preciso, aproveitando as características de cada sensor. [Tabela 1] Tipo de sensor Radar Câmera LiDAR Distância de medição Ângulo e resolução Desempenho em clima ruim Desempenho à noite Classificação do objeto alvo
[0083] Embora o objetivo seja visualizar ou visualizar as imagens capturadas por uma câmera digital geral, a câmera no veículo se destina a realizar a condução automática do próprio veículo, como prevenção de colisão e controle de pista e ADAS. Portanto, o presente requerente considera que é preferível que a imagem capturada pela câmera no veículo seja uma imagem com a qual objetos específicos, como veículos, pedestres e outros obstáculos e
23 / 56 superfícies de estradas possam ser reconhecidos por imagem com alta precisão, em vez de uma imagem que reproduz fielmente a paisagem capturada para que as pessoas não se sintam desconfortáveis ao visualizá-la.
[0084] A fim de melhorar a precisão do reconhecimento de imagem, é necessário realizar formação de imagem sob uma condição de exposição que facilite o reconhecimento do objeto a ser reconhecido. Por exemplo, o Documento Patentário 2 descreve um método para determinar um valor de controle de exposição de uma câmera no veículo, o método incluindo a detecção de um alvo a partir de uma imagem capturada por uma câmera no veículo em um estado onde o alvo está arranjado em um intervalo de formação de imagem, a medição da luminância do alvo na imagem capturada detectada, e o cálculo de um valor de controle de exposição para definir a luminância medida como um valor alvo adequado para reconhecimento de alvo. No entanto, não é possível escanear o padrão de alvo do alvo a partir do intervalo em que o alvo pode existir na imagem capturada e realizar o controle de exposição de acordo com o objeto sem padrão de alvo. Além disso, não é possível realizar o controle de exposição de acordo com o objeto fora do intervalo predeterminado.
[0085] Portanto, no presente relatório descritivo, será proposta abaixo uma tecnologia para obter uma imagem com alta precisão de reconhecimento para cada objeto através da realização de controle automático de exposição adequado para cada objeto a ser reconhecido com base no resultado de reconhecimento da imagem capturada pela câmera. [Primeira modalidade]
[0086] A Figura 2 mostra esquematicamente um exemplo de configuração funcional de um aparelho de formação de imagem 200 de acordo com uma primeira modalidade da tecnologia descrita no presente relatório descritivo. Supõe-se que o aparelho de formação de imagem 200 é usado principalmente por ser montado em um veículo. O aparelho de formação de
24 / 56 imagem 200 corresponde a um dos aparelhos de formação de imagem incluídos na unidade de aquisição de dados 102 no sistema de controle de veículo 100. O aparelho de formação de imagem ilustrado 200 inclui uma lente 201, um sensor de imagem 202, uma unidade de processamento de sinal 203, uma unidade de reconhecimento 204 e uma unidade de controle 205.
[0087] O sensor de imagem 202 é configurado usando um elemento tal como um semicondutor de óxido de metal complementar (CMOS) e um dispositivo acoplado de carga (CCD), e captura uma imagem formada em uma superfície de formação de imagem pela lente 201.
[0088] A unidade de processamento de sinal 203 realiza processamento também chamado de “desenvolvimento” na saída de dados RAW do sensor de imagem 202. Por exemplo, demosaicagem, redução de ruído, ajuste de equilíbrio de branco, correção de gama, correção espectroscópica de sensor, conversão YC e similares correspondem ao processamento de desenvolvimento.
[0089] A unidade de reconhecimento 204 reconhece um objeto incluído na imagem capturada após ser processado pela unidade de processamento de sinal 203. A unidade de reconhecimento 204 reconhece um objeto que deve ser reconhecido ou detectado a fim de realizar a condução automática ou ADAS, como um veículo circundante ou uma superfície de estrada. Obviamente, a unidade de reconhecimento 204 pode incluir adicionalmente, no alvo de reconhecimento, outros objetos, como motocicletas, bicicletas, pedestres, placas de trânsito, semáforos, pistas, canteiros centrais, guarda-corpos, árvores à beira da estrada e luzes de rua. Os objetos a serem reconhecidos podem ser adicionados, excluídos ou alterados de acordo com a operação manual do ocupante do próprio veículo, como um condutor. Além disso, no caso em que o aparelho de formação de imagem 200 é usado para outro que não a câmera no veículo, um objeto a ser reconhecido pode ser adicionado, excluído ou alterado de acordo com a aplicação.
25 / 56
[0090] A unidade de controle 205 controla a operação de formação de imagem do sensor de imagem 202 e o processamento de sinal da unidade de processamento de sinal 203 com base no estado da região de cada objeto reconhecido pela unidade de reconhecimento 204 na imagem capturada pelo sensor de imagem 202.
[0091] A unidade de controle 205 controla o sensor de imagem 202 e a unidade de processamento de sinal 203, a fim de reconhecer objetos, tais como veículos e superfícies de estradas que devem ser reconhecidos ou detectados a fim de realizar a condução automática e ADAS, com alta precisão. Portanto, a imagem capturada pelo sensor de imagem 202 sob o controle da unidade de controle 205 e desenvolvida pela unidade de processamento de sinal 203 é uma imagem cuja qualidade de imagem é ajustada de modo que um objeto específico, como um veículo ou uma superfície de estrada, possa ser reconhecido facilmente no processamento de reconhecimento realizado no sistema de controle de veículo 100 na fase subsequente. Por esse motivo, a saída de imagem do aparelho de formação de imagem 200 para o sistema de controle do veículo 100 nem sempre é uma reprodução fiel da paisagem original e pode causar uma sensação de desconforto quando uma pessoa visualiza ou aprecia a imagem.
[0092] No sistema de controle de veículo 100 na fase subsequente, ao reconhecer a imagem capturada pelo sensor de imagem 202 e desenvolvida pela unidade de processamento de sinal 203 sob o controle da unidade de controle 205, os veículos circundantes e a superfície da estrada podem ser reconhecidos com alta precisão ou alta taxa de reconhecimento. Então, com base em tal resultado de reconhecimento de imagem, o sistema de controle do veículo 100 realiza o controle do veículo para condução automática ou ADAS, como, por exemplo, controle entre veículos (ACC), aviso de saída de pista (LDW), assistência de manutenção de pista (LKA), frenagem de emergência automática (AEB) e detecção de ponto cego (BSD), além de controlar o acionamento de
26 / 56 cada unidade de acionamento, como luz de curva ativa (ACL), atuador de freio (BRK) e dispositivo de direção (STR). Isso pode contribuir para a condução segura do próprio veículo.
[0093] A Figura 3 mostra esquematicamente um circuito de controle de exposição geral no aparelho de formação de imagem 200.
[0094] O sensor de imagem 202 inclui um obturador 301, uma unidade de elemento 302 e uma unidade de processamento de ganho analógico 303. A luz coletada pela lente 201 passa através do obturador 301 e atinge a superfície de formação de imagem da unidade de elemento 302. A unidade de elemento 302 inclui uma matriz de pixel bidimensional e um sinal de pixel correspondente à quantidade de luz recebida é emitida de cada pixel. Cada sinal de pixel é amplificado na região analógica pela unidade de processamento de ganho analógico 303 e, em seguida, convertido digitalmente e emitido para a unidade de processamento de sinal 203.
[0095] A unidade de processamento de sinal 203 inclui uma unidade de processamento de desenvolvimento 304, uma unidade de detecção 305 e uma unidade de comparação 306. A unidade de processamento de desenvolvimento 304 realiza o processamento de desenvolvimento incluindo processamento de ganho digital e processamento gama na saída de sinal de pixel digital do sensor de imagem 202. Além disso, a unidade de detecção 305 detecta o brilho (luminância) da tela por detecção óptica (OPD) para toda a tela gerada pelo sensor de imagem 202. Em seguida, a unidade de comparação 306 compara o brilho de toda a tela detectada pela unidade de detecção 305 com um valor de referência predeterminado (Ref).
[0096] A unidade de controle 205 controla o tempo de abertura e fechamento (isto é, o tempo de exposição) do obturador 301, ajusta o ganho analógico da unidade de processamento de ganho analógico 303, e ajusta o ganho digital na unidade de processamento de desenvolvimento 304 e outros parâmetros de desenvolvimento com base na diferença entre o brilho da tela e
27 / 56 a saída de valor de referência da unidade de comparação 306 para controlar a imagem capturada do sensor de imagem 202 para ter um brilho apropriado.
[0097] De acordo com o circuito de controle de exposição geral conforme mostrado na Figura 3, o brilho de toda a tela pode ser ajustado, mas o objeto necessário, como veículos circundantes e superfície da estrada nem sempre é capturado com o brilho apropriado (ou brilho adequado para reconhecimento de imagem). Por exemplo, ao dirigir sob as árvores à beira da estrada sob o sol escaldante com luz solar forte, o contraste entre a parte iluminada pelo sol e a parte sombreada é muito forte, e há uma preocupação de que a imagem capturada seja uma imagem em que o veículo ou a superfície da estrada na parte sombreada não pode ser reconhecida por imagem com alta precisão.
[0098] A Figura 4 mostra esquematicamente um circuito de controle de exposição ao qual a tecnologia descrita no presente relatório descritivo é aplicada no aparelho de formação de imagem 200. O circuito de controle mostrado na Figura 4 é configurado de modo que a unidade de reconhecimento 204 execute a criação de imagem ideal para cada objeto reconhecido a partir da imagem capturada. Aqui, supõe-se que a unidade de reconhecimento 204 detecta um veículo (veículo anterior mais recente) e uma superfície de estrada como objetos que devem ser reconhecidos ou detectados a fim de realizar a condução automática e ADAS.
[0099] O sensor de imagem 202 inclui um obturador 401, uma unidade de elemento 402 e uma unidade de processamento de ganho analógico 403. A luz coletada pela lente 201 passa através do obturador 401 e atinge a superfície de formação de imagem da unidade de elemento 402. A unidade de elemento 402 inclui uma matriz de pixel bidimensional e um sinal de pixel correspondente à quantidade de luz recebida é emitida de cada pixel. Cada sinal de pixel é amplificado na região analógica pela unidade de processamento de ganho analógico 403 e, em seguida, convertido digitalmente e emitido para a unidade
28 / 56 de processamento de sinal 203.
[00100] Deve-se observar que, o sensor de imagem 202 será descrito abaixo como realizando uma única exposição (isto é, tendo um único tempo de exposição dentro de um período de quadro).
[00101] A unidade de processamento de sinal 203 inclui uma unidade de processamento de desenvolvimento 404, uma unidade de detecção 405 e uma unidade de comparação 406. No entanto, a unidade de detecção 405 inclui uma unidade de detecção de veículo 405-1 que detecta o brilho da porção do veículo na imagem capturada, e uma unidade de detecção de superfície da estrada 405- 2 que detecta o brilho da superfície da estrada na imagem capturada de modo que a unidade de reconhecimento 204 pode realizar detecção OPD para cada objeto reconhecido a partir da imagem capturada. Além disso, a unidade de detecção 405 também inclui uma unidade de detecção de tela inteira 405-3 que realiza a detecção OPD de toda a tela gerada pelo sensor de imagem 202. Além disso, no caso em que a unidade de reconhecimento 204 detecta adicionalmente um objeto diferente do veículo e da superfície da estrada, uma unidade de detecção que detecta o brilho do objeto adicionado pode ser provida adicionalmente.
[00102] Além disso, a unidade de processamento de desenvolvimento 404 inclui uma unidade de processamento de desenvolvimento de veículo 404- 1 e uma unidade de processamento de desenvolvimento de superfície de estrada 404-2 de modo que a unidade de reconhecimento 204 possa realizar individualmente o processamento de desenvolvimento adequado para cada objeto reconhecido a partir da imagem capturada. Além disso, a unidade de processamento de desenvolvimento também inclui uma unidade de processamento de desenvolvimento de tela inteira 404-3 que realiza o processamento de desenvolvimento adequado para a tela inteira. Além disso, no caso em que a unidade de reconhecimento 204 detecta adicionalmente um objeto diferente do veículo e da superfície da estrada, uma unidade de
29 / 56 processamento de desenvolvimento para o objeto adicionado pode ser provida adicionalmente.
[00103] Na Figura 4, o controle de exposição automática normal é realizado dentro da faixa indicada pelo numeral de referência 410. Isto é, toda a unidade de detecção de tela 405-3 detecta o brilho da tela pela detecção OPD de toda a tela gerada pelo sensor de imagem 202. Em seguida, a unidade de comparação 306 compara o brilho de toda a tela detectada pela unidade de detecção 305 com um valor de referência predeterminado (Ref). A unidade de controle 205 controla o tempo de abertura e fechamento (isto é, o tempo de exposição) do obturador 401, ajusta o ganho analógico da unidade de processamento de ganho analógico 403, e ajusta o ganho digital na unidade de processamento de desenvolvimento 404-3 e outros parâmetros de desenvolvimento com base na diferença entre o brilho da tela e a saída de valor de referência da unidade de comparação 406 para controlar a imagem capturada do sensor de imagem 202 para ter um brilho apropriado.
[00104] Por outro lado, a unidade de reconhecimento 204 reconhece um objeto incluído na imagem capturada 420 após ser processado pela unidade de processamento de sinal 403. Aqui, presumindo que o aparelho de formação de imagem 200 é usado como uma câmera no veículo (ou uma unidade de aquisição de dados 102 no sistema de controle do veículo 100), a unidade de reconhecimento 204 reconhece um veículo 421 e uma superfície de estrada 422 como objetos que devem ser reconhecidos ou detectados para realização de condução automática e ADAS. Obviamente, outros objetos, como motocicletas, bicicletas, pedestres, placas de trânsito, semáforos, guarda- corpos, árvores à beira da estrada e luzes de rua podem ser incluídos no alvo de reconhecimento.
[00105] Com base no resultado de reconhecimento do veículo 421 pela unidade de reconhecimento 204, a unidade de detecção de veículo 405-1 define o quadro de detecção do veículo 421 na imagem capturada 420, detecta o brilho
30 / 56 no quadro de detecção, e calcula a diferença entre o brilho de toda a tela detectado pela unidade de detecção de tela inteira 405-3 e o brilho dentro do quadro de detecção do veículo 421. Então, na unidade de processamento de desenvolvimento de veículos 404-1, o ganho digital e o valor gama são ajustados com base na diferença e o brilho dentro do quadro do veículo 421 é ajustado. Isto é, a unidade de processamento de desenvolvimento de veículo 404-1 realiza o processamento de desenvolvimento que é ideal para reconhecer o veículo 421 a partir da imagem capturada (se o quadro de detecção do veículo 421 estiver muito escuro para a tela inteira, a unidade de processamento de desenvolvimento de veículo 404-1 realiza o processamento de desenvolvimento de modo que o veículo 421 se torna mais brilhante, e se o quadro de detecção do veículo 421 estiver muito brilhante para a tela inteira, a unidade de processamento de desenvolvimento de veículo 404-1 realiza o processamento de desenvolvimento de modo que o veículo 421 se torna escuro). A imagem capturada desenvolvida pela unidade de processamento de desenvolvimento de veículo 404-1 não reproduz necessariamente fielmente a paisagem original e causa uma sensação desconfortável para uma pessoa ao visualizar ou apreciar em alguns casos, mas é uma imagem na qual o veículo 421 pode ser reconhecido com alta precisão.
[00106] Além disso, com base no resultado de reconhecimento da superfície da estrada 422 pela unidade de reconhecimento 204, a unidade de detecção de superfície da estrada 405-2 define o quadro de detecção do veículo 422 na imagem capturada 420, detecta o brilho no quadro de detecção, e calcula a diferença entre o brilho de toda a tela detectado pela unidade de detecção de tela inteira 405-3 e o brilho dentro do quadro de detecção da superfície da estrada 422. Então, na unidade de processamento de desenvolvimento de superfície de estrada 404-2, o ganho digital e o valor gama são ajustados com base na diferença para ajustar o brilho no quadro da superfície da estrada 422 (se o quadro de detecção da superfície da estrada 422 estiver muito escuro para
31 / 56 a tela inteira, a unidade de processamento de desenvolvimento de superfície de estrada 404-2 realiza o processamento de desenvolvimento para que a superfície de estrada 422 se torne mais brilhante, e se o quadro de detecção da superfície de estrada 422 estiver muito brilhante para a tela inteira, a unidade de processamento de desenvolvimento de superfície de estrada 404-2 realiza o processamento de desenvolvimento de modo que a superfície da estrada 421 se torne escura). Isto é, a unidade de processamento de desenvolvimento de superfície de estrada 404-2 realiza o processamento de desenvolvimento que é ideal para reconhecer a superfície de estrada 422 como um objeto da imagem capturada. A imagem capturada desenvolvida pela unidade de processamento de desenvolvimento de superfície de estrada 404-2 não reproduz necessariamente fielmente a paisagem original e causa uma sensação desconfortável para uma pessoa ao visualizar ou apreciar em alguns casos, mas é uma imagem em que a superfície da estrada 422 pode ser reconhecida com alta precisão.
[00107] O aparelho de formação de imagem 200 mostrado na Figura 4 inclui a unidade de reconhecimento 204 e é equipado com uma pluralidade de unidades de processamento de desenvolvimento e unidades de detecção para cada objeto reconhecido pela unidade de reconhecimento 204, de modo que o aparelho de formação de imagem 200 possa executar controle de exposição automático normal de forma estável, e ao mesmo tempo, possa realizar o desenvolvimento ideal para reconhecimento de imagem de cada objeto.
[00108] O reconhecimento de imagem de veículos e superfícies de estrada é de extrema importância para a realização da condução automática e ADAS. A partir desse ponto de vista, o aparelho de formação de imagem 200 mostrado na Figura 4 tem uma configuração na qual a unidade de reconhecimento 204 reconhece dois tipos de objetos, o veículo e a superfície de estrada, e está equipado com uma pluralidade de unidades de detecção e unidades de processamento de desenvolvimento para o veículo e a superfície
32 / 56 de estrada. Evidentemente, a unidade de reconhecimento 204 pode incluir adicionalmente outros objetos, como motocicletas, bicicletas, pedestres, placas de trânsito, semáforos, pistas, canteiros centrais, guarda-corpos, árvores de beira de estrada e luzes de rua no alvo de reconhecimento e, correspondentemente, adicionando uma pluralidade de unidades de detecção e unidades de processamento de desenvolvimento para cada um dos objetos de reconhecimento adicionados, é possível realizar o desenvolvimento ideal para o reconhecimento de imagem de vários tipos de objetos.
[00109] Além disso, na descrição acima, o sensor de imagem 202 foi descrito como realizando uma única exposição, mas é claro, pode ser capaz de realizar múltiplas exposições simultâneas (isto é, tendo uma pluralidade de tempos de exposição dentro de um período de quadro e capturando uma pluralidade de imagens em um período de quadro). O aparelho de formação de imagem 200 utiliza múltiplas exposições simultâneas para emitir imagens dependendo do uso, tal como para controle de exposição automática para cada grupo de luminância, como exposição automática do lado de baixa luminância e exposição automática do lado de alta luminância, e para contramedidas de cintilação de diodo emissor de luz (LED).
[00110] A Figura 5 mostra um procedimento de operação básico para controle automático de exposição no aparelho de formação de imagem 200 mostrado na Figura 4 na forma de um fluxograma. No entanto, aqui, presume- se que o sensor de imagem 202 pode realizar múltiplas exposições simultâneas e realizar exposições triplas para o veículo, a superfície da estrada e a tela inteira.
[00111] A unidade de detecção de tela inteira 405-3 detecta o brilho da tela inteira da imagem capturada pelo sensor de imagem 202 (etapa S501).
[00112] Em seguida, a unidade de comparação 406 compara o brilho da tela inteira detectada pela unidade de detecção de tela inteira 405-3 com um valor de referência predeterminado (Ref), e calcula a quantidade de erro (etapa
33 / 56 S502).
[00113] Em seguida, a unidade de controle 205 realiza o controle do dispositivo, como tempo de abertura e fechamento (isto é, tempo de exposição) do obturador 401 e ajuste de ganho analógico da unidade de processamento de ganho analógico 403 com base na quantidade de erro calculada na etapa S502 (etapa S503).
[00114] Aqui, presume-se que o sensor de imagem 202 realiza múltiplas exposições simultâneas. Portanto, na etapa S503, cada controle de dispositivo (etapas S503-1, S503-2, S503-3) pode ser realizado para baixa luminância, alta luminância e a tela inteira. Além disso, cada controle de dispositivo pode ter conteúdos similares.
[00115] Deve-se observar que o processamento realizado nas etapas S501 a S503 é o processamento correspondente ao controle de exposição automático normal.
[00116] A unidade de reconhecimento 204 realiza o processamento de reconhecimento de imagem em cada imagem capturada processada com base no controle do dispositivo das etapas S503-1 e S503-2 (etapa S504).
[00117] No caso em que a unidade de reconhecimento 204 não pode reconhecer o objeto alvo (veículo, superfície da estrada) a partir da imagem capturada (Não na etapa S504), esse processamento termina.
[00118] Por outro lado, em um caso em que a unidade de reconhecimento 204 pode reconhecer o objeto alvo (veículo, superfície da estrada) a partir da imagem capturada (Sim na etapa S504), a unidade de processamento de sinal 203 adquire informações de reconhecimento de imagem relacionadas ao objeto alvo (veículo, superfície da estrada) da unidade de reconhecimento 204 (etapa S505).
[00119] A unidade de detecção de veículo 405-1 define um quadro de detecção de veículo com base na informação de reconhecimento de imagem adquirida da unidade de reconhecimento 204 para detectar o brilho do quadro
34 / 56 de detecção de veículo (etapa S506). Aqui, em um caso em que a unidade de reconhecimento 204 pode reconhecer N veículos (onde N é um número inteiro de 2 ou mais) a partir da imagem capturada, a unidade de detecção de veículo 405-1 pode definir o quadro de detecção para N veículos para detectar o brilho de todos os veículos individualmente, pode detectar o brilho médio de todos os quadros de detecção ou pode detectar o brilho de até um número predeterminado de unidades com prioridade mais alta. A prioridade do veículo pode ser atribuída com base na possibilidade de colisão com o próprio veículo, como a distância do próprio veículo.
[00120] Em seguida, a unidade de detecção de veículo 405-1 compara o brilho do quadro de detecção de veículo com o brilho da tela inteira detectada pela unidade de detecção de tela inteira 405-3 para calcular a quantidade de erro (etapa S507). Em seguida, a unidade de processamento de desenvolvimento de veículo 404-1 realiza o processamento de desenvolvimento em uma imagem capturada para o veículo por exposição simultânea múltipla, com base na quantidade de erro calculada na etapa S507 (etapa S508).
[00121] Além disso, a unidade de detecção de superfície de estrada 405- 2 define um quadro de detecção de superfície de estrada com base na informação de reconhecimento de imagem adquirida a partir da unidade de reconhecimento 204 para detectar o brilho do quadro de detecção de veículo (etapa S509). Em seguida, a unidade de detecção de superfície de estrada 405- 2 compara o brilho do quadro de detecção de veículo com o brilho da tela inteira detectada pela unidade de detecção de tela inteira 405-3 para calcular a quantidade de erro (etapa S510). Em seguida, a unidade de processamento de desenvolvimento de superfície de estrada 404-2 realiza o processamento de desenvolvimento em uma imagem capturada para a superfície de estrada por exposição simultânea múltipla, com base na quantidade de erro calculada na etapa S510 (etapa S511).
35 / 56
[00122] Por outro lado, a unidade de processamento de desenvolvimento 404-3 realiza o processamento de desenvolvimento para medidas contra cintilação de LED (etapa S512).
[00123] Por fim, a primeira modalidade será resumida. Como mostrado na Figura 4, o aparelho de formação de imagem 200 é equipado com uma função de exposição simultânea múltipla, uma função de detecção múltipla, e uma função de desenvolvimento múltipla. Com dita configuração, o aparelho de formação de imagem 200 pode manter a exposição estável, mesmo com uma mudança repentina no objeto, enquanto suprime a cintilação do LED. Como resultado, o aparelho de formação de imagem 200 é distinguido pelo fato de que é possível realizar o processamento de desenvolvimento ideal em uma pluralidade de objetos sem depender da exposição uns dos outros, e é possível refletir imediatamente a quantidade de erro durante o desenvolvimento. Além disso, o aparelho de formação de imagem 200 é distinguido pelo fato de que a função de detecção do objeto pode ser mantida. [Segunda modalidade]
[00124] A fim de melhorar a precisão do reconhecimento de imagem, é necessário realizar formação de imagem sob uma condição de exposição que facilite o reconhecimento do objeto a ser reconhecido. No entanto, em um estado de retroiluminação ou escuridão, cenas irreconhecíveis são geradas. Por exemplo, ao dirigir sob as árvores à beira da estrada sob o sol escaldante com luz solar forte, o contraste entre a parte iluminada pelo sol e a parte sombreada é muito forte, e o controle de exposição automático não consegue acompanhar a mudança no brilho. Com o controle normal da câmera, leva muito tempo para atingir as condições de exposição adequadas e não pode ser rastreado. Como resultado, a superexposição ou subexposição continua por um longo tempo e, durante esse período, o estado em que o reconhecimento de imagem não pode ser realizado continua, de modo que a condução automática pelo sistema de controle do veículo 100 e ADAS não funcionam suficientemente. Outros
36 / 56 exemplos de estado em que o reconhecimento de imagem não pode ser executado incluem a entrada e saída de um túnel e o estado de exposição aos faróis de um veículo que se aproxima.
[00125] Portanto, em uma segunda modalidade, será descrito um aparelho de formação de imagem que determina uma cena de problema em que o reconhecimento de imagem de veículos circundantes não pode ser realizado com base no resultado do reconhecimento de imagem e controla de forma adaptativa a exposição automática em tal cena de problema.
[00126] Aqui, como uma cena de problema em que o reconhecimento de imagem não pode ser realizado, conforme descrito acima, uma luz solar forte de estado de retroiluminação, uma entrada e saída de túnel, e um estado de exposição aos faróis de um veículo que se aproxima podem ser mencionados. Essa cena de problema pode ser determinada com base no resultado do cálculo do ponto de fuga e no grau de contraste na imagem capturada. Além disso, como controle adaptativo de exposição automática em uma cena de problema, o controle variável da velocidade de convergência da exposição automática e o controle variável de uma região de detecção de exposição automática podem ser mencionados. Detalhes do método de determinação da cena de problema e o controle adaptativo da exposição automática serão descritos posteriormente.
[00127] A Figura 6 mostra esquematicamente um exemplo de configuração funcional de um aparelho de formação de imagem 600 de acordo com a segunda modalidade. Supõe-se que o aparelho de formação de imagem 600 é usado principalmente por ser montado em um veículo. O aparelho de formação de imagem ilustrado 600 inclui uma lente 601, um sensor de imagem 602, uma unidade de processamento de sinal 603, uma unidade de reconhecimento 604, uma unidade de determinação 605, e uma unidade de controle 605.
[00128] O sensor de imagem 602 é configurado usando elementos como CMOS e CCD, por exemplo, e captura uma imagem formada na superfície de
37 / 56 formação de imagem pela lente 601. A unidade de processamento de sinal 603 realiza o processamento de desenvolvimento na saída de dados RAW do sensor de imagem 602. Por exemplo, demosaicagem, redução de ruído, ajuste de equilíbrio de branco, correção de gama, correção espectroscópica de sensor, conversão YC e similares correspondem ao processamento de desenvolvimento.
[00129] A unidade de reconhecimento 604 reconhece um objeto incluído na imagem capturada após ser processado pela unidade de processamento de sinal 603. Na presente modalidade, a unidade de reconhecimento 604 reconhece basicamente os veículos circundantes e as linhas diagonais (pistas) como objetos usados para determinar a cena de problema pela unidade de determinação 605 no estágio subsequente. Obviamente, a unidade de reconhecimento 604 pode incluir adicionalmente, no alvo de reconhecimento, outros objetos, como motocicletas, bicicletas, pedestres, placas de trânsito, semáforos, guarda-corpos, árvores à beira da estrada e luzes de rua.
[00130] A unidade de determinação 605 determina uma cena de problema em que o reconhecimento de imagem de veículos circundantes não pode ser realizado com base no resultado de reconhecimento de imagem na unidade de reconhecimento 604. Especificamente, a unidade de determinação 605 determina um estado de retroiluminação com luz solar forte, uma entrada e saída de túnel, e um estado de exposição aos faróis de um veículo que se aproxima. A unidade de determinação 605 calcula o ponto de fuga com base no resultado de reconhecimento de imagem pela unidade de reconhecimento 604, calcula o grau de contraste da imagem capturada, e determina a cena com base nesses resultados de cálculo.
[00131] O ponto de fuga é o ponto em que, em um caso em que uma pluralidade de linhas paralelas no espaço tridimensional é projetada na imagem por transformação de perspectiva, as linhas retas na imagem que correspondem
38 / 56 às linhas paralelas convergem e, teoricamente, é um ponto no infinito. Existem vários métodos para calcular o ponto de fuga. Na presente modalidade, a unidade de determinação 605 calcula o ponto de fuga com base no resultado da detecção de pista pela unidade de reconhecimento 604 e a posição e o tamanho da área reconhecida por imagem.
[00132] Além disso, a unidade de determinação 605 calcula o grau de contraste da imagem com base na detecção OPD. Na presente modalidade, a unidade de determinação 605 calcula o grau de contraste por dois métodos de um método para comparar o valor de detecção da região da superfície da estrada na imagem capturada com o valor de detecção da outra região, e um método para determinar com base na forma do histograma (distribuição de luminância da imagem).
[00133] A unidade de controle 606 controla a operação de formação de imagem do sensor de imagem 602 e o processamento de desenvolvimento da unidade de processamento de sinal 603 para controlar adaptativamente a exposição automática em uma cena de problema em que a unidade de determinação 605 determina que o reconhecimento de imagem de veículos circundantes não pode ser realizado. Especificamente, a unidade de controle 606 realiza, como controle adaptativo de exposição automática em uma cena de problema, o controle variável da velocidade de convergência da exposição automática e o controle variável de uma região de detecção de exposição automática.
[00134] No sistema de controle de veículo 100 na fase subsequente, ao reconhecer a imagem capturada pelo sensor de imagem 602 e desenvolvida pela unidade de processamento de sinal 603 sob o controle da unidade de controle 606, os veículos circundantes podem ser reconhecidos com alta precisão ou alta taxa de reconhecimento. Então, com base em tal resultado de reconhecimento de imagem, o sistema de controle do veículo 100 realiza o controle do veículo para condução automática ou ADAS, como, por exemplo, controle entre
39 / 56 veículos (ACC), aviso de saída de pista (LDW), assistência de manutenção de pista (LKA), frenagem de emergência automática (AEB) e detecção de ponto cego (BSD), além de controlar o acionamento de cada unidade de acionamento, como luz de curva ativa (ACL), atuador de freio (BRK) e dispositivo de direção (STR). Isso pode contribuir para a condução segura do próprio veículo.
[00135] O aparelho de formação de imagem 600 de acordo com a segunda modalidade é diferente da primeira modalidade (isto é, o aparelho de formação de imagem 200 mostrado na Figura 4), o sensor de imagem 606 pode ser uma única exposição, a unidade de processamento de sinal 603 e a unidade de detecção 604 pode ser um sistema, e o sistema para cada objeto é desnecessário. Isto é, o aparelho de formação de imagem 600 pode ter uma configuração de aparelho como mostrado na Figura 3.
[00136] A Figura 7 mostra um procedimento de operação básico para controle automático de exposição no aparelho de formação de imagem 600 mostrado na Figura 6 na forma de um fluxograma.
[00137] A unidade de determinação 605 adquire informações de reconhecimento de imagem pela unidade de reconhecimento 604 (etapa S701). A unidade de reconhecimento 604 pode reconhecer um objeto, como uma superfície de estrada, uma pista na superfície da estrada ou um veículo da imagem capturada pelo sensor de imagem 602. Então, o quadro de detecção pode ser arranjado no solo (superfície da estrada), no céu, no veículo, no ponto de fuga ou similares em relação à imagem capturada com base no resultado de reconhecimento de imagem pela unidade de reconhecimento 604.
[00138] A unidade de determinação 605 calcula o ponto de fuga com base na informação de reconhecimento de imagem pela unidade de reconhecimento 604 (etapa S702), e adquire adicionalmente o valor de detecção da região do ponto de fuga (etapa S703).
[00139] Além disso, a unidade de determinação 605 calcula o grau de contraste da imagem com base na detecção OPD. Especificamente, a unidade
40 / 56 de determinação 605 calcula o grau de contraste comparando o valor de detecção da região da superfície da estrada na imagem capturada com o valor de detecção da outra região (etapa S704), e calcula o grau de contraste com base na forma do histograma (distribuição de luminância da imagem) (etapa S705).
[00140] Em seguida, a unidade de determinação 605 verifica se o valor de detecção da região do ponto de fuga adquirido na etapa S703 é igual a ou maior que um limite inferior THbaixo e menor que o limite superior THAlto (etapa S706).
[00141] Em um caso em que o valor de detecção na região do ponto de fuga é igual a ou maior que o limite inferior THbaixo e menor que o limite superior THAlto (Sim na etapa S706), a unidade de determinação 605 verifica adicionalmente se a unidade de reconhecimento 604 pode reconhecer o veículo de forma estável (etapa S707). Aqui, reconhecimento “estável” significa que, por exemplo, a probabilidade de reconhecimento é alta, e o resultado do reconhecimento não muda repentinamente e é estável.
[00142] Em um caso em que a unidade de reconhecimento 604 pode reconhecer de forma estável o veículo (Sim na etapa S707), a unidade de controle 606 adquire o valor de detecção da região do veículo na imagem capturada (etapa S708) e realiza o controle automático de exposição do sensor de imagem 602 e controle do processamento de desenvolvimento na unidade de processamento de sinal 603 usando apenas o valor de detecção da região do veículo (etapa S709).
[00143] Por outro lado, em um caso em que a unidade de reconhecimento 604 não pode reconhecer de forma estável o veículo (Não na etapa S707), a unidade de determinação 605 verifica adicionalmente se o grau de contraste calculado nas etapas S704 e S705 é igual a ou maior que um limite predeterminado THc (etapa S710).
[00144] Então, em um caso em que o grau de contraste da imagem
41 / 56 capturada é igual a ou maior que o limite predeterminado THc (Sim na etapa S710), a detecção OPD é realizada com a região de detecção definida apenas para a região da superfície da estrada, e a unidade de controle 606 realiza o controle automático de exposição do sensor de imagem 602 e o processamento de desenvolvimento na unidade de processamento de sinal 603 com base no resultado de detecção da região da superfície da estrada (etapa S711). Alternativamente, a detecção OPD pode ser realizada tornando o peso da região da superfície da estrada maior do que o das outras regiões.
[00145] Além disso, em um caso em que o grau de contraste da imagem capturada é igual a ou maior que o limite predeterminado THc (Sim na etapa S710), estima-se que o veículo está em um estado de retroiluminação com luz solar forte ou está exposto aos faróis de um veículo que se aproxima e, portanto, o controle automático de exposição é realizado definindo a região fotométrica apenas para a região da superfície da estrada. Por outro lado, em um caso em que o grau de contraste da imagem capturada é menor do que o limite predeterminado THc (Não na etapa S710), estima-se que o veículo não está em um estado de retroiluminação e está apenas em um estado onde não há veículo na frente da imagem e, portanto, esse processamento termina sem que o controle automático de exposição seja realizado.
[00146] Além disso, em um caso em que o valor de detecção na região do ponto de fuga é menor do que o limite inferior THbaixo ou excede o limite superior THAlto (Não na etapa S706), estima-se que o próprio veículo atingiu a proximidade da saída ou a proximidade da entrada do túnel. Portanto, a detecção OPD é realizada definindo o quadro de detecção apenas na região do ponto de fuga (correspondendo à entrada/saída do túnel), e a unidade de controle 606 realiza o controle automático de exposição do sensor de imagem 602 e controle do processamento de desenvolvimento na unidade de processamento de sinal 603 com base no resultado da detecção na região do ponto de fuga (etapa S712). Além disso, a fim de evitar uma situação em que
42 / 56 leva muito tempo para atingir uma condição de exposição apropriada e se torna impossível seguir, a unidade de controle 606 acelera a velocidade de convergência do controle automático de exposição (etapa S713).
[00147] Subsequentemente, o procedimento de operação mostrado na Figura 7 será especificamente descrito tomando como exemplo o caso em que a paisagem, como mostrada na Figura 8, é gerada pelo aparelho de formação de imagem 600.
[00148] Com relação ao arranjo do quadro de detecção: a Figura 8 mostra uma situação em que a frente do veículo tem imagem formada com o aparelho de formação de imagem dentro do veículo 600 enquanto o próprio veículo se desloca em uma estrada com três pistas de cada lado. No exemplo mostrado na Figura 8, os veículos anteriores 801, 802 e 803 se deslocam na superfície da estrada 800 na frente do próprio veículo na ordem da distância mais próxima do próprio veículo. Além disso, a Figura 9 mostra uma vista aérea da frente do próprio veículo. As distâncias do próprio veículo para os veículos anteriores 801, 802 e 803 são d1, d2 e d3, respectivamente. Além disso, as velocidades e direções relativas dos veículos anteriores 801, 802 e 803 são v1, v2 e v3, respectivamente. As distâncias e velocidades relativas dos veículos anteriores 801, 802 e 803 podem ser medidas, por exemplo, usando um radar equipado no sistema de controle do veículo 100 como a unidade de aquisição de dados 102.
[00149] A unidade de reconhecimento 604 reconhece um objeto, tal como uma superfície de estrada (solo) 800, veículos anteriores 801 a 803 e pistas 804, 805 realizando processamento de reconhecimento de imagem na imagem capturada mostrada na Figura 8. Então, a unidade de determinação 605 pode arranjar os quadros de detecção para cada superfície da estrada 800, o céu, o ponto de fuga e os veículos anteriores 801 a 803, como mostrado na Figura 10, com base nas informações de reconhecimento de imagem pela unidade de reconhecimento 604.
43 / 56
[00150] Superfície da estrada, céu (Wg, Ws) Ponto de fuga (Wvp) Veículo anterior (Wv1, Wv2, Wv3).
[00151] Evidentemente, além do exposto acima, a unidade de reconhecimento 604 também pode reconhecer objetos como motocicletas, bicicletas, pedestres, placas de trânsito e semáforos, conforme necessário. Além disso, a unidade de determinação 605 pode arranjar de forma similar o quadro de detecção para esses objetos reconhecidos.
[00152] A unidade de controle 606 controla a distância d1, d2, d3 e as velocidades relativas v1, v2, v3 para os veículos anteriores 801, 802, 803, e o peso dos veículos anteriores 801, 802, 803 com base em todo o quadro, incluindo o quadro de detecção de superfície de estrada Wg e quadro de detecção de céu Ws. Por exemplo, o peso de um veículo que está próximo do próprio veículo ou de um veículo que se aproxima do próprio veículo em alta velocidade é aumentado.
[00153] Em relação ao cálculo do ponto de fuga: a unidade de determinação 605 calcula o ponto de fuga com base na informação de reconhecimento de imagem pela unidade de reconhecimento 604 na etapa S702 no fluxograma mostrado na Figura 7 e calcula o quadro de detecção de ponto de fuga na etapa subsequente S703. A Figura 11 mostra uma situação onde o ponto de fuga é calculado. As pistas podem ser mencionadas como linhas paralelas em um espaço tridimensional como o alvo. Portanto, a unidade de determinação 605 determina a interseção da pista 804 e da pista 805 na posição central do quadro de detecção de ponto de fuga. Em seguida, um quadro de detecção de ponto de fuga Wvp é calculado com base na posição e tamanho de cada um dos veículos 801 a 803.
[00154] Método de cálculo do grau de contraste 1: na etapa S704 do fluxograma mostrado na Figura 7, a unidade de determinação 605 calcula o grau de contraste comparando o valor de
44 / 56 detecção da região da superfície da estrada na imagem capturada com o valor de detecção da outra região. A Figura 12 mostra a situação onde o grau de contraste é calculado. A unidade de determinação 605 pode obter o quadro de detecção de superfície de estrada Wg a partir da informação dos veículos anteriores 801 a 803 e as pistas 804 e 805 reconhecidas por imagem pela unidade de reconhecimento 604 e pode assumir que as outras partes são quadros de detecção de céu Ws. Em seguida, a unidade de determinação 605 calcula o valor absoluto ABS (Wg-Ws) da diferença entre o valor de detecção do quadro de detecção da superfície da estrada Wg e o valor de detecção do quadro de detecção do céu Ws como o grau de contraste. Depois disso, na etapa S710, a unidade de determinação 605 pode determinar que o contraste da imagem capturada é forte se o valor absoluto ABS (Wg-Ws) da diferença calculada como o grau de contraste for maior do que um limite predeterminado.
[00155] A Figura 13 mostra a situação em que o grau de contraste é calculado no caso de assumir a função multiquadro. A unidade de determinação 605 obtém o quadro de detecção de superfície de estrada Wg a partir das informações dos veículos anteriores 801 a 803 e as pistas 804 e 805 reconhecidas por imagem pela unidade de reconhecimento 604, e assume que as outras partes são quadros de detecção de céu Ws. Na Figura 13, a música de detecção de superfície de estrada Wg é pintada em cinza claro e os outros quadros de detecção de céu Ws são pintados em cinza escuro. Em seguida, a unidade de determinação 605 calcula o valor absoluto ABS (Wg-Ws) da diferença entre o valor de detecção do quadro de detecção da superfície da estrada Wg e o valor de detecção do quadro de detecção do céu Ws como o grau de contraste. Depois disso, na etapa S710, a unidade de determinação 605 determina que o contraste da imagem capturada é forte se o valor absoluto ABS (Wg-Ws) da diferença calculada como o grau de contraste for maior do que um limite predeterminado.
[00156] Método de cálculo do grau de contraste 2:
45 / 56 a unidade de determinação 605 calcula o grau de contraste com base na forma do histograma (distribuição de luminância da imagem) na etapa S705 no fluxograma mostrado na Figura 7. A unidade de determinação 605 calcula o grau de separação do histograma usando o método de análise de determinação, que é um dos métodos de binarização, e pode determinar que o grau de contraste da imagem é forte se o grau de separação for alto.
[00157] Por exemplo, como mostrado na Figura 14, um quadro de detecção é arranjado sobre a imagem inteira para adquirir um histograma. A Figura 15 ilustra um histograma adquirido arranjando um quadro de detecção sobre a imagem inteira mostrada na Figura 14. No exemplo mostrado na Figura 15, o nível de luminância da imagem inclui 256 gradações de 0 a 255, e a distribuição do número de pixels para cada nível de luminância é adquirida.
[00158] Aqui, presume-se que o número de pixels da imagem inteira mostrada na Figura 14 é ωt, o valor médio dos níveis de luminância é mt e a variância é σt. Além disso, no histograma mostrado na Figura 15, um limite THl do nível de luminância é definido e os pixels são separados em dois valores, uma classe branca com um nível de luminância igual a ou maior que o limite THl e uma classe preta com um nível de luminância menor que o limite TH1. Então, presume-se que o número de pixels na classe preta é ω1, o valor médio do nível de luminância é m1, a variância é σ1, o número de pixels na classe branca é ω2, o valor médio do nível de luminância é m2, e a variância é σ2. A variância na classe σw2 é calculada de acordo com a seguinte Equação (1), a variância na classe σb2 é calculada de acordo com a seguinte Equação (2), e a variância total σt2 é calculada de acordo com a seguinte Equação (3) com base na variância na classe σw2 e na variância na classe σb2. Em seguida, o grau de separação é calculado obtendo-se o limite THl que maximiza a razão da variância na classe σb2 e a variância na classe σw2 mostrada na seguinte Equação (4). Então, a unidade de determinação 605 pode determinar que o grau de contraste da imagem é forte se o grau de separação for alto.
46 / 56 [Mat. 1] [Mat. 2] [Mat. 3] [Mat. 4]
[00159] Controle da velocidade de convergência do controle automático de exposição: a Figura 16 mostra uma situação em que o aparelho de formação de imagem 600 forma imagens da frente do próprio veículo quando o próprio veículo atinge a proximidade da entrada do túnel. Nesse caso, a entrada do túnel é a região do ponto de fuga, e o valor de detecção da região do ponto de fuga é menor que o limite inferior Thbaixo. Além disso, a Figura 17 mostra uma situação em que o aparelho de formação de imagem 600 forma imagens da frente do próprio veículo quando o próprio veículo atinge a proximidade da saída do túnel. Nesse caso, a saída do túnel é a região do ponto de fuga e o valor de detecção da região do ponto de fuga excede o limite superior THAlto.
[00160] Na etapa S706 no fluxograma mostrado na Figura 7, em um caso em que o valor de detecção na região do ponto de fuga é menor do que o limite inferior THbaixo ou excede o limite superior THAlto, a unidade de determinação 605 estima que o próprio veículo atinge a proximidade da entrada ou saída do túnel. Depois, como mostrado nas Figuras 16 e 17, a unidade de determinação 605 define o quadro de detecção apenas na região do ponto de fuga
47 / 56 correspondente à entrada ou saída do túnel (etapa S712). Além disso, na etapa S713, a fim de evitar uma situação em que leva muito tempo para atingir uma condição de exposição apropriada e se torna impossível seguir, a unidade de controle 606 acelera a velocidade de convergência do controle automático de exposição.
[00161] A Figura 18 mostra uma relação entre um valor de detecção de ponto de fuga e uma velocidade de convergência do controle automático de exposição. Como mostrado no desenho, em um caso em que o valor de detecção na região do ponto de fuga se torna menor do que o limite inferior THbaixo, a unidade de determinação 605 acelera a velocidade de convergência do controle automático de exposição. Além disso, em um caso em que o valor de detecção na região do ponto de fuga excede o limite superior THAlto, a unidade de determinação 605 acelera a velocidade de convergência do controle automático de exposição. A unidade de determinação 605 pode realizar controle variável contínuo da velocidade de convergência monitorando o valor de detecção na região do ponto de fuga em série temporal.
[00162] Além disso, a unidade de determinação 605 monitora constantemente a frente do próprio veículo com base na informação de reconhecimento do veículo pela unidade de reconhecimento 604, mesmo durante o período em que o valor de detecção na região do ponto de fuga está dentro da faixa igual a ou maior que o limite inferior do limite THbaixo e menor que o limite superior do limite THAlto. Por exemplo, também em um caso em que os resultados de reconhecimento de imagem para vários quadros anteriores são acumulados e o estado em que o veículo anterior não pode ser reconhecido continua por um número predeterminado de quadros ou mais, a velocidade de convergência do controle automático de exposição pode ser aumentada.
[00163] Em relação ao controle de peso do quadro do veículo: quando a unidade de determinação 605 adquire as informações de reconhecimento de imagem pela unidade de reconhecimento 604 na etapa
48 / 56 S701 no fluxograma mostrado na Figura 7, a unidade de determinação 605 arranja um quadro de detecção para cada um de céu, ponto de fuga e veículo anterior. Nesse momento, a unidade de determinação 605 controla o peso de cada quadro de veículo com base na distância e velocidade relativa de cada veículo anterior.
[00164] Por exemplo, presume-se que os quadros do veículo Wv1, Wv2, Wv3 são arranjados a partir da imagem capturada 1900 do sensor de imagem 602 como mostrado na Figura 19 com base nas informações de reconhecimento de imagem pela unidade de reconhecimento 604. Além disso, como mostrado na Figura 20, presume-se que as distâncias do próprio veículo para cada veículo anterior são d1, d2, d3, e as velocidades relativas de cada veículo anterior são v1, v2, v3.
[00165] Se a distância até o veículo anterior for curta, existe uma grande possibilidade de colisão com o próprio veículo, de modo que deve ser dado um grande peso. Além disso, quanto mais rápida for a velocidade relativa do veículo anterior, maior será a probabilidade de ele colidir com o próprio veículo, de modo que deve ser dado um peso maior. Portanto, como mostrado na seguinte Equação (5), os pesos Wev1, Wev2, Wev3 de cada quadro do veículo Wv1, Wv2, Wv3 podem ser controlados com base na distância e na velocidade relativa ao veículo anterior. [Mat. 5]
[00166] Além disso, o peso pode ser alterado entre o quadro do veículo Wv de todos os veículos reconhecidos por imagem pela unidade de reconhecimento 604 e as outras regiões. Por exemplo, o peso Wev do quadro do veículo de todos os veículos pode ser definido como na seguinte Equação (6) (entretanto, no exemplo mostrado na Figura 19, n = 3). [Mat. 6]
49 / 56
[00167] Por fim, a segunda modalidade será resumida. O aparelho de formação de imagem 600 pode ser configurado como exposição única, detecção única e desenvolvimento único, mas tem características capazes de manter a exposição estável mesmo com uma mudança repentina no objeto, capaz de lidar com uma pluralidade de mudanças no objeto e capaz de manter a função de detecção de objeto.
[00168] A tecnologia descrita no presente relatório descritivo foi descrita em detalhes com referência às modalidades específicas. No entanto, é óbvio que aqueles versados na técnica podem fazer modificações e substituições das modalidades sem se afastar da essência da tecnologia descrita no presente relatório descritivo.
[00169] Embora a descrição tenha se concentrado em modalidades relacionadas à câmera no veículo no presente relatório descritivo, o escopo de aplicação da tecnologia descrita no presente relatório descritivo não está limitado ao veículo. Por exemplo, a tecnologia descrita no presente relatório descritivo pode ser aplicada de forma similar a vários tipos de dispositivos móveis, como veículos aéreos não tripulados, como drones, robôs que se movem de forma autônoma em um determinado espaço de trabalho (casa, escritório, fábrica ou similares), navios, aeronaves ou similares. Obviamente, a tecnologia descrita no presente relatório descritivo pode ser aplicada de forma similar a um terminal de informações instalado em um dispositivo móvel e vários dispositivos não móveis.
[00170] Em resumo, a tecnologia descrita no presente relatório descritivo foi descrita na forma de exemplificação, e os conteúdos da descrição do presente relatório descritivo não devem ser interpretados restritivamente. A fim de determinar a essência da tecnologia descrita no presente relatório descritivo, o escopo das reivindicações deve ser levado em consideração.
50 / 56
[00171] Deve-se observar que a tecnologia descrita no presente relatório descritivo pode ter a seguinte configuração.
[00172] (1) Um aparelho de processamento de informações incluindo: uma unidade de reconhecimento que reconhece uma imagem após um sinal de saída de um sensor de imagem ser processado por uma unidade de processamento; e uma unidade de controle que controla pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento da unidade de reconhecimento. (1-1) O aparelho de processamento de informações de acordo com (1) descrito acima, incluindo adicionalmente a unidade de processamento.
[00173] (2) O aparelho de processamento de informações de acordo com (1) descrito acima, em que a unidade de controle controla o processamento de detecção ou de desenvolvimento de uma região de um objeto reconhecido pela unidade de reconhecimento.
[00174] (3) O aparelho de processamento de informações de acordo com qualquer um de (1) ou (2) descrito acima, em que o sensor de imagem é montado em um veículo e usado, a unidade de reconhecimento reconhece por imagem pelo menos um veículo circundante ou superfície da estrada, e a unidade de controle controla o processamento de detecção ou desenvolvimento de uma região do veículo circundante ou da superfície da estrada na imagem.
[00175] (4) O aparelho de processamento de informações de acordo com (1) descrito acima, em que a unidade de controle determina uma cena com base no
51 / 56 resultado do reconhecimento pela unidade de reconhecimento e controla a operação de formação de imagem do sensor de imagem ou a operação de processamento na unidade de processamento correspondentemente à cena.
[00176] (5) O aparelho de processamento de informações de acordo com (1) descrito acima, em que a unidade de controle calcula um ponto de fuga da imagem com base no resultado de reconhecimento pela unidade de reconhecimento e, em um caso em que a luminância de uma região incluindo o ponto de fuga se desvia de um intervalo de limite predeterminado, a unidade de controle define apenas a região incluindo o ponto de fuga como uma região fotométrica, e acelera a velocidade de convergência do controle automático de exposição do sensor de imagem.
[00177] (6) O aparelho de processamento de informações de acordo com (5) descrito acima, em que a unidade de controle calcula o ponto de fuga com base em uma interseção de duas ou mais pistas reconhecidas pela unidade de reconhecimento.
[00178] (7) O aparelho de processamento de informações de acordo com qualquer um de (1), (4) a (6) descrito acima, em que, quando a unidade de reconhecimento reconhece de forma estável um objeto predeterminado, a unidade de controle controla a operação de formação de imagem do sensor de imagem ou a operação de processamento na unidade de processamento apenas em uma região incluindo o objeto predeterminado.
[00179] (8) O aparelho de processamento de informações de acordo com qualquer um de (1), (4) a (7) descrito acima, em que o sensor de imagem é montado em um veículo e usado, e a unidade de reconhecimento reconhece por imagem pelo menos um veículo circundante, e
52 / 56 quando a unidade de reconhecimento pode reconhecer de forma estável um veículo, a unidade de controle detecta uma região de veículo reconhecida e controla a operação de formação de imagem do sensor de imagem ou a operação de processamento na unidade de processamento apenas na região do veículo.
[00180] (9) O aparelho de processamento de informações de acordo com qualquer um de (1), (4) a (8) descrito acima, em que o sensor de imagem é montado em um veículo e usado, e a unidade de reconhecimento reconhece por imagem pelo menos uma superfície da estrada, e a unidade de controle calcula um grau de contraste da imagem, e quando o grau de contraste se torna igual a ou maior que um limite predeterminado, a unidade de controle detecta uma região de superfície de estrada reconhecida e controla a operação de formação de imagem do sensor de imagem ou a operação de processamento na unidade de processamento apenas na região da superfície da estrada.
[00181] (10) O aparelho de processamento de informações de acordo com (9) descrito acima, em que a unidade de controle calcula o grau de contraste da imagem com base na diferença de luminância entre a região da superfície da estrada reconhecida e outras regiões.
[00182] (11) O aparelho de processamento de informações de acordo com (9) descrito acima, em que a unidade de controle calcula o grau de contraste da imagem com base em um histograma da imagem.
[00183] (12) O aparelho de processamento de informações de acordo com qualquer um de (1) a (11) descrito acima, em que o sensor de imagem é montado em um veículo e usado, e a unidade de reconhecimento reconhece por imagem pelo menos um veículo
53 / 56 circundante, e a unidade de controle controla um peso com base em uma distância e uma velocidade relativa para cada um dos veículos circundantes.
[00184] (13) O aparelho de processamento de informações de acordo com (12) descrito acima, em que a unidade de controle controla os pesos da região do veículo e outras regiões.
[00185] (14) Um método de processamento de informações incluindo: uma etapa de reconhecimento para reconhecer uma imagem após um sinal de saída de um sensor de imagem ser processado por uma unidade de processamento; e uma etapa de controle para controlar pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento na etapa de reconhecimento.
[00186] (15) Um aparelho de formação de imagem incluindo: um sensor de imagem; uma unidade de processamento que processa um sinal de saída do sensor de imagem; uma unidade de reconhecimento que reconhece uma imagem após ser processada pela unidade de processamento; e uma unidade de controle que controla pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento da unidade de reconhecimento.
[00187] (16) Um dispositivo móvel incluindo: um corpo móvel; um sensor de imagem montado no corpo móvel; uma unidade de processamento que processa um sinal de saída
54 / 56 do sensor de imagem; uma unidade de reconhecimento que reconhece uma imagem após ser processada pela unidade de processamento; uma unidade de controle que controla pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento da unidade de reconhecimento; e uma unidade de controle de operação que controla a operação no corpo móvel com base em um resultado de reconhecimento de uma imagem capturada pelo sensor de imagem sob controle da unidade de controle.
[00188] (17) Um programa de computador gravado em um formato legível por computador para fazer com que um computador funcione como uma unidade de reconhecimento que reconhece uma imagem após um sinal de saída de um sensor de imagem ser processado por uma unidade de processamento, e uma unidade de controle que controla pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento da unidade de reconhecimento.
[00189] 100 Sistema de controle de veículo 101 Unidade de entrada 102 Unidade de aquisição de dados 103 Unidade de comunicação 104 Dispositivo interno do veículo 105 Unidade de controle de saída 106 Unidade de saída 107 Unidade de controle do sistema de acionamento 108 Sistema de acionamento
55 / 56
109 Unidade de controle do sistema de corpo 110 Sistema de corpo 111 Unidade de armazenamento 112 Unidade de controle de condução automática 121 Rede de comunicação 131 Unidade de detecção 132 Unidade de estimativa de autoposição 133 Unidade de análise de situação 134 Unidade de planejamento 135 Unidade de controle de operação 141 Unidade de detecção de informações externas do veículo 142 Unidade de detecção de informações internas do veículo 143 Unidade de detecção do estado do veículo 151 Unidade de análise de mapa 152 Unidade de reconhecimento de regras de tráfego 153 Unidade de reconhecimento de situação 154 Unidade de previsão de situação 161 Unidade de planejamento de rota 162 Unidade de planejamento de comportamento 163 Unidade de planejamento de operação 171 Unidade de prevenção de emergência 172 Unidade de controle de aceleração e desaceleração 173 Unidade de controle de direção 200 Aparelho de formação de imagem 201 Lente 202 Sensor de imagem 203 Unidade de processamento de sinal 204 Unidade de reconhecimento 205 Unidade de controle
56 / 56
301 Obturador 302 Unidade de elemento 303 Unidade de processamento de ganho analógica 304 Unidade de processamento de desenvolvimento 305 Unidade de detecção 306 Unidade de comparação 401 Obturador 402 Unidade de elemento 403 Unidade de processamento de ganho analógica 404-1 Unidade de processamento de desenvolvimento de veículo 404-2 Unidade de processamento de desenvolvimento de superfície da estrada 404-3 Unidade de processamento de desenvolvimento da tela inteira 405-1 Unidade de detecção de veículo 405-2 Unidade de detecção de superfície da estrada 405-3 Unidade de detecção da tela inteira 406 Unidade de comparação 600 Aparelho de formação de imagem 601 Lente 602 Sensor de imagem 603 Unidade de processamento de sinal 604 Unidade de reconhecimento 605 Unidade de determinação 606 Unidade de controle.
Claims (17)
1. Aparelho de processamento de informações, caracterizado pelo fato de que compreende: uma unidade de reconhecimento que reconhece uma imagem após um sinal de saída de um sensor de imagem ser processado por uma unidade de processamento; e uma unidade de controle que controla pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento da unidade de reconhecimento.
2. Aparelho de processamento de informações de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle controla o processamento de detecção ou desenvolvimento de uma região de um objeto reconhecido pela unidade de reconhecimento.
3. Aparelho de processamento de informações de acordo com a reivindicação 1, caracterizado pelo fato de que o sensor de imagem é montado em um veículo e usado, a unidade de reconhecimento reconhece por imagem pelo menos um veículo circundante ou superfície da estrada, e a unidade de controle controla o processamento de detecção ou desenvolvimento de uma região do veículo circundante ou da superfície da estrada na imagem.
4. Aparelho de processamento de informações de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle determina uma cena com base no resultado do reconhecimento pela unidade de reconhecimento e controla a operação de formação de imagem do sensor de imagem ou a operação de processamento na unidade de processamento correspondentemente à cena.
5. Aparelho de processamento de informações de acordo com a reivindicação 1, caracterizado pelo fato de que a unidade de controle calcula um ponto de fuga da imagem com base no resultado de reconhecimento pela unidade de reconhecimento e, em um caso em que a luminância de uma região incluindo o ponto de fuga se desvia de um intervalo de limite predeterminado, a unidade de controle define apenas a região incluindo o ponto de fuga como uma região fotométrica, e acelera a velocidade de convergência do controle automático de exposição do sensor de imagem.
6. Aparelho de processamento de informações de acordo com a reivindicação 5, caracterizado pelo fato de que a unidade de controle calcula o ponto de fuga com base em uma interseção de duas ou mais pistas reconhecidas pela unidade de reconhecimento.
7. Aparelho de processamento de informações de acordo com a reivindicação 1, caracterizado pelo fato de que, quando a unidade de reconhecimento reconhece de forma estável um objeto predeterminado, a unidade de controle controla a operação de formação de imagem do sensor de imagem ou a operação de processamento na unidade de processamento apenas em uma região incluindo o objeto predeterminado.
8. Aparelho de processamento de informações de acordo com a reivindicação 1, caracterizado pelo fato de que o sensor de imagem é montado em um veículo e usado, e a unidade de reconhecimento reconhece por imagem pelo menos um veículo circundante, e quando a unidade de reconhecimento pode reconhecer de forma estável um veículo, a unidade de controle detecta uma região de veículo reconhecida e controla a operação de formação de imagem do sensor de imagem ou a operação de processamento na unidade de processamento apenas na região do veículo.
9. Aparelho de processamento de informações de acordo com a reivindicação 1, caracterizado pelo fato de que o sensor de imagem é montado em um veículo e usado, e a unidade de reconhecimento reconhece por imagem pelo menos uma superfície da estrada, e a unidade de controle calcula um grau de contraste da imagem, e quando o grau de contraste se torna igual a ou maior que um limite predeterminado, a unidade de controle detecta uma região de superfície de estrada reconhecida e controla a operação de formação de imagem do sensor de imagem ou a operação de processamento na unidade de processamento apenas na região da superfície da estrada.
10. Aparelho de processamento de informações de acordo com a reivindicação 9, caracterizado pelo fato de que a unidade de controle calcula o grau de contraste da imagem com base na diferença de luminância entre a região da superfície da estrada reconhecida e outras regiões.
11. Aparelho de processamento de informações de acordo com a reivindicação 9, caracterizado pelo fato de que a unidade de controle calcula o grau de contraste da imagem com base em um histograma da imagem.
12. Aparelho de processamento de informações de acordo com a reivindicação 1, caracterizado pelo fato de que o sensor de imagem é montado em um veículo e usado, e a unidade de reconhecimento reconhece por imagem pelo menos um veículo circundante, e a unidade de controle controla um peso com base em uma distância e uma velocidade relativa para cada um dos veículos circundantes.
13. Aparelho de processamento de informações de acordo com a reivindicação 12, caracterizado pelo fato de que a unidade de controle controla os pesos de uma região do veículo e outras regiões.
14. Método de processamento de informações, caracterizado pelo fato de que compreende: uma etapa de reconhecimento para reconhecer uma imagem após um sinal de saída de um sensor de imagem ser processado por uma unidade de processamento; e uma etapa de controle para controlar pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento na etapa de reconhecimento.
15. Aparelho de formação de imagem, caracterizado pelo fato de que compreende: um sensor de imagem; uma unidade de processamento que processa um sinal de saída do sensor de imagem; uma unidade de reconhecimento que reconhece uma imagem após ser processada pela unidade de processamento; e uma unidade de controle que controla pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento da unidade de reconhecimento.
16. Dispositivo móvel, caracterizado pelo fato de que compreende: um corpo móvel; um sensor de imagem montado no corpo móvel;
uma unidade de processamento que processa um sinal de saída do sensor de imagem; uma unidade de reconhecimento que reconhece uma imagem após ser processada pela unidade de processamento; uma unidade de controle que controla pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento da unidade de reconhecimento; e uma unidade de controle de operação que controla a operação no corpo móvel com base em um resultado de reconhecimento de uma imagem capturada pelo sensor de imagem sob controle da unidade de controle.
17. Programa de computador gravado em um formato legível por computador, caracterizado pelo fato de que faz com que um computador funcione como uma unidade de reconhecimento que reconhece uma imagem após um sinal de saída de um sensor de imagem ser processado por uma unidade de processamento, e uma unidade de controle que controla pelo menos uma das operações de formação de imagem do sensor de imagem ou operação de processamento na unidade de processamento com base em um resultado de reconhecimento da unidade de reconhecimento.
unidade de controle de unidade de planejamento condução unidade de análise de situação automática unidade de unidade de
Petição 870210021213, de 05/03/2021, pág. 73/91 análise de planejamento mapa de rota unidade de reco- unidade de nhecimento de planejamento de regras de tráfego comportamento unidade de previsão de situação unidade de unidade de reconhecimento planejamento de situação de operação 1/18 unidade de unidade de detecção controle de operação unidade de unidade de detecção de unidade de unidade de unidade de unidade de unidade de estimativa de informações detecção de detecção do controle de controle de prevenção de autoposição externas do informações estado do veículo aceleração e direção emergência veículo internas do veículo desaceleração unidade de unidade de unidade de controle do unidade de unidade de unidade de unidade de aquisição de controle de sistema de controle do entrada comunicação acionamento armazenamento dados saída sistema de corpo dispositivo unidade sistema de sistema interno do de saída acionamento de corpo veículo
Petição 870210021213, de 05/03/2021, pág. 74/91 Aparelho de formação de imagem
Unidade de controle Unidade de reconhecimento
Sistema de 2/18 controle de veículo
Sensor de Unidade de Lente imagem processamento de sinal
Petição 870210021213, de 05/03/2021, pág. 75/91 Unidade de processamento Lente Sensor de imagem de sinal
Unidade de processamento Unidade de de desenvolvimento Unidade de processamento Obturador de ganho elemento Processamento Processamento analógica de ganho digital gama
Unidade 3/18 de detecção
Unidade de comparação Unidade de controle
Sensor de imagem Unidade de processamento Unidade de de sinal reconhecimento Unidade de processamento de desenvolvimento
Petição 870210021213, de 05/03/2021, pág. 76/91 Unidade de Unidade processamento Obturador de elemento de ganho Unidade de processamento de analógica desenvolvimento (para veículo)
Unidade de processamento de desenvolvimento (para superfície da estrada)
Unidade de processamento de desenvolvimento (para tela inteira) 4/18
Unidade de detecção
(veículo)
(superfície da estrada)
(tela inteira)
Unidade de Unidade de comparação controle
Início detecção inteira cálculo da quantidade de erro controle de dispositivo controle de dispositivo controle de dispositivo processamento de desenvolvimento
Não existe informação de reconhecimento?
Sim adquirir informação de reconhecimento de tela (veículo e superfície da estrada)
detecção de superfície detecção de veículo da estrada cálculo da quantidade cálculo da quantidade de erro de erro processamento de processamento de desenvolvimento desenvolvimento
Fim
Petição 870210021213, de 05/03/2021, pág. 78/91 Aparelho de formação de imagem
Unidade de Unidade de controle determinação 6/18
Sistema de controle de veículo
Unidade de Unidade de reconhecimento Lente processamento Sensor de imagem de sinal
Início adquirir informação de reconhecimento de imagem
Petição 870210021213, de 05/03/2021, pág. 79/91 processamento do cálculo processamento do cálculo do grau processamento do cálculo do grau do ponto de fuga de contraste (calcular a partir do de contraste (calcular a partir do valor de detecção) histograma)
processamento de aquisição do valor de detecção da região de ponto de fuga o valor de detecção da região de ponto Não Não (entrada e saída do túnel) de fuga é igual a ou maior que o limite 7/18 inferior e menor que o limite superior?
Sim
(estado de retroiluminação ou faróis de veículo que se aproxima) Não o veículo pode ser reconhecido estavelmente?
Não Sim o grau de contraste é igual a ou maior que o limite? processamento de aquisição do valor definir apenas a região de ponto de detecção da região do veículo de fuga como região fotométrica Sim definir apenas a região de superfície realizar processamento de acelerar velocidade de convergência da estrada como região fotométrica exposição automática apenas do controle de processamento de na região do veículo exposição automática
Fim
Próprio veículo
Quadro de detecção
Classe preta Classe branca Número de pixels: Número de pixels: Média: Média: Variância: Variância: Imagem inteira Número de pixels: Média: Variância:
LIMITE Quadro de detecção do ponto de fuga (entrada do túnel)
Quadro de detecção do ponto de fuga (saída do túnel)
Velocidade de convergência
Rápida
Lenta baixo baixo Alto Alto Ponto Ponto Ponto Ponto inicial final inicial inicial e final
Valor de detecção na região do ponto de fuga
Próprio veículo
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018-171382 | 2018-09-13 | ||
| JP2018171382 | 2018-09-13 | ||
| PCT/JP2019/030046 WO2020054240A1 (ja) | 2018-09-13 | 2019-07-31 | 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR112021004210A2 true BR112021004210A2 (pt) | 2021-05-25 |
Family
ID=69777778
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112021004210-5A BR112021004210A2 (pt) | 2018-09-13 | 2019-07-31 | aparelho e método de processamento de informações, aparelho de formação de imagem, dispositivo móvel, e, programa de computador |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US11815799B2 (pt) |
| EP (1) | EP3852355A4 (pt) |
| JP (1) | JPWO2020054240A1 (pt) |
| KR (1) | KR20210056336A (pt) |
| CN (1) | CN112703724A (pt) |
| BR (1) | BR112021004210A2 (pt) |
| MX (1) | MX2021002613A (pt) |
| WO (1) | WO2020054240A1 (pt) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102584501B1 (ko) * | 2018-10-05 | 2023-10-04 | 삼성전자주식회사 | 자율 주행 장치의 객체 인식 방법 및 자율 주행 장치 |
| US10380440B1 (en) * | 2018-10-23 | 2019-08-13 | Capital One Services, Llc | Method for determining correct scanning distance using augmented reality and machine learning models |
| US20230171510A1 (en) * | 2020-07-15 | 2023-06-01 | Arriver Software Ab | Vision system for a motor vehicle |
| US20230254588A1 (en) * | 2020-07-15 | 2023-08-10 | Sony Group Corporation | Information processing device, information processing method, and program |
| US11562572B2 (en) | 2020-12-11 | 2023-01-24 | Argo AI, LLC | Estimating auto exposure values of camera by prioritizing object of interest based on contextual inputs from 3D maps |
| FR3127355B1 (fr) * | 2021-09-20 | 2023-09-29 | Renault Sas | procédé de sélection d’un mode de fonctionnement d’un dispositif de capture d’images pour reconnaissance faciale |
| CN114220285A (zh) * | 2021-12-14 | 2022-03-22 | 中国电信股份有限公司 | 超速车辆的定位与示警方法、装置、电子设备及可读介质 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005167842A (ja) * | 2003-12-04 | 2005-06-23 | Denso Corp | 車載監視カメラの露出制御装置 |
| WO2005064922A1 (ja) * | 2003-12-25 | 2005-07-14 | Niles Co., Ltd. | 撮像システム |
| JP4659631B2 (ja) * | 2005-04-26 | 2011-03-30 | 富士重工業株式会社 | 車線認識装置 |
| US8204278B2 (en) * | 2006-11-28 | 2012-06-19 | Fujitsu Limited | Image recognition method |
| JP4987573B2 (ja) * | 2007-06-01 | 2012-07-25 | 富士重工業株式会社 | 車外監視装置 |
| JP2010215029A (ja) * | 2009-03-13 | 2010-09-30 | Toyota Industries Corp | 駐車支援装置 |
| JP5441549B2 (ja) * | 2009-07-29 | 2014-03-12 | 日立オートモティブシステムズ株式会社 | 道路形状認識装置 |
| JP2011254340A (ja) * | 2010-06-03 | 2011-12-15 | Hitachi Ltd | 撮像装置 |
| JP5375814B2 (ja) | 2010-12-22 | 2013-12-25 | 株式会社デンソー | 露出制御装置 |
| JP5246254B2 (ja) | 2010-12-24 | 2013-07-24 | 株式会社デンソー | 車載カメラの露出制御値の決定方法 |
| CN103369289B (zh) * | 2012-03-29 | 2016-05-04 | 深圳市腾讯计算机系统有限公司 | 一种视频模拟形象的通信方法和装置 |
| JP5737306B2 (ja) * | 2013-01-23 | 2015-06-17 | 株式会社デンソー | 露出制御装置 |
| WO2014139142A1 (en) * | 2013-03-15 | 2014-09-18 | Intel Corporation | Scalable avatar messaging |
| JP5929870B2 (ja) * | 2013-10-17 | 2016-06-08 | 株式会社デンソー | 物標検出装置 |
| JP6547292B2 (ja) * | 2014-02-05 | 2019-07-24 | 株式会社リコー | 画像処理装置、機器制御システム、および画像処理プログラム |
| WO2016121406A1 (ja) * | 2015-01-28 | 2016-08-04 | 京セラ株式会社 | 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法 |
| JP6657925B2 (ja) * | 2015-06-04 | 2020-03-04 | ソニー株式会社 | 車載カメラ・システム並びに画像処理装置 |
| WO2016194296A1 (en) * | 2015-06-04 | 2016-12-08 | Sony Corporation | In-vehicle camera system and image processing apparatus |
| DE102015118474A1 (de) * | 2015-10-29 | 2017-05-04 | Connaught Electronics Ltd. | Verfahren zum Anpassen eines Kameraparameters und/oder eines Bilds,Computerprogrammprodukt, Kamerasystem, Fahrerassistenzsystem und Kraftfahrzeug |
| JP6750519B2 (ja) * | 2016-05-24 | 2020-09-02 | 株式会社Ｊｖｃケンウッド | 撮像装置、撮像表示方法および撮像表示プログラム |
| WO2018158875A1 (ja) * | 2017-03-01 | 2018-09-07 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
| JP2018173834A (ja) * | 2017-03-31 | 2018-11-08 | 本田技研工業株式会社 | 車両制御装置 |
| JP6889005B2 (ja) * | 2017-04-05 | 2021-06-18 | 株式会社Ｓｏｋｅｎ | 道路パラメータ推定装置 |
| DE102017215347A1 (de) * | 2017-09-01 | 2019-03-07 | Conti Temic Microelectronic Gmbh | Verfahren zur vorhersehbaren Belichtungssteuerung zumindest einer ersten Fahrzeugkamera |
-
2019
- 2019-07-31 KR KR1020217005768A patent/KR20210056336A/ko unknown
- 2019-07-31 BR BR112021004210-5A patent/BR112021004210A2/pt unknown
- 2019-07-31 WO PCT/JP2019/030046 patent/WO2020054240A1/ja unknown
- 2019-07-31 JP JP2020546744A patent/JPWO2020054240A1/ja active Pending
- 2019-07-31 CN CN201980058017.3A patent/CN112703724A/zh active Pending
- 2019-07-31 US US17/274,094 patent/US11815799B2/en active Active
- 2019-07-31 MX MX2021002613A patent/MX2021002613A/es unknown
- 2019-07-31 EP EP19858980.6A patent/EP3852355A4/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP3852355A1 (en) | 2021-07-21 |
| WO2020054240A1 (ja) | 2020-03-19 |
| JPWO2020054240A1 (ja) | 2021-09-30 |
| MX2021002613A (es) | 2021-05-12 |
| KR20210056336A (ko) | 2021-05-18 |
| EP3852355A4 (en) | 2021-11-10 |
| US20210218875A1 (en) | 2021-07-15 |
| US11815799B2 (en) | 2023-11-14 |
| CN112703724A (zh) | 2021-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112021004210A2 (pt) | aparelho e método de processamento de informações, aparelho de formação de imagem, dispositivo móvel, e, programa de computador | |
| KR102533860B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| JPWO2019077999A1 (ja) | 撮像装置、画像処理装置、及び、画像処理方法 | |
| WO2019116784A1 (ja) | 情報処理装置、移動体、制御システム、情報処理方法及びプログラム | |
| JP7226440B2 (ja) | 情報処理装置、情報処理方法、撮影装置、照明装置、及び、移動体 | |
| JPWO2019082669A1 (ja) | 情報処理装置、情報処理方法、プログラム、及び、移動体 | |
| US11363212B2 (en) | Exposure control device, exposure control method, program, imaging device, and mobile body | |
| JPWO2019188391A1 (ja) | 制御装置、制御方法、並びにプログラム | |
| WO2020031812A1 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、及び移動体 | |
| WO2020261838A1 (ja) | 画像処理装置と画像処理方法およびプログラム | |
| KR102645368B1 (ko) | 정보 처리 장치와 정보 처리 방법과 프로그램 | |
| US20220027643A1 (en) | Information processing apparatus, information processing method, and program | |
| WO2022038981A1 (ja) | 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム | |
| WO2020054258A1 (ja) | 情報処理装置、端末装置、情報処理方法および情報処理プログラム | |
| JP2022017612A (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
| WO2024009739A1 (ja) | 光学式測距センサ、及び光学式測距システム | |
| US11417023B2 (en) | Image processing device, image processing method, and program | |
| JPWO2020116204A1 (ja) | 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体 |