BR112019011455A2 - processamento de imagem com restrições de largura de banda para veículos autônomos - Google Patents
processamento de imagem com restrições de largura de banda para veículos autônomos Download PDFInfo
- Publication number
- BR112019011455A2 BR112019011455A2 BR112019011455A BR112019011455A BR112019011455A2 BR 112019011455 A2 BR112019011455 A2 BR 112019011455A2 BR 112019011455 A BR112019011455 A BR 112019011455A BR 112019011455 A BR112019011455 A BR 112019011455A BR 112019011455 A2 BR112019011455 A2 BR 112019011455A2
- Authority
- BR
- Brazil
- Prior art keywords
- data
- vehicle
- sensor
- image
- transfer rate
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 77
- 238000012546 transfer Methods 0.000 claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 62
- 230000004044 response Effects 0.000 claims abstract description 19
- 238000004891 communication Methods 0.000 claims description 107
- 230000005540 biological transmission Effects 0.000 claims description 37
- 230000015654 memory Effects 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 15
- 238000001914 filtration Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 10
- 230000004048 modification Effects 0.000 claims description 10
- 238000012986 modification Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 6
- 238000012913 prioritisation Methods 0.000 claims description 6
- 230000006835 compression Effects 0.000 claims description 5
- 238000007906 compression Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 239000003607 modifier Substances 0.000 claims 3
- 238000005516 engineering process Methods 0.000 abstract description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000005056 compaction Methods 0.000 description 3
- 230000001010 compromised effect Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000002485 combustion reaction Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- QELJHCBNGDEXLD-UHFFFAOYSA-N nickel zinc Chemical compound [Ni].[Zn] QELJHCBNGDEXLD-UHFFFAOYSA-N 0.000 description 2
- 241000760358 Enodes Species 0.000 description 1
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- LIWAQLJGPBVORC-UHFFFAOYSA-N ethylmethylamine Chemical group CCNC LIWAQLJGPBVORC-UHFFFAOYSA-N 0.000 description 1
- 238000005755 formation reaction Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 229910052987 metal hydride Inorganic materials 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 229910052759 nickel Inorganic materials 0.000 description 1
- PXHVJJICTQNCMI-UHFFFAOYSA-N nickel Substances [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 description 1
- -1 nickel metal hydride Chemical class 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W28/00—Network traffic management; Network resource management
- H04W28/02—Traffic management, e.g. flow control or congestion control
- H04W28/06—Optimizing the usage of the radio link, e.g. header compression, information sizing, discarding information
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0022—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement characterised by the communication link
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0011—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement
- G05D1/0038—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0007—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G06T5/70—
-
- G06T5/94—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
- H04L43/0876—Network utilisation, e.g. volume of load or congestion level
- H04L43/0894—Packet rate
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
- H04W4/46—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P] for vehicle-to-vehicle communication [V2V]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/16—Indexing scheme for image data processing or generation, in general involving adaptation to the client's capabilities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Environmental & Geological Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
métodos, dispositivos, sistemas e mídias de armazenamento não transitórias legíveis por computador para fornecer processamento de imagem com restrição de largura de banda são descritos. a tecnologia apresentada determina uma taxa de transferência de dados de pelo menos um sinal recebido de um veículo, o pelo menos um sinal incluindo dados de estado / estado do veículo. em resposta a determinar que a taxa de transferência de dados satisfaz um critério de taxa de transferência de dados, uma localização do veículo e uma localização de pelo menos um de uma pluralidade de objetos que obstruem o pelo menos um sinal é determinada usando os dados de estado e dados externos associados com o veículo. a tecnologia apresentada gera dados de estado otimizados usando os dados de estado e os dados externos.
Description
“PROCESSAMENTO DE IMAGEM COM RESTRIÇÕES DE LARGURA DE BANDA PARA VEÍCULOS AUTÔNOMOS”
CAMPO TÉCNICO [001] Este pedido de patente se refere, geralmente, ao processamento de imagem e, mais particularmente, ao processamento de imagem com restrições de largura de banda para veículos, incluindo veículos autônomos.
ANTECEDENTES [002] Veículos autônomos podem operar sem a orientação de um operador, incluindo um operador de veículo humano. No entanto, existem ocasiões durante as quais seria benéfico para um operador humano assumir o controle de um veículo autônomo ou receber dados, incluindo as imagens do veículo autônomo. Quando as imagens, com base nos dados transmitidos são recebidas remotamente, a sua utilidade está frequentemente relacionada com a sua qualidade, o que pode, por sua vez, depender da qualidade do canal de comunicação por meio do qual as imagens foram transmitidas. No entanto, o fornecimento de assistência quando o canal de comunicação é instável ou comprometido pela baixa largura de banda pode ser um desafio.
SUMÁRIO [003] São aqui apresentados aspectos, características, elementos, implementações para processamento de imagem com restrição de largura de banda.
[004] Um aspecto das implementações apresentadas inclui um método para processamento de imagem com restrição de largura de banda, compreendendo o método:
determinar, por um sistema de processamento de sinal de um aparelho controlador, a taxa de transferência de dados de uma pluralidade de sinais recebidos de um veículo, a pluralidade de sinais incluindo dados de estado do veículo; em resposta a determinar que a taxa de transferência de dados satisfaz uma taxa de
Petição 870190052039, de 03/06/2019, pág. 13/79
2/43 transferência de dados critério, determinação, pelo sistema de processamento de sinal e utilização dos dados de estado e dados externos associados ao veículo, uma localização do veículo e uma localização de pelo menos um de uma pluralidade de objetos que obstruem pelo menos um da pluralidade de sinais; e gerando, pelo sistema de processamento de sinal, dados de estado otimizado usando os dados de estado e os dados externos.
[005] Um aspecto das implementações apresentadas inclui um aparelho controlador compreendendo: uma memória e um processador configurados para executar instruções armazenadas na memória para: determinar uma taxa de transferência de dados de uma pluralidade de sinais recebidos de um veículo, a pluralidade de sinais incluindo dados de estado do veículo; em resposta à determinação de que a taxa de transferência de dados satisfaz um critério de taxa de transferência de dados, determinar, usando os dados de estado e dados externos associados ao veículo, uma localização do veículo e uma localização de pelo menos um de uma pluralidade de objetos que obstruam menos um da pluralidade de sinais; e gerar dados de estado otimizados usando os dados de estado e os dados externos.
[006] Um aspecto das implementações apresentadas inclui um meio de armazenamento legível por computador não transitório, incluindo instruções de programa executáveis por um ou mais processadores de um aparelho controlador que, quando executados, fazem com que um ou mais processadores executem operações, compreendendo as operações: taxa de transferência de dados de uma pluralidade de sinais recebidos de um veículo, a pluralidade de sinais incluindo dados de estado do veículo; em resposta à determinação de que a taxa de transferência de dados satisfaz um critério de taxa de transferência de dados, determinando, utilizando os dados de estado e dados externos associados ao veículo, uma localização do veículo e uma localização de pelo menos um de uma
Petição 870190052039, de 03/06/2019, pág. 14/79
3/43 pluralidade de objetos que obstruem menos um da pluralidade de sinais; e gerar dados de estado otimizados usando os dados de estado e os dados externos.
[007] Estes e outros aspectos da presente invenção são apresentados na seguinte descrição detalhada das formas de realização, nas reivindicações anexas e nas figuras anexas.
BREVE DESCRIÇÃO DOS DESENHOS [008] A tecnologia apresentada é melhor compreendida a partir da seguinte descrição detalhada quando lida em conjunto com os desenhos anexos. É enfatizado que, de acordo com a prática comum, as várias características dos desenhos não estão à escala. Pelo contrário, as dimensões das várias características são arbitrariamente expandidas ou reduzidas para maior clareza.
[009] A figura 1 é um diagrama de um exemplo de uma porção de um veículo em que os aspectos, características e elementos divulgados aqui podem ser implementados.
[010] A figura 2 é um diagrama de um exemplo de uma porção de um sistema de transporte e comunicação de veículo no qual os aspectos, características e elementos aqui divulgados podem ser implementados.
[011] A figura 3 é um diagrama que ilustra um exemplo de uma interface de processamento de imagem com restrição de largura de banda de acordo com A presente invenção.
[012] A figura 4 é um fluxograma de uma técnica para processamento de imagem com restrição de largura de banda de acordo com A presente invenção.
[013] A figura 5 é um fluxograma de uma técnica para processamento de imagem com restrição de largura de banda de acordo com A presente invenção.
[014] A figura 6 é um fluxograma de uma técnica para processamento de imagem com restrição de largura de banda de acordo com A presente invenção.
Petição 870190052039, de 03/06/2019, pág. 15/79
4/43 [015] A figura 7 ilustra um método para processamento de imagem com restrição de largura de banda de acordo com A presente invenção.
DESCRIÇÃO DETALHADA [016] A operação (por exemplo, teleoperação) e a monitorização de veículos autônomos a partir de uma localização remota, incluindo uma central de gestão de veículos autônomos, implica frequentemente o uso de recursos de computação e comunicação (por exemplo, largura de banda de rede sem fios ou com fios). A largura de banda da rede é frequentemente usada para trocar (enviar ou receber) sinais que incluem dados associados ao estado dos veículos autônomos, o estado do ambiente no qual os veículos autônomos operam (por exemplo, estradas circunvizinhas, cidade, atualizações de tráfego, etc.), ou o estado dos passageiros no interior dos veículos autônomos.
[017] No entanto, a largura de banda está sujeita a restrições, incluindo demanda excessiva de largura de banda em vários horários de pico (por exemplo, demanda excessiva de uma frota de veículos autônomos durante os períodos de deslocamento matutino) e fatores externos, como interrupção de rede, interferência de sinal ou obstrução do sinal, (por exemplo, obstrução do sinal por uma estrutura física, como um edifício). Como tal, há uma forte demanda por uma maneira de usar a largura de banda disponível mais efetivamente, de modo que a interrupção das comunicações e outras operações seja reduzida quando a largura de banda é restrita. Além disso, ao melhorar a maneira pela qual os dados de imagem (usados para produzir imagens visuais) são processados sob condições limitadas de largura de banda, a capacidade dos operadores de veículos e outros que dependem de imagens visuais para fornecer assistência aos veículos é facilitada.
[018] Por exemplo, quando um veículo autônomo ou um passageiro dentro de um veículo autônomo solicitar assistência de um operador remoto, pode ser estabelecido um canal de comunicações entre o operador (por exemplo, o operador
Petição 870190052039, de 03/06/2019, pág. 16/79
5/43 remoto em uma central de gestão de veículos autônomo) e o veículo autônomo. A capacidade do operador de auxiliar efetivamente o veículo autônomo pode depender do recebimento e / ou do envio de imagens que representem com precisão a disposição do veículo autônomo em relação ao seu entorno e / ou principais recursos visuais.
[019] No entanto, pode ser difícil fornecer assistência quando o canal de comunicação é instável ou comprometido pela baixa largura de banda. As formas existentes de lidar com canais de comunicação instáveis ou comprometidos não são eficazes no processamento da largura de banda adequada para operações, incluindo a teleoperação de veículos autônomos.
[020] A presente invenção e implementações da tecnologia apresentada, proporcionam processamento de imagem com restrição de largura de banda mais eficaz, o que pode melhorar o funcionamento de veículos autônomos. A tecnologia apresentada fornece uma maneira de determinar quando uma taxa de transferência de dados não satisfaz um critério de taxa de transferência de dados (por exemplo, a taxa de transferência de dados é baixa o suficiente ou abaixo de um limite predeterminado que resulta em imagens excessivamente degradadas e / ou não corretamente entregue / comunicada) para que uma variedade de funções de processamento de imagem com restrição de largura de banda possa ser executada. Por exemplo, as funções desempenhadas pela tecnologia apresentada incluem a priorização de dados de veículos com base na localização do sensor e instruções recebidas, proporcionando o armazenamento e reutilização de imagens armazenadas para gerar dados preditivos de imagem e proporcionando a filtragem de sinais recebidos (incluindo sinais que compreendem a imagem e os dados de estado associados aos veículos monitorados) para melhorar a qualidade da imagem.
[021] Como usado aqui, a terminologia motorista ou operador pode ser usada de forma intercambiável. Como usado aqui, a terminologia freio ou
Petição 870190052039, de 03/06/2019, pág. 17/79
6/43 desacelerar pode ser usada de forma intercambiável. Como aqui utilizado, a terminologia computador ou dispositivo de computação inclui qualquer unidade, ou combinação de unidades, capaz de realizar qualquer método, ou qualquer parte ou partes do mesmo, aqui descritas.
[022] Como aqui utilizado, a terminologia processador indica um ou mais processadores, como um ou mais processadores para fins especiais, um ou mais processadores de sinal digital, um ou mais microprocessadores, um ou mais controladores, um ou mais microcontroladores, uma ou mais aplicações processadores, um ou mais circuitos integrados específicos da aplicação, um ou mais produtos padrão específicos da aplicação; um ou mais Field Programmable Gate Arranjo, qualquer outro tipo ou combinação de circuitos integrados, uma ou mais máquinas de estado ou qualquer combinação dos mesmos.
[023] Como aqui utilizado, a terminologia memória indica qualquer meio ou dispositivo utilizável em computador ou legível por computador que possa conter, armazenar, comunicar ou transportar de forma tangível, qualquer sinal ou informação que possa ser usado por, ou em conexão com qualquer processador. Por exemplo, uma memória pode ser uma ou mais memórias somente de leitura (ROM), uma ou mais memórias de acesso aleatório (RAM), um ou mais registros, taxa de dados dupla de baixa potência (LPDDR) memórias, uma ou mais memórias cache, um ou mais dispositivos de memória semicondutores, uma ou mais mídias magnéticas, uma ou mais mídias ópticas, uma ou mais mídias magneto-ópticas, ou qualquer combinação destes.
[024] Como aqui utilizado, a terminologia instruções pode incluir instruções ou expressões para a realização de qualquer método, ou qualquer porção ou partes dele, apresentada aqui, e pode ser realizada em hardware, software, ou qualquer combinação dos mesmos. Por exemplo, as instruções podem ser implementadas como informação, tal como um programa de computador, armazenado na memória
Petição 870190052039, de 03/06/2019, pág. 18/79
7/43 que pode ser executado por um processador para executar qualquer um dos respectivos métodos, algoritmos, aspectos ou combinações dos mesmos, como aqui descrito. Em algumas implementações, as instruções, ou uma parte delas, podem ser implementadas como um processador de finalidade especial, ou circuitos, que podem incluir hardware especializado para executar qualquer um dos métodos, algoritmos, aspectos ou combinações dos mesmos, como aqui descrito. Em algumas implementações, partes das instruções podem ser distribuídas em vários processadores em um único dispositivo, em vários dispositivos, que podem se comunicar diretamente ou por meio de uma rede, como uma rede local, uma rede de longa distância, a Internet ou uma combinação deles.
[025] Como aqui utilizado, a terminologia exemplo, forma de realização, implementação, aspecto, característica ou elemento indica servir como exemplo, exemplo ou ilustração. A menos que expressamente indicado, qualquer exemplo, forma de realização, implementação, aspecto, característica ou elemento é independente de cada outro exemplo, forma de realização, implementação, aspecto, característica ou elemento e pode ser usado em combinação com qualquer outro exemplo, forma de realização, implementação, aspecto, recurso ou elemento.
[026] Como usado aqui, a terminologia determinar e identificar, ou qualquer variação da mesma, inclui selecionar, averiguar, computar, procurar, receber, determinar, estabelecer, obter ou de outra forma identificar ou determinar de qualquer maneira usando um ou mais dos dispositivos mostrados e descritos aqui.
[027] Como aqui utilizado, a terminologia ou pretende significar um ou abrangente, em vez de um exclusivo ou. Isto é, a menos que especificado de outra forma, ou claro do contexto, “X inclui A ou B” se destina a indicar qualquer uma das permutações inclusivas naturais. Se X incluir A; X inclui B; ou X inclui tanto A como B, então X inclui A ou B é satisfeito sob qualquer uma das instâncias anteriores.
Petição 870190052039, de 03/06/2019, pág. 19/79
8/43
Adicionalmente, os artigos a e uma como utilizados nesta aplicação e nas reivindicações anexas devem geralmente ser interpretados como significando um ou mais a menos que especificado de outra forma ou claro do contexto a ser dirigido para uma forma singular.
[028] Além disso, por simplicidade de explicação, embora as figuras e descrições aqui contidas possam incluir sequências ou séries de etapas ou estágios, elementos dos métodos aqui divulgados podem ocorrer em várias ordens ou concorrentemente. Adicionalmente, elementos dos métodos aqui divulgados podem ocorrer com outros elementos não explicitamente apresentados e aqui descritos. Além disso, nem todos os elementos dos métodos aqui descritos podem ser necessários para implementar um método de acordo com esta divulgação. Embora aspectos, características e elementos sejam descritos aqui em combinações particulares, cada aspecto, característica ou elemento pode ser usado independentemente ou em várias combinações com ou sem outros aspectos, características e elementos.
[029] As implementações desta apresentação proporcionam melhorias tecnológicas particulares para redes de computadores e gerenciamento de veículos autônomos, por exemplo, aquelas relacionadas com a extensão de componentes de rede de computador para processamento de imagem com largura de banda restrita e comunicação de dados entre veículos autônomos e operadores remotos. O desenvolvimento de novas formas de executar processamento de imagem com restrição de largura de banda para, por exemplo, determinar uma taxa de transferência de dados e priorizar a transmissão de dados de sensores de um veículo com base na localização do sensor e disponibilidade de largura de banda, indica a comunicação de instruções ou dados entre um veículo e um sistema de comunicação, fundamentalmente relacionado à melhoria da tecnologia relacionada ao processamento de imagens de veículos autônomos.
Petição 870190052039, de 03/06/2019, pág. 20/79
9/43 [030] As implementações desta apresentação fornecem pelo menos um sistema e método para processamento de dados e imagem com restrição de largura de banda de dados associados a veículos autônomos. O sistema inclui um sistema de processamento de sinal que determina uma taxa de transferência de dados de pelo menos um sinal ou uma pluralidade de sinais que podem incluir dados de estado (por exemplo, dados indicando o estado ou condição de um veículo incluindo um veículo autônomo). Dados de estado também podem ser referidos como dados de status. Em resposta a determinar que a taxa de transferência de dados satisfaz um critério de taxa de transferência de dados (por exemplo, a taxa está abaixo de um nível predeterminado ou desejado), uma localização de um veículo e objetos externos (por exemplo, edifícios) que obstruam pelo menos um. Os sinais podem ser determinados com base nos dados de estado e dados externos associados a objetos externos, incluindo, entre outros, veículos, pedestres e estruturas físicas, como edifícios (ou seja, os dados externos estão associados a objetos externos) que estão no ambiente ou cercam o veículo que está sendo monitorado. O sistema pode gerar dados de estado otimizados (por exemplo, dados de estado que foram filtrados, reduziram o ruído ou incluem dados preditivos e outros tipos de dados) usando dados de estado e / ou externos que podem ser usados para melhorar a qualidade de imagem e comunicações para gerar um vídeo mais suave quando a largura de banda do sinal é restrita devido a qualquer interferência e bloqueio de sinais de objetos externos ou de outras fontes (por exemplo, falhas de energia, problemas internos do sistema, problemas com o veículo, etc.).
[031] Para descrever algumas implementações em maior detalhe, é feita referência às figuras a seguir.
[032] A figura 1 é um diagrama de um exemplo de um veículo 1000 no qual os aspectos, características e elementos apresentados aqui podem ser implementados. O veículo 1000 inclui um chassis 1100, um powertrain 1200, um
Petição 870190052039, de 03/06/2019, pág. 21/79
10/43 controlador 1300, rodas 1400/1410/1420/1430, ou qualquer outro elemento ou combinação de elementos de um veículo. Embora o veículo 1000 seja mostrado como incluindo quatro rodas 1400/1410/1420/1430 para simplicidade, qualquer outro dispositivo ou dispositivos de propulsão, tal como uma hélice ou piso, pode ser utilizado. Na figura 1, as linhas de elementos de interconexão, como o powertrain 1200, o controlador 1300, e as rodas 1400/1410/1420/1430, indicam que informações, como dados ou sinais de controle, energia, como energia elétrica ou torque, ou informações e energia, podem ser comunicadas entre os respectivos elementos. Por exemplo, o controlador 1300 pode receber energia do powertrain 1200 e se comunicar com o powertrain 1200, as rodas 1400/1410/1420/1430, ou ambos, para controlar o veículo 1000, o qual pode incluir aceleração, desaceleração, direção ou outro controle do veículo 1000.
[033] O powertrain 1200 inclui uma fonte de energia 1210, uma transmissão 1220, uma unidade de direção 1230, um atuador de veículo 1240, ou qualquer outro elemento ou combinação de elementos de um powertrain, como uma suspensão, eixo de transmissão, eixos ou um sistema de exaustão. . Embora mostrado separadamente, as rodas 1400/1410/1420/1430 podem ser incluídas no powertrain 1200.
[034] A fonte de energia 1210 pode ser qualquer dispositivo ou combinação de dispositivos operativos para fornecer energia, tal como energia elétrica, energia térmica ou energia cinética. Por exemplo, a fonte de energia 1210 inclui um motor, tal como um motor de combustão interna, um motor elétrico ou uma combinação de um motor de combustão interna e um motor elétrico, e opera para fornecer energia cinética como força motriz a um ou mais motores das rodas 1400/1410/1420/1430. Em algumas formas de realização, a fonte de energia 1210 inclui uma unidade de energia potencial, tal como uma ou mais baterias de células secas, tais como níquelcádmio (NiCd), níquel-zinco (NiZn), níquel-hidreto metálico (NiMH), íon-lítio (Li-ion);
Petição 870190052039, de 03/06/2019, pág. 22/79
11/43 células solares; células de combustível; ou qualquer outro dispositivo capaz de fornecer energia.
[035] A transmissão 1220 recebe energia, tal como energia cinética, da fonte de energia 1210, e transmite a energia para as rodas 1400/1410/1420/1430 para fornecer uma força motriz. A transmissão 1220 pode ser controlada pelo controlador 1300, o atuador do veículo 1240 ou ambos. A unidade de direção 1230 pode ser controlada pelo controlador 1300, o atuador de veículo 1240 ou ambos e controla as rodas 1400/1410/1420/1430 para dirigir o veículo. O atuador de veículo 1240 pode receber sinais do controlador 1300 e pode acionar ou controlar a fonte de energia 1210, a transmissão 1220, a unidade de direção 1230, ou qualquer combinação destes para operar o veículo 1000.
[036] Em algumas modalidades, o controlador 1300 inclui uma unidade de localização 1310, uma unidade de comunicação eletrônica 1320, um processador 1330, uma memória 1340, uma interface de usuário 1350, um sensor 1360, uma interface de comunicação eletrônica 1370 ou qualquer combinação dos mesmos. Embora mostrado como uma única unidade, qualquer um ou mais elementos do controlador 1300 podem ser integrados em qualquer número de unidades físicas separadas. Por exemplo, a interface de usuário 1350 e o processador 1330 podem ser integrados em uma primeira unidade física e a memória 1340 pode ser integrada em uma segunda unidade física. Embora não seja mostrado na figura 1, o controlador 1300 pode incluir uma fonte de energia, tal como uma batería. Embora mostrados como elementos separados, a unidade de localização 1310, a unidade de comunicação electrónica 1320, o processador 1330, a memória 1340, a interface de utilizador 1350, o sensor 1360, a interface de comunicação electrónica 1370 ou qualquer combinação destes podem ser integrados em um ou mais unidades eletrônicas, circuitos ou chips.
Petição 870190052039, de 03/06/2019, pág. 23/79
12/43 [037] Em algumas formas de realização, o processador 1330 inclui qualquer dispositivo ou combinação de dispositivos capazes de manipular ou processar um sinal ou outra informação agora existente ou a seguir desenvolvida, incluindo processadores ticos, processadores quânticos, processadores moleculares ou uma sua combinação. Por exemplo, o processador 1330 pode incluir um ou mais processadores para fins especiais, um ou mais processadores de sinal digital, um ou mais microprocessadores, um ou mais controladores, um ou mais microcontroladores, um ou mais circuitos integrados, um ou mais Circuitos, um ou mais Arranjo de Portas Programáveis em Campo, um ou mais arranjo lógicos programáveis, um ou mais controladores lógicos programáveis, uma ou mais máquinas de estado ou qualquer combinação dos mesmos. O processador 1330 pode ser acoplado operacionalmente com a unidade de localização 1310, a memória 1340, a interface de comunicação 1370, a unidade de comunicação eletrônica 1320, a interface de usuário 1350, o sensor 1360, o powertrain 1200, ou qualquer combinação dos mesmos. Por exemplo, o processador pode estar operacionalmente acoplado com a memória 1340 por meio de um barramento de comunicação 1380.
[038] Em algumas formas de realização, o processador 1330 pode ser configurado para executar instruções incluindo instruções para operação remota que podem ser utilizadas para operar o veículo 1000 a partir de uma localização remota, incluindo o centro de operações. As instruções para operação remota podem ser armazenadas no veículo 1000 ou recebidas de uma fonte externa, como um centro de gerenciamento de tráfego, ou dispositivos de computação de servidor, que podem incluir dispositivos de computação de servidor baseados em nuvem.
[039] A memória 1340 pode incluir qualquer meio tangível, não transitório, utilizável em computador ou legível por computador, capaz de, por exemplo, conter, armazenar, comunicar ou transportar instruções legíveis por máquina ou qualquer informação associada com ela, para uso por ou em conexão com o processador
Petição 870190052039, de 03/06/2019, pág. 24/79
13/43
1330. A memória 1340 é, por exemplo, uma ou mais unidades de estado sólido, um ou mais cartões de memória, uma ou mais mídias removíveis, uma ou mais memórias somente leitura, uma ou mais memórias de acesso aleatório, um ou mais discos, incluindo um disco rígido, um disquete, um disco ótico, um cartão magnético ou ótico, ou qualquer tipo de meio não transitório adequado para armazenar informação eletrônica, ou qualquer combinação dos mesmos.
[040] A interface de comunicação eletrônica 1370 pode ser uma antena sem fio, como mostrado, uma porta de comunicação com fio, uma porta de comunicação óptica ou qualquer outra unidade com ou sem fio capaz de fazer interface com um meio de comunicação eletrônica com fio ou sem fio 1500.
[041] A unidade de comunicação elétrica 1320 pode ser configurada para transmitir ou receber sinais por meio do meio de comunicação elétrico com ou sem fios 1500, tal como por meio da interface de comunicação elétrica 1370. Embora não seja explicitamente mostrado na figura 1, a unidade de comunicação eletrônica 1320 é configurada para transmitir, receber ou ambos por meio de qualquer meio de comunicação com ou sem fio, como radiofrequência (RF), ultravioleta (UV), luz visível, fibra ótica, linha de arame ou uma combinação disso. Embora a figura 1 mostra uma única unidade de comunicações eletrônica 1320 e uma única interface de comunicação eletrônica 1370, pode ser utilizado qualquer número de unidades de comunicação e qualquer número de interfaces de comunicação. Em algumas formas de realização, a unidade de comunicação elétrica 1320 pode incluir uma unidade dedicada de comunicações de curto alcance (DSRC), uma unidade de segurança sem fios (WSU), IEEE 802.1 IP (Wifi-P), ou uma sua combinação.
[042] A unidade de localização 1310 pode determinar informações de geolocalização, incluindo, mas não se limitando a, longitude, latitude, elevação, direção de deslocamento ou velocidade do veículo 1000. Por exemplo, a unidade de localização inclui uma unidade de sistema de posicionamento global (GPS), tal como
Petição 870190052039, de 03/06/2019, pág. 25/79
14/43 uma unidade NMEA (National Marine Electronics Association), uma unidade de triangulação de rádio ou uma combinação dos mesmos. A unidade de localização 1310 pode ser utilizada para obter informação que representa, por exemplo, um rumo atual do veículo 1000, uma posição atual do veículo 1000 em duas ou três dimensões, uma orientação angular atual do veículo 1000, ou uma combinação dos mesmos.
[043] A interface de utilizador 1350 pode incluir qualquer unidade capaz de ser utilizada como interface por uma pessoa, incluindo qualquer um de um teclado virtual, um teclado físico, um touchpad, um monitor, um ecrã táctil, um alto-falante, um microfone, uma câmara de vídeo, sensor e uma impressora. A interface de utilizador 1350 pode estar funcionalmente acoplada com o processador 1330, como mostrado, ou com qualquer outro elemento do controlador 1300. Embora mostrada como uma única unidade, a interface do usuário 1350 pode incluir uma ou mais unidades físicas. Por exemplo, a interface de usuário 1350 inclui uma interface de áudio para realizar a comunicação de áudio com uma pessoa e uma tela de toque para realizar comunicação visual e por toque com a pessoa.
[044] O sensor 1360 pode incluir um ou mais sensores, tais como uma série de sensores, que podem ser operados para fornecer informação que pode ser usada para controlar o veículo. O sensor 1360 pode fornecer informações sobre as características operacionais atuais do veículo ou do seu entorno. Os sensores 1360 incluem, por exemplo, um sensor de velocidade, sensores de aceleração, um sensor de ângulo de direção, sensores relacionados à tração, sensores relacionados à frenagem, ou qualquer sensor, ou combinação de sensores, que seja operável para relatar informações sobre algum aspecto da situação dinâmica atual do veículo 1000.
[045] Em algumas formas de realização da presente invenção, o sensor 1360 pode incluir sensores que são operáveis para obter informação relativa ao
Petição 870190052039, de 03/06/2019, pág. 26/79
15/43 ambiente físico que envolve o veículo 1000. Por exemplo, um ou mais sensores detectam a geometria da estrada e os obstáculos, como obstáculos fixos, veículos, ciclistas e pedestres. Em algumas formas de realização da presente invenção, o sensor 1360 pode ser ou incluir uma ou mais câmeras de vídeo, sistemas de detecção laser, sistemas de detecção infravermelha, sistemas de detecção acústica ou qualquer outro tipo adequado de dispositivo de detecção ambiental no veículo, ou combinação de dispositivos, agora conhecido ou desenvolvido posteriormente. Em algumas formas de realização, o sensor 1360 e a unidade de localização 1310 são combinados.
[046] Embora não seja mostrado separadamente, o veículo 1000 pode incluir um controlador de trajetória. Por exemplo, o controlador 1300 pode incluir um controlador de trajetória. O controlador de trajetória pode ser operável para obter informação descrevendo um estado atual do veículo 1000 e uma rota planeada para o veículo 1000 e, com base nesta informação, para determinar e otimizar uma trajetória para o veículo 1000. Em algumas formas de realização, o controlador de trajetória emite sinais operáveis para controlar o veículo 1000, de tal modo que o veículo 1000 segue a trajetória que é determinada pelo controlador de trajetória. Por exemplo, a saída do controlador de trajetória pode ser uma trajetória otimizada que pode ser fornecida ao powertrain 1200, às rodas 1400/1410/1420/1430 ou a ambos. Em algumas modalidades, a trajetória otimizada pode ser entradas de controle, como um conjunto de ângulos de direção, com cada ângulo de direção correspondendo a um ponto no tempo ou uma posição. Em algumas formas de realização, a trajetória otimizada pode ser um ou mais trajetos, linhas, curvas ou uma combinação dos mesmos.
[047] Uma ou mais das rodas 1400/1410/1420/1430 podem ser uma roda direcionada, que é articulada para um ângulo de viragem sob o controlo da unidade de direção 1230, uma roda propulsora, que é apertada para propulsionar o veículo
Petição 870190052039, de 03/06/2019, pág. 27/79
16/43
1000 sob o controle da roda de transmissão 1220, ou uma roda dirigida e propelida que dirige e impulsiona o veículo 1000.
[048] Um veículo pode incluir unidades, ou elementos não mostrados na figura 1, como um gabinete, um módulo Bluetooth®, uma unidade de rádio modulada por frequência (FM), um módulo NFC (Near Field Communication), uma tela de cristal líquido (LCD), um visor orgânico de diodo emissor de luz (OLED) unidade, um alto-falante ou qualquer combinação dos mesmos.
[049] A figura 2 é um diagrama de um exemplo de uma porção de um sistema de transporte e comunicação de veículo 2000, no qual os aspectos, características e elementos aqui apresentados podem ser implementados. O sistema de transporte e comunicação de veículos 2000 inclui um veículo 2100, tal como o veículo 1000 mostrado na figura 1 e um ou mais objetos externos, tal como um objeto externo 2110, que pode incluir qualquer forma de transporte, tal como o veículo 1000 mostrado na figura 1, um pedestre, ciclista, assim como qualquer forma de estrutura, como um prédio. O veículo 2100 pode viajar por meio de uma ou mais porções de uma rede de transporte 2200, e pode comunicar com o objeto externo 2110 por meio de uma ou mais de uma rede de comunicação eletrônica 2300. Embora não seja explicitamente mostrado na figura 2, um veículo pode atravessar uma área que não esteja expressa ou completamente incluída em uma rede de transporte, tal como uma área fora de estrada. Em algumas formas de realização, a rede de transporte 2200 pode incluir um ou mais de um sensor de detecção de veículo 2202, tal como um sensor de circuito fechado indutivo, que pode ser utilizado para detectar o movimento de veículos na rede de transporte 2200.
[050] A rede de comunicação elétrica 2300 pode ser um sistema de acesso múltiplo que proporciona comunicação, tal como comunicação de voz, comunicação de dados, comunicação de vídeo, comunicação de mensagens ou uma sua combinação, entre o veículo 2100, o objeto externo 2110 e um centro de operações
Petição 870190052039, de 03/06/2019, pág. 28/79
17/43
2400. Por exemplo, o veículo 2100 ou o objeto externo 2110 pode receber informações, tais como informações representando a rede de transporte 2200, do centro de operações 2400 via rede eletrônica, de comunicação 2300.
[051] O centro de operações 2400 inclui um aparelho controlador 2410 que inclui algumas ou todas as características do controlador 1300 mostrado na figura 1. O aparelho controlador 2410 pode monitorar e coordenar o movimento de veículos, incluindo veículos autônomos. O aparelho controlador 2410 pode monitorizar o estado ou condição de veículos, tais como o veículo 2100, e objetos externos, tais como o objeto externo 2110. O aparelho controlador 2410 pode receber dados de dados e infra-estrutura do veículo, incluindo qualquer: velocidade do veículo; localização do veículo; estado operacional do veículo; destino do veículo; via de veiculo; dados do sensor do veículo; velocidade do objeto externo; localização do objeto externo; estado operacional do objeto externo; destino de objeto externo; rota de objeto externo; e dados do sensor de objeto externo.
[052] Além disso, o aparelho controlador 2410 pode estabelecer controle remoto sobre um ou mais veículos, como o veículo 2100, ou objetos externos, como o objeto externo 2110. Desta maneira, o aparelho controlador 2410 pode tele operar os veículos ou objetos externos a partir de um local remoto. O aparelho controlador 2410 pode trocar (enviar ou receber) dados de estado com veículos, objetos externos ou dispositivos de computação, como o veículo 2100, o objeto externo 2110, ou um dispositivo de computação de servidor 2500, por meio de um link de comunicação sem fio, como a comunicação sem fio, link 2380 ou um link de comunicação com fio, como o link de comunicação com fio 2390.
[053] O dispositivo de computação de servidor 2500 pode incluir um ou mais dispositivos de computação de servidor que podem trocar (enviar ou receber) dados de sinal de estado com um ou mais veículos ou dispositivos de computação,
Petição 870190052039, de 03/06/2019, pág. 29/79
18/43 incluindo o veículo 2100, o objeto externo 2110 ou o centro de operações 2400, por meio da rede de comunicação eletrônica 2300.
[054] Em algumas formas de realização, o veículo 2100 ou o objeto externo 2110 se comunica por meio do link de comunicação com fio 2390, um link de comunicação sem fio 2310/2320/2370, ou uma combinação de qualquer número ou tipos de links de comunicação com ou sem fio. Por exemplo, como mostrado, o veículo 2100 ou o objeto externo 2110 se comunica por meio de um enlace de comunicação sem fio terrestre 2310, por meio de um enlace de comunicação sem fio não-terrestre 2320, ou por meio de uma combinação dos mesmos. Em algumas implementações, um link de comunicação sem fio terrestre 2310 inclui um link Ethernet, um link serial, um link Bluetooth, um link de infravermelho (IV), um link de ultravioleta (UV) ou qualquer link capaz de fornecer comunicação eletrônica.
[055] Um veículo, tal como o veículo 2100, ou um objeto externo, tal como o objeto externo 2110, pode comunicar com outro veículo, objeto externo ou o centro de operações 2400. Por exemplo, um veículo 2100, hospedeiro ou sujeito, pode receber uma ou mais mensagens automatizadas entre veículos, tais como uma mensagem básica de segurança (BSM), do centro de operações 2400, por meio de um link de comunicação direta 2370 ou por meio de uma comunicação eletrônica, rede 2300. Por exemplo, o centro de operações 2400 pode transmitir a mensagem para hospedar veículos dentro de um intervalo de transmissão definido, tal como trezentos metros, ou para uma área geográfica definida. Em algumas formas de realização, o veículo 2100 recebe uma mensagem por meio de um terceiro, tal como um repetidor de sinal (não mostrado) ou outro veículo remoto (não mostrado). Em algumas formas de realização, o veículo 2100 ou o objeto externo 2110 transmite periodicamente uma ou mais mensagens automáticas entre veículos com base em um intervalo definido, tal como cem milissegundos.
Petição 870190052039, de 03/06/2019, pág. 30/79
19/43 [056] Mensagens automatizadas entre veículos podem incluir informações de identificação de veículo, informações de estado geoespaciais, como informações de altitude, latitude ou elevação, informações de precisão de localização geoespacial, informações de estado cinemático, como informações de aceleração de veículo, informações de taxa de guinada, informações de velocidade, dados do estado do sistema de frenagem, informações do acelerador, informações do ângulo do volante ou informações de roteamento do veículo ou informações do estado de operação do veículo, como informações sobre tamanho do veículo, informações sobre o estado do farol, informações do sinal de direção, dados do estado do limpador informações, ou qualquer outra informação, ou combinação de informações, relevantes para o estado do veículo transmissor. Por exemplo, a informação do estado de transmissão indica se a transmissão do veículo de transmissão está em um estado neutro, um estado estacionado, um estado de avanço ou um estado reverso.
[057] Em algumas formas de realização da presente invenção, o veículo 2100 comunica com a rede de comunicação eletrônica 2300 por meio de um ponto de acesso 2330. O ponto de acesso 2330, que pode incluir um dispositivo de computação, pode ser configurado para se comunicar com o veículo 2100, com a rede de comunicação eletrônica 2300, com o centro de operações 2400 ou com uma combinação dos mesmos por meio de links de comunicação com ou sem fio 2310/2340. Por exemplo, um ponto de acesso 2330 é uma estação base, uma estação transceptora de base (BTS), um nó B, um nó B aprimorado (eNode B), um nó Inicial B (HNode-B), um roteador sem fio , um roteador com fio, um hub, um relé, um comutador ou qualquer dispositivo com fio ou sem fio similar. Embora mostrado como uma unidade única, um ponto de acesso pode incluir qualquer número de elementos interconectados.
Petição 870190052039, de 03/06/2019, pág. 31/79
20/43 [058] O veículo 2100 pode comunicar com a rede de comunicação elétrica 2300 por meio de um satélite 2350, ou outro dispositivo de comunicação não terrestre. O satélite 2350, que pode incluir um dispositivo de computação, pode ser configurado para se comunicar com o veículo 2100, com a rede de comunicação eletrônica 2300, com o centro de operações 2400, ou com uma combinação dos mesmos por meio de um ou mais links de comunicação 2320/2360. Embora mostrado como uma única unidade, um satélite pode incluir qualquer número de elementos interconectados.
[059] A rede de comunicação eletrônica 2300 pode ser qualquer tipo de rede configurada para fornecer voz, dados ou qualquer outro tipo de comunicação eletrônica. Por exemplo, a rede de comunicação eletrônica 2300 inclui uma rede local (LAN), uma rede de longa distância (WAN), uma rede privada virtual (VPN), uma rede telefônica móvel ou celular, a Internet ou qualquer outro sistema de comunicação eletrônica. A rede de comunicação eletrônica 2300 pode usar um protocolo de comunicação, como o protocolo de controle de transmissão (TCP), o protocolo de datagrama do usuário (HDP), o protocolo de internet (IP), o protocolo de transporte em tempo real (RTP) ou uma combinação destes. Embora mostrada como uma única unidade, uma rede de comunicação eletrônica pode incluir qualquer número de elementos interconectados.
[060] Em algumas formas de realização, o veículo 2100 comunica com o centro de operações 2400 por meio da rede de comunicação eletrônica 2300, ponto de acesso 2330 ou satélite 2350. O centro de operações 2400 pode incluir um ou mais dispositivos de computação, que são capazes de trocar (enviar ou receber) dados de: veículos como o veículo 2100; objetos externos incluindo o objeto externo 2110; ou dispositivos de computação, como o dispositivo de computação de servidor 2500.
Petição 870190052039, de 03/06/2019, pág. 32/79
21/43 [061] Em algumas formas de realização, o veículo 2100 identifica uma parte ou condição da rede de transporte 2200. Por exemplo, o veículo 2100 pode incluir um ou mais sensores 2102 no veículo, tal como o sensor 1360 mostrado na figura 1, que inclui um sensor de velocidade, um sensor de velocidade de roda, uma câmara, um giroscópio, um sensor óptico, um sensor laser, um sensor de radar, um sensor sônico ou qualquer outro sensor ou dispositivo ou combinação dos mesmos capaz de determinar ou identificar um porção ou condição da rede de transporte 2200.
[062] O veículo 2100 pode atravessar uma ou mais pores da rede de transporte 2200 utilizando informação comunicada por meio da rede de comunicação elétrica 2300, tal como informação que representa a rede de transporte 2200, informação identificada por um ou mais sensores no veículo 2102, ou uma sua combinação. O objeto externo 2110 pode ser capaz de todas ou algumas das comunicações e ações descritas acima em relação ao veículo 2100.
[063] Por simplicidade, a figura 2 mostra o veículo 2100 como o veículo hospedeiro, o objeto externo 2110, a rede de transporte 2200, a rede de comunicação eletrônica 2300 e o centro de operações 2400. No entanto, qualquer número de veículos, redes ou dispositivos de computação pode ser usado. Em algumas formas de realização, o sistema de transporte e comunicação de veículo 2000 inclui dispositivos, unidades ou elementos não mostrados na figura 2 Embora o veículo 2100 ou o objeto externo 2110 seja mostrado como uma única unidade, um veículo pode incluir qualquer número de elementos interconectados.
[064] Embora o veículo 2100 seja mostrado em comunicação com o centro de operações 2400 por meio da rede de comunicação elétrica 2300, o veículo 2100 (e objeto externo 2110) pode comunicar com o centro de operações 2400 por meio de qualquer número de elos de comunicação diretos ou indiretos. Por exemplo, o veículo 2100 ou o objeto externo 2110 pode se comunicar com o centro de operações 2400 por meio de um link de comunicação direta, como um link de
Petição 870190052039, de 03/06/2019, pág. 33/79
22/43 comunicação Bluetooth. Embora, por simplicidade, a figura 2 mostra um dos rede de transporte 2200, e uma rede de comunicação eletrônica 2300, pode ser utilizado qualquer número de redes ou dispositivos de comunicação.
[065] A figura 3 é um diagrama que ilustra um exemplo de uma interface de processamento de imagem com restrição de largura de banda 3000 de acordo com a presente descrição. A interface de processamento de imagem com restrição de largura de banda 3000 pode ser gerada com base em uma ou mais instruções que são executáveis em um aparelho de computação, incluindo o aparelho controlador 2410 mostrado na figura 2, e que podem ser armazenados em uma memória de um aparelho de computação, incluindo o aparelho controlador 2410. Por exemplo, a interface de processamento de imagem com restrição de largura de banda 3000 pode ser gerada pelo aparelho controlador 2410, com base em instruções que são interpretadas por um dispositivo de computação do cliente que acede ao aparelho controlador 2410 por meio de uma rede de computadores. O dispositivo de computação do cliente pode então gerar uma representação da interface de processamento de imagem com restrição de largura de banda 3000 em um dispositivo de exibição.
[066] O aparelho controlador 2410 pode incluir uma pluralidade de componentes ou módulos, incluindo, mas não limitado a qualquer sistema de processamento de sinal, um sistema de processamento de imagem, um módulo de filtragem (também conhecido como filtro), um módulo de aprendizado de máquina e uma comunicação eletrônica, unidade (por exemplo, a unidade de comunicação eletrônica 1320 da figura 1). O sistema de processamento de imagem pode compreender uma pluralidade de componentes incluindo, mas não se limitando a, um módulo de processamento de imagem, uma interface gráfica de usuário (GUI) e um armazenamento de dados (ou seja, um banco de dados). O módulo de processamento de imagem pode gerar a interface de processamento de imagem
Petição 870190052039, de 03/06/2019, pág. 34/79
23/43 com restrição de largura de banda 3000, que pode então ser exibida usando a interface gráfica de usuário para interação por um operador.
[067] A interface 3000 de processamento de imagem restringida por largura de banda inclui uma parte frontal esquerda 3010, uma parte central frontal 3020, uma parte frontal direita 3030 e uma vista simulada 3040, qualquer uma das quais pode ser baseada em dados associados ao estado de objetos físicos, incluindo qualquer do veículo que está sendo assistido ou tele-operado e objetos que são externos ao veículo ou em seu ambiente circunvizinho incluindo, mas não se limitando a outros veículos, pedestres, estradas e edifícios.
[068] As porções de vista, incluindo a porção de vista frontal esquerda 3010, a porção central frontal 3020 e a porção frontal direita 3030 podem gerar saída (por exemplo, imagens ou fluxos de vídeo) a partir dos sensores localizados respectivamente na parte dianteira esquerda, frontal central e frontal direita de um veículo. O veículo pode incluir uma pluralidade de outros sensores localizados em uma pluralidade de outros locais incluindo, mas não se limitando a localização traseira esquerda, central traseira, traseira direita, fora do centro, no fundo do carro e qualquer combinação destes. O conteúdo da porção de vista frontal esquerda 3010, a parte central frontal 3020 e a porção frontal direita 3030 podem incluir representações de objetos que são detectados por sensores no veículo (por exemplo, sensores óticos, tais como câmaras no veículo que detectam outros carros tal como na parte frontal esquerda 3010).
[069] Em algumas implementações, as seções de visualização podem exibir a saída baseada em sensores localizados em ou em qualquer parte do veículo, incluindo qualquer uma das superfícies externas do veículo e o interior do veículo (por exemplo, cabine de passageiros, compartimento do motor, ou espaço de carga). Por exemplo, a porção da vista frontal esquerda 3010 pode ser configurada para gerar saída de uma parte diferente do veículo, tal como a traseira do veículo. A
Petição 870190052039, de 03/06/2019, pág. 35/79
24/43 interface de processamento de imagem com restrição de largura de banda 3000 pode ser gerada em um dispositivo de visualização incluindo qualquer um de um monitor de visualização e um ecrã de apresentação (por exemplo, um ecrã projetado em uma superfície tal como o para-brisas do veículo).
[070] A vista simulada 3040 pode ser baseada em dados relativos ao estado ou condição (por exemplo, aparência, direção da viagem, assinatura de áudio) de objetos dentro de uma área predeterminada ou gerada dinamicamente (por exemplo, uma área geográfica) que inclui o veículo ou de um distância pré-determinada (por exemplo, 100 pés) do veículo. A área pode ser gerada dinamicamente com base nos dados recebidos, como condições de tráfego e acidentes próximos. Por exemplo, como ilustrado na figura 3, os objetos na vista simulada 3040 podem incluir um veículo tal como o veículo 2100 mostrado na figura 2. Os objetos representados na vista simulada 3040 podem ser gerados a partir de diferentes pontos de vista ou perspectivas, incluindo como objetos bidimensionais (por exemplo, uma vista de topo do veículo e estradas) ou como ilustrado na figura 3, como um objeto tridimensional. Além disso, os objetos apresentados na vista simulada 3040 podem ser gerados como uma variedade de imagens incluindo, mas não se limitando a imagens estáticas, imagens dinâmicas, imagens em movimento, um fluxo de imagens ou vídeo em tempo real ou qualquer combinação dos mesmos. Por exemplo, um modelo tridimensional do veículo pode ser sobreposto em um fluxo de vídeo em tempo real do ambiente em torno do veículo.
[071] As características e características dos objetos dentro da área representada na visão simulada 3040 podem ser baseadas na aparência real dos objetos com base nas imagens obtidas ou recebidas de fontes de dados remotas ou sensores (por exemplo, imagens de satélite, imagens de sensores de veículos, câmeras de sinais de trânsito imagens). Além disso, os objetos dentro da área representada na vista simulada 3040 podem ser representados como imagens
Petição 870190052039, de 03/06/2019, pág. 36/79
25/43 incluindo, mas não se limitando a, indicadores abstratos ou outras representações simbólicas, incluindo ícones, texto, pictogramas ou qualquer combinação dos mesmos.
[072] Qualquer parte da interface de processamento de imagem com restrição de largura de banda 3000 pode receber ou detectar entrada para alterar o sensor a partir do qual a saída é gerada (por exemplo, alterar uma vista da exibição de uma vista frontal para exibir uma vista posterior). Os tipos de entradas que podem ser recebidas por uma parte da interface 3000 de processamento de imagem restrita por largura de banda incluem qualquer entrada visual (por exemplo, um gesto capturado por uma câmera ou dispositivo sensor de movimento), entradas de toque (por exemplo, tocar uma tela sensível ao toque um display resistivo), entradas de áudio (por exemplo, comandos falados em um microfone) e entradas de um dispositivo de entrada (por exemplo, pressionando um botão ou girando um botão).
[073] Com base nas entradas recebidas ou detectadas, a interface de processamento de imagem com restrição de largura de banda 3000 pode modificar a maneira como as imagens na interface de processamento de imagem restrita de largura de banda 3000 são representadas, incluindo, sem limitação: ampliação de algumas ou de todas as imagens (por exemplo, aumentando o tamanho de um subconjunto de objetos externos ou de zoom na área que é exibida dentro da porção de visualização 3010); encolher alguns ou todos os objetos, incluindo diminuir o zoom da área representada; mudar o ângulo de visão, incluindo a mudança para uma vista aérea (por exemplo, vista de mapa); e alterar as características das imagens, incluindo o contraste, saturação e profundidade de cor das imagens.
[074] As etapas, ou operações, de qualquer método, processo ou algoritmo descrito em conexão com as implementações da tecnologia apresentada aqui, podem ser implementado em hardware, firmware, software executado por hardware, circuitos ou qualquer combinação dos mesmos. Para facilitar a explicação, as
Petição 870190052039, de 03/06/2019, pág. 37/79
26/43 técnicas 4000 a 7000, mostradas nas figuras 4 a 7, são descritas como uma série de operações. No entanto, as operações de acordo com esta apresentação podem ocorrer em vários pedidos ou simultaneamente. Adicionalmente, operações de acordo com esta divulgação podem ocorrer com outras operações não apresentadas e descritas aqui.
[075] A figura 4 é um fluxograma de uma técnica 4000 para processamento de imagem com restrição de largura de banda de acordo com A presente invenção. A técnica 4000 pode ser utilizada por um sistema de monitorização de veículos que inclui, mas não se limita a, pelo menos, um gestor de frota, gestor de veículo e a interface de processamento de imagem restringida por largura de banda acima mencionada 3000 da figura 3 Alguma ou toda a técnica 4000 para suporte remoto pode ser implementada em um veículo incluindo o veículo 1000 mostrado na figura 1, o veículo 2100 mostrado na figura 2, ou um aparelho de computação incluindo um aparelho controlador tal como o aparelho controlador 2410 mostrado na figura 2. O aparelho controlador pode incluir pelo menos um sistema de processamento de sinal, um sistema de processamento de imagem, um filtro e um sistema de comunicação eletrônico. Em uma implementação, alguns ou todos os aspectos da técnica 4000 para processamento de imagem com restrição de largura de banda podem ser implementados em um sistema (por exemplo, o aparelho controlador 2410 da figura 2) combinando algumas ou todas as características descritas nesta revelação.
[076] Na operação 4010, uma taxa de transferência de dados de um sinal ou sinais que incluem dados de estado de um veículo é determinada por um sistema de processamento de imagem com restrição de largura de banda. Em algumas implementações, o sistema de processamento de imagem com restrição de largura de banda é um aparelho controlador (por exemplo, o aparelho controlador 2410). A operação 4010 pode ser realizada pelo aparelho controlador (por exemplo, um
Petição 870190052039, de 03/06/2019, pág. 38/79
27/43 sistema de processamento de sinal do aparelho controlador 2410). Os sinais podem incluir qualquer tipo de sinal que é transmitido ou enviado entre o veículo e uma rede de comunicação, tal como um centro de operações remotas (por exemplo, o centro de operações 2400 da figura 2) incluindo, mas não limitado a sinais eletrônicos (por exemplo, sinais analógicos) ou sinais digitais) que são trocados (enviados ou recebidos) diretamente de ou para o veículo, ou indiretamente por meio de uma rede de comunicação. A taxa de transferência de dados do sinal pode ser determinada com base em um sistema de comunicação incluindo um aparelho de comunicação configurado para enviar sinais, receber sinais e determinar qualquer intensidade de sinal, frequência de sinal, largura de banda, capacidade de canal e relação sinalruído.
[077] A taxa de transferência de dados do sinal pode incluir a quantidade ou quantidade de dados (por exemplo, o número de bits) que é transferido (enviado ou recebido) dentro de um período de tempo predeterminado (por exemplo, um período de tempo de um segundo). A quantidade ou quantidade de dados pode ser medida em unidades, incluindo bits, bytes, kilobytes e megabytes, e a taxa de transferência de dados pode incluir a quantidade de dados transferidos por unidade de tempo (por exemplo, mil bits por segundo, ou dez terabytes por hora).
[078] O veículo pode incluir um dispositivo ou aparelho (por exemplo, um meio de transporte) que é utilizado para transportar objetos incluindo qualquer um ou mais passageiros e carga. Além disso, o veículo pode incluir um sistema de comunicação para trocar (enviar ou receber) sinais incluindo dados (por exemplo, dados de estado, dados de imagem, dados externos, etc.). O veículo pode incluir qualquer um de um veículo autônomo, um veículo que é dirigido por um motorista humano ou um veículo semi-autônomo.
[079] Os dados de estado podem incluir, mas não se limitam a, imagens e outros meios (por exemplo, vídeo) usados para representar o estado ou condição do
Petição 870190052039, de 03/06/2019, pág. 39/79
28/43 veículo (por exemplo, imagens baseadas na aparência externa do veículo e no interior do veículo) e o ambiente externo (por exemplo, imagens baseadas na aparência do ambiente externo que inclui objetos externos) em que o veículo está localizado, incluindo, mas não se limitando a: dados de localização, incluindo imagens de uma localização do veículo, como a localização geográfica de o veículo (por exemplo, a latitude e a longitude do veículo), imagens da localização do veículo em relação a outro objeto ou imagens da localização do veículo em relação a um tipo de área (por exemplo, uma zona residencial, zona comercial, propriedade privada, propriedade pública); dados de posição do veículo, incluindo imagens para indicar a orientação e inclinação (por exemplo, inclinação do veículo em uma inclinação) do veículo; e dados do sensor baseados em saídas de sensores que fazem parte do veículo, no veículo ou no interior do veículo, incluindo sensores óticos (por exemplo, sensores de detecção e alcance de luz), sensores de áudio e sensores de movimento cuja saída pode ser simbolicamente representados por indicadores (por exemplo, marcadores hash para indicar som ou movimento), os dados do sensor podem ser usados para gerar uma representação do ambiente físico dentro e ao redor do veículo; dados de estado interno, incluindo imagens para indicar uma temperatura (por exemplo, vermelho para uma temperatura mais quente, azul para uma temperatura mais fria) e umidade dentro da cabine de passageiros (por exemplo, indicadores de chuva podem ser usados para representar condições muito úmidas) do veículo.
[080] Na operação 4020, uma determinação é feita com relação a se um critério de taxa de transferência de dados foi satisfeito. A operação 4020 pode ser realizada pelo aparelho controlador (por exemplo, o sistema de processamento de sinais do aparelho controlador 2410 da figura 2). O critério de taxa de transferência de dados pode ser baseado em critérios incluindo qualquer um limite de transferência de taxa de dados (por exemplo, uma taxa de transferência de dados
Petição 870190052039, de 03/06/2019, pág. 40/79
29/43 mínima), um intervalo de limite de transferência de taxa de dados (por exemplo, uma faixa de valores de taxa de transferência de dados que pode incluir valores que satisfaçam o critério de taxa de transferência de dados) e as taxas de dados históricas que atendem a determinados requisitos do sistema. O critério da taxa de transferência de dados pode ser satisfeito quando qualquer taxa de transferência de dados excede, ou é menor que, o critério de taxa de transferência de dados fornecido.
[081] Por exemplo, se o critério de taxa de transferência de dados for baseado na manutenção de um limite de taxa de transferência de dados de cem kilobytes por segundo ou mais (ou seja, o que significaria menos restrições de largura de banda para o sistema), uma transferência de dados Uma taxa de cinquenta kilobytes por segundo não satisfaria o critério da taxa de transferência de dados e o sistema seria alertado para as restrições de largura de banda com base nessa comparação. Por outro lado, o critério de taxa de transferência de dados podería ser definido como um intervalo abaixo de cem kilobytes por segundo (o que significaria restrições potenciais de largura de banda) e uma taxa de transferência de dados de cinquenta kilobytes por segundo satisfaria esse critério de taxa de transferência de dados, também. O critério de taxa de transferência de dados pode incluir um fator de tempo para que a taxa de transferência de dados que é usada para determinar se o critério de taxa de transferência de dados foi satisfeito seja amostrada de um período de tempo predeterminado. Por exemplo, a taxa de transferência de dados em relação à qual o critério da taxa de transferência de dados é avaliado pode se basear na taxa média de transferência de dados período de tempo predeterminado (por exemplo, os kilobytes médios por segundo ao longo de um período de tempo de dez segundos).
[082] Em resposta a determinar que a taxa de transferência de dados satisfaz o critério de taxa de transferência de dados, a técnica 4000 prossegue para
Petição 870190052039, de 03/06/2019, pág. 41/79
30/43 a operação 4030. Em resposta à determinação de que a taxa de transferência de dados não atende ao critério de taxa de transferência de dados, uma ou mais ações podem ser executadas. Em algumas implementações, a taxa de transferência de dados que não satisfaz o critério de transferência de dados pode fazer com que a técnica 4000 retorne à operação 4010. Em algumas outras implementações, os dados de instrução são enviados para o veículo quando a taxa de transferência de dados não satisfaz o critério de taxa de transferência de dados. Os dados de instrução podem incluir, mas não estão limitados a instruções a serem realizadas pelo veículo (por exemplo, o veículo autônomo) ou um ocupante do veículo (por exemplo, um motorista).
[083] Os dados de instrução podem incluir, mas não se limitam a, dados associados a qualquer controle de movimento de um veículo, incluindo a alteração da aceleração, velocidade ou direção (por exemplo, direção) do veículo, ativação ou desativação (por exemplo, girando alguns ou todas as partes do veículo ligadas ou desligadas) um sistema de controle no veículo, incluindo sistemas de controle mecânico e sistemas de controle elétrico, ativando ou desativando sensores no veículo (por exemplo, ativando uma câmera para visualizar o interior do veículo ou uma área fora do veículo), ativando ou desativando um sistema de comunicação incluindo qualquer sistema interno de comunicação (por exemplo, alto-falantes internos direcionados aos ocupantes do veículo) e sistemas de comunicação externos (por exemplo, alto-falantes externos direcionados a objetos ou indivíduos fora do veículo).
[084] Além disso, os dados de instrução podem incluir, mas não estão limitados a, uma instrução para o veículo parar o seu movimento dentro de um período de tempo predeterminado. Por exemplo, se um veículo estava recebendo assistência via tele operação e o fluxo de imagem do veículo foi interrompido para que o tele-operador não recebesse mais um fluxo de imagem inteligível, o veículo,
Petição 870190052039, de 03/06/2019, pág. 42/79
31/43 que podería ser um veículo autônomo, podería ser instruído a procurar um local seguro para estacionar (por exemplo, um estacionamento ou uma área de estacionamento de rua designada). Deste modo, o veículo pode esperar em um local seguro até que a taxa de transferência de dados aumente, e o fluxo de imagem do veículo seja de qualidade suficiente para o operador de tele-assistência continuar a fornecer assistência ao veículo.
[085] Na operação 4030, uma mensagem é enviada ao veículo por um sistema de comunicação (por exemplo, um sistema de comunicações eletrônico do aparelho controlador 2410 da figura 2). A mensagem pode incluir vários tipos de mensagem, como uma mensagem de dados do sensor priorizada. A mensagem de dados do sensor priorizado inclui uma solicitação de dados de sensores priorizados dos sensores no veículo. A mensagem de dados do sensor priorizada pode incluir qualquer uma das seguintes: a taxa de transferência de dados, que pode ser usada para determinar a prioridade dos sensores (por exemplo, uma taxa de transferência de dados insuficiente para transmitir imagens de vídeo de alta resolução uma prioridade mais alta para transmitir imagens fixas ou imagens de vídeo de baixa resolução); um tipo de sensor preferido (por exemplo, quando o ambiente é mais escuro, inclusive à noite, um sensor infravermelho pode ser priorizado mais alto do que um sensor óptico que detecta a luz visível); e um tipo de dados de estado preferencial que pode incluir uma classificação prioritária dos tipos de dados de estado, por exemplo, dados de ambiente externo associados a imagens do ambiente externo podem ser priorizados sobre dados externos do veículo associados a imagens do exterior do veículo, o que podería, por sua vez, ser priorizado sobre imagens, incluindo indicadores simbólicos da temperatura ou umidade dentro do veículo.
[086] Na operação 4040, em resposta à solicitação da operação 4030, os dados do sensor são recebidos pelo sistema de comunicação eletrônica em uma
Petição 870190052039, de 03/06/2019, pág. 43/79
32/43 ordem baseada nos dados do sensor prioritário. Os sensores no veículo podem ser posicionados em qualquer parte do veículo, incluindo qualquer uma das superfícies externas do veículo, uma cabine de passageiros do veículo, um motor compartimento do veículo e uma área de carga do veículo (por exemplo, uma mala de um automóvel, uma plataforma de um caminhão). O veículo pode incluir diferentes tipos de sensores (por exemplo, sensores de luz e movimento), e cada tipo de sensor pode incluir vários sensores.
[087] Os dados do sensor priorizado incluem, mas não se limitam a, uma listagem priorizada dos sensores com base em qualquer uma das seguintes mensagens de dados do sensor prioritário, incluindo qualquer taxa de transferência de dados e o tipo de sensor solicitado; localização dos sensores no veículo (por exemplo, sensores no interior do veículo podem ter maior prioridade para gerar imagens associadas ao estado dos passageiros na cabine, ou os sensores na frente do veículo podem ser priorizados sobre os sensores na parte traseira do veículo a fim de gerar imagens na direção do deslocamento para a frente do veículo); dados de sequência de priorização de sensores armazenados que podem incluir uma ou mais listagens de prioridade de sensor (por exemplo, em uma configuração de dois sensores ópticos, o sensor óptico na frente do veículo pode ser priorizado sobre o sensor óptico na parte traseira do veículo); e dados de obstrução do sensor relacionados à posição do veículo em relação aos objetos que obstruem os sinais, que podem gerar dinamicamente a prioridade dos sensores com base em obstruções (por exemplo, um veículo estacionado com a traseira do veículo voltado para a parede e a frente do veículo voltado para um espaço aberto pode priorizar dinamicamente o sensor na frente do veículo sobre o sensor na parte traseira do veículo).
[088] Em algumas implementações, a priorização dos sensores e os dados de imagem associados gerados pelos sensores podem ser executados de forma
Petição 870190052039, de 03/06/2019, pág. 44/79
33/43 proporcional, na qual dados de prioridade mais alta recebem uma porção maior de largura de banda disponível (por exemplo, uma taxa de bits maior) do que dados de baixa prioridade que pode ser atribuído uma proporção menor de largura de banda disponível (por exemplo, uma taxa de bits menor). Noutra implementação, a priorização se baseia em técnicas de aprendizagem de máquina (por exemplo, realizadas pelo módulo de aprendizagem de máquina do aparelho controlador 2410 da figura 2) que utiliza dados históricos da teleoperação de outros veículos.
[089] No funcionamento 4050, a localização do veículo e a localização de quaisquer objetos potenciais que obstruam os sinais recebidos pelo veículo são determinados pelo aparelho controlador, com base nos dados de estado e nos dados externos. A localização do veículo e os objetos podem ser determinados com base nos dados de estado, incluindo dados de sensores dos sensores (por exemplo, imagens da localização) e dados de localização dos dados de estado (por exemplo, latitude e longitude). Os dados externos podem ser acessados de qualquer combinação de: uma fonte de dados local, incluindo um dispositivo de computação local; e uma fonte de dados remota, incluindo um dispositivo de computação de servidor remoto.
[090] Os dados externos podem ser associados à condição ou estado de objetos externos ao veículo que podem incluir, mas não se limitam a, quaisquer formações geográficas naturais, edifícios, estradas, passagens, hidrovias, outros veículos, ciclistas e pedestres. Os dados externos podem incluir, mas não estão limitados a: dados do caminho do movimento do objeto, incluindo um caminho percorrido anteriormente ou caminho previsto para os objetos (por exemplo, previsto usando dados históricos, entradas ou instruções do operador e técnicas de aprendizado de máquina), que podem ser baseado em qualquer velocidade, orientação e localização dos objetos; dados de orientação a objetos, incluindo qualquer orientação dos objetos em relação ao veículo e uma orientação, como uma
Petição 870190052039, de 03/06/2019, pág. 45/79
34/43 orientação da bússola (por exemplo, uma indicação de que o objeto está voltado para o norte); localização de objeto, incluindo a latitude e longitude dos objetos que podem ser baseados em satélite (por exemplo, sinais de GPS) ou outros dados de navegação; dados de sensor incluindo dados de sensor baseados em saídas de sensores nos objetos incluindo, sensores ópticos, sensores de áudio e sensores de movimento, os dados do sensor podem ser usados para gerar uma representação (por exemplo, imagens) do ambiente físico dentro e ao redor dos objetos; e dados do tipo de objeto, incluindo uma identificação de objetos que podem interromper ou interferir nos sinais eletrônicos.
[091] Os dados externos podem ser usados para determinar os objetos que estão dentro de um área predeterminada do veículo que pode bloquear, interferir ou reduzir a intensidade dos sinais enviados ou recebidos do veículo. Por exemplo, um grupo de edifícios altos, um túnel ou viaduto, podería obstruir os sinais enviados do veículo, ou uma fábrica com uma grande quantidade de atividade eletromagnética podería interferir nos sinais enviados do veículo.
[092] Na operação 4060, os dados de estado otimizados são gerados pelo dispositivo do controlador com base nos dados externos e nos dados de estado, que podem incluir os dados do sensor. Os dados de estado otimizados podem ser gerados a partir de partes dos dados de estado e dos dados externos que podem ser combinados em várias proporções para formar os dados de estado otimizados. Por exemplo, as imagens de vídeo de dados externos podem ser combinadas com o áudio dos dados de estado para formar dados de estado otimizados que incluem partes sincronizadas de áudio e vídeo que podem ser usadas em tempo real ou com um pequeno atraso de tempo.
[093] Os dados de estado otimizados podem ser utilizados para compensar a taxa de transferência de dados que não satisfaz o critério da taxa de transferência de dados, por exemplo, filtrando ou reforçando os dados de estado do veículo. Por
Petição 870190052039, de 03/06/2019, pág. 46/79
35/43 exemplo, se forem detectadas restrições de largura de banda (por exemplo, porque a taxa de transferência de dados está abaixo de um nível mínimo de limiar denotado pelo critério de taxa de transferência de dados), dados de estado otimizados podem ser gerados para fornecer um operador remoto com imagens frontais do veículo imagens frontais previamente armazenadas de locais relativamente semelhantes ou períodos de tempo ou as imagens obtidas de outros veículos próximos que não estão enfrentando restrições de largura de banda. Em algumas implementações, os dados do sensor otimizado podem ser baseados na aplicação de um filtro para remover o ruído dos dados do sensor. Por exemplo, o ruído pode ser reduzido em imagens por meio da aplicação de técnicas que incluem transformada de wavelet, filtragem anisotrópica, filtros lineares, filtros não lineares e filtros de suavização. As técnicas de filtragem podem ser realizadas por um filtro do aparelho controlador. Além disso, os dados de estado otimizados podem ser gerados com base em modificações nos dados de estado, incluindo a modificação do tipo de compactação (por exemplo, utilizando diferentes algoritmos de compactação) ou a quantidade de compactação (por exemplo, aplicação de uma maior quantidade de perdas ou perdas), dados de estado com base na taxa de transferência de dados (por exemplo, um nível de compactação que é inversamente proporcional à taxa de transferência de dados).
[094] A figura 5 é um fluxograma de uma técnica 5000 para processamento de imagem com restrição de largura de banda de acordo com A presente invenção. A técnica 5000 é utilizada por um sistema de monitorização de veículos que inclui, mas não está limitado a, pelo menos, um gestor de frota, gestor de veículo e a interface de processamento de imagem restringida com largura de banda acima mencionada 300 da figura 3 Alguma ou toda a técnica 5000 para suporte remoto pode ser implementada em um veículo incluindo o veículo 1000 mostrado na figura 1, o veículo 2100 mostrado na figura 2, ou um aparelho de computação incluindo um
Petição 870190052039, de 03/06/2019, pág. 47/79
36/43 aparelho controlador tal como o aparelho controlador 2410 mostrado na figura 2 O aparelho controlador pode incluir pelo menos um sistema de processamento de sinal, um sistema de processamento de imagem, um filtro e um sistema de comunicação eletrônico. Em um implementação, alguns ou todos os aspectos da técnica 5000 para processamento de imagem com restrição de largura de banda podem ser implementados em um sistema (por exemplo, o aparelho controlador 2410 da figura 2) combinando algumas ou todas as características descritas nesta revelação.
[095] Na operação 5010, um atraso de transmissão é determinado pelo aparelho controlador com base em um intervalo de tempo entre o momento em que pelo menos um dos sinais deixa de ser recebido e quando pelo menos outro dos sinais é subsequentemente recebido. O início do intervalo de tempo pode começar quando os sinais deixam de ser trocados (recepção ou envio) e terminam quando a troca (recepção ou envio) dos sinais recomeça. Por exemplo, se um veículo encontrasse uma obstrução que bloqueasse os sinais do veículo, o período de tempo começaria quando os sinais do veículo não pudessem mais ser recebidos e o período de tempo terminaria quando os sinais do veículo fossem recebidos com sucesso.
[096] Em algumas implementações, o atraso de transmissão é baseado na intensidade do sinal ou na taxa de transferência de dados abaixo de um respectivo limiar de intensidade de sinal ou taxa de transferência de dados, mesmo que os dados sejam recebidos continuamente (portanto, não há atrasos puros ou paradas no fluxo de dados) os dados). Desta forma, um atraso de transmissão pode ser determinado mesmo quando a intensidade do sinal ou a taxa de transferência de dados são diferentes de zero.
[097] Na operação 5020, em resposta à determinação de que o atraso de transmissão satisfaz um critério de atraso (por exemplo, que há um atraso de
Petição 870190052039, de 03/06/2019, pág. 48/79
37/43 receber dados por 5 segundos e que é maior que o limite de critério de atraso de até 2 segundos que é permitido), A técnica 5000 prossegue para a operação 5030. O critério de atraso pode incluir um intervalo de valores e não um limite. Em resposta a determinar que o atraso de transmissão não satisfaz o critério de atraso, a técnica 5000 retorna à operação 5010. A satisfação do critério de atraso de transmissão pode incluir, mas não se limita a, qualquer tempo de atraso de transmissão excedendo um limite de tempo de atraso de transmissão (por exemplo, o critério de atraso de transmissão é satisfeito quando o tempo de atraso for maior que um tempo de atraso de transmissão especificado) número de atrasos de transmissão em um período de tempo predeterminado excedendo um limiar de ocorrência de atraso.
[098] Na operação 5030, os dados preditivos são gerados pelo aparelho controlador com base em qualquer um dos dados de estado e os dados externos que foram recebidos anteriormente dentro de um período de tempo predeterminado. Os dados preditivos podem incluir, mas não se limitam a, dados previamente ou atualmente recebidos por outros veículos em locais próximos ou relacionados. Os dados de estado e os dados externos podem ser analisados pelo módulo de aprendizagem de máquina do aparelho controlador usando técnicas de modelagem preditiva ou de aprendizado de máquina que podem então ser usadas para gerar dados preditivos para o período de tempo durante o qual ocorre o atraso de transmissão.
[099] Por exemplo, se o veículo estiver a uma velocidade constante de cem quilômetros por hora em uma estrada e passar por uma encosta que bloqueie os sinais do veículo, dados preditivos podem ser usados para gerar imagens (por exemplo, imagens do ambiente circundante do veículo) veículo) com base na velocidade do veículo (cem quilômetros por hora) e na localização estimada do veículo antes da interrupção e da direção da viagem. Se o veículo, em seguida, encontra congestionamento de tráfego que faz com que o veículo desacelere para
Petição 870190052039, de 03/06/2019, pág. 49/79
38/43 uma velocidade de dois quilômetros por hora, dados preditivos podem ser gerados com base na nova (velocidade de dois quilômetros por hora). Se um atraso de transmissão coincidir com o veículo entrando em um túnel de 200 metros na última velocidade conhecida (dois quilômetros por hora), a modelagem preditiva podería gerar os dados preditivos para fornecer a posição do veículo dentro do túnel, incluindo uma estimativa de quando o veículo sairá do túnel, que podería ser baseado na última velocidade conhecida do veículo e na taxa de objetos (por exemplo, outros veículos) que saem do túnel na direção em que o veículo está viajando.
[0100] Em algumas implementações, os dados de imagem são gerados com base nos dados do sensor de qualquer um dos dados do estado e dos dados externos. Os dados de imagem podem ser armazenados para uso futuro, por exemplo, em um dispositivo de armazenamento local ou em um dispositivo de armazenamento remoto (por exemplo, armazenado em um sistema de computação em nuvem) que pode ser acessado por meio de uma rede de comunicação ou rede de computação. Os dados da imagem armazenada podem então ser recuperados quando a taxa de transferência de dados satisfizer o critério da taxa de transferência de dados. Por exemplo, os dados de imagem podem ser usados para gerar os dados preditivos usando dados de imagem associados a locais anteriores para reconstruir uma imagem do local quando a taxa de transferência de dados não é suficiente para que uma imagem do local seja gerada em tempo real.
[0101] A figura 6 é um fluxograma de uma técnica 6000 para processamento de imagem com restrição de largura de banda de acordo com A presente invenção. A técnica 6000 é utilizada por um sistema de monitoramento de veículos que inclui pelo menos um gerenciador de frota, gerenciador de veículos e as interfaces mencionadas anteriormente. Alguma ou toda a técnica 6000 para suporte remoto pode ser implementada em um veículo incluindo o veículo 1000 mostrado na figura
Petição 870190052039, de 03/06/2019, pág. 50/79
39/43
1, o veículo 2100 mostrado na figura 2, ou um aparelho de computação incluindo um aparelho controlador tal como o aparelho controlador 2410 mostrado na figura 2 O aparelho controlador pode incluir pelo menos um sistema de processamento de sinal, um sistema de processamento de imagem, um filtro e um sistema de comunicação. Em uma implementação, alguns ou todos os aspectos da técnica 6000 para processamento de imagem com restrição de largura de banda podem ser implementados em um sistema (por exemplo, o aparelho controlador 2410 da figura 2) combinando algumas ou todas as características descritas nesta revelação.
[0102] Na operação 6010, uma imagem é gerada pelo dispositivo do controlador com base nos dados da imagem. Os dados de imagem podem ser baseados nos dados de estado ou dados externos e podem incluir representações de um veículo e objetos, incluindo pedestres, outros veículos, estradas e edifícios. Os dados de imagem podem ser enviados para um dispositivo de saída, tal como um dispositivo de exibição que é capaz de produzir imagens (por exemplo, um monitor ou projetor). Por exemplo, os dados de imagem podem ser representados em uma interface incluindo a interface de processamento de imagem com restrição de largura de banda 3000 ilustrada na figura 3 [0103] Na operação 6020, uma determinação de se uma entrada (por exemplo, de um operador remoto ou do condutor do veículo) para selecionar uma porção da imagem ter sido detectada, feita pelo aparelho controlador. A determinação de se a entrada para selecionar a parte da imagem foi detectada pode ser baseada em determinar se alguma entrada óptica (por exemplo, olhando para uma parte da imagem), uma entrada de áudio (por exemplo, falando em um microfone para que emita um comando), uma entrada de movimento (por exemplo, fazendo um gesto com a mão) e uma entrada tátil (por exemplo, tocando uma parte da exibição na qual a imagem é gerada). Em resposta ao recebimento da entrada, a
Petição 870190052039, de 03/06/2019, pág. 51/79
40/43 técnica 6000 prossegue para a operação 6030. Em resposta a não receber a entrada, a técnica 6000 retorna à operação 6010.
[0104] Na operação 6030, os dados de imagem são modificados ou atualizados ou alterados (por exemplo, por um operador remoto usando a interface de processamento de imagem com restrição de largura de banda 3000 da figura 3) e recebidos pelo aparelho controlador. Modificar os dados da imagem pode resultar na modificação da parte da imagem que foi selecionada. A modificação da parte da imagem selecionada pode ser baseada em qualquer modificação nos dados da imagem que altere a imagem, incluindo, entre outros, aprimoramentos no brilho ou foco ou cor ou outras características gráficas da imagem, geração de partes ausentes da imagem, ampliando a parte da imagem, reduzindo o ruído, aumentando o contraste em uma parte da imagem, a equalização do histograma, a filtragem da mediana e a filtragem da máscara de nitidez.
[0105] A figura 7 ilustra um método 7000 para processamento de imagem com restrição de largura de banda de acordo com A presente invenção. O método 7000 pode ser realizado por um sistema incluindo, mas não limitado ao aparelho controlador 2410 da figura 2 ou vários subcomponentes ou sub-módulos ou subsistemas do aparelho controlador 2410. O método 7000 inclui a determinação de uma taxa de transferência de dados de sinais que incluem dados de estado de um veículo, via 7010. Em resposta a determinar que a taxa de transferência de dados satisfaz um critério de taxa de transferência de dados (por exemplo, a taxa de transferência de dados é alta o suficiente e acima de um limite de taxa de transferência de dados que indica a largura de banda mínima necessária para conduzir o processamento da imagem), dados de estado e dados externos (por exemplo, dados de tráfego, dados de imagem em objetos externos ao redor do veículo, etc.), uma localização do veículo e uma localização de objetos que obstruem pelo menos um dos sinais, via 7020. Dados de estado otimizados são
Petição 870190052039, de 03/06/2019, pág. 52/79
41/43 gerados com base nos dados de estado e nos dados externos, via 7030. Os dados de estado incluem dados de sensor de sensores associados ao veículo (por exemplo, sensores dentro, acima, abaixo e / ou ao redor do veículo), em que os sensores incluem qualquer sensor ótico, sensor de detecção e alcance de luz, sensor de movimento e um sensor de áudio. Em uma implementação, o método 7000 inclui o envio de uma mensagem (por exemplo, uma mensagem de dados do sensor priorizada) que inclui uma solicitação de dados de sensores priorizados dos sensores, em que os dados do sensor priorizados incluem uma listagem priorizada dos sensores com base nas localizações dos sensores associado ao veículo. O método 7000 inclui ainda receber os dados do sensor em uma ordem baseada nos dados do sensor prioritário. O pedido pode listar os dados do sensor usando uma variedade de recursos, incluindo, mas não se limitando a, da maior prioridade para a menor prioridade ou a maior quantidade de dados para a menor quantidade de dados.
[0106] Em uma implementação, o método 7000 inclui a filtragem dos dados do sensor usando um filtro (incluindo mas não limitado a filtros de suavização linear, filtros não-lineares) para remover ruídos e artefatos dos dados do sensor e todos os sinais recebidos, onde o estado otimizado os dados são baseados ou incluem os dados do sensor filtrado. O método 7000 inclui gerar e armazenar dados de imagem com base nos dados do sensor e recuperar os dados da imagem quando a taxa de transferência de dados satisfizer o critério de taxa de transferência de dados (ou quando um pedido marcado com um determinado nível importante é recebido), em que os dados de estado otimizados se baseia ou inclui os dados da imagem.
[0107] Em uma implementação, o método 7000 inclui gerar uma imagem com base nos dados da imagem. Em resposta ao recebimento de uma entrada para selecionar uma parte da imagem, o método 7000 inclui modificar ou atualizar a parte da imagem que foi selecionada, em que a modificação ou atualização inclui qualquer
Petição 870190052039, de 03/06/2019, pág. 53/79
42/43 parte da ampliação (por exemplo, zoom in, out) a imagem, filtrando o ruído da parte da imagem, aumentando o contraste na parte da imagem ou alterando a parte da imagem de qualquer outra forma.
[0108] Em uma implementação, o método 7000 inclui a modificação de qualquer tipo de compactação e uma quantidade de compactação aplicada aos dados de estado com base na taxa de transferência de dados. O método 7000 inclui a determinação de um atraso de transmissão com base em um intervalo de tempo entre os sinais (incluindo os dados do estado atual) sendo recebidos. Em resposta a determinar que o atraso de transmissão satisfaz um critério de atraso (por exemplo, os sinais estão sendo recebidos em intervalos de um minuto que estão além do limite ou critério de 30 minutos), gerando dados preditivos com base em dados de estado recebidos anteriormente dentro de um período de tempo predeterminado , em que os dados de estado otimizados se baseiam ou incluem os dados preditivos. Em resposta a determinar que a taxa de transferência de dados satisfaz o critério de taxa de transferência de dados, enviando dados de instrução ao veículo, em que os dados de instrução incluem qualquer instrução para o veículo parar ou ir para um determinado local e parar e uma instrução para o veículo para mudar de localização para eliminar a obstrução de pelo menos um dos sinais pelo respectivo dos objetos.
[0109] A tecnologia apresentada proporciona um aparelho de processamento de largura de banda que otimiza de forma mais eficiente os dados de imagem, incluindo dados de estado que são recebidos de um veículo (por exemplo, um veículo autônomo). A tecnologia apresentada pode reduzir o tempo de inatividade resultante de imagens indisponíveis ou de baixa qualidade devido a restrições de largura de banda causadas por fatores como obstrução (por exemplo, obstrução de sinais de ou para um veículo causados por estruturas físicas ou outros objetos externos) e interferência (por exemplo, outros sinais que interferem com os sinais de ou para o veículo).
Petição 870190052039, de 03/06/2019, pág. 54/79
43/43 [0110] Embora a tecnologia apresentada tenha sido descrita em relação a certas formas de realização, deve ser entendido que a tecnologia apresentada não deve ser limitada às formas de realização apresentadas, mas, pelo contrário, se destinar a abranger várias modificações e disposições equivalentes incluídas no âmbito das reivindicações anexas, cujo escopo deve receber a interpretação mais ampla, de modo a abranger todas essas modificações e estruturas equivalentes, conforme permitido pela lei.
Claims (20)
1. Método CARACTERIZADO pelo fato de:
determinar, por um sistema de processamento de sinal de um aparelho controlador, uma taxa de transferência de dados de uma pluralidade de sinais recebidos de um veículo, a pluralidade de sinais incluindo dados de estado do veículo, os dados de estado incluindo dados de sensor de um sensor óptico do veículo;
determinar, pelo sistema de processamento de sinal que a taxa de transferência de dados está abaixo de um limite predeterminado de taxa de transferência de dados;
determinar, pelo sistema de processamento de sinal e utilizar os dados de estado e dados externos associados ao veículo, uma localização do veículo e uma localização de, pelo menos, um de uma pluralidade de objetos que obstruem, pelo menos, um da pluralidade de sinais;
gerar, por um sistema de processamento de imagem do aparelho controlador, dados de imagem usando os dados de sensor;
gerar, pelo sistema de processamento de imagem, uma imagem usando os dados de imagem;
receber, pelo sistema de processamento de imagem, uma entrada para selecionar uma parte da imagem;
modificar, pelo sistema de processamento de imagem, a parte da imagem que estava selecionada para gerar dados de estado otimizados, o modificador compreendendo intensificar pelo menos uma característica gráfica da imagem; e enviar, por uma unidade de comunicação do aparelho controlador, dados de instrução para o veículo usando os dados de estado otimizados.
2. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que os dados de estado incluem ainda dados de sensores de uma pluralidade de sensores associados ao veículo, em que a pluralidade de sensores inclui um sensor
Petição 870190052039, de 03/06/2019, pág. 72/79
2/8 de detecção e alcance de luz, um sensor de movimento e um sensor de áudio.
3. Método de acordo com a reivindicação 2, CARACTERIZADO pelo fato de compreender ainda:
enviar, por uma unidade de comunicação do aparelho controlador, uma mensagem de dados de sensor priorizada para o veículo, a mensagem de dados de sensor priorizado incluindo uma solicitação de dados de sensores priorizados da pluralidade de sensores, os dados de sensor priorizado incluindo uma listagem priorizada da pluralidade de sensores usando a mensagem de dados de sensor priorizado, a taxa de transferência de dados, tipo de sensor da pluralidade de sensores, locações da pluralidade de sensores, dados de sequência de priorização de sensores armazenados e dados de obstrução de sensores; e receber, pela unidade de comunicação, os dados de sensor do veículo em uma ordem usando a listagem priorizada.
4. Método de acordo com a reivindicação 2, CARACTERIZADO pelo fato de compreender ainda:
filtrar, por um filtro do aparelho controlador, os dados de sensor para remover ruído dos dados de sensor; e gerar, pelo sistema de processamento de sinal, os dados de estado otimizado usando os dados de sensor filtrado.
5. Método de acordo com a reivindicação 2, CARACTERIZADO pelo fato de compreender ainda:
armazenar, pelo sistema de processamento de imagem, os dados de imagem em um banco de dados;
recuperar, pelo sistema de processamento de imagem, os dados de imagem quando a taxa de transferência de dados está abaixo do limite predeterminado da taxa de transferência de dados; e gerar, pelo sistema de processamento de sinal, os dados de estado otimizado
Petição 870190052039, de 03/06/2019, pág. 73/79
3/8 usando os dados da imagem recuperada.
6. Método de acordo com a reivindicação 5, CARACTERIZADO pelo fato de: que a modificação compreende ainda ampliar a parte da imagem, filtrar ruído da porção da imagem e aumentar o contraste na porção da imagem.
7. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de compreender ainda:
modificar, pelo sistema de processamento de sinal, um tipo de compressão e uma quantidade de compressão que é aplicada aos dados de estado usando a taxa de transferência de dados.
8. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de compreender ainda:
determinar, pelo sistema de processamento de sinal, um atraso de transmissão utilizando um intervalo de tempo entre a pluralidade de sinais sendo recebidos;
em resposta à determinação de que o atraso de transmissão está acima de um limiar de atraso de transmissão predeterminado, gerando, por um módulo de aprendizagem de máquina do aparelho controlador, dados preditivos utilizando dados de estado recebidos anteriormente dentro de um período de tempo predeterminado; e gerar, pelo sistema de processamento de sinal, os dados de estado otimizado usando os dados preditivos.
9. Método de acordo com a reivindicação 1, CARACTERIZADO pelo fato de que os dados de instrução incluem uma instrução para o veículo parar e uma instrução para o veículo mudar de localização para eliminar a obstrução de pelo menos um da pluralidade de sinais pelo menos um da pluralidade de objetos.
10. Aparelho controlador, CARACTERIZADO pelo fato de compreender:
uma memória; e
Petição 870190052039, de 03/06/2019, pág. 74/79
4/8 um processador configurado para executar instruções armazenadas na memória para:
determinar uma taxa de transferência de dados de uma pluralidade de sinais recebidos de um veículo, a pluralidade de sinais incluindo dados de estado do veículo, os dados de estado, incluindo dados de sensor de um sensor óptico do veículo;
determinar que a taxa de transferência de dados está abaixo de um limite de taxa de transferência de dados predeterminado, determinar, utilizando os dados de estado e dados externos associados ao veículo, uma localização do veículo e uma localização de, pelo menos, um de uma pluralidade de objetos que obstruem, pelo menos, um da pluralidade de sinais;
gerar dados de imagem usando os dados de sensor;
gerar uma imagem usando os dados da imagem;
receber uma entrada para selecionar uma parte da imagem;
modificar a parte da imagem que foi selecionada para gerar dados de estado otimizados, o modificador compreendendo intensificar pelo menos uma característica gráfica da imagem; e enviar dados de instrução para o veículo usando os dados de estado otimizados.
11. Aparelho controlador de acordo com a reivindicação 10, CARACTERIZADO pelo fato de que os dados de estado incluem ainda dados de sensores de uma pluralidade de sensores associados ao veículo, em que a pluralidade de sensores inclui um sensor de detecção e alcance de luz, um sensor de movimento e um sensor de áudio.
12. Aparelho controlador de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que o processador é ainda configurado para executar instruções armazenadas na memória para:
enviar uma mensagem de dados de sensor priorizado para o veículo, a
Petição 870190052039, de 03/06/2019, pág. 75/79
5/8 mensagem de dados de sensor priorizado incluindo uma solicitação de dados de sensores prioritários da pluralidade de sensores, os dados de sensor priorizado incluindo uma listagem priorizada da pluralidade de sensores utilizando a mensagem de dados de sensor priorizada, a taxa de transferência de dados, tipo de sensor da pluralidade de sensores, locações da pluralidade de sensores, os dados de sequência de priorização de sensores armazenados e dados de obstrução de sensores ; e receber os dados de sensor do veículo em uma ordem usando a chave priorizada.
13. Aparelho controlador de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que o processador é ainda configurado para executar instruções armazenadas na memória para:
determinar um atraso de transmissão utilizando um intervalo de tempo entre a pluralidade de sinais recebidos;
em resposta à determinação de que o atraso de transmissão está acima de um limiar de atraso de transmissão predeterminado, gerar dados preditivos utilizando dados de estado previamente recebidos dentro de um período de tempo; e gerar os dados de estado otimizados utilizando os dados preditivos.
14. Aparelho controlador de acordo com a reivindicação 11, CARACTERIZADO pelo fato de que o processador é ainda configurado para executar instruções armazenadas na memória para:
armazenar os dados da imagem em um banco de dados;
recuperar os dados da imagem quando a taxa de transferência de dados está abaixo de um limiar de atraso de transmissão predeterminado; e gerar os dados de estado otimizados utilizando os dados preditivos.
15. Aparelho controlador de acordo com a reivindicação 14, CARACTERIZADO pelo fato de que a modificação ainda compreender ampliar a parte da imagem, filtrando ruído da parte da imagem e aumentando o contraste na parte da
Petição 870190052039, de 03/06/2019, pág. 76/79
6/8 imagem.
16. Meio de armazenamento não transitório legível por computador, incluindo instruções de programa executáveis por um ou mais processadores de um aparelho controlador que, quando executados, fazem com que um ou mais processadores executem operações, CARACTERIZADO por compreender:
determinar uma taxa de transferência de dados de uma pluralidade de sinais recebidos de um veículo, a pluralidade de sinais incluindo dados de estado do veículo, os dados de estado incluindo dados de sensor de um sensor óptico do veículo.
determinar de que a taxa de transferência de dados está abaixo de um limiar de atraso de transmissão predeterminado;
determinar, utilizando os dados de estado e dados externos associados ao veículo, uma localização do veículo e uma localização de pelo menos um de uma pluralidade de objetos que obstruem pelo menos um da pluralidade de sinais;
gerar dados de imagem usando os dados de sensor;
gerar uma imagem usando os dados da imagem;
receber uma entrada para selecionar uma parte da imagem;
modificar a parte da imagem que foi selecionada para gerar dados de estado otimizados, o modificador compreendendo intensificar pelo menos uma característica gráfica da imagem; e enviar dados de instrução para o veículo usando os dados de estado otimizados.
17. Meio de armazenamento legível não transitório de acordo com a reivindicação 16, CARACTERIZADO pelo fato de que os dados de estado ainda incluem dados de sensores de uma pluralidade de sensores associados ao veículo, em que a pluralidade de sensores inclui um sensor de detecção e alcance de luz, um sensor de movimento e um sensor de áudio.
18. Meio de armazenamento legível por computador não transitório de acordo
Petição 870190052039, de 03/06/2019, pág. 77/79
7/8 com a reivindicação 17, CARACTERIZADO pelo fato de compreender ainda as operações:
enviar uma mensagem de dados de sensor priorizada para o veículo, a mensagem de dados de sensor priorizada incluindo uma solicitação de dados de sensores priorizados a partir da pluralidade de sensores, os dados de sensor priorizada incluindo uma listagem priorizada da pluralidade de sensores utilizando a mensagem de dados de sensor priorizada, a taxa de transferência de dados, tipo de sensor de uma pluralidade de sensores, locações de uma pluralidade de sensores, os dados de sequência de priorização de sensores armazenados e dados de obstrução de sensores; e receber os dados de sensor do veículo em uma ordem usando a listagem priorizada.
19. Meio de armazenamento legível por computador não transitório de acordo com a reivindicação 17, CARACTERIZADO pelo fato de compreender ainda as operações:
armazenar os dados da imagem em um banco de dados;
recuperar os dados da imagem quando a taxa de transferência está abaixo de um limiar de atraso de transmissão predeterminado; e gerar os dados de estado otimizados utilizando os dados preditivos.
20. Meio de armazenamento legível por computador não transitório de acordo com a reivindicação 17, CARACTERIZADO pelo fato de compreender as operações:
determinar um atraso de transmissão utilizando um intervalo de tempo entre a pluralidade de sinais recebidos; e em resposta à determinação de que o atraso de transmissão está acima de um limiar de atraso de transmissão predeterminado, gerar dados preditivos usando dados de estado previamente recebidos dentro de um período de tempo predeterminado; e
Petição 870190052039, de 03/06/2019, pág. 78/79
8/8 gerar os dados de estado otimizados utilizando os dados preditivos.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662430792P | 2016-12-06 | 2016-12-06 | |
| PCT/US2017/064808 WO2018106752A1 (en) | 2016-12-06 | 2017-12-06 | Bandwidth constrained image processing for autonomous vehicles |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR112019011455A2 true BR112019011455A2 (pt) | 2019-10-15 |
Family
ID=62492136
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR112019011455A BR112019011455A2 (pt) | 2016-12-06 | 2017-12-06 | processamento de imagem com restrições de largura de banda para veículos autônomos |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US10659991B2 (pt) |
| EP (1) | EP3552358B1 (pt) |
| JP (1) | JP6720415B2 (pt) |
| CN (1) | CN110249609B (pt) |
| BR (1) | BR112019011455A2 (pt) |
| WO (1) | WO2018106752A1 (pt) |
Families Citing this family (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017115166A1 (en) * | 2015-12-28 | 2017-07-06 | Kriezman Omri | Parking gate barrier rod projecting system |
| US10293818B2 (en) * | 2017-03-07 | 2019-05-21 | Uber Technologies, Inc. | Teleassistance data prioritization for self-driving vehicles |
| US10922903B2 (en) * | 2017-07-11 | 2021-02-16 | Waymo Llc | Methods and systems for providing remote assistance to a stopped vehicle |
| US20190187691A1 (en) | 2017-12-18 | 2019-06-20 | Steeringz, Inc. | Safety of autonomous vehicles by remote support request |
| US11699207B2 (en) * | 2018-08-20 | 2023-07-11 | Waymo Llc | Camera assessment techniques for autonomous vehicles |
| CN110972203B (zh) | 2018-09-28 | 2023-09-01 | 苹果公司 | 基于无线通信信道带宽条件的电子设备内容提供调节 |
| CN110972202B (zh) | 2018-09-28 | 2023-09-01 | 苹果公司 | 基于无线通信信道带宽条件的移动设备内容提供调节 |
| US11137754B2 (en) * | 2018-10-24 | 2021-10-05 | Ford Global Technologies, Llc | Intermittent delay mitigation for remote vehicle operation |
| US11281214B2 (en) | 2018-12-19 | 2022-03-22 | Zoox, Inc. | Safe system operation using CPU usage information |
| EP3690852A1 (en) | 2019-01-29 | 2020-08-05 | Volkswagen Aktiengesellschaft | System, vehicle, network component, apparatuses, methods, and computer programs for a vehicle and a network component |
| EP3702864B1 (en) * | 2019-02-27 | 2021-10-27 | Ree Technology GmbH | Accounting for latency in teleoperated remote driving |
| US11003195B2 (en) * | 2019-02-28 | 2021-05-11 | GM Global Technology Operations LLC | Method to prioritize the process of receiving for cooperative sensor sharing objects |
| US11507855B2 (en) * | 2019-03-22 | 2022-11-22 | Motorola Mobility Llc | Generating action suggestions based on a change in user mood |
| EP3959645A1 (en) * | 2019-04-24 | 2022-03-02 | Sony Group Corporation | Sensing apparatus and control system for automotive |
| WO2021151466A1 (en) * | 2020-01-28 | 2021-08-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Dynamic stream adaptation |
| US11830302B2 (en) | 2020-03-24 | 2023-11-28 | Uatc, Llc | Computer system for utilizing ultrasonic signals to implement operations for autonomous vehicles |
| EP4125315A1 (en) * | 2020-05-01 | 2023-02-08 | Kinze Manufacturing, Inc. | Gps location augmentation and outage playthrough |
| IT202000010300A1 (it) | 2020-05-08 | 2021-11-08 | Milano Politecnico | Sistema e metodo di comunicazione tra un veicolo ed un altro agente |
| US11617074B2 (en) * | 2020-06-15 | 2023-03-28 | Toyota Motor North America, Inc. | Secure boundary area communication systems and methods |
| CN115309482A (zh) * | 2021-04-20 | 2022-11-08 | 福特全球技术公司 | 一种车辆交互系统以及相应的车辆和方法 |
| JPWO2023007645A1 (pt) * | 2021-07-29 | 2023-02-02 | ||
| JP2023064332A (ja) * | 2021-10-26 | 2023-05-11 | トヨタ自動車株式会社 | 車両制御装置、システム、方法、及びプログラム |
| DE102022200171A1 (de) | 2022-01-10 | 2023-07-13 | Volkswagen Aktiengesellschaft | Verfahren zur adaptiven Bilddatenkompression in einem Fahrzeug, entsprechende Vorrichtung, Computerprogramm und Kraftfahrzeug |
| US20230326091A1 (en) * | 2022-04-07 | 2023-10-12 | GM Global Technology Operations LLC | Systems and methods for testing vehicle systems |
| KR102641702B1 (ko) * | 2022-05-12 | 2024-02-28 | 주식회사 엘지유플러스 | 자율 주행 시스템 및 자율 주행 시스템의 영상 처리 장치 및 방법 |
| WO2023211119A1 (ko) * | 2022-04-27 | 2023-11-02 | 주식회사 엘지유플러스 | 원격 주행 시스템에서의 사고 인식 및 예방 방법 및 그를 위한 장치 및 시스템 |
| WO2024021083A1 (en) * | 2022-07-29 | 2024-02-01 | Apollo Intelligent Driving Technology (Beijing) Co., Ltd. | Sensor data transfer with self adaptive configurations for autonomous driving vehicle |
Family Cites Families (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4405943A (en) * | 1981-08-19 | 1983-09-20 | Harris Corporation | Low bandwidth closed loop imagery control and communication system for remotely piloted vehicle |
| US4855822A (en) * | 1988-01-26 | 1989-08-08 | Honeywell, Inc. | Human engineered remote driving system |
| US6230097B1 (en) | 1998-08-31 | 2001-05-08 | Trimble Navigation Limited | Accurate vehicle navigation |
| US6611755B1 (en) * | 1999-12-19 | 2003-08-26 | Trimble Navigation Ltd. | Vehicle tracking, communication and fleet management system |
| US6549846B1 (en) | 2000-11-21 | 2003-04-15 | Trimble Navigation Limited | Accurate vehicle navigation |
| IL147370A (en) | 2001-12-27 | 2007-07-24 | Itzhak Florentin | Method and system for guiding a remote vehicle via a retarded communication channel |
| JP4615317B2 (ja) | 2005-01-18 | 2011-01-19 | 株式会社リコー | 符号化装置 |
| JP2006208223A (ja) * | 2005-01-28 | 2006-08-10 | Aisin Aw Co Ltd | 車両位置認識装置及び車両位置認識方法 |
| US7616642B2 (en) * | 2006-01-04 | 2009-11-10 | Sap Ag | Priority assignment and transmission of sensor data |
| US8594933B2 (en) * | 2006-02-09 | 2013-11-26 | Sap Ag | Transmission of sensor data based on geographical navigation data |
| JP4312210B2 (ja) | 2006-05-10 | 2009-08-12 | ユーリテクノス株式会社 | モバイルウェブブラウザに対応する画像拡大／縮小方法およびプログラム、ならびにそれを利用した使用者インターフェイスおよび画像送信方法 |
| US8355818B2 (en) | 2009-09-03 | 2013-01-15 | Battelle Energy Alliance, Llc | Robots, systems, and methods for hazard evaluation and visualization |
| JP2008236103A (ja) | 2007-03-19 | 2008-10-02 | Clarion Co Ltd | 映像配信システム、映像配信方法、映像配信サーバ及び映像配信プログラム |
| JP4973358B2 (ja) | 2007-07-23 | 2012-07-11 | 株式会社日立製作所 | リモート操作システム |
| WO2010032058A1 (en) | 2008-09-19 | 2010-03-25 | Mbda Uk Limited | Method and apparatus for displaying stereographic images of a region |
| IL201682A0 (en) | 2009-10-22 | 2010-11-30 | Bluebird Aero Systems Ltd | Imaging system for uav |
| KR20110114957A (ko) * | 2010-04-14 | 2011-10-20 | 삼성전기주식회사 | 데이터 송신 장치와 방법, 이를 이용한 네트워크 데이터 전송 시스템 및 방법 |
| US8370392B1 (en) * | 2010-10-07 | 2013-02-05 | The Boeing Company | Methods and systems for controlling storage and transmission of data |
| US8989089B2 (en) * | 2011-08-18 | 2015-03-24 | Ofinno Technologies, Llc | Automobile data transmission |
| WO2013161345A1 (ja) | 2012-04-24 | 2013-10-31 | 日産自動車株式会社 | 監視システム及び監視方法 |
| KR101384332B1 (ko) * | 2012-09-06 | 2014-04-10 | 현대모비스 주식회사 | 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템 |
| JP2014071778A (ja) | 2012-09-28 | 2014-04-21 | Equos Research Co Ltd | 車両 |
| US20140310277A1 (en) * | 2013-04-15 | 2014-10-16 | Flextronics Ap, Llc | Suspending user profile modification based on user context |
| CN103490842B (zh) | 2013-09-26 | 2016-09-28 | 深圳市大疆创新科技有限公司 | 数据传输系统及方法 |
| WO2015044502A1 (en) * | 2013-09-27 | 2015-04-02 | Teleste Oyj | Wireless data offload system |
| US9843647B2 (en) * | 2014-02-25 | 2017-12-12 | Here Global B.V. | Method and apparatus for providing selection and prioritization of sensor data |
| US20160025497A1 (en) * | 2014-07-24 | 2016-01-28 | Harman International Industries, Incorporated | Pre-caching of navigation content based on cellular network coverage |
| CN104135662B (zh) * | 2014-08-19 | 2017-04-26 | 哈尔滨工业大学 | 用于在有限带宽和发射速率条件下对视频文件的改进型h.264压缩编码方法 |
| US20160063332A1 (en) | 2014-08-27 | 2016-03-03 | Toyota Jidosha Kabushiki Kaisha | Communication of external sourced information to a driver |
| JP6657612B2 (ja) * | 2015-01-26 | 2020-03-04 | 株式会社リコー | 情報処理装置、情報処理システム、及びプログラム |
| CA2976344A1 (en) * | 2015-02-10 | 2016-08-18 | Mobileye Vision Technologies Ltd. | Sparse map for autonomous vehicle navigation |
| JP6496585B2 (ja) | 2015-03-24 | 2019-04-03 | クラリオン株式会社 | 物体認識装置 |
| US9690290B2 (en) * | 2015-06-04 | 2017-06-27 | Toyota Motor Engineering & Manufacturing North America, Inc. | Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles |
| US9988056B2 (en) * | 2015-12-15 | 2018-06-05 | Octo Telematics Spa | Systems and methods for controlling sensor-based data acquisition and signal processing in vehicles |
| CN105783936B (zh) * | 2016-03-08 | 2019-09-24 | 武汉中海庭数据技术有限公司 | 用于自动驾驶中的道路标识制图及车辆定位方法及系统 |
| CN106060553A (zh) * | 2016-07-26 | 2016-10-26 | 公安部第研究所 | 基于感兴趣区域的时域可分级编码装置及其方法 |
-
2017
- 2017-12-06 BR BR112019011455A patent/BR112019011455A2/pt unknown
- 2017-12-06 WO PCT/US2017/064808 patent/WO2018106752A1/en active Search and Examination
- 2017-12-06 EP EP17879322.0A patent/EP3552358B1/en active Active
- 2017-12-06 CN CN201780074880.9A patent/CN110249609B/zh active Active
- 2017-12-06 US US16/461,104 patent/US10659991B2/en active Active
- 2017-12-06 JP JP2019529967A patent/JP6720415B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018106752A1 (en) | 2018-06-14 |
| JP2020514850A (ja) | 2020-05-21 |
| CN110249609B (zh) | 2020-12-15 |
| EP3552358A4 (en) | 2020-03-11 |
| CN110249609A (zh) | 2019-09-17 |
| EP3552358B1 (en) | 2021-05-26 |
| JP6720415B2 (ja) | 2020-07-08 |
| US20200068434A1 (en) | 2020-02-27 |
| US10659991B2 (en) | 2020-05-19 |
| EP3552358A1 (en) | 2019-10-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| BR112019011455A2 (pt) | processamento de imagem com restrições de largura de banda para veículos autônomos | |
| JP6740480B2 (ja) | 自律走行車用の高度な脅威警告 | |
| US20200276973A1 (en) | Operation of a vehicle in the event of an emergency | |
| US10839473B2 (en) | Autonomous vehicle monitoring using generated interfaces | |
| BR112019010723A2 (pt) | teleoperação de carros autônomos para negociar situações problemáticas | |
| US11927952B2 (en) | Adaptive multi-network vehicle architecture | |
| JP6716792B2 (ja) | 自律走行車が問題状況に対処するための解決データの生成 | |
| BR112019016268B1 (pt) | Método para uso no atravessamento de uma rede de transporte de veículo e veículo autônomo | |
| JP2019537159A5 (pt) | ||
| US20190110174A1 (en) | Systems and Methods for a Vehicle Application Programming Interface | |
| BR112019011381A2 (pt) | interfaces de sobreposição de trajetória de solução para veículos autônomos | |
| JP2022550622A (ja) | 自律走行車の安全性が確保される遠隔運転 | |
| US20220063660A1 (en) | Drive Mode Selection | |
| WO2022059489A1 (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B350 | Update of information on the portal [chapter 15.35 patent gazette] | ||
| B06W | Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette] |