BR102021018438A2 - SYSTEM AND METHOD FOR REMOTE DRIVING A LAND VEHICLE - Google Patents
SYSTEM AND METHOD FOR REMOTE DRIVING A LAND VEHICLE Download PDFInfo
- Publication number
- BR102021018438A2 BR102021018438A2 BR102021018438-8A BR102021018438A BR102021018438A2 BR 102021018438 A2 BR102021018438 A2 BR 102021018438A2 BR 102021018438 A BR102021018438 A BR 102021018438A BR 102021018438 A2 BR102021018438 A2 BR 102021018438A2
- Authority
- BR
- Brazil
- Prior art keywords
- vehicle
- remote
- driving
- time
- remote station
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 10
- 238000004891 communication Methods 0.000 claims abstract description 48
- 239000004020 conductor Substances 0.000 claims abstract description 5
- 239000011521 glass Substances 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 4
- 230000003190 augmentative effect Effects 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 claims description 3
- 239000000446 fuel Substances 0.000 claims description 2
- 230000011664 signaling Effects 0.000 claims 2
- 230000004913 activation Effects 0.000 claims 1
- 238000012795 verification Methods 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- LIWAQLJGPBVORC-UHFFFAOYSA-N ethylmethylamine Chemical compound CCNC LIWAQLJGPBVORC-UHFFFAOYSA-N 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0044—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with a computer generated representation of the environment of the vehicle, e.g. virtual reality, maps
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
- G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0285—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Selective Calling Equipment (AREA)
Abstract
A presente invenção se refere a um sistema (1) e um método para condução remota de veículos (2), especialmente para veículos terrestres que trafegam por estradas abertas ao público ou estradas privadas que compreende um veículo (2) e uma estação de condução remota (9), sendo que a comunicação entre o veículo (2) e a estação de condução remota (9) é realizada pela rede de comunicação 5G ou superior das operadoras de telefonia comercial através de um módulo de comunicação (18) 5G ou superior instalado no veículo (2) e outro módulo de comunicação (18) 5G ou superior instalado na estação remota (9), sendo que o módulo de comunicação (18) instalado no veículo (2) transmite em tempo real as imagens e sons captados no veículo (2) para a estação remota (9) e desta recebe os comandos enviados remotamente pelo condutor remoto (6); e, um sistema de condução autônomo (19) para efetuar uma parada segura do veículo (2), ao detectar a perda da característica de tempo real no tráfego de dados. 
Description
[0001] A presente invenção se refere a um sistema e um método para condução remota de veículos, especialmente para veículos terrestres que trafegam por estradas abertas ao público ou estradas privadas. Este sistema e método não busca substituir os sistemas totalmente autônomos de condução de veículos, porém busca atender a demanda para a qual a condução totalmente autônoma não se mostra segura ou funcional, sendo, portanto, um sistema híbrido entre o sistema autônomo e o sistema remoto.[0001] The present invention relates to a system and a method for remote driving of vehicles, especially for land vehicles traveling on roads open to the public or private roads. This system and method does not seek to replace fully autonomous vehicle driving systems, but seeks to meet the demand for which fully autonomous driving is not safe or functional, therefore being a hybrid system between the autonomous system and the remote system. .
[0002] Existem diversos sistemas disponíveis comercialmente ou sistemas experimentais que realizam a condução autônoma de veículos. Em alguns destes sistemas, é necessária a presença de um condutor no interior do veículo para intervir no sistema em caso de mau funcionamento. Outros sistemas já admitem a condução totalmente remota, especialmente em aeronaves e veículos operando em estradas privadas. Observa-se que tais sistemas por muitas vezes cometem falhas ao se depararem com situações não previstas, para as quais não foram treinados. Tais eventos por muitas vezes resultam em acidentes.[0002] There are several commercially available systems or experimental systems that perform autonomous vehicle driving. In some of these systems, the presence of a driver inside the vehicle is required to intervene in the system in case of malfunction. Other systems already support fully remote driving, especially in aircraft and vehicles operating on private roads. It is observed that such systems often fail when faced with unforeseen situations, for which they were not trained. Such events often result in accidents.
[0003] A presente invenção busca a realização de um sistema de condução e um método híbrido, no qual é possível a condução remota complementada por um sistema de condução autônomo, que somente opera em modo de emergência, quando ocorre falha na comunicação entre o veículo e a estação de condução remota, conduzindo o veículo para uma parada segura, ou devolvendo a condução para a estação de condução remota, caso a comunicação seja restabelecida.[0003] The present invention seeks to realize a driving system and a hybrid method, in which remote driving is possible, complemented by an autonomous driving system, which only operates in emergency mode, when there is a failure in communication between the vehicle and the remote drive station, driving the vehicle to a safe stop, or returning drive to the remote drive station if communication is re-established.
[0004] Muitas estradas, especialmente em países em desenvolvimento, possuem pista simples, nas quais os veículos trafegam em sentidos opostos separados por poucos centímetros, muitas destas estradas possuem trechos sinuosos de serra, os quais muitas vezes não possuem acostamento. Para piorar, tais estradas por muitas vezes são esburacadas ou possuem sinalização visual deficiente ou inexistente, ainda, muitas destas estradas não são sequer pavimentadas. Tais fatores impossibilitam o uso de sistemas de condução autônoma conhecidos no estado da técnica. Desta forma, o sistema de condução remota se mostra muito mais seguro e confiável, sendo o único capaz de operar em tais condições[0004] Many roads, especially in developing countries, have a single track, in which vehicles travel in opposite directions separated by a few centimeters, many of these roads have winding stretches of mountains, which often do not have a shoulder. To make matters worse, such roads are often potholed or have poor or non-existent visual signage, and many of these roads are not even paved. Such factors preclude the use of autonomous driving systems known in the state of the art. In this way, the remote driving system proves to be much safer and more reliable, being the only one capable of operating in such conditions.
[0005] Por se tratar de um sistema remoto, o mesmo permite que uma empresa de transporte coletivo de pessoas ou transporte de carga possua um grupo de motoristas que possam trabalhar na sede da empresa, sem que os mesmos necessitem se deslocar junto com tais veículos, reduzindo os custos e trazendo mais qualidade de vida para os motoristas e suas famílias. Este sistema também permite que os diversos motoristas se revezem em intervalos de tempo mais reduzido do que se estivessem na condução do veículo, visto que é muito comum que motoristas dirijam do amanhecer até o anoitecer sem que tenham a possibilidade de se revezar na direção. No uso não comercial, este sistema pode ser utilizado por cidadãos em suas atividades diárias, como levar o filho ao colégio ou idosos ao médico, mesmo que residam em cidades, estados ou até mesmo países diferentes.[0005] Because it is a remote system, it allows a public transport company for people or cargo transport to have a group of drivers who can work at the company's headquarters, without the need for them to travel with such vehicles , reducing costs and improving quality of life for drivers and their families. This system also allows the different drivers to take turns in shorter intervals than if they were driving the vehicle, since it is very common for drivers to drive from dawn to dusk without being able to take turns driving. In non-commercial use, this system can be used by citizens in their daily activities, such as taking the child to school or the elderly to the doctor, even if they live in different cities, states or even countries.
[0006] Este sistema, opera utilizando redes comerciais de comunicação, as quais são operadas por terceiros. Em tais sistemas de comunicação, observam-se interrupções na continuidade do serviço, fato observado por qualquer usuário de aplicativos de comunicação em tempo real ou de transmissões de vídeos e áudios por streaming. Tais interrupções podem ser causadas por sobrecarga no sistema das empresas operadoras de comunicação ou podem ser causadas por sombras nas áreas de cobertura, fato especialmente observado em veículos em movimento.[0006] This system operates using commercial communication networks, which are operated by third parties. In such communication systems, there are interruptions in the continuity of the service, a fact observed by any user of real-time communication applications or streaming video and audio transmissions. Such interruptions can be caused by overload in the system of the communication operators or can be caused by shadows in the coverage areas, a fact especially observed in moving vehicles.
[0007] Os sistemas atuais de comunicação comercial, ou seja, comunicação de quinta geração (5G) ou superiores, permitem o tráfego de alta taxa de dados, o que permite a implementação de sistemas como o ora proposto.[0007] Current commercial communication systems, that is, fifth generation communication (5G) or higher, allow high data rate traffic, which allows the implementation of systems such as the one proposed herein.
[0008] A presente invenção pode ser melhor compreendida considerando as seguintes figuras:
Figura 1: Sistema para condução remota;
Figura 2: Verificação de operação em tempo real.[0008] The present invention can be better understood considering the following figures:
Figure 1: System for remote driving;
Figure 2: Real-time operation check.
[0009] Na Figura 1 temos o sistema para condução remota (1) de veículo terrestre que compreende um veículo (2) dotado de câmeras de alta resolução (3) para captura de imagens em tempo real, contendo no mínimo quatro câmeras (3): uma voltada para a frente do veículo (2), uma voltada para a traseira, uma voltada para o lado esquerdo e outra para o lado direito. Também compreende microfones (4) instalados no veículo (2), contendo no mínimo dois microfones, cada um voltado para um lado, instalados na posição da cabeça do condutor virtual (5), o que permitem ao condutor remoto (6) enxergar e ouvir da mesma forma como se estivesse sentado no assento do condutor virtual (7). Tal sistema (1) também compreende atuadores (8) instalados no veículo com acionamento remoto, sendo tais atuadores um atuador do pedal do freio, atuador do pedal do acelerador, atuador do pedal de embreagem em carros de câmbio manual, atuador de alavanca seletora de câmbio tanto para veículos manuais ou automáticos, atuador do volante de direção, atuador da chave de seta, atuador da buzina, atuador para acionamento do limpador de para-brisa, atuador para acionamento dos faróis e demais sistemas indispensáveis a condução do veículo. Cabe ressaltar que o veículo (2) também gera dados referentes à sua operação, como por exemplo, velocidade, rotação do motor, temperatura do motor, pressão na linha de combustível, entre outros. Estes dados podem ser obtidos na porta OBDII disponíveis em veículos em geral. Tais dados são transmitidos de tempos em tempos do veículo (2) para a estação remota (9), visto que não interferem na condução em tempo real do veículo, porém, são de grande importância para diagnóstico remoto e para evitar infrações de trânsito, como no caso do valor da velocidade do veículo (2). Todos os dispositivos instalados no veículo (2) relacionados ao sistema para condução remota (1) são comandados por uma central microprocessada A (22) instalada no veículo (2).[0009] In Figure 1 we have the system for remote driving (1) of a land vehicle, comprising a vehicle (2) equipped with high-resolution cameras (3) for capturing images in real time, containing at least four cameras (3) : one facing the front of the vehicle (2), one facing the rear, one facing the left and one facing the right. It also comprises microphones (4) installed in the vehicle (2), containing at least two microphones, each facing one side, installed in the virtual driver's head position (5), which allow the remote driver (6) to see and hear just as if you were sitting in the virtual driver's seat (7). Such system (1) also comprises actuators (8) installed in the vehicle with remote actuation, such actuators being a brake pedal actuator, accelerator pedal actuator, clutch pedal actuator in manual transmission cars, gear selector lever actuator gearbox for both manual and automatic vehicles, steering wheel actuator, arrow key actuator, horn actuator, windshield wiper actuator, headlight actuator and other systems essential for driving the vehicle. It should be noted that the vehicle (2) also generates data related to its operation, such as speed, engine speed, engine temperature, fuel line pressure, among others. This data can be obtained from the OBDII port available in vehicles in general. Such data are transmitted from time to time from the vehicle (2) to the remote station (9), since they do not interfere with the real-time driving of the vehicle, however, they are of great importance for remote diagnosis and to avoid traffic violations, such as in the case of the vehicle speed value (2). All devices installed in the vehicle (2) related to the remote driving system (1) are commanded by a microprocessed central A (22) installed in the vehicle (2).
[0010] Tal sistema compreende também uma estação remota (9), instalada de modo fixo e remoto em relação ao veículo (2), na qual o condutor remoto (6) possui acesso a todos os comandos disponíveis para a condução do veículo (2). Esta estação (9) compreende um assento do condutor remoto (10) e sensores (11) para todos os comandos disponíveis para a condução do veículo (2), sendo tais comandos um pedal do freio, um pedal do acelerador, um pedal de embreagem, uma alavanca de câmbio, um volante de direção, uma chave de seta, um botão de buzina, uma chave de acionamento do limpador de para-brisa, uma chave para acionamento dos faróis e demais sistemas indispensáveis a condução do veículo. Todos esses comandos da estação remota (9) possuem sensores (11) adequados para efetuar a leitura dos comandos aplicados, sendo que tais leituras compreendem simplesmente um sensor ligado/desligado, para chaves liga/desliga e sensores de força/posição, para comandos representativos da força requerida pelo motorista, como no caso de aceleração e frenagem. Todos estes sensores (11) já são conhecidos por um técnico no assunto.[0010] Such a system also comprises a remote station (9), fixedly installed and remote from the vehicle (2), in which the remote driver (6) has access to all available controls for driving the vehicle (2 ). This station (9) comprises a remote driver's seat (10) and sensors (11) for all commands available for driving the vehicle (2), such commands being a brake pedal, an accelerator pedal, a clutch pedal , a gearshift lever, a steering wheel, an arrow key, a horn button, a windshield wiper switch, a headlight switch and other essential systems for driving the vehicle. All these remote station commands (9) have sensors (11) suitable for reading the applied commands, and such readings simply comprise an on/off sensor, for on/off switches and force/position sensors, for representative commands. of the force required by the driver, as in the case of acceleration and braking. All these sensors (11) are already known by a person skilled in the art.
[0011] Ao condutor remoto (6) é disponibilizado um óculos de realidade aumentada (12), ou seja, uma espécie de óculos dotado de uma tela colorida de alta definição e alto-falantes (14) que reproduzem as imagens e os sons captados do ponto de vista do assento do condutor virtual (7) instalado no veículo (2). Em tal óculos (12) é instalado um sensor de aceleração de três eixos x,y,z (15), que capta os movimentos da cabeça do condutor remoto (16) e transmite na tela a sua frente a imagem correspondente ao ângulo buscado pela cabeça do condutor remoto (16). De modo alternativo, também pode ser construído um sistema dotado de monitores de alta definição (17), que envolvem a estação remota (9) e dispensam o uso do óculos de realidade aumentada (12). Todos os dispositivos instalados na estação de condução remota (9) relacionados ao sistema para condução remota (1) são comandados por uma central microprocessada B (23) instalada na estação (9).[0011] The remote driver (6) is provided with augmented reality glasses (12), that is, a kind of glasses equipped with a high definition color screen and speakers (14) that reproduce the captured images and sounds from the point of view of the virtual driver's seat (7) installed in the vehicle (2). In such glasses (12) is installed an acceleration sensor of three axes x, y, z (15), which captures the movements of the head of the remote driver (16) and transmits on the screen in front of him the image corresponding to the angle sought by the remote conductor head (16). Alternatively, a system equipped with high definition monitors (17) can also be built, involving the remote station (9) and eliminating the use of augmented reality glasses (12). All devices installed in the remote driving station (9) related to the remote driving system (1) are commanded by a microprocessed central B (23) installed in the station (9).
[0012] A comunicação entre o veículo (2) e a estação remota (9) é realizada pela rede de comunicação 5G ou superior das operadoras de telefonia comercial. Para isto, um módulo de comunicação (18) 5G ou superior é instalado no veículo (2) e outro módulo de comunicação (18) 5G ou superior é instalado na estação remota (9). O módulo de comunicação (18) instalado no veículo (2) transmite em tempo real as imagens e sons captados no veículo (2) para a estação remota (9) e desta recebe os comandos enviados remotamente pelo condutor remoto (6). O módulo de comunicação (18) instalado na estação remota (9) transmite em tempo real os comandos gerados pelo condutor remoto (6) e recebe as imagens e sons captados no veículo (2). Os módulos de comunicação (18) citados compreendem módulos comerciais disponíveis no mercado, conhecidos pelo técnico no assunto.[0012] The communication between the vehicle (2) and the remote station (9) is carried out by the 5G or higher communication network of commercial telephone operators. For this, a 5G or higher communication module (18) is installed in the vehicle (2) and another 5G or higher communication module (18) is installed in the remote station (9). The communication module (18) installed in the vehicle (2) transmits in real time the images and sounds captured in the vehicle (2) to the remote station (9) and from this receives the commands sent remotely by the remote driver (6). The communication module (18) installed in the remote station (9) transmits in real time the commands generated by the remote driver (6) and receives the images and sounds captured in the vehicle (2). The cited communication modules (18) comprise commercial modules available on the market, known by the person skilled in the art.
[0013] A questão fundamental para a operação segura do sistema para condução remota (1) é a operação em tempo real, ou seja, que os dados de imagem e áudio coletados no veículo (2) do ponto de vista da cabeça do condutor virtual (5) cheguem ao condutor remoto (6) em tempo real ou no menor tempo possível. Também é indispensável que os comandos dados pelo condutor remoto (6) cheguem aos atuadores (8) instalados no veículo (2) em tempo real ou no menor tempo possível.[0013] The fundamental issue for the safe operation of the system for remote driving (1) is the real-time operation, that is, that the image and audio data collected in the vehicle (2) from the point of view of the virtual driver's head (5) reach the remote conductor (6) in real time or in the shortest possible time. It is also essential that the commands given by the remote driver (6) reach the actuators (8) installed in the vehicle (2) in real time or in the shortest possible time.
[0014] Considerando que o trafego de tais dados ocorre por redes de comunicação 5G ou superiores de empresas operadoras de telefonia comercial, deve se considerar que por muitas vezes o sistema de tais operadoras pode se sobrecarregar e não conseguir realizar o trafego de dados em tempo real. Outro fator é que, devido ao fato do veículo (2) estar em movimento, o mesmo pode ocupar por alguns instantes locais de sombra do sinal de tais empresas de telefonia, o que poderia resultar em graves acidentes, pois a imagem, sons e os comandos para o veículo (2) estariam com atraso. Tal atraso poderia fazer com que o veículo (2) fizesse uma curva fora das coordenadas geográficas exatas da mesma, prosseguisse em linha reta quando em uma curva, ou invadisse a pista contrária, colidindo com outros veículos que eventualmente trafeguem em sentido oposto.[0014] Considering that the traffic of such data occurs through 5G or higher communication networks of commercial telephone operators, it must be considered that the system of such operators can often be overloaded and not be able to carry out the data traffic in time real. Another factor is that, due to the fact that the vehicle (2) is in motion, it may occupy, for a few moments, places where the signal is shadowed by such telephone companies, which could result in serious accidents, as the image, sounds and commands to the vehicle (2) would be delayed. Such a delay could make the vehicle (2) make a curve outside the exact geographic coordinates of the same, continue in a straight line when in a curve, or invade the opposite lane, colliding with other vehicles that eventually travel in the opposite direction.
[0015] Desta forma, torna-se indispensável um sistema de condução autônomo (19) para efetuar uma parada segura do veículo (2), ao detectar a perda da característica de tempo real no tráfego de dados.[0015] In this way, an autonomous driving system (19) is indispensable to make a safe stop of the vehicle (2), when detecting the loss of the real-time characteristic in the data traffic.
[0016] Para verificar o sincronismo na operação em tempo real, o veículo (2) prescinde de uma verificação na qual garanta que os comandos recebidos da estação remota (9) sejam os adequados para aquela condição de tráfego.[0016] To verify the synchronism in real-time operation, the vehicle (2) does not need a verification in which it guarantees that the commands received from the remote station (9) are adequate for that traffic condition.
[0017] Os sistemas de posicionamento via satélite GPS emitem sinais de tempo, os quais poderiam ser utilizados para verificar se o comando recebido da estação remota (9) é atual ou defasado para a operação do veículo (2). Porém, é preferível que tais sinais do GPS sejam utilizados para outras finalidades que não a verificação de sincronismo para operação em tempo real do sistema proposto.[0017] GPS satellite positioning systems emit time signals, which could be used to verify whether the command received from the remote station (9) is current or out of date for the operation of the vehicle (2). However, it is preferable that such GPS signals are used for purposes other than synchronism verification for real-time operation of the proposed system.
[0018] Os módulos GPS disponíveis comercialmente transferem os dados calculados pela triangulação dos satélites na órbita terrestre através de uma porta de comunicação utilizando protocolos de comunicação já conhecidos no estado da técnica. Tais protocolos, como o NMEA 0183 atualizam seus dados através da porta de comunicação de segundo em segundo, sendo esta base de tempo inadequada para a operação em tempo real do sistema proposto.[0018] The commercially available GPS modules transfer the data calculated by triangulating the satellites in Earth orbit through a communication port using communication protocols already known in the state of the art. Such protocols, such as NMEA 0183, update their data through the communication port every second, and this time base is inadequate for the real-time operation of the proposed system.
[0019] Para fins de sincronismo, no sistema ora proposto, além do envio de imagens e áudio do veículo (2) para a estação remota (9) em tempo real, também é enviado um código sequencial, todos via módulo de comunicação (18). Tal código sequencial é incrementado a cada envio, sendo que quando tal código atinge seu valor máximo, que depende da quantidade de bits do registrador, o mesmo é zerado e inicia novamente a contagem a partir do zero.[0019] For synchronization purposes, in the proposed system, in addition to sending images and audio from the vehicle (2) to the remote station (9) in real time, a sequential code is also sent, all via the communication module (18 ). Such sequential code is incremented with each sending, and when such code reaches its maximum value, which depends on the number of bits in the register, it is reset and the count starts again from zero.
[0020] Na figura 2 temos a verificação de operação em tempo real. Quando do envio do primeiro código sequencial (etapa A), a parte do sistema (1) instalado no veículo (2) inicia um contador de tempo. A estação remota (9), ao receber este primeiro código sequencial, via módulo de comunicação (18), o remeterá de volta ao veículo (2) sem efetuar nenhuma operação com tal código sequencial.[0020] In figure 2 we have the verification of operation in real time. When sending the first sequential code (step A), the part of the system (1) installed in the vehicle (2) starts a time counter. The remote station (9), upon receiving this first sequential code, via the communication module (18), will send it back to the vehicle (2) without performing any operation with such sequential code.
[0021] O contador de tempo do veículo (2) segue sua contagem até que receba e identifique o código sequencial enviado à estação remota (9) ou até chegar a um valor máximo de tempo predefinido como limite para operação em tempo real (etapa B).[0021] The vehicle time counter (2) keeps counting until it receives and identifies the sequential code sent to the remote station (9) or until it reaches a maximum predefined time value as a limit for real-time operation (step B ).
[0022] Caso o contador de tempo receba e identifique o código sequencial enviado à estação remota (9), o sistema (1) entende que a comunicação em tempo real (RT) está ocorrendo e a condução do veículo permanece com o condutor remoto (6), retornando o sistema para a etapa A. Assim, o código sequencial é incrementado, enviado para a estação remota (9) e o contador de tempo instalado no veículo (2) é zerado e começa a contar novamente.[0022] If the time counter receives and identifies the sequential code sent to the remote station (9), the system (1) understands that real-time communication (RT) is taking place and the vehicle remains driving with the remote driver ( 6), returning the system to step A. Thus, the sequential code is incremented, sent to the remote station (9) and the time counter installed in the vehicle (2) is reset and starts counting again.
[0023] Caso o contador de tempo chegue ao valor máximo de tempo predefinido como limite para operação em tempo real, sem que tenha recebido ou identificado o código sequencial enviado à estação remota (9), o sistema (1) entende que a comunicação em tempo real se perdeu (OL) e transfere a condução do veículo (2) para o sistema de condução autônomo (19), buscando uma parada segura para o veículo (2) (etapa C). Sistemas de condução autônomos em geral já são conhecidos no estado da técnica e não são objeto da presente invenção. O sistema de condução autônomo (19), ao buscar uma parada segura para o veículo (2), efetua a sinalização visual, por exemplo, pelas luzes de freio e pisca-alerta e também efetua a sinalização sonora, emitindo uma mensagem de áudio ou acionando alguma sirene ou buzina do veículo (2).[0023] If the time counter reaches the maximum predefined time value as a limit for real-time operation, without having received or identified the sequential code sent to the remote station (9), the system (1) understands that the communication in real time is lost (OL) and transfers the driving of the vehicle (2) to the autonomous driving system (19), seeking a safe stop for the vehicle (2) (step C). Autonomous driving systems in general are already known in the state of the art and are not the object of the present invention. The autonomous driving system (19), when looking for a safe stop for the vehicle (2), performs the visual signal, for example, by the brake lights and hazard warning lights and also performs the sound signal, issuing an audio message or activating any vehicle siren or horn (2).
[0024] Por valor máximo de tempo predefinido, entende-se um valor de tempo no qual o veículo se desloque lateralmente na rodovia por uma distância inferior a 0,25 metros, o que poderia levar tal veículo (2) a sair da pista ou invadir a pista contrária. Tal valor de distância lateral é meramente exemplificativo e pode variar dependendo obviamente da largura da pista na qual o veículo (2) está trafegando. Consequentemente, o valor de tempo máximo predefinido também depende da velocidade com a qual o veículo (2) está trafegando, sendo que quanto maior a velocidade, menor será este valor. Como um valor meramente exemplificativo e não limitativo da presente invenção, pode-se citar um valor máximo de tempo de 0,1 segundos.[0024] The maximum predefined time value means a time value in which the vehicle moves laterally on the road for a distance of less than 0.25 meters, which could lead such vehicle (2) to leave the lane or invade the oncoming lane. This lateral distance value is merely illustrative and may obviously vary depending on the width of the lane in which the vehicle (2) is traveling. Consequently, the predefined maximum time value also depends on the speed at which the vehicle (2) is traveling, and the higher the speed, the lower this value will be. As a merely illustrative and non-limiting value of the present invention, a maximum time value of 0.1 seconds can be mentioned.
[0025] Para que a condução do veículo (2) seja devolvida ao condutor remoto (6) no caso de uma parada de emergência, o sistema (1) deve efetuar a verificação da retomada ou não da condição de operação em tempo real (etapa D) Para tal verificação o sistema utiliza o mesmo método que utiliza para a verificação da operação em tempo real com algumas modificações. A parte do sistema (1) instalado no veículo envia novamente um primeiro código sequencial e inicia o contador de tempo. A estação remota (9), ao receber este primeiro código sequencial via módulo de comunicação (18), o remeterá de volta ao veículo (2) sem efetuar nenhuma operação com tal código sequencial. O contador de tempo do veículo (2) segue sua contagem até que receba e identifique o código sequencial enviado à estação remota (9). Caso o contador de tempo não tenha chegado ao valor máximo de tempo predefinido como limite para operação em tempo real quando identificar o código sequencial, a parte do sistema (1) instalado no veículo (2) entende que a comunicação em tempo real foi restabelecida, porém, antes de devolver a condução do veículo (2) ao condutor remoto (6), o sistema (1) permanece testando a conexão por um tempo predeterminado (CT), de modo exemplificativo pode-se citar um teste por um período de 30 segundos. Caso neste tempo predeterminado a conexão não perca sua característica de operação em tempo real, a condução do veículo (2) é devolvida ao condutor remoto (6) e o sistema volta a operar na etapa A.[0025] In order for the driving of the vehicle (2) to be returned to the remote driver (6) in the event of an emergency stop, the system (1) must verify the resumption or not of the operating condition in real time (step D) For such verification, the system uses the same method that it uses for the verification of the operation in real time with some modifications. The part of the system (1) installed in the vehicle sends a first sequential code again and starts the timer. The remote station (9), upon receiving this first sequential code via the communication module (18), will send it back to the vehicle (2) without performing any operation with such sequential code. The vehicle's time counter (2) follows its count until it receives and identifies the sequential code sent to the remote station (9). If the time counter has not reached the maximum predefined time value as a limit for real-time operation when identifying the sequential code, the part of the system (1) installed in the vehicle (2) understands that real-time communication has been reestablished, however, before returning the driving of the vehicle (2) to the remote driver (6), the system (1) remains testing the connection for a predetermined time (CT), as an example we can cite a test for a period of 30 seconds. If, within this predetermined time, the connection does not lose its real-time operation feature, driving the vehicle (2) is returned to the remote driver (6) and the system returns to operating in step A.
[0026] De modo a reforçar a segurança na operação do sistema (1), um condutor pode ser alocado no assento do condutor virtual (7) instalado no veículo (2), sendo que este condutor pode compartilhar a condução do veículo (2) com o condutor remoto (6) e atuar para que o veículo (2) possa ser conduzido quando não for possível a operação em tempo real.[0026] In order to enhance safety in the operation of the system (1), a driver can be allocated in the virtual driver's seat (7) installed in the vehicle (2), and this driver can share driving the vehicle (2) with the remote driver (6) and act so that the vehicle (2) can be driven when real-time operation is not possible.
[0027] Enquanto o sistema para condução remota (1) estiver operando em tempo real (etapa A), ou seja, estiver recebendo os códigos sequenciais em um tempo inferior ao valor máximo de tempo predefinido, o sistema (1) permanece incrementando e enviando códigos sequenciais a estação remota (9) sempre que receber e identificar o código sequencial enviado na iteração imediatamente anterior.[0027] While the system for remote conduction (1) is operating in real time (step A), that is, it is receiving the sequential codes in a time lower than the maximum predefined time value, the system (1) keeps incrementing and sending sequential codes the remote station (9) whenever it receives and identifies the sequential code sent in the immediately previous iteration.
Claims (10)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| BR102021018438-8A BR102021018438A2 (en) | 2021-09-16 | 2021-09-16 | SYSTEM AND METHOD FOR REMOTE DRIVING A LAND VEHICLE |
| PCT/BR2022/050263 WO2023039650A1 (en) | 2021-09-16 | 2022-07-18 | Land vehicle remote driving system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| BR102021018438-8A BR102021018438A2 (en) | 2021-09-16 | 2021-09-16 | SYSTEM AND METHOD FOR REMOTE DRIVING A LAND VEHICLE |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| BR102021018438A2 true BR102021018438A2 (en) | 2023-03-28 |
Family
ID=85601843
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| BR102021018438-8A BR102021018438A2 (en) | 2021-09-16 | 2021-09-16 | SYSTEM AND METHOD FOR REMOTE DRIVING A LAND VEHICLE |
Country Status (2)
| Country | Link |
|---|---|
| BR (1) | BR102021018438A2 (en) |
| WO (1) | WO2023039650A1 (en) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BR112012007309A2 (en) * | 2009-10-19 | 2016-04-19 | Intergraph Technologies Co | data search, analyzer and synchronization of video and telemetry data |
| US9568995B1 (en) * | 2015-12-30 | 2017-02-14 | Thunder Power Hong Kong Ltd. | Remote driving with a virtual reality system |
| US20170347002A1 (en) * | 2016-05-27 | 2017-11-30 | GM Global Technology Operations LLC | Video transmission control |
| US10606259B2 (en) * | 2017-07-07 | 2020-03-31 | Zoox, Inc. | Interactions between vehicle and teleoperations system |
| US11079753B1 (en) * | 2018-01-07 | 2021-08-03 | Matthew Roy | Self-driving vehicle with remote user supervision and temporary override |
-
2021
- 2021-09-16 BR BR102021018438-8A patent/BR102021018438A2/en unknown
-
2022
- 2022-07-18 WO PCT/BR2022/050263 patent/WO2023039650A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023039650A1 (en) | 2023-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CA3122846C (en) | Redundant hardware system for autonomous vehicles | |
| CN111223302B (en) | External coordinate real-time three-dimensional road condition auxiliary device for mobile carrier and system | |
| US6985090B2 (en) | Method and arrangement for controlling a system of multiple traffic signals | |
| AU2018399375A1 (en) | Automatic driving system | |
| CN108986510A (en) | A kind of local dynamic map of intelligence towards crossing realizes system and implementation method | |
| CN109017757A (en) | In vehicle remote generation, drives method and system | |
| MXPA03004888A (en) | Locomotive wireless video recorder and recording system. | |
| CN111464417A (en) | Vehicle-mounted network architecture based on gigabit Ethernet bus and communication method | |
| CN103247168A (en) | Remote traffic management system using video radar | |
| JP2023160848A (en) | Vehicle recording device and operation situation recording program | |
| CN110853406A (en) | Lane change early warning method, system, server and vehicle based on 5G technology | |
| CN205256021U (en) | Information display system and vehicle around vehicle | |
| US20220038881A1 (en) | Automatic emergency reporting system for vehicle | |
| CN102616177A (en) | GPS (Global Positioning System)-based high beam and low beam warning system of vehicle | |
| CN110853387A (en) | Road condition panoramic video construction display method, system, server and vehicle | |
| BR102021018438A2 (en) | SYSTEM AND METHOD FOR REMOTE DRIVING A LAND VEHICLE | |
| CN113696907A (en) | L3-level automatic driving system | |
| CN112428921B (en) | Continuous downhill road section prompting method and device and vehicle | |
| CN110182205B (en) | Automobile obstacle avoidance prejudging system based on cloud computing | |
| CN101930672A (en) | Traffic signal controlling machine for accurately alarming and photographing traffic jam and operation method thereof | |
| CN111824006A (en) | Navigation-based automatic adjusting method and system for vehicle headlamp and vehicle | |
| CN110830956A (en) | Vehicle external environment detection system and method based on V2X | |
| CN108694836A (en) | A kind of violation enforcement system based on bus system | |
| CN112834238B (en) | Automatic driving automobile lane change performance test system and method | |
| CN204472684U (en) | A kind of low visibility far infrared visible driving system and use the automobile of this system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| B03A | Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette] |