BR112021004557A2

BR112021004557A2 - sistema e método para detecção de conflitos em veículo

Info

Publication number: BR112021004557A2
Application number: BR112021004557-0A
Authority: BR
Inventors: Haifeng Shen; Yuan Zhao
Original assignee: Beijing Didi Infinity Technology And Development Co., Ltd.
Priority date: 2018-11-09
Filing date: 2018-11-09
Publication date: 2021-06-08
Also published as: EP3676131A1; TW202018654A; BR112021004557B1; TWI716788B; CA3028170A1; SG11201811455RA; US10922564B2; MX2021002808A; AU2018286579A1; CN111433082A; US20210133467A1; US11615545B2; CA3028170C; WO2020093344A1; EP3676131A4; US20200151470A1; JP2021508386A

Abstract

As modalidades da invenção fornecem um sistema para detecção de um conflito em um veículo. O sistema inclui pelo menos uma câmera, que é configurada para capturar uma pluralidade de imagens no veículo. O sistema inclui ainda um controlador em comunicação com pelo menos uma câmera. O controlador é configurado para detectar objetos humanos a partir da pluralidade de imagens, analisar informação de profundidade dos respectivos objetos humanos e detectar o conflito com base na informação de profundidade.

Description

SISTEMA E MÉTODO PARA DETECÇÃO DE CONFLITOS EM VEÍCULO CAMPO TÉCNICO

[01] A presente patente de invenção se refere a um sistema e método de detecção de conflito e, mais particularmente, a um sistema e método para detecção automática de conflito entre dois ocupantes de veículo, por exemplo, um motorista e um passageiro, em um veículo de serviço de chamada de transporte urbano por aplicativo.

ANTECEDENTES DA INVENÇÃO

[02] Uma plataforma de chamada online (por exemplo, DiDiTM online) pode receber uma solicitação de serviço de carona compartilhada de um passageiro e, em seguida, encaminhar a solicitação de serviço para pelo menos um provedor de serviço de transporte (por exemplo, um motorista de táxi, um proprietário de carro particular, ou semelhante). Depois que a solicitação de serviço de transporte for atendida pelo motorista, o motorista irá buscar o passageiro e conduzi-lo ao destino solicitado.

[03] Como o motorista e o passageiro não se conhecem, pode ocorrer conflito entre os dois durante a viagem. Por exemplo, o motorista e o passageiro podem discordar sobre a rota que o motorista faz para a viagem ou sobre as taxas cobradas pelo serviço. Às vezes, o motorista ou o passageiro podem tentar cometer crimes contra o outro, como agressão, ameaças e agressão física ou assédio sexual. Os conflitos no veículo, portanto, impõem ameaças à segurança do motorista e/ou do passageiro.

[04] Os métodos existentes de detecção de conflito em veículo dependem do relatório do motorista ou do passageiro, por exemplo, pressionando um botão em seu telefone, para notificar a plataforma de chamada online ou o órgão policial sobre o conflito. Por exemplo, o DiDiTM oferece um recurso de “chamada para polícia com um toque de botão” que permite ao ocupante (por exemplo, o motorista ou o passageiro) chamar a polícia com um toque em seu respectivo terminal. A plataforma de serviço ou a polícia podem intervir alertando as partes envolvidas no conflito.

[05] No entanto, como esses métodos de detecção são acionados por entradas manuais dos usuários, eles não são confiáveis. Por exemplo, as partes envolvidas no conflito tendem a adiar o relato até que seja tarde demais. Além disso, quando o veículo está em um local com sinal fraco, pode não ser possível fazer tal relato.

[06] As modalidades da divulgação tratam dos problemas acima detectando automaticamente o conflito motorista-passageiro usando imagens capturadas por pelo menos uma câmera dentro do veículo.

SUMÁRIO

[07] As modalidades da invenção fornecem um sistema para detecção de conflito em um veículo. O método inclui pelo menos uma câmera, que é configurada para capturar uma pluralidade de imagens no veículo. O método inclui ainda um controlador em comunicação com pelo menos uma câmera. O controlador é configurado para detectar objetos humanos a partir da pluralidade de imagens, avaliar informação de profundidade dos respectivos objetos humanos e detectar o conflito com base na informação de profundidade.

[08] As modalidades da divulgação também fornecem um método para detectar um conflito em um veículo. O método inclui capturar, por pelo menos uma câmera, uma pluralidade de imagens no veículo. O método inclui ainda a detecção, por um processador, de objetos humanos a partir da pluralidade de imagens. O método também inclui avaliar, pelo processador, informação de profundidade dos respectivos objetos humanos e detectar, pelo processador, o conflito com base na informação de profundidade.

[09] As modalidades da divulgação fornecem ainda uma mídia legível por computador não transitório que armazena um conjunto de instruções. Quando executado por pelo menos um processador de um dispositivo eletrônico, o conjunto de instruções faz com que o dispositivo eletrônico execute um método para detectar um conflito em um veículo. O método inclui o recebimento de uma pluralidade de imagens no veículo capturadas por pelo menos uma câmera. O método inclui ainda a detecção de objetos humanos a partir da pluralidade de imagens. O método também inclui avaliação de informação de profundidade dos respectivos objetos humanos e detecção de conflito com base na informação de profundidade.

[010] Deve ser entendido que tanto a descrição geral anterior quanto a descrição detalhada a seguir são exemplificativas e explicativas apenas e não são restritivas da invenção, conforme reivindicado.

BREVE DESCRIÇÃO DAS FIGURAS

[011] A figura 1 ilustra um diagrama esquemático de um interior exemplificativo de um veículo equipado com um sistema de detecção de conflito, de acordo com modalidades da divulgação.

[012] A figura 2 ilustra um diagrama em blocos de um controlador exemplificativo, de acordo com modalidades da divulgação.

[013] A figura 3 ilustra um diagrama de fluxo de dados de um processador exemplificativo no controlador ilustrado na figura 2, de acordo com modalidades da divulgação.

[014] A figura 4 ilustra um método exemplificativo para detecção de um conflito entre um motorista e um passageiro, de acordo com modalidades da divulgação.

[015] A figura 5 ilustra um fluxograma de um método exemplificativo para detecção de um conflito em um veículo, de acordo com modalidades da divulgação.

DESCRIÇÃO DETALHADA DA INVENÇÃO

[016] Agora será feita referência em detalhes às modalidades exemplificativas, cujos exemplos são ilustrados nos desenhos anexos. Sempre que possível, os mesmos números de referência serão usados em todos os desenhos para se referir às mesmas peças ou semelhantes.

[017] A figura 1 ilustra um diagrama esquemático de um veículo 100 exemplificativo equipado com um sistema de detecção de conflito, de acordo com modalidades da divulgação. De acordo com algumas modalidades, o veículo 100 pode ser configurado para ser operado por um operador ocupando o veículo, controlado remotamente e/ou autônomo. Considera-se que o veículo 100 pode ser um veículo elétrico, um veículo de célula de combustível, um veículo híbrido ou um veículo com motor de combustão interna convencional. O veículo 100 pode ter uma carroceria que pode ser de qualquer estilo de carroceria, tal como um veículo esportivo, um coupé, um sedã, uma caminhonete, uma perua, um veículo utilitário esportivo (SUV), uma minivan ou uma van de conversão.

[018] Como mostrado na figura 1, o interior do veículo 100 rodeado pela carroceria pode incluir uma ou mais fileiras de assentos para acomodar as pessoas dentro do veículo. Por exemplo, os assentos da primeira fileira podem acomodar um motorista 102 e um passageiro (não mostrado). Os assentos da fileira traseira 106 podem acomodar um ou mais passageiros, como um passageiro 104. O veículo 100 pode incluir mais de duas fileiras de assentos para acomodar mais passageiros. Em algumas modalidades, um descanso de braço ou um porta-copo pode ser instalado entre os assentos. Por exemplo, um porta-copo pode acomodar uma garrafa de água 108.

[019] Conforme ilustrado na figura 1, o veículo 100 pode ser equipado com um sistema de detecção de conflito, incluindo, entre outras coisas, pelo menos uma câmera 110 e um controlador 120. A câmera 110 pode ser montada ou de outra forma instalada dentro do veículo 100. Em algumas modalidades, a câmera 110 pode ser instalada no painel, acima do pára-brisa, no teto, no canto, etc. Em algumas modalidades, a câmera 110 pode ser integrada em um dispositivo móvel, como um telefone móvel, um tablet ou um dispositivo de navegação de sistema de posicionamento global (GPS) montado no painel do veículo 100. Em algumas modalidades, a câmera 110 pode ser configurada para capturar imagens dentro do veículo 100 quando o veículo 100 está realizando uma viagem de serviço. De acordo com a presente divulgação, as câmeras 110 podem ser uma câmera digital ou uma câmera de vídeo digital configurada para tirar fotos ou vídeos do interior do veículo 100. As imagens podem capturar vários objetos dentro do veículo 100, tal como motorista 102, passageiro 104, assento vazio 106 e garrafa de água 108.

[020] Em algumas modalidades, várias câmeras 110 podem ser instaladas em diferentes locais dentro do veículo 100 e tirar fotos do interior de diferentes ângulos de visão. Conforme o veículo 100 viaja em direção ao destino, a câmera 110 pode capturar imagens continuamente. Cada imagem capturada em um determinado momento é conhecida como quadro de imagem. Por exemplo, a câmera 110 pode gravar um vídeo que consiste em vários quadros de imagem capturados em vários pontos de tempo.

[021] Em algumas modalidades, a câmera 110 pode incluir câmeras configuradas com diferentes configurações de câmera, a fim de fornecer informação de profundidade dos objetos capturados nas imagens. Por exemplo, cada câmera pode ter uma distância focal ou ângulo de visão diferente. Coletivamente, as múltiplas câmeras podem manter o espaço de imagem relevante em foco e minimizar os artefatos introduzidos por imperfeições da lente. Por exemplo, a câmera 110 pode incluir câmeras com distâncias focais de 20 cm, 30 m, 50 cm e 100 cm, etc. Portanto, uma câmera específica pode cobrir uma faixa de profundidade predefinida e objetos dentro da respectiva faixa de profundidade podem estar em foco com aquela câmera. Como resultado, todo o espaço da imagem dentro do veículo 100 pode estar em foco.

[022] Em relação à figura 1, em algumas modalidades, a câmera 110 pode se comunicar com o controlador 120. Em algumas modalidades, o controlador 120 pode ser um controlador a bordo do veículo 100, por exemplo, a unidade de controle eletrônico. Em algumas modalidades, o controlador 120 pode ser parte de um servidor físico local, um servidor em nuvem (conforme ilustrado na figura 1), um servidor virtual, um servidor distribuído ou qualquer outro dispositivo de computação adequado. O controlador 120 pode se comunicar com a câmera 120 e/ou outros componentes do veículo 100 por meio de uma rede, como uma rede de área local sem fio (WLAN), uma rede de longa distância (WAN), redes sem fio, como ondas de rádio, uma rede celular, uma rede de comunicação por satélite e/ou uma rede sem fio local ou de curto alcance (por exemplo, BluetoothTM).

[023] De acordo com a presente divulgação, o controlador 120 pode ser responsável por processar imagens capturadas por câmeras 110 e detectar um conflito em veículo com base nas imagens. Em algumas modalidades, o controlador 120 pode identificar objetos humanos, como o motorista 102 e um ou mais passageiros 104, usando vários métodos de processamento de imagem. Por exemplo, o controlador 120 pode realizar segmentação de imagem e métodos de classificação de objeto para identificar os objetos humanos. Em algumas modalidades, o controlador 120 pode avaliar informação de profundidade dos objetos humanos identificados. Por exemplo, a informação de profundidade caracteriza uma faixa de profundidade em que um objeto humano se encontra. A informação de profundidade pode ser analisada usando um método de aprendizagem de máquina com base em um modelo de aprendizagem, por exemplo, um modelo de rede neural convolucional (CNN).

[024] Os ocupantes do veículo, como o motorista e o passageiro ou quaisquer dois passageiros, normalmente não devem ter qualquer contato. Um conflito pode ter ocorrido entre dois ocupantes do veículo, por exemplo, entre o motorista e o passageiro, se os objetos humanos correspondentes aos ocupantes (por exemplo, um objeto motorista e um objeto passageiro) se sobrepõem, ou suficientemente próximos um do outro. Portanto, um conflito motorista-passageiro pode ser detectado com base na posição relativa de um objeto motorista e um objeto passageiro determinado usando a informação de profundidade. Por exemplo, o controlador 120 pode calcular uma probabilidade do conflito e determinar que o conflito ocorreu quando a probabilidade é maior do que um limite predeterminado. Em algumas modalidades, quando um conflito é detectado, o controlador 120 pode notificar automaticamente a plataforma de serviço ou a polícia para que eles intervenham e resolvam o conflito.

[025] Por exemplo, a figura 2 ilustra um diagrama de blocos de um controlador exemplificativo 120, de acordo com modalidades da divulgação. Em relação à presente divulgação, o controlador 120 pode receber dados de imagem 203 de uma ou mais câmeras 110. Em algumas modalidades, os dados de imagem 203 podem conter imagens bidimensionais (2D) ou imagens tridimensionais (3D). Em alguns exemplos, quando múltiplas câmeras 110 são instaladas em diferentes locais dentro do veículo 100, os dados de imagem 203 podem conter dados de imagem capturados de diferentes ângulos de visão.

[026] O controlador 120 pode identificar objetos humanos a partir de dados de imagem 203, estimar a profundidade do objeto humano usando dados de imagem 203 e detectar um conflito motorista- passageiro no veículo 100 usando a informação de profundidade. Em algumas modalidades, como mostrado na figura 2, o controlador 120 inclui uma interface de comunicação 202, um processador 204, uma memória 206 e um armazenamento 208. Em algumas modalidades, o controlador 120 inclui diferentes módulos em um único dispositivo, tal como um chip de circuito integrado (IC) (implementado como um circuito integrado de aplicação específica (ASIC) ou uma matriz de portas programáveis em campo (FPGA)), ou dispositivos separados com funções dedicadas. Em algumas modalidades, um ou mais componentes do controlador 120 podem estar localizados em uma nuvem ou podem estar alternativamente em um único local (como dentro do veículo 100 ou um dispositivo móvel) ou locais distribuídos. Os componentes do controlador 120 podem estar em um dispositivo integrado ou distribuídos em locais diferentes, mas se comunicam uns com os outros por meio de uma rede (não mostrada).

[027] A interface de comunicação 202 pode enviar dados e receber dados de componentes como a câmera 110 por meio de cabos de comunicação, uma rede de área local sem fio (WLAN), uma rede de área ampla (WAN), redes sem fio, como ondas de rádio, uma rede celular e/ou uma rede sem fio local ou de curto alcance (por exemplo, BluetoothTM) ou outros métodos de comunicação. Em algumas modalidades, a interface de comunicação 202 pode ser uma placa de rede digital de serviços integrados (ISDN), modem a cabo, modem de satélite ou um modem para fornecer uma conexão de comunicação de dados. Como outro exemplo, a interface de comunicação 202 pode ser uma placa de rede local (LAN) para fornecer uma conexão de comunicação de dados para uma LAN compatível. Os enlaces sem fio também podem ser implementados pela interface de comunicação 202. Em tal implementação, a interface de comunicação 202 pode enviar e receber sinais elétricos, eletromagnéticos ou ópticos que transportam fluxos de dados digitais que representam vários tipos de informações através de uma rede.

[028] De acordo com algumas modalidades, a interface de comunicação 202 pode receber dados de imagem 203 capturados por câmeras 110. A interface de comunicação 202 pode ainda fornecer os dados recebidos para o armazenamento 208 para armazenamento ou para o processador 204 para processamento.

[029] O processador 204 pode incluir qualquer tipo apropriado de microprocessador de uso geral ou de uso específico, processador de sinal digital ou microcontrolador. O processador 204 pode ser configurado como um módulo de processador separado dedicado para realizar detecção de conflito em veículo com base em dados de imagem capturados pelas câmeras 110. Alternativamente, o processador 204 pode ser configurado como um módulo de processador compartilhado para executar outras funções.

[030] Como mostrado na figura 2, o processador 204 inclui vários módulos, como uma unidade de detecção de objeto 210, uma unidade de análise de profundidade 212 e uma unidade de detecção de conflito 214 e semelhantes. Em algumas modalidades, o processador 204 pode incluir adicionalmente uma unidade de confirmação de conflito 216. Esses módulos (e quaisquer submódulos ou subunidades correspondentes) podem ser unidades de hardware (por exemplo, porções de um circuito integrado) do processador 204 projetado para uso com outros componentes ou unidades de software implementado pelo processador 204 através da execução de pelo menos parte de um programa. O programa pode ser armazenado em uma mídia legível por computador e, quando executado pelo processador 204, pode executar uma ou mais funções. Embora a figura 2 mostre unidades 210-216 todas dentro de um processador 204, considera-se que essas unidades podem ser distribuídas entre vários processadores localizados próximos ou remotamente uns dos outros.

[031] A figura 3 ilustra um diagrama de fluxo de dados 300 do processador 204 no controlador 120 ilustrado na figura 2, de acordo com modalidades da divulgação. Como mostrado na figura 3, a unidade de detecção de objeto 210 pode receber dados de imagem 203 da interface de comunicação 202 e ser configurada para identificar objetos humanos dentro do veículo 100 a partir de dados de imagem 203. Os métodos de segmentação de imagem e detecção de objeto podem ser aplicados para identificar os objetos humanos. Em algumas modalidades, os objetos humanos podem ser identificados determinando sua informação de contorno.

[032] Em algumas modalidades, a unidade de detecção de objeto 210 pode aplicar a segmentação primeiramente nos dados de imagem 203 para identificar objetos a partir das imagens. Os objetos identificados por meio de segmentação de imagem podem incluir vários objetos dentro do veículo 100, por exemplo, objetos humanos, assentos vazios, sacolas, cintos de segurança, garrafas ou copos colocados nos porta- copos, bem como outros objetos que podem ser instalados ou trazidos para o veículo 100. A unidade de detecção de objeto 210 pode, então, usar o modelo de detecção de objeto 302 para detectar objetos humanos entre os objetos identificados. Em algumas modalidades, o modelo de detecção de objeto 302 pode ser um modelo de aprendizagem de máquina, como um modelo CNN, treinado usando imagens de treinamento e objetos humanos correspondentes nessas imagens.

[033] Em algumas modalidades alternativas, a unidade de detecção de objeto 210 pode realizar a detecção de objeto primeiramente usando o modelo de detecção de objeto 302. Por exemplo, a unidade de detecção de objeto 210 pode determinar áreas delimitadoras contendo objetos humanos a partir de dados de imagem 203. As áreas delimitadoras podem ter qualquer forma adequada, tal como retangular, quadrada, circular, oval, forma de diamante, etc. A segmentação da imagem é então aplicada para segmentar cada área delimitadora para identificar os objetos humanos.

[034] Os objetos humanos identificados, por exemplo, sua informação de contorno é encaminhada para a unidade de análise de profundidade

212. A unidade de análise de profundidade 212 é configurada para analisar a informação de profundidade dos objetos humanos. A informação de profundidade pode incluir, por exemplo, uma distância entre a câmera 110 e os objetos humanos. Como um objeto humano é 3D e tem sua própria profundidade, a informação de profundidade pode incluir uma faixa de profundidade do objeto humano. Em algumas modalidades, a unidade de análise de profundidade 212 pode aplicar um modelo de análise de profundidade 304 para analisar a informação de profundidade. O modelo de análise de profundidade 304 pode ser um modelo de aprendizado de máquina, como CNN, treinado usando objetos de treinamento e seus atributos de profundidade correspondentes. Em algumas modalidades, a unidade de análise de profundidade 212 pode, alternativamente ou adicionalmente, usar várias imagens focadas de câmeras de abertura real para estimar a informação de profundidade (conhecido como método de "profundidade a partir do foco"). Usando os contornos do objeto determinados pela unidade de detecção de objeto 210 e sua informação de profundidade, a unidade de análise de profundidade 212 pode obter uma região de objeto para cada objeto humano. A região do objeto pode ser uma região 3D. Por exemplo, uma região de objeto motorista e uma região de objeto passageiro podem ser determinadas correspondendo a um motorista A e um passageiro B, como mostrado na figura 4.

[035] As regiões de objeto determinadas pela unidade de análise de profundidade 212 podem ser encaminhadas para a unidade de detecção de conflito 214. A unidade de detecção de conflito 214 pode ser configurada para detectar um conflito entre um motorista e um passageiro. Por exemplo, a figura 4 ilustra um método exemplificativo para detectar um conflito entre o motorista A e o passageiro B. Como mostrado na figura 4, uma região de objeto motorista 410 e uma região de objeto passageiro 420 não se sobrepõem em condições normais. Quando ocorre um conflito entre o motorista A e o passageiro B, os dois objetos podem se inclinar um em direção ao outro e, assim, as regiões de objeto 410 e 420 podem se sobrepor, em contato ou se tornarem suficientemente próximas uma da outra.

[036] Em algumas modalidades, a unidade de detecção de conflito 214 pode determinar se um conflito provavelmente ocorreu com base em uma posição relativa das regiões de objeto 410 e 420. Em algumas modalidades, uma distância entre as regiões de objeto 410 e 420 pode ser calculada e uma probabilidade de conflito pode ser calculada com base na distância. Por exemplo, a unidade de detecção de conflito 214 pode determinar pontos centrais das regiões de objeto 410 e 420 e calcular uma distância d1 entre os pontos centrais. A distância d1 pode ser determinada pela Equação 1:

[037] Equação 1: = − ,

[038] em que é o ponto central da região do objeto motorista 410, e é o ponto central da região de objeto passageiro 420.

[039] Por conseguinte, a probabilidade de conflito Pc pode ser determinada como uma função da distância d1. Em algumas modalidades, a probabilidade de conflito Pc pode ser inversamente proporcional à distância d1. Em outras palavras, quanto menor a distância, maior a probabilidade de conflito. Por exemplo, a unidade de detecção de conflito 214 pode determinar Pc de acordo com a Equação

2.

[040] Equação 2: = ( )

[041] em que é o ponto central da região do objeto motorista 410, é o ponto central da região do objeto passageiro 420, e Pc é a probabilidade de conflito.

[042] Como outro exemplo, a unidade de detecção de conflito 214 pode determinar pontos de regiões de objeto 410 e 420 que estão mais próximos uns dos outros e calcular uma distância d2 entre os pontos mais próximos. A distância d2 pode ser determinada pela equação 3.

[043] Equação 3: = − ,

[044] em que e são pontos de regiões de objeto 410 e 420 que estão mais próximas umas das outras. Quando as regiões de objeto 410 e 420 se sobrepõem (isto é, o motorista A e o passageiro B estão em contato), a distância d2 torna-se 0. A unidade de detecção de conflito 214 pode então calcular a probabilidade de conflito Pn que pode ser determinada em função da distância d2. Em algumas modalidades, a probabilidade de conflito Pn também pode ser inversamente proporcional à distância d2. Por exemplo, a unidade de detecção de conflito 214 pode determinar Pn de acordo com a Equação 4.

[045] Equação 4: = ( )

[046] em que e são pontos de região 410 e 420 que são mais próximos uns dos outros, e Pn é a probabilidade de conflito.

[047] Ainda como outro exemplo, a unidade de detecção de conflito 214 pode agregar a informação de profundidade e a distância para determinar a probabilidade de conflito. Se o Mapa de informação de profundidade (d, i) associado à região do objeto motorista 410 e o Mapa de informação de profundidade (p, j) associado à região do objeto passageiro 420 forem semelhantes, isto é, Map( , ) − Map( , ) ≤ , e a distância entre as regiões de objeto 410 e 420 é curta, a probabilidade de conflito é alta. Caso contrário, se Map (d, i) e Map (p, j) forem bastante diferentes, e a distância entre as regiões de objeto 410 e 420 for curta, a probabilidade de conflito é determinada como baixa. A "distância" levada em consideração pela unidade de detecção de conflito 214 pode ser a distância entre os pontos centrais ou a distância entre os pontos mais próximos das regiões de objeto 410 e 420, como descrito acima. Por exemplo, as probabilidades de conflito podem ser determinadas com base nessas distâncias, respectivas, de acordo com as Equações 5 e 6.

[048] Equação 5: = ! ("#$|&'(( ,)) &'(( ,*)| )

[049] Equação 6: = ! ("#$|&'(( ,)) &'(( ,*)| )

[050] Com base na probabilidade de conflito determinada, a unidade de detecção de conflito 214 pode determinar se um conflito ocorreu ou provavelmente ocorrerá entre o motorista A e o passageiro B. Por exemplo, a unidade de detecção de conflito 214 compara a probabilidade de conflito com um limite predefinido, por exemplo, 0,8, 0,9, 0,95, etc. Se a probabilidade exceder o limite, a unidade de detecção de conflito 214 poderá detectar o conflito.

[051] Em algumas modalidades, a unidade de detecção de conflito 214 pode usar um método baseado em modelo de aprendizagem para detectar conflito com base na informação de profundidade obtida pela unidade de análise de profundidade 212. O modelo de aprendizagem pode determinar a probabilidade de conflito ou retornar diretamente um resultado de detecção binário, ou seja, “conflito” ou “sem conflito”. O modelo de aprendizagem pode ser treinado usando dados de imagem associados a situações de conflito conhecido (ou nenhum conflito). Embora a figura 4 ilustre a detecção de um conflito entre um motorista e um passageiro, considera-se que um conflito entre dois passageiros pode ser detectado de forma semelhante.

[052] Com relação novamente à figura 3, em algumas modalidades, o resultado da detecção da unidade de detecção de conflito 214 pode ser confirmado pela unidade de confirmação de conflito 216. Se um conflito for detectado com base nos dados de imagem adquiridos em um ponto de tempo particular ou durante um curto período de tempo, o resultado da detecção poderá não ser confiável. Por exemplo, o passageiro 104 pode ocasionalmente inclinar-se para o motorista 102 para facilitar a conversa ou para passar informações ou um item, como um pedaço de papel com o endereço de destino, um telefone celular que mostra informações de viagem, etc. Portanto, a unidade de confirmação de conflito 216 pode ser configurada para confirmar o conflito e reduzir a probabilidade de alarme falso. Em algumas modalidades, a unidade de confirmação de conflito 216 pode gerar sinais de controle para fazer com que a câmera 110 adquira mais imagens ao longo de um período de tempo relativamente longo, por exemplo, 10, 20 ou 30 segundos. Alternativamente, se a câmera 110 capturar um vídeo contendo múltiplos quadros de imagem, a unidade de confirmação de conflito 216 pode amostrar quadros de imagem em um intervalo de tempo, por exemplo, 10, 20 ou 30 segundos. A unidade de confirmação de conflito 216 pode repetir o processo de detecção realizado pelas unidades 210- 214 para cada quadro de imagem. Se o conflito for detectado persistentemente através dos quadros de imagem exibidos, a unidade de confirmação de conflito 216 poderá confirmar o conflito e retornar à detecção de resultado 306. Se a detecção de conflito for esporádica e as análises de outros quadros de imagem mostrarem que não existe conflito, unidade de confirmação de conflito 216 poderá desconsiderar a descoberta de conflito e não retornar o resultado da detecção 306.

[053] Com referência de volta à figura 2, se um conflito for detectado, o processador 204 poderá gerar um sinal de controle para acionar um alarme e enviar o sinal de controle para um receptor de alarme 130 via interface de comunicação 202. Em algumas modalidades, o receptor de alarme 130 pode ser um módulo de resolução de conflito da plataforma de serviço, ou um servidor / controlador de um departamento de polícia. Em algumas modalidades, o sinal de controle pode acionar uma chamada telefônica para o receptor de alarme 130. Em algumas outras modalidades, o sinal de controle pode acionar uma transmissão de dados, incluindo, por exemplo, informação de registro do veículo, informação do motorista, informação do passageiro, localização do veículo, e imagens que podem mostrar o conflito para o receptor de alarme 130. Em ainda algumas outras modalidades, o sinal de controle pode fazer com que um aviso de alerta seja gerado pelo receptor de alarme 130, tal como uma janela pop-out em uma tela de exibição do receptor de alarme 130, um sinal sonoro, vibração ou um alarme sonoro, etc.

[054] A memória 206 e o armazenamento 208 podem incluir qualquer tipo apropriado de armazenamento em massa fornecido para armazenar qualquer tipo de informação que o processador 204 possa precisar para operar. A memória 206 e o armazenamento 208 podem ser do tipo volátil ou não volátil, magnético, semimotorista, fita, óptico, removível, não removível ou outro tipo de dispositivo de armazenamento ou mídia legível por computador tangível (isto é, não transitório) incluindo, mas não se limitando a uma ROM, uma memória flash, uma RAM dinâmica e uma RAM estática. A memória 206 e/ou o armazenamento 208 podem ser configurados para armazenar um ou mais programas de computador que podem ser executados pelo processador 204 para realizar o processamento de dados de imagem e detecção de conflito divulgado na presente invenção. Por exemplo, a memória 206 e/ou o armazenamento 208 podem ser configurados para armazenar programa (s) que podem ser executados pelo processador 204 para identificar objetos humanos a partir de dados de imagem, analisar informação de profundidade dos objetos humanos e detectar um conflito com base na profundidade em formação.

[055] A memória 206 e o armazenamento 208 podem incluir qualquer tipo apropriado de armazenamento em massa fornecido para armazenar qualquer tipo de informação que o processador 204 possa precisar para operar. A memória 206 e o armazenamento 208 podem ser um tipo volátil ou não volátil, magnético, semimotorista, fita, óptico, removível, não removível ou outro tipo de dispositivo de armazenamento ou mídia legível por computador tangível (isto é, não transitório) incluindo, mas não se limitando a uma ROM, uma memória flash, uma RAM dinâmica e uma RAM estática. A memória 206 e/ou o armazenamento 208 podem ser configurados para armazenar um ou mais programas de computador que podem ser executados pelo processador 204 para realizar o processamento de dados de imagem e detecção de conflito divulgado na presente invenção. Por exemplo, a memória 206 e/ou o armazenamento 208 podem ser configurados para armazenar programa (s) que podem ser executados pelo processador 204 para identificar objetos humanos a partir de dados de imagem, analisar informação de profundidade dos objetos humanos e detectar um conflito com base na profundidade em formação.

[056] A figura 5 ilustra um fluxograma de um método exemplificativo 500 para detectar um conflito em um veículo, de acordo com modalidades da divulgação. Em algumas modalidades, o método 500 pode ser implementado pelo controlador 120 que inclui, entre outras coisas, o processador 204.

[057] No entanto, o método 500 não está limitado a essa modalidade exemplificativa. O método 500 pode incluir as etapas S502-S514 conforme descrito abaixo. Deve ser apreciado que algumas das etapas podem ser opcionais para realizar a divulgação fornecida na presente invenção. Além disso, algumas das etapas podem ser realizadas simultaneamente ou em uma ordem diferente da mostrada na figura 5.

[058] Na etapa S502, a câmera 110 captura dados de imagem 203 de pelo menos um objeto dentro do veículo 100 quando o veículo 100 está executando uma viagem de serviço. Em algumas modalidades, múltiplas câmeras 110 podem ser instaladas em vários lugares dentro do veículo 110 e capturar dados de imagem simultaneamente de diferentes ângulos. Por exemplo, a câmera 110 pode ser uma câmera voltada para trás instalada no painel do veículo 100 ou incorporada em um dispositivo de navegação GPS ou telefone celular montado no painel do veículo 100. Em algumas modalidades, os objetos podem incluir um motorista (por exemplo, motorista 102), um ou mais passageiros (por exemplo, passageiro 104), assentos vazios (por exemplo, assento vazio 106), cintos de segurança e quaisquer outros itens instalados dentro do veículo 100 ou trazidos para o veículo 100 (por exemplo, garrafa de água 108).

[059] A câmera 110 pode ser configurada para capturar dados de imagem 203 continuamente ou em certos pontos de tempo. Por exemplo, a câmera 110 pode ser uma câmera de vídeo configurada para capturar um vídeo contendo vários quadros de imagem. Em algumas modalidades, os dados de imagem 203 podem conter imagens 2D e/ou imagens 3D. Os dados de imagem 203 capturados pela câmera 110 podem ser transmitidos para o controlador 120, por exemplo, através de uma rede.

[060] Na etapa S504, o controlador 120 identifica um objeto motorista e um objeto passageiro a partir das imagens nos dados de imagem 203. Em algumas modalidades, esses objetos humanos podem ser identificados determinando sua informação de contorno. Em algumas modalidades, a unidade de detecção de objeto 210 pode aplicar segmentação de imagem primeiramente nos dados de imagem 203 para identificar objetos a partir das imagens e, em seguida, usar o modelo de detecção de objeto 302 para detectar objetos humanos entre os objetos identificados. Em algumas modalidades alternativas, a unidade de detecção de objeto 210 pode realizar a detecção de objeto primeiramente usando o modelo de detecção de objeto 302, para determinar áreas delimitadoras contendo objetos humanos e, em seguida, segmentar cada área delimitadora para identificar os objetos humanos.

[061] Na etapa S506, o controlador 120 determina a informação de profundidade do objeto motorista e do objeto passageiro. Em algumas modalidades, o controlador 120 pode aplicar um modelo de análise de profundidade 304 para analisar a informação de profundidade. Usando os contornos do objeto determinados na etapa S504 e a informação de profundidade, o controlador 120 pode obter uma região de objeto para cada objeto humano. Por exemplo, uma região de objeto motorista 410 e uma região de objeto passageiro 420 podem ser determinadas correspondendo a um motorista A e um passageiro B, como mostrado na figura 4.

[062] Na etapa S508, o controlador 120 determina uma distância entre o objeto motorista e o objeto passageiro. Em algumas modalidades, o controlador 120 pode determinar os pontos centrais das regiões do objeto e calcular uma distância d1 entre os pontos centrais. Por exemplo, como mostrado na figura 4, a distância d1 pode ser determinada como a equação 7.

[063] Equação 7: = − ,

[064] em que é o ponto central da região do objeto motorista 410, e é o ponto central da região do objeto passageiro 420.

[065] A distância d1 pode ser determinada como a equação 8.

[066] Equação 8: = − ,

[067] em que é o ponto central da região do objeto motorista 410, e é o ponto central da região de objeto passageiro 420.

[068] Alternativamente, o controlador 120 pode determinar pontos de regiões de objeto 410 e 420 que estão mais próximos uns dos outros e calcular uma distância d2 entre os pontos mais próximos. Por exemplo, a distância d2 pode ser determinada como a equação 9.

[069] Equação 9: = − , em que e são pontos das regiões 410 e 420 que estão mais próximos uns dos outros.

[070] Na etapa S510, o controlador 120 determina uma probabilidade de conflito com base na distância. Por exemplo, uma probabilidade de conflito Pc pode ser determinada em função da distância d1 de acordo com a Equação (1). Como outro exemplo, uma probabilidade de conflito Pn pode ser determinada em função da distância d2 de acordo com a Equação (2). Em algumas modalidades, a probabilidade de conflito Pc e Pn pode ser inversamente proporcional à distância d1 e d2, respectivamente.

[071] Em algumas outras modalidades, o controlador 120 pode agregar a informação de profundidade e a distância para determinar a probabilidade de conflito. Se o Mapa de informação de profundidade (d, i) associado à região do objeto motorista 410 e o Mapa de informação de profundidade (p, j) associado à região do objeto passageiro 420 forem semelhantes, isto é, Map( , ) − Map( , ) ≤ , a probabilidade de conflito pode ser determinada de acordo com a Equação (3) ou (4). Em algumas modalidades, o controlador 120 pode usar um método baseado em modelo de aprendizagem para detectar conflito com base na informação de profundidade.

[072] Na etapa S512, o controlador 120 pode comparar a probabilidade de conflito com um limite predefinido. Por exemplo, o limite pode ser definido como significativamente alto, como 0,8, 0,9 ou 0,95. Se a probabilidade exceder o limite (S512: sim), o método 500 segue para a etapa S514 para gerar um alarme. Caso contrário (S512: não), o método 500 retorna à etapa S502 para continuar a capturar imagens dentro do veículo 100 e, em seguida, repete as etapas S504- S512 para determinar se um conflito ocorreu ou provavelmente ocorrerá. Em algumas modalidades, se o conflito detectado na etapa S512 for detectado persistentemente em vários quadros de imagem capturados pela câmera 110, o resultado da detecção poderá ser confirmado. Se a detecção de conflito for esporádica e as análises de outros quadros de imagem mostrarem que não existe conflito, o controlador poderá desconsiderar a descoberta de conflito.

[073] Na etapa S514, o controlador 120 gera um sinal de controle para acionar um alarme e envia o sinal de controle para o receptor de alarme 130, que é a plataforma de serviço ou um departamento de polícia. Em algumas modalidades, o sinal de controle pode desencadear uma chamada telefônica ou uma transmissão de dados para o receptor de alarme 130. Por exemplo, a transmissão de dados pode incluir, por exemplo, informação de registro do veículo, informação do motorista, informação do passageiro, localização do veículo e imagens que podem mostrar o conflito. Em algumas modalidades, o sinal de controle pode fazer com que um aviso de alerta seja gerado pelo receptor de alarme 130, como uma janela pop-out em uma tela do receptor de alarme 130, um som de bipe, vibração ou um alarme de áudio, etc.

[074] Outro aspecto da divulgação é direcionado a uma mídia legível por computador não transitório que armazena instruções que, quando executadas, fazem com que um ou mais processadores executem os métodos, conforme discutido acima. A mídia legível por computador pode incluir o tipo volátil ou não volátil, magnético, semicondutor, fita, óptico, removível, não removível ou outros tipos de mídia legível por computador ou dispositivos de armazenamento legíveis por computador. Por exemplo, a mídia legível por computador pode ser o dispositivo de armazenamento ou o módulo de memória tendo as instruções do computador armazenadas no mesmo, conforme divulgadas. Em algumas modalidades, a mídia legível por computador pode ser um disco ou uma unidade flash com as instruções do computador nele armazenadas.

[075] Será evidente para os versados na técnica que várias modificações e variações podem ser feitas no sistema divulgado e métodos relacionados. Outras modalidades serão evidentes para aqueles versados na técnica a partir da consideração do relatório descritivo e da prática do sistema divulgado e métodos relacionados.

[076] Pretende-se que a especificação e os exemplos sejam considerados apenas como sendo exemplificativos, em que um escopo verdadeiro é indicado pelas seguintes reivindicações e seus equivalentes.

Claims

REIVINDICAÇÕES

1. Sistema para detecção de conflitos em veículo, caracterizado por compreender: b) pelo menos uma câmera, a câmera sendo configurada para capturar uma pluralidade de imagens no veículo; e c) um controlador em comunicação com pelo menos uma câmera e configurado para: d) detectar objetos humanos a partir da pluralidade de imagens; e) analisar informação de profundidade dos respectivos objetos humanos; e f) detectar o conflito com base na informação de profundidade.

2. Sistema, de acordo com a reivindicação 1, caracterizado pelo fato de que os objetos humanos detectados incluem um objeto motorista e um objeto passageiro, e o conflito é detectado com base na distância entre o objeto motorista e o objeto passageiro.

3. Sistema, de acordo com a reivindicação 1 ou reivindicação 2, caracterizado pelo fato de que para detectar os objetos humanos, o controlador é configurado para: a) determinar áreas delimitadoras contendo os objetos humanos a partir da pluralidade de imagens com base em um modelo de aprendizagem; e b) segmentar as áreas delimitadoras para detectar os objetos humanos.

4. Sistema, de acordo com a reivindicação 1 ou reivindicação 2, caracterizado pelo fato de que para detectar os objetos humanos, o controlador é configurado para: a) segmentar a pluralidade de imagens para identificar objetos; e b) detectar objetos humanos entre os objetos com base em um modelo de aprendizagem.

5. Sistema, de acordo com qualquer uma das reivindicações 1-4, caracterizado pelo fato de que a informação de profundidade dos respectivos objetos humanos são estimadas usando um modelo de aprendizagem.

6. Sistema, de acordo com a reivindicação 2, caracterizado pelo fato de que o controlador é ainda configurado para: a) determinar a distância entre o objeto motorista e o objeto passageiro com base na informação de profundidade do objeto motorista e do objeto passageiro; e b) determinar uma probabilidade do conflito com base na distância.

7. Sistema, de acordo com a reivindicação 6, caracterizado pelo fato de que a probabilidade do conflito é inversamente proporcional à distância.

8. Sistema, de acordo com a reivindicação 6 ou reivindicação 7, caracterizado pelo fato de que a distância é entre os pontos centrais do objeto motorista e o objeto passageiro ou a distância está entre os dois pontos mais próximos do objeto motorista e do objeto passageiro.

9. Mídia legível por computador não transitória que armazena um conjunto de instruções, quando executado por pelo menos um processador de um dispositivo eletrônico, caracterizada por compreender: a) recebimento de uma pluralidade de imagens no veículo capturadas por pelo menos uma câmera; b) detecção de objetos humanos a partir da pluralidade de imagens; c) análise de informação de profundidade dos respectivos objetos humanos; e d) detecção do conflito com base na informação de profundidade.

10. Mídia legível por computador não transitória, de acordo com a reivindicação 9, caracterizado pelo fato de que os objetos humanos identificados incluem um objeto motorista e um objeto passageiro, em que o método compreende ainda: a) determinação de uma distância entre o objeto motorista e o objeto passageiro com base na informação de profundidade do objeto motorista e do objeto passageiro; e b) detecção de um conflito passageiro-motorista com base na distância.