BR102015032218A2

BR102015032218A2 - multiprocessed georeferenced behavioral analysis smart camera

Info

Publication number: BR102015032218A2
Application number: BR102015032218-6A
Authority: BR
Inventors: Eduardo Augusto Gomes Schroeder; Aleksandro Montanha
Original assignee: Seebot Soluçoes Inteligentes - Me
Priority date: 2015-12-22
Filing date: 2015-12-22
Publication date: 2018-10-23
Also published as: WO2017106945A1

Abstract

camera inteligente multiprocessada de análise comportamental georreferenciada", patente inventiva é uma nova categoria de dispositivo eletrônico de monitoramento por imagem e áudio, dotado de inteligência artificial, audição e visão computacional, conectividade e georreferenciação, tecnologias que, combinadas, lhe dão a capacidade de registrar, localizar, segmentar, qualificar e identificar os elementos presentes em um conjunto de sinais (imagem ou áudio), interpretando semanticamente o comportamento dos mesmos.Multi-Processed Intelligent Georeferenced Behavioral Analysis Camera ", inventive patent is a new category of electronic image and audio monitoring device, endowed with artificial intelligence, hearing and computer vision, connectivity and georeferencing, technologies that, combined, give you the ability to record , locate, segment, qualify and identify the elements present in a set of signals (image or audio), semantically interpreting their behavior.

Description

(54) Título: CAMERA INTELIGENTE MULTIPROCESSADA DE ANALISE COMPORTAMENTAL GEORREFERENCIADA (51) Int. Cl.: H04N 5/222; H04N 5/225 (73) Titular(es): SEEBOT SOLUÇOES INTELIGENTES - ME (72) Inventor(es): EDUARDO AUGUSTO GOMES SCHROEDER; ALEKSANDRO MONTANHA (85) Data do Início da Fase Nacional:(54) Title: MULTIPROCESSED INTELLIGENT CAMERA FOR GEORREFERENTIATED BEHAVIORAL ANALYSIS (51) Int. Cl .: H04N 5/222; H04N 5/225 (73) Holder (s): SEEBOT SOLUÇOES INTELIGENTES - ME (72) Inventor (s): EDUARDO AUGUSTO GOMES SCHROEDER; ALEKSANDRO MONTANHA (85) Start date of the National Phase:

22/12/2015 (57) Resumo: CAMERA INTELIGENTE MULTIPROCESSADA DE ANÁLISE COMPORTAMENTAL GEORREFERENCIADA, Patente Inventiva é uma nova categoria de dispositivo eletrônico de monitoramento por imagem e áudio, dotado de inteligência artificial, audição e visão computacional, conectividade e georreferenciação, tecnologias que, combinadas, lhe dão a capacidade de registrar, localizar, segmentar, qualificar e identificar os elementos presentes em um conjunto de sinais (imagem ou áudio), interpretando semanticamente o comportamento dos mesmos.12/22/2015 (57) Abstract: MULTIPROCESSED INTELLIGENT CAMERA OF GEORREFERENTIAL BEHAVIORAL ANALYSIS, Patent Inventive is a new category of electronic device for monitoring by image and audio, with artificial intelligence, hearing and computer vision, connectivity and georeferencing, technologies that , combined, they give you the ability to register, locate, segment, qualify and identify the elements present in a set of signals (image or audio), semantically interpreting their behavior.

13 122 I-113 122 I-1

Bgua 1 I I IBgua 1 I I I

1/5 “CÂMERA INTELIGENTE MULTIPROCESSADA DE ANÁLISE COMPORTAMENTAL GEORREFERENCIADA” [001] O presente pedido de privilégio de invenção é voltado ao setor de segurança e apresenta uma nova categoria de dispositivo eletrônico de monitoramento por imagem e áudio, dotado de inteligência artificial, audição, visão computacional, conectividade e georreferenciação, tecnologias que, combinadas, lhe dão a capacidade de registrar, localizar, segmentar, qualificar e identificar os elementos presentes em um conjunto de sinais (imagem ou áudio), interpretando o comportamento dos mesmos.1/5 “MULTIPROCESSED INTELLIGENT CAMERA FOR GEORREFERENTIAL BEHAVIORAL ANALYSIS” [001] This application for the privilege of invention is aimed at the security sector and presents a new category of electronic image and audio monitoring device, equipped with artificial intelligence, hearing, computer vision, connectivity and georeferencing, technologies that, combined, give you the ability to register, locate, segment, qualify and identify the elements present in a set of signals (image or audio), interpreting their behavior.

[002] Os dispositivos para fins de monitoramento sofreram grande evolução ao longo dos anos, fruto da também evolução e desenvolvimento de tecnologias-meio, sobretudo nas áreas de telecomunicações, conectividade e captação de som e imagem (câmeras). O produto dos avanços dessas áreas resultou em dispositivos cada vez menores, mais eficientes, autônomos e baratos, popularizando e elevando as câmeras ao posto de principal meio de monitoramento remoto.[002] The devices for monitoring purposes have undergone great evolution over the years, as a result of the evolution and development of technologies-environment, especially in the areas of telecommunications, connectivity and capture of sound and image (cameras). The product of advances in these areas has resulted in increasingly smaller, more efficient, autonomous and inexpensive devices, popularizing and elevating cameras to the position of the main means of remote monitoring.

[003] Paralelamente ao fenômeno de popularização das câmeras de monitoramento, surgiram as câmeras com tecnologias embarcadas. Câmeras que, diferentemente de suas precursoras, não apenas desempenhavam papel de captação e transmissão de informações, mas também o de processamento instantâneo das informações, uma alternativa ao pós-processamento das imagens em algum servidor central.[003] Parallel to the phenomenon of popularization of monitoring cameras, cameras with embedded technologies emerged. Cameras that, unlike their precursors, not only played a role in capturing and transmitting information, but also that of instant processing of information, an alternative to post-processing images on some central server.

[004] Na prática, a utilização de tecnologia embarcada no processamento de imagens apenas alterou a ordem do processo, que antes era:[004] In practice, the use of embedded technology in image processing only changed the order of the process, which before was:

1) captura; 2) transmissão; 3) processamento; transformando-a em: 1) captura;1) capture; 2) transmission; 3) processing; transforming it into: 1) capture;

2) processamento; e, 3) transmissão.2) processing; and, 3) transmission.

[005] O processamento embarcado, cujo desenvolvimento é muito mais complexo do que os pós processamento, se tornou uma alternativa ao trinômio: Qualidade da imagem X Volume de dados de Transmissão X Capacidade de[005] Embedded processing, whose development is much more complex than post-processing, has become an alternative to the trinomial: Image quality X Transmission data volume X

Petição 870180043298, de 23/05/2018, pág. 6/14Petition 870180043298, of 05/23/2018, p. 6/14

2/52/5

Processamento.Processing.

[006] Sendo as informações contidas na imagem o objeto fim de tais dispositivos de captura, ou seja, o produto central que justifica sua existência, pode-se considerar a qualidade da imagem a ser processada como a variável que deva, preferencialmente, tender ao máximo possível. O problema está na elevação da qualidade da imagem, requerendo a elevação das demais variáveis, a saber: 1) Volume de Dados de Transmissão; e, 2) Capacidade de Processamento.[006] As the information contained in the image is the end object of such capture devices, that is, the central product that justifies its existence, one can consider the quality of the image to be processed as the variable that should, preferably, tend to as much as possible. The problem is in the improvement of the image quality, requiring the elevation of the other variables, namely: 1) Volume of Transmission Data; and, 2) Processing Capacity.

[007] Ocorre que ambas as áreas, processamento (2) e transmissão (1) sofreram muitas evoluções tecnológicas nos últimos anos. Contudo, esta última, por se tratar de um serviço e não um produto, além de solicitar grandes investimentos em infraestrutura, não possui uniformidade, fazendo com que sua qualidade dependa de fatores externos tais como sua região geográfica de aplicação. Já a capacidade de processamento sofreu avanços que a tornaram poderosa e portátil o bastante para obter grande desempenho em espaços e consumos diminutos, motivo pelo qual justifica-se o desenvolvimento de tecnologia embarcada para processamento e reconhecimento de sinais (sons e imagens).[007] It turns out that both areas, processing (2) and transmission (1) have undergone many technological developments in recent years. However, the latter, as it is a service and not a product, in addition to requiring large investments in infrastructure, does not have uniformity, making its quality dependent on external factors such as its geographic region of application. The processing capacity, on the other hand, underwent advances that made it powerful and portable enough to obtain great performance in small spaces and consumptions, which is why the development of embedded technology for signal processing and recognition (sounds and images) is justified.

[008] Uma vez processados os frames das imagens e trechos de áudio, no instante de sua captura, ou seja, obtidas as informações necessárias sobre as imagens em tempo real, pode-se realizar o processamento em imagens de altíssima qualidade, descartando, após o processamento, a qualidade desnecessária para a mera transmissão e armazenamento, reduzindo assim (mas não excluindo) a dependência de fatores externos, como infraestrutura de transmissão e armazenamento, bem como custos de manutenção das mesmas. [009] Além da dependência da conectividade, outro fator de dependência externa relevante é a energética. Os produtos de monitoramento existentes no mercado dependem de infraestrutura da rede elétrica para seu funcionamento. Exceção nem mesmo para os dispositivos móveis utilizados para tal fim, que[008] Once the frames of the images and audio clips have been processed, at the moment of their capture, that is, the necessary information about the images is obtained in real time, it is possible to carry out the processing in very high quality images, discarding, after processing, unnecessary quality for the mere transmission and storage, thus reducing (but not excluding) the dependence on external factors, such as transmission and storage infrastructure, as well as their maintenance costs. [009] In addition to dependence on connectivity, another relevant external dependency factor is energy. The monitoring products on the market depend on the infrastructure of the electricity grid for their operation. Exception not even for mobile devices used for this purpose, which

Petição 870180043298, de 23/05/2018, pág. 7/14Petition 870180043298, of 05/23/2018, p. 7/14

3/5 dispõem de baterias com contingência energética, pois mesmo eles dependem de recarregamento frequente das baterias através de redes elétricas convencionais. [010] Há de se notar que, apesar dos avanços tecnológicos, os dispositivos de monitoramento atuais ainda apresentam uma grande dependência de infraestruturas energéticas e de telecomunicações, além de possuírem processamento local muito limitado, e pouca ou nenhuma inteligência artificial. [011] Considerando os problemas decorrentes do estado da técnica, iniciou-se o estudo e desenvolvimento de um conceito inovador aplicado em monitoramento e segurança de locais, sejam públicos ou privados, dispondo de um conjunto de componentes selecionados, sincronizados e programados excepcionalmente para garantir a segurança de pessoas, veículos, imóveis, etc., de maneira viável, versátil e econômica, agregando ainda a possibilidade de georreferenciamento do dispositivo.3/5 have batteries with energy contingency, because even they depend on frequent recharging of batteries through conventional electrical networks. [010] It should be noted that, despite technological advances, current monitoring devices are still highly dependent on energy and telecommunications infrastructures, in addition to having very limited local processing, and little or no artificial intelligence. [011] Considering the problems arising from the state of the art, the study and development of an innovative concept applied in monitoring and security of sites, whether public or private, began, having a set of components selected, synchronized and programmed exceptionally to guarantee the safety of people, vehicles, real estate, etc., in a viable, versatile and economical way, also adding the possibility of georeferencing the device.

[012] A descrição que se segue busca destacar a proposta em nível de seu princípio, tendo como referência a seguinte figura ilustrativa abaixo listada: [013] As figuras 1 e 2 apresentam o aparelho e sua estrutura interna de componentes.[012] The description that follows seeks to highlight the proposal at the level of its principle, having as reference the following illustrative figure listed below: [013] Figures 1 and 2 show the apparatus and its internal component structure.

[014] A câmera inteligente multiprocessada de análise comportamental georreferenciada (1), objeto do presente pedido de patente de invenção, disponibiliza uma qualidade de vídeo em Full HD com lentes intercambiáveis voltadas a diferentes ângulos de visão e capacidade de captar imagens em ângulo de 360° para aplicação de recursos de visão computacional, com o objetivo de monitoramento de vias e rastreamento de objetos e pessoas, possui um software embarcado totalmente autônomo e capta o som por microfone (2) o qual realiza o monitoramento de áudio para identificação de possíveis explosões, colisões de veículos automotores e identificação de padrões de ruídos.[014] The multi-processed intelligent camera of georeferenced behavioral analysis (1), object of the present application for a patent, offers video quality in Full HD with interchangeable lenses aimed at different viewing angles and the ability to capture 360-degree images ° for the application of computer vision resources, with the objective of monitoring roads and tracking objects and people, it has fully autonomous embedded software and captures the sound by microphone (2) which performs the audio monitoring to identify possible explosions , collisions of motor vehicles and identification of noise patterns.

[015] Na parte externa a câmera inteligente é detentora de dimensões cúbicas de 150mm x 150mm x 150mm e é formada por uma caixa polimérica (3) com ou sem cor ou em polímero opaco ou vítrea translúcida, fabricada em uma[015] On the outside, the smart camera has cubic dimensions of 150mm x 150mm x 150mm and is formed by a polymeric box (3) with or without color or in opaque or translucent glassy polymer, manufactured in a

Petição 870180043298, de 23/05/2018, pág. 8/14Petition 870180043298, of 05/23/2018, p. 8/14

4/5 única peça que corresponde a cinco das seis faces do dispositivo, e tampa com abertura (4) para a lente da câmera panorâmica que corresponde à face inferior do equipamento. Essas duas partes serão unidas por parafusos, os quais ficam alojados adequadamente, ou por sistema de ultrassom para eliminar qualquer chance de permeabilidade do sistema.4/5 single piece that corresponds to five of the six faces of the device, and cover with opening (4) for the panoramic camera lens that corresponds to the bottom face of the equipment. These two parts will be joined by screws, which are properly housed, or by an ultrasound system to eliminate any chance of permeability of the system.

[016] Quatro das seis faces do cubo que formam o dispositivo podem ser formadas por células ou módulos fotovoltaicos (5) responsáveis por converter energia solar em energia elétrica para suprir plenamente ou parcialmente a demanda de energia consumida pelo sistema. Ditas células são integradas a um carregador (6) cuja função é abastecer as baterias de lítio (7) com autonomia mínima de 12 horas (período equivalente a ausência diária de captação de raios solares) e gerenciar a fonte interna de alimentação AC/DC (8) e os módulos fotovoltaicos (5) do sistema de forma autônoma por meio de um sistema inteligente de alternância da demanda energética. A fonte de alimentação AC/DC é empregada principalmente no caso de haver ausência ou pouca incidência direta de luz solar na instalação, suprindo essa falta, enquanto a sobrecarga e descarregamento excessivo das baterias é impedido por um sistema controlador de carga (9).[016] Four of the six faces of the cube that make up the device can be formed by cells or photovoltaic modules (5) responsible for converting solar energy into electrical energy to supply fully or partially the energy demand consumed by the system. These cells are integrated with a charger (6) whose function is to supply the lithium batteries (7) with a minimum autonomy of 12 hours (period equivalent to the daily absence of sunlight) and to manage the internal AC / DC power supply ( 8) and the photovoltaic modules (5) of the system autonomously by means of an intelligent system of alternating energy demand. The AC / DC power supply is mainly used in the event of absence or little direct incidence of sunlight in the installation, supplying this lack, while the overcharging and excessive discharging of the batteries is prevented by a charge controller system (9).

[017] O dispositivo conta também com processadores de imagens (10 e 11) paralelos, conforme a configuração, os quais são capazes de realizar todo o processamento interno, encaminhando para uma central de monitoramento (não mostrada) apenas as imagens mais relevantes, utilizando, desta forma, menores taxas de transferência de dados por rede.[017] The device also has parallel image processors (10 and 11), depending on the configuration, which are capable of performing all internal processing, sending only the most relevant images to a monitoring center (not shown), using , thus, lower data transfer rates per network.

[018] O conjunto de componentes de geo-posicionamento e orientação formado por módulo GPS (12.1), módulo e antena WIFI (12.2) e módulo 3G/4G (12.3), anemômetro e bússola (não mostrados) tem a função de identificar o posicionamento exato do dispositivo usando tal informação como referencial para calcular as coordenadas geográficas de objetos captados pelas lentes da câmera e segmentados pelo sistema de visão computacional. De forma simultânea esses[018] The set of geo-positioning and orientation components formed by GPS module (12.1), WIFI module and antenna (12.2) and 3G / 4G module (12.3), anemometer and compass (not shown) have the function of identifying the exact positioning of the device using this information as a reference to calculate the geographical coordinates of objects captured by the camera lens and segmented by the computer vision system. Simultaneously these

Petição 870180043298, de 23/05/2018, pág. 9/14Petition 870180043298, of 05/23/2018, p. 9/14

5/5 componentes se auto configuram, enviando as informações de autoconfiguração e dados providos pelo sistema GPS para a central de controle.5/5 components configure themselves, sending the autoconfiguration information and data provided by the GPS system to the control center.

[019] A identificação de inclinação do aparelho e captação de tremores de terra é realizada por um inclinômetro e acelerômetro (12.4) agregados, sendo as informações encaminhadas para a central de controle. Tal tecnologia associada às informações providas pelo GPS e pelo processamento de imagens são capazes de gerar a referência geográfica aproximada de cada objeto da imagem, assim como o sentido de movimento do objeto, sua direção e o mapa de seu deslocamento.[019] The identification of the inclination of the device and the capture of earthquakes is performed by an inclinometer and accelerometer (12.4) aggregated, the information being forwarded to the control center. Such technology associated with the information provided by GPS and image processing is capable of generating the approximate geographical reference of each object in the image, as well as the direction of movement of the object, its direction and the map of its displacement.

[020] Em se tratando de conexão com a internet, a comunicação pode ser cumprida empregando o mesmo conjunto de componentes de geoposicionamento e orientação formado pelo módulo GPS (12.1), módulo e antena WIFI (12.2) e módulo 3G/4G (12.3) e conexão para troca de dados entre rede de devices via rede WI-FI (12.2), antena e módulo ZegBee (13) ou antena de rádio frequência (14) para efetuar a comunicação.[020] When it comes to internet connection, communication can be accomplished using the same set of geolocation and orientation components formed by the GPS module (12.1), WIFI module and antenna (12.2) and 3G / 4G module (12.3) and connection for data exchange between devices network via WI-FI network (12.2), antenna and ZegBee module (13) or radio frequency antenna (14) to carry out the communication.

[021] A câmera, além da função primordial, pode ser utilizada na identificação e controle de vagas de estacionamento particulares e públicas, com comunicação via web, e integração com dispositivos móveis e talonários de uso de agentes de trânsito, disponibilizando uma solução embarcada de monitoramento de fluxo e fila de veículos através de visão computacional para atuar dinamicamente sobre temporização semafórica local, através de informações enviadas para a central de controle, podendo os vídeos ser armazenados como solução de registro, recurso este disparado por eventos previamente definidos.[021] The camera, in addition to its primary function, can be used in the identification and control of private and public parking spaces, with communication via the web, and integration with mobile devices and checkbooks for the use of traffic agents, providing an embedded solution for vehicle flow and queue monitoring through computer vision to dynamically act on local traffic signal timing, through information sent to the control center, and the videos can be stored as a recording solution, a resource triggered by previously defined events.

[022] Mediante à inovação desenvolvida a qual preenche tais requisitos de princípios e características singulares em relação aos métodos existentes no estado da técnica, o presente pedido de privilégio de invenção certamente reúne as condições necessárias para alcançar a concessão pleiteada.[022] By means of the developed innovation which fulfills such requirements of singular principles and characteristics in relation to the existing methods in the state of the art, the present application for the privilege of invention certainly meets the necessary conditions to achieve the concession sought.

Petição 870180043298, de 23/05/2018, pág. 10/14Petition 870180043298, of 05/23/2018, p. 10/14

1/31/3

Claims

1- “MULTIPROCESSED INTELLIGENT CAMERA FOR GEORREFERENTIAL BEHAVIORAL ANALYSIS”, FEATURED the referred camera (1) to provide video quality in Full HD with interchangeable lenses aimed at different angles of view and the ability to capture images at an angle of 360 ° for application of resources of computer vision, with fully autonomous embedded software and sound pickup via microphone (2) which performs audio monitoring;

2- “MULTIPROCESSED INTELLIGENT CAMERA FOR GEORREFERENTIAL BEHAVIORAL ANALYSIS”, according to the claim

1, FEATURED by the fact that the external part of the smart camera is formed by a polymeric box (3) with or without color or in opaque or translucent glassy polymer, manufactured in a single piece that corresponds to five of the six faces of the device, and cover with opening (4) for the panoramic camera lens that corresponds to the underside of the equipment, these two parts being joined by screws or by an ultrasound system;

3- “MULTIPROCESSED INTELLIGENT CAMERA FOR GEORREFERENTIAL BEHAVIORAL ANALYSIS”, according to claims 1 and

2, CHARACTERIZED by the fact that the faces of the cube forming the device are formed by cells or photovoltaic modules (5) which are integrated with a charger (6) responsible for supplying the lithium batteries (7) with a minimum autonomy of 12 hours and managing the internal AC / DC power supply (8) and the photovoltaic modules (5) of the system autonomously by means of an intelligent system of alternating energy demand, the overload and excessive discharge of the batteries (7) being prevented by a system charge controller (9);

4- "MULTIPROCESSED INTELLIGENT CAMERA FOR GEORREFERENTIAL BEHAVIORAL ANALYSIS", in accordance with claims 1 to 3, CHARACTERIZED because the device is provided with

Petition 870180043298, of 05/23/2018, p. 3/14

2/3 parallel image processors (10 and 11) which perform all internal processing and send to the monitoring center only the most relevant images with the lowest data transfer rates per network;

5- “MULTIPROCESSED INTELLIGENT CAMERA FOR GEORREFERENTIAL BEHAVIORAL ANALYSIS”, according to claims 1 to 4, CHARACTERIZED by identifying the exact positioning of the device and calculating the geographical coordinates of objects captured by the camera lens and segmented by the vision system computational occur through the set of components of geo-positioning and orientation formed by GPS module (12.1), WIFI module and antenna (12.2) and 3G / 4G module (12.3), anemometer and compass, simultaneously occurring the auto configuration of these components which send the autoconfiguration information and data provided by the GPS system to the control center;

6- “MULTIPROCESSED INTELLIGENT CAMERA FOR GEORREFERENTIAL BEHAVIORAL ANALYSIS”, according to claims 1 to 5, CHARACTERIZED by the identification of the inclination of the apparatus and the capture of earthquakes to be performed by an inclinometer and accelerometer (12.4) aggregated, with the information being forwarded to the control center;

7 - “MULTIPROCESSED INTELLIGENT CAMERA FOR GEORREFERENTIAL BEHAVIORAL ANALYSIS”, in accordance with claims 1 to 6, CHARACTERIZED by the fact that the internet connection or communication is fulfilled with the set of components of geolocation and orientation formed by the GPS module (12.1), WIFI module and antenna (12.2) and 3G / 4G module (12.3) and connection for data exchange between device network via WI-FI network (12.2), antenna and ZegBee module (13) or radio frequency antenna (14);

8 - “MULTIPROCESSED INTELLIGENT CAMERA FOR GEORREFERENTIAL BEHAVIORAL ANALYSIS”, in accordance with the

Petition 870180043298, of 05/23/2018, p. 4/14

3/3 claims 1 to 7, CHARACTERIZED because the camera (1) is used to identify and control private and public parking spaces, with communication via the web, and integration with mobile devices and checkbooks for the use of traffic agents, monitoring the flow and queue of vehicles through computer vision in the local traffic light timing, through information sent to the control center, and the videos are stored.

Petition 870180043298, of 05/23/2018, p. 5/14

1/1