BR102018001730A2 - Sistema de monitoramento de local de trabalho, e, método para gerar um mapa de local de trabalho - Google Patents

Sistema de monitoramento de local de trabalho, e, método para gerar um mapa de local de trabalho Download PDF

Info

Publication number
BR102018001730A2
BR102018001730A2 BR102018001730-6A BR102018001730A BR102018001730A2 BR 102018001730 A2 BR102018001730 A2 BR 102018001730A2 BR 102018001730 A BR102018001730 A BR 102018001730A BR 102018001730 A2 BR102018001730 A2 BR 102018001730A2
Authority
BR
Brazil
Prior art keywords
symbology
work
scene
vehicle
module
Prior art date
Application number
BR102018001730-6A
Other languages
English (en)
Inventor
Michael G. Kean
Original Assignee
Deere & Company
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deere & Company filed Critical Deere & Company
Publication of BR102018001730A2 publication Critical patent/BR102018001730A2/pt

Links

Classifications

    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C1/00Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people
    • G07C1/10Registering, indicating or recording the time of events or elapsed time, e.g. time-recorders for work people together with the recording, indicating or registering of other data, e.g. of signs of identity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/40Data acquisition and logging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063Operations research, analysis or management
    • G06Q10/0631Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313Resource planning in a project environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/08Construction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Library & Information Science (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

um sistema de monitoramento de local de trabalho inclui um componente de comunicação que recebe dados de imagem representando pelo menos uma imagem de um local de trabalho capturada por um aparelho de geração de imagem de um dispositivo aéreo não tripulado. o sistema inclui adicionalmente um controlador, com memória e arquitetura de processamento para executar instruções armazenadas na memória, acoplado ao componente de comunicação. o controlador inclui um módulo de cena, um módulo de objeto, e um módulo de mapa. o módulo de cena é configurado para avaliar os dados de imagem e gerar uma imagem de cena do local de trabalho com base pelo menos nos dados de imagem. o módulo de objeto é configurado para identificar pelo menos um primeiro objeto na imagem e abstrair o primeiro objeto como simbologia de objeto. o módulo de mapa é configurado para gerar um mapa de local de trabalho com a simbologia de objeto disposta em camadas sobre a imagem de cena.

Description

“SISTEMA DE MONITORAMENTO DE LOCAL DE TRABALHO, E, MÉTODO PARA GERAR UM MAPA DE LOCAL DE TRABALHO” REFERÊNCIA CRUZADA A PEDIDO(S) RELACIONADO(S) CAMPO DA DESCRIÇÃO
[001] Esta descrição se refere a veículos de trabalho e ao monitoramento de veículos de trabalho.
FUNDAMENTOS DA DESCRIÇÃO
[002] Nas indústrias de construção, agrícola, mineração e florestal, muitos diferentes tipos de veículos de trabalho são operados para realizar várias tarefas em locais de trabalho. Tipicamente, múltiplos veículos são usados simultaneamente e/ou cooperativamente em inúmeras tarefas para realizar um trabalho geral. Gerenciar e monitorar todo o local de trabalho pode ser desafiador.
SUMÁRIO DA DESCRIÇÃO
[003] A descrição fornece um sistema e método para monitorar um local de trabalho por meio de mapas de local de trabalho.
[004] Em um aspecto, a descrição fornece um sistema de monitoramento de local de trabalho com um componente de comunicação que recebe dados de imagem representando pelo menos uma imagem de um local de trabalho capturada por um aparelho de geração de imagem de um dispositivo aéreo não tripulado. O sistema inclui adicionalmente um controlador, com memória e arquitetura de processamento para executar instruções armazenadas na memória, acoplado ao componente de comunicação. O controlador inclui um módulo de cena, um módulo de objeto, e um módulo de mapa. O módulo de cena é configurado para avaliar os dados de imagem e gerar uma imagem de cena do local de trabalho com base pelo menos nos dados de imagem. O módulo de objeto é configurado para identificar pelo menos um primeiro objeto na imagem e abstrair o primeiro objeto coma simbologia de objeto. O módulo de mapa é configurado para gerar um mapa de local de trabalho com a simbologia de objeto disposta em camadas na imagem de cena.
[005] Em um outro aspecto, a descrição fornece um método para gerar um mapa de local de trabalho. O método inclui receber, com um componente de comunicação, dados de imagem representando pelo menos uma imagem de um local de trabalho capturada por um aparelho de geração de imagem de um dispositivo aéreo não tripulado; avaliar, com um controlador, os dados de imagem e gerar uma imagem de cena do local de trabalho com base pelo menos nos dados de imagem; identificar, com o controlador, pelo menos um primeiro objeto no local de trabalho a partir dos dados de imagem; abstrair, com o controlador, o primeiro objeto para gerar simbologia de objeto; e gerar, com o controlador, o mapa de local de trabalho dispondo em camadas a simbologia de objeto sobre a imagem de cena.
[006] Os detalhes de uma ou mais modalidades são apresentados nos desenhos anexos e na descrição seguinte. Outros recursos e vantagens ficarão aparentes a partir da descrição, dos desenhos e das reivindicações.
BREVE DESCRIÇÃO DOS DESENHOS
[007] A FIG. 1 é uma vista esquemática de um ambiente exemplificativo no qual o sistema e método de monitoramento descritos podem ser associados; a FIG. 2 é um diagrama de blocos esquemático de um sistema de monitoramento de local de trabalho exemplificativo; a FIG. 3 é um diagrama de blocos esquemático mais detalhado do sistema de monitoramento de local de trabalho exemplificativo da FIG. 2; as FIGS. 4A-4E e 5A-5E são exemplos de simbologia de objeto que podem ser usados no sistema de monitoramento de local de trabalho da FIG. 3; a FIG. 6 é um mapa de local de trabalho exemplificativo que pode ser gerado pelo sistema de monitoramento de local de trabalho da FIG. 3; a FIG. 7 é um fluxograma ilustrando um método exemplificativo do sistema descrito da FIG. 3 de acordo com uma das várias modalidades; e FIG. 8 é um menu de interface gráfica de usuário exemplificativa do método da FIG. 7 de acordo com uma das várias modalidades.
[008] Símbolos de referência iguais nos vários desenhos indicam elementos iguais.
DESCRIÇÃO DETALHADA
[009] A seguir são descritas uma ou mais modalidades exemplificativas do sistema e método descritos, como mostrado nas figuras anexas dos desenhos descritos resumidamente aqui. Várias modificações das modalidades exemplificativas podem ser contempladas pelos versados na técnica.
[0010] A seguir são descritas uma ou mais implementações exemplificativas dos sistemas e métodos de monitoramento descritos para um local de trabalho, como mostrado nas figuras anexas dos desenhos aqui descritos resumidamente. No geral, os sistemas e métodos descritos operam para gerar mapas de local de trabalho com base em imagens aéreas para vários operadores que proporcionam eficiência, operação e segurança melhorados, comparados com sistemas convencionais.
[0011] A Figura 1 é um ambiente de local de trabalho exemplificativo (ou “local de trabalho”) 100 no qual um sistema e método de monitoramento podem ser implementados. Em uma modalidade, um sistema de monitoramento 110 pode ser implementado, ou associado com um centro de controle 120 de um local de trabalho 100 tendo um ou mais veículos de trabalho 130, 131, 132, 133. Como descrito a seguir, o sistema de monitoramento 110 pode gerar mapas de local de trabalho com base em imagens capturadas por um ou mais dispositivos aéreos não tripulados 180. Embora representado no centro de controle 120, em várias modalidades, o sistema de monitoramento 110 pode ser implementado com e/ou senão interagir com outros elementos dentro ou fora do local de trabalho 100, incluindo os vários veículos 130-133 e dispositivos aéreos não tripulados 180. Em outros exemplos, o sistema de monitoramento 110 pode ser um sistema distribuído e/ou um sistema independente.
[0012] No geral, o local de trabalho 100 pode ser considerado uma área geográfica na qual os veículos de trabalho 130-133 cooperam para realizar uma ou mais tarefas que constituem uma ou mais trabalhos gerais. O centro de controle 120 pode ser no local ou fora do local do local de trabalho 100, e, entre outras funções, implementa o sistema de monitoramento 110 para gerar mapas de local de trabalho para uso por operadores nos veículos de trabalho 130-133 ou por um operador no centro de controle 120 para monitorar a operação dos veículos de trabalho 130-133 ou uma ou mais tarefas no local de trabalho 100. Os mapas de local de trabalho do sistema de monitoramento 110 podem prover vários tipos de informação aos operadores, tal como progresso da tarefa ou trabalho, informação do local de trabalho abstraída, imagens do local de trabalho, informação de mapeamento e/ou informação do estado relativa ao local de trabalho 100 ou aos veículos 130133. O sistema de monitoramento 110 é discutido a seguir com referência a um operador, que genericamente se refere ao gerenciador ou operador no centro de controle 120, o operador em um ou mais ou dos veículos de trabalho 130-133, ou qualquer parte que solicita ou recebe um mapa de local de trabalho ou facilita a geração do mapa de local de trabalho pelo sistema 100.
[0013] Os elementos no local de trabalho 100 podem comunicar de forma sem fio com um com o outro de qualquer maneira adequada, incluindo diretamente (por exemplo, por meio de Bluetooth®, sinais de radiofrequência, ou similares) ou por meio de rede 102. Por exemplo, a rede de comunicação 102 pode utilizar uma ou mais de várias técnicas ou mecanismos de comunicação, incluindo radiofrequência, Wi-Fi, celular, ou similares. Detalhes adicionais a respeito de padrões de comunicação são providos a seguir. A rede 102 pode incluir ou senão cooperar com o sistema JDLink™ comercialmente disponível pela Deere & Company of Moline, Illinois.
[0014] Como aqui introduzido, os veículos de trabalho 130-133 podem ser parte de uma frota geral ou qualquer coleção de veículos. Embora quatro veículos 130-133 estejam mostrados na FIG. 1 como exemplos, qualquer número pode ser provido. Os veículos de trabalho 130-133 podem ser qualquer tipo de veículo de trabalho (tanto o mesmo tipo quanto tipos diferentes), incluindo os caminhões basculantes articulados 130, 131 e retroescavadeiras 132, 133 representados na FIG. 1. Em outras aplicações, outras configurações são também possíveis. Por exemplo, veículos de trabalho em algumas modalidades podem ser configurados como transportadores, niveladoras, ou veículos similares. Adicionalmente, veículos de trabalho podem ser configurados como máquinas além de máquinas de construção, incluindo veículos das indústrias agrícola, florestal e de mineração, tais como tratores, combinadas, colheitadeiras, tratores florestais, guindastes-torres, cortadores de troncos, e assim por diante. Detalhes adicionais a respeito dos veículos de trabalho 130-133 e dispositivo aéreo não tripulado 180, bem como operação do sistema de monitoramento 110, serão providos a seguir após uma descrição do centro de controle 120.
[0015] No geral, o centro de controle 120 inclui um componente de comunicação 122, um controlador central 124, um ou mais armazenamentos de dados 126 e uma interface homem-máquina 128 que implementa ou senão facilita o sistema de monitoramento 110. O componente de comunicação 122 compreende qualquer sistema adequado para receber dados e transmitir dados para os veículos de trabalho 130-133 e dispositivo aéreo não tripulado 180. Por exemplo, o componente de comunicação 122 pode incluir um rádio ou receptor adequado configurado para receber dados transmitidos por modulação de um sinal de radiofrequência (RF) por meio de uma rede de telefone celular de acordo com o padrão de evolução em longo prazo (LTE), embora outras técnicas possam ser usadas. O componente de comunicação 122 pode obter comunicações bidirecionais por Bluetooth® ou utilizando um padrão Wi-Fi, isto é, um ou mais dos padrões 802.11 definidos pelo Institute of Electrical and Electronics Engineers (“IEEE”), como é conhecido pelos versados na técnica. Deste modo, o componente de comunicação 122 pode incluir um transceptor Bluetooth®, um transceptor de rádio, um transceptor celular, um transceptor LTE e/ou um transceptor Wi-Fi. O componente de comunicação 122 pode empregar vários protocolos e técnicas de segurança para garantir que ocorre comunicação devidamente segura entre o centro de controle 120, os veículos de trabalho 130-133 e o dispositivo aéreo não tripulado 180.
[0016] O controlador central 124 fica em comunicação com o componente de comunicação 122, o armazenamento de dados 126 e/ou a interface homem-máquina 128 por uma arquitetura ou arranjo de interconexão adequada que facilita a transferência de dados, comandos, energia, etc. Em algumas modalidades, o controlador central 124 pode também ficar em comunicação com um ou mais operadores remotos por meio de um portal, tal como um portal baseado em rede. O controlador central 124 pode ser configurado como um dispositivo de computação com dispositivos de processamento e arquiteturas de memória associado, como um circuito de computação físico (ou circuitos), como um circuito programável, ou de outra forma.
[0017] Em alguns exemplos, a interface homem-máquina 128 permite que um operador faça interface com o centro de controle 120 (por exemplo, para entrar com comandos e dados) e, deste modo, outros elementos no local de trabalho 100. Em um exemplo, a interface 128 inclui um dispositivo de entrada e um monitor. O dispositivo de entrada é qualquer dispositivo adequado capaz de receber entrada de usuário, incluindo, mas sem limitações, um teclado, um microfone, uma camada de tela sensível ao toque associada com o monitor, ou outro dispositivo adequado para receber dados e/ou comandos do usuário. Múltiplos dispositivos de entrada podem também ser utilizados. O monitor compreende qualquer tecnologia adequada para exibir informação, incluindo, mas sem limitações, um monitor de cristal líquido (LCD), diodo emissor de luz (LED), diodo emissor de luz orgânico (OLED), plasma, ou um tubo de raios catódicos (CRT). Em algumas modalidades, a interface 128 pode incluir dispositivos de saída além do monitor, incluindo alto-falantes e atuadores hápticos.
[0018] No geral, o centro de controle 120 recebe e armazena dados dos veículos de trabalho 130-133 e dispositivo aéreo não tripulado 180, bem como de máquinas, dispositivos e sistemas similares de uma frota ou força tarefa. Em alguns exemplos, o centro de controle 120 pode operar como sistema “no lado do servidor” ou servidor que facilita a operação em um local de trabalho ou um grupo de locais de trabalho, incluindo a coleta e criação de vários tipos de dados, tais como dados da frota, dados de serviço, dados do trabalho ou planejamento, dados de pessoal, e similares. Adicionalmente, em uma modalidade, o centro de controle 120 pode implementar um ou mais aspectos do sistema de monitoramento 110, incluindo prover dados solicitados ou desejados dados para realizar as funções associadas discutidas com mais detalhes a seguir.
[0019] Como aqui notado, um sistema de monitoramento 110 pode ser utilizado com relação a vários veículos de trabalho móveis e outros tipos de máquinas móveis, incluindo os veículos de trabalho representados 130-133 da FIG. 1. Na modalidade representada, os veículos de trabalho 130-133 correspondem a caminhões basculantes articulados 130-131 e retroescavadeiras 132-133, embora qualquer tipo de veículo possa ser provido. Entre outros usos, os caminhões basculantes articulados 130-131 são no geral utilizados para transportar material para dentro, para fora ou internamente no local de trabalho 100, e as retroescavadeiras 132-133 podem ser usadas para escavar material, empurrar material, ou carregar ou descarregar nos caminhões basculantes 130-131.
[0020] Um dos veículos de trabalho 130 é descrito a seguir para dar um exemplo dos vários tipos de elementos de máquina que podem interagir com o sistema de monitoramento 110 e são descritos meramente como referência. A menos que de outra forma notado, os veículos 131-133 têm componentes análogos àqueles discutidos a seguir com referência ao veículo 130.
[0021] Em um exemplo, o veículo de trabalho 130 inclui um controlador do veículo 140 (ou múltiplos controladores) para controlar vários aspectos da operação do veículo de trabalho 130 e, em algumas modalidades, facilitar a implementação do sistema de monitoramento 110. No geral, o controlador 140 (ou outros) pode ser configurado como um dispositivo de computação com dispositivos de processamento e arquiteturas de memória associados, como um circuito de computação físico (ou circuitos), como um circuito programável, como um controlador hidráulico, elétrico ou eletro-hidráulico, ou de outra forma. Como tal, o controlador 140 pode ser configurado para executar várias funcionalidades computacionais e de controle com relação ao veículo de trabalho 130 (ou outro maquinário). Em algumas modalidades, o controlador 140 pode ser configurado para receber sinais de entrada em vários formatos (por exemplo, como sinais hidráulicos, sinais de tensão, sinais de corrente, e assim por diante), e produzir sinais de comando em vários formatos (por exemplo, como sinais hidráulicos, sinais de tensão, sinais de corrente, movimentos mecânicos, e assim por diante).
[0022] O controlador 140 pode ser em comunicação eletrônica, hidráulica, mecânica, ou outra comunicação com vários outros sistemas ou dispositivos do veículo de trabalho 130 (ou outro maquinário). Por exemplo, o controlador 140 pode estar em comunicação eletrônica ou hidráulica com vários atuadores, sensores, e outros dispositivos dentro (ou fora) do veículo de trabalho 130, incluindo vários dispositivos descritos a seguir. O controlador 140 pode comunicar com outros sistemas ou dispositivos (incluindo outros controladores) de várias maneiras conhecidas, incluindo por meio de um barramento CAN (não mostrado) do veículo de trabalho 130, meios de comunicação sem fio ou hidráulicos, ou de outra forma.
[0023] Em algumas modalidades, o controlador 140 pode ser configurado para receber comandos de entrada e fazer interface com um operador por meio de uma interface homem-veículo 150, que pode ser disposta dentro de uma cabine 142 do veículo de trabalho 130 para facilitar o acesso pelo operador do veículo. A interface homem-veículo 150 pode ser configurada de uma variedade de maneiras. Em algumas modalidades, a interface homem-veículo 150 pode incluir um dispositivo de entrada 152 com um ou mais manches, vários chaves ou alavancas, um ou mais botões, uma interface de tela sensível ao toque que pode ser disposta em um monitor 154, um teclado, um alto-falante, um microfone associado com um sistema de reconhecimento de fala, ou vários outros dispositivos de interface homem-máquina. A interface homem-veículo 150 também inclui o monitor 154, que pode ser implementado como um monitor de painel plano ou outro tipo de monitor que é integrado com um painel de instrumentos ou console do veículo de trabalho 130. Versados na técnica podem apreciar que outras técnicas para implementar o monitor 154 no veículo de trabalho 130. Como descrito com mais detalhes a seguir, o monitor 154 pode funcionar para renderizar o mapa de local de trabalho gerado pelo sistema de monitoramento 110 para exibição ao operador do veículo 130.
[0024] O veículo de trabalho 130 inclui adicionalmente um componente de comunicação do veículo 156. O componente de comunicação do veículo 156 permite comunicação entre o controlador 140 e o sistema de monitoramento 110, bem como outros elementos associados com o local de trabalho 100. O componente de comunicação do veículo 156 compreende qualquer sistema adequado para receber e transmitir dados, incluindo aqueles descritos anteriormente com referência ao componente de comunicação 122. Em um exemplo, o componente de comunicação do veículo 156 alcança comunicações bidirecionais com o sistema de monitoramento 110 por Bluetooth®, satélite ou utilizando um padrão Wi-Fi, isto é, um ou mais dos padrões 802.11. O componente de comunicação do veículo 156 pode empregar vários protocolos e técnicas de segurança para garantir comunicação devidamente segura.
[0025] Como descrito em mais detalhes a seguir, o controlador 140 pode facilitar a coleta de vários tipos de dados de veículo associados com o veículo de trabalho 130 para o sistema de monitoramento 110. Os dados de veículo podem ser na forma de dados brutos dos sensores aplicáveis descritos a seguir (ou outras fontes) ou passar por algum processamento no controlador 140 a fim de extrair as características desejadas. Como exemplos, tais dados podem incluir dados de posição e dados de estado. O controlador 140 pode também facilitar a recepção dos mapas de local de trabalho do sistema de monitoramento 110, por exemplo, por meio do componente de comunicação do veículo 156, e a exibição dos mapas no monitor 154. Detalhes adicionais serão providos a seguir.
[0026] Como anteriormente introduzido, o veículo de trabalho 130 inclui um chassi do veículo 160 suportando a cabine 142. Neste exemplo, o veículo de trabalho 130 é um caminhão basculante e inclui uma ferramenta de trabalho na forma de um compartimento de carga 162 montado no chassi do veículo 160. Entende-se que a configuração do veículo de trabalho 130 tendo uma ferramenta de trabalho como o compartimento de carga 162 é apresentada apenas como um exemplo. O compartimento de carga 162 define um receptáculo para receber uma carga útil. Tipicamente, um ou mais cilindros hidráulicos atuáveis são montados no chassi 160 e no compartimento de carga 162 para seletivamente pivotar o compartimento de carga 162 em torno de um ponto pivô. Em outras modalidades, ferramentas de trabalho podem incluir pás, garfos, cultivadores e segadores, como exemplos.
[0027] Como o veículo de trabalho 130, o veículo de trabalho 131 é também um caminhão basculante articulado e tem um compartimento de carga similar como uma ferramenta de trabalho. Ao contrário, os veículos de trabalho 132, 133 são implementados como retroescavadeiras nas quais as ferramentas de trabalho são formadas por uma carregadeira montada na frente do veículo 132, 133 e uma caçamba de escavação em um braço articulado montado na traseira do veículo 132, 133.
[0028] O veículo de trabalho 130 inclui adicionalmente uma fonte de propulsão, tal como um motor 164, que supre potência a uma transmissão 166. Em um exemplo, o motor 164 é um motor de combustão interna, tal como um motor diesel, que é controlado pelo controlador 140. Deve-se notar que o uso de um motor de combustão interna é meramente um exemplo, já que o dispositivo de propulsão pode ser uma célula de combustível, um motor elétrico, um motor híbrido elétrico e a gás, etc. A transmissão 166 transfere a potência do motor 164 para uma linha de acionamento adequada acoplada a uma ou mais rodas acionadas (ou outro tipo de mecanismo de tração) do veículo de trabalho 130 para permitir movimento. Como é conhecido pelos versados na técnica, a transmissão 166 pode incluir uma transmissão de engrenagem adequada operada em uma variedade de marchas contendo uma ou mais engrenagens, incluindo, mas sem limitações uma marcha de estacionamento, um ponto morto, uma marcha a ré, uma marcha de direção, uma marcha reduzida, etc.
[0029] O veículo de trabalho 130 pode incluir vários outros componentes ou sistemas que são típicos em veículos de trabalho. Exemplos incluem sistemas de atuação para o compartimento de carga 162 e/ou outros componentes; sistemas de lubrificação e arrefecimento; sistemas de bateria; sistemas de tratamento de escape; sistemas de direção hidráulica; sistemas de frenagem; e similares.
[0030] O veículo de trabalho 130 inclui adicionalmente vários sensores 170 que funcionam para coletar informação a respeito do veículo de trabalho 130 e/ou do local de trabalho 100. Tal informação pode ser provida ao controlador 140 e/ou ao componente de comunicação 156 para transmissão e uso potencial pelo sistema de monitoramento 110.
[0031] Como exemplos, os sensores 170 podem incluir sensores operacionais associados com os sistemas e componentes do veículo supradiscutidos, incluindo sensores do motor e transmissão, sensores de combustível e sensores de bateria. Sensores adicionais 170 podem incluir componentes usados para determinar a orientação, posição ou estado da ferramenta de trabalho, incluindo determinar a massa ou volume de material na ferramenta de trabalho. Sensores 170 podem também ser providos para observar várias condições associadas com o veículo de trabalho 130. Por exemplo, vários sensores 170 podem ser dispostos no ou próximos ao chassi 160 a fim de medir parâmetros de posição, tal como um declive ou inclinação do veículo 130. Adicionalmente, os sensores do veículo de trabalho 170 podem incluir um ou mais sensores de velocidade, localização e/ou posição, tais como um receptor de sistema de posicionamento global (GPS), um sistema LORAN, um sistema de navegação estimada, um sistema de triangulação celular, ou outro sistema de posicionamento, que fornece sinais ao controlador 140 para certificar a velocidade, localização e/ou direção do veículo de trabalho 130. Deve-se notar que, na forma aqui usada, o termo “GPS” se refere a qualquer tipo de sistema de posicionamento baseado em satélite. Adicionalmente, a informação cinemática (por exemplo, localização, velocidade, orientação, direção de deslocamento, inclinação, etc.) associada com o elemento do local de trabalho (por exemplo, veículo de trabalho 130) pode ser genericamente referida como dados de “posição”. Os sensores 170 podem incluir adicionalmente um ou mais sensores de proximidade arranjados para identificar a presença ou ausência de objetos em torno do veículo de trabalho 130, incluindo sensores ópticos, sensores infravermelhos, e sistemas de radar ou LIDAR. Em alguns casos, os sensores 170 e/ou controlador 140 podem formar sistemas de monitoramento de saúde ou condição que geram códigos de problema de diagnóstico como dados de estado (ou saúde) associados com os veículos de trabalho 130-133 que podem ser providos ao sistema de monitoramento 110. Como descrito com mais detalhes a seguir, o controlador 140 pode operar para transmitir vários tipos de informação, tal como informação de posição e estado, para o sistema de monitoramento 110 como dados de veículo. Adicionalmente, o sistema de monitoramento 110 pode prover mapas de local de trabalho aos veículos de trabalho 130-133 para exibição ao operador do veículo.
[0032] Como aqui introduzido, o sistema de monitoramento 110 pode também incluir ou interagir com um ou mais dispositivos aéreos não tripulados 180. No geral, o dispositivo aéreo não tripulado 180 é qualquer tipo de veículo aéreo elétrico que não carrega um operador humano e usa forças aerodinâmicas para voar com base em comandos gerados autonomamente ou recebidos de um piloto remoto. O dispositivo aéreo não tripulado 180 pode também ser referido como um veículo aéreo não tripulado (UAV), um drone, ou um sistema de aeronave não tripulada (UAS). Embora apenas um dispositivo 180 esteja representado, dispositivos adicionais 180 podem ser providos para cooperativamente e coletivamente capturar imagens do local de trabalho 100.
[0033] Como descrito a seguir, em um exemplo, o dispositivo aéreo não tripulado 180 opera para voar autonomamente sobre o local de trabalho 100 com base em um plano de voo. Tais planos de voo podem ser baseados em limites do local de trabalho predeterminado ou reconhecido. Em outros exemplos, o dispositivo aéreo não tripulado 180 pode ser manualmente pilotado ou operar semiautonomamente. Adicionalmente, um único dispositivo aéreo não tripulado 180 pode cobri um local de trabalho completo 100 em um intervalo particular, ao passo que, em outras modalidades, múltiplos dispositivos aéreos não tripulados 180 são providos para coletivamente cobrir o local de trabalho 100 em um intervalo particular. Tais intervalos ou “passes” podem ser baseados em inúmeras considerações, incluindo o tamanho e nível de atividade no local de trabalho 100. No geral, entretanto, os mapas de locais de trabalho gerados pelo sistema de monitoramento 110 são baseados em imagens em tempo real, atuais, ou relativamente recentes capturadas pelo dispositivo aéreo não tripulado 180. Embora alguns elementos do dispositivo aéreo não tripulado 180 sejam especificamente discutidos a seguir, o dispositivo 180 pode incluir componentes ou funcionalidade adicionais.
[0034] Em uma modalidade, o dispositivo aéreo não tripulado 180 inclui um corpo 182 que no geral aloja ou senão suporta os outros componentes do dispositivo 180. O dispositivo aéreo não tripulado 180 inclui adicionalmente atuadores de voo 186 que coletivamente incluem um ou mais de rotores, motor, mecanismo, asas, superfícies de controle de voo ajustáveis, e similares que permitem que o dispositivo 180 alce e mantenha voo da maneira desejada.
[0035] O dispositivo aéreo não tripulado 180 inclui adicionalmente um controlador 184 que controla a operação geral do dispositivo 180, incluindo controle de voo e captura de imagem. Por exemplo, o controlador 184 pode ser configurado como um dispositivo de computação com dispositivos de processamento e arquiteturas de memória associados, como um circuito de computação físico (ou circuitos), como um circuito programável, ou de outra forma.
[0036] Adicionalmente, um ou mais sensores 188 podem ser providos para coletar informação que pode ser usada para controle de voo e/ou coleta de imagem. Por exemplo, os sensores 188 podem incluir um ou mais sensores de velocidade, localização e/ou posição, tais como um receptor GPS, um sistema LORAN, um sistema de navegação estimada, um sistema de triangulação celular, ou outro sistema de posicionamento, para permitir determinação da velocidade, localização e/ou posição do dispositivo 180. De acordo com uma modalidade, os sensores 188 podem também incluir unidades de medição inercial (IMU) 240 para gerar ou suplementar dados de localização, que pode incluir vários componentes, tais como acelerômetros, giroscópios, sensores de inclinação, etc. Adicionalmente, os sensores 188 podem ser sensores ópticos, sensores infravermelhos, e sistemas de radar ou LIDAR que podem auxiliar no controle de voo ou na coleta de imagens e outros dados a respeito do local de trabalho 100.
[0037] O dispositivo aéreo não tripulado 180 inclui adicionalmente uma unidade de comunicação 190 que permite que o controlador 184 e/ou outros componentes do dispositivo 180 comuniquem com uma estação de terra, que, em um exemplo, é o centro de controle 120, e/ou com o sistema de monitoramento 110. A unidade de comunicação 190 compreende qualquer sistema adequado para receber e transmitir dados, incluindo aqueles descritos anteriormente com referência ao componente de comunicação 122. Em um exemplo, a unidade de comunicação 190 alcança comunicações bidirecionais por Bluetooth®, satélite ou utilizando um padrão Wi-Fi, isto é, um ou mais dos padrões 802.11. A unidade de comunicação 190 pode empregar vários protocolos e técnicas de segurança para assegurar comunicação devidamente segura.
[0038] O dispositivo aéreo não tripulado 180 inclui adicionalmente um aparelho de geração de imagem 192. O aparelho de geração de imagem 192 funciona para coletar imagens do local de trabalho 100. O aparelho de geração de imagem 192 pode incluir um ou mais de uma câmera estática geral, uma câmera de vídeo tendo uma função de gravação de vídeo, uma câmera estereoscópica capaz de obter uma imagem tridimensional usando paralaxe, uma câmera 360 graus capaz de obter vídeo 360 graus, uma câmera de hiperespectro e/ou um dispositivo de geração de imagem térmica. Em alguns exemplos, as imagens podem ser usadas para coletar e determinar contorno, topologia, elevação e outra informação em tempo real com relação ao local de trabalho 100. Tais imagens podem incluir imagens multiespectrais e/ou hiperespectrais, por exemplo, para facilitar a geração de informação de mapeamento tridimensional (3D). No geral, o aparelho de geração de imagem 192 opera para capturar um número suficiente de imagens exigido para gerar o mapa de local de trabalho discutido a seguir. Em algumas modalidades, o dispositivo aéreo não tripulado 180 pode incluir um servomotor que permite ajuste ou reposicionamento do aparelho de geração de imagem 192.
[0039] Como anteriormente introduzido, o controlador 184 pode incluir qualquer hardware e software adequado para gerar as imagens que facilita a criação dos mapas de local de trabalho discutido a seguir. Por exemplo, o controlador 184 gera os comandos de controle de voo para fazer com que o dispositivo 180 fique na posição apropriada no momento apropriado para capturar as imagens desejadas no intervalo designado, que pode incluir todo o local de trabalho se o dispositivo 180 for um único dispositivo ou uma posição específica se o dispositivo 180 for um de inúmeros dispositivos cooperantes. Quando múltiplos dispositivos 180 são providos, o controlador 184 de um respectivo dispositivo 180 pode facilitar a comunicação com controladores correspondentes de outros dispositivos para sincronizar ou coordenar a coleta de imagem. Em algumas modalidades, o controlador 184 pode realizar um certo processamento de nível de imagem, incluindo combinar e/ou emendar múltiplas imagens parciais em uma imagem completa, embora, tipicamente, esta função seja realizada externamente ao dispositivo 180. De qualquer maneira, as imagens capturadas pelo dispositivo 180 são transmitidas pela unidade de comunicação 190 ao sistema de monitoramento 110, como descrito com mais detalhes a seguir.
[0040] A Figura 2 é um diagrama de blocos simplificado do sistema de monitoramento 110. Como aqui descrito, o sistema de monitoramento 110 pode ser implementado com os componentes do centro de controle 120 (por exemplo, o componente de comunicação 122, controlador central 124, armazenamento de dados 126, e interface homem-máquina 128) de maneira tal que, com efeito, o sistema de monitoramento 110 pode ser considerado parte do centro de controle 120. Entretanto, em outros exemplos, o sistema de monitoramento 110 pode ter componentes dedicados análogos.
[0041] Pode-se considerar que o sistema de monitoramento 110 inclui um controlador 210 que pode ser organizado como uma ou mais unidades ou módulos funcionais 220, 240, 260 e 280 (por exemplo, software, hardware, ou combinações dos mesmos). Como um exemplo, cada dos módulos 220, 240, 260, 280 pode ser implementado com arquitetura de processamento tais como um processador 202 e memória 204. Por exemplo, o controlador 210 pode implementar os módulos 220, 240, 260, 280 com o processador 202 com base em programas ou instruções armazenadas em memória 204.
[0042] Na modalidade representada, o controlador 210 do sistema de monitoramento 110 inclui um módulo de cena 220, um módulo de objeto 240, um módulo de produtividade 260 e um módulo de mapa 280. A Figura 2 representa uma organização exemplar, e outras modalidades podem desempenhar funções similares com organização ou implementação alternativa. Detalhes adicionais a respeito da operação desses módulos 220, 240, 260, 280 serão providos a seguir.
[0043] Como anteriormente introduzido, o sistema de monitoramento 110 pode receber dados de uma ou mais fontes de dados. Como exemplos, e como discutido com mais detalhes a seguir, tais fontes de dados podem incluir dispositivo aéreo não tripulado 180, veículos de trabalho 130-133, armazenamento de dados 126, entradas de usuário e/ou outros sistemas. como também discutido a seguir, o sistema de monitoramento 110 usa esses dados para gerar mapas de local de trabalho e outros tipos de informação associados com o local de trabalho 100 para permitir que um operador monitore várias características do local de trabalho.
[0044] A Figura 3 é um diagrama de blocos esquemático mais detalhado que representa os fluxos de dados de entrada e saída do sistema 110 e entre os módulos 220, 240, 260, 280. Os fluxos de dados e organização representados na FIG. 3 são meramente exemplos, e outros mecanismos para desempenha funções similares podem ser providos, certas funções podem ser omitidas, e funções adicionais podem ser incorporadas. Aspectos da FIG. 1 podem ser referenciados a seguir na discussão da FIG. 3.
[0045] Em um exemplo, o módulo de cena 220 opera para gerar uma imagem de cena 320 que representa a “cena” do local de trabalho 100, que, no geral, se refere ao fundo geral do local de trabalho, incluindo as áreas do terreno e/ou tarefa. O módulo de cena 220 pode receber dados de inúmeras fontes, incluindo dispositivo aéreo não tripulado 180, veículos de trabalho 130-133, armazenamento de dados 126, entradas de usuário e/ou outros sistemas.
[0046] Em particular, o módulo de cena 220 recebe dados de imagem 302 de um ou mais dos dispositivos aéreos não tripulados 180. Como anteriormente introduzido, os dados de imagem 302 podem assumir várias formas, embora, no geral, os dados de imagem 302 coletivamente representem uma vista aérea geral (ou “olho de pássaro”) do local de trabalho 100. Os dados de imagem 302 podem ser formados por múltiplas imagens parciais do local de trabalho 100; uma única imagem do local de trabalho 100; e/ou vídeo ou outros tipos de imagens do local de trabalho 100 dos quais imagens visuais e/ou outros tipos de dados podem ser extraído. Como descrito a seguir, os dados de imagem 302 podem ser avaliados, classificados e combinados para criar uma imagem de cena geral 320.
[0047] Em alguns exemplos, os dados de imagem 302 podem ser associados com, ou incluir, dados de tempo que indicam o momento no qual a respectiva imagem foi capturada e/ou dados de posição que indicam a localização, altitude, velocidade, orientação e similares do dispositivo aéreo não tripulado 180 quando a respectiva imagem foi capturada. Estes dados podem ser usados como contexto para a criação da imagem de cena 320 a partir de múltiplas imagens. Por exemplo, com base no tempo e/ou posição do dispositivo aéreo não tripulado 180 e nas características do aparelho de geração de imagem 192 (por exemplo, campo de visão, ângulo, etc.), coordenadas geográficas para a imagem resultante podem ser estimadas ou determinadas.
[0048] Em alguns exemplos, o módulo de cena 220 pode adicionalmente receber dados de veículo 304 diretamente de um ou mais dos veículos de trabalho 130-133 ou acessados a partir do armazenamento de dados 126. Os dados de veículo 304 podem incluir dados de posição na forma de localização, velocidade e/ou direção associados com um ou mais dos veículos 130-133 no local de trabalho 100. Em algumas modalidades, os dados de veículo 304 podem ser suplementados com dados da frota 306 armazenados em armazenamento de dados 126 representando o número, tipo e outras características de veículos de trabalho na frota. Estes dados 304, 306 podem auxiliar o módulo de cena 220 na geração da imagem de cena 320. Por exemplo, se um veículo 130-133 com uma localização conhecida dos dados de posição nos dados de veículo 304 for identificado nos dados de imagem 302, o módulo de cena 220 pode usar esta informação para atribuir ou estimar coordenadas para a porção da cena em torno ou para combinar imagens adjacentes. Exemplos adicionais podem ser discutidos a seguir.
[0049] Em alguns exemplos, o módulo de cena 220 pode também receber dados de mapeamento 308 armazenados em armazenamento de dados 126. Os dados de mapeamento 308 podem incluir informação a respeito da geografia, terreno, pontos de referência, e similares no local de trabalho 100. Esses dados, que podem incluir mapas de local de trabalho e/ou imagens de cena previamente gerados, podem permitir geração mais eficiente de imagens de cena novas ou atualizadas.
[0050] Mediante recebimento dos dados de imagem 302 (e, opcionalmente, outros tipos de dados 304, 306, 308), o módulo de cena 220 pode gerar a imagem de cena 320 do local de trabalho 100. Como anteriormente notado, em um exemplo, o módulo de cena 220 emenda ou senão combina múltiplas imagens a partir dos dados de imagem 302 em uma imagem de cena extensiva geral 320 do local de trabalho 100.
[0051] No geral, emenda de cena de múltiplas imagens pode ser feita de várias maneiras. Por exemplo, emenda pode ser feita usando informação puramente visual dos dados de imagem 302, ou usando informação visual dos dados de imagem 302 combinados com dados de posição e tempo associados com os dados de imagem 302 providos pelo aparelho de geração de imagem 192. Por exemplo, à medida que porções de imagem combinadas são reconhecidas e emendadas entre si, os dados de posição e tempo dos dados de imagem 302 podem conter informação que funciona para prover uma estimativa inicial para o alinhamento de múltiplas imagens, ao passo que, em outros exemplos, os dados de posição e tempo podem ser usados diretamente para calcular o alinhamento de múltiplas imagens.
[0052] De qualquer maneira, o módulo de cena 220 pode avaliar as imagens para identificar porções de diferentes imagens que representam a mesma porção das cenas do local de trabalho 100. Em particular, o módulo de cena 220 pode correlacionar coordenadas de pixel em uma respectiva imagem com coordenadas de pixel em outras imagens para alinhamento a fim de combinar porções de imagem de pares ou coleções relativas de imagens.
Adicionalmente, distintos recursos em cada imagem podem ser identificados para determinar correspondência de imagem entre pares ou grupos de imagens. Em alguns exemplos, dados de mapeamento 308 com características conhecidas de distintos recursos podem ser usados para alinhar respectivas imagens. Adicionalmente, as imagens podem ser projetadas e alinhadas em uma superfície de composição gerada, que adicionalmente permite a combinação de imagens sobrepostas, incluindo levar em conta diferenças na iluminação, paralaxe, movimento, distorção de lente, e exposição.
[0053] Em alguns exemplos, o módulo de cena 220 pode adicionalmente usar dados de veículo 304 e dados da frota 306 para facilitar a emenda e/ou abstração da imagem de cena do local de trabalho 320. Por exemplo, o módulo de cena 220 pode usar a informação de posição, direção e velocidade de um ou mais dos veículos de trabalho 130-133 para facilitar a combinação de imagem e/ou tais dados podem ser usados para evitar artefatos que podem de outra forma resultar do movimento de um veículo como este.
[0054] Embora discutido com referência ao sistema de monitoramento 110 implementado no centro de controle 120, em um exemplo, parte ou toda a função de emenda pode ser feita internamente ao dispositivo aéreo não tripulado 180. Em particular, o módulo de cena 220 pode receber os dados de imagem 302 como uma vista completa do local de trabalho para geração da imagem de cena 320.
[0055] Em alguns exemplos, o módulo de cena 220 pode adicionalmente submeter uma ou mais características da imagem de cena 320 a uma certa quantidade de abstração. No geral, “abstração” pode ser considerada a seleção e generalização de recursos na imagem, e, adicionalmente, a classificação, simplificação, exagero, simbolização e indução de tais recursos. Por exemplo, estradas, áreas e limites de interesse na imagem podem ser identificados e enfatizados ou rotulados na imagem de cena 320. A abstração pode ser baseada em dados de mapeamento 308 ou dados do trabalho 310 armazenados em armazenamento de dados 126. Por exemplo, uma estrada pode ser identificada ou reconhecida em uma imagem de cena e confirmada ou suplementada com dados 306, 308, de maneira tal que a imagem da estrada pode ser substituída ou coberta com simbologia representando a estrada e/ou simbologia de texto com o nome da estrada. Em outras modalidades, mediante correlacionamento de pixels de imagem com coordenadas geográficas, as coordenadas geográficas associadas com elementos de interesse nos dados 306, 308 podem ser usadas para gerar e posicionar a simbologia correspondente na imagem de cena 320. Exemplos adicionais são discutidos a seguir.
[0056] Dessa maneira, o módulo de cena 220 gera a imagem de cena 320 que fornece uma imagem abrangente geral do local de trabalho 100, e, em um exemplo, pode adicionalmente incluir um certo nível de abstração. Detalhes adicionais relativos à imagem de cena 320 são discutidos a seguir.
[0057] Como aqui notado, o sistema de monitoramento 110 inclui adicionalmente o módulo de objeto 240. Em um exemplo, o módulo de objeto 240 funciona para gerar simbologia de objeto 340 associada com objetos dentro do local de trabalho 100. No geral, os “objetos” correspondem aos veículos de trabalho 130-133 e outro equipamento no local de trabalho 100. Os “objetos” podem também incluir materiais, suprimentos e recursos no local de trabalho 100. Exemplos adicionais podem ser discutidos a seguir.
[0058] O módulo de objeto 240 pode receber um ou mais dos dados de imagem 302, dados de veículo 304, dados da frota 306 e dados de mapeamento 308. No geral, o módulo de objeto 240 funciona para identificar, classificar, avaliar e/ou abstrair um ou mais dos objetos no local de trabalho 100.
[0059] Como um exemplo, o módulo de objeto 240 pode usar reconhecimento de imagem para identificar os veículos de trabalho 130-133 nas imagens de local de trabalho a partir dos dados de imagem 302. Em particular, o módulo de objeto 240 pode identificar a posição (por exemplo, localização, direção e orientação) dos veículos 130-133. Esta função pode ser facilitada por um ou mais dos dados de veículo 304 e dados da frota 306, por exemplo, com base nas características reportadas e/ou esperadas de cada veículo 130-133. Em alguns exemplos, o módulo de objeto 240 pode usar reconhecimento de imagem para identificar objetos além dos veículos de trabalho no local de trabalho 100, tais como veículos errantes ou pessoal. Como descrito a seguir, com o tempo, os objetos identificados pelo módulo de objeto 240 podem ser rastreados para prover informação adicional incorporada na simbologia de objeto 340.
[0060] Mediante identificação dos objetos, o módulo de objeto 240 pode classificar o objeto, por exemplo, determinando o tipo e/ou propósito do objeto no local de trabalho 100. Por exemplo, o módulo de objeto 240 pode determinar ou reconhecer que os veículos de trabalho 130, 131 são caminhões basculantes articulados e os veículos de trabalho 132, 133 são retroescavadeiras. Em alguns exemplos, o módulo de objeto 240 pode também classificar o estado atual do objeto, particularmente os veículos de trabalho 130-133. Por exemplo, o módulo de objeto 240 pode determinar a presença ou quantidade de material ou carga na ferramenta de trabalho do veículo de trabalho 130-133, ou o módulo de objeto 240 pode determinar que o veículo de trabalho 130-133 está deslocando para uma localização particular ou para fora de uma localização particular. Tal informação pode ser derivada dos dados de imagem 302 (por exemplo, como reconhecido nas imagens) e/ou os dados de veículo 304 (por exemplo, como reportado pelo respectivo veículo). Em exemplos adicionais, os dados de veículo 304, reportados pelo veículo 130-133, ou dados da frota 306, refletidos pelo registro de serviço ou manutenção para o veículo de trabalho identificado 130-133, pode incluir informação de saúde, tais como códigos de problema de diagnóstico. Esta informação de saúde pode ser usada para avaliar o estado ou adequabilidade de cada veículo 130-133.
[0061] Mediante classificação, o módulo de objeto 240 pode abstrair um ou mais aspectos dos objetos e gerar simbologia de objeto 340 com base nesta abstração. Por exemplo, a simbologia de objeto 340 gerada pelo módulo de objeto 240 pode incluir imagens ou símbolos simplificados associados com cada objeto para salientar o objeto ou permitir reconhecimento visual mais imediato. Adicionalmente, a simbologia de objeto 340 gerada pelo módulo de objeto 240 pode prover uma representação simbólica do estado ou outros tipos de informação associadas do objeto. Por exemplo, a simbologia de objeto 340 pode refletir o tipo de veículo de trabalho, a quantidade de material no veículo de trabalho 130-133, estado do veículo de trabalho 130-133, e/ou o movimento do veículo de trabalho 130-133. A simbologia de objeto 340 pode também refletir a determinação de que o objeto foi identificado como sendo não autorizado, ou não reconhecido como um veículo de trabalho 130-133, bem como o movimento de tais objetos com o tempo. Tipicamente, cada elemento da simbologia de objeto é associado com dados de coordenada representando a posição do respectivo elemento no local de trabalho 100 e/ou com relação à imagem de cena 320.
[0062] Dessa maneira, o módulo de objeto 240 gera simbologia de objeto 340 representando a abstração dos objetos identificados no local de trabalho. Como descrito com mais detalhes a seguir, a simbologia de objeto 340 pode ser incorporada nos mapas de local de trabalho substituindo ou mascarando as porções de imagem da imagem de cena 320 correspondentes ao respectivo objeto do mundo real.
[0063] Exemplos da simbologia de objeto 340 são representados nas FIGS. 4A-4E e FIGS. 5A-5E. Deve-se notar que os exemplos de simbologia de objeto 340 nas FIGS. 4A-4E e FIGS. 5A-5E são meramente exemplos e outros tipos de simbologia podem ser usados.
[0064] A Figura 4A é um símbolo de desenho de linhas 410 que pode ser usado para representar o veículo de trabalho como uma retroescavadeira (por exemplo, veículo de trabalho 132, 133). Em um exemplo, particularmente comparado com os símbolos discutidos a seguir, o símbolo da retroescavadeira 410 da FIG. 4A é descaracterizado ou descolorido, que pode representar que a retroescavadeira associada está ociosa, por exemplo, atualmente sem movimento ou uso.
[0065] A Figura 4B é um símbolo de desenho de linhas 420 que pode ser usado para representar o veículo de trabalho como uma retroescavadeira (por exemplo, veículo de trabalho 132, 133). Neste exemplo, o símbolo da retroescavadeira 420 tem rodas salientadas (por exemplo, em uma cor, brilho diferente, etc.), que pode representar que a retroescavadeira associada está em movimento de uma posição para outra.
[0066] A Figura 4C é um símbolo de desenho de linhas 430 que pode ser usado para representar o veículo de trabalho como uma retroescavadeira (por exemplo, veículo de trabalho 132, 133). Neste exemplo, o símbolo da retroescavadeira 430 tem uma ferramenta de escavar salientada (por exemplo, em uma cor, brilho diferente, etc.), que pode representar que a ferramenta de escavar da retroescavadeira associada está atualmente sendo usada.
[0067] A Figura 4D é um símbolo de desenho de linhas 440 que pode ser usado para representar o veículo de trabalho como uma retroescavadeira (por exemplo, veículo de trabalho 132, 133). Neste exemplo, o símbolo da retroescavadeira 440 tem uma ferramenta de escavar salientada (por exemplo, em uma cor, brilho diferente, etc.), que pode representar que a ferramenta de escavar da retroescavadeira associada está atualmente sendo usada.
[0068] A Figura 4E é um símbolo de desenho de linhas 450 que pode ser usado para representar o veículo de trabalho como uma retroescavadeira (por exemplo, veículo de trabalho 132, 133). Neste exemplo, o símbolo da retroescavadeira 450 está parcialmente ofuscado por um símbolo de chave inglesa, que pode representar que a retroescavadeira associada precisa de manutenção. Tais exigências de manutenção podem ser indicadas pelos códigos de problema de diagnóstico que pode formar parte dos dados de veículo 304 (FIG. 3).
[0069] A Figura 5A é um símbolo de desenho de linhas 510 que pode ser usado para representar o veículo de trabalho como um caminhão basculante articulado (por exemplo, veículo de trabalho 130, 131). Em um exemplo, particularmente comparado com os símbolos discutido a seguir, o símbolo do caminhão basculante 510 da FIG. 5A é descaracterizado ou incolor, que pode representar que o caminhão associado está ocioso.
[0070] A Figura 5B é um símbolo de desenho de linhas 520 que pode ser usado para representar o veículo de trabalho como um caminhão basculante articulado (por exemplo, veículo de trabalho 130, 131). Neste exemplo, o símbolo do caminhão basculante 520 inclui uma carga no compartimento (por exemplo, em uma cor, brilho diferente, etc.), que pode representar que o caminhão basculante associado está carregado.
[0071] As Figuras 5C-5E são adicionalmente exemplos de símbolos de desenho 530, 540, 550 que podem ser usados para representar o veículo de trabalho como um caminhão basculante articulado (por exemplo, veículo de trabalho 130, 131). Adicionalmente ao exemplo da FIG. 5B, os símbolos de desenho 530, 540, 550 das FIGS. 5C-5E incluem hachuras ou cores na carga no bin para representar o estado do caminhão basculante associado e/ou natureza da carga. Por exemplo, hachura do símbolo 530 pode indicar que a carga é um tipo particular de material. A hachura do símbolo 540 pode indicar que a carga está sendo transportada para uma primeira posição, e a hachura do símbolo 550 pode indicar que a carga está sendo transportada para uma segunda posição. Usos de exemplo da simbologia de objeto representado nas FIGS. 4A-4E e 5A-5E são discutidos a seguir.
[0072] De volta à FIG. 3, o sistema de monitoramento 110 inclui adicionalmente um módulo de produtividade 260. Em um exemplo, o módulo de produtividade 260 pode receber um ou mais dos dados de imagem 302, dados de veículo 304, dados de mapeamento 308 e dados do trabalho 310. Os dados do trabalho 310 correspondem a informação de planejamento associada com o local de trabalho 100, tal como uma lista ou linha de tempo de tarefas para concluir a trabalho geral. Os dados do trabalho 310 podem ser providos por entrada de usuário ou acessados a partir do armazenamento de dados 126. Como um exemplo, os dados do trabalho 310 podem particularmente prover informação de contexto para a tarefa ou trabalhos e podem incluir parâmetros de produtividade, medições, ou marcos que são específicos das tarefas que estão sendo realizadas no local de trabalho 100. Como exemplo, se a tarefa for associada com uma vala, os dados do trabalho 310 podem definir uma profundidade, comprimento ou taxa desejada para um marco particular ou para conclusão. Um outro exemplo pode incluir o número ou taxa de cargas de material entregue ou removido pelos veículos de trabalho 130-133 no local de trabalho 100. Os dados do trabalho 310 podem ser atualizados à medida que tarefas ou porções de tarefas são completadas. Por exemplo, as cargas são entregues a uma área de tarefa ou removidas de uma área de tarefa (dependendo da natureza da área de tarefa), o número de cargas restantes refletido nos dados do trabalho 310 pode ser ajustado dessa maneira. Os dados do trabalho 310 podem adicionalmente refletir dados de escalas úteis da retroescavadeira, escalas úteis do caminhão basculante, ou sistemas de fatura automática, como desejado, para prover informação de contexto adicional relativa às tarefas no local de trabalho 100.
[0073] Mediante recebimento de pelo menos os dados de imagem 302 e os dados do trabalho 310, o módulo de produtividade 260 avalia os dados de imagem 302 para determinar o progresso associado com as tarefas ou trabalho. Em particular, o módulo de produtividade 260 pode identificar uma localização de tarefa nas imagens dos dados de imagem 302 e avaliar uma ou mais características da tarefa em vista dos dados do trabalho 310. Tais características podem incluir quantidade de material na localização da tarefa e/ou o tamanho de um edifício ou estrutura na localização da tarefa, dependendo da natureza da tarefa. O módulo de produtividade 260 pode então comparar a característica observada nas imagens dos dados de imagem 302 com uma característica prevista ou programada para atual momento e/ou uma tarefa completada a partir dos dados do trabalho 310. Exemplos são providos a seguir.
[0074] Em algumas modalidades, dados de veículo 304 podem ser usados pelo módulo de produtividade 260 para identificar o progresso do término da tarefa. Por exemplo, progresso pode ser avaliado com base no número de veículos de trabalho 130-133 em uma área de tarefa; se os veículos 130-133 estão chegando ou saindo da área de tarefa; e/ou como muitos veículos de trabalho 130-133 chegaram ou deixaram a área de tarefa..
[0075] Em algumas modalidades, dados de mapeamento 308 podem ser usados pelo módulo de produtividade 260 para avaliar o progresso da tarefa. Por exemplo, o módulo de produtividade 260 pode comparar as presentes imagens dos dados de imagem 302 com os dados de mapeamento mais recentes 308 a fim de determinar as discrepâncias correspondentes às características da tarefa. Tais discrepâncias podem ser derivadas da comparação do contorno, topologia, elevação, ou outra informação do terreno (por exemplo, para identificar material removido ou adicionado) de acordo com técnicas de análise de contorno para avaliar características do terreno na área de tarefa. O módulo de produtividade 260 pode então avaliar as discrepâncias a fim de determinar a quantidade de progresso.
[0076] Mediante avaliação de uma ou mais características da tarefa, o módulo de produtividade 260 pode gerar simbologia de trabalho 360 que representa o estado atual da tarefa ou trabalho. No geral, a simbologia de trabalho 360 pode representar o progresso da tarefa ou trabalho relativa à avaliação mais anterior, relativa ao progresso esperado, ou relativa à tarefa ou trabalho geral. Detalhes adicionais relativos à simbologia de trabalho 360 serão discutidos a seguir.
[0077] O módulo de mapa 280 pode receber a imagem de cena 320, a simbologia de objeto 340 e/ou a simbologia de trabalho 360. O módulo de mapa 280 pode também receber um ou mais dos dados de imagem 302, dados de veículo 304, dados da frota 306, dados de mapeamento 308, e/ou dados do trabalho 310. Mediante recebimento, o módulo de mapa 280 gera um mapa de local de trabalho 380. Em uma modalidade, o mapa de local de trabalho 380 pode ser formado pela imagem de cena 320, que é então disposta em camadas ou modificada com a simbologia de objeto 340 e/ou simbologia de trabalho 360. Por exemplo, a simbologia de objeto 340 pode cobrir, substituir, ou senão realçar as porções de imagem do objeto correspondentes na imagem de cena 320, e a simbologia de trabalho 360 pode similarmente cobrir, substituir, ou senão realçar as porções de imagem relacionadas ao trabalho ou tarefa correspondentes na imagem de cena 320.
[0078] Em uma modalidade, as características da imagem de cena 320, a simbologia de objeto 340, e a simbologia de trabalho 360 representadas no mapa de local de trabalho 380 podem ser definidas ou predeterminadas. Em outras modalidades, o sistema de monitoramento 110 pode gerar um menu de interface gráfica de usuário que permite que um operador selecione características desejadas para representação. Um exemplo é discutido com mais detalhes a seguir. Em tais modalidades, as seleções do operador podem ser usadas pelo módulo de mapa 280 para definir os recursos representados no mapa de local de trabalho 380.
[0079] Mediante geração pelo módulo de mapa 280, o mapa de local de trabalho 380 pode ser transmitido ao operador do centro de controle 120 e/ou os operadores dos veículos de trabalho 130-133. Em particular, o mapa de local de trabalho 380 pode ser transmitido pelo componente de comunicação 122 do centro de controle 120 para os veículos de trabalho 130- 133 por meio da rede de comunicação 102. Mediante recebimento, o operador dos veículos de trabalho 130-133 pode ver o mapa de local de trabalho 380 em uma exibição visual (por exemplo, monitor visual 154). Com relação ao mapa de local de trabalho 380, deve-se entender que o mapa pode assumir várias formas para uso pelos operadores e/ou equipamento de acordo com as modalidades aqui. O mapa de local de trabalho 380 pode ser gerado para ser exibido em um dispositivo de exibição eletrônica (por exemplo, um dispositivo portátil ou monitor montado no painel do veículo), incluindo aqueles aqui descritos. Na prática, o mapa de local de trabalho 380 pode ser uma exibição gráfica bidimensional, uma exibição gráfica tridimensional, ou uma combinação de elementos de exibição gráfica bi e tridimensional. O mapa de local de trabalho 380 pode também ser armazenado em armazenamento de dados 126 para facilitar a geração de futuros mapas de local de trabalho.
[0080] A Figura 6 é um exemplo de um mapa de local de trabalho 600 (por exemplo, correspondente ao mapa de local de trabalho 380 da FIG. 3) que pode ser gerado para o operador. Como descrito a seguir, o local de trabalho representado pelo mapa de local de trabalho 600 é definido por um limite e, neste exemplo, inclui duas áreas de tarefa (no geral referenciadas como áreas 602, 604). Em particular, neste exemplo, uma primeira área de tarefa 602 é associada com escavação de uma fundação, e uma segunda área de tarefa 604 é associada com escavação de uma vala. Inúmeros veículos de trabalho deslocam até e a partir das áreas de tarefa 602, 604 em estradas através do local de trabalho e/ou operam nas áreas de tarefa. Como também descrito a seguir, o mapa de local de trabalho 600 inclui uma imagem de cena 610 e vários tipos de simbologia 612, 614, 615, 616, 617, 621-627, 630 representando características do local de trabalho.
[0081] O mapa de local de trabalho 600 inclui uma imagem de cena 610 que, como aqui discutido, pode ser formada emendando múltiplas imagens provenientes de um ou mais dispositivos aéreos não tripulados 180. Em particular, a imagem de cena 610 pode ser uma imagem visual real do ambiente do local de trabalho 100 na qual a simbologia discutida a seguir é disposta em camadas. Como mostrado, a imagem de cena 610 representa o terreno, vegetação, obstáculos, e similares do local de trabalho.
[0082] Em alguns exemplos, a imagem de cena 610 pode adicionalmente incluir um certo nível de abstração ou simbologia de cena que funciona para prover informação adicional a respeito do local de trabalho 100. Exemplos incluem linhas de contorno do local de trabalho 612, marcações da área de tarefa 614, 615 e/ou estradas ou caminhos salientados 616, 617 que são posicionados na imagem de cena 610 nas localizações apropriadas.
[0083] A imagem de cena 610 é adicionalmente disposta com vários tipos de simbologia de objeto 621-627. Como anteriormente discutido, a simbologia de objeto 621-627pode representar a abstração dos objetos no local de trabalho, incluindo os veículos de trabalho e outro equipamento. Na FIG. 6, a simbologia de objeto inclui símbolos do veículo de trabalho 621-627 que são exibidos no mapa de local de trabalho 600 para fornecer uma indicação da localização dos veículos de trabalho no local de trabalho. Os símbolos do veículo de trabalho 621-627 podem também prover informação de contexto e estado a respeito do veículo correspondente, algumas das quais são discutidas anteriormente com referência às FIGS. 4A-4E e FIGS. 5A-5E. No exemplo da FIG. 6, os símbolos do veículo de trabalho 621-627 indicam o tipo particular de veículo, por exemplo, os símbolos de veículo de trabalho 621, 622 representam retroescavadeiras e os símbolos de veículo de trabalho 623-627 representam caminhões basculantes. O símbolo do veículo de trabalho 621 indica que a carregadeira da retroescavadeira está ativa, e o símbolo do veículo de trabalho 622 indica que a escavadeira da retroescavadeira está ativa. O símbolo do veículo de trabalho 623 indica que o caminhão basculante está movendo para fora da área de tarefa 602 com uma carga de um primeiro tipo de material. Os símbolos de veículo de trabalho 624, 625 indicam que os caminhões basculantes estão movendo em direção à área de tarefa 604 com carga de um segundo tipo de material, e os símbolos de veículo de trabalho 626, 627 indicam que os caminhões basculantes estão movendo para fora da área de tarefa 604 sem cargas.
[0084] Como anteriormente introduzido, os símbolos de veículo 621627 podem refletir informação de saúde ou estado de cada veículo no local de trabalho. Tal informação pode ser usada por um operador para avaliar a capacidade da frota em atribuir a veículos as tarefas particulares e/ou por operadores técnicos em serviço que podem ser enviados para realizar serviço em um veículo.
[0085] A imagem de cena 610 pode adicionalmente ser sobreposta com simbologia de trabalho 630, 640, que, neste exemplo, é representado por duas áreas de tarefa 602, 604. Como notado anteriormente, a simbologia de trabalho 630, 640 pode funcionar para representar o progresso da respectiva tarefa. Por exemplo, na área de tarefa 602, uma fundação está sendo escavado. A área de tarefa 602 inclui simbologia 630 no geral representando o tamanho geral da fundação que é sobreposta na imagem 610 com uma primeira porção 634 no geral representando a porção completada da fundação e uma segunda porção 636 representando a porção inacabada da fundação. Como um outro exemplo, na área de tarefa 604, uma vala está sendo escavado. A área de tarefa 604 inclui simbologia 640 no geral representando o tamanho geral da vala que é sobreposto na imagem 610 com uma primeira porção 644 representando a porção completada da vala e uma segunda porção 646 representando a porção inacabada do vala. Como tal, esta simbologia 630, 640 fornece uma indicação da natureza, tamanho e progresso das tarefas subjacentes.
[0086] Qualquer tipo de característica do trabalho (ou produtividade) pode ser representado pela simbologia e tal simbologia pode assumir várias formas. Por exemplo, simbologia de trabalho pode ser na forma de um número representando pedidos recebidos ou atendidos. Contexto adicional pode refletir fluxo de material por referência cruzada a informação de peso da carga útil do veículo e a rota de curso no mapa (por exemplo, usando dados de veículo 304 e/ou dados de imagem 302). Simbologia de trabalho adicional pode ser implementada por simbologia codificada em cores com base na diferença de altura entre uma varredura topográfica pelo dispositivo aéreo não tripulado representado em dados de imagem 302 e uma topografia da superfície visada representada nos dados de trabalho 310.
[0087] Referindo-se agora também à FIG. 7, bem como continuando com referência às FIGS. 1-6, um fluxograma ilustra um método 700 que pode ser realizado pelo sistema de monitoramento 110 de acordo com a presente descrição. Como pode-se apreciar sob a luz da descrição, a ordem de operação no método 700 não está limitada à execução sequencial ilustrada na FIG. 7, mas pode ser realizada em uma ou mais ordens variadas da forma aplicável e de acordo com a presente descrição. Adicionalmente, uma ou mais etapas podem ser omitidas e/ou etapas adicionais incorporadas.
[0088] Em um exemplo, o método 700 começa na etapa 705. Na etapa 705, a geração de um mapa de local de trabalho pelo sistema de monitoramento 110 é iniciada. A coleta de imagens e/ou geração dos mapas de local de trabalho podem ser iniciadas de inúmeras maneiras, incluindo uma solicitação manual por um operador em um veículo de trabalho 130-133 ou no centro de controle 120. Em alguns exemplos, tais funções podem ser iniciadas em uma programação, por exemplo, horária ou diária, da forma apropriada.
[0089] Em algumas modalidades, um operador pode customizar ou senão prover entrada de usuário relativa ao tipo de informação a ser exibida no mapa de local de trabalho. Esta entrada de usuário pode ser provida pelo operador iniciando o mapa de local de trabalho na etapa 705 ou provida pelo operador visualizando o mapa de local de trabalho (por exemplo, na etapa 765). Referência é rapidamente feita à FIG. 8, que é um menu da interface gráfica de usuário 800 que pode ser apresentado a um operador em um monitor de uma interface homem-máquina (por exemplo, em veículos de trabalho 130-133 e/ou centro de controle 120). Como mostrado, o menu 800 apresenta opções de elemento selecionáveis 810, 820, 830 representando a simbologia disponível para incorporação no mapa de local de trabalho. Como mostrado, as opções de elemento selecionáveis 810, 820, 830 podem ser organizadas nas opções de abstração de imagem de cena 810, opções de abstração de objeto 820 e/ou opções de abstração de produtividade 830. Cada opção 810, 820, 830 pode ser adicionalmente subdividida em tipos mais específicos de itens ou tipos de abstração, como mostrado. Mediante indicação da seleção (por exemplo, marcando ou clicando com um cursor-dispositivo de controle ou tela sensível ao toque), o operador pode iniciar a geração ou exibição do mapa de local de trabalho incorporando as opções selecionadas, selecionando o elemento “prosseguir” 802.
[0090] De volta ao método 700 na FIG. 7, na etapa 710, o sistema de monitoramento 110 recebe dados de imagem 302 de um ou mais dos dispositivos aéreos não tripulados 180. Como aqui notado, o dispositivo aéreo não tripulado 180 pode usar um caminho de voo predeterminado para cobrir todo o local de trabalho em um intervalo predeterminado ou, no caso de múltiplos dispositivos aéreos não tripulados 180, cobrir uma seção designada do local de trabalho em um valor de tempo predeterminado ou em sincronismo com outro dispositivo aéreo não tripulado 180. O dispositivo aéreo não tripulado 180 captura um número suficiente de imagens para permitir a criação de uma imagem totalmente atualizada do local de trabalho para esse intervalo.
[0091] Na etapa 715, o sistema de monitoramento 110 pode também receber dados adicionais, tais como dados de veículo 304, dados da frota 306, e dados do trabalho 310. Como anteriormente notado, estes dados adicionais podem ser na forma de dados de posição do veículo, dados de planejamento, dados de serviço ou saúde, e similares.
[0092] Na etapa 720, o sistema de monitoramento 110 emenda ou senão combina as imagens a partir dos dados de imagem 302 a fim de criar uma imagem de cena geral 320. Como anteriormente notado, em algumas modalidades, o sistema de monitoramento 110 pode receber uma imagem completa do local de trabalho do dispositivo aéreo não tripulado 180, embora, no geral, as imagens sejam combinadas pelo sistema de monitoramento, por meio disto potencialmente permitindo operação mais eficiente pelo dispositivo aéreo não tripulado 180 e/ou processamento adicional das imagens com dados armazenados no sistema de monitoramento 110.
[0093] Na etapa 725, o sistema de monitoramento 110 pode abstrair um ou mais aspectos da imagem de cena 320. Exemplos incluem estradas, áreas de tarefa, limites, e outro tipos de informação de cena.
[0094] Na etapa 730, o sistema de monitoramento 110 detecta e classifica um ou mais objetos nos dados de imagem 302, por exemplo, usando reconhecimento de imagem para avaliar as imagens. Tais detecção e classificação podem ser facilitadas pelos dados de veículo 304 e/ou dados da frota 306.
[0095] Na etapa 735, o sistema de monitoramento 110 pode rastrear um ou mais objetos no local de trabalho 100, por exemplo, comparando dados de imagem atuais 302 com dados de imagem ou mapas de local de trabalho anteriores. Em um exemplo, o módulo de objeto 240 pode realizar esta operação de rastreamento identificando objetos em dados de imagem atuais, identificando objetos correspondentes em dados de imagem anteriores ou em mapas de local de trabalho anteriores, e comparando as posições dos objetos correspondentes para determinar o movimento de tais objetos com o tempo. Os objetos rastreados podem ser veículos de trabalho 130-133, veículos ou pessoal autorizado ou errante, e/ou outros tipos de equipamento ou material no local de trabalho 100. Como um exemplo, tal rastreamento pode ser usado pelo sistema de monitoramento 110 parra inventário ou localizar materiais e/ou equipamento para representação no mapa de local de trabalho e/ou para outros sistemas do centro de controle.
[0096] Na etapa 740, o sistema de monitoramento 110 pode abstrair um ou mais objetos no local de trabalho 100. Tal simbologia de objeto 340 permite reconhecimento e entendimento mais imediato da situação e informação relevante por um espectador.
[0097] Na etapa 745, o sistema de monitoramento 110 pode identificar e determinar uma ou mais características das áreas de tarefa do local de trabalho com base nas imagens nos dados de imagem 302. Em particular, o sistema de monitoramento 110 pode identificar e determinar a topografia da área de tarefa. Na etapa 750, o sistema de monitoramento 110 pode avaliar as características em vista do contexto de produtividade. O contexto de produtividade pode ser determinado ou derivado dos dados do trabalho 310. Na etapa 755, o sistema de monitoramento 110 pode gerar simbologia de trabalho 360 com base nas características avaliadas. Tal simbologia 360 permite reconhecimento e entendimento mais imediato da situação e informação relevante por um espectador.
[0098] Na etapa 765, o sistema de monitoramento 110 pode gerar um mapa de local de trabalho 380. Em um exemplo, o mapa de local de trabalho pode ser formado dispondo em camadas a simbologia de objeto 340 e a simbologia de trabalho 360 na imagem de cena 320. Como anteriormente notado, a simbologia incorporada no mapa de local de trabalho 380 pode ser baseada em seleções do usuário.
[0099] Na etapa 765, o sistema de monitoramento 110 pode transmitir mapa de local de trabalho para um ou mais operadores para exibição. Como anteriormente introduzido, os operadores podem assumir várias formas, incluindo operadores nos veículos de trabalho, operadores no centro de controle, operadores remotos ou portais, operadores técnicos em serviço, etc.
[00100] Dessa maneira, modalidades discutidas aqui fornecem mapas de local de trabalho com imagens de cena sobrepostas com simbologia que intensifica a natureza, quantidade, tipo e utilidade da informação transferida para operador. Exemplos utilizam dados de vários sistemas e fontes, incluindo informação de planejamento de trabalho, informação do veículo, informação da frota, e similares para criar um mapa abrangente do local de trabalho.
[00101] Os mapas de local de trabalho são particularmente úteis em locais de trabalho nos quais o tamanho geral e natureza variável do terreno e tarefas pode de outra forma tornar o monitoramento uma proposição um pouco desafiadora, especialmente para um operador que não é familiarizado ou é relativamente novo no local de trabalho. De acordo com várias modalidades, um ou mais dispositivos aéreos não tripulados são usados para prover imagens que facilitam o monitoramento, avaliação e mapeamento de um local de trabalho que será útil para completar tarefas ou trabalhos. Em algumas modalidades, cada veículo de trabalho pode ser provido com um mapa de local de trabalho que permite melhor entendimento, contexto ou desempenho na realização de responsabilidades da tarefa. Como tal, a geração, atualização e manutenção de tais mapas de local de trabalho são benéficos para o gerenciamento em andamento do local de trabalho.
[00102] Embora no geral discutido aqui no contexto de um local de trabalho de construção, modalidades são aplicáveis a outros tipos de locais de trabalho, tais como nas indústrias agrícola, florestal e de mineração. Veículos de trabalho exemplificativos para implementação incluem tratores, combinadas, colheitadeiras, tratores florestais, guindastes-torres, cortadores de troncos, e assim por diante. Um exemplo particular pode incluir um local de trabalho agrícola no qual uma ceifadeira-alinhadora corta uma lavoura e uma enfardadeira coleta e comprime a lavoura cortada em fardos, de maneira que a geração do mapa de local de trabalho pode facilitar cooperação na identificação de posições operacionais e progresso da tarefa. Em geral, os sistemas e métodos de monitoramento podem prover mapas de local de trabalho em várias circunstâncias nas quais múltiplos veículos de trabalho cooperam para realizar uma ou mais tarefas em um trabalho, particularmente em ambientes com fontes de dados no lado do servidor que podem prover informação adicional para aumentar ou senão abstrair aspectos de um mapa formado por imagens suspensas.
[00103] Como será apreciado por versados na técnica, certos aspectos da matéria objeto descrita podem ser concebidos como um método, sistema (por exemplo, um sistema de controle de máquina de trabalho incluído em uma máquina de trabalho), ou produto programa de computador. Dessa maneira, certas modalidades podem ser implementadas completamente como hardware, completamente como software (incluindo firmware, software residente, microcódigo, etc.) ou como uma combinação de aspectos de software e hardware (e outro). Além disso, certas modalidades podem assumir a forma de um produto programa de computador em uma mídia de armazenamento utilizável por computador tendo código de programa utilizável por computador incorporado na mídia.
[00104] Qualquer mídia legível por computador ou utilizável por computador adequada pode ser utilizada. A mídia utilizável por computador pode ser uma mídia de sinal legível por computador ou uma mídia de armazenamento legível por computador. Uma mídia de armazenamento utilizável por computador, ou legível por computador (incluindo um dispositivo de armazenamento associado com um dispositivo de computação ou dispositivo eletrônico de cliente) pode ser, por exemplo, mas não limitado a um sistema, aparelho ou dispositivo eletrônico, magnético, óptico, eletromagnético, infravermelho, ou semicondutor, ou qualquer combinação adequada dos expostos. Exemplos mais específicos (uma lista não exaustiva) da mídia legível por computador incluiria o seguinte: uma conexão elétrica tendo um ou mais fios, um disquete de computador portátil, um disco rígido, uma memória de acesso aleatório (RAM), uma memória apenas de leitura (ROM), uma memória apenas de leitura programável apagável (EPROM ou memória Flash), uma fibra óptica, uma memória apenas de leitura - disco compacto portátil (CD-ROM), um dispositivo de armazenamento óptico. No contexto deste documento, uma mídia de armazenamento utilizável por computador, ou legível por computador, pode ser qualquer meio tangível que pode conter, ou armazenar um programa para uso por ou com relação ao sistema, aparelho, ou dispositivo de execução de instrução.
[00105] Uma mídia de sinal legível por computador pode incluir um sinal de dados propagado com código de programa legível por computador incorporado nele, por exemplo, em banda base ou como parte de uma onda portadora. Um sinal propagado como este pode assumir qualquer de uma variedade de formas, incluindo, mas sem limitações, eletromagnética, óptica, ou qualquer combinação adequada das mesmas. Uma mídia de sinal legível por computador pode ser não transitória e pode ser qualquer mídia legível por computador que não é uma mídia de armazenamento legível por computador e que pode comunicar, propagar, ou transportar um programa para uso por ou com relação a um sistema, aparelho, ou dispositivo de execução de instrução. [00106] Na forma aqui usada, a menos que de outra forma limitado ou modificado, listas com elementos que são separados por termos conjuntivos (por exemplo, “e”) e que são também precedidos pela expressão “um ou mais de” ou “pelo menos um de” indicam configurações ou arranjos que potencialmente incluem elementos individuais da lista, ou qualquer combinação dos mesmos. Por exemplo, “pelo menos um de A, B e C” ou “um ou mais de A, B e C” indica as possibilidades de somente A, somente B, somente C, ou qualquer combinação de dois ou mais de A, B e C (por exemplo, A e B; B e C; A e C; ou A, B e C).
[00107] Da maneira aqui usada, o termo módulo se refere a qualquer hardware, software, firmware, componente de controle eletrônico, lógica de processamento e/ou dispositivo de processador, individualmente ou em qualquer combinação, incluindo sem limitação: circuito integrado específico da aplicação (ASIC), um circuito eletrônico, um processador (compartilhado, dedicado, ou grupo) e memória que executa um ou mais programas de software ou firmware, um circuito lógico combinatorial, e/ou outros componentes adequados que proporcionam a funcionalidade descrita.
[00108] Modalidades da presente descrição podem ser descritas aqui em termos de componentes de bloco funcionais e/ou lógicos e várias etapas de processamento. Deve-se apreciar que tais componentes de blocos podem ser realizados por qualquer número de componentes de hardware, software, e/ou firmware configurado para desempenhar as funções especificadas. Por exemplo, uma modalidade da presente descrição pode empregar vários componentes de circuito integrado, por exemplo, elementos de memória, elementos de processamento de sinal digital, elementos lógicos, tabelas de busca, ou similares, que podem realizar uma variedade de funções pelo controle de um ou mais microprocessadores ou outros dispositivos de controle. Além do mais, versados na técnica apreciarão que modalidades da presente descrição podem ser praticadas em conjunto com qualquer número de veículos de trabalho.
[00109] Por questão de concisão, técnicas convencionais relacionadas a processamento de sinal, transmissão de dados, sinalização, controle, e outros aspectos funcionais dos sistemas (e os componentes operacionais individuais dos sistemas) podem não estar descritos em detalhes aqui. Além disso, as linhas de conexão mostradas nas várias figuras contidas aqui devem representar relacionamentos funcionais exemplificativas e/ou acoplamentos físicos entre os vários elementos. Deve-se notar que muitos relacionamentos funcionais ou físicos ou conexões físicas alternativas ou adicionais podem estar presentes em uma modalidade da presente descrição.
[00110] Aspectos de certas modalidades que são descritos aqui podem ser descritos com referência a ilustrações de fluxograma e/ou diagramas de blocos de métodos, aparelho (sistemas) e produtos programa de computador de acordo com modalidades da invenção. Entende-se que cada bloco de quaisquer tais ilustrações de fluxograma e/ou diagramas de blocos, e combinações de blocos em tais ilustrações de fluxograma e/ou diagramas de blocos podem ser implementadas por instruções de programa de computador. Essas instruções de programa de computador podem ser providas a um processador de um computador de uso geral, computador de uso especial, ou outro aparelho de processamento de dados programável para produzir uma máquina, de maneira tal que as instruções, que executam por meio do processador do computador ou outro aparelho de processamento de dados programável, criam meios para implementar as funções/atos especificados no no bloco ou blocos do fluxograma e/ou diagrama de blocos.
[00111] Essas instruções de programa de computador podem também ser armazenadas em uma memória legível por computador que pode direcionar um computador ou outro aparelho de processamento de dados programável para funcionar de uma maneira particular, de maneira tal que as instruções armazenadas na memória legível por computador produzam um artigo de fabricação incluindo instruções que implementam a função/ato especificado no bloco ou blocos do fluxograma e/ou diagrama de blocos.
[00112] As instruções de programa de computador podem também ser carregadas em um computador ou outro aparelho de processamento de dados programável para fazer com que uma série de etapas operacionais seja realizada no computador ou outro aparelho programável para produzir um processo implementado por computador tais como as instruções que executam no computador ou outro aparelho programável para prover etapas para implementar as funções/atos especificados no bloco ou blocos do fluxograma e/ou diagrama de blocos.
[00113] Qualquer fluxograma e diagrama de blocos nas figuras, ou discussão similar anterior, pode ilustrar a arquitetura, funcionalidade e operação de possíveis implementações de sistemas, métodos e produtos programa de computador de acordo com várias modalidades da presente descrição. A este respeito, cada bloco no fluxograma ou diagrama de blocos pode representar um módulo, segmento ou porção de código, que compreende uma ou mais instruções executáveis para implementar a(s) função(s) lógica(s) especificada(s). Deve-se também notar que, em algumas implementações alternativas, as funções notadas no bloco (ou senão descrita aqui) podem ocorrer fora da ordem notada nas figuras. Por exemplo, dois blocos mostrados em sucessão (ou duas operações descritas em sucessão) podem, de fato, ser executadas de forma substancialmente simultânea, ou os blocos (ou operações) podem algumas vezes ser executados na ordem inversa, dependendo da funcionalidade envolvida. Nota-se também que cada bloco de qualquer diagrama de blocos e/ou ilustração de fluxograma, e combinações de blocos em quaisquer diagramas de blocos e/ou ilustrações de fluxograma, pode ser implementado por sistemas baseados em hardware de uso especial que desempenha as funções ou atos especificados, ou combinações de hardware de uso especial e instruções de computador.
[00114] A terminologia usada aqui tem o propósito apenas de descrever modalidades particulares e é deve ser limitante da descrição. Da forma aqui usada, as formas singulares “um”, “uma” e “o”, “a” devem igualmente incluir formas plurais, a menos que o contexto indique claramente de outra forma. Deve-se entender adicionalmente que os termos “compreende” e/ou “compreendendo”, quando usados nesta especificação, especificam a presença de recursos, partes inteiras, etapas, operações, elementos e/ou componentes separados, mas não eliminam a presença ou adição de um ou mais outros recursos, partes inteiras, etapas, operações, elementos, componentes e/ou grupos dos mesmos.
[00115] A descrição da presente descrição foi apresentada com propósitos de ilustração e descrição, mas não deve ser exaustiva ou limitada à descrição na forma apresentada. Muitas modificações e variações ficarão aparentes aos versados na técnica sem fugir do escopo e espírito da descrição. Modalidades explicitamente referenciadas aqui foram escolhidas e descritas a fim de explicar melhor os princípios da descrição e sua aplicação prática, e permitir que outros versados na técnica entendam a descrição e reconheçam muitas alternativas, modificações e variações no(s) exemplo(s) descrito(s). Dessa maneira, várias modalidades e implementações além daquelas explicitamente descritas estão dentro do escopo das reivindicações seguintes.
REIVINDICAÇÕES

Claims (20)

1. Sistema de monitoramento de local de trabalho, caracterizado pelo fato de que compreende: um componente de comunicação que recebe dados de imagem representando pelo menos uma imagem de um local de trabalho capturada por um aparelho de geração de imagem de um dispositivo aéreo não tripulado; e um controlador, com memória e arquitetura de processamento para executar instruções armazenadas na memória, acoplado ao componente de comunicação, o controlador compreendendo um módulo de cena, um módulo de objeto, e um módulo de mapa; em que o módulo de cena é configurado para avaliar os dados de imagem e gerar uma imagem de cena do local de trabalho com base pelo menos nos dados de imagem; em que o módulo de objeto é configurado para identificar pelo menos um primeiro objeto na imagem e abstrair o primeiro objeto como simbologia de objeto; e em que o módulo de mapa é configurado para gerar um mapa de local de trabalho com a simbologia de objeto disposta em camadas sobre a imagem de cena.
2. Sistema de monitoramento de local de trabalho de acordo com a reivindicação 1, caracterizado pelo fato de que o componente de comunicação é configurado para enviar o mapa de local de trabalho para um veículo de trabalho para exibição a um operador no veículo de trabalho.
3. Sistema de monitoramento de local de trabalho de acordo com a reivindicação 1, caracterizado pelo fato de que o módulo de cena é configurado para gerar a imagem de cena emendando múltiplas imagens a partir dos dados de imagem.
4. Sistema de monitoramento de local de trabalho de acordo com a reivindicação 1, caracterizado pelo fato de que o módulo de objeto é configurado para gerar a simbologia de objeto como um primeiro símbolo de desenho de linhas representando o primeiro objeto.
5. Sistema de monitoramento de local de trabalho de acordo com a reivindicação 4, caracterizado pelo fato de que o módulo de objeto é configurado para identificar um primeiro veículo de trabalho como o primeiro objeto e gerar o primeiro símbolo de desenho de linhas de maneira tal que o primeiro símbolo de desenho de linhas indique um tipo de veículo associado com o primeiro veículo de trabalho.
6. Sistema de monitoramento de local de trabalho de acordo com a reivindicação 5, caracterizado pelo fato de que o componente de comunicação recebe adicionalmente dados de veículo associados com o primeiro veículo de trabalho, e em que o módulo de objeto é configurado para gerar a simbologia de objeto com base nos dados de veículo.
7. Sistema de monitoramento de local de trabalho de acordo com a reivindicação 6, caracterizado pelo fato de que o módulo de objeto é adicionalmente configurado para gerar a simbologia de objeto representando o primeiro veículo de trabalho com a simbologia indicando pelo menos um de características de carga do veículo, saúde do veículo, ou estado do veículo.
8. Sistema de monitoramento de local de trabalho de acordo com a reivindicação 6, caracterizado pelo fato de que o componente de comunicação recebe adicionalmente dados da frota associados com pelo menos o primeiro veículo de trabalho, e em que o módulo de objeto é configurado para gerar a simbologia de objeto com base nos dados da frota.
9. Sistema de monitoramento de local de trabalho de acordo com a reivindicação 1, caracterizado pelo fato de que o módulo de cena é adicionalmente configurado para abstrair pelo menos uma primeira característica da imagem de cena e gerar simbologia de cena associada com a imagem de cena, o módulo de mapa configurado para gerar o mapa de local de trabalho com a simbologia de cena disposta em camadas sobre a imagem de cena.
10. Sistema de monitoramento de local de trabalho de acordo com a reivindicação 9, caracterizado pelo fato de que o módulo de cena é configurado para gerar a simbologia de cena como pelo menos um de simbologia de estrada, um limite, ou um rótulo de texto.
11. Sistema de monitoramento de local de trabalho de acordo com a reivindicação 1, caracterizado pelo fato de que o componente de comunicação é configurado para receber dados do trabalho e o controlador compreende adicionalmente um módulo de produtividade; e em que o módulo de produtividade é configurado para gerar simbologia de trabalho com base nos dados do trabalho, e em que o módulo de mapa é configurado para gerar o mapa de local de trabalho com a simbologia de trabalho disposta em camadas sobre a imagem de cena.
12. Sistema de monitoramento de local de trabalho de acordo com a reivindicação 11, caracterizado pelo fato de que o módulo de produtividade é configurado para gerar a simbologia de trabalho para representar progresso associado com pelo menos uma tarefa no local de trabalho.
13. Método para gerar um mapa de local de trabalho, caracterizado pelo fato de que compreende: receber, com um componente de comunicação, dados de imagem representando pelo menos uma imagem de um local de trabalho capturada por um aparelho de geração de imagem de um dispositivo aéreo não tripulado; avaliar, com um controlador, os dados de imagem e gerar uma imagem de cena do local de trabalho com base pelo menos nos dados de imagem; identificar, com o controlador, pelo menos um primeiro objeto no local de trabalho a partir dos dados de imagem; abstrair, com o controlador, o primeiro objeto para gerar simbologia de objeto; e gerar, com o controlador, o mapa de local de trabalho dispondo em camadas a simbologia de objeto sobre a imagem de cena.
14. Método de acordo com a reivindicação 13, caracterizado pelo fato de que compreende adicionalmente: enviar, com o componente de comunicação, o mapa de local de trabalho para um veículo de trabalho para exibição a um operador no veículo de trabalho.
15. Método de acordo com a reivindicação 13, caracterizado pelo fato de que a geração da imagem de cena inclui emendar múltiplas imagens a partir dos dados de imagem.
16. Método de acordo com a reivindicação 13, caracterizado pelo fato de que a abstração do primeiro objeto inclui gerar a simbologia de objeto como um primeiro símbolo de desenho de linhas representando o primeiro objeto.
17. Método de acordo com a reivindicação 16, caracterizado pelo fato de que compreende adicionalmente: receber, com o componente de comunicação, dados de veículo associados com pelo menos o primeiro veículo de trabalho no local de trabalho, e em que a identificação do primeiro objeto inclui identificar o primeiro veículo de trabalho no local de trabalho, e em que a abstração do primeiro objeto inclui gerar a simbologia de objeto com base nos dados de veículo representando o primeiro veículo de trabalho.
18. Método de acordo com a reivindicação 17, caracterizado pelo fato de que a abstração do primeiro objeto inclui gerar a simbologia de objeto para representar pelo menos um de características de carga do veículo, saúde do veículo, ou estado do veículo do primeiro veículo de trabalho.
19. Método de acordo com a reivindicação 13, caracterizado pelo fato de que compreende adicionalmente: abstrair, com um controlador, pelo menos uma primeira característica da imagem de cena do local de trabalho para gerar simbologia de cena associada com a imagem de cena, a simbologia de cena incluindo pelo menos um de simbologia de estrada, um limite, ou um rótulo de texto; em que a geração do mapa de local de trabalho inclui dispor em camadas a simbologia de cena sobre a imagem de cena com a simbologia de objeto.
20. Método de acordo com a reivindicação 13, caracterizado pelo fato de que compreende adicionalmente: receber, com o componente de comunicação, dados do trabalho associados com pelo menos uma primeira tarefa no local de trabalho; e gerar, com o controlador, simbologia de trabalho com base nos dados do trabalho; em que o módulo de mapa é configurado para gerar o mapa de local de trabalho com a simbologia de trabalho disposta em camadas sobre a imagem de cena com a simbologia de objeto, a simbologia de trabalho representando progresso associado com a primeira tarefa.
BR102018001730-6A 2017-11-29 2018-01-26 Sistema de monitoramento de local de trabalho, e, método para gerar um mapa de local de trabalho BR102018001730A2 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/825583 2017-11-29
US15/825,583 US10684137B2 (en) 2017-11-29 2017-11-29 Work site monitoring system and method

Publications (1)

Publication Number Publication Date
BR102018001730A2 true BR102018001730A2 (pt) 2019-06-25

Family

ID=66442165

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102018001730-6A BR102018001730A2 (pt) 2017-11-29 2018-01-26 Sistema de monitoramento de local de trabalho, e, método para gerar um mapa de local de trabalho

Country Status (5)

Country Link
US (1) US10684137B2 (pt)
CN (1) CN109840462B (pt)
BR (1) BR102018001730A2 (pt)
DE (1) DE102018218155A1 (pt)
RU (1) RU2754704C2 (pt)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6839078B2 (ja) * 2015-06-23 2021-03-03 株式会社小松製作所 施工管理システム及び施工管理方法
JP6567940B2 (ja) * 2015-10-05 2019-08-28 株式会社小松製作所 施工管理システム
NL2016718B1 (en) * 2016-05-02 2017-11-10 Cyclomedia Tech B V A method for improving position information associated with a collection of images.
JP7197315B2 (ja) * 2018-09-14 2022-12-27 株式会社小松製作所 ホイールローダの表示システムおよびその制御方法
US20200117201A1 (en) * 2018-10-15 2020-04-16 Caterpillar Paving Products Inc. Methods for defining work area of autonomous construction vehicle
JP7122452B2 (ja) * 2019-02-26 2022-08-19 本田技研工業株式会社 自動作業システム
US11346937B2 (en) * 2019-06-10 2022-05-31 International Business Machines Corporation Remote tracking of progress at construction sites
US20220259823A1 (en) * 2019-06-18 2022-08-18 Nec Corporation Excavation system, work system, control device, control method, and non-transitory computer-readable medium storing a program
US11650595B2 (en) 2019-07-30 2023-05-16 Caterpillar Inc. Worksite plan execution
CN110536237A (zh) * 2019-09-04 2019-12-03 国网四川省电力公司电力科学研究院 基于uwb的位置信息采集方法
US11525243B2 (en) * 2019-09-16 2022-12-13 Caterpillar Inc. Image-based productivity tracking system
US11928624B2 (en) * 2019-10-25 2024-03-12 Caterpillar Inc. System and method for validating availability of machine at worksite
CN111047280A (zh) * 2019-11-22 2020-04-21 三一重工股份有限公司 厂房内的对象检测方法、装置以及计算机可读存储介质
CN110944151B (zh) * 2019-11-29 2021-07-13 大唐东营发电有限公司 一种发电厂火灾及温度监控探测装置
US11454713B2 (en) * 2020-02-04 2022-09-27 Caterpillar Inc. Configuration of a LIDAR sensor scan area according to a cycle segment of an operation of a machine
DE102020001460A1 (de) 2020-02-26 2021-08-26 Matthäi Wasserbau GmbH & Co. KG Verfahren zur Detektion von ungewollten Flüssigkeitsausbrüchen an einer Geländeoberfläche bei einer, insbesondere oberflächennahen, Horizontalbohrung
US11543828B2 (en) * 2020-03-31 2023-01-03 Caterpillar Paving Products Inc. Systems and methods for identifying machine travel paths
US11578475B2 (en) 2020-04-16 2023-02-14 Deere & Company Pipe-laying system and method
CN111895931B (zh) * 2020-07-17 2021-11-26 嘉兴泊令科技有限公司 一种基于计算机视觉的煤矿作业区标定方法
GB2600101B (en) * 2020-10-16 2023-03-01 Micropply Ltd Method and system for identifying suitable zones for autonomous vehicle operation
CN112966987A (zh) * 2021-04-15 2021-06-15 中海油海南能源有限公司 一种确定资源调度路径的方法、装置及设备
DE102021112052A1 (de) * 2021-05-07 2022-11-10 abaut GmbH System zur Überwachung der von wenigstens einer Maschine ausgeführten Prozesse und der Prozessumgebung
CN113433914B (zh) * 2021-07-06 2022-09-30 山东电力工程咨询院有限公司 智慧工地管控平台及其监控方法
WO2023286075A1 (en) * 2021-07-12 2023-01-19 Galaxyeye Space Solutions Private Limited A system and method for sensing topology of a planet
EP4148378A1 (en) * 2021-09-13 2023-03-15 Sandvik Mining and Construction Oy Mining worksite mapping
US11971725B2 (en) * 2021-10-14 2024-04-30 Cnh Industrial America Llc System and method for performing spraying operations with an agricultural applicator
WO2023149963A1 (en) 2022-02-01 2023-08-10 Landscan Llc Systems and methods for multispectral landscape mapping
DE102022201799B3 (de) 2022-02-22 2023-03-30 Zf Friedrichshafen Ag Verfahren und Steuereinrichtung zum Überwachen eines Arbeitsumfelds einer Arbeitsmaschine sowie Arbeitsmaschine
US20240093465A1 (en) * 2022-09-21 2024-03-21 Caterpillar Inc. Identifying telemetry data using artificial intelligence
CN115294756B (zh) * 2022-09-29 2023-01-17 长沙迪迈数码科技股份有限公司 一种井下双向单车道会车避让调度方法、存储器和处理器

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view
US20050073731A1 (en) * 2003-10-03 2005-04-07 Deer Anna Y. Color correction method for an imaging system
CN100568290C (zh) * 2008-04-22 2009-12-09 北京航空航天大学 一种可快速配置和实时渲染的安防三维电子地图系统
EP2283319B1 (en) * 2008-05-29 2014-02-19 TomTom International B.V. Generating a display image
US9104202B2 (en) * 2010-05-11 2015-08-11 Irobot Corporation Remote vehicle missions and systems for supporting remote vehicle missions
US9861040B2 (en) * 2012-02-10 2018-01-09 Deere & Company Method and stereo vision system for facilitating the unloading of agricultural material from a vehicle
US20140160231A1 (en) * 2012-12-12 2014-06-12 Daniel C. Middleton Multi-focal image capture and display
US8918246B2 (en) * 2012-12-27 2014-12-23 Caterpillar Inc. Augmented reality implement control
US20150199106A1 (en) * 2014-01-14 2015-07-16 Caterpillar Inc. Augmented Reality Display System
US20160148421A1 (en) * 2014-11-24 2016-05-26 Caterpillar Inc. Integrated Bird's Eye View with Situational Awareness
EP3241179B1 (en) * 2014-12-29 2020-11-18 Nokia Corporation Method, apparatus and computer program product for motion deblurring of images
EP3256650B1 (en) * 2015-02-13 2023-06-28 ESCO Group LLC Monitoring ground-engaging products for earth working equipment
JP6496182B2 (ja) * 2015-04-28 2019-04-03 株式会社小松製作所 施工計画システム
US9786105B2 (en) * 2015-12-08 2017-10-10 Caterpillar Inc. Gathering data from machine operating at worksite
US20170175363A1 (en) * 2015-12-22 2017-06-22 Caterpillar Inc. Method for providing images of a work tool for a machine
DE102016203077A1 (de) 2016-02-26 2017-08-31 Robert Bosch Gmbh System und Verfahren zum Lokalisieren
KR101696730B1 (ko) * 2016-07-27 2017-01-17 주식회사 뉴인테크 지능형 도시통합 중앙관제시스템 구축방법
US10901420B2 (en) * 2016-11-04 2021-01-26 Intel Corporation Unmanned aerial vehicle-based systems and methods for agricultural landscape modeling
CN106530896A (zh) * 2016-11-30 2017-03-22 中国直升机设计研究所 一种用于无人机飞行演示的虚拟系统
CN106791613B (zh) * 2016-11-30 2019-07-12 中通服咨询设计研究院有限公司 一种基于3dgis和视频相结合的智能监控系统
US10775796B2 (en) * 2017-01-10 2020-09-15 Cnh Industrial America Llc Aerial vehicle systems and methods
WO2017115879A1 (ja) * 2017-01-13 2017-07-06 株式会社小松製作所 作業機械の制御システム及び作業機械の制御方法

Also Published As

Publication number Publication date
RU2018115998A3 (pt) 2021-08-11
US20190162551A1 (en) 2019-05-30
CN109840462B (zh) 2024-03-01
RU2018115998A (ru) 2019-10-28
DE102018218155A1 (de) 2019-05-29
CN109840462A (zh) 2019-06-04
US10684137B2 (en) 2020-06-16
RU2754704C2 (ru) 2021-09-06

Similar Documents

Publication Publication Date Title
BR102018001730A2 (pt) Sistema de monitoramento de local de trabalho, e, método para gerar um mapa de local de trabalho
US10829911B2 (en) Visual assistance and control system for a work machine
Freimuth et al. Planning and executing construction inspections with unmanned aerial vehicles
US20230205221A1 (en) Worksite plan execution
US20160312432A1 (en) Computer Vision Assisted Work Tool Recognition and Installation
US20200149248A1 (en) System and method for autonomous operation of heavy machinery
CA3120725A1 (en) Surveying and mapping system, surveying and mapping method and device, apparatus and medium
CN115597659A (zh) 一种变电站智能安全管控方法
CA3120727A1 (en) Surveying and mapping system, surveying and mapping method and device, apparatus and medium
US20220412048A1 (en) Work assist server, work assist method, and work assist system
CA3154590A1 (en) System and method for validating availability of machine at worksite
US20240068202A1 (en) Autonomous Control Of Operations Of Powered Earth-Moving Vehicles Using Data From On-Vehicle Perception Systems
AU2022287567B2 (en) Autonomous control of on-site movement of powered earth-moving construction or mining vehicles
JP2022547608A (ja) 画像ベースの生産性追跡システム
US20230290055A1 (en) Surveying assistance system, information display terminal, surveying assistance method, and storage medium storing surveying assistance program
US20240127372A1 (en) Construction management system, data processing device, and construction management method
EP4062731A1 (en) System and method for autonomous work machine approval
US20230094845A1 (en) On-machine remote control
WO2023196207A1 (en) Autonomous control of operations of earth-moving vehicles using trained machine learning models
JP2023093109A (ja) 建設機械、及び情報処理装置
JP2023063989A (ja) ショベル
JP2023063990A (ja) ショベル
JP2023063991A (ja) ショベル
JP2023063992A (ja) ショベル
Hasan et al. APPLICATION OF HIGH-DEFINITION AERIAL DATA IN TRANSPORTATION ENGINEERING

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B06W Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette]