BR102015011234A2 - processo de tratamento de informações locais - Google Patents

processo de tratamento de informações locais Download PDF

Info

Publication number
BR102015011234A2
BR102015011234A2 BR102015011234A BR102015011234A BR102015011234A2 BR 102015011234 A2 BR102015011234 A2 BR 102015011234A2 BR 102015011234 A BR102015011234 A BR 102015011234A BR 102015011234 A BR102015011234 A BR 102015011234A BR 102015011234 A2 BR102015011234 A2 BR 102015011234A2
Authority
BR
Brazil
Prior art keywords
virtual representation
location
displacement
local information
captured image
Prior art date
Application number
BR102015011234A
Other languages
English (en)
Inventor
Antoine Tarault
Denis Marraud
Nicolas Chevassus
Xavier Perrotton
Original Assignee
Airbus Group Sas
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Group Sas filed Critical Airbus Group Sas
Publication of BR102015011234A2 publication Critical patent/BR102015011234A2/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering

Abstract

resumo patente de invenção: "processo e dispositivo de tratamento de informações locais e terminal portátil que se comunica, comportando esse dispositivo". a presente invenção refere-se a um processo (10) de informações locais, adquiridas por meio de uma representação virtual e de um dispositivo, comportando uma central inercial e um captador de imagens, que comporta as seguintes etapas: - captura (11) de pelo menos uma imagem de um ambiente real do dispositivo; - localização (12) do dispositivo na representação virtual, correspondendo à localização do dispositivo no ambiente real, por correlação de partes de uma imagem captada e de partes da representação virtual, - determinação (13) do deslocamento do dispositivo pelo menos por meio da central inercial; e - modificação (15) da localização do dispositivo na representação virtual em função do deslocamento determinado pela central inercial para que a posição real do dispositivo corresponda, durante o deslocamento, à localização do dispositivo na representação virtual.

Description

Relatório Descritivo da Patente de Invenção para "PROCESSO E DISPOSITIVO DE TRATAMENTO DE INFORMAÇÕES LOCAIS E TERMINAL PORTÁTIL QUE SE COMUNICA, COMPORTANDO ESSE DISPOSITIVO".
DOMÍNIO DA INVENÇÃO
[0001] A presente invenção visa a um processo de tratamento de informações locais, um dispositivo de aplicação desse processo e um terminal portátil que se comunica comportando esse dispositivo. A invenção se aplica notadamente no domínio da assistência ao controle industrial. Mais particularmente, a invenção se aplica à ligação, à manutenção ou à instalação por realidade mista ou aumentada, assim como com o auxílio na formação. ESTADO DA TÉCNICA
[0002] A realidade aumentada em meio industrial exige uma robustez muito grande dos processos de localização. Atualmente, a estimativa da posição do dispositivo utilizado é feita com o auxílio de marcadores. Essa técnica permite ter uma certa robustez somente quando um marcador é visível. Além disso, o dispositivo marcado é localizado no referencial do marcador.
[0003] Além disso, existem poucos dispositivos que permitem uma localização sem utilização de marcador. Para ter uma localização do dispositivo robusto, os processos existentes necessitam de uma etapa de calibragem longa e pouco intuitiva. Essa etapa de calibragem não permite a utilização rápida do dispositivo e necessita de uma certa qualificação dos usuários.
[0004] Por outro lado, determinadas técnicas de posicionamento reconstroem, em tempo real, o ambiente, o SLAM (ou Simultaneous Localization And Mapping, em terminologia anglo-saxônica), por exemplo. Tem-se, portanto, uma localização em relação a um ambiente reconstruído. Isto apresenta vários inconvenientes. Inicialmente, não é possível detectar diferenças entre o que foi construído e o que foi desenhado. Além disso, o ambiente reconstruído pode comportar erros de detecção de elementos, por exemplo. Assim, essa técnica não é confiável sobretudo no domínio da manutenção ou quando se deseja uma grande precisão.
[0005] Os dispositivos que utilizam a realidade aumentada são, mais frequentemente, dispositivos que permitem o arquivamento de informações em superposição em uma imagem ou vídeo.
[0006] Conhece-se no estado da técnica o pedido de patente européia EP 2201532 que descreve um dispositivo de posicionamento local configurado para determinar a posição relativa do dispositivo em relação a um objeto alvo. O dispositivo é montado sobre uma rótula comandada e graduada fixada sobre um tripé. A rótula permite determinar o azimute e o ângulo de elevação que devem entrar manualmente, a fim de definir a posição do dispositivo. Esse dispositivo é, portanto, difícil de posicionar e de deslocar em meio industrial. OBJETIVO DA INVENÇÃO
[0007] A presente invenção visa a prevenir o total ou parte desses inconvenientes.
[0008] Para isso, conforme um primeiro aspecto, a presente invenção visa a um processo de tratamento de informações locais adquiridas por meio de uma representação virtual e de um dispositivo que comporta uma central inercial e um captador de imagens, que comporta as seguintes etapas: - captura de pelo menos uma imagem de um ambiente real do dispositivo; - localização do dispositivo na representação virtual, correspondente à localização do dispositivo no ambiente real, por correlação de partes de uma imagem captada e de partes da representação virtual; - determinação do deslocamento do dispositivo pelo menos por meio da central inercial; e - modificação da localização do dispositivo na representação virtual em função do deslocamento determinado pela central iner-cial para que a posição real do dispositivo corresponda, durante o deslocamento, à localização do dispositivo na representação virtual.
[0009] Inicialmente, a invenção apresenta a vantagem de ter uma localização do dispositivo a partir de uma única imagem capturada. O processo tem, portanto, uma grande robustez desde a etapa de localização do dispositivo. Também, essa etapa é rápida e não necessita de qualificações particulares da parte do usuário do dispositivo.
[0010] A utilização de um ambiente virtual realizado a priori permite localizar o dispositivo na marcação da representação virtual. Contrariamente a uma reconstrução, a representação permite detectar os elementos que faltam sobre os elementos do ambiente real. As informações analisadas têm uma maior confiabilidade. O ambiente virtual pode também ser modificado em função das observações feitas sobre o ambiente real.
[0011] A etapa de correlação pode ser efetuada a partir de uma análise de imagem não necessitando de objeto alvo. Além disso, o dispositivo que efetua o processo da invenção não é fixo e é facilmente deslocável em meio industrial.
[0012] Em modos de realização, a etapa de determinação do deslocamento comporta as seguintes etapas: - estimativa de um movimento pela central inercial; - estimativa de um movimento relativo entre as imagens captadas em um instante e as imagens captadas em um instante posterior; e - combinação das estimativas de movimento.
[0013] Esses modos de realização apresentam a vantagem de ter uma posição a mais precisa possível. A estimativa do movimento relativo entre duas imagens captadas, assim como a estimativa do movi- mento da central inercial minimizam um erro de estimativa da posição. Efetivamente, os ambientes industriais podendo ser visualmente ambíguos, a determinação da localização por correlação pode produzir erros entre duas situações similares. A estimativa dos dois outros movimentos permite evitar mudanças bruscas de localização. O processo é, portanto, mais robusto.
[0014] Em modos de realização, no decorrer da etapa de localização do dispositivo, a correlação é feita por reconhecimento em pelo menos uma imagem captada de estruturas semânticas discriminantes na representação virtual.
[0015] Essa identificação tem a vantagem de aumentar a robustez do processo. Com efeito, quanto mais há estruturas semânticas discriminantes na imagem captada, mais preciso será o processo.
[0016] Em modos de realização, o processo objeto da presente invenção comporta uma etapa de atenuação do deslocamento determinado no decorrer da etapa de determinação do deslocamento.
[0017] Esses modos de realização têm a vantagem de ter uma localização precisa em caso de perda momentânea da imagem ou se a imagem for inexplorável. O usuário não deve esperar estabilizar o dispositivo para conhecer sua posição em relação ao referencial da representação virtual. O usuário é, portanto, mais eficaz. Também, isto permite atenuar os micromovimentos que pode sofrer o dispositivo.
[0018] Em modos de realização, o processo objeto da presente invenção, comporta uma etapa de arquivamento conjunto de uma imagem captada e de uma parte da representação virtual correspondente à imagem captada arquivada.
[0019] A vantagem desses modos de realização é uma melhor visualização das diferenças entre a representação virtual e o ambiente real. O usuário é, portanto, mais eficaz.
[0020] Em modos de realização, o processo objeto da presente in- venção comporta uma etapa de edição de informações localizadas na representação virtual.
[0021] A vantagem desses modos de realização é de ter informações precisamente localizadas. Além disso, as informações sendo registradas na representação virtual, elas são facilmente transferidas e acessíveis. As informações registradas, quando de utilizações precedentes do dispositivo são acessíveis e modificáveis.
[0022] De acordo com um segundo aspecto, a presente invenção visa a um dispositivo de tratamento de informações locais que comporta: - um captador de imagens, que fornece pelo menos uma imagem do ambiente real do dispositivo; - um meio de acesso com uma representação virtual, que comporta, além disso: - um meio de localização do dispositivo na representação virtual, correspondente à localização do dispositivo no meio ambiente real, por correlação de partes de uma imagem captada e de partes da representação virtual; - uma central inercial que determina um deslocamento do dispositivo; e - um meio de modificação da localização do dispositivo na representação virtual, em função do deslocamento determinado pela central inercial, para que a posição real do dispositivo corresponda, durante o deslocamento, à localização do dispositivo na representação virtual.
[0023] As vantagens, finalidades e características particulares do dispositivo objeto da presente invenção sendo similares àquelas do processo objeto da presente invenção, eles não são aqui lembrados.
[0024] Em modos de realização, o dispositivo, objeto da presente invenção, comporta um meio de arquivamento configurado para arqui- var conjuntamente uma imagem captada e uma parte da representação virtual correspondente à imagem captada arquivada.
[0025] Esses modos de realização apresentam a vantagem de comparar o ambiente real à representação virtual, a fim de detectar anomalias.
[0026] Em modos de realização, o dispositivo objeto da presente invenção, comporta um meio de edição de informações localizadas na representação virtual.
[0027] A vantagem desses modos de realização é a possibilidade de criação e de modificação de anotações precisamente localizadas diretamente na representação virtual.
[0028] De acordo com um terceiro aspecto, a presente invenção visa um terminal portátil que se comunica, comportando um dispositivo objeto da presente invenção.
[0029] Graças a essas disposições, a invenção é compacta e facilmente transportável nos meios industriais, que são frequentemente de difíceis acessos.
BREVE DESCRIÇÃO DAS FIGURAS
[0030] Outras vantagens, finalidades e características da invenção sobressairão da descrição não limitativa que se segue de pelo menos um modo de realização particular do processo e do dispositivo de tratamento de informações locais, e do terminal portátil que se comunica, comportando esse dispositivo, em relação aos desenhos anexados, nos quais: - a figura 1 representa, sob a forma de logigrama, um modo de realização do processo objeto da presente invenção; - a figura 2 representa, esquematicamente, um modo de realização do dispositivo objeto da presente invenção; - a figura 3 representa, esquematicamente, um modo de realização do terminal portátil que se comunica, objeto da presente invenção.
DESCRIÇÃO DE EXEMPLOS DE REALIZAÇÃO DA INVENÇÃO
[0031] Anota-se, desde o presente, que as figuras não estão na escala.
[0032] Observa-se na figura 1 um modo de realização particular do processo 10, objeto da presente invenção, que comporta: - uma etapa 11 de captura de imagens representativas do ambiente real; - uma etapa 12 de localização de um dispositivo em uma maquete virtual correspondente à localização do dispositivo no ambiente real; - uma etapa 13 de determinação do deslocamento do dispositivo que comporta três subetapas: - uma etapa 13-1 de estimativa do movimento pela central inercial; - uma etapa 13-2 de estimativa do movimento relativo entre as imagens captadas em um instante e as imagens captadas em um instante posterior; - uma etapa 13-3 de combinação das estimativas de movimentos determinadas nas etapas 13-1 e 13-2 que determinam um deslocamento do dispositivo; - uma etapa 14 de atenuação do deslocamento determinado; - uma etapa 15 de modificação da posição do dispositivo na representação virtual em função do deslocamento determinado; - uma etapa 16 de arquivamento conjunto de imagens e de uma parte da representação virtual correspondente à imagem captada arquivada; e - uma etapa 17 de edição de informações localizadas na representação virtual.
[0033] A etapa 11 é realizada por meio de um dispositivo de captura de imagens. O dispositivo de captura de imagens é, por exemplo, uma câmera, um aparelho foto ou um escâner. Na sequências da descrição, “câmera” designa um dispositivo de captura de imagens. A câmera pode ser de tipo monocular, estereoscópico, RGB-D ou plenópti-co. A câmera que efetua a captura de imagens na etapa 11 pode ser utilizada, conforme dois modos: - o modo vídeo permitindo uma foto em contínuo; e - o modo imagem fixa configurado para a análise mais aprofundada de determinados planos, quando a foto é difícil por exemplo.
[0034] O modo vídeo pode incluir uma subetapa de tratamento da qualidade de uma imagem por estabilização, retirada de ruído e super-resolução. Essa etapa é utilizada, quando de vistas locais detalhadas, por exemplo.
[0035] O modo imagem fixa se diferencia do modo vídeo pela ausência de dificuldade temporal. A imagem pode ser de melhor qualidade e é possível utilizar uma estratégia de localização global, otimizando a localização do conjunto das imagens. Por exemplo, considerando-se o conhecimento de determinadas características da foto, tais como as características de panoramas, por exemplo.
[0036] A etapa 12 é uma etapa de calibragem. Quando de sua criação, estruturas semânticas discriminantes são designadas na representação virtual. A representação virtual pode ser uma maquete numérica também denominada “Digital MockUp”, em terminologia anglo-saxônica ou DMU. A maquete numérica é preferencialmente realizada por meio de programas de concepção assistida por computador (CAO). A representação virtual pode incluir: informações de ligação ou de inspeção, testes e medidas, anotações, elementos a controlar, de não-conformidades. As informações podem ser de diferentes tipos: - texto tais como metadados associados aos objetos da ce- na, por exemplo; - imagem; - geometria; - vídeo ou - scan 3D que pode ser adquirido sobre os objetos da cena, quando de uma utilização anterior.
[0037] Preferencialmente, a representação virtual é uma simplificação da maquete numérica bruta, realizada quando da concepção do objeto representado. A maquete numérica bruta é filtrada e organizada, a fim de: - selecionar os objetos pertinentes para a tarefa a realizar; - extrair metadados a arquivar ou editar; - organizar dados de simplificação das geometrias; e - definir estruturas semânticas discriminantes por um processo de análise automática das estruturas geométricas presentes na maquete numérica.
[0038] Preferencialmente, essas estruturas semânticas discriminantes: - minimizam a ambiguidade natural da cena; - maximizam sua probabilidade de detecção; - consideram eventualmente estruturas de referência.
[0039] As estruturas semânticas discriminantes consideram estruturas de referências, quando os problemas de tolerância o impõem. Nesse caso, as estruturas semânticas discriminantes são selecionadas exclusivamente sobre os elementos de referência.
[0040] As estruturas semânticas discriminantes são preferencialmente estruturas geométricas de tipo pontos, linhas, círculo, elipses, superfícies, volumes parametrados, elementos ricos em textura, ou contornos.
[0041] As estruturas semânticas discriminantes podem ser: - marcos visuais multimodais e não ambíguos; - mira de calibragem facilmente detectáveis.
[0042] O termo multimodal significa que eles correspondem a primitivas extraídas das diferentes imagens disponíveis, independentemente da natureza. A não ambiguidade é definida como correspondente a configurações ou descrições únicas em uma vizinhança próxima.
[0043] Os marcos visuais permitem uma calibragem sem intervenção de usuário. As miras de calibragem necessitam da intervenção de um usuário que deve localizar a mira aproximadamente na representação virtual. A mira pode ser posicionada em uma superfície para definir uma normal na superfície. O usuário pode reproduzir a normalidade e o posicionamento rapidamente na representação virtual.
[0044] Além disso, um acréscimo posterior de miras localizadas automaticamente na representação numérica permite aumentar ainda a robustez do processo e a precisão da posição do dispositivo na representação numérica. A localização é automática, quando a nova mira posicionada é captada pela câmera em uma imagem que comporta pelo menos uma estrutura semântica já referenciada.
[0045] Após a localização da primeira mira, uma correlação entre os sistemas semânticos discriminantes das imagens captadas e aqueles da representação virtual é efetuada.
[0046] Preferencialmente, a correlação é efetuada a partir dos contornos extraídos da representação virtual que são, em seguida, alinhados nos contornos extraídos da imagem. Isto permite uma redução do desvio, quando de uma utilização em modo vídeo.
[0047] A etapa 12 de inicialização pode ser totalmente automatizado, caso o número de marcos ou miras a extrair pode ser efetuada segundo diferentes critérios: a proximidade de um objeto de interesse marcado na representação virtual ou a dimensão das marcos ou das miras, por exemplo.
[0048] Quando da etapa 12 de localização, a posição inicial da central inercial é definida.
[0049] A etapa 13 de determinação do deslocamento pode ser efetuada em três sub-etapas, 13-1, 13-2 e 13-3.
[0050] A etapa 13-1 de estimativa do movimento pela central inercial é uma etapa de cálculo do deslocamento entre a posição inicial da central inercial definida na etapa 12 e a posição estimada da central inercial, após deslocamento do dispositivo.
[0051] A etapa 13-2 de estimativa do movimento relativo entre as imagens captadas em um instante e as imagens captadas em um instante posterior, é uma etapa de tratamento de imagem. Mais particularmente, uma identificação das estruturas semânticas é efetuada nas duas imagens. Comparando-se as posições dessas estruturas na imagem, pode-se determinar uma estimativa do movimento do dispositivo.
[0052] A etapa 13-2 pode ser iterativa e explora as capacidades da representação virtual, por exemplo, um tornado de textura, um mapa de profundidades, um mapa das normais. Preferencialmente, a etapa é uma combinação das primitivas 3D extraídas dos tornados anteriormente citados em primitivas 2D ou 3D extraídas da imagem adquirida pela câmera. A seleção das primitivas 3D visíveis é gerida, de maneira intrínseca, e uma etapa de preparo de modelo é evitada.
[0053] A etapa 13-3 de combinação das estimativas de movimentos determinadas nas etapas 13-1 e 13-2 determina um deslocamento do dispositivo. Preferencialmente, uma estimativa da posição utilizando a correlação da etapa 12 é combinada às estimativas de movimento para determinar a posição do dispositivo em um instante posterior.
[0054] Um nível de confiança pode ser atribuído a cada estimativa. A determinação do deslocamento é preferencialmente efetuada por ponderação das estimativas pelos níveis de confiança correspondente. O processo é, portanto, mais robusto e preciso. Por exemplo, quando a imagem é desfocada, o nível de confiança atribuído à estimativa da posição por correlação é baixo.
[0055] A etapa 13-3 é configurada para: - limitar o esforço de chumbamento, reduzindo o número de marcos de referência, e, portanto, o número de primitivas definidas na etapa 13-2; - aumentar a robustez do reencaixe em caso de perda momentânea do chumbamento visual, caso a câmera esteja oculta, por exemplo.
[0056] A etapa 14 de atenuação do deslocamento determinado na etapa 13-3 é configurada para atenuar a impressão de desfoque entre a representação virtual e as imagens captadas. A etapa 14 pode ser uma filtragem dos dados de rotação e de translação oriundas da central inercial. Por exemplo, a estimativa do movimento pela central iner-cial é filtrada para minimizar o impacto das vibrações ou pequenos movimentos devido ao usuário. De acordo com o modo de seleção das estruturas semânticas, os pequenos movimentos podem ser atenuados, conservando um alinhamento sobre os pontos de interesse da imagem.
[0057] A etapa 15 de modificação da posição do dispositivo na representação virtual em função do deslocamento determinado, é configurada para atualizar precisamente a posição do dispositivo em função do deslocamento determinado na etapa 13-3 e atenuado na etapa 14.
[0058] A etapa 16, de arquivamento conjunto de imagens captadas e de uma parte da representação virtual correspondente à imagem captada arquivada, utiliza a posição e a orientação do dispositivo, modificada na etapa 15 e localizada no referencial da representação virtual, para definir a parte da representação virtual a arquivar. O arquivamento conjunto pode ser um arquivamento em: - justaposição, no qual as imagens são colocadas uma ao lado da outra, a fim de permitir uma comparação, por exemplo, ou - em suspensão no qual a representação virtual é em transparência, a fim de ter o arquivamento das informações acrescentadas à maquete numérica bruta e ligadas ao processo industrial.
[0059] O arquivamento pode ser: - em vista global que é uma vista em campo largo, a fim de ter uma visão global da cena a analisar; - em vista local que é uma vista detalhada ou um zoom de uma parte de uma vista global, a vista local sendo indicada em uma vista global.
[0060] A etapa 17 de edição de informações localizadas sobre representação virtual é realizada a partir do arquivamento das informações realizado na etapa 16. Informações precisamente localizadas podem ser associadas automaticamente ou manualmente à representação virtual. Essas informações são, por exemplo, fornecidas: - pelo operador, tal como uma indicação de não-confor-midade no ambiente real, por exemplo, - pela câmera, tal como uma foto, um vídeo, ou um scan 3D, por exemplo, - um dispositivo externo, permitindo, por exemplo, uma medida de pressão, de temperatura, de nível de iluminação.
[0061] Essas informações são registradas na representação virtual e podem servir para uma utilização posterior. Essas informações podem ser editadas para considerar uma evolução de uma situação local, por exemplo, tal como a correção de uma não conformidade, por exemplo.
[0062] A etapa de edição pode também ser um controle pelo usuário do alinhamento local. Esse controle é preferencialmente efetuado por meio do arquivamento me superposição definido anteriormente.
Preferencialmente, a posição da representação virtual é transparente e o alinhamento é efetuado a partir de uma imagem fixa. O operador pode deslocar uma posição pontual em 3D sem recolocar em causa o alinhamento global. O usuário pode alinhar precisamente o real sobre o virtual, graças a um zoom centrado sobre o ponto a alinhar.
[0063] O processo 10 é efetuado por meio de um dispositivo 20.
[0064] Observa-se, na figura 2, um modo de realização particular do dispositivo 20, objeto da presente invenção.
[0065] Uma câmera 205 capta uma imagem 210 e uma imagem 215 posterior à imagem 210. As imagens 210 e 215 representam um ambiente real. A imagem 210 é transmitida a um dispositivo 225. O dispositivo 225 considera também uma representação virtual 220 do ambiente real. O dispositivo 225 extraído das estruturas semânticas discriminantes da representação virtual e da imagem capturada e efetua uma correlação configurada para se obter uma localização 230 do dispositivo no referencial da representação numérica, segundo a etapa 12 do processo 10. O dispositivo 225 é um microprocessador, por exemplo.
[0066] A imagem 210 é também transmitida com a imagem 215 a um dispositivo 235. O dispositivo 235 extrai as estruturas semânticas discriminantes das duas imagens e as compara para deduzir daí uma estimativa do movimento que o dispositivo 20 efetuou entre o instante em que a imagem 210 foi captada e o instante posterior onde a imagem 215 foi captada. O dispositivo 235 é, por exemplo, um microprocessador que efetua a estimativa, segundo a etapa 13-2 do processo 10. A informação 240 é a estimativa do movimento do dispositivo 20 na saída do dispositivo 235.
[0067] Uma central inercial 245 é inicializada, quando a imagem 210 é captada. A central inercial dá uma informação 250 de estimativa de movimento a um dispositivo 255, conforme a etapa 13-1 do pro- cesso 10.
[0068] O dispositivo 255 pode ser um microprocessador. O dispositivo 255 considera a informação 230 de localização inicial do dispositivo 20 e, em função das estimativas de movimento 240 e 250, transmite um sinal 260 correspondendo à nova posição do dispositivo 20 na representação virtual. O dispositivo 255 realiza as etapas 13-3, 14 e 15 do processo 10.
[0069] Um dispositivo 270 é um dispositivo de arquivamento. O dispositivo 270 arquiva conjuntamente a imagem 215 e a representação virtual 220 na posição 260 correspondente à imagem 215. O dispositivo 270 pode também considerar uma informação 265 que deve ser editada sobre a representação virtual. A informação 275 na saída do dispositivo 270 é a representação virtual editada.
[0070] Observa-se na figura 3 um modo de realização particular do terminal portátil que se comunica 30, objeto da presente invenção.
[0071] O terminal portátil que se comunica 30 comporta uma tela de arquivamento 270 ligado ao resto do dispositivo 20. O terminal portátil que se comunica 30 é preferencialmente: - uma tabela numérica; - um dispositivo de tipo “smartphone”; - óculos; - um capacete, ou - um computador.
REIVINDICAÇÕES

Claims (9)

1. Processo (10) de tratamento de informações locais, adquiridas por meio de uma representação virtual (220) e de um dispositivo (20), comportando uma central inercial (245) e um captador de imagens (205), caracterizado pelo fato de comportar as seguintes etapas: - captura (11) d pelo menos uma imagem (210) de um ambiente real do dispositivo; - localização (12) do dispositivo na representação virtual, correspondendo à localização do dispositivo no ambiente real, por correlação de partes de uma imagem captada e de partes da representação virtual, a correlação sendo efetuada por identificação automática em pelo menos uma imagem captada (210) de marcos virtuais, multimodais e não ambíguos, pré-definidos na representação virtual (220); - determinação (13) do deslocamento do dispositivo pelo menos por meio da central inercial; e - modificação (15) da localização do dispositivo na representação virtual em função do deslocamento determinado pela central inercial para que a posição real do dispositivo corresponda, durante o deslocamento, à localização do dispositivo na representação virtual.
2. Processo (10) de tratamento de informações locais, de acordo com a reivindicação 1, caracterizado pelo fato de a etapa (13) e determinação do deslocamento comportar as seguintes etapas : - estimativa (13-1) de um movimento pela central inercial; - estimativa (13-2) de um movimento relativo entre as imagens captadas em um instante e as imagens captadas em um instante posterior; e - combinação (13-3) das estimativas de movimento.
3. Processo (10) de tratamento de informações locais, de acordo com uma das reivindicações 1 ou 2, que comporta uma etapa (14) de atenuação do deslocamento determinado no decorrer da etapa (13) de determinação do deslocamento.
4. Processo (10) de tratamento de informações locais, de acordo com uma das reivindicações 1 a 3, caracterizado pelo fato de comportar uma etapa (16) de arquivamento conjunto de uma imagem captada (210) e de uma parte da representação virtual (220) correspondente à imagem captada arquivada.
5. Processo (10) de tratamento de informações locais, de acordo com uma das reivindicações 1 a 4, caracterizado pelo fato de comportar uma etapa (17) de edição de informações localizadas (265) na representação virtual (220).
6. Dispositivo (20) de tratamento de informações locais, caracterizado pelo fato de que comporta: - um captador de imagens (205) que fornece pelo menos uma imagem (210) do ambiente real do dispositivo; - um meio de acesso a uma representação virtual (220), caracterizado pelo fato de comportar, além disso: - um meio de localização (225) do dispositivo na representação virtual, correspondente à localização do dispositivo no ambiente real, por correlação de partes de uma imagem captada e de partes da representação virtual, a correlação sendo efetuada por identificação automática em pelo menos uma imagem captada (210) de marcos visuais, multimodais e não ambíguos, pré-definidos na representação virtual (220); - uma central inercial (245) que determina um deslocamento (250) do dispositivo; e - um meio de modificação (255) da localização do dispositivo na representação virtual em função do deslocamento determinado pela central inercial para que a posição real do dispositivo correspon- da, durante o deslocamento , à localização do dispositivo na representação virtual.
7. Dispositivo (20) de tratamento de informações locais, de acordo com a reivindicação 6, caracterizado pelo fato de que comporta um meio de arquivamento (270) configurado para arquivar conjuntamente uma imagem captada (210) e uma parte da representação virtual (220) correspondendo à imagem captada arquivada.
8. Dispositivo (20) de tratamento de informações locais, de acordo com uma das reivindicações 6 ou 7, caracterizado pelo fato de comportar um meio (270) de edição de informações localizadas em uma representação virtual (220).
9. Terminal portátil que se comunica, caracterizado pelo fato de comportar um dispositivo (20) como definido em uma das reivindicações 6 a 8.
BR102015011234A 2014-05-21 2015-05-15 processo de tratamento de informações locais BR102015011234A2 (pt)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
FR1454556A FR3021442B1 (fr) 2014-05-21 2014-05-21 Procede de traitement d'informations locales

Publications (1)

Publication Number Publication Date
BR102015011234A2 true BR102015011234A2 (pt) 2016-08-09

Family

ID=51610212

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102015011234A BR102015011234A2 (pt) 2014-05-21 2015-05-15 processo de tratamento de informações locais

Country Status (9)

Country Link
US (1) US9940716B2 (pt)
EP (1) EP2947628B1 (pt)
JP (1) JP6516558B2 (pt)
CN (1) CN105091817B (pt)
BR (1) BR102015011234A2 (pt)
CA (1) CA2891159A1 (pt)
FR (1) FR3021442B1 (pt)
RU (1) RU2015119032A (pt)
SG (1) SG10201503996XA (pt)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3022065B1 (fr) * 2014-06-04 2017-10-13 European Aeronautic Defence & Space Co Eads France Procede de generation d'une maquette numerique enrichie
CA3032812A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
WO2018110433A1 (ja) 2016-12-15 2018-06-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理システム、振動制御方法、及びプログラム
JP6634528B2 (ja) 2016-12-15 2020-01-22 株式会社ソニー・インタラクティブエンタテインメント 振動デバイス、及び制御システム
WO2018193513A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193514A1 (ja) 2017-04-18 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
WO2018193557A1 (ja) 2017-04-19 2018-10-25 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6757466B2 (ja) 2017-04-26 2020-09-16 株式会社ソニー・インタラクティブエンタテインメント 振動制御装置
JP6771435B2 (ja) 2017-07-20 2020-10-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
CN115033444B (zh) * 2022-08-10 2022-11-15 合肥健天电子有限公司 基于8051core在线调试电路控制装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7627447B2 (en) * 2007-01-23 2009-12-01 The Boeing Company Method and apparatus for localizing and mapping the position of a set of points on a digital model
US8044991B2 (en) 2007-09-28 2011-10-25 The Boeing Company Local positioning system and method
JP5434608B2 (ja) * 2010-01-08 2014-03-05 トヨタ自動車株式会社 測位装置及び測位方法
GB201002973D0 (en) * 2010-02-23 2010-04-07 Airbus Operations Ltd Recording the location of a point of interest on an object
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
JP5867176B2 (ja) * 2012-03-06 2016-02-24 日産自動車株式会社 移動物体位置姿勢推定装置及び方法
JP2015532077A (ja) * 2012-09-27 2015-11-05 メタイオ ゲゼルシャフト ミット ベシュレンクテル ハフツングmetaio GmbH 少なくとも1つの画像を撮影する撮影装置に関連する装置の位置及び方向の決定方法

Also Published As

Publication number Publication date
EP2947628A1 (fr) 2015-11-25
SG10201503996XA (en) 2015-12-30
RU2015119032A (ru) 2016-12-10
EP2947628B1 (fr) 2018-04-25
CA2891159A1 (fr) 2015-11-21
US20150339819A1 (en) 2015-11-26
FR3021442B1 (fr) 2018-01-12
CN105091817B (zh) 2019-07-12
FR3021442A1 (fr) 2015-11-27
JP2015228215A (ja) 2015-12-17
CN105091817A (zh) 2015-11-25
US9940716B2 (en) 2018-04-10
JP6516558B2 (ja) 2019-05-22

Similar Documents

Publication Publication Date Title
BR102015011234A2 (pt) processo de tratamento de informações locais
ES2402229T3 (es) Método y dispositivo de fusión de imágenes
CN105144249B (zh) 零件安装作业支持系统及零件安装方法
Paletta et al. 3D attention: measurement of visual saliency using eye tracking glasses
BR102015012167A2 (pt) processo de projeção de dados virtuais e dispositivo, permitindo essa projeção
US9123096B2 (en) Information processing apparatus and control method thereof
BR102013027358B1 (pt) Sistema e método para realidade aumentada executado por um sistema de processamento de dados tendo pelo menos um processador
BR112020002452B1 (pt) Método e apraelho para gerar uma representação
BR112019016526A2 (pt) Método e sistema para calibrar um sistema de imagens
US11660069B2 (en) Combining image based and inertial probe tracking
JP2019190974A (ja) キャリブレーション装置、キャリブレーション方法、及びプログラム
Xiao et al. Electromagnetic tracking in image‐guided laparoscopic surgery: Comparison with optical tracking and feasibility study of a combined laparoscope and laparoscopic ultrasound system
CN108413917A (zh) 非接触式三维测量系统、非接触式三维测量方法及测量装置
Mustaniemi et al. Inertial-based scale estimation for structure from motion on mobile devices
CN205427107U (zh) 一种x光电缆故障检测系统
JPWO2016208404A1 (ja) 情報処理装置および方法、並びにプログラム
ES2923924T3 (es) Referenciación 3D
JP2018172849A (ja) 情報処理装置、情報処理方法、及び、プログラム
CN110322518A (zh) 立体匹配算法的评价方法、评价系统及测试设备
Doi et al. Knife tip position estimation using multiple markers for liver surgery support
Verykokou et al. Metric exploitation of a single low oblique aerial image
CN115908482B (zh) 建模错误数据的定位方法和装置
CN112348865B (zh) 一种回环检测方法、装置、计算机可读存储介质及机器人
WO2023155228A1 (zh) 矿用三维彩色点云重建系统、方法
Aslan et al. Automatic calibration of camera networks based on local motion features

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B11A Dismissal acc. art.33 of ipl - examination not requested within 36 months of filing
B11Y Definitive dismissal - extension of time limit for request of examination expired [chapter 11.1.1 patent gazette]