BR102019010983A2 - determinação de dados de pré-distorção para uma projeção e módulo projetor - Google Patents

determinação de dados de pré-distorção para uma projeção e módulo projetor Download PDF

Info

Publication number
BR102019010983A2
BR102019010983A2 BR102019010983A BR102019010983A BR102019010983A2 BR 102019010983 A2 BR102019010983 A2 BR 102019010983A2 BR 102019010983 A BR102019010983 A BR 102019010983A BR 102019010983 A BR102019010983 A BR 102019010983A BR 102019010983 A2 BR102019010983 A2 BR 102019010983A2
Authority
BR
Brazil
Prior art keywords
camera
target area
projector
relative position
fact
Prior art date
Application number
BR102019010983A
Other languages
English (en)
Inventor
Schmid Frank
Bachhuber Martin
Original Assignee
Diehl Aerospace Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Diehl Aerospace Gmbh filed Critical Diehl Aerospace Gmbh
Publication of BR102019010983A2 publication Critical patent/BR102019010983A2/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/18Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical projection, e.g. combination of mirror and condenser and objective
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optics & Photonics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

determinação de dados de pré-distorção para uma projeção e módulo projetor em um processo para determinação de dados de pré-distorção (2) para uma projeção de um conteúdo de imagem (9) de um projetor (4) para uma área-alvo (13) com dados geométricos conhecidos, uma câmera (10) é posicionada em uma posição relativa (rkp) conhecida para com o projetor e alinhada à área-alvo (13), de uma imagem de câmera por meio de visão mecânica é determinada a posição relativa da câmera para com a área-alvo (rkz), e daí e da posição relativa (rkp) é determinada a posição relativa (rpz) do projetor para com a área-alvo (13), e os dados de pré-distorção (2) são determinados com base nos dados geométricos e da posição relativa (rpz) do projetor (4) para com a área-alvo (13). um módulo projetor (22) contém uma unidade de computação (3) para execução do processo e o projetor (4) e a câmera (10). a câmera (10) do módulo projetor (22) ou no processo é empregada para o monitoramento óptico do compartimento interno (5). uma câmera de compartimento interno é empregada como câmera (10) do módulo projetor (22) ou no processo.

Description

Relatório Descritivo da Patente de Invenção para DETERMINAÇÃO DE DADOS DE PRÉ-DISTORÇÃO PARA UMA PROJEÇÃO E MÓDULO PROJETOR.
[0001] A presente invenção refere-se a um processo para determinação de dados de pré-distorção para uma projeção de um teor de imagem de um projetor em um compartimento interno de um veículo a uma área-alvo do compartimento interno e módulo projetor para uma projeção de um conteúdo de imagem em um compartimento interno de um veículo a uma área-alvo do compartimento interno.
[0002] Da prática é sabido projetar com um sistema de projeção conteúdos, como por exemplo imagens ou padrões luminosos, a p.ex. superfícies inclinadas e/ou curvadas em um compartimento interno de um veículo, especialmente da cabine de passageiros de uma aeronave. As superfícies são por exemplo compartimentos de bagagem fechados. Para corrigir as distorções resultantes devido à forma da superfície na reprodução do conteúdo (distorções de imagem), são necessárias informações de correção (pré-distorção no projetor com base em dados de pré-distorção). A determinação desses dados de pré-distorção é dispendiosa na prática.
[0003] Constitui objetivo da presente invenção melhorar a determinação de dados de pré-distorção com uma correspondente projeção.
[0004] O objetivo é alcançado por um processo segundo a reivindicação 1 para determinação de dados de pré-distorção para uma projeção de um conteúdo de imagem para uma área-alvo. Formas de execução da invenção preferidas ou vantajosas bem como de outras categorias da invenção se depreendem das demais reivindicações, da descrição a seguir bem como das figuras em apenso.
[0005] A projeção é feita por um projetor. O projetor se encontra em um compartimento interno de um veículo. A área-alvo é uma área-alvo do compartimento interno. Dados geométricos da área-alvo são conhecidos.
Petição 870190050153, de 29/05/2019, pág. 14/78
2/16
O projetor se encontra em um determinado estado de montagem no compartimento interno como pretendido. Quando do processo, uma câmera é posicionada em uma posição relativa conhecida para com o projetor. A câmera é então de tal maneira instalada que ao menos uma parte da área-alvo se situa no campo de visão da câmera. Quando, portanto, a câmera capta uma imagem de câmera, é reproduzida ao menos uma parte da área-alvo na imagem da câmera. Com a câmera é então captada uma imagem de câmera. Da imagem da câmera é determinada a posição relativa da câmera para com a área-alvo. A posição relativa se refere ao momento da captação da imagem da câmera. A determinação é realizada por meio de visão mecânica, isto é, métodos, modalidades de procedimento e bases da visão mecânica são aplicados para a determinação da posição relativa no âmbito de uma avaliação da imagem da câmera. Da posição relativa da câmera determinada para com a área-alvo e a posição relativa conhecida da câmera para com o projetor é determinada a posição relativa do projetor para com a área-alvo. Os dados de pré-distorção são então determinados com base nos dados geométricos conhecidos da área-alvo e da posição relativa determinada do projetor para com a área-alvo.
[0006] Por conteúdo da imagem se entende qualquer informação de luz reprodutível pelo correspondente projetor, como por exemplo vídeos, imagens, textos, amostras ou simplesmente apenas luz monocromática. A área-alvo é uma superfície do compartimento interno, sobre a qual é desejada a projeção do conteúdo da imagem. O termo posição deve ser entendido no presente caso sempre uma combinação de uma posição (informação de local) e orientação (informação de direção). Por posição relativa se deve entender especialmente a informação de coordenadas em um sistema de coordenadas, especialmente em um sistema de coordenadas, em que também estão presentes dados CAD para a área-alvo e demais outros objetos abaixo mencionados. Ao menos são conhecidas as
Petição 870190050153, de 29/05/2019, pág. 15/78
3/16 transformações de coordenadas entre diversos sistemas de coordenadas, em que estão presentes as respectivas informações.
[0007] A câmera é então de tal maneira posicionada que se pode supor que, via de regra, se tem vista livre da câmera para a superfície, quando temporariamente p.ex. um obstáculo, como por exemplo uma pessoa, não se encontra no campo de visão. Os dados geométricos descrevem a configuração ou a forma da área-alvo, p.ex. se e como a mesma está curvada, quais dimensões ela apresenta etc. Especialmente a área-alvo está ao menos parcialmente curvada e/ou apresenta arestas e/ou peças de área planas. Especialmente a área-alvo é ao menos parcialmente inclinada com relação a um eixo óptico do projetor, que fica dirigido para a área-alvo.
[0008] A correspondente pré-distorção do conteúdo da imagem pode também ser designada com o termo image warping. Por visão mecânica se entendem especialmente processos e algoritmos automáticos e/ou assistidos por computador para a avaliação de imagem, que fornecem medidas, dados, conexões.
[0009] Segundo a invenção resulta assim uma configuração de projetor automática, baseada em câmera. A invenção propõe, portanto, um processo que, com base em uma avaliação ou determinação da posição relativa de projetor para com a área de projeção (área-alvo) com base em visão mecânica (especialmente métodos fotogramétricos) determina as informações de correção para a distorção da imagem projetada em uma área especialmente curvada.
[0010] A invenção se baseia na ideia de que com um projetor ou um sistema de projeção para o ou no compartimento interno de veículo (cabine de aeronave) deve haver projeção sobre áreas curvadas. Para corrigir as distorções resultantes da curvatura, propõe a invenção um processo, que calcula essas informações de correção dos dados geométricos (especialmente modelo CAD da cabine) e da posição relativa de
Petição 870190050153, de 29/05/2019, pág. 16/78
4/16 projetor para com alvo de projeção (área-alvo). Como não está excluído que essa posição relativa se altere durante a vida útil do sistema no compartimento interno (cabine), é proposto um processo, que possa determinar ou avaliar essa posição relativa no compartimento interno (cabine da aeronave) com base em visão mecânica (especialmente métodos fotogramétricos), para atualizar as informações de correção (dados e pré-distorção) com essa informação.
[0011] A invenção alcança o objetivo pelo emprego de visão mecânica (computer vision). Para tanto, adicionalmente ao sistema projetorárea-alvo, é instalada uma câmera, que pode detectar a região da imagem projetada (e especialmente seu ambiente mais próximo). Com base na reprodução da área-alvo (especialmente pontos marcantes na área de projeção, assim chamadas features), a posição relativa da câmera para com a área-alvo (especialmente para com esses pontos marcantes) pode ser avaliada um ou determinada. Estando então a câmera montada em uma posição relativa (distância, orientação) conhecida, especialmente invariável, para com o projetor (p.ex. no mesmo alojamento), é assim também conhecida a posição relativa do projetor para com a área-alvo e a informação de correção (dados de pré-distorção ou sua correção) pode ser determinada com base nos dados geométricos (especialmente modelo CAD) e na posição relativa determinada.
[0012] A vantagem da invenção reside em que com o processo descrito pode ser automaticamente determinada, sem contato, a correção da distorção por superfícies curvadas, portanto os dados de pré-distorção, durante a vida útil do sistema. O sistema de câmera poderia fornecer especialmente (em forma dos dados de imagem captados pela câmera) adicionalmente informações sobre o compartimento interno (a cabine), como p.ex. uma identificação de uma repartição de bagagem aberta. [0013] Métodos correspondentes da visão mecânica são suficientemente conhecidos. Cabe remeter apenas a título de exemplo a: X. Gao, X.
Petição 870190050153, de 29/05/2019, pág. 17/78
5/16
Hou, J. Tang, H. Cheng. Complete Solution Classification for the Perspective-Three-Point Problem. IEEE, 2003. S. 4f., Open Source Computer Vision Library. www.opencv.org, LearnOpenCV: Approximate Focal Length for Webcams and Cell Phone Cameras. www.learnopencv.com/approximate-focal-length-for-webcams-and-cell-phone-cameras/ (21.12.2017), ArUco Marker. www.uco.es/ investiga/ grupos/ ava/ node/ 26 ou S. Garrido-Jurado, R. Munoz-Salinas, F.J. Marin-Jimenez. Automatic generation and detection of high reliable diucial markers under occlusion. University of Cordoba, Cordoba, 2014. O processo descrito pode, portanto, ser facilmente convertido com métodos conhecidos.
[0014] Em uma forma de execução preferida, a visão mecânica é executada ao menos parcialmente em forma de métodos fotogramétricos. Métodos correspondentes são bastante conhecidos. Os mesmos são também suficientemente conhecidos, de modo que o processo pode ser aqui executado conforme a demanda.
[0015] Em uma forma de execução preferida, como dados geométricos da área-alvo são utilizados dados CAD da área-alvo. Tais dados CAD são disponíveis para veículos, especialmente aeronaves, via de regra suficientemente e na precisão necessária, de modo que os dados geométricos requeridos são de obtenção particularmente simples.
[0016] Em uma forma de execução preferida, a câmera é de tal maneira projetada que ao menos uma parte do ambiente da área-alvo se situa no campo de visão da câmera, sendo que são conhecidos apenas dados geométricos do ambiente detectado pela câmera com relação à área-alvo. Com isso estão disponíveis informações adicionais para avaliação na visão mecânica. Os resultados fornecidos são assim, via de regra, melhorados. Mesmo para áreas alvo unitariamente lisas sem cantos e arestas, que sob determinadas circunstâncias seriam dificilmente avaliáveis por visão mecânica, pode ser garantido, por uma seleção
Petição 870190050153, de 29/05/2019, pág. 18/78
6/16 apropriada do ambiente, que estruturas correspondentemente avaliáveis (arestas, cantos, etc.) estejam incluídas na imagem da câmera. Assim, também para esse caso, pode haver uma determinação altamente precisa da posição relativa da câmera para com o projetor.
[0017] Especialmente para o caso de dados CAD, via de regra, também há dados geométricos para o correspondente ambiente como dados CAD, sendo que então as condições de posição relativas entre ambiente e área-alvo são conhecidas.
[0018] Em uma forma de execução preferida, como ao menos parte da visão mecânica, é determinado ao menos um elemento marcante na imagem da câmera. A posição relativa do elemento marcante para com a área-alvo é então conhecida. Especialmente são detectados dois, três ou quatro ou mais elementos. Detectados significa então que os mesmos são identificados na imagem da câmera e sua posição relativa para com a câmera é determinada. Pela posição relativa conhecida entre elemento e área-alvo pode então ser novamente determinada a posição relativa entre câmera e área-alvo.
[0019] Em uma variante preferida dessa forma de execução, como ao menos um dos elementos é detectada uma característica ou áreaalvo e/ou - caso haja - ambiente da área-alvo. Tais estruturas características são aquelas que desde logo estão presentes na área alto e/ou no ambiente, p.ex. pontos, linhas, arestas, cantos. Exemplos são bordas, arestas, barras ornamentais, maçanetas de um compartimento de armazenamento, aberturas de saída para ar, luminárias etc. Com isso é evitado que devam ser dispostos marcadores especiais ou semelhantes como elementos para efeito do processo. Os marcadores pertencem ao compartimento interno original ou à área-alvo em si.
[0020] Em uma variante preferida do processo, como ao menos um dos elementos é detectado um marcador disposto na área-alvo e/ou caso haja - no ambiente da área-alvo. Os correspondentes marcadores
Petição 870190050153, de 29/05/2019, pág. 19/78
7/16 são dispostos extra especialmente para fins do processo e, assim, não pertencem ao compartimento interno original ou à área-alvo em si. Tais marcadores podem ser visíveis ou invisíveis para os seres humanos (infravermelho, ultravioleta; em todo caso, porém, detectáveis com a câmera (portanto na imagem da câmera). Os marcadores podem então ser ativos (auto luminescentes) ou passivos. Exemplos são p.ex. adesivos, laqueamentos coloridos, marcadores luminosos ativos (LEDs), etc. Tais marcadores podem então ser particularmente bem ajustados à câmera ou à identificabilidade na imagem da câmera e conduzem a uma avaliação particularmente confiável no âmbito da visão mecânica.
[0021] Resumindo, pode-se, portanto, dizer: Como marcadores ou pontos marcantes são apropriados especialmente as arestas do painel alvo (painel de compartimento interno como área-alvo, marcações visíveis dispostas (para os seres humanos) (p.ex. marcadores Aruco). Marcações dispostas não visíveis (para os seres humanos) (p.ex. cor UV irradiada com LEDs UV de projetor ou câmera) ou fontes de infravermelho introduzidas no painel. Com base em ao menos três pontos de marcação (elementos) pode ser calculada em geral a posição relativa. Por mais de três marcadores pode ser especialmente aumentada a precisão. Com menos de três pontos pode ser emitida, por considerações de plausibilidade adicionais, afirmação sobre a posição relativa (posição relativa da câmera para com os marcadores e, com isso, para com a área-alvo).
[0022] Em uma forma de execução preferida do processo, é de se supor então que já antes do início da determinação de dados de prédistorção, como já descrito acima, há ou existem tais dados de pré-distorção. Os dados de pré-distorção presentes se referem então a uma primeira posição relativa do projetor para com a área-alvo. Então se inicia com a execução do processo, como até então descrito. É determinada uma segunda posição relativa do projetor para com a área-alvo. É
Petição 870190050153, de 29/05/2019, pág. 20/78
8/16 então determinada uma divergência entre a segunda e a primeira posição relativa. Sendo a divergência maior do que um valor limiar pré-dado, os dados de pré-distorção são corrigidos ou novamente determinados com base na segunda posição relativa. O processo até aqui descrito é, portanto, eventualmente encerrado (para uma divergência menor do que o valor limiar) pelo fato de que a determinação dos dados de prédistorção reside em que os dados de pré-distorção já anteriormente conhecidos são mantidos. Caso contrário, o processo é encerrado pelo fato de que os dados de pré-distorção são novamente determinados ou (especialmente ligeiramente) corrigidos. Uma determinação no sentido estrito de um completo novo cálculo matemático dos dados de prédistorção etc. não ocorre, portanto, especialmente nesse caso. Em outras palavras, então, o processo de determinação degenera para um processo de comparação ou processo de correção. A divergência constatada pode ser especialmente zero.
[0023] Em uma forma de execução preferida é usada como áreaalvo uma que é curvada em ao menos um segmento. Para áreas alvo curvadas é especialmente importante uma pré-distorção adequada do conteúdo da imagem a ser reproduzido, que possa ser executada de modo particularmente simples com o processo descrito.
[0024] Em uma forma de execução preferida, como área-alvo é selecionada uma superfície de um compartimento de armazenamento. Tratase então especialmente de um compartimento de armazenamento no compartimento interno, especialmente a cabine de passageiros de uma aeronave como veículo. Tais compartimentos de armazenamento apresentam frequentemente superfícies complexamente curvadas, mas são desejáveis como local para uma correspondente projeção. Com o processo descrito pode ser realizada de modo particularmente simples uma projeção isenta de distorção.
[0025] Em uma forma de execução preferida, o processo é executado
Petição 870190050153, de 29/05/2019, pág. 21/78
9/16 em uma aeronave como veículo com uma cabine de passageiros como compartimento interno. As vantagens do processo acima descritas podem assim ser particularmente utilizadas para esse caso de emprego.
[0026] O objetivo da invenção é também alcançado por um módulo de projetor para uma projeção de um conteúdo de imagem em um compartimento interno de um veículo para uma área-alvo do compartimento interno segundo a reivindicação 12. O módulo projetor contém uma unidade de computação, que é projetada para a execução do processo de acordo com a invenção, e o projetor explicado em conexão com o processo e a correspondente câmera.
[0027] O módulo projetor e ao menos uma parte de suas formas de execução bem como as respectivas vantagens foram já explicadas correspondentemente em conexão com o processo segundo a invenção. [0028] Em uma forma de execução preferida, o módulo projetor contém uma estrutura de suporte, na qual estão fixados o projetor e a câmera em posição relativa fixa entre si. Especialmente, projetor e câmera estão dispostos no mesmo alojamento. Especialmente a estrutura de suporte é ao menos parte do alojamento ou ao menos uma parte do alojamento é executada como estrutura de suporte. A posição relativa conhecida, requerida no processo, entre câmera e projetor pode ser realizada assim de modo particularmente simples.
[0029] O objetivo da invenção é também alcançado por um emprego conforme reivindicação 14 da câmera do módulo projetor de acordo com a invenção ou da câmera utilizada no processo de acordo com a invenção para monitoramento óptico do compartimento interno. O monitoramento pode então ser realizado manualmente, isto é, por observação da imagem da câmera por uma pessoa, ou automaticamente por avaliação mecânica da imagem da câmera. A câmera satisfaz assim uma dupla finalidade, a saber, primeiramente, aquela indicada pelo processo acima descrito ou módulo projetor; bem como, em segundo lugar, aquela de uma
Petição 870190050153, de 29/05/2019, pág. 22/78
10/16 câmera de monitoramento convencional. Isso é proporcionado especialmente quando do emprego na aeronave, pois assim pode ser poupado um outro componente (segunda câmera) e, com isso, peso.
[0030] O objetivo da invenção é também alcançado por um emprego conforme reivindicação 15 de uma câmera de compartimento interno em um compartimento interno de um veículo como câmera do módulo projetor de acordo com a invenção ou no processo de acordo com a invenção. A câmera no compartimento interno é especialmente uma câmera de monitoramento, que fica desde logo instalada no compartimento interno. Por seu duplo uso, para o processo ou o módulo projetor não pode ser prevista uma câmera separada. Isso novamente proporciona na aeronave as vantagens acima mencionadas (economia de peso).
[0031] A invenção se baseia assim nos seguintes reconhecimentos, observações ou considerações e apresenta ainda as formas de execução abaixo. As formas de execução são então mencionadas em parte, simplificadamente, também como a invenção. As formas de execução podem então também conter partes ou combinações das formas de execução acima mencionadas ou corresponder às mesmas e/ou incluir eventualmente também formas de execução até aqui não mencionadas. [0032] A ideia básica da invenção é uma concepção para calibragem e controle de um sistema e projeção regulado por câmera. A invenção se baseia na ideia de propor com auxílio da fotogrametria um processo para calibragem e pós-regulagem automática da distorção de imagem (ou da pré-distorção) do sistema de projetor em uma cabine de aeronave pela câmera instalada no projetor(módulo). Objetivo da calibragem é a pré-distorção da imagem produzida pelo projetor de tal maneira que a imagem incidente na área-alvo seja representada sem distorção independentemente da geometria da área-alvo e do alinhamento do projetor relativamente à área-alvo (independentemente significa:
Petição 870190050153, de 29/05/2019, pág. 23/78
11/16 dependente das condições atuais, diferentes ou variáveis). A ideia básica da invenção é ainda um método de calibragem, que determina as informações de calibragem com base no modelo CAD de cabine de aeronave e integração de projetor. Em ampliação a isso é proposta uma concepção, com a qual parâmetros essenciais para a calibragem com base em CAD na cabine são determinados com os meios da fotogrametria. O sistema pode, assim, também no estado montado reagir automaticamente a variações, como p.ex. à distância variável entre projetor e área-alvo com base em variações de pressão do ar.
[0033] Segundo a invenção, resulta especialmente o emprego de computer vision (visão mecânica) para a avaliação automática, sem contato, da posição relativa de projetor para com a área de projeção (área-alvo) e da seleção de marcadores apropriados empregáveis na cabine de aeronave.
[0034] O método básico para a pré-distorção (warping) da imagem do projetor é p.ex. como segue: Inicialmente a imagem a ser previamente distorcida é reunida com uma grade, de modo que posições de pixel são associadas a pontos de grade regulares. Por um campo de vetor de correção, que é definido por vetores nos pontos da grade, a grade é em seguida transformada na forma alvo. Os pares de grade de pixel previamente definidos são, conforme este documento, exatamente deslocados e locais de pixel entre os pontos de grade determinados por interpolação.
[0035] O algoritmo de calibragem determina em função da geometria da área-alvo, da posição relativa de projetor e área-alvo, bem como das propriedades do projetor (comportamento de radiação) o campo de vetor de correção ótimo.
[0036] Outras características, efeitos e vantagens da invenção se depreendem da descrição a seguir de um exemplo de execução preferido da invenção bem como das figuras em apenso. Em um esquema
Petição 870190050153, de 29/05/2019, pág. 24/78
12/16
Figura 1
Figura 2
Figura 3 uma projeção para uma área-alvo, uma detecção da área-alvo por uma câmera, um compartimento de embalagem como área-alvo de princípio mostram:
[0037] [0038] [0039] alternativa com detecção das arestas do objeto.
[0040] Na fig. 1 está esquematicamente representado um cálculo baseado em CAD de dados de pré-distorção 2 (simbolicamente representados em perspectiva como campo de vetor de correção e novamente em detalhe I). O cálculo é feito em uma unidade de computação 3 aqui indicada apenas simbolicamente. Um projetor 4 em um compartimento interno 5 de um veículo não representado em detalhe, aqui uma cabine de passageiros de uma aeronave, é modelado aqui por uma passagem de raios 6 e por sua área de referência 8 (ideal, virtual). O projetor se encontra em um estado de montagem na aeronave; está, portanto, montado em seu local de montagem pretendido. A área de referência 8 é então a área, em que o projetor 4 pode representar uma imagem isenta de distorção, homogênea e focada, de um conteúdo de imagem 9 aqui simbolicamente representado. O conteúdo de imagem 8 é efetivamente projetado em uma área-alvo 13. Para uma regulagem de câmera, paralelamente ao projetor 4 está instalada uma câmera 10 com posição relativa RKP conhecida (indicada por uma seta dupla) para com o projetor 4, que pode registrar a área-alvo 13 ou reproduzi-la em uma imagem de câmera. As posições de todos os objetos participantes são referenciadas para com um ponto de referência 12 (ponto zero) geométrico, livremente selecionável.
[0041] Na primeira etapa, para com a área-alvo 13, aqui um compartimento de embalagem, do compartimento 5 é definida uma grade 14 regular (aqui indicada por um modelo de tabuleiro de xadrez), que determina a forma da imagem a ser representada. Então, por um processo de acompanhamento de raio, é determinado o caminho de raio 6 para
Petição 870190050153, de 29/05/2019, pág. 25/78
13/16 cada ponto de grade 16 individual do padrão de tabuleiro de xadrez, para assim se concluir a imagem 18, que deve ser representada sobre a área de referência 8, de modo que na área-alvo 13 é obtida uma imagem não distorcida. Com base na distância D conhecida (por exemplo indicada por uma linha reforçada) entre os pontos de grade 16 na área de referência 8 e área-alvo 13 pode também adicional se concluir uma diferença de claridade a ser eventualmente adaptada entre os distintos pontos de grade 16.
[0042] Para o emprego na cabine de aeronave deve o comportamento de radiação e a área de referência 8 do projetor 4, bem como a geometria da área-alvo 13, ser considerados como constantes. Ambos os parâmetros podem ser determinados com base nos dados CAD da cabine ou das medições.
[0043] A posição relativa RPZ de projetor 4 para área-alvo 13 deve ser considerada como variável. A posição relativa RZP se compõe de uma translação t e uma rotação R, que o projetor 4 assume com relação à área-alvo 13.
[0044] A posição relativa RPZ pode divergir essencialmente da integração planejada pelas seguintes razões:
[0045] - tolerâncias da instalação do sistema [0046] - alteração da posição do painel em função da pressão da cabine [0047] Esses dois aspectos devem, portanto, ser tratados na cabine por um sistema de câmera. Supõe-se então que uma câmera 10 está instalada com posição RKP relativa ao projetor 4 conhecida. Por um processo da fotogrametria deve ser determinada a posição relativa RKZ da câmera 10 em função de marcadores 20 (aqui pontos de marcação) para com a área-alvo 13 e, com isso, também a posição RKP do projetor relativamente à mesma (ver figura 2).
[0048] A figura 2 ilustra o seguinte: Para determinar a posição relativa
Petição 870190050153, de 29/05/2019, pág. 26/78
14/16
RKZ, a câmera 10 determina ao menos três elementos 20 de marcação, aqui marcadores ou pontos, para com a área-alvo 13, cujas coordenadas 3D relativamente à original geometria (ponto de referência 12) são conhecidas. Os elementos 20 a serem detectados são aqui cantos, saliências ou marcações visíveis.
[0049] Por comparação das coordenadas bidimensionais dos marcadores 20 ou pontos na imagem da câmera e suas coordenadas 3D conhecidas pode então se concluir a orientação e posição da câmera 10 relativamente ao ponto de referência 12 geométrico. Com mais de três marcadores 20 ou pontos pode ser aumentada a precisão da determinação do local.
[0050] O projetor 4, a câmera 10 e a unidade de computação 3 formam, juntos, um módulo projetor 22. Projetor 4 e câmera 10 estão então fixados a uma estrutura de suporte 24 do módulo projetor 22. Assim, sua posição relativa RKP entre si são fixamente predeterminadas ou predetermináveis.
[0051] A figura 3 mostra, por exemplo, um recorte de um compartimento interno 5 alternativo de uma cabine de passageiros de uma aeronave. Estão representados três compartimentos de bagagem (dois em recorte), dos quais o do meio forma uma área-alvo 13 atual. A imagem de câmera é detectada pela câmera 10. Um contorno 26, determinado com auxílio da câmera 10 ou da unidade de computação 3, é representado tracejado. O contorno 26 é constituído aqui em forma de bordas ou áreas do compartimento de embalagem, que representam aqui os elementos 10 de marcação da área-alvo 13.
[0052] Do contorno 26 é novamente determinada a posição relativa
RKZ. Caso contrário, o processo é continuado convenientemente como descrito acima, para determinar os dados de pré-distorção 2.
[0053] A figura 3 mostra também como a câmera 10 pode cumprir uma dupla função. Pois a imagem de câmera pode também ser usada
Petição 870190050153, de 29/05/2019, pág. 27/78
15/16 para o controle de se ainda há compartimentos de bagagem abertos. A câmera 10 do módulo projetor 22 pode ser conjuntamente utilizada para o monitoramento do compartimento de bagagem ou inversamente uma câmera 10 existente desde logo para monitoramento do compartimento de bagagem ser conjuntamente usada como câmera 10 no mó dulo projetor 22.
[0054] Lista de números de referência
[0055] 2
[0056] 3
[0057] 4
[0058] 5
[0059] 6
[0060] 8
[0061] 9
[0062] 10
[0063] 12
[0064] 13
[0065] 14
[0066] 16
[0067] 18
[0068] 20
[0069] 22
[0070] 24
[0071] 26
dados de pré-distorção unidade de computação projetor compartimento interno passagem de raios área de referência projeção de um conteúdo de imagem câmara ponto de referência/ ponto nulo área-alvo grade ponto de grade imagem elementos de marcação
Módulo projetor estrutura de suporte 24 contorno [0072] RKP posição relativa da câmara para projetor [0073] RPZ posição relativa do projetor para com a área-alvo [0074] RKZ posição relativa da câmara para com a área-alvo [0075] D Distância [0076] t translação [0077] R rotação
Petição 870190050153, de 29/05/2019, pág. 28/78
16/16 [0078] M estado de montagem [0079] I Detalhe

Claims (15)

  1. REIVINDICAÇÕES
    1. Processo para determinação de dados de pré-distorção (2) para uma projeção de um conteúdo de imagem (9) de um projetor (4) em um compartimento interno (5) de um veículo para uma área-alvo (13) do compartimento interno (5), sendo que são conhecidos dados geométricos da área alva (13), e o projetor (4) se encontra em um estado de montagem (M) pretendido no compartimento interno (5), caracterizado pelo fato de que:
    - uma câmera (10) é posicionada em uma posição relativa (RKP) conhecida para com o projetor, sendo que a câmera (10) é alinhada de tal maneira que ao menos uma parte da área-alvo (13) se situa no campo visual da câmera (10),
    - uma imagem de câmera é captada com a câmera (10),
    - da imagem de câmera por meio de visão mecânica é determinada a posição relativa da câmera para com a área-alvo (RKZ),
    - da posição relativa (RKZ) da câmara (10) para com a áreaalvo (13) e da posição relativa (RKP) da câmera (10) para com o projetor (4) é determinada a posição relativa (RPZ) do projetor para com a áreaalvo (13),
    - os dados de pré-distorção (2) são determinados com base nos dados geométricos da área-alvo (13) e da posição relativa (RPZ) do projetor (4) para com a área-alvo (13).
  2. 2. Processo de acordo com a reivindicação 1, caracterizado pelo fato de que a visão mecânica é executada ao menos parcialmente em forma de métodos fotogramétricos.
  3. 3. Processo de acordo com uma das reivindicações precedentes, caracterizado pelo fato de que como dados geométricos da área-alvo (13) são utilizados dados CAD da área-alvo (13).
  4. 4. Processo de acordo com uma das reivindicações precedentes, caracterizado pelo fato de que a câmera (10) é de tal maneira
    Petição 870190050153, de 29/05/2019, pág. 30/78
    2/3 alinhada que ao menos uma parte do ambiente da área-alvo (13) se situa no campo de visão da câmera (10), sendo que também dados geométricos do ambiente detectado pela câmera (10) em relação à áreaalvo (13) são conhecidos.
  5. 5. Processo de acordo com uma das reivindicações precedentes, caracterizado pelo fato de que como ao menos parte da visão mecânica é detectado ao menos um elemento (20) de marcação na imagem de câmera, cuja posição relativamente à área-alvo (13) é conhecida.
  6. 6. Processo de acordo com a reivindicação 5, caracterizado pelo fato de que como ao menos um dos elementos (20) é detectada uma estrutura característica da área-alvo (13) e/ou - caso haja - do ambiente da área-alvo (13).
  7. 7. Processo de acordo com reivindicação 5 ou 6, caracterizado pelo fato de que como ao menos um dos elementos (20) é detectado um marcador disposto na área-alvo (13) e/ou - caso haja - no ambiente da área-alvo (13).
  8. 8. Processo de acordo com uma das reivindicações precedentes, caracterizado pelo fato de que
    - já existem dados de pré-distorção (2) para uma primeira posição relativa (RPZ) do projetor (4) para com a área-alvo (13), sendo que
    - no processo de acordo com uma das reivindicações 1 a 7 é determinada uma segunda posição relativa (RPZ) do projetor (4) para com a área-alvo (13),
    - é determinado uma divergência entre segunda e primeira posição relativa (RPZ),
    - com uma divergência maior do que um valor limiar predeterminável os dados de pré-distorção (2) com base na segunda posição relativa (RPZ) no processo segundo uma das reivindicações 1 a 7 são corrigidos ou novamente determinados.
    Petição 870190050153, de 29/05/2019, pág. 31/78
    3/3
  9. 9. Processo de acordo com uma das reivindicações precedentes, caracterizado pelo fato de que como área-alvo (13) é utilizada uma que é curvada em ao menos um segmento.
  10. 10. Processo de acordo com uma das reivindicações precedentes, caracterizado pelo fato de que como área-alvo (13) é selecionada uma superfície de um compartimento de armazenamento.
  11. 11. Processo de acordo com uma das reivindicações precedentes, caracterizado pelo fato de que o processo é executado em uma aeronave como veículo com uma cabine de passageiros no compartimento interno (5).
  12. 12. Módulo projetor (22) caracterizado pelo fato de que é para uma projeção de um conteúdo de imagem (9) em um compartimento interno (5) de um veículo para uma área-alvo (13) do compartimento interno (5), com uma unidade de computação (3), que é projetada para execução do processo como definido em uma das reivindicações 1 a 11, e com o projetor (4) e a câmera (10).
  13. 13. Módulo projetor (22) de acordo com a reivindicação 12, caracterizado pelo fato de que o módulo projetor (22) contém uma estrutura de suporte (24), em que o projetor (4) e a câmera estão fixados entre si em posição relativa (RKP) fixa.
  14. 14. Uso da câmera (10) de um módulo projetor (22) de acordo com uma das reivindicações 12 a 13 ou da câmera (10) utilizada no processo como definido em uma das reivindicações 1 a 11, caracterizado pelo fato de que é para o monitoramento óptico do compartimento interno (5).
  15. 15. Uso caracterizado pelo fato de que é de uma câmera de compartimento interno em um compartimento interno (5) de um veículo como câmera (10) de um módulo projetor (22) como definido em uma das reivindicações 12 a 13 ou em um processo como definido em uma das reivindicações 1 a 11.
BR102019010983A 2018-06-15 2019-05-29 determinação de dados de pré-distorção para uma projeção e módulo projetor BR102019010983A2 (pt)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018004829.3A DE102018004829A1 (de) 2018-06-15 2018-06-15 Ermittlung von Vorverzerrungsdaten für eine Projektion und Projektormodul

Publications (1)

Publication Number Publication Date
BR102019010983A2 true BR102019010983A2 (pt) 2019-12-17

Family

ID=68724301

Family Applications (1)

Application Number Title Priority Date Filing Date
BR102019010983A BR102019010983A2 (pt) 2018-06-15 2019-05-29 determinação de dados de pré-distorção para uma projeção e módulo projetor

Country Status (5)

Country Link
US (1) US11636617B2 (pt)
BR (1) BR102019010983A2 (pt)
CA (1) CA3045176A1 (pt)
DE (1) DE102018004829A1 (pt)
FR (1) FR3082610B1 (pt)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018167999A1 (ja) * 2017-03-17 2018-09-20 パナソニックIpマネジメント株式会社 プロジェクタ及びプロジェクタシステム
CN113313966A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 一种位姿确定方法以及相关设备
CN115278184B (zh) * 2022-07-18 2024-03-15 峰米(重庆)创新科技有限公司 投影画面校正方法及装置
DE102022131168A1 (de) 2022-11-24 2024-05-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur projektion von bildinhalten

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007023344B4 (de) 2007-05-16 2017-03-02 Airbus Sas Projektion verschiedener Bildinhalte in einer Großraumkabine eines Transportmittels
DE102009008084B4 (de) * 2009-02-09 2018-04-05 Airbus Operations Gmbh Bilderzeugende Beleuchtung für Flugzeuginnenflächen
TWI439788B (zh) * 2010-01-04 2014-06-01 Ind Tech Res Inst 投影校正系統及方法
US9158185B2 (en) * 2013-01-07 2015-10-13 Lumexis Corporation Personal interactive overhead projection inflight entertainment system
US9731824B2 (en) * 2015-03-11 2017-08-15 The Boeing Company Unique system and method of creating scenes within a moving vehicle such as an aircraft
US9792674B2 (en) * 2016-03-10 2017-10-17 Netflix, Inc. Perspective correction for curved display screens

Also Published As

Publication number Publication date
US11636617B2 (en) 2023-04-25
CA3045176A1 (en) 2019-12-15
DE102018004829A1 (de) 2019-12-19
FR3082610A1 (fr) 2019-12-20
US20190385330A1 (en) 2019-12-19
FR3082610B1 (fr) 2021-10-08

Similar Documents

Publication Publication Date Title
BR102019010983A2 (pt) determinação de dados de pré-distorção para uma projeção e módulo projetor
US20200265550A1 (en) Dense structure from motion
US20220007007A1 (en) Machine vision system calibration
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
Schiller et al. Calibration of a PMD-camera using a planar calibration pattern together with a multi-camera setup
US9928595B2 (en) Devices, systems, and methods for high-resolution multi-view camera calibration
US20110288806A1 (en) Calibration of a profile measuring system
Kimura et al. Projector calibration using arbitrary planes and calibrated camera
US20170221224A1 (en) Position measurement apparatus for measuring position of object having reflective surface in the three-dimensional space
BR112015013804B1 (pt) sistema de medição para medição tridimensional de uma estrutura submarina, método para a triangulação a laser de uma estrutura submarina e meio legível por computador não transitório codificado com instruções
US10499038B2 (en) Method and system for recalibrating sensing devices without familiar targets
Ferstl et al. Learning Depth Calibration of Time-of-Flight Cameras.
Wang et al. Novel camera calibration based on cooperative target in attitude measurement
US11544870B2 (en) System and method for verification of vehicle service target positioning
US9804252B2 (en) System and method for measuring tracker system accuracy
ES2927284T3 (es) Sistema de reconocimiento, procedimiento de trabajo y procedimiento de entrenamiento para generar un modelo 3D con datos de referencia.
KR100698535B1 (ko) 경사 보정기능을 갖는 이동로봇의 위치 인식 장치 및 방법
Natroshvili et al. Automatic extrinsic calibration methods for surround view systems
KR20240056516A (ko) 카메라 교정을 위한 카메라 모델을 생성하는 방법 및 시스템
Perez-Yus et al. A novel hybrid camera system with depth and fisheye cameras
Sagawa et al. Accurate calibration of intrinsic camera parameters by observing parallel light pairs
TW202134098A (zh) 用於量測車輛零件之間隙及齊平度之方法及量測隧道
Handel Analyzing the influences of camera warm-up effects on image acquisition
Sim et al. Closed loop-based extrinsic calibration of multi-modal sensors
Beauchemin et al. A unified procedure for calibrating intrinsic parameters of spherical lenses

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B06W Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette]