BRPI0721562A2 - mÉtodo e sistema de reconhecimento de volume - Google Patents

mÉtodo e sistema de reconhecimento de volume Download PDF

Info

Publication number
BRPI0721562A2
BRPI0721562A2 BRPI0721562-2A BRPI0721562A BRPI0721562A2 BR PI0721562 A2 BRPI0721562 A2 BR PI0721562A2 BR PI0721562 A BRPI0721562 A BR PI0721562A BR PI0721562 A2 BRPI0721562 A2 BR PI0721562A2
Authority
BR
Brazil
Prior art keywords
recognition method
points
volume recognition
volume
grouping
Prior art date
Application number
BRPI0721562-2A
Other languages
English (en)
Inventor
Gilles Pinault
Jeremie Roy
Laurent Desmecht
Xavier Baele
Original Assignee
Softkinetic S A
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Softkinetic S A filed Critical Softkinetic S A
Publication of BRPI0721562A2 publication Critical patent/BRPI0721562A2/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

MÉTODO E SISTEMA DE RECONHECIMENTO DE VOLUME. A presente invenção refere-se a um método de reconhecimento de volume, compreendendo as etapas de: a) capturar dados de imagem tri- dimensionais utilizando um sistema de geração de imagem em 3D (3), em que os ditos dados de imagem representam uma pluralidade de pontos (5), cada ponto (5) tendo pelo menos um conjunto de coordenadas em um espaço tridimensional, b) agrupar pelo menos alguns dos pontos (5) em um conjunto de agrupamentos (6); c) selecionar, de acordo com um primeiro conjun- to de parâmetros, tais como posição e tamanho, um agrupamento (6) cor- respondente a um objeto de interesse (1) localizado no alcance do dito sis- tema de geração de imagem (3); d) agrupar, pelo menos, alguns dos pontos (5) do agrupamento selecionado (6) em um conjunto de subagrupamentos, de acordo com um segundo conjunto de parâmetros compreendendo suas posições no espaço tridimensional, em que cada subagrupamento tem um centroide (11) no espaço tridimensional, e e) associar um volume (12) a cada um dentre pelo menos alguns dos ditos subagrupamentos, em que o dito volume (12) é fixado ao centroide (11) do dito subagrupamento. A presente invenção também refere-se a um sistema de reconhecimento de volume pa- ra a execução do presente método.

Description

Relatório Descritivo da Patente de Invenção para "MÉTODO E SISTEMA DE RECONHECIMENTO DE VOLUME".
A presente invenção refere-se a um método e um sistema de reconhecimento de volume, e, em particular, mas não se limitando a, um método e um sistema de reconhecimento de volume para interação com dis- positivos de processamento de dados.
A interação com sistemas de processamento de dados e, em particular, com a entrada de dados e comandos, é uma questão de conhe- cimento geral. Convencionalmente, essa interação ocorre através de disposi- tivos físicos de entrada, tais como teclados, mouses, rodas de rolagem, ca- netas, telas sensíveis ao toque, joysticks, controles para jogos ("gamepads"), etc., que produzem sinais em resposta a uma ação física do usuário sobre os mesmos. No entanto, tais dispositivos físicos de entrada apresentam mui- tas falhas. Por exemplo, eles só podem oferecer uma quantidade limitada de sinais de entrada diferentes, que, em algumas aplicações, tais como em am- bientes tridimensionais de "realidade virtual", ficarão estranhos e sem rea- lismo. Além disso, são suscetíveis a desgaste e seu uso continuado poderá ainda ter conseqüências negativas à saúde do usuário, tais como Lesões por Esforço Repetitivo.
Dispositivos e métodos de entrada alternativos são também co- nhecidos. Por..exemplo, os sistemas práticos de reconhecimento de voz es- tão disponíveis. No entanto, o reconhecimento de voz não é uma alternativa prática para algumas aplicações, como nos jogos de ação, nos quais entra- das rápidas, precisas e repetitivas por parte do utilizador são exigidas. Além disso, sua eficácia é adversamente afetada por ruídos de fundo, e eles ge- ralmente requerem um período de aprendizagem para reconhecer os co- mandos de voz de um usuário em particular. Uma outra alternativa é o reco- nhecimento de imagem. Em sua forma mais simples, os sistemas de reco- nhecimento de imagem reconhecem padrões binários de cores contrastan- tes, tais como códigos de barra, e converter esses padrões em sinais biná- rios para processamento. Os sistemas de reconhecimento de imagem mais avançados podem reconhecer padrões mais complexos em imagens e pro- duzem uma grande variedade de sinais em resposta. Tais sistemas de reco- nhecimento de imagem foram propostos, por exemplo, na Patente U.S. Ns 6256033, para o reconhecimento dos gestos de um usuário na faixa de um sistema de geração de imagem. No entanto, os sistemas de geração de i- magem convencionais não têm percepção de profundidade e podem produ- zir apenas uma projeção em 2D do dito usuário. Como resultado, o reconhe- cimento dos gestos de um usuário é inerentemente falho, limitado ao leque de possíveis entradas e crivado de possíveis erros de reconhecimento. Em particular, tais sistemas têm problemas para separar o usuário de seu fundo. O desenvolvimento de um sistemas de geração de imagens em
3D, no entanto, oferece a possibilidade de desenvolver métodos e dispositi- vos de reconhecimento de formas que permitem, por exemplo, um melhor reconhecimento de gestos de usuário. Um sistema de geração de imagens em 3D foi descrito no documento "3D Imaging Camera for Gaming Applicati- on", de G. Yahav, G. J. Iddam e D. Mandelboum. O sistema de geração de imagens em 3D apresentado neste documento é do tipo chamado "Tempo de Vôo" ou TOF, no qual uma percepção de profundidade é obtida a partir da forma de uma frente de onda de luz refletida a partir dos objetos na faixa do sistema de geração de imagens em 3D. No entanto, outros tipos de um sistemas de geração de imagem, tais como câmeras em estéreo, LIDAR, radar, sonar, etc. também já foram propostos.
Um método e um sistema de reconhecimento de gestos utilizan- do tal sistema de geração de imagens em 3D foram apresentados no Pedido de Patente Internacional WO 00/30023 A1. No entanto, uma vez que este método não reconhece volumes como tais, mas apenas reage à presença de pontos de uma pessoa em determinadas regiões de interesse e os seus mo- vimentos nas mesmas, só será possível reconhecer os mais simples dos gestos, continuando a ser inadequado para aplicações mais complexas. Um método de entrada ainda mais básico foi apresentado na publicação WO 2004/064022 A1.
A Publicação de Pedido de Patente US 2006/023558 A1 apre- senta um método de reconhecimento de formas usando um sistema de ge- ração imagem em 3D. Neste método, os pontos da imagem em 3D são jun- tados em agrupamentos ou "bolhas" ("blobs") de acordo com sua profundi- dade percebida. Os primitivos de diferentes formas de objetos predefinidos podem ser associados a essas "bolhas". Embora este método de reconhe- cimento de volume permita uma modelagem mais precisa dos objetos dentro do alcance do sistema de geração de imagem em 3D, o mesmo ainda apre- senta desvantagens significativas. Como todos os objetos na imagem são alocados a uma "bolha", o seu número e complexidade serão limitados em função das capacidades de processamento de dados disponíveis. Na práti- ca, isto limita este método de reconhecimento de forma às aplicações que requerem apenas modelos brutos de objetos, tais como os sistemas de pre- venção e alerta de colisão de carro. O método, portanto, permanecerá im- praticável em aplicações que exijam um reconhecimento mais fino de volu- me, tais como nos sistemas de reconhecimento de gestos.
A Publicação do Pedido de Patente U.S. Nq 2003/0113018 A1 e o Pedido de Patente Internacional WO 03/071410 A2 descrevem ambos mé- todos de reconhecimento de forma mais apropriados para o reconhecimento de gestos.
No método apresentado na Patente U.S. Ne 2003/0113018 A1, um usuário é o objeto mais próximo ao sistema de geração de imagem em 3D e, ao desconsiderar o plano de fundo, os pontos da imagem em 3D sele- cionados ficam mais próximos que um limite de profundidade predetermina- do. Os pontos selecionados são então juntados em cinco agrupamentos, representando o tronco, a cabeça, os braços e as mãos, de acordo com dife- rentes critérios e algoritmos de agrupamento. O tronco e os braços são en- tão associados às formas planas e a cabeça e as mãos aos volumes tridi- mensionais. Embora este método permita um reconhecimento de gestos mais avançado, o reconhecimento de volume permanece relativamente bru- to, especialmente porque o tronco e os braços são reconhecidos como pla- nos, ao invés de elementos tridimensionais.
No método da Publicação WO 03/071410 A2, é apresentado um método de reconhecimento de volume, no qual os pontos da imagem em 3D são juntados em agrupamentos de acordo com sua percepção de profundi- dade, como na Patente U.S. Ne 2006/023558 A1, e um desses agrupamen- tos, representando um objeto de interesse, como, por exemplo, uma das mãos, é selecionado. Um gesto é, então, reconhecido por meio da análise estatística das características dos pontos do dito agrupamento selecionado e da comparação com padrões preestabelecidos. Embora este método seja mais poderoso que os demais métodos da técnica anterior, ele exigirá uma substancial biblioteca de padrões para um reconhecimento perfeito.
O problema abordado pela presente invenção é, portanto, o de prover um método e um sistema para reconhecer rapidamente o volume de um objeto de interesse dentro da escala de um sistema de geração de ima- gens em 3D com detalhes comparativamente finos, de modo a permitir uma interação mais fácil e precisa com um sistema de processamento de dados, eventualmente através de um reconhecimento de gestos.
O método de reconhecimento de volume da presente invenção resolve esse problema ao juntar pelo menos alguns dos pontos de um agru- pamento selecionado de acordo com um primeiro conjunto de parâmetros, como a posição e o tamanho correspondentes a um objeto de interesse loca- lizado na faixa do dito sistema de geração de imagem, em um conjunto de subagrupamentos de acordo com um segundo conjunto de parâmetros com- preendendo suas posições em um espaço tridimensional, no qual cada su- bagrupamento tem um centroide no espaço tridimensional; e associar um volume para cada qual dentre pelo menos alguns dos ditos subagrupamen- tos, em que o dito volume é fixado ao centroide do dito subagrupamento.
Mediante essas etapas, o método de reconhecimento de volume da presente invenção provê, sem recorrer a uma grande força de processa- mento, um modelo tridimensional comparativamente preciso do objeto de interesse formado pelos volumes associados aos ditos subagrupamentos. Este modelo tridimensional, embora seja comparativamente exato, poderá, contudo, ser expresso utilizando apenas as posições dos centroides dos su- bagrupamentos e as dimensões dos volumes associados, facilitando, assim, um processamento adicional do modelo tridimensional para interação com um sistema de processamento de dados, por exemplo, através do reconhe- cimento de gestos.
Também vantajosamente, um algoritmo de K-médias pode ser usado para juntar os ditos pontos do agrupamento selecionado em um nú- mero K predeterminado de subagrupamentos. O uso de um algoritmo K- médias oferece um método rápido e eficaz para juntar os pontos em um nú- mero predeterminado de subagrupamentos.
Vantajosamente, o volume associado a um subagrupamento pode ser uma esfera, de preferência localizada no centroide do referido su-
bagrupamento. Esta forma, embora permita um bom reconhecimento de vo- lume, poderá ser caracterizada utilizando o raio como parâmetro único, re- duzindo ainda mais o tamanho de um conjunto de dados que expressa o modelo tridimensional do objeto de interesse.
Ainda vantajosamente, o dito grupo de pontos no agrupamento
pode ser realizado de acordo com um método compreendendo as seguintes etapas:
a) criação de um primeiro agrupamento constituído de um primeiro ponto; e
b) execução das seguintes operações para cada ponto diferente:
i) encontrar o agrupamento cujo centroide está mais próximo do dito
outro ponto no espaço tridimensional; e
ii) criar um agrupamento adicional compreendendo o dito outro ponto, caso a distância absoluta no espaço tridimensional entre o dito outro ponto e o dito centroide de agrupamento mais próximo seja maior que um limite pre-
determinado Θ, e o número de agrupamentos esteja ainda abaixo de um máximo q predeterminado, ou
iii) adicionar o dito outro ponto ao agrupamento cujo centroide está mais próximo do dito outro ponto, caso a dita distância absoluta não seja maior que o limite predeterminado Θ, ou o número de agrupamentos já tenha
atingido o dito máximo q predeterminado.
Este método garante um método rápido e eficaz de se agrupar os pontos dos dados de imagem em um conjunto de agrupamentos, cada qual correspondendo a um objeto distinto no espaço tridimensional, incluindo o objeto de interesse. Ao agrupar os pontos por esse método de acordo com a sua posição no espaço tridimensional, os objetos representados na ima- gem tridimensional poderão ser diferenciados de uma forma mais confiável do que por meio de uma simples seleção de acordo com a profundidade, como na técnica anterior. Isto eventualmente permitirá a seleção do agru- pamento correspondente ao objeto de interesse, mesmo na presença de vários candidatos em uma área de monitoramento.
Particularmente vantajosa, o dito grupo de pontos no agrupa- mento pode ainda compreender as etapas de determinar se dois dentre os referidos agrupamentos estão conectados, e de unir os agrupamentos co- nectados. Isso irá evitar o problema potencial de agrupar os pontos do objeto de interesse em vários agrupamentos, dos quais apenas um seria, então, selecionado.
Ainda mais vantajosamente, a fim de determinar se dois dentre
os referidos agrupamentos estão conectados, as seguintes etapas poderão ser seguidas:
a) calcular o desvio-padrão da distribuição ao longo de um eixo que liga os centroides dos dois agrupamentos das projeções dos pontos de ca-
da um dos ditos dois agrupamentos; e
b) verificar se a soma dos desvios-padrão multiplicados por um fator S predeterminado, por exemplo 2, é maior do que a distância absoluta entre os centroides dos dois agrupamentos.
Mediante essas etapas, pode ser feita uma determinação efici- ente das conexões entre agrupamentos adjacentes a fim de eventualmente unir os agrupamentos conectados.
Vantajosamente, o dito sistema de geração de imagem pode incluir uma câmera de tempo de vôo em 3D, uma câmera estéreo, uma plu- ralidade de câmeras localizadas em diferentes posições no espaço tridimen- sional, ou um LIDAR, sonar ou sistema de radar. Qualquer um destes siste- mas de geração de imagem poderá fornecer dados de imagem tridimensio- nais adequados para o reconhecimento de volume. Vantajosamente, o dito sistema de geração de imagem poderá incluir as ditos pelo menos ângulos de profundidade e de zenith ou de azi- muth de cada ponto, e ainda compreender uma etapa de transformação de ângulos de profundidade e zenital ou azimutal de pelo menos alguns destes pontos em coordenadas cartesianas tridimensionais. Isso facilita a manipula- ção de imagens de profundidade providas por um sistema de geração de imagem em 3D neste método de reconhecimento de volume.
Vantajosamente, o dito objeto de interesse pode ser pelo menos parte de um corpo humano, de preferência em pé. Isso permitirá que um u- suário humano interaja com um dispositivo de processamento de dados utili- zando pelo menos parte de seu corpo.
Particularmente vantajosa, o dito método pode ainda incluir a etapa de calcular o centro aproximado da massa e o eixo principal do tronco do dito corpo. Uma vez que a posição, a orientação e o movimento de um tronco de um usuário podem ser particularmente úteis para interagir com um sistema de processamento de dados, por exemplo, com os aplicativos de "realidade virtual", o cálculo do seu centro de massa aproximado e do eixo principal, independentemente da posição e do movimento de qualquer ex- tremidade difusa, poderá ser particularmente vantajoso. Ainda mais vantajosamente, o dito centro de massa aproximado
ou eixo principal do tronco pode ser calculado mediante a execução das se- guintes etapas:
a) calcular o centroide ou o eixo principal do dito agrupamento seleciona- do;
b) calcular a curva de distribuição das distâncias dos pontos do agrupa- mento selecionado com relação ao dito eixo principal do agrupamento selecionado;
c) calcular um ponto de inflexão na dita curva de distribuição;
d) selecionar os pontos com as distâncias em relação ao dito eixo princi- pai do agrupamento inferior selecionado para D*s, no qual s é a distân- cia do referido ponto de inflexão para o dito eixo principal do agrupa- mento selecionado, e D é um fator de no máximo 1,25, de preferência, no máximo, 1; e
e) calcular o referido centro de massa ou eixo principal do tronco como o centroide ou eixo principal dos pontos selecionados.
Como em um agrupamento correspondente a um corpo humano, os pontos correspondentes a qualquer extremidade difusa serão, geralmen- te, claramente destacados da área de maior densidade de pontos, a qual corresponderá ao tronco, e, com estas etapas será possível descontar os mesmos no cálculo do centro aproximado de massa ou do eixo principal do tronco.
É particularmente vantajoso que os sinais possam ser transmiti- dos para um sistema de processamento de dados de acordo com a posição do centro de massa do dito tronco e/ou do seu eixo principal e/ou da orienta- ção do dito eixo principal do dito tronco. Conforme dito acima, isto irá permitir uma interação particularmente natural do usuário com, por exemplo, um a- plicativo de "realidade virtual".
Particularmente vantajoso, o dito método pode ainda incluir a etapa de medir a altura do corpo.
Ainda mais vantajosamente, uma medida particularmente preci- sa da altura do corpo pode ser obtida mediante o cálculo das alturas dos pontos entre os pontos do dito agrupamento selecionado mais próximos que uma distância predeterminada com relação ao eixo principal do tronco, a filtragem das ditas alturas, de preferência por meio de uma filtragem da me- diana, e a seleção do valor máximo das ditas alturas após filtragem. A medi- ção de altura obtida por meio dessas etapas geralmente não será influencia- da pela posição de qualquer braço esticado, de modo que a mesma poderá ser utilizada com segurança para fins como os de determinar a posição da cabeça do usuário.
Ainda mais vantajosamente, a dita medida da altura do corpo poderá ser considerada como válida somente quando um conjunto de condi- ções é atendido, como, por exemplo, o dito eixo principal do tronco estando substancialmente vertical.
Vantajosamente, os volumes associados ao dito conjunto de su- bagrupamentos podem ser representados em um ambiente virtual gerado por um sistema de processamento de dados. Isso permitiria uma represen- tação comparativamente realista do objeto de interesse em um ambiente virtual escolhido com um esforço de processamento relativamente pequeno.
Os volumes podem, por exemplo, servir como um avatar de um usuário, ca- so o dito corpo do usuário seja o objeto de interesse.
Ainda mais vantajosamente, pode haver uma verificação de coli- são entre a representação dos volumes do referido conjunto de subagrupa- mentos e um conjunto de elementos do referido ambiente virtual, de modo a interagir com o dito conjunto de elementos do ambiente virtual. Assim, um usuário poderia, por exemplo empurrar, agarrar, ativar ou puxar um elemen- to do ambiente virtual ao se movimentar de modo que a dita representação toque o referido elemento.
Vantajosamente, um conjunto de ligações entre subagrupamen- tos pode ser estabelecido com base em critérios como a distância absoluta entre os centroides dos subagrupamentos, a presença de pontos entre os subagrupamentos, etc. Desta forma, a estrutura subjacente do objeto de in- teresse poderá ser reconhecida, facilitando, assim, interações eventuais e, possivelmente, possibilitando a criação de um modelo tridimensional exato do objeto de interesse com um conjunto dados ainda mais reduzido.
Ainda mais vantajosamente, um conjunto de extremidades do dito objeto de interesse poderá ser identificado de acordo com as ditas liga- ções. Sinais diferentes, portanto, poderiam ser atribuídos a movimentos e posições das extremidades, ou ainda a movimentos e posições relativas en- tre as extremidades, aumentando, assim, a versatilidade de uma interface de entrada com o uso do presente método de reconhecimento de volume.
Ainda mais vantajosamente, pelo menos, uma das ditas extremi- dades é rotulada de acordo com um padrão predeterminado, por exemplo, o de um corpo humano. Sinais diferentes, portanto, poderiam ser atribuídos a movimentos e posições de diferentes extremidades, aumentando, assim, a versatilidade de uma interface de entrada com o uso do presente método de reconhecimento de volume. Ainda mais vantajosamente, sinais podem ser transmitidos a um sistema de processamento de dados de acordo com uma posição absoluta e/ou relativa e/ou movimento de pelo menos uma das ditas extremidades. Isto possibilitaria um método de interação particularmente versátil.
A presente invenção também refere-se a um sistema de reco- nhecimento de volume, incluindo um sistema de geração de imagem para a captura de dados de imagem tridimensionais representando uma pluralidade de pontos, cada ponto tendo, pelo menos, um conjunto de coordenadas em um espaço tridimensional, e pelo menos alguns dos ditos pontos correspon- dendo a um objeto de interesse localizado na faixa do dito sistema de gera- ção de imagem, e um sistema de processamento de dados conectado ao dito sistema de geração de imagem e programado para executar, em coope- ração com o dito sistema de geração de imagem, o método de reconheci- mento de volume da presente invenção.
Várias modalidades preferidas da presente invenção serão des- critas ilustrativamente, mas não de forma restritiva, com referência às figuras em anexo, nas quais:
A figura 1 mostra uma sala com um usuário em pé na frente de um sistema de geração de imagem em 3D para interação com um sistema de processamento de dados utilizando um sistema e método de reconheci- mento de volume de acordo com uma modalidade da presente invenção;
A figura 2 mostra dados de imagem tridimensionais da mesma sala, na forma de pontos distribuídos no espaço tridimensional, conforme capturados pelo sistema de geração de imagem em 3D;
A figura 3 mostra como os pontos são juntados em agrupamen- tos de acordo com suas respectivas posições;
A figura 4 mostra como agrupamentos vizinhos são verificados para conexões;
A figura 5 mostra os mesmos dados de imagem tridimensionais da figura 2, em que os pontos foram agrupados em agrupamentos, um dos ditos agrupamentos correspondendo ao usuário;
A figura 6a mostra os centroides de 150 subagrupamentos do agrupamento correspondente ao usuário;
A figura 6b mostra 150 esferas, cada qual centrada em um dos centroides da figura 6a;
A figura 6c mostra as 150 esferas da figura 6b representando o usuário em um ambiente virtual;
A figura 7a mostra os centroides de 25 subagrupamentos do a- grupamento correspondente ao usuário;
A figura 7b mostra uma rede ligando os centroides da figura 7a;
A figura 7c mostra uma estrutura de corpo virtual com base na rede da figura 7b;
A figura 7d mostra um avatar de usuário com base na estrutura de corpo virtual da figura 7c;
A figura 8a mostra uma vista do usuário com o braço direito es- tendido, e o centroide ou eixo principal do agrupamento representando o usuário, bem como o centro de massa ou eixo principal do tronco do usuário, e
A figura 8b mostra uma curva de distribuição dos pontos da figu- ra 8a;
A figura 9 mostra o usuário em uma posição de inicialização, de frente para uma tela de um dispositivo de processamento de dados com os braços estendidos.
Uma das possíveis utilizações de uma modalidade do método e um sistema de reconhecimento de volume é ilustrada na figura 1. Nesta apli- cação, os presentes sistema e método são utilizados para o reconhecimento dos gestos de um objeto de interesse, neste caso um usuário humano 1, a fim de interagir com um dispositivo de processamento de dados 2, gerando um ambiente virtual exibido para o usuário humano 1.
O sistema de reconhecimento de volume inclui um sistema de geração de imagem em 3D, nesta modalidade particular, uma câmera 3D em tempo de vôo (TOF) 3. Esta câmera 3D TOF 3 é conectada ao dispositivo de processamento de dados 2 com o qual o usuário humano 1 deve interagir. Nesta modalidade, o dispositivo de processamento de dados 2 é programa- do para realizar, em cooperação com a câmera 3D TOF 3, o método de re- conhecimento de volume da presente invenção. Alternativamente, um dispo- sitivo de processamento de dados separado programado para realizar o re- ferido método pode ser conectado entre a câmera 3D TOF e o dispositivo de processamento de dados 2, de modo a permitir que o usuário humano inte- raja com o dito dispositivo de processamento de dados 2.
A câmera 3D TOF 3 capta os dados de imagem em 3D da sala 4 na qual o usuário humano 1 está em pé, compreendendo uma imagem em 2D da sala com uma pluralidade de pixels e um valor de profundidade para cada pixel correspondendo à distância da câmera 3D TOF 3 do ponto refleti- do por aquele pixel. Uma vez que as posições XeY dos pixels da imagem em 2D correspondem aos ângulos zenital e azimutal dos pontos que as mesmas representam com relação à câmera 3D TOF 3, estes dados de i- magem em 3D podem ser ilustrados como na figura 2 por uma nuvem tridi- mensional de pontos 5 correspondentes aos pontos visíveis dos objetos den- tro do alcance da câmera 3D TOF 3. Para facilitar o processamento, a pro- fundidade e os ângulos zenital e azimutal de cada ponto 5, com relação à câmera 3D TOF 3, podem ser convertidos em coordenadas cartesianas.
Na etapa seguinte do método de reconhecimento de volume da presente invenção, estes pontos 5 são juntados em agrupamentos 6. Um agrupamento 6 contem os pontos vizinhos 5, conforme ilustrado na figura 3. Este agrupamento é feito utilizando um algoritmo BSAS, como descrito no capítulo 12 do documento "Pattern Recognition" de Sergios Theodoridis, Konstantinos Koutroumbas e Ricky Smith, publicado pela Academic Press em 1998, que tem a vantagem da velocidade, uma vez que irá realizar este agrupamento em uma única passagem, não necessitando de uma pluralida- de de interações a fim de prover resultados adequados.
Para realizar este agrupamento, é criado um primeiro agrupa- mento 6 compreendendo um primeiro ponto 5, e, em seguida, são realizadas as operações abaixo para cada ponto 5 diferente:
i) encontrar o agrupamento 6 cujo centroide 7 é o mais próximo do dito outro ponto 5 no espaço tridimensional, e ii) criar um agrupamento adicional 6 compreendendo o dito outro ponto 5 quando a distância absoluta no espaço tridimensional entre o dito outro ponto 5 e o dito centroide de agrupamento mais próximo 7 é maior que um limite predeterminado Θ, e o número de agrupamentos 6 fica ainda abai- xo de um máximo q predeterminado; ou
iii) adicionar o dito outro ponto 5 ao agrupamento 6, cujo centroi- de 7 fica mais próximo do dito outro ponto 5, quando a dita distância absolu- ta não é superior ao limite predeterminado Θ, ou o número de agrupamentos já atingiu o dito máximo q predeterminado.
Esta etapa de agrupamento resulta em uma pluralidade de agru- pamentos 6 compreendendo os pontos 5. No entanto, o uso deste algoritmo poderá resultar na efetiva conexão de vários agrupamentos 6. Para correta- mente agrupar os pontos 5, tais agrupamentos conectados 6 serão detecta- dos e unidos, conforme ilustrado na figura. 4.
Para determinar se dois agrupamentos 6 estão ligados, os pon- tos 5 destes dois agrupamentos 6 são primeiramente projetados em um eixo 8 que liga os centroides 7 dos dois agrupamentos 6. Em seguida, é calcula- do o desvio-padrão da distribuição das projeções resultantes ao longo do eixo 8 para cada um dos agrupamentos 6. Os dois agrupamentos 6 estarão conectados quando a soma destes desvios-padrão, multiplicados por um fator predeterminado S, que nesta modalidade em particular é 2, for maior do que a distância absoluta entre os centroides 7 dos dois agrupamentos 6. Neste caso, os dois agrupamentos 6 serão unidos de modo a formar um úni- co agrupamento.
O resultado deste agrupamento e união será um conjunto de agrupamentos 6 que representam, praticamente, os vários objetos dentro do alcance da câmera 3D TOF 3, conforme ilustrado na figura 5. Destes agru- pamentos 6, um será representado pelo usuário humano 1. Este agrupamen- to 6 representando o usuário humano 1 pode ser identificado de diversas maneiras. Por exemplo, um agrupamento 6 será reconhecido como repre- sentando o usuário humano 1 caso esteja em uma determinada área de mo- nitoramento, na qual o usuário humano 1 deverá estar de pé a fim de intera- gir com o dispositivo de processamento de dados 2, e caso o usuário com- preenda um número mínimo de pontos 5. Quando vários agrupamentos 6 atendem estes critérios, o agrupamento 6 mais próximo da câmera 3D TOF 3 poderá ser escolhido como representando o usuário humano 1. Outro crité- rio para a identificação do agrupamento 6 representando o usuário humano 1 poderá ser a conformidade da distribuição dos pontos 5 daquele agrupa- mento a um padrão predeterminado, correspondente a um corpo humano. Por exemplo, quando, em uma seqüência de inicialização, o usuário humano 1 está em pé com os braços estendidos, conforme ilustrado na figura 9, os pontos 5 do agrupamento 6 representando o usuário humano 1 serão distri- buídos de acordo com um padrão característico e facilmente reconhecido. Quando a câmera 3D TOF 3 é uma câmera de imagem em movimento que captura uma série de quadros de dados de imagem em 3D em momentos sucessivos, um outro critério possível para a identificação do agrupamento 6 correspondente ao usuário humano 1 poderá ser a proximidade com o agru- pamento 6, identificado como representando o usuário humano 1 em qua- dros anteriores. Desta forma, por exemplo, o sistema de reconhecimento de volume pode continuar a monitorar o usuário humano 1 primeiramente reco- nhecido durante a seqüência de inicialização, conforme descrito acima, mesmo após ele assumir uma postura menos facilmente reconhecida como humano ou mesmo depois de outras pessoas entrarem na área de monito- ramento.
Por conseguinte, será possível interagir com o dispositivo de processamento de dados 2, por exemplo, através: - da presença ou ausência de um usuário humano 1 dentro do
alcance da câmera 3D TOF 3;
- do número de agrupamentos 6 reconhecíveis como os corres- pondentes usuários humanos 1, e/ou
- da disposição geral do ambiente 4.
O usuário humano 1 será também capaz de interagir com o dis-
positivo de processamento de dados 2 através das características do agru- pamento 6 representando o usuário humano 1, como, por exemplo, através: paço; mento 6;
- da simetria de pelo menos parte do agrupamento 6;
- da distribuição de pelo menos parte do agrupamento 6 no es-
- da dispersão dos pontos 5 em pelo menos parte do agrupa-
- do centroide 7 de pelo menos parte do agrupamento 6, e/ou
- dos eixos principais de pelo menos parte do agrupamento 6.
Quando o agrupamento 6 representando o usuário humano 1 é
identificado, o agrupamento é subdividido em um conjunto de subagrupa- mentos K. Os pontos 5 do agrupamento 6 são juntados nestes subagrupa- mentos K usando um algoritmo de K-médias.
O algoritmo de K-médias começa dividindo os pontos 5 em su- bagrupamentos K iniciais. Em seguida, o algoritmo calcula o centroide 11 de cada subagrupamento inicial. O algoritmo constrói uma nova partição nos subagrupamentos K associando cada ponto 5 ao centroide 11 que está mais próximo no espaço tridimensional, embora parâmetros adicionais, tais como cor, possam ser usados. Em seguida, os centroides 11 são recalculados pa- ra novos subagrupamentos. Este processo pode ser repetido até que os pontos 5 não mais comutem os subagrupamentos, ou até que as posições dos centroides 11 se estabilizem. Na prática, bons resultados podem ser obtidos com uma única interação.
Em uma primeira modalidade, os subagrupamentos iniciais K são determinados aleatoriamente ou de acordo com certos parâmetros do agrupamento 6, tais como a altura do agrupamento 6 ou a distribuição dos pontos 5 no agrupamento 6, e K sendo um número comparativamente alto, como 150. O uso desse algoritmo de K-médias, então, resulta em um con- junto de 150 subagrupamentos, cada qual com um centroide 11, como re- presentado na figura 6a. A associação de uma esfera 12 de um raio prede- terminado a cada um dos 150 subagrupamentos, neste caso, resultará em um modelo 13 de usuário humano 1, conforme representado na figura 6b. Este modelo 13 representa o volume ocupado pelo usuário humano 1 com uma boa precisão. A figura 6c ilustra o modelo 13 representado em um ambiente virtual gerado pelo dispositivo de processamento de dados 2. O usuário hu- mano 1 pode, em seguida, interagir com os elementos 14 deste ambiente virtual através de simples verificações de colisão e/ou proximidade entre a representação das esferas 12 no ambiente virtual e os elementos 14 do am- biente virtual. Deste modo, o usuário humano 1 consegue também interagir com o dispositivo de processamento de dados 2, por exemplo, através:
- da colisão ou proximidade em um ou várias dimensões da re- presentação de pelo menos uma esfera 12 com pelo menos um elemento 14 de um ambiente virtual gerado pelo dispositivo de processamento de dados 2, em que o dito elemento 14 poderá ser pontual, mono, bi ou tridimensional;
- da colisão ou proximidade em uma ou várias dimensões da representação de pelo menos uma esfera 12 com uma representação de pelo menos um objeto real do ambiente em questão do usuário humano 1 no ambiente virtual gerado pelo dispositivo de processamento de dados 2;
- da posição e/ou movimento de um ou vários dentre os centroi- des 11 dos subagrupamentos; e/ou
- da posição, movimento e/ou forma do volume formado pelas esferas 12 associadas a pelo menos um dentre os subagrupamentos, por exemplo, os subagrupamentos cujos centroides 11 mostram um movimento substancial.
Em uma segunda modalidade, a forma do agrupamento 6 cor- respondente ao usuário humano 1 é analisada de modo a extrair as caracte- rísticas do corpo do usuário humano 1, como o centro de massa, a orienta- ção geral, a posição da cabeça, a posição e orientação dos ombros e a altu- ra. Embora várias destas características, como o centro de massa ou de ori- entação geral, possam ser calculadas a partir do ponto 5 de todo o agrupa- mento 6, os resultados podem ser exageradamente influenciados pela posi- ção dos braços 15 do usuário humano 1, conforme ilustrado na figura 8a, na qual o centroide 7 e o eixo principal 16 do agrupamento 6 representando o usuário humano 1 com o braço direito 15 estendido são representados su- perpostos ao corpo do usuário humano 1. Por esta razão, nesta modalidade em particular, os pontos 5 correspondentes aos braços 15 são identificados e descontados em primeiro lugar, de modo a permitir o cálculo do centro de massa 17 e do eixo principal 18 do tronco 19 do usuário humano 1, em que como tronco 19 entendemos o corpo inteiro do usuário 1, com exceção dos braços 15. Para este fim, são executadas as seguintes etapas de:
a) calcular o centroide 7 e o eixo principal 16 do dito agrupamento sele- cionado 6;
b) calcular a curva de distribuição 20, como representada na figura 8b, das distâncias dos pontos 5 do agrupamento selecionado 6 com rela- ção ao dito eixo principal 16;
c) calcular um ponto de inflexão 21 no dita curva de distribuição 20;
d) selecionar os pontos 5' com as distâncias em relação ao dito eixo prin- cipal 16 do agrupamento selecionado 6 inferior a D»s, em que s é a dis- tância do referido ponto de inflexão 21 para o dito eixo principal 16 do agrupamento selecionado 6, e D é um fator de, no máximo, 1,5, de pre- ferência, no máximo, 1,25; e
e) calcular o dito centro de massa 17 e o eixo principal 18 do tronco 1 co- mo o centroide ou eixo principal do conjunto de pontos selecionados 5.
Este processo pode ser realizado interativamente, porém, de modo geral, uma única passagem já poderá conseguir bons resultados.
A posição da cabeça 22 e dos ombros 23 no agrupamento 6 po- de ser identificada pelos ângulos característicos 24 formados pelo pescoço e ombros 26. A partir das posições dos dois ombros 26, a sua orientação poderá ser igualmente inferida. Na seqüência de inicialização ilustrada na figura 9, o usuário humano 1 pode ser solicitado a ficar de frente para uma tela de saída, de modo que a orientação dos ombros 26 possa ser conside- rada paralela à da tela de saída, o que proverá um valor de referência para uso posterior. Esta seqüência de inicialização, portanto, pode prover pelo menos uma referência para a orientação da tela de saída, bem como uma referência para a posição inicial do usuário humano 1 com relação à câmera 3D TOF 3. Algumas interações posteriores do usuário humano 1 com o dis- positivo de processamento de dados 2 podem se referir à posição relativa de pelo menos parte do usuário humano 1 em relação à dita posição inicial.
A altura do usuário humano 1 também é calculada utilizando a - penas os pontos selecionados 5. Para uma melhor precisão, é feita uma fil- tragem mínima dos pontos selecionados 5, e a altura do ponto mais elevado restante selecionado 5 é identificada como a altura do usuário humano 1. Esta medição de altura só será considerada válida caso seja atendido um conjunto de condições, como, por exemplo, a posição do dito eixo principal 18 do tronco 19 substancialmente vertical ou a localização do dito ponto mais alto restante selecionado 5 na, ou próxima à, região do agrupamento 26 identificado como uma representação da cabeça 22.
Se a câmera 3D TOF 3 for uma câmera de imagem em movi- mento, as medições de altura para os diversos quadros são enviadas para um modelo de mistura Gaussiano, de modo a levar em consideração o ruído possível e as baixas posições temporárias do usuário humano 1. O modelo Gaussiano com a média máxima tendo um peso suficiente proverá um valor robusto da altura do usuário humano 1.
Nesta segunda modalidade, os parâmetros obtidos a partir desta análise da forma do agrupamento 6, tal como altura, centro de massa 17 e eixo principal 18 do tronco 19, posição da cabeça 22 e posição e orientação dos ombros 26, poderão ser usados na partição do agrupamento 6 em su- bagrupamentos K mediante o uso do algoritmo K-médias. Por exemplo, um dentre os subagrupamentos iniciais K pode compreender pelo menos alguns dos pontos 5 identificados como correspondendo à cabeça 22. O agrupa- mento 6 poderá, então, ser dividido em um número de subagrupamentos K inferior, como, por exemplo, 25, que, no entanto, segue um padrão corres- pondente à estrutura de um corpo humano. Os centroides 11 dentre 25 de tais subagrupamentos são representados na figura 7a.
É, portanto, possível determinar quais subagrupamentos estão conectados, usando critérios tais como a distância absoluta entre os centroi- des 11 dos subagrupamentos, a presença dos pontos 5 entre subagrupa- mentos, etc. A finalidade de se determinar estas conexões entre subagru- pamentos é a de gerar uma rede 27 de enlaces 28 entre os centroides 11 dos subagrupamentos, conforme representados na figura 7b. A partir de tal rede 27, pode-se inferir quais subagrupamentos formam as extremidades 29, uma vez que os mesmos devem ter menos enlaces 28 a outros subagrupa- mentos.
Deste modo, o usuário humano 1 poderá interagir com o disposi-
tivo de processamento de dados 2, por exemplo, através:
- da posição e/ou movimento do centro de massa 17;
- da posição, orientação e/ou movimento do eixo principal 18;
- da posição, orientação e/ou movimento dos ombros 26; - da posição e/ou movimento da cabeça 22;
- da posição, orientação, movimento e/ou forma de uma ou di- versas extremidades 29.
Posições e movimentos absolutos como também relativos po- dem ser usados para estas interações. Por exemplo, o usuário humano 1 pode interagir com o dispositivo de processamento de dados 2 através das posição e movimentos relativos das extremidades 29 uma com relação à outra, para o eixo principal 18, os ombros 26, a cabeça 22 e/ou pelo menos um elemento 14 de um ambiente virtual gerado pelo dispositivo de proces- samento de dados 2 pode ser a fonte das interações. Como ilustrado na figura 7c, a rede 27 pode ser usada para ge-
rar uma estrutura 28 seguindo~um padrão predeterminado, como a de um corpo humano. Sendo assim, as extremidades 2 não somente são identifica- das como extremidades em geral, como também rotuladas como sendo, por exemplo, o braço direito 30 ou a perna esquerda 31 em particular. Isto au- mentará ainda mais as possibilidades de interação. Isto também permitirá a geração de um avatar volumoso 32, conforme mostrado na figura 7d, a fim de representar o usuário humano 1 em um ambiente virtual.
Todas as interações acima mencionadas pode ocorrer separa- damente ou de uma maneira combinada. É, por exemplo, igualmente possí- vel executar os processos de ambas as modalidades descritas de modo a permitir que um usuário humano 1 interaja com o dispositivo de processa- mento de dados 2 tanto através do volume ocupado por 150 esferas 12 co- mo por meio do movimento relativo de suas extremidades 2.
De maneira similar, o sistema e método de reconhecimento de volume da presente invenção poderá ser usado sozinho ou em combinação com outras interfaces de usuário adequadas para comunicação com um dis- positivo de processamento de dados 2, tais como: chave, teclado, mouse, "trackball", mesa gráfica, dispositivo sensível ao toque, tela sensível ao to- que, periféricos 6-DOF, joystick, controle para jogos, sistema de monitora- mento de movimento, dispositivo de monitoramento ocular, luva eletrônica, mouse 3D, reconhecimento de voz, sensor bioelétrico, interface neural, es- teira para exercício, bicicleta estática, máquina de remo, ou qualquer outro sensor ou interface adequada para a provisão de entrada para um dispositi- vo de processamento de dados 2.
Entre os comandos e entradas que podem ser providos para um dispositivo de processamento de dados 2 através do sistema e método de reconhecimento de volume da presente invenção, podemos citar:
- a navegação em 2D e/ou 3D, tais como a rotação, a translação, o posicionamento e/ou orientação do ponto de vista, assim como outros pa- râmetros de visão, como, por exemplo, perspectiva, alcance, cor, exposição, etc.;
- a navegação de elementos de interface, compreendendo , i.a., navegações dentro de menus, listas, opções de parâmetros, e/ou campos de entrada;
- a manipulação, compreendendo, i.a., um controle de avatar, o controle de parâmetros de objeto de aplicação, tais como posição, orienta- ção, translação; rotação, aparência, forma e/ou função e/ou controle de pa- râmetros de um sistema;
- o acionamento, como, por exemplo, a validação de, i.a., co- mandos de ação, comandos de alteração de parâmetros e/ou alteração de comandos de estado, comandos de ação e/ou comandos para alterar o es- tado de um objeto de aplicação, um parâmetro de controle e/ou outros;
- a seleção de, i.a., elementos de interface, objetos de aplicação, objetos do ambiente real, etc. - a entrada de força, por exemplo, em simulações físicas;
- o ajuste de parâmetros de saída, por exemplo, para o volume de saída, aparência dos objetos de aplicação, apresentação dos objetos de aplicação.
O dispositivo de processamento de dados 2 pode, por sua vez,
ser conectado a qualquer um dentre uma variedade de dispositivos de saída, tais como, por exemplo, aos:
- dispositivos de saída de computador, como os dispositivos de vídeo em 2D ou 3D, os alto-falantes, os fones de ouvido, as impressoras, os
dispositivos de saída hápticos, os ventiladores e/ou as caixas de luz de fun- do;
- dispositivos de saída de realidade virtual, tais como os óculos de realidade virtual, os dispositivos portáteis, os dispositivos múltiplos, como o da Cave®, os dispositivos de tela grande, como os da Reality Center®, as
telas de projeção estereoscópica, os dispositivos de retorno de força, os dis- positivos de tela em 3D, as máquinas de fumaça, e/ou os chuveiros automá- ticos ("sprinklers");
- dispositivos de automação domésticos, tais como os dispositi- vos de controle de persianas, os dispositivos de controle de calor e/ou os
dispositivos de controle de iluminação;
- dispositivos de entretenimento domésticos, tais como as TVs e/ou os tocadores de música (music systems);
- dispositivos portáteis, tais como os tocadores de música portá- teis e/ou os tocadores de vídeo, os sistemas de posicionamento, os assis-
tentes pessoais digitais, os computadores portáteis e/ou os telefones mó- veis;
- outros dispositivos conectáveis a um dispositivo de processa- mento de dados 2, tais como válvulas, esteiras para exercício, etc.
Embora a presente invenção tenha sido descrita com referência
a modalidades exemplares específicas, ficará evidente que várias modifica- ções e alterações podem ser feitas a estas modalidades, sem se afastar do escopo mais amplo da presente invenção, conforme definido nas reivindica- ções. Por conseguinte, a descrição e os desenhos devem ser considerados em um sentido ilustrativo, e não restritivo.

Claims (22)

1. Método de reconhecimento de volume, compreendendo as etapas de: a) capturar dados de imagem tridimensionais utilizando um sistema de geração de imagem em 3D (3), no qual os ditos dados de imagem re- presentam uma pluralidade de pontos (5), cada ponto (5) tendo, pe- lo menos, um conjunto de coordenadas em um espaço tridimensional, b) agrupar pelo menos alguns dos pontos (5) em um conjunto de a- grupamentos (6); e c) selecionar, de acordo com um primeiro conjunto de parâmetros, tais como posição e tamanho, um agrupamento (6) correspondente a um objeto de interesse (1) localizado no alcance do dito sistema de geração de imagem (3); - o método sendo caracterizado pelo fato de compreender ainda as etapas de: d) agrupar pelo menos alguns dos pontos (5) do agrupamento seleciona- do (6) em um conjunto de subagrupamentos de acordo com um segun- do conjunto de parâmetros, compreendendo as suas posições no es- paço tridimensional, em que cada subagrupamento tem um centroide (11) no espaço tridimensional, e e) associar um volume (12) a cada um dentre pelo menos alguns dos di- tos subagrupamentos, em que o dito volume (12) é fixado ao centroide (11) do dito subagrupamento.
2. Método de reconhecimento de volume, de acordo com a rei- vindicação 1, no qual um algoritmo de K-médias é utilizado para agrupar os ditos pontos do agrupamento selecionado (6) em um número K predetermi- nado de subagrupamentos.
3. Método de reconhecimento de volume, de acordo com qual- quer uma das reivindicações precedentes, no qual o volume (12) associado a um subagrupamento é uma esfera, de preferência centralizada no centroi- de (11) do dito subagrupamento.
4. Método de reconhecimento de volume, de acordo com qual quer uma das reivindicações precedentes, no qual o dito grupo de pontos (5) em agrupamentos (6) é feito de acordo com um método que compreende as seguintes etapas de: a) criar um primeiro agrupamento (6) constituído de um primeiro ponto (5); e b) executar as seguintes operações para cada outro ponto (5): i) encontrar o agrupamento (6) cujo centroide está mais próximo do dito outro ponto no espaço tridimensional; e ii) criar um agrupamento adicional (6) compreendendo o dito outro ponto, caso a distância absoluta no espaço tridimensional entre o dito outro ponto (5) e o dito centroide de agrupamento mais próximo (7) seja maior que um limite predeterminado Θ, e o número de agrupamentos (6) esteja ainda abaixo de um máximo q predeterminado; ou iii) adicionar o dito outro ponto (5) no agrupamento (6) cujo centroide (7) está mais próximo do dito outro ponto (5), caso a dita distância absoluta não seja maior que o limite predeterminado Θ, ou o número de agrupamen- tos (6) já tenha atingido o dito máximo q predeterminado.
5. Método de reconhecimento de volume, de acordo com a rei- vindicação 4, no qual o dito grupo de pontos (5) em agrupamentos (6) com- preende ainda as etapas de: a) determinar se dois dos referidos agrupamentos (6) estão conecta- dos; e b) unir os agrupamentos conectados (6).
6. Método de reconhecimento de volume, de acordo com a rei- vindicação 5, no qual a etapa de determinar se dois dos ditos agrupamentos (6) estão conectados compreende as etapas de: a) calcular o desvio-padrão da distribuição das projeções dos pontos (5) em cada um dos ditos agrupamentos (6) ao longo de um eixo (8) que liga os centroides (7) dos dois agrupamentos (6); e b) verificar se a soma dos desvios-padrão multiplicados por um fator S predeterminado, por exemplo 2, é maior do que a distância absoluta entre os centroides (7) dos dois agrupamentos (6).
7. Método de reconhecimento de volume, de acordo com qual- quer uma das reivindicações precedentes, no qual o dito sistema de geração de imagem (3) compreende uma câmera 3D de tempo de voo, uma câmera estéreo, uma pluralidade de câmeras localizadas em diferentes posições no espaço tridimensional, ou um sistema LIDAR, sonar ou de radar.
8. Método de reconhecimento de volume, de acordo com qual- quer uma das reivindicações precedentes, no qual os ditos dados de ima- gem compreendem pelo menos ângulos de profundidade, zenital e azimutal de cada ponto (5), e compreendendo ainda uma etapa de transformar os ângulos de profundidade, zenital e azimutal de, pelo menos, alguns destes pontos (5) em três coordenadas cartesianas tridimensionais.
9. Método de reconhecimento de volume, de acordo com qual- quer uma das reivindicações precedentes, em que o dito objeto de interesse (1) é pelo menos parte de um corpo humano, de preferência em pé.
10. Método de reconhecimento de volume, de acordo com a rei- vindicação 9, compreendendo ainda a etapa de calcular o centro aproximado de massa (17) e o eixo principal (18) do tronco (19) do dito corpo.
11. Método de reconhecimento de volume, de acordo com a rei- vindicação 10, no qual o dito centro de massa aproximado (17) e o eixo prin- cipal (18) do tronco (19) são calculados mediante a execução das seguintes etapas de:- a) calcular o centroide (7) e o eixo principal (16) do dito agrupamento se- lecionado (6); b) calcular a curva de distribuição (20) das distâncias dos pontos (5) do agrupamento selecionado (6) em relação ao dito eixo principal (16) do agrupamento selecionado (6); c) calcular um ponto de inflexão (21) na dita curva de distribuição (20); d) selecionar os pontos (5) com as distâncias em relação ao dito eixo principal (16) do agrupamento selecionado (6) inferior a D*s, em que s é a distância do dito ponto de inflexão (21) para o dito eixo principal (16) do agrupamento selecionado (6) e D é um fator de no máximo 1,25, de preferência, no máximo, 1; e e) calcular o dito centro de massa (17) e o eixo principal (18) do tronco (19) como o centroide e/ou eixo principal dos pontos selecionados (5).
12. Método de reconhecimento de volume, de acordo com a rei- vindicação 10 ou 11, no qual os sinais são transmitidos para um sistema de processamento de dados (2) de acordo com a posição do centro de massa (17) do dito tronco (19) e/ou seu eixo principal (18) e/ou de acordo com a orientação do dito eixo principal (18) do dito tronco (1).
13. Método de reconhecimento de volume, de acordo com qual- quer uma das reivindicações 10 a 12, compreendendo ainda a etapa de me- dir a altura do corpo.
14. Método de reconhecimento de volume, de acordo com a rei- vindicação 13, no qual a dita altura do corpo é medida ao se calcular as altu- ras dos pontos (5) entre os do dito agrupamento selecionado (6) mais próxi- mos do que uma distância predeterminada ao eixo principal (18) do tronco (19), filtrar as ditas alturas, de preferência por meio de uma filtragem da me- diana, e selecionar o valor máximo das ditas alturas após filtragem.
15. Método de reconhecimento de volume, de acordo com a rei- vindicação 14, no qual a dita medição da altura do corpo só é considerada válida se um conjunto de condições for atendido, como, por exemplo, a con- dição substancialmente vertical do dito eixo principal (18) do tronco (19).
16. Método de reconhecimento de volume, de acordo com qual- quer uma das reivindicações precedentes, no qual os volumes (12) associa- dos ao dito conjunto de subagrupamentos são representados em um ambi- ente virtual gerado por um sistema de processamento de dados (2).
17. Método de reconhecimento de volume, de acordo com a rei- vindicação 16, no qual há uma verificação de colisão e/ou proximidade entre a representação dos volumes (12) do dito conjunto de subagrupamentos e um conjunto de elementos (14) do dito ambiente virtual, de modo a interagir com o dito conjunto de elementos (14) do ambiente virtual.
18. Método de reconhecimento de volume, de acordo com qual- quer uma das reivindicações precedentes, no qual um conjunto de ligações (28) entre os subagrupamentos é estabelecido através de critérios, como a distância absoluta entre os centroides (11) dos subagrupamentos, a presen- ça de pontos (5) entre os subagrupamentos, etc.
19. Método de reconhecimento de volume, de acordo com a rei- vindicação 18, no qual um conjunto de extremidades (29) do dito objeto de interesse (1) é identificado de acordo com as ditas ligações (28).
20. Método de reconhecimento de volume, de acordo com a rei- vindicação 19, no qual pelo menos uma das ditas extremidades (29) é rotu- lada de acordo com um padrão predeterminado, por exemplo, o de um corpo humano.
21. Método de reconhecimento de volume, de acordo com a rei- vindicações 19 ou 20, no qual sinais são transmitidos a um sistema de pro- cessamento de dados (2) de acordo com uma posição absoluta e/ou relativa e/ou movimento de pelo menos uma das ditas extremidades (29).
22. Sistema de reconhecimento de volume, compreendendo um sistema de geração de imagem (3) para a captura de dados de imagem tri- dimensionais que representam uma pluralidade de pontos (5), cada ponto (5) tendo, pelo menos, um conjunto de coordenadas em um espaço tridimensio- nal, e pelo menos alguns dos ditos pontos (5) correspondendo a um objeto de interesse (1) localizado no alcance do dito sistema de geração de ima- gem (3), e um sistema de processamento de dados (2) conectado ao dito sistema de geração de imagem (3) e programado para executar, em coope- ração com o dito sistema de geração de imagem (3), um método de reco- nhecimento de volume como definido em qualquer uma das reivindicações precedentes.
BRPI0721562-2A 2007-04-20 2007-04-20 mÉtodo e sistema de reconhecimento de volume BRPI0721562A2 (pt)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2007/053895 WO2008128568A1 (en) 2007-04-20 2007-04-20 Volume recognition method and system

Publications (1)

Publication Number Publication Date
BRPI0721562A2 true BRPI0721562A2 (pt) 2013-01-22

Family

ID=38862109

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI0721562-2A BRPI0721562A2 (pt) 2007-04-20 2007-04-20 mÉtodo e sistema de reconhecimento de volume

Country Status (13)

Country Link
US (1) US8175374B2 (pt)
EP (1) EP2095296B1 (pt)
JP (1) JP5255623B2 (pt)
KR (1) KR101184170B1 (pt)
CN (1) CN101715581B (pt)
AU (1) AU2007351713B2 (pt)
BR (1) BRPI0721562A2 (pt)
CA (1) CA2684523A1 (pt)
HK (1) HK1143229A1 (pt)
IL (1) IL201499A (pt)
MX (1) MX2009011251A (pt)
NO (1) NO20093390L (pt)
WO (1) WO2008128568A1 (pt)

Families Citing this family (93)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5085573B2 (ja) * 2009-01-13 2012-11-28 新日本製鐵株式会社 欠陥検査方法および欠陥検査装置
US8295546B2 (en) 2009-01-30 2012-10-23 Microsoft Corporation Pose tracking pipeline
US8517834B2 (en) * 2009-02-17 2013-08-27 Softkinetic Studios Sa Computer videogame system with body position detector that requires user to assume various body positions
US8565479B2 (en) 2009-08-13 2013-10-22 Primesense Ltd. Extraction of skeletons from 3D maps
US8564534B2 (en) 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US7961910B2 (en) 2009-10-07 2011-06-14 Microsoft Corporation Systems and methods for tracking a model
US8963829B2 (en) * 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
KR101651568B1 (ko) * 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
GB2475104A (en) * 2009-11-09 2011-05-11 Alpha Vision Design Res Ltd Detecting movement of 3D objects using a TOF camera
CN102103696A (zh) * 2009-12-21 2011-06-22 鸿富锦精密工业(深圳)有限公司 人脸辨识系统、方法及具有该系统的身份识别装置
EP2339507B1 (en) 2009-12-28 2013-07-17 Softkinetic Software Head detection and localisation method
EP2357608B1 (en) 2009-12-28 2012-11-21 Softkinetic Software Tracking method
EP2357605B1 (en) 2009-12-28 2013-01-16 Softkinetic Software Stabilisation method and computer system
US8787663B2 (en) 2010-03-01 2014-07-22 Primesense Ltd. Tracking body parts by combined color image and depth processing
US8396252B2 (en) * 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US8594425B2 (en) 2010-05-31 2013-11-26 Primesense Ltd. Analysis of three-dimensional scenes
US8933886B2 (en) 2010-06-17 2015-01-13 Panasonic Intellectual Property Corporation Of America Instruction input device, instruction input method, program, recording medium, and integrated circuit
US8296151B2 (en) 2010-06-18 2012-10-23 Microsoft Corporation Compound gesture-speech commands
US8928659B2 (en) * 2010-06-23 2015-01-06 Microsoft Corporation Telepresence systems with viewer perspective adjustment
US8381976B2 (en) * 2010-08-10 2013-02-26 Honeywell International Inc. System and method for object metrology
US8582867B2 (en) 2010-09-16 2013-11-12 Primesense Ltd Learning-based pose estimation from depth maps
US9304592B2 (en) 2010-11-12 2016-04-05 At&T Intellectual Property I, L.P. Electronic device control based on gestures
JP5711962B2 (ja) * 2010-12-27 2015-05-07 株式会社ソニー・コンピュータエンタテインメント ジェスチャ操作入力処理装置およびジェスチャ操作入力処理方法
EP2474950B1 (en) * 2011-01-05 2013-08-21 Softkinetic Software Natural gesture based user interface methods and systems
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US8942917B2 (en) 2011-02-14 2015-01-27 Microsoft Corporation Change invariant scene recognition by an agent
MY163422A (en) * 2011-03-02 2017-09-15 Genscape Intangible Holding Inc Method and system for determining an amount of a liquid energy commodity in storage in an underground cavern
DE102011102038A1 (de) 2011-05-19 2012-11-22 Rwe Effizienz Gmbh Heimautomatisierungssteuerungssystem sowie Verfahren zum Steuern einer Einrichtung eines Heimautomatisierungssteuerungssystems
KR101554241B1 (ko) * 2011-06-24 2015-09-18 소프트키네틱 소프트웨어 3차원 이미지에서의 결함성 픽셀 깊이 데이터 값의 깊이 맵 품질 향상을 위한 방법
US8885882B1 (en) 2011-07-14 2014-11-11 The Research Foundation For The State University Of New York Real time eye tracking for human computer interaction
US9002099B2 (en) 2011-09-11 2015-04-07 Apple Inc. Learning-based estimation of hand and finger pose
US8913821B1 (en) * 2011-09-26 2014-12-16 Google Inc. Preconditioner for solving linear equations for reconstructing three-dimensional structure of a scene
US8811938B2 (en) 2011-12-16 2014-08-19 Microsoft Corporation Providing a user interface experience based on inferred vehicle state
KR101901588B1 (ko) * 2012-01-02 2018-09-28 삼성전자주식회사 물체 인식 방법과, 물체 인식을 위한 기술자 생성 방법, 물체 인식을 위한 기술자 생성 장치
US9047507B2 (en) 2012-05-02 2015-06-02 Apple Inc. Upper-body skeleton extraction from depth maps
EP2674913B1 (en) * 2012-06-14 2014-07-23 Softkinetic Software Three-dimensional object modelling fitting & tracking.
KR101387892B1 (ko) * 2012-06-29 2014-04-21 인텔렉추얼디스커버리 주식회사 온도 정보를 사용한 동작 인식 장치 및 방법
CN103577789B (zh) * 2012-07-26 2018-02-13 中兴通讯股份有限公司 检测方法和装置
JP5934070B2 (ja) * 2012-09-26 2016-06-15 富士フイルム株式会社 仮想内視鏡画像生成装置およびその作動方法並びにプログラム
US9019267B2 (en) 2012-10-30 2015-04-28 Apple Inc. Depth mapping with enhanced resolution
DE102012110460A1 (de) * 2012-10-31 2014-04-30 Audi Ag Verfahren zum Eingeben eines Steuerbefehls für eine Komponente eines Kraftwagens
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9709990B2 (en) * 2012-12-21 2017-07-18 Toyota Jidosha Kabushiki Kaisha Autonomous navigation through obstacles
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US20140267611A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Runtime engine for analyzing user motion in 3d images
US9633483B1 (en) * 2014-03-27 2017-04-25 Hrl Laboratories, Llc System for filtering, segmenting and recognizing objects in unconstrained environments
US9098754B1 (en) * 2014-04-25 2015-08-04 Google Inc. Methods and systems for object detection using laser point clouds
DE102014107683B3 (de) * 2014-06-02 2015-10-01 Insta Elektro Gmbh Verfahren zum Betreiben einer Gebäudeinstallation mit einem Situationswächter sowie Gebäudeinstallation mit einem Situationswächter
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10311638B2 (en) * 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9921660B2 (en) 2014-08-07 2018-03-20 Google Llc Radar-based gesture recognition
US9811164B2 (en) 2014-08-07 2017-11-07 Google Inc. Radar-based gesture sensing and data transmission
US9588625B2 (en) 2014-08-15 2017-03-07 Google Inc. Interactive textiles
US10268321B2 (en) 2014-08-15 2019-04-23 Google Llc Interactive textiles within hard objects
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US20160178991A1 (en) * 2014-12-22 2016-06-23 Google Inc. Smart illumination time of flight system and method
US10207185B2 (en) * 2015-03-07 2019-02-19 Sony Interactive Entertainment America Llc Using connection quality history to optimize user experience
JP6053845B2 (ja) * 2015-03-09 2016-12-27 株式会社ソニー・インタラクティブエンタテインメント ジェスチャ操作入力処理装置、3次元ディスプレイ装置およびジェスチャ操作入力処理方法
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
US10282177B2 (en) * 2015-03-24 2019-05-07 Vmware, Inc. Application user interface overlays for application lifecycle management
US9983747B2 (en) 2015-03-26 2018-05-29 Google Llc Two-layer interactive textiles
JP6427279B2 (ja) 2015-04-30 2018-11-21 グーグル エルエルシー ジェスチャの追跡および認識のための、rfに基づいた微細動作追跡
CN107430443B (zh) 2015-04-30 2020-07-10 谷歌有限责任公司 基于宽场雷达的手势识别
KR102011992B1 (ko) 2015-04-30 2019-08-19 구글 엘엘씨 타입-애그노스틱 rf 신호 표현들
CN104778718B (zh) * 2015-05-07 2017-11-21 西安电子科技大学 基于3d模型的单幅图像卡车体积测量方法
US9693592B2 (en) 2015-05-27 2017-07-04 Google Inc. Attaching electronic components to interactive textiles
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
JP6691743B2 (ja) * 2015-06-08 2020-05-13 シャープ株式会社 自律走行装置
US10074191B1 (en) 2015-07-05 2018-09-11 Cognex Corporation System and method for determination of object volume with multiple three-dimensional sensors
US9922244B2 (en) * 2015-09-03 2018-03-20 Gestigon Gmbh Fast and robust identification of extremities of an object within a scene
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
EP3371855A1 (en) 2015-11-04 2018-09-12 Google LLC Connectors for connecting electronics embedded in garments to external devices
US10043279B1 (en) 2015-12-07 2018-08-07 Apple Inc. Robust detection and classification of body parts in a depth map
US10902560B2 (en) 2016-03-31 2021-01-26 Sony Depthsensing Solutions Sa/Nv Or relating to filters
US10262222B2 (en) 2016-04-13 2019-04-16 Sick Inc. Method and system for measuring dimensions of a target object
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10175781B2 (en) 2016-05-16 2019-01-08 Google Llc Interactive object with multiple electronics modules
CN107583276B (zh) * 2016-07-07 2020-01-24 苏州狗尾草智能科技有限公司 游戏参数控制方法、装置及游戏控制方法、装置
US10366278B2 (en) 2016-09-20 2019-07-30 Apple Inc. Curvature-based face detector
US10579150B2 (en) 2016-12-05 2020-03-03 Google Llc Concurrent detection of absolute distance and relative movement for sensing action gestures
US10677905B2 (en) * 2017-09-26 2020-06-09 Infineon Technologies Ag System and method for occupancy detection using a millimeter-wave radar sensor
US10842412B2 (en) 2017-10-31 2020-11-24 Pixa4 Llc Systems and methods to estimate human length
CN108280443A (zh) * 2018-02-23 2018-07-13 深圳市唯特视科技有限公司 一种基于深特征提取异步融合网络的动作识别方法
JP2022071750A (ja) * 2020-10-28 2022-05-16 京セラ株式会社 電子機器、電子機器の制御方法、及びプログラム
US11967149B2 (en) * 2021-06-09 2024-04-23 International Business Machines Corporation Increasing capabilities of wearable devices using big data and video feed analysis

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282459A (ja) 1992-04-02 1993-10-29 Mitsubishi Electric Corp カラー画像の限定色表示装置
US6072494A (en) 1997-10-15 2000-06-06 Electric Planet, Inc. Method and apparatus for real-time gesture recognition
AU1916100A (en) 1998-11-17 2000-06-05 Holoplex, Inc. Stereo-vision for gesture recognition
JP2001160077A (ja) * 1999-12-02 2001-06-12 Osaka Gas Co Ltd 行動シミュレーション装置及び空間評価装置
US6771818B1 (en) * 2000-04-04 2004-08-03 Microsoft Corporation System and process for identifying and locating people or objects in a scene by selectively clustering three-dimensional regions
JP4112819B2 (ja) 2000-05-11 2008-07-02 株式会社東芝 物体領域情報生成装置及び物体領域情報記述プログラム
US6961443B2 (en) 2000-06-15 2005-11-01 Automotive Systems Laboratory, Inc. Occupant sensor
US7227526B2 (en) * 2000-07-24 2007-06-05 Gesturetek, Inc. Video-based image control system
JP2002352200A (ja) 2001-05-29 2002-12-06 Dainippon Printing Co Ltd Rfidタグ交信用の手袋
US7274800B2 (en) 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
WO2003071410A2 (en) 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US20040193313A1 (en) 2003-01-14 2004-09-30 Benoit Cornet Kiosk system
JP4445763B2 (ja) * 2004-01-30 2010-04-07 セコム株式会社 画像生成装置及び侵入者監視装置
KR100553712B1 (ko) 2004-05-04 2006-02-24 삼성전자주식회사 리세스 채널을 가지는 선택 트랜지스터가 구비된 비휘발성메모리 소자 및 그 제조방법
JP4692159B2 (ja) * 2004-08-31 2011-06-01 パナソニック電工株式会社 ジェスチャースイッチ
US7646902B2 (en) * 2005-02-08 2010-01-12 Regents Of The University Of Michigan Computerized detection of breast cancer on digital tomosynthesis mammograms
US8009871B2 (en) * 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
US7317836B2 (en) 2005-03-17 2008-01-08 Honda Motor Co., Ltd. Pose estimation based on critical point analysis

Also Published As

Publication number Publication date
MX2009011251A (es) 2009-12-14
IL201499A0 (en) 2010-05-31
EP2095296B1 (en) 2014-01-01
CN101715581A (zh) 2010-05-26
AU2007351713A1 (en) 2008-10-30
US20100208035A1 (en) 2010-08-19
KR20100017212A (ko) 2010-02-16
US8175374B2 (en) 2012-05-08
KR101184170B1 (ko) 2012-09-19
AU2007351713B2 (en) 2011-11-17
CN101715581B (zh) 2014-07-23
NO20093390L (no) 2010-01-20
IL201499A (en) 2013-12-31
CA2684523A1 (en) 2008-10-30
EP2095296A1 (en) 2009-09-02
JP5255623B2 (ja) 2013-08-07
HK1143229A1 (en) 2010-12-24
JP2010525432A (ja) 2010-07-22
WO2008128568A1 (en) 2008-10-30

Similar Documents

Publication Publication Date Title
BRPI0721562A2 (pt) mÉtodo e sistema de reconhecimento de volume
Shum et al. Real-time posture reconstruction for microsoft kinect
US8395620B2 (en) Method and system for tracking of a subject
US8613666B2 (en) User selection and navigation based on looped motions
JP2021514512A (ja) 動作の識別および動作情報を用いた規範的な分析の生成
CN105229666A (zh) 3d图像中的运动分析
CN102222431A (zh) 基于机器的手语翻译器
Huang et al. Designing an exergaming system for exercise bikes using kinect sensors and Google Earth
TWI413018B (zh) 體積識別方法及系統
Oshita et al. Character motion synthesis by principal component analysis and motion control interface by hands
Gieser et al. Pot hunter: A virtual reality game for analyzing range of motion
Ma et al. Kinect based character navigation in VR Game
Thi Kinect based character navigation in VR Game
Floyd et al. Implementation of vision-based object tracking algorithms for motor skill assessments

Legal Events

Date Code Title Description
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B11B Dismissal acc. art. 36, par 1 of ipl - no reply within 90 days to fullfil the necessary requirements