BRPI1102041A2 - Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais - Google Patents

Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais Download PDF

Info

Publication number
BRPI1102041A2
BRPI1102041A2 BRPI1102041-5A BRPI1102041A BRPI1102041A2 BR PI1102041 A2 BRPI1102041 A2 BR PI1102041A2 BR PI1102041 A BRPI1102041 A BR PI1102041A BR PI1102041 A2 BRPI1102041 A2 BR PI1102041A2
Authority
BR
Brazil
Prior art keywords
food
digital cameras
devices equipped
automatic method
cameras according
Prior art date
Application number
BRPI1102041-5A
Other languages
English (en)
Inventor
Luciano Rebouças De Oliveira
Eduardo Manuel De Freitas Jorge
Alberto Almeida De Filho Azevedo
Victor Franco Costa
Gustavo De Almeida Neves
Talmai Brandão De Oliveira
Geovane Dos Santos Anunciação
Eduardo Telmo Fonseca Santos
Original Assignee
Samsung Eletrônica Da Amazônia Ltda
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Eletrônica Da Amazônia Ltda filed Critical Samsung Eletrônica Da Amazônia Ltda
Publication of BRPI1102041A2 publication Critical patent/BRPI1102041A2/pt
Publication of BRPI1102041B1 publication Critical patent/BRPI1102041B1/pt

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/187Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais. A presente invenção refere-se a um método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais. Através do presente sistema, é possível identificar um cardápio previamente estabelecido de alimentos. Para tanto, um método semi-automático de segmentação é aplicado para delinear as regiões onde se encontram cada tipo de alimento em uma imagem de um prato de comida, capturada por um usuário. São utilizadas técnicas de reconhecimento de padrões em imagens, integradas em um sistema cujo objetivo é rotular cada tipo de alimento contido na foto de um prato de comida. Nenhum tipo de pré-processamento é realizado para corrigir falhas na captura da imagem, apenas utilizando-se do componente de auto-focus presente no dispositivo portátil para a captura de uma imagem nítida.

Description

Relatório Descritivo da Patente de Invenção para: "MÉTODO AUTOMÁTICO PARA RECONHECIMENTO DE COMIDA POR MEIO DE DISPOSITIVOS PORTÁTEIS EQUIPADOS COM CÂMERAS DIGITAIS".
Campo da Invenção A presente invenção refere-se a um método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais.
Através do presente sistema, é possivel identificar um cardápio previamente estabelecido de alimentos. Para tanto, um método semi-automático de segmentação é aplicado para delinear as regiões onde se encontram cada tipo de alimento em uma imagem de um prato de comida, capturada por um usuário. São utilizadas técnicas de reconhecimento de padrões em imagens, integradas em um sistema cujo objetivo é rotular cada tipo de alimento contido na foto de um prato de comida. Nenhum tipo de pré-processamento é realizado para corrigir falhas na captura da imagem, apenas utilizando-se do componente de auto-focus presente no dispositivo portátil para a captura de uma imagem nitida. Antecedentes da Invenção O reconhecimento de comida é um campo de pesquisa relativamente recente, onde se utiliza técnicas de reconhecimento de padrões visuais a fim de identificar alimentos em uma foto de um prato de comida.
No problema de reconhecimento de comidas, o grande desafio é poder segmentar e identificar os diversos alimentos no prato considerando questões ambientais como iluminação variável, grande variabilidade de padrões mesmo dentro de uma classe de alimentos (por exemplo: feijão verde, vermelho, preto; carne assada, com diferentes molhos por cima, cozida, etc) e possiveis misturas. Mesmo utilizando métodos conhecidos de segmentação de imagem e classificação de padrões, torna-se ainda dificil obter uma alta identificação de objetos quando os problemas citados estão presentes. 0 documento intitulado: "Food Recognition Using Statistics of Palrwise Local Features", de a Yang et al, publicado em IEEE Intl. Conference on Computer Vision and Pattern Recognition, publicado em 13 de junho 2010, utiliza um conjunto de dados do documento intitulado: "PFID: Pittsburgh Fast-Food Image data sets", Intl. Conference on Image Processing, publicado em 10 de novembro 2009, de Chen et al, para avaliar a qualidade de seu sistema de reconhecimento de comidas. Vale ressaltar que os conjuntos de dados de imagens de comidas são eminentemente de lanches rápidos, tornando-se mais fácil de serem reconhecidos já que pertencem a classes com padrões mais estruturados, por exemplo, sanduíches, batata fritas, etc. O documento de patente US 2003/0076983, intitulado: Personal Food Analyzer, publicado em 24 de abril de 2003, propõe um sistema de identificação de alimentos em imagem. 0 referido documento de patente utiliza-se de um sistema de luzes montada em diferentes ângulos no dispositivo portátil onde se encontra o sistema de reconhecimento de comidas. A partir de uma câmera central, com as luzes em suas extremidades, duas imagens iluminadas por cada uma das duas fontes de luz são sequencialmente capturadas. Com as duas imagens, as comidas são identificadas, seus volumes estimados e suas calorias obtidas a partir de um banco de dados de informações nutricionais de alimentos pré-cadastrados. As duas imagens sequenciais são utilizadas para segmentar as comidas e estimar o volume de cada alimento a partir do contorno de suas sombras. Logo após, apenas a primeira imagem é enviada para o identificador de comida, composto por uma árvore de comidas de referência. A árvore de referência é utilizada para a estimação do tipo de comida a partir de características similares de cor, forma e tamanho. A partir da descrição do referido documento de patente, observa-se que o método de identificação de comida não é robusto a variações de alimentos (e mesmo, iluminação) , uma vez que espera que os alimentos tenham cores, formas e tamanhos estimados previamente, não sendo adaptativo. Além disso, a decisão automática por um prato de comida pode levar a erros grosseiros, não permitindo ao usuário alterar o tipo de alimento, caso seja erroneamente identificado. Nada é relatado ainda sobre o método automático para segmentar os alimentos na imagem do prato de comida, nem detalhes do método de identificação de comida. O documento de patente 2010/0173269, publicado em 08 de julho de 2010, utiliza-se de padrões de voz e visual para identificar alimentos em uma foto de comida. Diante de uma foto de comida tirada pelo usuário, este último apresenta uma descrição de cada item do prato e, juntamente com padrões visuais, os módulos de reconhecimento de voz e reconhecimento de imagem identificam cada alimento na imagem. A etapa de reconhecimento de voz pode tanto auxiliar a identificação quanto acrescentar problemas para esta. No que diz respeito ao método proposto no referido documento para o reconhecimento de padrões visuais, este utiliza-se também de características de cores e texturas, sendo classificadas por máquinas de vetores de suporte. As cores dos alimentos são caracterizadas dentro do espaço de cor CIE L*a*b* e para as texturas são utilizados os histogramas de gradientes orientados. Sabe-se que a caracterização de um objeto apenas por características básicas, mesmo sendo a concatenação de duas ou mais características, é insuficiente para determinar a grande variação de padrões dos alimentos em uma imagem, e por isso são esperadas limitações na identificação. A integração com o reconhecimento de voz através da identificação de uma lista de características dos alimentos na foto do prato deve, portanto, desambiguar uma série de limitações dos métodos visuais propostos. O documento de patente US 2010/0111383, publicado em 06 de maio de 2010, propõe um sistema para registro de calorias ingeridas a partir de um reconhecimento automático de fotos de comidas tiradas através da câmera de um dispositivo portátil. A foto de um prato de comida é tirada antes e depois de comer, para o cálculo de quantidade de comida ingerida. O aplicativo proposto provê várias formas de se fazer o registro, desde manualmente na foto de comida capturada até automaticamente a partir de sugestões de listas de comidas para cada segmento de imagem reconhecido. O reconhecedor automático apresentado no referido documento é executado em um computador, obrigando o dispositivo portátil a estar conectado via rede a este servidor de aplicativo. Dessa forma, após a foto ser capturada, esta é enviada ao servidor, onde um sistema idealizado de reconhecimento de padrões é executado para segmentar cada tipo de alimento. A obrigatoriedade de estar conectado a uma rede de computadores torna a utilização do método proposto pelo referido documento US 2010/0111383 limitado a locais com acesso à rede e à existência em um computador da rede do aplicativo de reconhecimento. Além disso, a utilização de filtros de Gabor completos torna também o custo computacional alto para a resposta às imagens de entrada, o que pode aborrecer a maioria dos usuários de dispositivos portáteis. Adicionalmente, a segmentação utilizada baseada em métodos de limiar torna a aplicação não adaptativa a todos os tipos de problemas de iluminação.
Portanto, para tratar estes problemas, a presente invenção fornece um método de reconhecimento de comidas por meio de extratores de características baseados em cores e texturas. Os primeiros, utilizam-se dos espaços de cor CIE L*a*b*, HSV e RGB com o objetivo de representar as cores dos alimentos de forma mais invariante possível aos diversos tipos de iluminações do ambiente. Com a concatenação de características robustas de texturas utilizando-se diferença de gaussianas e coeficiente de variação espacial, foi possível obter múltiplos espaços de hipóteses os quais são classificados por classificadores robustos baseados em máquinas de vetores de suporte (MVS) com kernel do tipo função de base radial. Por meio de múltiplas hipóteses de classificação, obteve-se, portanto, um método capaz de lidar com os problemas citados anteriormente.
Apesar dos avanços tecnológicos, os dispositivos portáteis ainda possuem hardware com recursos relativamente limitados para executar algoritmos que efetuam cálculos avançados. Para tratar estas limitações, a presente invenção aplicou técnicas de execução paralela com objetivo de diminuir o custo computacional, possibilitando uma redução no tempo de decodificação e minimizando o uso processador do dispositivo portátil. Estas técnicas também proporcionaram um aumento na robustez do identificador de alimentos, pois foi possível utilizar métodos mais robustos sem o aumento do custo computacional, além de permitir a identificação em tempo hábil.
Para evitar que a imagem do prato seja capturada de forma distorcida ou sem foco, o auto-focus do equipamento é acionado, evitando tal problema. A fim de se aumentar a robustez da identificação do objeto e da sua correspondente segmentação na imagem, utilizou-se uma integração entre o método de segmentação e o de identificação de modo que os dois funcionem de modo a auxiliar um ao outro. O método de segmentação atua em três espaços de cores distintos e robustos em determinadas condições da imagem. Em seguida, características de cor e textura são extraídas para cada segmento-hipótese estabelecido pelo método segmentador, e uma probabilidade de ser uma lista de alimentos é elencada para cada dado segmento. Um reclassificador baseado em contextos previamente enumerados é utilizado para reclassificar a lista fornecida pelo classificador de padrões. A escolha do segmento e da lista de maiores hipóteses de alimentos é finalmente fornecida para o usuário final, para que este possa reafirmar a maior hipótese da lista ou simplesmente escolher um alimento que melhor identifique a imagem no prato. Com isto, são tratados os problemas de variação de um mesmo padrão na imagem por causa de diferentes ambientes de iluminação onde as fotos serão tiradas. O volume de cada alimento no prato é estimado pela aproximação de sua área. Ao final, a relação calórica entre volume e tipo de alimento é obtida através de uma tabela pré-cadastrada de valores.
Breve descrição das figuras Os objetos e as vantagens da presente invenção tornar-se-ão mais evidentes a partir da descrição detalhada a seguir de um exemplo de concretização da invenção e desenhos anexos a titulo de exemplo não-limitativo, em que: A Figura 1 representa a arquitetura de hardware do método de reconhecimento de comidas. A Figura 2 mostra o fluxo de execução do método em um dispositivo portátil. A Figura 3 ilustra a arquitetura de um dispositivo portátil. A Figura 4 ilustra a estrutura de recortes dentro de um segmento.
Descrição das concretizações preferidas da invenção 0 método da presente invenção segmenta cada alimento em uma imagem de prato de comida, identificando estes alimentos segmentados a partir de um cardápio pré-estabelecido. O método é executado em um dispositivo portátil equipado com câmera digital, e com isto foi projetado um equipamento de utilidade humana para identificação e registro de alimentos e suas calorias ao longo de um período. Em uma concretização preferida da invenção, o método segmenta e identifica alimentos em uma imagem de topo de um prato de comida, executado em um espaço tempo pequeno. A presente invenção possibilita que um dispositivo portátil equipado com câmera digital identifique alimentos.
Para isto, foram desenvolvidos métodos para segmentar e identificar os alimentos no prato de comida. O hardware necessário é um dispositivo portátil, em que as suas principais características são ilustradas na figura 1. A CPU (110) (Unidade Central de Processamento) é responsável por executar as instruções necessárias pelo gerenciamento da câmera, além de fazer os cálculos computacionais para o processamento da imagem com o código de barras, a câmera (111) captura as imagens e deve possuir um foco suficiente para que a imagem capturada mantenha sua nitidez e, ainda, de acordo com a concretização preferencial da invenção, possuir auto-focus. 0 meio de armazenamento (112) serve para guardar informações e dados, inclusive os código decodificados, produtos consultados, entre outros. O hardware também é composto por dispositivos de entrada de informação (113) e componentes de áudio (114). Através de algum componente de conectividade (115) é possível fazer a comunicação entre a aplicação e uma base de dados remota que possui informações sobre os produtos. O meio de exibição (116) é utilizado para visualizar as imagens capturadas pela câmera do dispositivo.
Quando o usuário executa o aplicativo a partir de um dispositivo portátil, com uma arquitetura semelhante ao da figura 1, no qual o aplicativo foi previamente instalado.
Vantagens Técnicas/Funcionais Da Invenção Baixo custo computacional: buscando aperfeiçoar o método de identificação de alimentos, foram utilizadas práticas de programação que otimizam a execução das instruções computacionais, como por exemplo, usar ponto fixo ao invés de ponto flutuante, utilizar manipulação de bits para realizar algumas operações, usar o mínimo de instruções possíveis para varrer ou copiar os pixels de uma imagem, aproximar as distâncias Euclidianas a valores inteiros em módulo e utilizar buffer de características do objeto na imagem.
Identificação do alimento de forma eficaz: A identificação dos alimentos é realizada de forma eficaz, uma vez que obtém sucesso na maioria das tentativas de identificação de alimentos separados no prato, sendo possível realizar a identificação inclusive em ambientes com diferentes iluminações.
Utilização de programação concorrente: Foram utilizadas técnicas robustas e ágeis de computação concorrente e comunicação entre processos, fazendo com que o sistema exiba os resultados logo após a escolha do centro dos alimentos na imagem. Com a utilização desta técnica é possível realizar todo processo de identificação dos alimentos sem prejudicar a taxa de exibição do preview da câmera.
Segmentação semi-autonática: é conhecido que os métodos de segmentação totalmente automática são ainda ineficientes para a aplicação em imagens obtidas em diferentes situações de iluminação. Dessa forma, foi adotado um método semi-automático para segmentar os objetos na foto do prato. Para isso, o usuário deve escolher os centros da imagem de cada alimento, e em seguida um método baseado em crescimento de região é aplicado. Dessa forma, foi possivel obter resultados robustos na segmentação a partir do controle do usuário.
Novo método de integração entre a segmentação e a identificação a partir de múltiplas hipóteses: na presente invenção um método baseado na integração entre a segmentação e a identificação através de múltiplas hipóteses é proposto. Para tanto, um método de segmentação baseado em crescimento de região é aplicado sobre três espaços de cores distintos e robustos a diferentes tipos de situações na imagem (HSV, L*a*b* e RGB) . Em seguida, um classificador baseado em máquina de vetor de suporte (MVS) com kernel de função de base radial, com parâmetros ótimos obtidos através de um método de validação cruzada, é utilizado sobre cada hipótese de segmentação. Para cada segmento, vários recortes quadrados de tamanho fixo são extraídos. Para cada recorte, são extraídas características de cor, textura e forma. Tais características são utilizadas na entrada das MVS para a referida identificação do segmento contendo um alimento, conforme será detalhado a seguir.
Mira para tirar foto do prato: foi criada uma mira circular desenhada na imagem de preview da foto do prato. Com isso, estabelece-se uma distância padrão para se tirar as fotos, através do enquadramento do prato no círculo da mira, tornando possível a estimativa mais eficiente do volume de comida do prato.
Utilização de dispositivo de hardware com alta mobilidade: a presente invenção pode ser executada em qualquer dispositivo portátil, provido de câmera, pequeno e leve que pode ser carregado para diferentes lugares sem ocupar muito espaço. Com isto obteve-se um aparelho portátil e identificação rápida e eficaz de comidas. A figura 2 mostra a seqüência de etapas desde a captura da foto do topo do prato (210) até a sugestão de uma lista de alimentos para cada alimento do prato (217) . Depois da inicialização, a câmera digital do dispositivo será acionada pelo usuário que mostrará no "display" a foto do topo de um prato de comida (210). Em seguida, o usuário escolherá o centro de cada alimento na foto (211). Definido os centros, o método de crescimento de região é aplicado a cada centro e sobre diferentes espaços de cores (HSV, RGB e LAB) (212), fornecendo três hipóteses de segmentos para cada centro escolhido (214) . Com cada segmento obtido em (214), uma MVS é treinada com um kernel de função de base radial (215), e a partir de um cardápio pré-determinado de imagens de alimentos, uma lista de probabilidades de alimentos para cada segmento é obtida. No final, o segmento com maior probabilidade é escolhido (216) e os resultados dos alimentos segmentados e suas possiveis identificações (217) são mostrados. O método proposto pela presente invenção para integrar a segmentação e a identificação dos alimentos é mostrado na figura 3. Três hipóteses (310, 311, 312) são geradas pelo segmentador com baseado em crescimento de região, a partir de três espaços de cores: RGB, HSV e CIE L*a*b*. Para cada espaço de cor, são computados coeficientes de variação espacial (CVE), onde efetivamente o método de segmentação é aplicado. O CVE é responsável, portanto, por definir a textura de cada cor, e é obtido a partir das duas equações a seguir: é a média das cores dos pixeis de uma região; DP é o desvio padrão dos pixeis pertencentes à região analisada; e CV é o coeficiente de variação.
Os três espaços de cores utilizados foram escolhidos a partir de dez espaços de cores iniciais. O processo de escolha foi determinado da seguinte forma: 1) Por meio de uma ferramenta de segmentação manual, doze imagens de pratos de comidas foram segmentadas e anotadas; 2) Em seguida, criou-se um indice para se determinar a qualidade da segmentação automática baseada em crescimento de região, através de: a. onde Agtcorresponde à área do segmento dado manualmente (ground truth) , Arg corresponde à área do segmento dado pelo segmentador automático baseado em crescimento de região; quando maior é o score S, maior será a qualidade do segmento automático; 3) Após encontrar o valor de S para dez espaços de cores diferentes, os espaços com os três maiores valores de S foram obtidos (no caso, HSV, RGB e L*a*b com CVEs para cada espaço).
Vale ressaltar que na segmentação por crescimento de regiões, as regiões da imagem são agrupadas com base na diferença minima entre a média móvel da região considerada e de seus vizinhos. Esta diferença minima é atribuída empiricamente e consiste no limiar que define o nível de sensibilidade. Após a escolha, pelo usuário, dos centros das regiões da imagem contendo alimentos, as seguintes etapas são aplicadas: 1. Inicializam-se os parâmetros L, (xO,yO), MO, VO e DO que correspondem, respectivamente, ao limiar, posição do centro da região da imagem, a média móvel inicial, um vetor de pixeis vizinhos da região atual, descartando os pixeis nas diagonais, e, finalmente, um vetor de diferenças entre os vizinhos abaixo do limiar L (dada pela distância Euclidiana entre os valores de pixeis). Nesta primeira iteração, a média móvel inicial corresponde ao valor do pixel presente na posição (xO,yO), que, de acordo com a presente invenção, serão as componentes dos três espaços de cores utilizados para cada hipótese de segmento; 2. A cada iteração, a posição do último vizinho (xi,yi), armazenada no vetor Vi, é guardada a fim de se computar os novos valores dos parâmetros Mi, Vi e Di. A média móvel é dada por (M(í-d * Si) + V(i-i) / (Si + 1); 3. A região final a ser segmentada é encontrada guando todos os pixeis dentro do vetor V tenham valores menores que o limiar L. A figura 4 um segmento de um alimento em uma imagem. Para cada segmento automático obtido pelo método de crescimento de região, um conjunto de regiões quadradas da imagem de tamanho 30x30 pixeis, denominados de recortes (410), são obtidos em toda a área encontrada dentro do segmento. Para cada recorte são extraídas características de cor (RGB e CIE L*a*b*), forma (diferença de gaussianas [DOGs] ) e textura (CVE sobre os DoGs) . O vetor de características é composto da seguinte forma para cada recorte: - É aplicado a DoG em cada canal RGB, e obtido um CVE para em cada espaço da DoG; nesta etapa, temos, portanto, três elementos; - É calculada a média dos canais R, G e B de cada recorte, e, portanto, tem-se mais três elementos; - É calculada a média dos canais L*, a* e b*, obtendo-se mais três elementos; - Para cada canal de cor L*a*b*, é calculado o CVE; finalmente, obtendo-se mais três elementos.
Portanto, um vetor com doze elementos (313) é classificado por uma MVS (314) utilizando um kernel de função de base radial. Por sua vez, as MVSs serão responsáveis por transformar o espaço de entrada em um espaço de dimensão maior, porém, linearmente separável. Esta característica, juntamente com o fato da função de aprendizagem ser convexa e quadrática, torna a MVS em um dos melhores métodos de classificação conhecidos, por permitir obter, na maior parte das vezes, um mínimo global para a separação dos objetos de entrada e com margem maximal de separação. Para transformar o espaço de entrada em um espaço linearmente separável, as MVSs utilizam uma função de kernel que é aplicada a partir de uma operação de espaço interno, ou seja, eleva os dados de entrada para um espaço de dimensão maior apenas virtualmente (sem necessariamente efetuar a transformação mencionada). A escolha da função de kernel é dependente do espaço de entrada. De maneira geral, o kernel de função de base radial apresenta os melhores resultados e é definido por: Onde x(. e xysão elementos do espaço de entrada e ^um parâmetro do kernel. 0 parâmetro γ é obtido por validação cruzada, dividindo-se o conjunto de dados de treinamento em cinco conjuntos disjuntos, e utilizando-se um para o treino e o restante para validação, e repetindo-se até que todos os subconjuntos do conjunto de dados inicial tenham sido utilizados para treino e o erro de classificação seja minimo.
Após se obter o parâmetro γ, todo o conjunto de dados utilizado para a validação cruzada é agora utilizado para treinar o modelo de classificação. 0 referido conjunto de dados é composto dos vetores de características (com os doze elementos, conforme mencionados anteriormente) obtidos de recortes de múltiplos segmentos definidos manualmente e contendo alimentos. Ao final, tem-se um modelo de multi-classificação. Tal modelo é obtido a partir de um cardápio de comidas pré-determinado e pode ser atualizado ao longo do tempo.
Na fase de predição (ou identificação propriamente dita), a MVS classifica cada recorte presente em um segmento, provendo um "score", obtido pela distância entre o vetor a ser classificado e o hiperplano de separação, o qual é dado por: y(x) = w‘k(x)+b (4) , Onde y é a função de salda, x é o vetor de entrada, w é a matriz de pesos obtidos no treinamento, k é a função de kernel e b é o vetor de polarização (bias).
Para o caso de multi-classificação, o método utilizado é o "um-versus-um", onde C(C-l)/2 classificadores binários são treinados a partir dos dados de treino, obtendo a combinação de todos os dados de 2 a 2 classes. O "score" obtido pela distância entre o ponto a ser classificado e os hiperplanos de separação é dado no intervalo de [0;°°) . Para converter o valor real em probabilidade uma função logística foi utilizada dada por: Onde s é o score dado pela MVS, e A e B são parâmetros obtidos no treino e se aproximam de 1 e 0, respectivamente, na prática. Depois disso, as saídas dos classificadores serão probabilísticas, isto é, no intervalo entre 0 e 1.
Como em um dado segmento existem vários recortes, a probabilidade final de um segmento ser um dado elemento, é dado pela média das probabilidades de todos os recortes de um dado alimento. Ao final, obter-se-ão probabilidades de vários alimentos. Uma vez que alguns recortes podem ser classificados de forma errônea, o alimento de maior probabilidade definirá o segmento. É importante ressaltar que a probabilidade final, pflna, , é dada por: Pfinai ~ max(p,),=1 (6) Onde pt corresponde a probabilidade obtida sobre cada segmento-hipótese do segmentador.
Ao invés de prover apenas uma hipótese de alimento final, o sistema de identificação de comidas oferece uma lista de alimentos ordenada decrescentemente pelo alimento de maior hipótese. Após obter esta lista das MVSs, uma reordenação da lista baseada em contextos é aplicada.
Na solução para o problema de reconhecimento de comidas, a classificação final realizada pelas MVSs apresenta uma lista ordenada de possíveis alimentos. Nesta lista, porém, devido a diversos fatores, existe ainda a possibilidade de erros na classificação. Assim, para lidar com estas incertezas, minimizando os erros de classificação, utilizou-se o método de MMR, o qual é responsável pela reordenação da lista final das MVSs a partir de requisitos e contextos previamente enumerados. O método de MMR pertence à classe de métodos utilizados para a solução de problemas de tomada de decisão. Para o reconhecimento de comidas, a decisão a ser tomada é a escolha do alimento dentre todas as possíveis alternativas presentes no cardápio pré-definido de comidas. A grande vantagem do MMR em relação a outros métodos vem do fato que estes contextos não necessitam de serem definidos de modo preciso. Assim sendo, parâmetros e situações podem ser modelados imprecisamente, dando flexibilidade e robustez ao método, enquanto que os resultados gerados continuam sendo deterministicos.
Dado o ambiente móvel, com limitações de processamento e requisitos temporais rígidos por parte do usuário, apresenta-se a seguir uma solução para tratamento contextual das incertezas nas classificações realizadas pelas MVSs.
Mesmo considerando classificadores robustos como as MVSs, não se pode garantir que o reconhecedor de comida, com a estrutura até aqui descrita, obtenha sucesso em todas as situações, uma vez que comidas com cor e texturas similares podem pertencer a categorias diferentes. Uma decisão robusta necessitaria de métodos computacionalmente pesados para desambiguar todos os tipos de comidas similares em textura, cor ou formato. Por esta razão, após a classificação com as MVSs, utilizaram-se informações contextuais a fim de aumentar a robustez das decisões de nomeação das comidas. Esta etapa foi denominada de reclassificação contextual. O processo de reconhecimento automático de comidas apresenta uma natureza imprecisa seja pelo processo de captura de fotos e manipulação dos dispositivos portáteis, seja pelas decisões tomadas no processo de classificação pelas MVSs. Para a última situação, a lista ordenada de probabilidades fornecidas pelas MVSs pode oferecer uma resposta incorreta. Adicionalmente, as comidas podem variar em cor e textura de pais a pais, e os métodos necessitariam adaptar-se dinamicamente a fatores desconhecidos. Isto faz com que uma solução universal torne o aplicativo final difícil de ser gerenciado pelo usuário final quando as demandas de usuário variam, o desempenho de classificação fica abaixo do esperado ou quando as preferências do usuário se modificam. Diante do exposto, o problema de tomada de decisão no reconhecimento de comidas pode ser considerado como uma seleção das melhores alternativas a partir de incertezas parciais (saidas das MVSs). Tais incertezas serão dirimidas, na etapa final, a partir do método de Minmax Regret (MMR) , sob a abordagem de reclassificar a lista provida pelas MVSs. 0 método de MMR funciona a partir da construção de uma matriz de "remorso" (regret), cujos elementos mostram o "remorso" do tomador de decisão em solucionar uma alternativa Ai, para um dado atributo Cj, associado com um peso wij, conforme tabela abaixo: Para cada alternativa, computa-se o "remorso" maximal (maximal regret) e o score da faixa efetiva é obtido pela seleção do minimo remorso maximal. 0 objetivo do método é escolher os resultados que demonstrem o minimo remorso, com as seguintes etapas: - Calcular Wj = Max[wij] para cada Cj e todos os Ai's; - Calcular rij = Wj - wij para cada combinação de Ai's e Cj ' s; - Calcular Ri = Max[rij] para cada Ai' s e todos os C j ' s ; - Selecionar A*I, tal que R*i = Min[Ri].
Nas etapas listadas, rij representa os elementos da matriz de remorso, Ri é o remorso maximal obtido para cada alternativa Ai, e R*i é o minimo remorso maximal. A matriz de remorso é normalizada para a unidade, da seguinte forma: N(rij) = rij / (Wjmax - Wjmin) . Finalmente, o remorso maximal é obtido por: Ri = Maxi[rij]. Ao invés de se utilizar um alimento em cada elemento rij, utilizou-se uma classe de alimentos agrupados por similaridade de cor e textura. Dessa forma, após a reclassificação, não somente os alimentos individuais serão reordenados, mas também grupos de objetos com características visuais semelhantes. Isto tornará a próxima fase, onde o usuário manualmente desambigua possíveis erros de reconhecimento, mais precisa, tornando o aplicativo final mais confiável.
Vale ressaltar que mesmo que o presente método de reconhecimento de comidas, de alguma forma, apresente algum resultado incorreto, o usuário ainda pode corrigir as identificações dos alimentos através de uma ferramenta de anotações manuais, presente no aplicativo que incorpora o referido método de reconhecimento de comidas.
Embora uma modalidade preferida da presente invenção seja mostrada e descrita, aqueles versados na técnica compreenderam que várias modificações podem ser feitas sem se afastar do escopo e do espírito da presente invenção, tal como definidos nas reivindicações anexas.

Claims (20)

1) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais que segmenta cada alimento em uma imagem de prato de comida, identificando estes alimentos segmentados a partir de um cardápio pré-estabelecido, identificando e registrando alimentos e suas calorias ao longo de um período, o referido método compreendendo as etapas de: - segmentação semi-automática, em que os objetos da foto do prato de um prato são segmentados a partir da escolha de um usuário dos centros da imagem de cada alimento, e sendo aplicado, em seguida, um método baseado em crescimento de região a cada centro e sobre diferentes espaços de cores (HSV, RGB e LAB) (212), fornecendo três hipóteses de segmentos para cada centro escolhido (214), possibilitando a obtenção de resultados robustos na segmentação a partir do controle do usuário; - a partir de cada segmento obtido em (214), treinar uma MVS com um kernel de função de base radial (215) , e a partir de um cardápio pré-determinado de imagens de alimentos, obter uma lista de probabilidades de alimentos para cada segmento, sendo o segmento com maior probabilidade escolhido (216) e os resultados dos alimentos segmentados e suas possíveis identificações (217), mostrados.
2) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 1, caracterizado pelo fato de que três hipóteses (310, 311, 312) são geradas pelo segmentador com baseado em crescimento de região, a partir de três espaços de cores: RGB, HSV e CIE L*a*b*, sendo que, para cada espaço de cor, são computados coeficientes de variação espacial (CVE), onde efetivamente o método de segmentação é aplicado, sendo o CVE responsável por definir a textura de cada cor.
3) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 1, caracterizado pelo fato de que, para cada segmento automático obtido pelo método de crescimento de região, um conjunto de regiões quadradas da imagem de tamanho 30x30 pixeis, são obtidos em toda a área encontrada dentro do segmento.
4) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 1, caracterizado pelo fato de que, para cada recorte são extraídas características de cor (RGB e CIE L*a*b*), forma (diferença de gaussianas [DOGs]) e textura (CVE sobre os DoGs).
5) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 1, caracterizado pelo fato de que, o vetor de características é composto da seguinte forma para cada recorte: - é aplicado a DoG em cada canal RGB, e obtido um CVE para em cada espaço da DoG, gerando-se três elementos; - é calculada a média dos canais R, G e B de cada recorte, gerando-se mais três elementos; - é calculada a média dos canais L*, a* e b*, obtendo-se mais três elementos; - para cada canal de cor L*a*b*, é calculado o CVE, obtendo-se mais três elementos, sendo o vetor composto por doze elementos (313) classificado por uma MVS (314) utilizando um kernel de função de base radial, sendo as MVSs serão responsáveis por transformar o espaço de entrada em um espaço de dimensão maior, porém, linearmente separável.
6) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 1, caracterizado pelo fato de que, na fase de predição, a MVS classifica cada recorte presente em um segmento, provendo um "score", obtido pela distância entre o vetor a ser classificado e o hiperplano de separação.
7) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 1, caracterizado pelo fato de que, a probabilidade final de um segmento ser um dado elemento, é dada pela média das probabilidades de todos os recortes de um dado alimento, sendo ao final obtidas as probabilidades de vários alimentos.
8) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 1, caracterizado pelo fato de que, uma vez que alguns recortes podem ser classificados de forma errônea, o alimento de maior probabilidade definirá o segmento.
9) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 1, caracterizado pelo fato de que, ao invés de prover apenas uma hipótese de alimento final, o sistema de identificação de comidas oferece uma lista de alimentos ordenada decrescentemente pelo alimento de maior hipótese.
10) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 9, caracterizado pelo fato de que, após obter esta lista das MVSs, uma reordenação da lista baseada em contextos é aplicada.
11) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 9, caracterizado pelo fato de que na referida lista ordenada de possíveis alimentos existe ainda a possibilidade de erros na classificação.
12) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 1, caracterizado pelo fato de que, para lidar com incertezas, minimizando os erros de classificação, um método de MMR, o qual é responsável pela reordenação da lista final das MVSs a partir de requisitos e contextos previamente enumerados é utilizado.
13) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 1, caracterizado pelo fato de que, após a classificação com as MVSs, utilizaram-se informações contextuais a fim de aumentar a robustez das decisões de nomeação das comidas.
14) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 1, caracterizado pelo fato de que a decisão no reconhecimento de comidas é feita a partir da seleção das melhores alternativas a partir de incertezas parciais, saldas das MVSs, sendo tais incertezas dirimidas, na etapa final, a partir do método de Minmax Regret (MMR), sob a abordagem de reclassificar a lista provida pelas MVSs.
15) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 14, caracterizado pelo fato de que o referido método de MMR funciona a partir da construção de uma matriz de "remorso" (regret), cujos elementos mostram o "remorso" do tomador de decisão em solucionar uma alternativa Ai, para um dado atributo Cj, associado com um peso wij, conforme a seguir: sendo que para cada alternativa, computa-se o "remorso" maximal (maximal regret) e o score da faixa efetiva é obtido pela seleção do mínimo remorso maximal.
16) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 14, caracterizado pelo fato de que são escolhidos os resultados que demonstrem o mínimo remorso, a partir das seguintes etapas: - calcular Wj = Max[wij] para cada Cj e todos os Ai's; - calcular rij = Wj - wij para cada combinação de Ai's e Cj ' s ; - calcular Ri = Max [rij] para cada Ai's e todos os Cj ' s; - selecionar A*I, tal que R*i = Min [Ri], sendo o remorso maximal obtido por: Ri = Maxi[rij].
17) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 14, caracterizado pelo fato de que, ao invés de se utilizar um alimento em cada elemento rij, uma classe de alimentos agrupados por similaridade de cor e textura é utilizada.
18) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 17, caracterizado pelo fato de, após a reclassificação, não somente os alimentos individuais serão reordenados, mas também grupos de objetos com características visuais semelhantes.
19) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 18, caracterizado pelo fato de que o usuário manualmente desambigua possíveis erros d.e reconhecimento.
20) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais, de acordo com a reivindicação 1, caracterizado pelo fato de que o usuário ainda pode corrigir as identificações dos alimentos através de uma ferramenta de anotações manuais, caso algum resultado incorreto seja apresentado.
BRPI1102041-5A 2010-12-30 2011-02-25 método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais BRPI1102041B1 (pt)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/981,634 2010-12-30
US12/981,634 US8625889B2 (en) 2010-12-30 2010-12-30 System for food recognition method using portable devices having digital cameras

Publications (2)

Publication Number Publication Date
BRPI1102041A2 true BRPI1102041A2 (pt) 2015-07-28
BRPI1102041B1 BRPI1102041B1 (pt) 2021-01-12

Family

ID=46380816

Family Applications (1)

Application Number Title Priority Date Filing Date
BRPI1102041-5A BRPI1102041B1 (pt) 2010-12-30 2011-02-25 método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais

Country Status (2)

Country Link
US (1) US8625889B2 (pt)
BR (1) BRPI1102041B1 (pt)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363913B2 (en) * 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method
JP2013054541A (ja) * 2011-09-05 2013-03-21 Sony Corp 情報処理装置、情報処理方法、およびプログラム
US10314492B2 (en) 2013-05-23 2019-06-11 Medibotics Llc Wearable spectroscopic sensor to measure food consumption based on interaction between light and the human body
US9254099B2 (en) 2013-05-23 2016-02-09 Medibotics Llc Smart watch and food-imaging member for monitoring food consumption
US9042596B2 (en) 2012-06-14 2015-05-26 Medibotics Llc Willpower watch (TM)—a wearable food consumption monitor
US10772559B2 (en) 2012-06-14 2020-09-15 Medibotics Llc Wearable food consumption monitor
US9536449B2 (en) 2013-05-23 2017-01-03 Medibotics Llc Smart watch and food utensil for monitoring food consumption
US9456916B2 (en) 2013-03-12 2016-10-04 Medibotics Llc Device for selectively reducing absorption of unhealthy food
US10130277B2 (en) 2014-01-28 2018-11-20 Medibotics Llc Willpower glasses (TM)—a wearable food consumption monitor
US9442100B2 (en) 2013-12-18 2016-09-13 Medibotics Llc Caloric intake measuring system using spectroscopic and 3D imaging analysis
TWI498845B (zh) * 2012-12-14 2015-09-01 Ind Tech Res Inst 飲食管理方法與系統
USD742390S1 (en) * 2013-02-22 2015-11-03 Samsung Electronics Co., Ltd. Graphic user interface for a display screen or a portion thereof
USD743972S1 (en) * 2013-02-22 2015-11-24 Samsung Electronics Co., Ltd. Graphic user interface for a display screen or a portion thereof
US9011365B2 (en) 2013-03-12 2015-04-21 Medibotics Llc Adjustable gastrointestinal bifurcation (AGB) for reduced absorption of unhealthy food
US9067070B2 (en) 2013-03-12 2015-06-30 Medibotics Llc Dysgeusia-inducing neurostimulation for modifying consumption of a selected nutrient type
JP6279837B2 (ja) * 2013-04-09 2018-02-14 国立大学法人 東京大学 画像処理装置及びプログラム
US9529385B2 (en) 2013-05-23 2016-12-27 Medibotics Llc Smart watch and human-to-computer interface for monitoring food consumption
EP3017423A1 (en) * 2013-07-02 2016-05-11 Roche Diagnostics GmbH Estimation of food volume and carbs
US9916520B2 (en) * 2014-09-03 2018-03-13 Sri International Automated food recognition and nutritional estimation with a personal mobile electronic device
CA3195997A1 (en) 2014-11-21 2016-05-26 Christopher M. Mutti Imaging system for object recognition and assessment
US9349297B1 (en) 2015-09-09 2016-05-24 Fitly Inc. System and method for nutrition analysis using food image recognition
US10971031B2 (en) 2015-03-02 2021-04-06 Fitly Inc. Apparatus and method for identifying food nutritional values
TWI582626B (zh) * 2015-10-20 2017-05-11 數位左右有限公司 餐飲環境圖像自動分類系統與其方法
KR102359359B1 (ko) 2015-11-25 2022-02-08 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
WO2017165621A1 (en) * 2016-03-24 2017-09-28 Anand Subra Real-time or just-in-time online assistance for individuals to help them in achieving personalized health goals
JP6910792B2 (ja) * 2016-12-13 2021-07-28 ソニーセミコンダクタソリューションズ株式会社 データ処理装置、データ処理方法、プログラム、および電子機器
US10762635B2 (en) 2017-06-14 2020-09-01 Tusimple, Inc. System and method for actively selecting and labeling images for semantic segmentation
US10552979B2 (en) 2017-09-13 2020-02-04 TuSimple Output of a neural network method for deep odometry assisted by static scene optical flow
US10671083B2 (en) 2017-09-13 2020-06-02 Tusimple, Inc. Neural network architecture system for deep odometry assisted by static scene optical flow
US10739775B2 (en) 2017-10-28 2020-08-11 Tusimple, Inc. System and method for real world autonomous vehicle trajectory simulation
CN108629770B (zh) * 2018-05-03 2022-04-19 河北省计量监督检测研究院廊坊分院 基于支持向量机的超声图像分割方法
CN114821568B (zh) * 2022-06-27 2022-09-16 深圳前海环融联易信息科技服务有限公司 菜单要素提取方法、装置、计算机设备及存储介质
CN115331217B (zh) * 2022-09-02 2023-05-30 烟台创迹软件有限公司 一种餐食结算方法、装置、设备及介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL124616A0 (en) * 1998-05-24 1998-12-06 Romedix Ltd Apparatus and method for measurement and temporal comparison of skin surface images
US20030076983A1 (en) 2000-06-06 2003-04-24 Cox Dale W. Personal food analyzer
AU2003270687B2 (en) * 2002-09-13 2008-05-08 Life Technologies Corporation Interactive and automated tissue image analysis with global training database and variable-abstraction processing in cytological specimen classification and laser capture microdissection applications
JP2006024116A (ja) * 2004-07-09 2006-01-26 Dainippon Screen Mfg Co Ltd カラー画像の領域分割
US20070116338A1 (en) * 2005-11-23 2007-05-24 General Electric Company Methods and systems for automatic segmentation of biological structure
US8189737B2 (en) * 2006-01-26 2012-05-29 The Board Of Regents, The University Of Texas System, A Texas Institution Of Higher Learning Process and apparatus for microCT imaging of ex vivo specimens
US8027533B2 (en) * 2007-03-19 2011-09-27 Sti Medical Systems, Llc Method of automated image color calibration
US8081811B2 (en) * 2007-04-12 2011-12-20 Fujifilm Corporation Method, apparatus, and program for judging image recognition results, and computer readable medium having the program stored therein
US8369590B2 (en) * 2007-05-21 2013-02-05 Cornell University Method for segmenting objects in images
US20090033622A1 (en) * 2007-05-30 2009-02-05 24/8 Llc Smartscope/smartshelf
US8184855B2 (en) * 2007-12-10 2012-05-22 Intel Corporation Three-level scheme for efficient ball tracking
US7853075B2 (en) * 2008-07-31 2010-12-14 Hiroshima University Image segmentation apparatus and image segmentation method
US8363913B2 (en) 2008-09-05 2013-01-29 Purdue Research Foundation Dietary assessment system and method
CN101686338B (zh) * 2008-09-26 2013-12-25 索尼株式会社 分割视频中的前景和背景的系统和方法
US8195038B2 (en) * 2008-10-24 2012-06-05 At&T Intellectual Property I, L.P. Brief and high-interest video summary generation
US8439683B2 (en) 2009-01-07 2013-05-14 Sri International Food recognition using visual analysis and speech recognition
US10546205B2 (en) * 2010-08-02 2020-01-28 Koninklijke Philips N.V. System and method for multi-modality segmentation of internal tissue with live feedback
US20120250984A1 (en) * 2010-12-01 2012-10-04 The Trustees Of The University Of Pennsylvania Image segmentation for distributed target tracking and scene analysis
US8579620B2 (en) * 2011-03-02 2013-11-12 Andy Wu Single-action three-dimensional model printing methods

Also Published As

Publication number Publication date
US20120170801A1 (en) 2012-07-05
BRPI1102041B1 (pt) 2021-01-12
US8625889B2 (en) 2014-01-07

Similar Documents

Publication Publication Date Title
BRPI1102041A2 (pt) Método automático para reconhecimento de comida por meio de dispositivos portáteis equipados com câmeras digitais
US9117144B2 (en) Performing vocabulary-based visual search using multi-resolution feature descriptors
JP6098700B2 (ja) 複数の整理されたオブジェクトを含む画像を解析する方法、システム及びコンピュータ可読プログラム
Chuang et al. A feature learning and object recognition framework for underwater fish images
US9367766B2 (en) Text line detection in images
Kumar et al. Leafsnap: A computer vision system for automatic plant species identification
US8917910B2 (en) Image segmentation based on approximation of segmentation similarity
US8879796B2 (en) Region refocusing for data-driven object localization
US7840059B2 (en) Object recognition using textons and shape filters
Huang et al. Hierarchical classification with reject option for live fish recognition
US8737739B2 (en) Active segmentation for groups of images
EP3032460A1 (en) Realogram scene analysis of images: superpixel scene analysis
WO2017181892A1 (zh) 前景分割方法及装置
CN110008844B (zh) 一种融合slic算法的kcf长期手势跟踪方法
AU2015218184A1 (en) Processing hyperspectral or multispectral image data
Blanchet et al. Automated annotation of corals in natural scene images using multiple texture representations
Xu et al. Robust seed localization and growing with deep convolutional features for scene text detection
Luszczkiewicz-Piatek et al. Effective color image retrieval based on the Gaussian mixture model
Bugeau et al. Bandwidth selection for kernel estimation in mixed multi-dimensional spaces
Cusano Region-based annotation of digital photographs
Cusano et al. Automatic annotation of outdoor photographs
Dahl Computer Vision for Timber Harvesting
Sfar Fine-grained object categorization: plant species identification
Pérez Bandwidth selection for kernel estimation in mixed multi-dimensional spaces
Yong Modelling of Image Semantic Context for Novelty Detection

Legal Events

Date Code Title Description
B03A Publication of a patent application or of a certificate of addition of invention [chapter 3.1 patent gazette]
B25C Requirement related to requested transfer of rights

Owner name: SAMSUNG ELETRONICA DA AMAZONIA LTDA (BR/AM)

Free format text: A FIM DE ATENDER A TRANSFERENCIA, REQUERIDA ATRAVES DA PETICAO NO 860150023152 DE 12/02/2015, E NECESSARIO APRESENTAR DOCUMENTO QUE COMPROVE QUE OS REPRESENTANTES DA EMPRESA CEDENTE TEM PODERES PARA REALIZAR TAL ATO.

B25G Requested change of headquarter approved

Owner name: SAMSUNG ELETRONICA DA AMAZONIA LTDA (BR/AM)

B25A Requested transfer of rights approved

Owner name: SAMSUNG ELETRONICA DA AMAZONIA LTDA. (BR/SP)

B06F Objections, documents and/or translations needed after an examination request according [chapter 6.6 patent gazette]
B06U Preliminary requirement: requests with searches performed by other patent offices: procedure suspended [chapter 6.21 patent gazette]
B06A Patent application procedure suspended [chapter 6.1 patent gazette]
B09A Decision: intention to grant [chapter 9.1 patent gazette]
B16A Patent or certificate of addition of invention granted [chapter 16.1 patent gazette]

Free format text: PRAZO DE VALIDADE: 20 (VINTE) ANOS CONTADOS A PARTIR DE 25/02/2011, OBSERVADAS AS CONDICOES LEGAIS.