BR112021007540A2 - máquina de venda neural - Google Patents

máquina de venda neural Download PDF

Info

Publication number
BR112021007540A2
BR112021007540A2 BR112021007540-2A BR112021007540A BR112021007540A2 BR 112021007540 A2 BR112021007540 A2 BR 112021007540A2 BR 112021007540 A BR112021007540 A BR 112021007540A BR 112021007540 A2 BR112021007540 A2 BR 112021007540A2
Authority
BR
Brazil
Prior art keywords
product
stock
products
image
ann
Prior art date
Application number
BR112021007540-2A
Other languages
English (en)
Inventor
Mark Robert Hacker
Raegen Henry Siegfried
Original Assignee
The Nordam Group Llc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by The Nordam Group Llc filed Critical The Nordam Group Llc
Publication of BR112021007540A2 publication Critical patent/BR112021007540A2/pt

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/18—Payment architectures involving self-service terminals [SST], vending machines, kiosks or multimedia terminals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/203—Inventory monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F11/00—Coin-freed apparatus for dispensing, or the like, discrete articles
    • G07F11/62—Coin-freed apparatus for dispensing, or the like, discrete articles in which the articles are stored in compartments in fixed receptacles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/02—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus
    • G07F9/026—Devices for alarm or indication, e.g. when empty; Advertising arrangements in coin-freed apparatus for alarm, monitoring and auditing in vending machines or means for indication, e.g. when empty
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures
    • G07G1/0045—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader
    • G07G1/0054—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles
    • G07G1/0063—Checkout procedures with a code reader for reading of an identifying code of the article to be registered, e.g. barcode reader or radio-frequency identity [RFID] reader with control of supplementary check-parameters, e.g. weight or number of articles with means for detecting the geometric dimensions of the article of which the code is read, such as its size or height, for the verification of the registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Human Resources & Organizations (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Geometry (AREA)

Abstract

MÁQUINA DE VENDA NEURAL. Um método de vender um produto (n) em uma máquina de venda automatizada (28) inclui exibir um estoque inicial (S) de vários produtos (n) sobre uma prateleira de display (34) e identificar qualquer produto (13) retirado a partir da mesma por um cliente (48) não por detectar o próprio produto retirado (13), porém por comparar imagens (50, 52) do estoque exibido (S) antes e após a retirada do produto para determinar qualquer produto (13) faltante na imagem posterior (52) de estoque restante (S-(S-P)), e então cobrar o pagamento do produto faltante (13) ao cliente (48).

Description

“MÁQUINA DE VENDA NEURAL” CAMPO TÉCNICO
[0001] A presente invenção refere-se em geral a máquinas de venda automatizada, e mais particularmente, a serviços de passageiros em uma aeronave comercial durante voo.
TÉCNICA ANTECEDENTE
[0002] Com a alteração constante em dinâmica econômica de voo e passageiros, serviços de produto e catering a bordo são vistos como um fluxo de receita para uma companhia aérea, enquanto fornece aos passageiros seleção e escolha. Entretanto, sistemas de merchandising e serviço de refeições existentes ainda se baseiam na tripulação da cabine e distribuição baseada em carrinho convencional.
[0003] A automatização de refeições e produto ou venda de produtos em uma aeronave de passageiros durante voo apresentam desafios substanciais devido às muitas exigências reguladoras governamentais impostas sobre a aeronave comercial para assegurar conforto e segurança aos passageiros.
[0004] Serviços de venda em aeronaves envolvem desafios únicos incluindo interação com os passageiros, pagamento, velocidade, capacidade de uso, tamanho físico, locais da aeronave, Certificação Reguladora da F.A.A (Federal Aviation Administration – Administração de Aviação Federal), navegabilidade aérea e peso, por exemplo.
[0005] Máquinas de venda comercialmente disponíveis seriam proibidas em uma aeronave, principalmente porque não foram projetadas para atender a várias exigências Reguladoras para operação segura da aeronave, e na prática devido a suas configurações fundamentalmente complexas, tamanho grande, peso excessivo e composições de material.
[0006] Máquinas de venda típicas são bem grandes e pesadas e complexas, e incluem inúmeros sistemas mecânicos para exibir e selecionar e dispensar precisamente produtos selecionados para o cliente ou usuário, que são impraticáveis para uso em aeronave de passageiros, e, portanto, não são atualmente encontradas na mesma.
[0007] Máquinas de venda convencionais exigem tipicamente estocagem de produtos em bandejas ou repartições ou compartimentos ou recipientes predeterminados e pré-configurados individualmente identificados para assegurar dispensação precisa de itens selecionados pelo usuário, como latas de bebida, itens de alimentos e lanches e itens de produtos pequenos, e exigem, desse modo, calhas de dispensação complexas acionadas mecanicamente.
[0008] Os produtos incluem tipicamente o código de barras universal onipresente para identificação, porém equipamentos de venda para os mesmos exigiria leitores de código de barras correspondentes e equipamentos relacionados, todos os quais aumentam a complexidade e peso.
[0009] Os produtos também podem ser adaptados com as etiquetas de Identificação de radiofrequência (RFID) comuns que são relativamente caras, e ainda exigem novamente leitura correspondente e equipamentos relacionados, o que novamente aumenta a complexidade e peso.
[0010] Uma máquina de venda especificamente moldada para uso em aeronaves é, contudo, desejável e apresenta um desafio de design ou conceptual irrefutável, exigindo novas soluções para uso em uma aeronave de passageiros em voo.
[0011] Autoatendimento ou máquinas de venda automatizadas são onipresentes e bem entendidos por clientes, e, portanto, seriam facilmente aceitos por passageiros durante viagem em aeronaves. Uma máquina de venda especialmente configurada para uso em aeronave deve vender rapidamente o produto; deve ser pequena, compacta, leve e estrategicamente localizada na cabine de passageiros para reduzir filas e movimento dos passageiros. O desafio de design é tornar tal produto navegável para oferecer uma solução desejável tanto para os passageiros como para as companhias aéreas.
[0012] A máquina de venda deve ser operável pelos próprios passageiros, com cobrança segura de produtos removidos a partir da mesma, e com mínima assistência da tripulação limitada a reabastecimento ou resolução de quaisquer defeitos.
[0013] Por conseguinte, é desejável fornecer uma máquina de venda automatizada nova e aperfeiçoada especificamente projetada para uso em uma aeronave comercial durante voo.
REVELAÇÃO DA INVENÇÃO
[0014] Um método de dispensar um produto em uma máquina de dispensar automatizada inclui exibir um estoque inicial de vários produtos em uma prateleira de display e identificar qualquer produto removido a partir da mesma por um usuário, não por detectar o próprio produto removido, porém por comparar imagens do estoque exibido antes e após a remoção do produto para determinar qualquer produto faltante na imagem posterior de estoque restante e então contabilizar o produto faltante para o usuário.
BREVE DESCRIÇÃO DOS DESENHOS
[0015] A invenção, de acordo com modalidades preferidas e exemplificadoras, junto com objetos e vantagens adicionais da mesma, é mais particularmente descrita na seguinte descrição detalhada tomada em combinação com os desenhos em anexo, nos quais:
[0016] A figura 1 é uma vista isométrica de uma aeronave de passageiros tendo uma máquina de venda automatizada (AVM) de autoatendimento montada no interior da cabine de passageiros da mesma.
[0017] A figura 2 é uma vista em elevação lateral da AVM mostrada na figura 1.
[0018] A figura 3 é uma vista em elevação frontal da AVM mostrada na figura 1.
[0019] A figura 4 é uma vista esquemática explodida da AVM mostrada na figura
1.
[0020] A figura 5 é um fluxograma mostrando operação da AVM por um cliente selecionando e retirando um produto da mesma, com o produto retirado sendo identificado por uma Rede Neural artificial (ANN) treinada para distinguir diferenças em pré- e pós-imagens do estoque exibido.
[0021] A figura 6 é um fluxograma mostrando treinamento prévio da ANN mostrado na AVM da figura 5.
[0022] A figura 7 é um fluxograma da AVM mostrada na figura 5 configurada com ANNs diferentes para identificar o produto retirado como o produto faltante na imagem posterior.
[0023] A figura 8 é um fluxograma mostrando treinamento das ANNs diferentes para uso na AVM mostrada na figura 5.
[0024] A figura 9 é um fluxograma de operação da AVM mostrada nas figuras 5 e
7. MODO(S) PARA REALIZAR A INVENÇÃO
[0025] É ilustrada na figura 1 um exemplar de uma aeronave de passageiros comercial 20 tendo uma fuselagem cilíndrica 22 e eixo axial ou longitudinal correspondente 24. A aeronave 20 é acionada por motores turbofan duplos montados nas asas da mesma para operação típica de voo em altitude. A fuselagem 22 inclui uma cabine interna 26 convencionalmente configurada com fileiras de assentos de passageiros (não mostrados), cozinhas e lavatórios.
[0026] De acordo com a presente invenção, uma máquina de venda ou dispensar automática de autoatendimento (AVM) 28 é adequadamente montada no interior da cabine 26 em qualquer local conveniente para uso pelos passageiros durante voo. AVMs adicionais podem ser distribuídas em toda a cabine como desejado.
[0027] A AVM 28 é especialmente configurada para uso na aeronave sob Regulações Governamentais da F.A.A. aplicáveis para atender a navegabilidade aérea e segurança e é adicionalmente configurada com componentes mínimos tendo peso mínimo para vender de forma precisa e segura produtos para passageiros durante voo, por autoatendimento sem necessidade comum de assistência da tripulação da cabine.
[0028] As figuras 2, 3 e 4 ilustram vistas lateral, frontal e isométrica da AVM 28 em uma configuração exemplificadora montada no piso e fuselagem curva no interior da cabine de passageiros 26 para acesso conveniente pelos passageiros. Além dessa modalidade independente, configurações menores montadas na parede e cozinha podem ser também utilizadas na cabine de passageiros sujeito a espaço disponível.
[0029] Em todas as configurações de aeronaves, a AVM 28 é configurada para ser leve, segura, rápida e certificável, para permitir venda de autoatendimento a bordo de produtos desejados. A configuração de aeronave da máquina de venda utilizará características, materiais e práticas de design aeroespacial típicas que são relativamente simples de certificar e atender a Regulações Governamentais aplicáveis para operação em voo.
[0030] A AVM 28 mostrada nas figuras 2-4 inclui um gabinete de display seguro 30 tendo uma porta de display transparente e trancada 32 e incluindo múltiplas prateleiras de display 34 para exibir através da porta um estoque de mercadoria ou produtos (n) inicial e limitado para venda.
[0031] Qualquer número e tipo de produtos (n) pode ser oferecido para venda, como alimento e bebidas, ou produtos a varejo pequenos, com o número total de produtos disponíveis sendo selecionado pela companhia de aviação, com cada produto P(n) sendo identificado por seu valor numérico n variando de 1, 2, 3, .... N, em que N representa o número máximo de produtos em potencial e pode ter qualquer valor adequado como 10, 100, 500 e mesmo 1000 ou mais como desejado.
[0032] O gabinete de display 30 nessa configuração independente pode ser montado no topo de um gabinete de base, ou simplesmente base, 36 de preferência configurado para alojar dois, ou similares, carrinhos de catering convencionais 38, nos quais podem ser armazenados quaisquer itens exigidos para serviços de aeronave, incluindo estoque ou inventário extra dos produtos à venda (n). O gabinete 30 é especialmente configurado para exibir um número limitado ou quantidade (S) de produtos, e produtos em excesso e adicionais podem ser convenientemente armazenados em um ou ambos os carrinhos 38. Os carrinhos 38 são adequadamente fixados ou trancados na base 36, e a porta de display 32 é trancada no gabinete 30 por uma fechadura adequada de porta eletricamente ativada 40.
[0033] Como inicialmente mostrado na figura 4, o gabinete 30 inclui uma câmera digital do tipo aeroespacial 42 montada de preferência dentro do topo do gabinete com um campo de visão F se estendendo tanto horizontalmente como verticalmente para incluir especificamente todas as prateleiras de display 34, e desse modo visualizar simultaneamente o estoque inteiro (S) de produtos (n) exibidos nas várias prateleiras
34. Uma ou mais câmeras 42 podem ser utilizadas para assegurar cobertura de visão total de todos os produtos sendo exibidos no gabinete, a partir de um ou mais diferentes pontos de visão como desejado.
[0034] As prateleiras de display horizontais 34 são preferivelmente dispostas em níveis verticais, quatro sendo mostradas por exemplo, para distribuir melhor os vários produtos para visão não bloqueada pela câmera 42. Prefere-se que cada produto exibido seja separadamente visualizável pela câmera, sem bloqueio parcial ou total por produtos adjacentes sendo exibidos.
[0035] Um computador digital 44 é adequadamente montado dentro do gabinete 30 ou base 36 onde o espaço permite e é operativamente unido à câmera 42 e fechadura 40 para controlar a operação da AVM 28. Em sua configuração mais simples, a AVM 28 é principalmente um gabinete de display seguro 30, câmera 42 e computador 44.
[0036] Esse sistema de visão baseado em câmera evita a necessidade de mecanismos complexos e pesados, o que economiza peso e torna menos difícil a certificação da aeronave. A AVM 28 pode ter quase qualquer tamanho e pode ser configurada para ocupar espaço mínimo dentro da cabine, e necessita interfaces mínimas de aeronave para comunicação e energia. Inclui um sistema de contabilidade e pagamento eletrônico sem dinheiro (“cashless”), e dispensa ou venda de produtos será monitorada e controlada por um sistema de visão baseado em computador sem mecanismo especificamente configurado para uso em aeronave.
[0037] O computador digital 44 é especialmente configurada em software para identificar qualquer produto removido do gabinete por um usuário ou cliente não inicialmente por identificar ou detectar o próprio produto removido, porém por comparar imagens prévia e posterior feitas pela câmera 42 do estoque exibido antes e após a remoção do produto para determinar qualquer produto faltante na imagem posterior de estoque restante, e, desse modo, prever ou inferir qual um ou mais produtos foram selecionados e retirados pelo usuário.
[0038] O computador 44 é unido à fechadura de porta elétrica 40 e configurado para autorizar acesso a um cliente registrado ou autorizado e destrancará e trancará novamente a porta antes e após a retirada do produto e então executará uma contabilidade ou atribuição ao cliente pelo produto faltante ou selecionado, e processará o pagamento pelo mesmo.
[0039] O acesso e comunicação pelo cliente pode ser provido por um painel de display adequado 46, mostrado esquematicamente na figura 4, que é operativamente unido ao computador 44. Qualquer usuário 48, como o passageiro ou cliente, pode simplesmente acessar a AVM 28 através do painel de display 46, que pode ser convencionalmente configurado com um leitor de cartão de crédito, um sensor de RFID, e um sistema Bluetooth para registrar ou autorizar crédito ou pagamento a partir de um cartão de crédito ou app (aplicativo ou software) de pagamento por telefone celular apresentado pelo cliente 48.
[0040] Como mostrado na figura 5, o método básico de dispensar ou vender um produto (n) para o cliente-passageiro de aeronave 48 inclui exibir simplesmente um estoque inicial (S) de vários produtos (n) na prateleira de display 34, como as prateleiras de display de múltiplos níveis trancadas no interior do gabinete de display 30 da AVM 28. Como indicado acima, um inventário total ou mestre (N) de produtos (n) terá um número total N de produtos como desejado.
[0041] Na figura 5, uma distribuição exemplificadora de layout de mercadorias nas prateleiras 34 é mostrada, com o estoque exibido (S(n)) incluindo um número total S de dezesseis, por exemplo apenas produtos (P(n)) que podem ser de qualquer tamanho e configuração que se adaptarão no espaço disponível do gabinete 30 nas várias prateleiras 34, como as quatro prateleiras exemplificadoras mostardas.
[0042] O layout de prateleira de produto pode ser geralmente aleatório, porém pode ser predeterminado para promover certas vendas de produtos. As várias prateleiras 34 permitem qualquer localização aleatória de colocação de produtos onde o espaço permite e os produtos não necessitam ser confinados em locais de prateleira predeterminados ou assentos fisicamente complementares sobre os mesmos.
[0043] O estoque de display inicial S(n) inclui produtos exemplificadores 1, 2, 3, ... 16, e n portanto inclui 1-16, cujos produtos de estoque iniciais S(n) são ilustrados esquematicamente com formatos tridimensionais (3D) ou físicos diferentes incluindo cones 1-5 na parte inferior ou primeira prateleira, caixas retangulares altas 6-9 na segunda prateleira, caixas retangulares curtas 10-13 na terceira prateleira e latas cilíndricas 14-16 na quarta prateleira ou prateleira superior.
[0044] Esses dezesseis produtos (n) podem incluir duplicatas ou podem ser todos diferentes um do outro como desejado para venda e os dezesseis números de referência 1-16 representam tanto a identificação dos produtos diferentes, como também os gráficos, texto, cor, códigos de barra diferentes, e todos os sinais apresentados ou impressos nas superfície externas desses produtos.
[0045] O número de produtos (n) varia de 1 a N, e portanto, cada produto (n) pode ser alternativamente identificado por seu número de produto no inventário mestre designado como P(n), ou seu número de produto como exibido no inventário de estoque de subconjunto designado como S(n), com a aparência diferente de cada produto sendo simplesmente referenciada na presente invenção pelo numeral de referência do produto n = 1, 2, 3, ... N.
[0046] Por exemplo, os produtos 14-16 podem representar latas de bebidas diferentes por fabricantes diferentes tendo padrões de gráfico e cor diferentes, como a lata de bebida 14 ser de cor predominantemente vermelha com gráficos e texto correspondente e a lata de bebida 15 sendo de cor predominantemente azul com gráfico e texto correspondente.
[0047] Os produtos 6-13 podem representar produtos a varejo ou alimentícios exemplificadores para venda, novamente por fabricantes diferentes e tendo cor e gráficos diferentes.
[0048] E os produtos 1-4 podem representar itens adicionais exemplificadores como balas, outros itens alimentícios, ou produtos a varejo para venda por fabricantes diferentes e tendo cor e gráfico diferente.
[0049] Em uma configuração preferida das prateleiras em níveis 34 mostradas em vista em elevação frontal na figura 5, o estoque inteiro (S) de produtos (n) exibidos no gabinete 30 é adequadamente espalhado horizontalmente ou verticalmente sem sobreposições para fornecer visualização total pela câmera 42 no gabinete sem obstrução por produtos adjacentes. Cada produto pode ser adequadamente fixado nas prateleiras 34 por assentos de retenção correspondentes, ou adesivo ou VELCRO (TM) para a aplicação de AVM de aeronave, porém pode simplesmente se apoiar por gravidade nas prateleiras em configurações baseadas em terra não tendo movimento da AVM.
[0050] A AVM 28 é especialmente configurada para identificar qualquer produto removido de uma prateleira de display 34 por um cliente, não por detectar aquele próprio removido, mas por comparar imagens do estoque exibido antes e após o produto ser removido para determinar qualquer produto faltante na imagem do estoque restante. O cliente 48 é então cobrado e paga pelo produto faltante, que infere que tal produto foi selecionado e removido do gabinete 30 pelo cliente.
[0051] Esse procedimento de venda é bem diferente da máquina de venda típica que requer que o produto selecionado deva ser diretamente identificado em algum modo com equipamento correspondente e complexidade e peso.
[0052] O código de barras de produto típico requer um leitor de código de barras correspondente para identificar o produto ao fazer a compra. Um produto com etiqueta de RFID requer similarmente um leitor e equipamento ao fazer a compra. Tal código de barras e identificação de produto de RFID é indesejável em uma AVM de aeronave devido a sua complexidade e peso, e exigiria tipicamente supervisão da tripulação da cabine; e, portanto, não são prontamente favoráveis para operação segura e autoatendimento.
[0053] A AVM 28 mostrada na figura 5 tem notavelmente poucos componentes e utiliza a câmera 42 para imageamento do estoque exibido antes e após o produto ser removido do gabinete 30 pelo cliente 48. O computador 44 é especialmente configurado para identificar a partir do imageamento de câmera todos os produtos tanto no estoque inicial antes da retirada do produto como no estoque restante após a retirada do produto.
[0054] Observe que o estoque de display inicial (S) inclui todos os produtos 1-16, e o cliente 48 tirou ou removeu, por exemplo, apenas um único produto, como o produto 13, que deixa os quinze produtos 1-12 e 14-16 no estoque restante (S-(S-P)).
[0055] O computador 44 compara, então os produtos identificados nos estoques iniciais e restantes para determinar qualquer produto faltante entre os mesmos, como o produto exemplificador 13, e desse modo infere e designa o produto faltante 13 como o produto selecionado por cliente ou removido.
[0056] A câmera 42 é preferivelmente operada pelo computador 44 para imageamento prévio do estoque inicial (S) de produtos (n) antes da retirada de produto, e então identificar o estoque inicial de produtos a partir daquela imagem prévia 50, e então imageamento posterior do estoque restante de produtos após a retirada de produto, e identificar o estoque restante de produtos a partir daquela imagem posterior 52. Por então comparar o estoque restante assim identificado e o estoque inicial assim identificado, qualquer produto faltante pode ser identificado e contabilizado.
[0057] Na figura 5, a imagem prévia 50 do estoque (S) é mostrada esquematicamente como a vista frontal em elevação de todos os dezesseis produtos exibidos 1-16, e a imagem posterior 52 é mostrada esquematicamente como a vista frontal em elevação similar dos quinze produtos restantes exibidos 1-12 e 14-16.
[0058] Esquematicamente na figura 5, o estoque inicial (S) tem 16 produtos e o produto P(13) é removido deixando (S-P) ou 15 produtos restantes no display. A comparação das imagens prévia e posterior 50, 52 corresponde com (S-(S-P)) o que resultada em P sendo o produto removido, tal como o produto único 13 no exemplo mostrado na figura 5.
[0059] Se dois produtos 13 e 7, por exemplo, forem removidos do gabinete 30, a comparação (S-(S-P)) resultará na identificação daqueles produtos faltantes 13 e 7 como tendo sido removidos e agora em falta.
[0060] Observe que a imagem posterior 52 mostra que o cliente manipulou vários dos produtos de estoque exibidos (n) e reorganizou alguns deles antes de finalmente selecionar e retirar o produto exemplificador 13. Essa capacidade do cliente de simplesmente visualizar e tocar e examinar e até mesmo retornar qualquer produto de volta para o gabinete de display 30, independente de sua localização original na prateleira, mostra a grande versatilidade e simplicidade de venda da AVM 28.
[0061] O estoque inicial de produtos (n) pode ser, portanto, simplesmente exibido aleatoriamente ou em layout desejado ou padrão em uma ou mais das prateleiras de display 34 no gabinete de display trancado 30 para visualização inicial pelos clientes 48 através da porta de display transparente 32. E o cliente tem a capacidade de reorganizar aleatoriamente o layout do produto no gabinete visto que os produtos podem ser manualmente seguros e examinados.
[0062] O cliente 48 apresenta, então, um cartão de crédito ou telefone celular com Bluetooth ou App(aplicativo) de pagamento de RFID ao painel de display 46 ou área de comunicação adequadamente marcada, para autorizar acesso à compra a partir do gabinete 30. O computador 44 opera a câmera 42 para tirar a imagem prévia 50 do estoque inicial (S) no display, e então identifica adequadamente a partir daquela imagem prévia 50 todo e cada produto (n) naquele estoque inicial antes de abrir o gabinete 30.
[0063] O computador 44 abre então a porta do gabinete 32 para permitir acesso pelo cliente a todos os produtos exibidos no interior do gabinete, qualquer um ou mais dos quais pode ser manualmente manipulado e removido pelo cliente para inspeção e compra, ou retornado ao gabinete se não desejado.
[0064] O cliente fecha simplesmente a porta do display 32 quando terminar de inspecionar os produtos e o computador 44 então tranca a porta, e novamente opera a câmera 42 para tirar a imagem posterior 52 e então identificar adequadamente a partir daquela imagem posterior o estoque restante de produtos após qualquer produto ter sido removido pelo cliente, ou não.
[0065] O computador 44 é especialmente configurado para comparar a imagem prévia 50 e a imagem posterior 52 para combinar os produtos encontrados e identificados nas duas imagens e determinar se algum produto está faltando da imagem posterior 52.
[0066] Na figura 5, a imagem prévia 50 contém todos os dezesseis produtos de estoque inicial (S) 1-16 identificados pelo computador, e a imagem posterior 52 contém apenas quinze produtos (S-P) 1-12 e 14-16 novamente identificados pelo computador. Comparar esses resultados (S-S-P) mostra que o produto 13 (P(13)) está faltando a partir da imagem posterior 52.
[0067] O produto 13 é desse modo identificado por inferência uma vez que está faltando a partir do estoque de display, e o processo de venda é concluído por cobrar o pagamento ao cliente pelo produto faltante assim identificado (13).
[0068] A AVM 28 se baseia fundamentalmente em sua visão ou câmera ótica 42 e o computador associado 44 especificamente programado em software para tirar as imagens prévia e posterior do estoque de produto, e analisar adequadamente aquelas imagens para identificar os produtos (n) capturados nas mesmas e desse modo determinar se qualquer produto está faltando na imagem posterior após o cliente fechar a porta do display.
[0069] Uma vez que o cliente pode manualmente remover e inspecionar qualquer produto exibido (n) e aleatoriamente retornar o mesmo para o gabinete no local original ou locais diferentes, a identificação visual do estoque exibido deve ser executada tanto antes como após tal intervenção de cliente. É possível que nenhum produto seja selecionado e removido pelo cliente, e, portanto, o cliente não deve ser cobrado por qualquer produto não retirado do gabinete ou por qualquer produto meramente reorganizado no interior do gabinete.
[0070] Por conseguinte, o computador 44 é especialmente configurado para operar a câmera 42 para fazer imagens precisas do estoque de produto antes da porta de display ser destrancada e aberta pelo cliente, e após a porta ser fechada novamente e trancada novamente; e então precisamente detectar e reconhecer todo e cada produto (n) contido na imagem prévia 50 e imagem posterior 52 independente de localização e orientação nas prateleiras de display 34.
[0071] O reconhecimento preciso a partir das imagens de estoque assegura identificação precisa de todos os produtos exibidos, e inferência precisa de qualquer produto removido pelo cliente para contabilidade precisa e cobrança adequada para o mesmo.
[0072] Esse procedimento também provê segurança aperfeiçoada na venda dos produtos uma vez que se baseia na identificação de todo inventário ou estoque de produtos exibido no gabinete 30, e não requer identificação direta de qualquer produto efetivamente retirado pelo cliente.
[0073] Compare sistemas de checkout de autoatendimento típicos nos quais o cliente é vinculado para auto escanear produtos individuais além do leitor de código de barras típico para identificar o produto e tabular aquele produto na fatura resultante.
Evidentemente, a falha em ler qualquer item significa que tal item não será tabulado, nem pago; e, bem significativamente, tal auto escaneamento requer correspondentemente equipamento de leitura de código de barras. No ambiente limitado de uma aeronave, equipamento de autoatendimento, como o leitor de código de barras não é prático nem suficientemente seguro sem operação pela tripulação da cabine.
[0074] A AVM 28 introduzida acima provê, portanto, vantagens significativas em poucos componentes, pouco peso e simplicidade relativa para fornecer identificação precisa de um produto selecionado e venda por autoatendimento segura do mesmo em uma configuração de aeronave de passageiros, por exemplo apenas.
[0075] A identificação precisa dos produtos empilhados (n) pode ser provida na AVM 28 por implantação no computador 44 de uma Rede Neural artificial (A.N.N. Ou simplesmente ANN) treinada para detectar e reconhecer cada produto (n) tanto na imagem prévia de estoque 50 como na imagem posterior de estoque 52.
[0076] Redes Neurais artificiais são sistemas de computação convencionalmente conhecidos inspirados por redes neurais biológicas que podem ser treinadas para executar várias tarefas por considerar exemplos, em geral sem serem programados com quaisquer regras específicas de tarefas.
[0077] Em uma referência de Wikipedia, por exemplo, uma ANN pode ser treinada para reconhecimento de imagem, e pode identificar imagens que contêm objetos como um gato. No estágio de treinamento, uma variedade de imagens de treinamento ou exemplo é manualmente rotulada como gato ou não gato e analisada e então utilizada para identificar gatos em outras imagens.
[0078] A ANN faz isso sem nenhum conhecimento prévio sobre gatos, por exemplo, de que têm pelos, caudas, bigode e caras semelhantes a gato. Ao invés, a ANN gera automaticamente características de identificação a partir do material de aprendizagem que processam, e após treinamento adequado desenvolve uma assinatura neural ou heurística correspondente para cada objeto, como o gato.
[0079] ANNs têm sido utilizadas em uma variedade de tarefas incluindo visão computacional, reconhecimento de voz, traduções de máquinas, filtragem de rede social, jogar jogos de vídeo e tabuleiro, e diagnóstico médico, por exemplo.
[0080] Na AVM 28, a ANN implantada no computador 44 é especialmente configurada para utilizar visão computacional e analisar a imagem prévia 50 e a imagem posterior 52 para detectar e reconhecer as imagens de produtos em estoque capturadas nas mesmas. Observe, em particular, que a ANN não está sendo configurada para imagear diretamente e identificar o produto efetivo (13) sendo retirado do gabinete de display 30, porém ao invés disso, está imageando o estoque prévio e posterior para prever ou inferir produtos faltantes como descrito acima, e adicionalmente descrito abaixo.
[0081] A ANN implantada no computador 44 é treinada tanto para detectar como reconhecer cada produto na imagem prévia de estoque 50, bem como na imagem posterior de estoque 52; e o computador 44 compara então as imagens de produto de estoque reconhecidas por ANN entre a imagem posterior 52 e a imagem prévia 50 para identificar qualquer produto faltante, como o produto 13.
[0082] Como implantado na AVM 28 na figura 5, a ANN já é treinada, ou treinada previamente, para uso na detecção e reconhecimento preciso dos vários produtos (n) capturados na imagem prévia 50 e imagem posterior 52. Desse modo, a máquina de venda automatizada 28 é especialmente configurada como uma máquina de venda de rede neural artificial, ou simplesmente Máquina de Venda Neural, que se baseia na visão computacional para imagear os produtos de estoque e detectar e reconhecer a partir daquela imagem os vários objetos ou produtos capturados na mesma.
[0083] A figura 6 ilustra esquematicamente como a ANN é treinada em um processo e outro modo convencional, exceto como especialmente modificado para uso na AVM 28. A figura 6 mostra treinamento similar para duas ANNs diferentes, uma primeira ANN-1 e uma segunda ANN-2 para uso na AVM 28, como descrito em mais detalhe abaixo.
[0084] Tanto a primeira ANN-1 como a segunda ANN-2 são treinadas previamente antes do uso na venda dos produtos para identificar precisamente cada dos inúmeros produtos (N) no inventário mestre dos mesmos. Cada produto (n) é inicialmente capturado pela câmera 42 a partir de ângulos adequados para fornecer uma identificação exclusiva do mesmo com base em configuração física, tamanho e/ou geometria do mesmo, incluindo aparência e cor ou qualquer atributo físico adequado. Por exemplo, duas latas de bebidas de tamanho idêntico poderiam ser identificadas e distinguidas pela cor e padrão dos rótulos distintivos das mesmas.
[0085] Os resultados do treinamento de identificação de produto são então utilizados na AVM 28 para fornecer um banco de dados preciso de um inventário de produto adequadamente grande (N) do qual os produtos (n) do estoque de subconjunto (S) exibidos para venda na AVN podem ser autenticados para venda ao passageiro.
[0086] O treinamento prévio convencional inclui primeiro imageamento do inventário mestre desejado de uma variedade de produtos (n) incluindo o estoque de produto inicial (S). Como indicado acima o inventário mestre de produtos (n) do qual o estoque de display (S) é selecionado pode ser tão grande e variado quanto desejado, onde N representa o número máximo de produtos em potencial, e pode ter qualquer valor adequado como 10, 100, 500 e mesmo 1000 ou mais como desejado.
[0087] Cada produto (n) tem uma configuração física e tridimensional (3D), e terá gráfico, texto, esquemas de cor e códigos de barra, correspondentes, impressos na superfície externa do mesmo, e referenciado esquematicamente pelos números do produto 1, 2, 3, ... 18.... N mostrados na figura 6.
[0088] Os produtos (n) sendo treinados são produtos reais para uso subsequente na AVM pretendida 28. O estoque (S) exibido na AVM é um subconjunto adequado do inventário mestre (N) e inclui, por exemplo, produtos 1-16 como mostrado no exemplo da figura 5.
[0089] Uma câmera de treinamento adequada 54 é operativamente unida a outro computador 56, tipicamente mainframe, e múltiplas imagens de treinamento são feitas de cada produto (n) que é submetido a aprendizagem ou treinamento nas duas ANNs.
[0090] Cada imagem de treinamento pode incluir um ou mais produtos, adequadamente separados em quadrado ou estrutura manual pelo técnico de treinamento para assegurar imageamento completo dos mesmos e múltiplas imagens de cada produto são feitas com orientações, ângulos, iluminação, segundo plano,
posição, quadrado, diferentes etc., como desejado.
[0091] Por exemplo, produtos inicialmente treinados podem exigir 500 a 1000 imagens cada para treinamento das ANNs para detecção e reconhecimento preciso dos mesmos. Subsequentemente os produtos treinados podem então exigir apenas cerca de 70 a 100 imagens diferentes para treinamento preciso das ANNs.
[0092] Como indicado acima, ANNs em geral são convencionais, bem como o treinamento das mesmas. Cada ANN é configurada para analisar cada imagem de treinamento de produto e tanto detectar produtos na mesma como reconhecer aqueles produtos, com uma predição do produto analisado.
[0093] Primeiramente, o produto predito pela ANN não treinada será incorreto no processo de treinamento, quando comparado com o produto real contido na imagem de treinamento e então pesos ou tendências correspondentes são ajustados no modelo de ANN, que é rodado novamente para a próxima predição. Esse processo iterativo é repetido para uma variedade de iterações ou épocas até que a ANN seja adequadamente treinada e aprenda a assinatura neural correspondente X(n) para cada produto (n).
[0094] Como indicado acima, ANNs convencionais geram automaticamente características de identificação a partir do material de aprendizagem que processam, cujas características são abstrações matemáticas, porém não obstante representam um produto ou assinatura neural X(n) entendida pela ANN para detectar e reconhecer precisamente cada produto.
[0095] O processo de treinamento continua produto a produto até que todos os produtos (n) possam ser precisamente detectados e reconhecidos a partir de uma imagem do mesmo com base em uma assinatura neural correspondentemente desenvolvida X(n), e a assinatura neural correspondente para cada produto é armazenada para uso posterior na AVM em um inventário ou banco de dados de assinatura adequado para todos os produtos (n).
[0096] Durante um programa de desenvolvimento para detectar e reconhecer seis objetos de teste, um milhão de iterações de treinamento ou épocas foram executadas exigindo seis dias completos de vinte e quatro horas de tempo de computador para desenvolver uma ANN da 12ª geração com precisão suficiente para identificar aqueles seis objetos de teste a partir de imagens correspondentes dos mesmos e desse modo suportar prova de conceito.
[0097] Como indicado acima, duas ANNs são similarmente treinadas no fluxograma da figura 6, e a figura 5 ilustra esquematicamente uma ou mais de tais ANNs treinadas previamente usadas no computador de AVM 44.
[0098] Para melhor identificação do produto, a mesma ANN treinada previamente é utilizada para detectar e reconhecer os produtos (n) tanto na imagem prévia 50 como na imagem posterior 52 na AVM 28 mostrada na figura 5. De modo correspondente, a câmera AVM 42 deve ser igual ou similar à câmera de treinamento 54, com desempenho ótico e digital adequado para assegurar melhor combinação das assinaturas de produto neural detectadas X(n) a partir das imagens e o banco de dados ou inventário de assinatura aprendido.
[0099] Embora o computador de treinamento 56 mostrado na figura 6 seja de preferência um computador mainframe com capacidade de computação aperfeiçoada para treinamento da ANN, o computador de AVM 44 mostrado na figura 5 pode ser substancialmente menor em tamanho e desempenho de processamento computacional para uso adequado na implantação da ANN treinada para identificação de produto.
[0100] A figura 7 ilustra uma configuração preferida da AVM 28 mostrada na figura 5 na qual o computador 44 é configurado em software para incluir duas ANNs diferentes incluindo uma primeira Rede Neural artificial (ANN-1) treinada previamente tanto para detectar como reconhecer cada produto (n) nas imagens de estoque, e uma segunda Rede neural artificial (ANN-2) configurada de modo diferente da primeira ANN-1, e treinada previamente tanto para detectar como reconhecer cada produto nas mesmas imagens de estoque.
[0101] A primeira ANN-1 tem seu próprio primeiro banco de dados ou inventário-1 treinado de assinaturas neurais X(n), e a segunda ANN-2 tem seu próprio segundo banco de dados ou inventário -2 treinado de assinaturas neurais X(n), que serão diferentes das assinaturas na primeira ANN-1.
[0102] As duas ANNs diferentes são usadas em paralelo em avaliação de agrupamento de organização (SPE) para detectar e reconhecer independentemente os produtos tanto na imagem prévia 50 como na imagem posterior 52. A primeira ANN-1 é utilizada para detectar e reconhecer os produtos na imagem prévia 50 e imagem posterior 52, com limiar de erro ou precisão adequado; e a segunda ANN-2 é utilizada em paralelo para detectar e reconhecer os produtos na mesma imagem prévia 50 e na mesma imagem posterior 52, com limiar de erro ou precisão adequado.
[0103] Ambas as ANNs preverão então todos os produtos (n) naquelas imagens prévias e posteriores, com o software de computador sendo especialmente configurado para comparar tais produtos de estoque reconhecidos pela ANN (n) entre a imagem posterior 52 e a imagem prévia 50. O Reconhecimento do produto pela primeira e segunda ANNs deve concordar em melhorar a precisão da identificação de produto e se os produtos preditos (n) encontrados nas imagens não concordarem, a AVM 28 reportará um Erro no painel de display 46 e então exigirá intervenção da tripulação da cabine.
[0104] A concordância entre as duas predições de produto da ANN assegura identificação mais precisa do produto retirado ou faltante na imagem posterior 52 e permite que a transação de compra seja concluída, com o pagamento cobrado ao cliente.
[0105] Duas ANNs diferentes são preferidas na AVM 28 para explorar as vantagens correspondentes de tecnologia ou modelos de ANN diferentes, com assinaturas neurais correspondentemente diferentes X(n). Muitos tipos de ANNs convencionais são conhecidos e variam significativamente em desempenho.
[0106] Para a AVM 28, é desejável ter duas ANNs diferentes tendo abordagens diferentes para detecção e reconhecimento. Uma vez que a identificação do produto depende da análise das imagens do produto, cada imagem deve ser primeiramente analisada para detectar objetos ou produtos diferentes na mesma. Após detecção do objeto, os objetos devem ser também adequadamente reconhecidos.
[0107] Na imagem prévia 50 do estoque de produto exemplificador (S) mostrada nas figuras 5 e 7, os dezesseis produtos exibidos (n) têm configurações e formatos e aparências diferentes e as ANNs devem detectar primeiramente e diferenciar entre os dezesseis produtos encontrados na imagem prévia 50; e então as ANNs devem reconhecer cada daqueles dezesseis produtos (n) com base no treinamento extenso das ANNs e assinaturas neurais correspondentes X(n).
[0108] Por incorporar todas ANNs muito diferentes na AVN neural 28, a precisão da identificação do produto pode ser substancialmente melhorada por exigir acordo entre as duas ANNs na identificação de cada produto (n), ou então a transação de venda terminará em um erro, desse modo exigindo intervenção da tripulação da cabine.
[0109] Um tipo adequado de ANN convencional é a Rede Neural convolucional (CNN ou ConvNet) configurada para reconhecimento e classificação de imagem. CNNs tiveram sucesso na identificação de rostos, objetos e sinais de trânsito para acionar sistemas de visão em robôs e carros autônomos.
[0110] Outro tipo adequado de ANN convencional é a Rede Neural Convolucional baseada em região (RCNN) fornecendo detecção de objeto visual do estado da técnica utilizando uma CNN tendo regiões alvo para avaliar a utilização de janelas deslizantes de busca seletiva. Uma RCNN exemplificadora é revelada no artigo arVix
1311.2524 disponível online a partir da arXiv.org, apresentado em 11 Nov. 2013 (vl) e revisado por último em 22 Out 2014 (v5).
[0111] Outro tipo adequado de ANN convencional é o Detector de Shot único (Single Shot Detector - SSD) no qual uma CNN opera em uma imagem de entrada apenas uma vez e calcula um mapa de aspectos. Um SSD exemplificador na forma de um detector de múltiplos quadrados de shot único (single shot multibox detector) é revelado no artigo arVix 1512.02325 disponível online da arXiv.org, apresentado em 8 Dez 2015 (vl) e revisado por último em 29 Dez 2016 (v5).
[0112] Um núcleo convolucional de tamanho 3x3 pequeno nesse mapa de aspectos é utilizado para prever os quadrados de limitação e probabilidade de classificação. SSD também utiliza quadrados de fixação em várias razões de aspecto similares a RCNN. Para lidar com a escala, SSD prevê quadrados de limitação após múltiplas camadas convolucionais. Uma vez que cada camada convolucional opera em uma escala diferente, é capaz de detectar objetos de várias escalas.
[0113] Na AVM 28 mostrada na figura 7, as duas ANNs diferentes incluem, de preferência, a primeira ANN-1 na forma de um Detector de shot único (SSD) e a segunda ANN-2 na forma de uma Rede Neural convolucional baseada em região (RCNN).
[0114] O objetivo dessa seleção é ter duas redes muito diferentes que têm abordagens diferentes para detecção e reconhecimento. A RCNN é tipicamente maior em aspectos e mais intensa, e desse modo mais lenta em desempenho, o que resulta em capacidade de reconhecimento aperfeiçoado. O SSD é tipicamente menor em aspectos e de modo correspondente mais rápido em desempenho e tem limiares de detecção mais generosos.
[0115] As duas ANNs diferentes são então combinadas na AVM 28 para efetuar coletivamente a Avaliação de agrupamento de organização na qual cada rede, SSD e RCNN, operam em paralelo na mesma imagem prévia 50 e mesma imagem posterior 52 para prever independentemente quais produtos (n) são reconhecidos nas mesmas, e aquelas predições são então agrupadas juntas e avaliadas por comparação de modo que apenas acordo em predições para produto a produto para o estoque (S) de produtos capturados nas imagens permitirão inferência e identificação de qualquer produto que falta na imagem posterior 52.
[0116] Se tal agrupamento de predições concordar, o produto faltante é mais precisamente inferido, e a transação de venda é permitida para conclusão por cobrar o pagamento ao cliente.
[0117] Se tal agrupamento não concordar para qualquer das imagens de produto, então um resultado de erro é enviado para o painel de display 46 para exigir intervenção da tripulação de cabine.
[0118] Precisão adicional na identificação do produto faltante 13 mostrado na figura 7 pode ser opcionalmente efetuada por implantar no computador 44 um Sistema de Reconhecimento visual secundário (SVRS) 58 em software adicional ou algoritmos para identificar a partir de uma assinatura secundária adequada Y (n) cada produto (n) tanto na imagem prévia de estoque 50 como na imagem posterior de estoque 52.
[0119] A figura 6 mostra o inventário mestre ou variedade de produtos (N) incluindo o estoque de produto inicial (S) exibido no gabinete de AVM 30 na figura 7.
[0120] Como mostrado na figura 7, uma assinatura secundária Y (n) pode ser adequadamente definida para cada produto (n) no inventário mestre (N) com base em aparência real do produto, não apenas a abordagem heurística utilizada para treinar as ANNs para estabelecer as assinaturas de produto neural diferentes X(n).
[0121] Cada produto (n) tem uma configuração adequada, incluindo tamanho e formato físico em 3D, com gráficos, texto, cor, códigos de barra diferentes e outros sinais apresentados ou impressos nas superfícies externas do mesmo.
[0122] Qualquer aspecto de aparência física adequada dos produtos pode ser selecionado e extraído a partir das imagens de treinamento para uso como a assinatura secundária Y(n) armazenada em um banco de dados adequado 60 de assinaturas secundárias Y(n) no computador de AVM 44.
[0123] Então uma comparação adicional pode ser feita pelo computador 44 da imagem prévia de estoque 50 e a imagem posterior de estoque 52 para identificar o produto faltante (13) com base na assinatura secundária Y(n) do mesmo, além da comparação de SPE fornecida independentemente pelas duas ANNs utilizando a assinatura neural X(n).
[0124] Por exemplo, a assinatura secundária Y(n) pode ser uma assinatura de cores dos produtos (n) e o SVRS 58 pode ser configurado em algoritmos de software adequados para incluir detecção de Objeto grande Binário (BLOB – Binary Large Object) convencional das assinaturas de cores Y(n).
[0125] Em outro exemplo, a assinatura secundária Y(n) pode ser o texto ou rótulo impresso nos produtos, e o SVRS 58 incluiria, então, software de Reconhecimento de Caractere Ótico (OCR) convencional ou algoritmos para reconhecimento da assinatura de texto Y(n).
[0126] Em qualquer configuração, uma avaliação secundária da imagem prévia 50 e imagem posterior 52 com base em aparência física dos produtos capturados nas mesmas pode ser utilizada para identificar adequadamente aqueles produtos em outra avaliação paralela à avaliação de SPE baseada em neural provida pelas duas ANNs.
[0127] A identificação primária do produto faltante (13) é efetuada pelas duas SPE- ANNs que devem concordar entre si (SIM) para autorizar e concluir a transação de venda, e cobrar o pagamento ao cliente.
[0128] Se a identificação de SVRS do produto faltante (13) for também bem- sucedida (SIM), a transação de venda ainda é autorizada, porém com certeza adicional na identificação do produto retirado (13). Se a identificação de SVRS não identificar o produto faltante (13), um erro será simplesmente registrado ou gravado, e a transação ainda autorizada com base na concordância única (SIM) das duas SPE- ANNs.
[0129] Após uma transação de venda inicial com um cliente, outro cliente pode acessar a AVM 28 e repetir a transação de venda descrita acima. Como observado acima para as figuras 5 e 7, o cliente anterior pode ter adquirido o produto 13, por exemplo, que está agora em falta no estoque exibido (S-P13). Adicionalmente, esse cliente anterior pode ter reorganizado os produtos exibidos como mostrado na imagem posterior 52.
[0130] Se a tripulação de cabine atender ou repor o estoque da AVM 28, o gabinete pode ser retornado ao estoque de display cheio original (S) dos produtos 1 - 16 no layout original ou em um layout reorganizado diferente. Se a tripulação da cabine não atender a AVM 28 após a venda anterior, o estoque exibido (S-P13) permanecerá na disposição mostrada na imagem posterior 52.
[0131] Quando o próximo cliente começa a transação de venda, a imagem prévia resultante 50 pode ser feita nova pela câmera 42 e combinará então com a imagem posterior anterior 52, e uma nova imagem posterior (52) será feita pela câmera para determinar quais, se alguns, produtos foram retirados do gabinete de display 30 para compra por aquele próximo cliente.
[0132] Esse processo de venda continuará até que o estoque exibido seja esgotado ou diminuído, ou o voo da aeronave termine, com cada transação de venda sucessiva seguindo a detecção e reconhecimento visual baseada em ANN descrito acima para identificar qualquer produto removido ou faltante de cada imagem posterior 52 feita pela câmera 42.
[0133] Embora a AVM 28 possa ser configurada para uso em qualquer ambiente adequado, incluindo baseado em terra, a configuração baseada em ANN especial da mesma torna particularmente útil e benéfico em aplicações de aeronave, que inicialmente exigem conformidade com o governo de F.A.A. Em relação a navegabilidade aérea, e deve ser leve, e fornecer autoatendimento seguro por clientes individuais, sem a necessidade de operação ou supervisão pela tripulação da cabine, exceto sob condições de erro ou defeito, ou para novo estoque.
[0134] Por conseguinte, a AVM 28 pode ser convenientemente montada na fuselagem da aeronave 22, como mostrado nas figuras 1 e 2 em qualquer local adequado no interior da cabine de passageiro 26, com o gabinete de display 30 sendo prontamente acessível a passageiros durante voo. Como indicado acima, o próprio gabinete de display 30 pode ter várias configurações para distribuição adequada no interior da cabine de passageiro onde o espaço permite.
[0135] A AVM configurada para aeronave, 28, pode ter mínima complexidade e peso como caracterizado pela ausência expressa de sistemas convencionais para identificar diretamente e dispensar automaticamente qualquer produto a partir do gabinete de display, incluindo leitoras de código de barras 62, detectores de Identificação de Radiofrequência (RFID) 64, e calhas de dispensar mecanicamente acionadas 66, como ilustrado esquematicamente na figura 3 como não necessárias e não providas na AVM 28.
[0136] A maioria dos equipamentos de venda automatizada convencionais, portanto, não é necessária para operação, com a configuração básica precisando somente do gabinete de display trancado 30 com prateleiras adequadas 34 para exibir o estoque (S) de produtos (n), e a câmera 42 adequadamente montada no interior da cabine 30 e unida operativamente ao computador 44, que é programado previamente em software para operar todas as funções da AVM 28, incluindo identificação de rede neural artificial de qualquer produto selecionado por um cliente e retirado a partir do gabinete 30 para compra automatizada.
[0137] A figura 8 apresenta um fluxograma de treinamento mais detalhado 68 no qual uma companhia aérea específica selecionará mercadoria ou produtos desejados para venda na AVM 28 e a primeira ANN-1 ou ANN-1 mestre e a ANN-2 escrava ou segunda ANN-2 são adequadamente treinadas para desenvolver assinaturas neurais ou heurísticas correspondentes X(n) para cada produto (n) para implantação subsequente na AVM 28.
[0138] O treinamento de ANN é convencional, porém o teste de desenvolvimento para uso na AVM de aeronave 28 sugere certos aperfeiçoamentos específicos na mesma. O treinamento fornece à rede neural cada imagem de produto e um quadrado de ligação indicando o produto-objeto e seu tipo, a rede então repetidamente olha todas as imagens de treinamento e ajusta seus atributos internos para convergir em direção a uma solução otimizada.
[0139] Um produto novo (n) pode ser adicionado por tomar imagens estáticas em um ambiente controlado emulando a AVM, e em ângulos e distâncias diferentes do produto. As imagens podem ser então acondicionadas e convertidas em um formato numérico para permitir que a rede neural seja treinada.
[0140] Os parâmetros de treinamento de ANN podem incluir: seleção de rede neural artificial pré-configurada adequada; robustez de convergência da rede para evitar encaixe em excesso; seleção de produtos desejados (n); três Unidades de Manutenção de estoque (SKU) três em de cada vez; um ou mais produtos (n) por imagem de treinamento; 70, 100, 200, 300, 600, 1000, ou mais imagens de treinamento; quadrados de limitação de reconhecimento grandes ou pequenos e verdade fundamental (grounded truth); quadrados de ligação alinhados e/ou não alinhados; e qualidade de imagem de treinamento.
[0141] Embora produtos inicialmente treinados possam exigir 500 ou mais imagens de treinamento cada, produtos subsequentemente treinados podem exigir menos imagens de treinamento, como 70 a 100 para treinamento preciso das ANNs.
[0142] O sistema precisa ser visualmente treinado para reconhecer novos itens de mercadoria e, portanto, a mercadoria necessita ser visualmente diferente para permitir classificação. Os itens que parecem similares, serão classificados iguais. Isso pode causar ou não uma preocupação operacional visto que realmente efetua somente preço e estratégias de controle de inventário absolutas.
[0143] O aprendizado de transferência é preferivelmente utilizado para reduzir o número de imagens exigidas. O aprendizado de transferência retreina uma ANN treinada previamente para classificar um novo conjunto de imagens. Sem aprendizado de transferência uma rede vazia precisa de 1000’s de imagens para treinar até uma precisão útil.
[0144] Durante o estágio de treinamento cada imagem deve ser manualmente anotada pelo treinador para informar ao computador qual objeto ou produto cada imagem de treinamento contém, e onde na imagem cada objeto está situado. Um quadrado de limitação rotulado é criado pelo treinador. Essa imagem bruta é então provida para a rede sendo treinada que estima o resultado. Um valor de erro é provido sobre quão bem a rede adivinha o conteúdo da imagem.
[0145] No início de treinamento o erro é muito alto quando a rede adivinha; e o objetivo do algoritmo de aprendizado é reduzir o reconhecimento de objeto de erro por otimizar os valores de peso ou tendências em cada neurônio na rede.
[0146] O desenvolvimento experimental de uma ANN sugere que um mínimo de 70 a 100 imagens pode ser utilizado para produzir resultados precisos e confiáveis para uma nova mercadoria para detectar e reconhecer corretamente um produto (n).
[0147] A rede específica sendo treinada extrairá aspectos ou atributos heurísticos durante o estágio de treinamento. Portanto, mais imagens, e imagens mais variadas (em termos de posição, iluminação, orientação etc.) permitem que o treinamento de rede extraia aspectos de nível alto, qualidade superior no desenvolvimento da assinatura neural X(n) para o produto específico (n). Como o cérebro humano, aspectos de identificação começam em nível baixo, como formato, cor e tamanho e se tornam nível mais alto e mais abstrato como um rosto, uma cabeça, um corpo etc., com melhor treinamento de aspecto obtendo melhor reconhecimento de produto ou objeto. Apenas o estágio de reconhecimento da ANN precisa de novo treinamento quando nova mercadoria é adicionada. O treinamento requer apenas um pedaço físico da mercadoria real.
[0148] Imagens são então feitas em um ambiente controlado de segundo plano, iluminação, câmera, ângulo etc., em vários ângulos e posição da mercadoria. Essas imagens são preferivelmente feitas em resolução máxima de câmera. 70 a 100 imagens diferentes visualmente quantificáveis de cada produto (n) são normalmente necessárias após treinamento de alguns produtos iniciais, que exigem substancialmente mais imagens de treinamento.
[0149] As imagens de treinamento podem conter itens de mercadoria únicos ou diferentes utilizando quadrados de ligação adequados aplicados manualmente pelo operador ou técnico para destacar ou designar cada produto (n). Isto é, o usuário deve definir o maior quadrado de limitação, uma vez que o estágio de detecção da ANN não está sendo treinado novamente, para cada pedaço de mercadoria em cada imagem. As imagens de treinamento junto com anotação do usuário fornecem a verdade fundamental em um conjunto de dados que é utilizado para treinar a ANN. O processo de treinamento real é um processo de convergência iterativa de resolução numérica. Isso demanda muita energia de processamento, que pode ser feito localmente, ou empurrado sobre a nuvem para computação.
[0150] As imagens de treinamento são preferivelmente divididas cerca de 20% para teste ou avaliação e cerca de 80% para treinamento real. O conjunto de dados de treinamento é utilizado para treinar a ANN, ajustando a tendência de peso. Então em cada Época, ou iteração de loop, os dados de teste são utilizados para avaliar quão bem-sucedida a classificação foi. O treinamento é concluído quando as perdas de classificação estão compreendidas em critérios aceitáveis. O treinamento é uma atividade offline, isolada não executada na própria AVM real 28.
[0151] Portanto, a criação de dados de treinamento ótimos incluirá tipicamente: antecedentes do produto; ambiente de iluminação; detecção de objeto a objeto e posição relativa; objeto único e múltiplos objetos por imagem de treinamento; número de imagens de treinamento; qualidade, tamanho, profundidade de bit da imagem de treinamento; definição de quadrado de limitação de verdade fundamental; e convergência de treinamento, com precisão ou perdas diferentes para tipos diferentes de ANN. As imagens de treinamento devem evitar oclusão de objeto ou sobreposição que oculta o limite completo de cada produto.
[0152] Após treinamento, a ANN é armazenada e acondicionada em um formato de execução eficiente para acelerar a inferência ou avaliação de predição e adequadamente carregada ou transmitida para o computador de AVM 44.
[0153] A câmera de AVM 42 deve ter desempenho ótico e digital combinando adequadamente com aquele da câmera de treinamento 56 para combinar melhor com o desempenho da ANN específica treinada a partir das imagens providas a partir da mesma.
[0154] A figura 9 apresenta um fluxograma de venda detalhada 70 de uma transação de venda típica por um cliente utilizando a AVM 28. As ANNs treinadas previamente otimizadas a partir do treinamento acima são carregadas na memória do computador de AVM 44, junto com a classificação, mercadoria, tabela de consulta de nome.
[0155] As imagens dos produtos exibidos (n) devem ser feitas pela câmera de AVM 42 com uma resolução adequada ou profundidade normal de cerca de 1024 x 1024 pixels, por exemplo. Os dados de imagem são adequadamente convertidos em uma disposição numérica e normalizados em um formato que pode ser utilizado nas ANNs.
[0156] As ANNs após providas com os dados de imagem, processam esses dados, e a rotina de inferência de reconhecimento e detecção treinada fornece uma classificação de confiança como uma indicação de precisão de predição. Há uma classificação de confiança para cada das classes de produtos predefinidas.
[0157] Essa avaliação não é precisa. Os estágios de inferência tanto de detecção como reconhecimento vêm com níveis de confiança correspondentes, que são combinados para fornecer uma percentagem geral de reconhecimento de objeto. Apenas objetos com um nível de confiança maior que um valor de limiar visual adequado são classificados no inventário. A definição desses valores de limiar controla a precisão do inventário de mercadoria mestre.
[0158] Lógica de precisão pode ser baseada no conceito primário e secundário. Se o SPE primário discordar, então um erro é chamado exigindo interação humana, que normalmente significa apenas reorganizar a mercadoria e redefinir a AVM 28 novamente com uma nova imagem de inventário.
[0159] Se o sistema de SVRS secundário 58 discordar com o SPE primário, então um erro é apenas chamado se fora de uma tolerância trabalhável, por exemplo, o primário detecta 20 produtos na imagem e o secundário detecta apenas 10 produtos na mesma imagem então um erro é gerado.
[0160] Os resultados dos experimentos de desenvolvimento sugerem que para precisão melhor geral, o display de produtos deve ter espaços brancos entre o layout de produtos, nenhuma sobreposição significativa entre os produtos, descrição de produto ou nome visível, alinhamento ou orientação da câmera para visualização total do estoque, menos de 100 produtos no display, e desempenho de ANN resolvido para níveis de perdas aceitáveis de cerca de menos de 0,05 para a RCNN e menos de cerca de 2,0 para o SSD.
[0161] A sequência de compra básica tem etapas extremamente simples nas quais um usuário ou passageiro simples se aproxima da AVM 28, autoriza previamente o pagamento, abre a porta do gabinete 32, examina e manualmente seleciona qualquer um ou mais produtos (n) e fecha a porta 32, com a AVM 28 então identificando automaticamente o produto retirado e cobrança ou cobrando o pagamento na forma de pagamento autorizada previamente pelo passageiro.
[0162] A primeira e segunda ANNs treinadas previamente são especialmente configuradas para detectar e identificar os produtos de estoque na imagem prévia correspondente 50 e imagem posterior 52 para inferir qualquer produto removido ou faltante a partir da imagem posterior 52 e desse modo selecionado pelo cliente.
[0163] No fluxograma de sequência de compras 70, o passageiro vai até a máquina de venda 28 e examina produtos disponíveis (n) através da porta de display de janela transparente 32; toca de leve um cartão de pagamento ou telefone celular no painel de display da máquina 46 (RFID, Bluetooth ou similar, ou também pode ser através de app de telefone da companhia aérea); a porta do gabinete 32 destranca; a máquina tira um instantânea ou pré-foto de inventário inicial 50 do inventário de produto (S); o passageiro abre a porta 32 e tira um ou mais produtos (n), se desejar; fecha a porta 32, que trava automaticamente; a máquina tira um segundo instantâneo ou foto posterior 52 do inventário desse modo modificado (S-(S-P)) e calcula o pedido ou compra de um ou mais itens de produtos selecionados, por exemplo produto 13 (P13) tirado; e o sistema de pagamento resolve o pedido e cobra o(s) item(s) comprado(s) ao método de pagamento do passageiro, após o que o inventário restante (S-(S-P)) na máquina é automaticamente atualizado.
[0164] Após abastecimento do gabinete 30, uma série de imagens de inventário é feita pela câmera 42 para determinar e registrar o inventário inicial de produtos (n) efetivamente estocados (S) na máquina de venda e um banco de dados de inventário de produto é atualizado de modo correspondente.
[0165] Uma imagem nova é feita pela câmera imediatamente antes da seleção de cada usuário ou cliente, cuja imagem nova é utilizada para visualmente detectar e reconhecer todos os produtos estocados no gabinete 30. Os dados de inventário são utilizados como verificação da imagem de pré-seleção para melhorar a precisão e robustez.
[0166] Após a seleção do produto, uma segunda imagem é tirada pela câmera para detectar e reconhecer o estado atual do estoque exibido contido no gabinete de display 30. O inventário de produtos é atualizado e permite movimento de produtos, alinhamento errôneo e fora do lugar no gabinete 30, bem como uma determinação no local do qual um ou mais itens de display foram retirados a partir do gabinete de display.
[0167] Essa segunda imagem é verificada contra o banco de dados de inventário inicial e o banco de dados de inventário de seleção prévia, e o estoque de máquina esperado é ajustado ou corrigido como necessário.
[0168] Como indicado acima, a máquina de venda em aeronave, baseada em ANN 28 pode ser de configuração física extremamente simples tendo componentes básicos mínimos incluindo um gabinete de display seguro ou travável 30, uma câmera de precisão 42 com um campo de visão adequado para registrar precisamente uma ou mais imagens do estoque exibido inteiro (S) e um mecanismo de pagamento eletrônico integral tudo controlado por um computador programável comum 44 tendo software especialmente configurado no mesmo.
[0169] Esses componentes mecânicos básicos podem ser facilmente projetados para uso em aeronave, e adequadamente certificados de acordo com as Regulações de Aeronaves pelo Governo, exigidas. Qualquer sistema de suporte de pagamento adequado pode ser utilizado para fornecer opções de pagamento convenientes.
[0170] Qualquer sistema de suporte de inventário de produtos adequado pode ser utilizado para manter um banco de dados de inventário inicial para a máquina de venda, e então fornecer atualizações no local do mesmo quando a máquina de venda é utilizada e o estoque de inventário (S) na mesma é esgotado e reabastecido pela tripulação da cabine quando conveniente.
[0171] A câmera AVM 42 é adequadamente utilizada para estabelecer inventário preciso dentro do gabinete de display pouco antes e pouco após o passageiro fazer uma seleção por retirar um ou mais itens a partir da prateleira de display.
[0172] Tais itens retirados são então comparados com o banco de dados de inventario treinado para determinar precisamente sua identidade e preço de venda na conclusão da transação de venda, após o que o banco de dados de inventário é atualizado. A próxima compra de venda subsequente será similarmente feita pelas imagens antes e após da prateleira de display para identificar precisamente qualquer produto adicional (n) retirado a partir da mesma para compra.
[0173] À medida que as prateleiras de display são esgotadas de itens durante uma série de vendas, as prateleiras de display podem ser reabastecidas pela tripulação da cabine por simplesmente colocar novos itens em espaço disponível na prateleira e fechar a porta do gabinete. A próxima imagem antes da venda então atualizará automaticamente o inventário da prateleira de display utilizando a identificação de inventário anteriormente treinado, e a próxima imagem após seleção determinará precisamente a identificação de qualquer produto retirado (n) e o preço de venda para o mesmo.
[0174] Por conseguinte, o gerenciamento de inventário preciso pode ser mantido primeiramente por analisar a imagem prévia do estoque de inventário de início armazenado no gabinete seguro 30 para detectar e reconhecer os produtos individuais (n); permitir dispensação ou remoção pelo usuário de qualquer produto armazenado; analisar a imagem posterior do estoque de inventário para detectar e reconhecer qualquer tal produto removido; e então contabilizar ou atribuir qualquer tal produto removido ao usuário, que pode então ser adequadamente cobrado para o mesmo em uma transação típica de máquina de venda. O gerenciamento de inventário será então atualizado para refletir o produto retirado, e desse modo manter um registro preciso de inventário do conteúdo do gabinete de display para uso subsequente.
[0175] A detecção e reconhecimento de produtos pode ser realizada utilizando uma rede neural artificial treinada previamente única que tem diferentes estágios para detecção e reconhecimento; ou múltiplas redes neurais artificiais treinadas previamente podem ser utilizadas em configuração de agrupamento de organização para detecção e reconhecimento de produtos dependendo da configuração de produtos e precisão de identificação desejada.
[0176] O estágio de detecção pode ser treinado na fábrica, e, portanto, ligado por fios no banco de dados. O estágio de reconhecimento pode ter produtos novos ou adicionais adicionados ao inventário mestre como desejado.
[0177] A AVM 28 descrita acima pode ser extremamente leve, confiável, rápido e certificável para fornecer uma solução de venda a bordo nova, e, portanto, fornecer um fluxo de receita de linha aérea adicional. Designs, materiais e práticas aeroespaciais podem ser eficazmente utilizadas para configurar especialmente a AVM para uso em aeronave de passageiros para uso durante voo.
[0178] A máquina de AVM pode ser quase de qualquer tamanho e configuração para complementar espaço disponível limitado em uma aeronave específica e necessita simplesmente interfaces de energia e comunicação. Efetivamente, a máquina de AVM pode incluir componentes de câmera e computador aeroespaciais padrão em um gabinete seguro, que será mais simples para certificar.
[0179] O sistema de visão baseado em câmera evita a necessidade de mecanismos complexos, o que poupa peso substancial, e é mais facilmente certificável para uso em aeronave em voo. A AVM pode utilizar um sistema de pagamento eletrônico sem dinheiro, e a seleção de artigo será avaliada, monitorada e controlada por um sistema de visão baseado em computador sem mecanismo.
[0180] A AVM de autoatendimento provê uma primeira experiência de passageiro demonstrando como interações naturais e instintivas com os produtos no interior da cabine podem ser obtidas enquanto combina elegantemente novas tecnologias. A AVM utiliza Inteligência Artificial (A.I.) para permitir que o passageiro simplesmente selecione um produto a partir do display de autoatendimento, que é então automaticamente cobrado em sua conta.
[0181] A AVM utiliza um display de produtos aberto e acessível totalmente integrado em um produto de interior de cabine de aeronave de alta qualidade, combinado com Inteligência artificial para fornecer uma interação de seleção natural, não invasiva, instintiva, dinâmica e simples.
[0182] A AVM pode ser especialmente configurada em geometria para locais diferentes em compartimentos de cozinha ou passageiro para aeronave diferente para incluir um gabinete personalizado tendo prateleiras de display com frente de vidro, visualização de câmera de inventário de produtos na mesma, acesso à porta de acesso ativado por e(lectronic)Card ou telefone, e display eletrônico mostrando detalhes de transação de compra e seleção de produto. O invólucro de display pode ser montado no topo de carrinhos de armazenamento de aeronave padrão para conter o inventário de produtos de reabastecimento nos mesmos, e um compartimento de refugo adicional pode ser provido com o mesmo.
[0183] A AVM combina desenvolvimento em tecnologia e design executado habilmente para fornecer uma interface simples e aperfeiçoada a produtos de catering em aeronaves. Isso fornece benefícios em potencial incluindo interação melhorada com passageiro dentro da cabine em um modo fácil, amigável e mais responsivo e fornecer uma experiência mais natural e menos frustrante. a tripulação de cabine fica livre de funções de venda, enquanto ainda fornecer ao passageiro um serviço pessoal envolvente, enquanto ainda provê um fluxo de receita de catering.
[0184] Autoatendimento no estilo de classe comercial em toda a cabine pode ser provido com múltiplas máquinas de AVM. A AVM provê tecnologia de venda estática, leve segura; e diminui o custo de propriedade, sem partes de movimento ou mecanismos para dispensar o produto; e permite que tecnologia complexa seja introduzida e utilizada em um modo favorável ao passageiro.
[0185] Os desenvolvimentos em Inteligência artificial e visão de computador significa agora que vários objetos podem ser precisamente detectados, identificados e reconhecidos. Seu celular, cartão de embarque ou cartão de crédito podem simplesmente abrir o invólucro de display de produtos e o passageiro simplesmente seleciona qualquer um ou mais itens.
[0186] Todo tempo o sistema de visão está vendo, após os passageiros fazerem suas seleções e fecharem a porta, eles cobrados por qualquer coisa que tenham selecionado. Não inserir o número errado de seleção, nenhum pacote agarrado, nenhum desapontamento de ser menor do que parece; apenas pegue e vá.
[0187] Toda essa tecnologia inteligente é, evidentemente, totalmente invisível ao passageiro, oculto, trabalhando silenciosamente no segundo plano, dentro de uma máquina de AVM de aeronave bela moldada em geometria para misturar suavemente qualquer espaço disponível dentro da cabine de passageiros em uma unidade independente, unidade de cozinha ou unidade de display montada na parede.
[0188] A máquina de AVM de aeronave pode ser, portanto, utilizada pelo público em geral, sem necessidade de assistência da tripulação da cabine. Não requer sistema baseado em confiança ou honestidade. Não requer treinamento. Inclui um sistema de pagamento eletrônico sem dinheiro permitindo pagamento através de cartões de pagamento sem contato, ou app de telefone, app da Linha aérea, ou pagamento pode ser através de código ou voucher de pagamento.
[0189] Em resumo, por configurar especialmente a máquina de AVN para uso em voo de aeronave para identificar visualmente o inventário de produto, as compras de quaisquer itens no mesmo podem ser facilmente identificadas visualmente para compra automatizada dos mesmos, sem a complexidade e peso de máquinas de venda convencionais.
[0190] Adicionalmente, a máquina de dispensar neural 28 descrita na presente invenção pode ser adequadamente configurada para aplicações não em aeronave também, e onde quer que máquinas de venda convencionais sejam utilizadas, ou onde quer que dispensação e gerenciamento de estoque possam ser desejados. Qualquer tipo de produto ou item adequado para detecção e reconhecimento ótico por
Rede Neural artificial pode ser utilizado, e armazenado ou exibido em um gabinete de acesso controlado.
[0191] A seleção e retirada de qualquer tal item por um usuário pode ser então automaticamente detectada por comparar a imagem posterior e imagem prévia do estoque exibido como descrito acima. Contabilidade ou atribuição da remoção do item ao usuário autorizado permite operação de autoatendimento segura sem necessidade de um supervisor, operador, ou atendente, exceto quando exigido para gerenciamento, estocagem e defeito ou intervenção por erro. Itens podem ser precisamente identificados e dispensados a partir de um gabinete seguro para qualquer usuário autorizado com contabilidade ou atribuição precisa aos mesmos, com ou sem pagamento como desejado pela aplicação pretendida, com a aplicação de venda em aeronave meramente sendo um exemplo único entre uma variedade de outras aplicações de dispensar adequadas.
[0192] São reveladas acima modalidades preferidas e exemplificadoras da presente invenção nas quais os vários aspectos das mesmas foram descritos no assunto utilizando termos gerais e termos mais específicos, com tais aspectos sendo progressivamente combinados em detalhe sucessivo para uma ou mais espécies detalhadas exemplificadoras em combinação com o descrito acima, e como citado nas reivindicações apensas.
[0193] Por conseguinte, qualquer um ou mais dos aspectos específicos citados em uma ou mais das reivindicações apensas ou descritas no relatório descritivo acima ou ilustradas nos Desenhos podem ser combinados em qualquer uma ou mais das reivindicações em anexo, incluindo reivindicações anteriores ou de origem, na definição de várias modificações da invenção em várias combinações e sub- combinações de acordo com a descrição acima, desenhos correspondentes e/ou reivindicações em anexo como depositadas. As reivindicações que se seguem podem ser, portanto, interpretadas e modificadas ou alteradas ou suplementadas com aspectos adicionais sem restrição das próprias reivindicações em anexo originais de acordo com a matéria original apresentada acima como sendo meramente exemplificadora do espírito e escopo da invenção.

Claims (22)

REIVINDICAÇÕES
1. Método de dispensar um produto (n), caracterizado pelo fato de compreender: Exibir um estoque inicial (S) de vários produtos (n) em uma prateleira de display (34); Identificar qualquer produto (n) retirado da prateleira de display (34) por um usuário não por detectar o próprio produto removido (13), porém por comparar imagens (50, 52) do estoque exibido (S) antes e após o produto ser retirado para determinar qualquer produto faltante na imagem (52) do estoque restante; e Contabilizar o produto faltante (13) para o usuário.
2. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender ainda: Imagear (50, 52) o dito estoque exibido (S) antes e após o dito produto (13) ser removido do mesmo pelo dito usuário; Identificar a partir do dito imageamento (50, 52) todos os produtos (n) tanto no dito estoque inicial (S) antes da retirada do produto como no dito estoque restante (S-(S-P)) após a retirada do produto; e Comparar os ditos produtos (n) identificados nos ditos estoques inicial e restante para determinar qualquer produto faltante (13) entre os mesmos, e designar, desse modo, o dito produto faltante (13) como dito o produto removido (13).
3. Método de acordo com a reivindicação 3, caracterizado pelo fato de compreender ainda: Formar imagem prévia (50) do dito estoque inicial (S) de produtos (n) antes da retirada do produto; Identificar o dito estoque inicial (S) de produtos (n) a partir da dita imagem prévia (50); Formar imagem posterior (52) do dito estoque restante (S-(S-P)) de produtos (n) após a retirada do produto; Identificar o dito estoque restante (S-(S-P)) de produtos (n) a partir da dita imagem posterior (52); e
Comparar o dito estoque restante identificado (S-(S-P)) e o dito estoque inicial identificado (S) para identificar o dito produto faltante (13).
4. Método, de acordo com a reivindicação 3, caracterizado pelo fato de compreender ainda: Implantar uma Rede Neural artificial (ANN) treinada tanto para detectar como para reconhecer cada produto (n) na dita imagem prévia de estoque (50); Implantar uma Rede Neural artificial (ANN) treinada tanto para detectar como reconhecer cada produto (n) na dita imagem posterior de estoque (52); e Comparar os produtos de estoque reconhecidos por ANN (n) entre a dita imagem posterior (52) e a dita imagem prévia (50) para identificar o dito produto faltante (13).
5. Método de acordo com a reivindicação 4, caracterizado pelo fato de que as ANNs são treinadas previamente antes do uso na dispensação dos ditos produtos (n), com o dito treinamento prévio compreendendo: Imagear um inventário (N) de uma variedade de produtos (n) incluindo o dito estoque inicial de produtos (S); e Treinar as ditas ANNs para detectar e reconhecer a partir do dito imageamento cada produto (n) no dito inventário (N) com base em assinaturas neurais correspondentemente desenvolvidas (X(n)).
6. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que a mesma ANN treinada previamente é utilizada para detectar e reconhecer os ditos produtos (n) tanto na dita imagem prévia (50) como na imagem posterior (52).
7. Método, de acordo com a reivindicação 4, caracterizado pelo fato de que: Duas ANNs diferentes (-1, -2) são implantadas em paralelo em avaliação de agrupamento de organização para detectar e reconhecer, independentemente, os ditos produtos (n) tanto na dita imagem prévia (50) como na imagem posterior (52); e O reconhecimento de produto deve concordar para as duas ANNs diferentes (-1, -2) tanto para a dita imagem prévia de estoque (50) como para a imagem posterior de estoque (52) para identificar dito o produto faltante (13).
8. Método, de acordo com a reivindicação 7, caracterizado pelo fato de que as duas ANNs diferentes compreendem: Um Detector de shot único (SSD-ANN-1); e Uma Rede Neural Convolucional baseada em região (RCNN-ANN-2).
9. Método, de acordo com a reivindicação 4, caracterizado pelo fato de compreender: Imagear um inventário (N) de uma variedade de produtos (n) incluindo o dito estoque inicial de produtos (S); Criar uma assinatura secundária (Y(n)) para cada produto (n) no dito inventário com base na aparência do produto; Implantar um Sistema de Reconhecimento visual secundário (SVRS 58) para identificar a partir da dita assinatura secundária (Y(n)) cada produto (n) tanto na dita imagem prévia de estoque (50) como na dita imagem posterior de estoque (52); e Comparar a dita imagem prévia de estoque (50) e imagem posterior de estoque (52) para identificar o dito produto faltante (13) com base na dita assinatura secundária (Y(n)) do mesmo.
10. Método, de acordo com a reivindicação 9, caracterizado pelo fato de que a dita assinatura secundária (Y(n)) é uma assinatura colorida dos ditos produtos (n) e o dito SVRS (58) inclui detecção de Objeto Grande binário (BLOB) das assinaturas coloridas (Y(n)).
11. Método, de acordo com a reivindicação 9, caracterizado pelo fato de que a dita assinatura secundária (Y(n)) é um texto impresso nos produtos (n), e o dito SVRS (58) inclui Reconhecimento de Caractere ótico (OCR) do mesmo.
12. Método, de acordo com a reivindicação 4, caracterizado pelo fato de compreender: Exibir o dito estoque inicial (S) de produtos (n) na dita prateleira de display (34) em um gabinete de display fechada (30) no interior de uma máquina de venda (28); Autorizar acesso ao dito usuário para compra a partir do dito gabinete de display (30); Formar imagem prévia (50) e identificar a partir da mesma o dito estoque inicial (S) de produtos (n) antes de abrir o dito gabinete (30); Abrir o dito gabinete (30) para permitir acesso ao mesmo pelo dito usuário para retirar qualquer um ou mais dos ditos produtos exibidos (n); Formar imagem posterior (52) e identificar a partir da mesma o dito estoque restante (S-(S-P)) de produtos (n) após um produto (13) ter sido retirado pelo dito usuário; Combinar os produtos (n) identificados na dita imagem prévia (50) e dita imagem posterior (52) para determinar o produto (13) faltante a partir da dita imagem posterior (52); e Cobrar o pagamento do dito usuário para dito o produto faltante (13).
13. Método, de acordo com a reivindicação 12, caracterizado pelo fato de compreender ainda: Exibir os ditos produtos (n) em múltiplas prateleiras (34) no interior do dito gabinete de display (30) atrás de uma porta de display trancada (32); Montar uma câmera digital (42) no interior do dito gabinete (30) com campo de visão horizontal e vertical para capturar imagens (50, 52) de todo o estoque (S) de produtos (n) exibidos nas múltiplas prateleiras (34); Unir a câmera (42) a um computador digital (44) alojado no dito interior da máquina de venda, com o computador (44) incluindo a dita ANN treinada programada no mesmo; Formar imagem prévia (50) utilizando a dita câmera (42) e identificar utilizando a dita ANN treinada o dito estoque inicial (S) de produtos (n) exibidos sobre as ditas múltiplas prateleiras (34) antes do usuário abrir a dita porta (32); Formar imagem posterior (52) utilizando a dita câmera (42) e identificar utilizando a dita ANN treinada o dito estoque restante (S-(S-P)) de produtos (n) exibidos sobre as ditas múltiplas prateleiras (34) após o dito usuário retirar um produto (13) e fechar a dita porta (32); e Determinar o dito produto (13) faltante a partir da dita imagem posterior (52)
e cobrar o pagamento pelo mesmo ao dito usuário.
14. Método, de acordo com a reivindicação 13, caracterizado pelo fato de que a ANN treinada previamente é utilizada para detectar e reconhecer os ditos produtos (n) tanto na dita imagem prévia (50) como na imagem posterior (52).
15. Método, de acordo com a reivindicação 13, caracterizado pelo fato de que: Duas ANNs diferentes (ANN-1, ANN-2) são implantadas em avaliação de agrupamento de organização para detectar e reconhecer, independentemente, os ditos produtos (n) tanto na dita imagem prévia (50) como na imagem posterior (52); e O reconhecimento de produto deve concordar para ambas as ANNs diferentes tanto para a dita imagem prévia de estoque (50) como para a imagem posterior de estoque (52) para identificar o dito produto faltante (13).
16. Método, de acordo com a reivindicação 15, caracterizado pelo fato de que as duas ANNs diferentes compreendem: Um Detector de shot único (SSD-ANN-1); e Uma Rede Neural Convolucional baseada em região (RCNN-ANN-2).
17. Método, de acordo com a reivindicação 16, caracterizado pelo fato de compreender ainda: Imagear um inventário (N) de uma variedade de produtos (n) incluindo o dito estoque de produto inicial (S); Criar uma assinatura secundária (Y(n)) para cada produto (n) no dito inventário com base na aparência do produto; Implantar um Sistema de Reconhecimento visual secundário (SVRS 58) para identificar a partir da dita assinatura secundária (Y(n)) cada produto (n) tanto na dita imagem prévia de estoque (50) como na dita imagem posterior de estoque (52); e Comparar a dita imagem prévia de estoque (50) e imagem posterior de estoque (52) para identificar o dito produto faltante (13) com base na dita assinatura secundária (Y(n)) do mesmo.
18. Método, de acordo com a reivindicação 13, caracterizado pelo fato de compreender ainda: Montar a dita máquina de venda (28) em uma fuselagem de aeronave (22) no interior de uma cabine de passageiros (26) com o dito gabinete de display (30) acessível a passageiros durante voo; e A dita máquina de venda (28) tendo complexidade e peso mínimos como definido pela ausência expressa de sistemas para identificar diretamente e dispensar automaticamente qualquer produto a partir do dito gabinete de display incluindo leitoras de código de barras (62), detectores de identificação de radiofrequência (RFID) (64) e calhas de dispensar acionadas mecanicamente (66).
19. Método, de acordo com a reivindicação 1, caracterizado pelo fato de compreender ainda: Exibir o dito estoque inicial (S) de produtos (n) em locais aleatórios sobre múltiplas prateleiras de display (34) em um dito gabinete de display (30) em uma máquina de venda automatizada (28) tendo uma porta de display trancada (32) através da qual os ditos produtos (n) são visíveis; O dito gabinete (30) incluindo uma câmera digital (42) tendo um campo de visão incluindo todo o estoque (S) de produtos (n) exibidos sobre as ditas prateleiras (34); A dita câmera (42) sendo operativamente unida a um computador digital (44) configurado em software para identificar o dito produto (13) removido pelo dito usuário a partir do dito gabinete (30) por comparar imagens prévia e posterior (50, 52) feitas pela dita câmera (42) do dito estoque exibido (S) antes e após a retirada do dito produto para determinar qualquer produto (13) faltante na dita imagem posterior (52) de estoque restante (S-(S-P)); O dito computador (44) sendo adicionalmente configurado para autorizar acesso ao usuário ao dito gabinete trancado (30), abrir e fechar novamente a dita porta (32) antes e após a retirada do produto, e processar o pagamento pelo usuário para o dito produto faltante (13).
20. Método, de acordo com a reivindicação 19, caracterizado pelo fato de que o software de computador inclui:
Uma primeira Rede Neural artificial (ANN-1) treinada previamente tanto para detectar como para reconhecer cada produto (n) nas ditas imagens de estoque (50, 52); Uma segunda Rede Neural artificial (ANN-2) configurada de modo diferente da primeira dita ANN, e treinada previamente tanto para detectar como reconhecer cada produto (n) nas ditas imagens de estoque (50, 52); As primeira e segunda ANNs sendo unidas em paralelo em avaliação de agrupamento de organização para detectar e reconhecer independentemente os ditos produtos (n) tanto na imagem prévia (50) como na imagem posterior (52); O dito software é adicionalmente configurado para comparar os ditos produtos (n) de estoque reconhecidos pela ANN entre a dita imagem posterior (52) e a dita imagem prévia (50) para identificar dito o produto faltante (13); e O dito reconhecimento de produto pelas ditas primeira e segunda ANNs deve concordar tanto para a dita imagem prévia de estoque (50) como para a dita imagem posterior de estoque (52) para identificar dito o produto faltante (13).
21. Máquina de venda automatizada (28), caracterizada pelo fato de compreender: Um gabinete de display (30) tendo uma porta de display fechada (32) e incluindo múltiplas prateleiras de display (34) para exibir através da dita porta (30) um estoque inicial (S) de vários produtos (n) para venda; Uma câmera digital (42) montada no interior do dito gabinete (30) com um campo de visão incluindo todo o estoque (S) de produtos (n) exibidos sobre as ditas prateleiras (34); Um computador digital (44) operativamente unido à dita câmera (42), e configurado em software para identificar qualquer produto (13) retirado do dito gabinete (30) por um usuário não por detectar o dito próprio produto retirado (13), porém por comparar imagens prévia e posterior (50, 52) feitas pela dita câmera (42) do dito estoque exibido (S) antes e após a dita retirada de produto para determinar qualquer produto (13) faltante na dita imagem posterior (52) de estoque restante (S- (S-P); e
O dito computador (44) configurado adicionalmente para autorizar acesso ao ditousuário, abrir e fechar novamente a dita porta (32) antes e após a retirada de produto, e processar o pagamento pelo dito usuário para dito o produto faltante (13).
22. Máquina de venda (28), de acordo com a reivindicação 21, caracterizada pelo fato de que o dito software de computador inclui: Uma primeira Rede Neural artificial (ANN-1) treinada previamente tanto para detectar como reconhecer cada produto (n) nas ditas imagens de estoque (50, 52); Uma segunda Rede Neural artificial (ANN-2) configurada de modo diferente da dita primeira ANN e treinada previamente tanto para detectar como reconhecer cada produto (n) nas ditas imagens de estoque (50, 52); As primeira e segunda ANNs sendo unidas em paralelo em avaliação de agrupamento de organização para detectar e reconhecer independentemente os ditos produtos (n) tanto na dita imagem prévia (50) como na imagem posterior (52); O software é adicionalmente configurado para comparar os ditos produtos (n) de estoque reconhecidos por ANN entre a dita imagem posterior (52) e a dita imagem prévia (50) para identificar dito o produto faltante (13); e O dito reconhecimento de produto pela primeira e segunda ANNs deve concordar tanto para a dita imagem prévia de estoque (50) como para a dita imagem posterior de estoque (52) para identificar o dito produto faltante (13).
BR112021007540-2A 2018-10-20 2019-09-11 máquina de venda neural BR112021007540A2 (pt)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862748398P 2018-10-20 2018-10-20
US62/748,398 2018-10-20
PCT/US2019/050548 WO2020081170A1 (en) 2018-10-20 2019-09-11 Neural vending machine

Publications (1)

Publication Number Publication Date
BR112021007540A2 true BR112021007540A2 (pt) 2021-07-27

Family

ID=70279582

Family Applications (1)

Application Number Title Priority Date Filing Date
BR112021007540-2A BR112021007540A2 (pt) 2018-10-20 2019-09-11 máquina de venda neural

Country Status (7)

Country Link
US (1) US10984282B2 (pt)
EP (1) EP3867885A4 (pt)
JP (2) JP2022508808A (pt)
KR (1) KR20210081375A (pt)
BR (1) BR112021007540A2 (pt)
CA (1) CA3117141A1 (pt)
WO (1) WO2020081170A1 (pt)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017163879A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 行動分析装置、行動分析システム、行動分析方法及びプログラム
CN108694401B (zh) * 2018-05-09 2021-01-12 北京旷视科技有限公司 目标检测方法、装置及系统
US10922584B2 (en) * 2019-01-30 2021-02-16 Walmart Apollo, Llc Systems, methods, and techniques for training neural networks and utilizing the neural networks to detect non-compliant content
US11100745B2 (en) * 2019-04-09 2021-08-24 Rakuten Group, Inc. Settlement processing system, settlement processing device, and settlement processing method
DE102019003999A1 (de) * 2019-06-07 2020-12-10 Drägerwerk AG & Co. KGaA System und Verfahren zur automatischen Erkennung von Gefährdungssituationen
WO2021142384A1 (en) * 2020-01-10 2021-07-15 Adroit Worldwide Media, Inc. System and methods for user authentication in a retail environment
US11758069B2 (en) 2020-01-27 2023-09-12 Walmart Apollo, Llc Systems and methods for identifying non-compliant images using neural network architectures
US11526843B2 (en) * 2020-05-01 2022-12-13 Pepsico, Inc. Product identification systems and methods
CN111985875A (zh) * 2020-08-25 2020-11-24 北京意锐新创科技有限公司 自动贩卖机销售信息的获取方法及装置、自动贩卖机
US20220128291A1 (en) * 2020-10-23 2022-04-28 Mama Gaia Smart Fridge Corporation dba Mama Gaia Artificial intelligence (ai) refrigerator
US20220281604A1 (en) * 2021-03-03 2022-09-08 International Business Machines Corporation Providing automated assistance to passengers during a trip
US11922386B2 (en) * 2021-03-12 2024-03-05 Amazon Technologies, Inc. Automated and self-service item kiosk
WO2022246136A1 (en) * 2021-05-19 2022-11-24 Swyft, Inc. Frictionless retail stores and cabinets
CN115412652B (zh) * 2021-05-26 2024-03-22 哈尔滨工业大学（深圳） 用于无人售货机的图像数据采集装置和方法
US11775918B2 (en) * 2021-09-08 2023-10-03 International Business Machines Corporation Analysis of handling parameters for transporting sensitive items using artificial intelligence

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5728999A (en) 1994-06-14 1998-03-17 Advanced Retail Systems Ltd. Vending machine, a vending system and methods for operating same
US6945457B1 (en) 1996-05-10 2005-09-20 Transaction Holdings Ltd. L.L.C. Automated transaction machine
US6315197B1 (en) 1999-08-19 2001-11-13 Mitsubishi Electric Research Laboratories Vision-enabled vending machine
JP2004318829A (ja) * 2003-03-28 2004-11-11 Sanden Corp 自動販売機
US8353456B2 (en) * 2008-08-08 2013-01-15 Snap-On Incorporated Image-based inventory control system
US8082061B2 (en) 2008-10-20 2011-12-20 Utique, Inc. Vending machines with lighting interactivity and item-based lighting systems for retail display and automated retail stores
US8234007B2 (en) * 2009-03-18 2012-07-31 Garson Brent D Method and apparatus for use in a vending machine
US9536236B2 (en) * 2012-06-08 2017-01-03 Ronny Hay Computer-controlled, unattended, automated checkout store outlet and related method
US10546204B1 (en) * 2013-03-05 2020-01-28 Amazon Technologies, Inc. Item information discovery with a wearable device
US10176456B2 (en) 2013-06-26 2019-01-08 Amazon Technologies, Inc. Transitioning items from a materials handling facility
CA2954179A1 (en) * 2014-07-01 2016-01-07 Ronny HAY Computer-controlled, unattended, automated checkout store outlet and related method
US10332066B1 (en) 2015-03-30 2019-06-25 Amazon Technologies, Inc. Item management system using weight
US10001402B1 (en) 2015-06-19 2018-06-19 Amazon Technologies, Inc. Instrumented item stowage system with modular elements
US10064502B1 (en) 2015-06-19 2018-09-04 Amazon Technologies, Inc. Shelf with integrated electronics
EP3154008B1 (en) * 2015-10-09 2017-12-20 Pricer AB Determination of a product position along a fixture
US10002307B2 (en) * 2015-12-18 2018-06-19 Ricoh Co., Ltd. Suggestion generation based on data extraction
JP6968399B2 (ja) * 2016-02-29 2021-11-17 サインポスト株式会社 情報処理システム
WO2017163879A1 (ja) * 2016-03-23 2017-09-28 日本電気株式会社 行動分析装置、行動分析システム、行動分析方法及びプログラム
US9886827B2 (en) * 2016-04-25 2018-02-06 Bernd Schoner Registry verification for a mechanized store
US11205120B2 (en) * 2016-12-22 2021-12-21 Samsung Electronics Co., Ltd System and method for training deep learning classification networks
WO2018154411A2 (en) * 2017-02-22 2018-08-30 Savis Retail Private Limited Vending machines and methods for dispensing products
US11270257B2 (en) * 2017-03-06 2022-03-08 Nec Corporation Commodity monitoring device, commodity monitoring system, output destination device, commodity monitoring method, display method and program
JP2019200697A (ja) * 2018-05-18 2019-11-21 東芝テック株式会社 棚管理システムおよびプログラム
CN108428292B (zh) * 2018-06-07 2024-05-14 艾妮 一种基于图像识别的自动售货机
US11106941B2 (en) * 2018-07-16 2021-08-31 Accel Robotics Corporation System having a bar of relocatable distance sensors that detect stock changes in a storage area

Also Published As

Publication number Publication date
JP2024073629A (ja) 2024-05-29
EP3867885A1 (en) 2021-08-25
KR20210081375A (ko) 2021-07-01
US20200125888A1 (en) 2020-04-23
US10984282B2 (en) 2021-04-20
EP3867885A4 (en) 2022-07-13
JP2022508808A (ja) 2022-01-19
WO2020081170A1 (en) 2020-04-23
CA3117141A1 (en) 2020-04-23

Similar Documents

Publication Publication Date Title
BR112021007540A2 (pt) máquina de venda neural
CN106143920B (zh) 存储容量状态指示器以及相关联的系统和方法
CN106663251A (zh) 计算机控制的无人值守的自动结账商店销售点及相关方法
CN105324714B (zh) 计算机控制的、无人值守的自动结账零售店
CN104487207B (zh) 具有高级功能的存货控制系统
CN107833363A (zh) 基于图像识别的自助售货机自动库存管理系统及方法
ES2562733B1 (es) Sistema para el control integral de pasajeros y equipaje
CN109166007A (zh) 一种基于自动售货机的商品推荐方法及其装置
US11526843B2 (en) Product identification systems and methods
KR102410634B1 (ko) 인공지능 기반 무인 판매 서비스 제공 방법, 장치 및 시스템
WO2019165895A1 (zh) 自动售货方法和系统以及自动售货装置和自动贩售机
CN108922029A (zh) 自动售货设备及其控制方法
CN108831073A (zh) 无人超市系统
CN110348829B (zh) 餐饮结算系统和方法
US11694501B2 (en) Refrigerated vending system and method
EP3970101A1 (en) Automated product locker for inventory control
US20240013606A1 (en) Verification vending machine
CN110443946A (zh) 售货机、物品种类的识别方法和装置
CN109615361A (zh) 自动售货系统的支付控制方法、装置、设备及存储介质
CN108694404A (zh) 基于辐射图像进行货物检查的方法及装置
Bahill et al. System design and the design process
CN109326063A (zh) 一种整体式自助购物系统
KR102160175B1 (ko) 복수의 프랜차이즈를 관리하는 스마트 시스템
BR102019021365A2 (pt) sistema de vendas de produtos industrializados para usuários através de uma máquina de vendas
JP2024037466A (ja) 情報処理システム、情報処理方法及びプログラム

Legal Events

Date Code Title Description
B06W Patent application suspended after preliminary examination (for patents with searches from other patent authorities) chapter 6.23 patent gazette]