JP2022508808A - ニューラル自動販売機 - Google Patents

Abstract

自動販売機（２８）において商品を販売する方法は、いくつかの商品（ｎ）の初期のストック（Ｓ）を陳列棚（３４）に陳列すること；陳列棚（３４）からユーザ（４８）によって取り出されたいずれかの商品（１３）を特定することであって、取り出された商品（１３）自体を検出することによってではなく、商品が取り出される前後の陳列されたストック（Ｓ）の画像（５０，５２）を比較して、残りのストック（Ｓ－（Ｓ－Ｐ））の画像（５２）において欠落しているいずれかの商品（１３）を確定することによって、当該商品（１３）を特定すること；及び、前記欠落した商品（１３）を前記ユーザ（４８）に会計することを含む。

Description

本発明は、一般に、自動販売機、より具体的には、飛行中の商用航空機の乗客サービスに関する。

乗客とフライトの経済力学は絶えず変化しているため、機内ケータリングと商品サービスは、乗客に選択とチョイスを与えながら、航空会社の収益源と見なされる。ただし、既存の食事サービスとマーチャンダイジングシステムは、依然としてキャビンクルーと従来のトロリーベースの分配に依存している。

乗客の快適さと安全性を確保するために民間航空機に課せられた多くの政府規制要件のため、飛行中の旅客機での食事と商品又は商品販売の自動化は大きな課題を提示する。

航空機の自動販売サービスは、乗客の相互作用、支払い、速度、使いやすさ、物理的サイズ、航空機の位置、Ｆ．Ａ．Ａ．規制認証、耐空性、及び重量等を含む固有の課題を伴う。

市販の自動販売機は航空機内で禁止されるであろう。これは主に、それらが航空機の安全な運航のための種々の規制要件を満たすように設計されておらず、また実際面では、基本的に複雑な構成、大きなサイズ、過度の重量、及び材料組成のためである。

典型的な自動販売機は非常に大きく、重く、かつ複雑であり、表示し、選択し、選択された商品を顧客又はユーザに対して正確に分配するための多数の機械的システムを含む。これらは、旅客機での使用は実際的ではなく、それ故、旅客航空機には現在見られない。

従来の自動販売機は、一般に、飲料缶、食品及びスナックアイテム及び小さな製品アイテム等のユーザが選択したアイテムの正確な分配を確実にするために、個別に識別され、事前に構成された所定のトレイ又はスロット又は区画又は瓶に商品をストックする必要があり、そのため複雑な機械式駆動分配シュートが必要となる。

商品は一般に、識別用のユビキタスユニバーサルバーコードを含むが、これらの自動販売機器は、対応するバーコードスキャナーと関連機器が必要であり、これらすべてが複雑さと重量を増大させる。

商品には、比較的高価な共通無線周波数識別（ＲＦＩＤ）タグを取り付けることができ、この場合も対応するスキャン及び関連機器が必要であり、これも複雑さと重量を増長する。

それにもかかわらず、航空機での使用に特別に調整された自動販売機が望まれ、強制的な概念上又は設計上の課題を提示し、飛行中の旅客機で使用するための新しいソリューションを必要とする。

セルフサービス又は自動販売機はどこにでもあり、顧客によく理解されており、航空機の旅行中に乗客に容易に受け入れられるであろう。航空機での使用に特別に構成された自動販売機は、商品を迅速に販売する必要があり、待ち行列及び乗客の動きを減らすために、小型で、コンパクトで、軽量であり、客室内に戦略的に配置する必要がある。設計上の課題は、そのような商品を航空に適するものにし、乗客と航空会社の両方に望ましいソリューションを提供することである。

自動販売機は乗客自身が操作できるべきであり、そこから取り出された商品の請求が安全であり、乗務員の支援は最小限で、補充又は故障の解決に限定されるべきである。

従って、飛行中の商用航空機で使用するために特別に設計された、新しく改良された自動販売機を提供することが望まれる。

自動販売機で商品を販売する方法は、陳列棚に複数の商品の初期のストックを表示すること、取り出した商品自体を検出するのではなく、商品の取り出し前後の表示されたストックの画像を比較することにより、残りのストックのポスト画像において欠落しているいずれかの商品を確定し、ユーザが取り出したいずれかの商品を特定すること、及び、次いで欠落した商品をユーザに課金することを含む。

好ましい例示的な実施形態に従う本発明は、その更なる目的及び利点と共に、添付の図面と組み合わせて以下の詳細な説明においてより具体的に説明される。

図１は、客室内に取り付けたセルフサービス自動販売機（ＡＶＭ）を有する旅客機の等角投影図である。 図２は図１に示したＡＶＭの側立面図である。 図３は図１に示したＡＶＭの正立面図である。 図４は図１に示したＡＶＭの概略分解図である。 図５は、顧客がＡＶＭから商品を選択して取り出すことによるＡＶＭの操作を示すフローチャートであり、取り出された商品は、陳列されたストックのプレ画像及びポスト画像の違いを区別するように訓練された人工ニューラルネットワーク（ＡＮＮ）によって特定される。 図６は、図５のＡＶＭに示されるＡＮＮの事前訓練を示すフローチャートである。 図７は、ポスト画像において欠落した商品として取り出された商品を特定するために異なるＡＮＮにより構成される、図５に示すＡＶＭのフローチャートである。 図８は、図５に示されるＡＶＭでの使用のための異なるＡＮＮの訓練を示すフローチャートである。 図９は、図５及び図７に示されるＡＶＭの動作のフローチャートである。

図１には、円筒状胴体２２及び対応する長手方向軸線すなわち軸線２４を有する例示的な民間旅客機２０が示される。航空機２０は、高度での典型的な飛行操作のためにその翼に取り付けられたツインターボファンエンジンにより動力が与えられる。胴体２２は、従来、乗客席の列（図示せず）、サービスギャレー及び洗面所により構成された内部キャビン２６を含む。

本発明によれば、セルフサービス自動分配又は販売機（ＡＶＭ）２８は、キャビン２６内における飛行中に乗客が使用するのに都合のよい任意の位置に適切に取り付けられる。付加的なＡＶＭは、所望によりキャビン全体に分散させてもよい。

ＡＶＭ２８は、耐空性及び安全性を満たすための該当するＦ．Ａ．Ａ．政府規制の下で航空機に使用するために特別に構成され、加えて、機内乗務員の通常の支援を必要とせずにセルフサービスにより、飛行中に乗客に商品を正確かつ安全に販売するための最小重量を有する最小構成部品で構成される。

図２、図３及び図４はＡＶＭ２８の側面図、正面図及び等角投影図を示し、ＡＶＭ２８は、乗客が便利にアクセスできるように、客室２６内の床及び湾曲した胴体に取り付けられた例示的な構成である。この独立型実施形態に加えて、ギャレー及びより小さな壁に取り付けられた構成が、利用可能なスペースであることを条件として客室でも使用可能である。

すべての航空機構成において、ＡＶＭ２８は、所望の商品の機内セルフサービス販売を可能にするため、軽量で、信頼性、迅速性があり、また認証可能であるように構成される。自動販売機の航空機構成は、飛行中の運用に適用される政府規制を認定しかつ満たすことが比較的容易である典型的な航空宇宙の設計機能、材料及び慣行を使用する。

図２～図４に示されるＡＶＭ２８は、ロックされ透明な陳列扉３２を有する適切に安全な陳列キャビネット３０を含み、また、扉を通じて品物又は商品（ｎ）の初期の限定されたストックを陳列するための複数の陳列棚３４を含む。

任意の数及び種類の商品（ｎ）、例えば食品、飲料、小規模小売製品等を販売用に提供することができる。販売可能な商品の総数は航空会社によって選択され、各商品Ｐ（ｎ）は、１，２，３，．．．Ｎの範囲のその数値ｎによって特定される。ここで、Ｎは潜在的な商品の最大数を表し、必要に応じて１０，１００，５００，更には１０００以上等の適切な値をとることができる。

この独立型構成の陳列キャビネット３０は、ベースキャビネット又は単なるベース３６の上に取り付けることができ、好ましくは２つ又は同様の慣用のケータリングカート３８を収容するように構成される。ケータリングカート３８内に、販売中の商品の余分のインベントリ又はストックを含む、航空機サービスに必要な任意のアイテムを保管することができる。キャビネット３０は、限られた数又は量（Ｓ）の商品を陳列表示するように特別に構成され、余剰及び追加の商品は、一方又は両方のカート３８に便利に保管することができる。カート３８は、ベース３６に適切に固定又はロックされ、陳列扉３２は、適切に電気的に作動するドアロック４０によりキャビネット３０にロックされる。

図４に最初に示されるように、キャビネット３０は、好ましくはキャビネットの上部の内側に取り付けられる航空宇宙グレードのデジタルカメラ４２を含む。デジタルカメラ４２は、すべての陳列棚３４を特に含むように視野Ｆが水平及び垂直の両方に延在し、これにより、いくつかの棚３４に陳列された商品（ｎ）の全ストック（Ｓ）を同時に見る。所望により１つ以上の異なる視点から、キャビネットに陳列された全商品の全ビューイング範囲を確実にするために１以上のカメラ４２が使用され得る。

カメラ４２の視界が遮られないように商品を最適に分散するため、水平陳列棚３４は、好ましくは、例えば４段で示される垂直段に配置される。陳列された各商品は、陳列されている隣り合う商品によって部分的に又は完全に遮断されることなく、カメラが別々に見ることができる。

デジタルコンピュータ４４は、スペースが許す場合、キャビネット３０又はベース３６の内部に適切に取り付けられ、ＡＶＭ２８の動作を制御するためにカメラ４２及びロック４０に動作可能に結合される。最も簡易な構成では、ＡＶＭ２８は主に安全な陳列キャビネット３０、カメラ４２及びコンピュータ４４である。

このカメラベースのビジョンシステムは、複雑で重い機構の必要性を回避し、これは重量を省き、航空機の認証の困難性を低減する。ＡＶＭ２８は、ほぼいかなるサイズにもすることができ、キャビン内の最小限のスペースを占めるように構成することができ、通信及び電力のために最小限の航空機インターフェースを必要とする。ＡＶＭ２８は、キャッシュレス電子会計及び支払いシステムを含み、商品の分配又は販売は、航空機での使用に特別に構成された機構レスでコンピュータベースのビジョンシステムによって監視及び制御される。

デジタルコンピュータ４４は、取り出された商品自体を最初に識別又は検出することによってではなく、カメラ４２によって撮影された、商品の取り出しの前後の陳列ストックのプレ画像及びポスト画像を比較することにより、残りのストックのポスト画像において欠落するいずれかの商品を確定し、これにより１つ又は複数のどの商品がユーザによって選択され取り出されたかを予測又は推論し、ユーザ又は顧客によってキャビネットから取り出されたいずれかの商品を特定するためのソフトウェアにおいて特に構成される。

コンピュータ４４は、電気扉ロック４０に結合され、登録又は許可された顧客にアクセスを許可するように構成され、商品の取り出しの前後に扉のロック解除及び再ロックし、次いで、欠落した又は選択された商品に対する顧客への会計又は帰属を実行し、その支払いを処理する。

顧客のアクセス及び通信は、コンピュータ４４に動作可能に結合された図４に概略的に示される適切なディスプレイパネル４６によって提供され得る。乗客又は顧客等の任意のユーザ４８は、ディスプレイパネル４６を介してＡＶＭ２８に簡易にアクセスすることができる。ディスプレイパネル４６は、顧客４８によって提示されたクレジットカード又は携帯電話支払いアプリ（アプリケーション又はソフトウェア）からのクレジット又は支払いを登録又は承認するためのクレジットカードリーダ、ＲＦＩＤセンサ及びブルートゥース（登録商標）システムと共に慣用に構成され得る。

図５に示されるように、航空機乗客顧客４８に商品（ｎ）を分配又は販売する基本的な方法は、ＡＶＭ２８の陳列キャビネット３０内にロックされた複数段陳列棚等の陳列棚３４にいくつかの商品（ｎ）の初期ストック（Ｓ）を単に陳列することを含む。上記のように、商品（ｎ）の完全ストック又はマスターインベントリ（Ｎ）は、所望により商品の総数Ｎを有する。

図５には、棚３４上の例示的な商品レイアウト分布が示され、陳列されたストック（Ｓ（ｎ））は、単なる例であるが１６個の商品（Ｐ（ｎ））の総数Ｓを含み、これらは、図示される４つの例示的な棚等、いくつかの棚３４上のキャビネット３０の利用可能なスペースに適合する任意のサイズ及び形態である得る。

商品棚レイアウトは一般にランダムであり得るが、特定の商品の販売を促進するために事前に決定することができる。いくつかの棚３４は、スペースが許す限り、商品配置の任意のランダムな位置付けを可能にし、商品は、所定の棚位置又はその上の物理的補完シートに限定される必要はない。

初期の陳列ストックＳ（ｎ）は、例示的な商品１、２、３、…１６を含み、そのためｎは１～１６を含み、これら初期のストック商品Ｓ（ｎ）は、異なる３次元（３Ｄ）又は物理的な形状で概略的に例示される。物理的な形状は、底棚又は第１棚上の円錐形１－５、第２棚上の背の高い長方形の箱６－９、第３棚上の背の低い長方形の箱１０－１３、及び第４棚又は上棚の円筒形の缶１４－１６を含む。

これらの１６個の商品（ｎ）は、販売の必要に応じて重複を含む場合もあれば、すべてが互いに異なる場合もあり、１６の参照番号１－１６は、異なる商品の識別と、これらの商品の外面に提示又は印刷された異なるグラフィック、テキスト、色、バーコード、及びすべての表示との両方を表す。

商品の数（ｎ）は１～Ｎの範囲であり、そのため各商品（ｎ）はＰ（ｎ）として指定されるマスターインベントリにおけるその商品番号によって、又は、Ｓ（ｎ）として指定されるサブセットストックインベントリに表示されるその商品番号によって代替的に特定され得る。各商品の異なる外観は、本明細書では商品の参照番号ｎ＝１，２，３，．．．Ｎによって簡易に参照される。

例えば、商品１４－１６は、異なるグラフィックスパターン及び色を有する、異なる製造業者による異なる飲料缶を表示し得る。例えば飲料缶１４は主に赤色であり、対応するグラフィックス及びテキストを有する。飲料缶１５は主に青色であり、対応するグラフィックス及びテキストを有する。

商品６－１３は、ここでもまた異なる製造業者により販売され、異なるグラフィックス及び色を有する典型的な食品又は小売商品を表することができる。

また、商品１－５は、異なる製造業者によって販売され、異なるグラフィックス及び色を有する、例えばキャンディー、他の食品又は小売商品等の典型的な追加のアイテムを表すことができる。

図５の正面図に示される段状の棚３４の好ましい構成では、キャビネット３０に陳列される商品（ｎ）の全ストック（Ｓ）は、隣り合う商品による遮断なしでキャビネット内においてカメラ４２による完全なビューを提供するために重なり合うことなく水平及び垂直に適切に広げられる。各商品は、対応する保持シート又は接着剤、又は航空機ＡＶＭ用途のＶＥＬＣＲＯ（ＴＭ）によって棚３４に適切に固定され得るが、ＡＶＭの移動がない陸上ベースの形態では、重力によって棚に載置することができる。

ＡＶＭ２８は、取り外された商品自体を検出することによってではなく、商品が取り外される前後の陳列されたストックの画像を比較することにより、顧客によって陳列棚３４から取り出されたいずれかの商品を特定し、残りのストックの画像において欠落するいずれかの商品を確定するために特別に構成される。顧客４８は、次いで欠落した商品に対して請求され、支払う。これは、そのような商品が顧客によりキャビネット３０から選択され、取り出されたと推測する。

この自動販売手順は一般的な自動販売機とはまったく異なり、選択された商品が、対応する機器、複雑さ及び重量により何らかの態様で直接特定されることを要する。

一般的な商品バーコードには、購入時に商品を特定するための対応するバーコードスキャナーが必要である。同様に、ＲＦＩＤタグ付き商品は購入のためにスキャナー及び機器が必要である。このようなバーコード及びＲＦＩＤ商品の識別は、それらの複雑さ及び重量のために航空機ＡＶＭでは望ましくなく、通常は客室乗務員による監督が必要であり、そのためセルフサービス及び安全な操作に容易には貢献しない。

図５に示されるＡＶＭ２８は、著しく少ない構成要素を有し、顧客４８によって商品がキャビネット３０から取り出される前後に陳列されたストックを画像化するためにカメラ４２を使用する。コンピュータ４４は、商品取り出し前の初期ストックと商品取り出し後の残りのストックとの両方においてカメラ画像からすべての商品を識別するように特に構成される。

次の点に留意されたい。すなわち、初期の陳列ストック（Ｓ）はすべての商品１－１６を含み、顧客４８が例えば商品１３等の単一の商品のみを手に取り又は取り出すと、これは、残りのストック（Ｓ－（Ｓ－Ｐ））に１５個の商品１－１２及び１４－１６を残す。

コンピュータ４４は次いで、初期ストックと残りのストックにおいて特定された商品を比較し、それらの間で欠落している商品、例示的に商品１３等を確定し、これにより欠落している商品１３を、取り出された又は顧客が選択した商品として推測し、指定する。

カメラ４２はコンピュータ４４により好ましく操作され、商品取り出し前に商品（ｎ）の初期ストック（Ｓ）をプレ画像化し、次にプレ画像５０から商品の初期ストックを識別し、次いで商品取り出した後の残りのストックをポスト画像化し、ポスト画像５２から商品の残りのストックを識別する。次いで、そのように識別された残りのストックとそのように識別された初期ストックを比較することにより、いずれかの欠落した商品が特定され、会計報告される。

図５において、ストック（Ｓ）のプレ画像５０が、陳列された１６個の商品１－１６のすべての立面図として概略的に示され、ポスト画像５２が、陳列された残りの１５個の商品１－１２及び１４－１６の同様の立面図として概略的に示される。

概略的な図５において、初期ストック（Ｓ）は１６個の商品を有し、商品Ｐ（１３）が取り出され（Ｓ－Ｐ）、すなわち１５個の商品が陳列に残る。プレ画像５０及びポスト画像５２の比較は、（Ｓ（Ｓ－Ｐ））に対応し、これは結果として、Ｐが、例えば図５に例示される単一の商品１３等の取り出された商品となる。

例えば２つの商品１３及び７がキャビネット３０から取り出された場合、比較（Ｓ－（Ｓ－Ｐ））は、それらの欠落した商品１３及び７を取り出されて現在欠落している商品として特定する結果となる。

今やポスト画像５２は、顧客が陳列されたストック商品（ｎ）のいくつかを手で触り、最終的に例示的な商品１３を選択して取り出す前に、それらのいくつかを再配置することを示す。顧客がいずれかの商品を見て、触れて、吟味して、更に陳列キャビネット３０に戻す機能は、その元の棚配置とは無関係に、ＡＶＭ２８の優れた汎用性及び販売の完成性を示す。

そのため、商品の初期ストック（ｎ）は、透明な陳列扉３２を通して顧客４８が最初に見るために、ロックされた陳列キャビネット３０の１つ又は複数の陳列棚３４上に単にランダムに又は望ましいレイアウトもしくはパターンで陳列され得る。

次いで顧客４８は、キャビネット３０からの購入のアクセスを許可するためのディスプレイパネル４６又は適切にマーク付けされた通信領域に対して、ブルートゥース（登録商標）又はＲＦＩＤ支払いアプリ（アプリケーション）を有するクレジットカード又は携帯電話を提示する。コンピュータ４４はカメラ４２を作動させ、陳列上の初期ストック（Ｓ）のプレ画像５０を撮影させ、次いで、そのプレ画像５０から、キャビネット３０のロックを解除する前に、その初期ストック内のすべての商品（ｎ）を適切に識別する。

コンピュータ４４は次いで、キャビネット扉３２のロックを解除し、キャビネット内に陳列されるすべての商品に対する顧客によるアクセスを可能にし、それらのうちの１つ又は複数は、検査及び購入のために顧客によって手動で扱われ又は取り出され、望ましくない場合はキャビネットに戻され得る。

顧客は、商品の検査が終了したら陳列扉３２を単に閉じ、次いでコンピュータ４４は扉をロックし、再びカメラ４２を作動させてポスト画像５２を撮影し、その後、商品の残りのストックが顧客によって取り去られた後又は取り去られなかった後、そのポスト画像から商品の残りのストックを適切に識別する。

コンピュータ４４は、両方の画像で見い出され及び識別された一致する商品についてプレ画像５０とポスト画像５２を比較し、ポスト画像５２からいずれかの商品が欠落しているかを確定するように特別に構成される。

図５において、プレ画像５０は、コンピュータによって識別された１６個の初期ストック（Ｓ）の商品１～１６すべてを含み、ポスト画像５２は、コンピュータによって再び識別された１５個（Ｓ－Ｐ）の商品１－１２及び１４－１６のみを含む。これらの結果（Ｓ（Ｓ－Ｐ））を比較すると、商品１３（Ｐ（１３））がポスト画像５２から欠落していることを示す。

これにより商品１３は、これが陳列ストックから欠落しているので推論によって特定され、自動販売プロセスは、そのように特定された欠落した商品（１３）の代金を顧客に請求することによって完了する。

ＡＶＭ２８は、基本的に、その視覚又は光学カメラ４２及び関連コンピュータ４４に依存し、関連コンピュータ４４は、商品ストックのプレ画像及びポスト画像を取得し、キャプチャされた商品（ｎ）を識別し、それによって顧客が陳列扉を閉じた後にいずれかの商品がポスト画像に欠落しているか否かを確定するようにソフトウェアに特別にプログラムされる。

顧客は陳列された商品（ｎ）を手動で取り出して視察し、キャビネットの元の位置又は別の位置にランダムに戻すことができるため、そのような顧客の介入の前後両方で陳列されたストックの視覚的な識別を実行する必要がある。顧客がなんの商品も選択せず取り出さない可能性があり、そのため顧客は、キャビネットから取り出されていない商品又はキャビネット内に単に再配置された商品について請求されない。

従って、コンピュータ４４は、カメラ４２を作動させ、顧客が陳列扉のロックを解除して開く前及び扉を再び閉じて再度ロックした後に商品ストックの正確な画像を作成し、次いで陳列棚３４上の位置及び向きとは無関係に、プレ画像５０及びポスト画像５２に含まれるすべての各商品（ｎ）を正確に検出及び認識するように特別に構成される。

ストック画像からの正確な認識が陳列されているすべての商品の正確な識別を確実にし、また、正確な会計と適切な請求のために、顧客が取り出したいずれかの商品の正確な推測を確実にする。

この手順は、キャビネット３０に陳列されるすべての商品インベントリ又はストックの識別に依存し、顧客が実際に取り出したいずれかの商品を直接特定する必要がないため、商品の販売におけるセキュリティをも強化する。

結果として生じる請求書における商品を特定しその商品を集計するために顧客が典型的なバーコードスキャナーを通過させて個々の商品を道義上セルフスキャンしなければならい典型的なセルフサービスチェックアウトシステムを対比する。もちろん、いずれかのアイテムのスキャンに失敗することは、そのようなアイテムは集計されないか支払いも行われないことを意味する。そして、非常に重要なことに、そのような自己スキャンは、それに対応するバーコードスキャナー機器を必要とする。航空機の限られた環境では、バーコードスキャナーのようなセルフサービス機器は実用的ではなく、また乗務員による操作なしでは十分に安全でもない。

そのため、上記で紹介したＡＶＭ２８は顕著な利点を提供する。すなわち、単なる例示であるが、構成部品が少なく、重量が小さく、選択した商品の正確な特定、及び旅客機の形態における商品の安全なセルフサービス販売を提供する。

コンピュータ４４に、ストックのプレ画像５０及びポスト画像５２の両方における各商品（ｎ）を検出及び認識するように訓練された人工ニューラルネットワーク（Ａ．Ｎ．Ｎ．又は単にＡＮＮ）を配置することにより、ストック商品（ｎ）の正確な識別をＡＶＭ２８において提供することができる。

人工ニューラルネットワークは、生物学的ニューラルネットワークに触発された慣用の既知のコンピューティングシステムである。生物学的ニューラルネットワークは、一般にタスク固有ルールによりプログラムすることなく、例を検討することにより様々なタスクを実行するように訓練可能である。

例えば、あるウィキペディアのリファレンスでは、ＡＮＮは画像認識のために訓練され、猫等のオブジェクトを含む画像を識別することができる。訓練段階では、多数の例又は訓練画像に猫又は猫無しとして手動でラベル付けされて分析され、次いで他の画像における猫を識別するために使用される。

ＡＮＮは、猫についての事前の知識、例えば、猫は毛皮、尻尾、ひげ、猫のような顔を有するといった知識なしにこれを行う。代わりに、ＡＮＮは、処理する学習教材から識別特性を自動的に生成し、適切な訓練の後、猫等の各オブジェクトに対応するヒューリスティックシグネチャ又はニューラルシグネチャを発達させる。

ＡＮＮは、例えば、コンピュータビジョン、音声認識、機械翻訳、ソーシャルネットワークフィルタリング、ボードゲーム及びビデオゲームのプレイ、医療診断等、様々なタスクで使用されている。

ＡＶＭ２８において、コンピュータ４４に配備されたＡＮＮは、コンピュータビジョンを使用し、そこにキャプチャされたストック商品画像を検出及び認識するためにプレ画像５０及びポスト画像５２を分析するように特別に構成される。特に、ＡＮＮは、陳列棚３０から取り出された実際の商品（１３）を直接画像化して特定するようには構成されておらず、代わりに、上述し更に以下に述べるように欠落した商品を予測又は推測するためにプレストック及びポストストックを画像化することに留意されたい。

コンピュータ４４に配備されたＡＮＮは、ストックのプレ画像５０並びにストックのポスト画像５２内の各商品を検出しかつ認識するように訓練される。次いで、コンピュータ４４は、ポスト画像５２とプレ画像５０とにおけるＡＮＮが認識したストック商品画像を比較して、商品１３等の欠落している商品を特定する。

図５においてＡＶＭ２８に展開されるように、ＡＮＮは、プレ画像５０とポスト画像５２にキャプチャされたいくつかの商品（ｎ）を正確に検出及び認識するための使用のために、既に訓練され又は事前訓練される。このように自動販売機２８は、人工ニューラルネットワーク自動販売機又は単にニューラル自動販売機として特別に構成される。ニューラル自動販売機は、ストック商品を画像化するためにコンピュータビジョンに依存し、その画像にキャプチャされた種々のオブジェクト又は商品を検出及び認識する。

図６は、ＡＶＭ２８で使用するために特別に変更された場合を除き、慣用のプロセスにおいてＡＮＮがどのように訓練されるかを概略的に示す。図６は、より詳細に後述されるように、ＡＶＭ２８に使用するための異なる２つのＡＮＮ、第１ＡＮＮ－１及び第２ＡＮＮ－２に対する類似の訓練を示す。

第１ＡＮＮ－１及び第２ＡＮＮ－２の両方は、商品のマスターインベントリにおける多数の商品（Ｎ）各々を正確に識別するように、商品の販売での使用に先行して事前訓練される。各商品（ｎ）は、最初にカメラ４２によって適切な角度からキャプチャされ、外観及び色又は任意の適切な物理的属性を含む、その物理的形態、サイズ及び／又は形状に基づいて固有の識別性を提供する。例えば、同じサイズの２つの飲料缶は、その特徴的なラベルの色及びパターンによって識別され区別され得る。

次に、商品識別訓練の結果は、適切に大きい商品ストック（Ｎ）の正確なデータベースを提供するためにＡＶＭ２８において使用される。このデータベースから、ＡＶＭに販売用に陳列されたサブセットストック（Ｓ）の商品（ｎ）を、乗客への販売のために認証することができる。

従来の事前訓練は、最初に、初期商品ストック（Ｓ）を含む多数の商品（ｎ）のマスターインベントリが望まれる。ターストックを画像化することを含む。上記したように、商品（ｎ）のマスターインベントリからディスプレイストック（Ｓ）が選択され、商品（ｎ）のマスターインベントリは、所望により大きく多様にすることができる。ここで、Ｎは潜在的な商品の最大数を表し、１０、１００、５００、更に必要に応じて１０００以上の任意の適切な数値を有し得る。

各商品（ｎ）は、物理的な３次元（３Ｄ）形態であり、その外面に印刷された対応するグラフィック、テキスト、配色、及びバーコードを有し、図６に示す商品番号１、２、３、．．．１８．．．Ｎにより概略的に参照される。

訓練中の商品（ｎ）は、目的のＡＶＭ２８において後に使用するための実際の商品である。ＡＶＭに表示されるストック（Ｓ）は、マスターストック（Ｎ）の適切なサブセットであり、例えば図５に示される商品１－１６を含む。

適切な訓練カメラ５４は、典型的にはメインフレームである別のコンピュータ５６に動作可能に結合され、２つのＡＮＮにおいて学習するか又は訓練を受ける各商品（ｎ）の複数の訓練画像が撮影される。

各訓練画像は、商品の完全な画像化を確実にするために、訓練技術者による手動のボックス化又はフレーミングのために適切に間隔があけられた１つ以上の商品を含むことができる。各商品の複数の画像は、所望により異なる配向、角度、照明、背景、位置、ボックス化等により撮影される。

例えば、最初に訓練された商品は、ＡＮＮがそれを正確に検出及び認識するために、それぞれ５００～１０００の画像が必要であり得る。その後、訓練された商品は、ＡＮＮの正確な訓練のために約７０～１００の異なる画像のみを必要とし得る。

上記したように、ＡＮＮ並びにその訓練は一般に慣用である。各ＡＮＮは、各商品訓練画像を分析し、画像の商品を検出してそれらの商品を認識し、分析された商品を予測するように構成される。

最初に、訓練されていないＡＮＮによって予測された商品は、訓練画像に含まれる実際の商品と比較した場合、訓練プロセスにおいて不正確になり、次いで、対応する重み又はバイアスがＡＮＮモデルにおいて調整される。これが次の予測にも実行される。この反復プロセスは、ＡＮＮが適切に訓練され、各商品（ｎ）に対応するニューラルシグネチャＸ（ｎ）を学習するまで多数の反復又はエポックで繰り返される。

上記したように、従来のＡＮＮは、これらが処理する学習教材から識別特性を自動的に生成する。この識別特性は数学的抽象概念であるが、それでも、各商品を正確に検出及び認識するためにＡＮＮが理解する商品又はニューラルシグネチャＸ（ｎ）を表す。

訓練プロセスは、対応する発展したニューラルシグネチャＸ（ｎ）に基づいて、すべての商品（ｎ）がその画像から正確に検出及び認識されるまで商品ごとに続行され、各商品の対応するニューラルシグネチャが後のＡＶＭでの後の使用のために格納され、全商品に適したシグネチャインベントリ又はデータベースに保存される。

６つのテストオブジェクトを検出及び認識する１つの開発プログラム中に、１００万回の訓練反復又はエポックが実行され、対応する画像からこれらの６つのテストオブジェクトを識別するように十分な精度で第１２世代ＡＮＮを開発し、かつこれにより概念実証をサポートするために、２４時間フルで６日のコンピュータ時間を必要とする。

上記したように、２つのＡＮＮは、図６のフローチャートで同様に訓練され、図５は、ＡＶＭコンピュータ４４に配備された１つ又は複数のそのように事前訓練されたＡＮＮを概略的に示す。

最良の商品識別のために、同じ事前訓練されたＡＮＮが、図５に示すＡＶＭ２８におけるプレ画像５０及びポスト画像５２の両方において商品（ｎ）を検出及び認識するために使用される。これに対応して、ＡＶＭカメラ４２は、訓練カメラ５４と同一か又は類似であるべきであり、画像及び学習したシグネチャインベントリ又はデータベースから検出されたニューラル商品シグネチャＸ（ｎ）の最良のマッチングを確実にするために適切な光学的及びデジタル性能を有するべきである。

図６に示される訓練コンピュータ５６は、好ましくは、ＡＮＮを訓練するための強化された計算能力を有するメインフレームコンピュータである。図５に示されるＡＶＭコンピュータ４４は、商品識別のために訓練されたＡＮＮの展開に適切に使用するために、サイズ及び計算処理性能を実質的により小さくすることができる。

図７は、図５に示されるＡＶＭ２８の好ましい構成を示す。この構成において、コンピュータ４４は２つの異なるＡＮＮを含むようにソフトウェアにおいて構成される。２つの異なるＡＮＮは、ストック画像における各商品（ｎ）を検出及び認識するために事前に訓練された第１人工ニューラルネットワーク（ＡＮＮ－１）と、同じストック画像における各商品を検出及び認識するように事前に訓練された、第１ＡＮＮ－１とは異なる構成の第２人工ニューラルネットワーク（ＡＮＮ－２）とを含む。

第１ＡＮＮ－１は、これ自体の訓練された、ニューラルシグネチャＸ（ｎ）の第１データベース又はインベントリ－１を有する。第２ＡＮＮ－２は、これ自体の訓練された、ニューラルシグネチャＸ（ｎ）の第２データベース又はインベントリ－２を有する。第２データベース又はインベントリ－２は第１ＡＮＮ－１のシグネチャとは異なる。

２つの異なるＡＮＮは、シンジケートプーリング評価（ＳＰＥ）において並行に配置され、プレ画像５０及びポスト画像５２の両方における商品を独立に検出及び認識する。第１ＡＮＮ－１は、プレ画像５０及びポスト画像５２における商品を検出及び認識するために使用され、適切な精度又はエラー閾値を有する。第２ＡＮＮ－２は、同じプレ画像５０及び同じポスト画像５２における商品を検出及び認識するために並行に使用され、適切な精度又はエラー閾値を有する。

次に、両ＡＮＮは、それらのプレ画像及びポスト画像におけるすべての商品（ｎ）を予測し、コンピュータソフトウェアは、ポスト画像５２とプレ画像５０においてそのようなＡＮＮが認識したストック商品（ｎ）を比較するように特別に構成される。第１及び第２ＡＮＮによる商品識別は、商品識別の精度を向上させるために一致しなければならず、画像に見出した予測商品（ｎ）が一致しない場合、ＡＶＭ２８はディスプレイパネル４６にエラーを報告し、次いでキャビンクルーの介入を要求する。

２つのＡＮＮ商品予測間の一致は、ポスト画像５２において取り出された又は欠落した商品のより正確な識別を保証し、顧客への支払い請求と共に購入トランザクションの完了を可能にする。

２つの異なるＡＮＮが、対応する異なるニューラルシグネチャＸ（ｎ）と共に異なるＡＮＮモデル又は技術の対応する利点を活用するためにＡＶＭ２８において好ましい。多くの種類の慣用のＡＮＮが知られており、性能が顕著に変化する。

ＡＶＭ２８では、検出及び認識への異なるアプローチを有する２つの異なるＡＮＮを有することが望ましい。商品識別は商品画像の分析に依存するため、各画像が異なるオブジェクト又は商品を検出するために最初に分析されなければならない。オブジェクトが検出されるや否や、オブジェクトはまた適切に認識されなければならない。

図５及び図７に示される例示的な商品ストック（Ｓ）のプレ画像５０において、１６個の陳列された商品（ｎ）は、異なる形態、形状及び外観を有し、ＡＮＮは、最初に、プレ画像５０に見出される１６個の商品を検出及び区別しなければならない。次に、ＡＮＮは、ＡＮＮの広範な訓練及び対応するニューラルシグネチャＸ（ｎ）に基づいて、これら１６個の商品（ｎ）各々を認識しなければならない。

ニューラルＡＶＭ２８に２つの非常に異なるＡＮＮを組み込むことで、各商品の識別において２つのＡＮＮ間の一致を要求することにより、商品識別の精度を大幅に向上させることができ、あるいはまた販売トランザクションがエラーで終了し、そのためキャビンクルーの介入を必要とする。

従来のＡＮＮの適切なタイプの１つは、画像の認識及び分類用に構成された畳み込みニューラルネットワーク（ＣＮＮ又はＣｏｎｖＮｅｔ）である。ＣＮＮは、ロボット及び自動運転自動車のビジョンシステムに電力を供給するために、顔、物体及び交通標識の特定に成功している。

従来のＡＮＮの別の適切なタイプは、領域ベースの畳み込みニューラルネットワーク（ＲＣＮＮ）であり、選択的検索スライディングウィンドウを使用して評価するため、ターゲット領域を有するＣＮＮを使用して最先端の視覚オブジェクト検出を提供する。例示的なＲＣＮＮは、ａｒＸｉｖ．ｏｒｇからオンラインで入手可能なａｒＶｉｘペーパー１３１１．２５２４に開示されており、これは２０１３年１１月１１日（ｖ１）に提出され、２０１４年１０月２２日（ｖ５）に最終改訂された。

従来のＡＮＮの別の適切なタイプは、ＣＮＮが入力画像を１回だけ操作し、特徴マップを計算するシングルショット検出器（ＳＳＤ）である。シングルショットマルチボックス検出器の形式の例示的なＳＳＤは、ａｒＸｉｖ．ｏｒｇからオンラインで入手できるａｒＶｉｘペーパー１５１２．０２３２５に開示されており、これは２０１５年１２月８日（ｖ１）に提出され、２０１６年１２月２９日（ｖ５）に最終改訂された。

このフィーチャマップ上の小さな３ｘ３サイズの畳み込みカーネルは、境界ボックスと分類確率を予測するために使用される。ＳＳＤはまた、ＲＣＮＮと同様に種々のアスペクト比にてアンカーボックスを使用する。スケールを処理するために、ＳＳＤは複数の畳み込み層の後の境界ボックスを予測する。各畳み込み層は異なるスケールで動作するため、種々のスケールのオブジェクトを検出可能である。

図７に示すＡＶＭ２８において、２つの異なるＡＮＮは、シングルショット検出器（ＳＳＤ）の形式の第１ＡＮＮ－１と、領域ベースの畳み込みニューラルネットワーク（ＲＣＮＮ）の形式の第２ＡＮＮ－２を好ましく含む。

この選択の目的は、検出及び認識へのアプローチが異なる２つの非常に異なるネットワークを持つことである。ＲＣＮＮは機能が典型的により大きく、より集約的であるため、パフォーマンスがより緩慢であり、結果として認識機能が向上する。ＳＳＤは機能が一般により小さく、それに応じてパフォーマンスがより速く、より寛大な検出閾値を有する。

次いで、２つの異なるＡＮＮがＡＶＭ２８で組み合わされ、シンジケートプーリング評価を集合的に実行する。シンジケートプーリング評価では、各ネットワーク、ＳＳＤ及びＲＣＮＮが同じプレ画像５０及び同じポスト画像５２で並行して動作して、どの商品（ｎ）が認識されるかを独立に予測する。次いで、それらの予測が共にプールされ、比較により評価され、画像にキャプチャされた商品のストック（Ｓ）に対する商品ごとの予測の一致のみがポスト画像５２から欠落している商品の推論及び特定を可能にする。

予測のそのようなプーリングが一致する場合、欠落した商品がより正確に推測され、顧客に支払いを請求することにより自動販売トランザクションの完了が許可される。

もしそのようなプーリングが商品画像のいずれにも一致しない場合、エラー結果がディスプレイパネル４６に送信され、客室乗務員の介入が要求する。

ストックプレ画像５０及びストックポスト画像５２の両方において適切な二次シグネチャＹ（ｎ）から各商品（ｎ）を特定するために、追加のソフトウェア又はアルゴリズムにおいて二次視覚認識システム（ＳＶＲＳ）５８をコンピュータ４４に配備することにより、図７に示される欠落商品１３の特定の更なる精度を随意的にもたらすことができる。

図６は、図７のＡＶＭキャビネット３０に陳列されている初期商品ストック（Ｓ）を含むマスターインベントリ又は多数の商品（Ｎ）を示す。

図７に示すように、二次シグネチャＹ（ｎ）は、異なるニューラル商品シグネチャＸ（ｎ）を確立するためのＡＮＮの訓練に使用されるヒューリスティックなアプローチだけでなく、実際の商品の外観に基づいて、マスターストック（Ｎ）における各商品（ｎ）に対して適切に定義され得る。

各商品（ｎ）は、３Ｄ物理的形状及びサイズを含む適切な形態と、その外面に提示又は印刷された様々なグラフィック、テキスト、色、バーコード、及びその他の表示とを有する。

商品の任意の適切な物理的外観特性は、ＡＶＭコンピュータ４４における二次シグネチャＹ（ｎ）の適切なデータベース６０に格納された二次シグネチャＹ（ｎ）として使用するための訓練画像から選択及び抽出され得る。

次に、ストックプレ画像５０及びストックポスト画像５２の追加の比較をコンピュータ４４が独立に行うことができ、ニューラルシグネチャＸ（ｎ）を使用する２つのＡＮＮにより独立に提供されるＳＰＥ比較に加えて、その二次シグネチャＹ（ｎ）に基づいて欠落商品（１３）を特定する。

例えば、二次シグネチャＹ（ｎ）は商品（ｎ）の色シグネチャであってもよく、ＳＶＲＳ５８は、色シグネチャＹ（ｎ）の慣用のバイナリラージオブジェクト（ＢＬＯＢ）検出を含むように適切なソフトウェアアルゴリズムで構成することができる。

別の例では、二次シグネチャＹ（ｎ）は、商品に印刷されたテキスト又はラベルであり得、ＳＶＲＳ５８は、テキストシグネチャＹ（ｎ）を認識するための慣用の光学式文字認識（ＯＣＲ）ソフトウェア又はアルゴリズムを含むであろう。

いずれの構成においても、そこにキャプチャされた商品の物理的外観に基づくプレ画像５０及びポスト画像５２の二次評価が、２つのＡＮＮによって提供される神経ベースＳＰＥ評価と並行する別の評価においてそれらの商品を適切に識別するために使用され得る。

欠落する商品（１３）の主要な特定は、２つのＳＰＥ－ＡＮＮによってなされる。２つのＳＰＥ－ＡＮＮは、自動販売トランザクションを認可して完了し、顧客に支払いを請求するために、互いに一致（ＹＥＳ）しなければならない。

欠落する商品（１３）のＳＶＲＳ識別も成功した場合（ＹＥＳ）、自動販売トランザクションは依然とし認可されるが、取り出した商品（１３）の特定に追加の確実性を伴う。ＳＶＲＳ識別が欠落した商品（１３）を特定しない場合、エラーは単に記録又はログ記録され、トランザクションは２つのＳＰＥ－ＡＮＮの単一（ＹＥＳ）の一致に基づいて依然として認可される。

ある顧客による最初の自動販売トランザクション後、別の顧客がＡＶＭ２８にアクセスして上記自動販売トランザクションを繰り返すかもしれない。図５及び７に対して上記したように、前者の顧客は商品１３を購入したかもしれず、例えば、この商品１３は陳列されたストック（Ｓ－Ｐ１３）に目下欠落している。更に、前者の顧客は、ポスト画像５２に示されるように陳列された商品を再配置したかもしれない。

客室乗務員がＡＶＭ２８を整備又は補充する場合、キャビネットは、元のレイアウト又は別の再編成されたレイアウトのいずれかで、商品１～１６の元のフル陳列ストック（Ｓ）に復元され得る。前回の販売後に客室乗務員がＡＶＭ２８をサービス処理しなかった場合、陳列されたストック（Ｓ－Ｐ１３）はポスト画像５２に示される配置のままである。

次の顧客が販売トランザクションを開始する際、結果として生じるプレ画像５０がカメラ４２により新たに撮影され、次いで前回のポスト画像５２と照合する。また、新しいポスト画像（５２）がカメラによって撮影され、どの商品が、もしあれば、次の顧客によって購入のために、陳列キャビネット３０から取り出されたかを確定する。

この自動販売プロセスは、陳列されたストックがなくなるかあるいは減少するか、又は航空機の飛行が終了するまで継続し、連続的販売トランザクション各々は、カメラ４２によって撮影された各ポスト画像５２から取り出された又は欠落したいずれかの商品を特定するため、上述したＡＮＮベースの視覚的検出及び認識に従う。

ＡＶＭ２８は、陸上ベースを含む任意の適切な環境で使用するように構成することができるが、その特別なＡＮＮベースの形態により、航空機用途においてそれを特に有用かつ有益にする。航空機用途は、最初に耐空性に対するＦ．Ａ．Ａ政府のコンプライアンスを必要とし、軽量であるべきであり、エラーや誤動作の状態又は補充のためを除き、客室乗務員の操作又は監督を必要とすることなく、個々の顧客による安全なセルフサービスを提供する。

従って、ＡＶＭ２８は、客室２６内の任意の適切な位置において図１及び２に示される航空機胴体２２に都合よく取り付けることができ、陳列キャビネット３０は飛行中に乗客が容易にアクセス可能である。上記したように、陳列キャビネット３０自体は、スペースが許す場合、客室内に適切に分配するための種々の形態を有し得る。

航空機構成のＡＶＭ２８は最小限の複雑さと重量を有することができ、陳列キャビネットからいずれかの商品を直接特定して自動的に分配するための慣用システムが明らかに存在しないことにより特徴付けられる。慣用システムは、図３に概略的に示されるようにバーコードリーダ６２、無線周波数識別（ＲＦＩＤ）検出器６４、及び機械的に駆動される分配シュート６６を含み、これらはＡＶＭ２８には不要であり、設けられない。

従って、ほとんどの慣用の自動販売機器は操作に必要ではなく、基本構成は、商品（ｎ）のストック（Ｓ）を陳列するための適切な棚３４を有するロックされた陳列キャビネット３０、及びキャビネット３０内に適切に取り付けられ、コンピュータ４４に動作可能に結合されたカメラ４２のみを必要とする。コンピュータ４４は、顧客によって選択され、自動購入のためにキャビネット３０から取り出されたいずれかの商品の人工ニューラルネットワーク識別を含む、ＡＶＭ２８のすべての機能を操作するためにソフトウェアに事前にプログラムされる。

図８はより詳細な訓練フローチャート６８を示す。フローチャート６８において、特定の航空会社はＡＶＭ２８において販売用の望ましい商品又は品物を選択し、ＡＶＭ２８におけるその後の配備用の各商品（ｎ）のために対応するヒューリスティック又はニューラルシグネチャＸ（ｎ）を展開するため、第１又はマスターＡＮＮ－１及びスレーブ又は第２ＡＮＮ－２が適切に訓練される。

ＡＮＮ訓練は慣用であるが、航空機ＡＶＭ２８で使用するための開発テストは、それに固有のある一定の改善を示唆する。訓練は、ニューラルネットワークに各商品画像と、商品オブジェクト及びそのタイプを示す境界ボックスとを提供し、次いでネットワークはすべての訓練画像を繰り返し確認し、その内部属性を調整して最適化されたソリューションに向けて収束する。

新しい商品（ｎ）は、ＡＶＭをエミュレートする管理された環境において静止画像を商品の様々な角度及び距離にて撮影することにより追加することができる。次いで画像はパックされ数値形式に変換され、ニューラルネットワークが訓練されることを可能にする。

ＡＮＮ訓練パラメータは次のものを含むことができる。すなわち、適切な事前構成人工ニューラルネットワークの選択；過剰適合を回避するためのネットワークの収束ロバスト性；望ましい商品の選択（ｎ）；一度に３つのストック管理単位（ＳＫＵ）；訓練画像ごとに１つ以上の商品（ｎ）；７０、１００、２００、３００、６００、１０００、又はそれ以上の訓練画像；大きいか又は小さい認識境界ボックス及び根拠のある真実；整列及び／又は非整列の境界ボックス；及び、訓練画像品質。

最初に訓練された商品は、それぞれ５００以上の訓練画像を必要とし得るが、その後の訓練された商品は、ＡＮＮの正確な訓練のために、７０～１００等のより少ない訓練画像を必要とし得る。

システムは、商品の新しいアイテムを認識するように視覚的に訓練する必要があり、そのため、商品は分類を可能にするために視覚的に異なる必要がある。類似に見えるアイテムは同一に分類される。これは、実際には価格設定及び絶対インベントリ管理戦略のみに影響を及ぼすため、運用上の懸念を引き起こすかもしれず又は引き起こさないかもしれない。

必要な画像の数を減らすために転送学習を使用することが好ましい。転移学習は、事前に訓練されたＡＮＮを再訓練して画像の新しいセットを分類する。転送学習なしでは、空のネットワークを有用な精度へと訓練するのに数千の画像が必要となるであろう。

訓練段階では、各訓練画像がどのようなオブジェクト又は商品を包含し、画像のどこに各オブジェクトが配置されているかをコンピュータに通知するために、各画像にトレーナーが手動により注釈を付けなければならない。ラベル付けされた境界ボックスは、トレーナーによって作り出される。次に、この生画像が訓練中のネットワークに提供され、結果を推定する。ネットワークが画像の内容をどれだけうまく推測するかについて、エラー値が提供される。

訓練の開始時において、ネットワークが推測するのでエラーは非常に高くなる。また、学習アルゴリズムの目的は、ネットワークの各ニューロンの重み又はバイアス値を最適化することにより、エラーオブジェクト認識を低減することである。

１つのＡＮＮの実験的開発は、新しい商品アイテムに対する正確で信頼性の高い結果を生成して商品（ｎ）を正しく検出及び認識するために、７０～１００の最少の画像を使用が使用されることを示唆する。

訓練中の特定のネットワークは、訓練段階中にヒューリスティック機能又は属性を抽出する。そのため、より多くの画像及びより多様な画像（位置、照明、配向等に関して）により、ネットワーク訓練が、特定の商品（ｎ）に対するニューラルシグネチャＸ（ｎ）の開発においてより高レベルでより高品質の特徴を抽出することを可能にする。人間の脳と同様に、識別機能は、形状、色、サイズ等の低レベルから始まり、顔、頭、体等のようにより高レベルでより抽象的になり、より優れた機能訓練がより優れたオブジェクト又は商品認識を実現する。新しい商品が追加された場合、ＡＮＮの認識段階のみが再訓練を必要とする。訓練は、物理的に１個のみの実際の商品を要求する。

次に、種々のアングル及び商品位置にて背景、照明、カメラ、アングル等の管理された環境において画像が撮影される。これらの画像は、好ましくは、最大のカメラ解像度で撮影される。通常、いくつかの初期商品を訓練した後、各商品（ｎ）の７０～１００の視覚的に定量化可能な異なる画像が必要である。初期商品は実質的により多くの訓練画像を要する。

訓練画像は、各商品（ｎ）を強調又は指定するためにオペレータ又は技術者が手動により適用して適切な境界ボックスを使用して、単一の又は異なる商品アイテムを含むことができる。即ち、ＡＮＮの検出段階は再訓練されていないため、ユーザは、各画像上の１個ごとの商品に対して最大の境界ボックスを定義しなければならない。訓練画像はユーザ注釈と共に、ＡＮＮの訓練に使用されるデータセットに根拠のある真実を提供する。実際の訓練プロセスは、数値解決反復収束法である。これには多くの処理能力を要し、ローカルで実行したり又は計算のためにクラウドにプッシュすることができる。

訓練画像は、テスト又は評価のための約２０％と実際の訓練のための約８０％に分割されることが好ましい。訓練データセットはＡＮＮを訓練するために使用され、重みバイアスを調整する。次に、各エポックすなわちループ反復において、分類がどの程度成功したかを評価するためにテストデータが使用される。分類ロスが許容基準内に収まると、訓練は完了する。訓練は１回限りのオフラインアクティビティであり、実際のＡＶＭ２８自体では実行されない。

従って、最適な訓練データの作成は、一般に次のものを含む。すなわち、商品背景；照明環境；オブジェクト間検出及び相対的位置；訓練画像ごとの単一及び複数のオブジェクト；訓練画像の数；訓練画像の品質、サイズ、ビットデプス；根拠のある真実の境界ボックス定義；及び訓練収束であり、様々なタイプのＡＮＮに対する様々な精度又はロスを伴う。訓練画像は、各商品の完全な境界を隠すオブジェクトの閉塞又はオーバーラップを回避すべきである。

一旦訓練されると、ＡＮＮは、推論又は予測評価を高速化するために効率的な実行フォーマットに格納及びパックされ、ＡＶＭコンピュータ４４に適切にロード又は送信される。

ＡＶＭカメラ４２は、訓練カメラ５６から提供される画像から訓練された特定のＡＮＮの性能に最もよく整合するために、訓練カメラ５６の性能と適切に整合する光学的及びデジタル性能を有するべきである。

図９は、ＡＶＭ２８を使用する顧客による典型的な自動販売トランザクションの詳細な自動販売フローチャート７０を提示する。上記訓練からの最適化事前訓練されたＡＮＮは、分類、商品、名前検索テーブルと共に、ＡＶＭコンピュータ４４のメモリにロードされる。

陳列された商品（ｎ）の画像は、例えば、約１０２４×１０２４ピクセルの適切な解像度又は通常デプスにてＡＶＭカメラ４２により撮影されるべきである。画像データは適切に数値配列に変換され、ＡＮＮで使用可能な形式に正規化される。

一旦画像データが提供されたＡＮＮは、そのデータを処理し、訓練された検出及び認識推論ルーチンは予測精度の指標として信頼度を与える。事前定義された商品クラス各々に対する信頼度が存在する。

この評価は正確ではない。検出及び認識の両方の推論段階は、対応する信頼レベルが付属し、これらが組み合わされて全体的なオブジェクト認識率を与える。適切な視覚的閾値を超える信頼レベルを有するオブジェクトのみがインベントリへと分類される。これらの閾値の設定はマスター商品インベントリの精度を制御する。

精度ロジックは一次及び二次の概念に基づくことができる。一次ＳＰＥが一致しない場合、エラーが呼び出され、人的介入を要求する。これは通常、商品を再配置し、新しいインベントリ画像でＡＶＭ２８を再度リセットすることを意味する。

二次ＳＶＲＳ５８システムが一次ＳＰＥと一致しない場合は、実行可能な許容範囲外の場合にのみエラーが呼び出される。例えば、一次が画像において２０個の商品を検出し、かつ二次が同じ画像において１０個の商品のみを検出した場合、エラーが生成される。

開発実験の結果は、全体的に最高の精度のためには次のことを有するべきであると示唆する。すなわち、商品のレイアウト間に空白があり、商品間に顕著なオーバーラップがなく、商品の説明や名前が見え、カメラの配置や向きが完全なストックを見ることができ、１００個未満の商品が陳列され、ＡＮＮのパフォーマンスが、ＲＣＮＮでは約０．０５未満、ＳＳＤでは約２．０未満の許容可能なロスレベルへと解決されることである。

基本的な購入シーケンスは極めて単純な手順を有する。この手順では、ユーザ又は乗客がＡＶＭ２８に近づき、支払いを事前承認し、キャビネット扉３２を開き、吟味して１つ以上の商品（ｎ）を手動により選択し、扉３２を閉じる。次いでＡＶＭ２８は、取り出された商品を自動的に特定し、乗客の事前承認された支払いフォームに支払いを要求又は請求する。

事前訓練された第１及び第２ＡＮＮは、対応するプレ画像５０及びポスト画像５２におけるストック商品を検出及び識別し、ポスト画像５２から取り出されたか又は欠落したいずれかの商品を、それにより顧客が選択したものと推測するように特別に構成される。

購入シーケンスフローチャート７０において、乗客は自動販売機２８に行き、透明窓陳列扉３２を通じて入手可能な商品（ｎ）をレビューし；携帯電話又は支払いカードをマシンディスプレイパネル４６（ＲＦＩＤ、Ｂｌｕｅｔｏｏｔｈ、又は類似物、又はＡｉｒｌｉｎｅ電話アプリ経由であってもよい）にタップし；キャビネット扉３２のロックが解除し；マシンは商品インベントリ（Ｓ）の初期インベントリスナップショット又はプレ写真５０を取得し；乗客は扉３２を開き；それらが必要ならば１つ又は複数の商品（ｎ）を取り；扉３２を閉じ、これはセルフロックし；マシンは、そのように変更されたストック（Ｓ（Ｓ－Ｐ））の二次インベントリスナップショット又はポスト写真５２を取得して、選択された１つ以上の商品アイテム、例えば選ばれた商品１３（Ｐ１３）の注文又は購入を計算し；支払いシステムは注文を解決し、購入したアイテムを乗客の支払いメソッドに請求する。その後、マシンにおける残りのストック（Ｓ（Ｓ－Ｐ））が自動的に更新される。

一旦キャビネット３０をストックすると、一連のインベントリ画像がカメラ４２によって撮影され、自動販売機に実際にストックされた商品（ｎ）の初期インベントリ（ｎ）を決定及び記録し、それに応じて商品インベントリデータベースが更新される。

新しい画像が各ユーザ又は顧客の選択の直前にカメラにより撮影され、この新しい画像は、キャビネット３０にストックされた全商品を視覚的に検出及び認識するために使用される。インベントリデータは、精度及び堅牢性を向上させるために事前選択画像の検証として使用される。

商品の選択後、第２画像がカメラにより撮影され、陳列キャビネット３０に含まれる陳列ストックの現在の状態を検出及び認識する。商品インベントリが更新され、キャビネット３０における商品の移動、整列ミス、配置外に備え、並びに、どの１つ以上の陳列アイテムが陳列キャビネットから取り出されたかの現場決定を可能にする。

この第２画像は、初期インベントリデータベース及び事前選択インベントリデータベースに対して検証され、予測されるマシンストックは必要に応じて調整又は修正される。

上記したように、ＡＮＮベースの航空機自動販売機２８は物理的形態において非常にシンプルとすることができ、この形態は、安全な又はロック可能な陳列キャビネット３０と、１つ以上の画像を正確に記録するための適切な視野を有する精密カメラ４２と、特別に構成されたソフトウェアを有する共通のプログラム可能なコンピュータ４４によってすべて制御される統合電子支払い機構とを含む最小の基本構成要素を有する。

これらの基本的な機械的構成要素は、航空機用に容易に設計でき、要求される政府の航空機規制の下で適切に認証可能である。任意の適切な支払いサポートシステムが便利な支払いオプションを提供するために使用可能である。

任意の適切な商品インベントリサポートシステムが、自動販売機のための初期インベントリデータベースを維持するために使用可能であり、また次いで、自動販売機が使用され、そのインベントリストック（Ｓ）がなくなり、都合のよい場合、キャビンクルーにより補充される際に現場でそのデータベースの更新を提供するために使用可能である。

乗客が陳列棚から１つ以上のアイテムを取り出すことにより選択する直前及び直後に、陳列キャビネット内の正確なインベントリを確立するために、ＡＶＭカメラ４２が適切に使用される。

次に、そのような取り出されたアイテムは、訓練されたインベントリデータベースと比較され、販売トランザクションの完了においてそれらの同一性及び販売価格を正確に確定する。その後、インベントリデータベースは更新される。次に続く自動販売購入も同様に、陳列棚の前後画像によって行われ、購入のためにそこから取り出されたいずれかの追加の商品（ｎ）を正確に識別する。

一連の販売の間に陳列棚のアイテムがなくなると、陳列棚は、利用可能な棚スペースに新しいアイテムを単に置き、キャビネット扉を閉じることにより、キャビンクルーによって補充され得る。次の販売前画像は、次いで、以前に訓練されたインベントリ識別を使用して陳列棚インベントリを自動的に更新する。また、次の選択後画像は、いずれかの取り出された商品（ｎ）及びその販売価格を正確に確定する。

従って、正確なインベントリ管理が以下により維持され得る。すなわち、最初に、安全なキャビネット３０に保管された開始インベントリストックのプレ画像を分析し、個々の商品（ｎ）を検出及び認識する；ユーザがいずれかの保管された商品を分配又は取り出すことを可能する；インベントリストックのポスト画像を分析し、そのように取り出された商品を検出及び認識する；次に、そのように取り出されたいずれかの商品をユーザに会計処理又は帰属させる。次いでユーザは、一般的な自動販売機トランザクションにてそれに対して適切に請求され得る。次にインベントリ管理が更新され、取り出された商品を反映し、これにより、その後の使用のために陳列棚の内容の正確なインベントリ記録を維持する。

商品の検出及び認識は、検出及び認識に対して異なる段階を有する単一の事前訓練済み人工ニューラルネットワークを使用して実行され得る。あるいは、複数の事前訓練済み人工ニューラルネットワークが、商品形態及び望ましい識別精度に応じて商品の検出及び認識のために構成されるシンジケートプーリング構成に使用され得る。

検出段階は工場で訓練することができ、それ故、データベースに物理的に組み込まれている。認識段階は、所望によりマスターインベントリに追加された新規又は追加の商品を有する。

上述したＡＶＭ２８は、非常に軽量で、信頼性が高く、迅速で、新しいオンボード自動販売のソリューションの提供を証明することができ、そのため、追加の航空会社の収益源を提供する。ＡＶＭを飛行中の旅客機での使用のために特別に構成するため、航空宇宙の設計、材料及び慣行を効果的に使用することができる。

ＡＶＭマシンは、特定の航空機における利用可能な限られたスペースを補完するために、ほぼどのようなサイズ及び形態にもすることができ、単に通信及び電源のインターフェースを必要とする。実際には、ＡＶＭマシンは、安全なキャビネットに標準航空宇宙コンピュータ及びカメラの構成要素を含むことができ、これらにより認証がより簡易となる。

カメラベースのビジョンシステムは複雑な機構の必要性を回避し、大幅な重量を省き、飛行中の航空機での使用に対してより容易に認定可能である。ＡＶＭはキャッシュレスの電子決済システムを使用することができ、物品の選択は、機構を有さないコンピュータベースのビジョンシステムによって評価、監視及び制御が行われる。

セルフサービスのＡＶＭは、乗客第一の体験を提供し、新技術を優雅に組み合わせながら、いかにして客室インテリア製品と自然かつ本能的な相互作用を実現し得るかを例示する。ＡＶＭは人工知能（Ａ．Ｉ．）を使用して、乗客がセルフサービスディスプレイから単に商品を選択することを可能にし、これは次いで、乗客のアカウントに自動的に請求される。

ＡＶＭは、オープンで入手可能な商品ディスプレイを使用し、高品質の航空機客室インテリア製品に完全に統合され、人工知能と組み合わされて、自然で、非侵襲的で、本能的で、動的で、単純な選択の相互作用を提供する。

ＡＶＭは、様々な航空機の乗客又はギャレー区画室の様々な配置のための形態で特別に構成可能であり、ガラス張りの陳列棚を有するカスタムフィットキャビネット、その商品インベントリのカメラビューイング、電話又はｅ（電子）カードでアクティブ化されるアクセス扉、及び商品の選択及び購入トランザクションの詳細を示す電子ディスプレイを含む。陳列ケースは、補充商品を保つための標準航空機保管カート上に取り付けることができ、これと共に追加の廃棄区画が設けられ得る。

ＡＶＭは、技術の開発と巧みに実行された設計を組み合わせ、航空機のケータリング商品への改善されたシンプルなインターフェースを提供する。これは潜在的な利益を与え、これは、キャビン内での乗客の相互作用が改善し、容易で、フレンドリーで、応答性がより高くなることを含み、より自然でイライラの少ない体験を与える。キャビンクルーは、依然として乗客に関与パーソナルサービスを提供し、ケータリング収入の流れを提供しながら、販売義務から解放される。

キャビン全体のビジネスクラススタイルのセルフサービスには、複数のＡＶＭマシンが提供可能である。ＡＶＭは、静的で、軽量で、信頼性の高い自動販売技術を提供し、また、商品を分配するための可動部品や機構がなく、所有コストを低減し、また、複雑な技術が乗客に優しい方法で導入され使用されることを可能にする。

人工知能及びコンピュータビジョンの発展は、現在、様々なオブジェクトが正確に検出、識別及び認識可能であることを意味する。あなたの携帯電話、搭乗券又はクレジットカードが商品の陳列ケースを単に開け、乗客はいずれか１つ又は複数のアイテムを単に選択する。

ビジョンシステムが監視している間ずっと、一旦乗客が選択して扉を閉めると、乗客は選択したものが何であれそれに対して請求される。間違った選択番号を入力したり、ストックされたパケットがなかったり、見た目よりも小さくて失望することはなく、単に拾い上げて去るだけである。

もちろん、この巧妙な技術すべては、乗客には完全に見えず、隠され、バックグラウンドで静かに動作し、美麗な航空機ＡＶＭマシン内にあり、ＡＶＭマシンは、スタンドアロンユニット、ギャレーユニット又は壁取付ディスプレイユニットにて客室内の利用可能なスペースに円滑に融和する構成に調整される。

従って、航空機ＡＶＭマシンは、客室乗務員の支援なしに一般人により使用可能である。これは誠実な又は信頼性に基づくシステムを必要とない。何らのトレーニングも必要ない。これはキャッシュレス電子支払いシステムを含む。このシステムは、非接触型決済カード、電話アプリ、航空会社アプリを許容し、又は、支払い伝票又はコードを介する支払いが可能である。

要約すると、商品インベントリを視覚的に識別するように航空機の飛行に使用するためのＡＶＭマシンを特別に構成することにより、従来の自動販売機の複雑さ及び重量なしに、ＡＶＭ内の任意のアイテムの購入が自動購入のために容易に視覚的に特定され得る。

更に、本明細書に記載のニューラル自動販売機２８は、航空機以外の用途に対して、並びに、従来の自動販売機が使用されるいかなる場所、又はストックの分配及び管理が望まれるいかなる場所にも適切に構成され得る。人工ニューラルネットワークによる光学的検出及び認識に適した任意のタイプの商品又はアイテムを使用することができ、アクセス制御されたキャビネットに保管又は陳列することができる。

次いで、ユーザによるそのようないずれかのアイテムの選択及び取り出しは、上述したように、陳列されたストックのポスト画像及びプレ画像を比較することにより自動的に検出され得る。認可されたユーザに対するアイテムの取り出しの会計又は帰属は、管理、ストック作業、誤動作又はエラーの介入が必要な場合を除き、監督者、オペレータ又はアテンダントを伴わない安全なセルフサービスオペレーションを可能にする。アイテムは正確に識別され、安全なキャビネットから認可されたユーザに、正確な会計又は帰属と共に分配され、これは企図されたアプリケーションによって望まれる支払いの有無にかかわらず行われる。航空機の自動販売用途は、他の無数の適切な自動販売用途における単なる一例である。

本発明の好ましい例示的な実施形態が上記され、その様々な特徴を一般的な用語及びより具体的な用語を用いて主題にて説明した。そのような特徴は、上述した組み合わせにおいて１つ又は複数の例示的で詳細な種に対して連続的で詳細で漸進的に組み合わされ、また、添付の特許請求の範囲に記載される。

従って、添付の特許請求の範囲のいずれか１つ又は複数の請求項又は上記詳細な説明に記載されるか、又は図面に示されている特定の特徴のいずれか１つ又は複数は、提出された上記詳細な説明、対応する図面及び／又は添付の特許請求の範囲に従って、種々の組み合わせ及びサブコンビネーションにおいて本発明の種々の変更を定義するにあたり、先行する又は親の請求項を含むいずれか１つ以上の添付請求項に組み込むことができる。従って、以下の特許請求の範囲は、発明の真の精神及び範囲の単なる例示である上記に提示された元の主題に従って、追加の特徴により解釈、変更、修正又は補足され得る。

Claims (22)

1. いくつかの商品の初期のストックを陳列棚（３４）に陳列すること；
   前記陳列棚（３４）からユーザによって取り出されたいずれかの商品を特定することであって、前記取り出された商品（１３）自体を検出することによってではなく、前記商品が取り出される前後の前記陳列されたストック（Ｓ）の画像（５０，５２）を比較して、残りのストックの前記画像（５２）において欠落している商品を確定することによって、当該商品を特定すること；及び、
   前記欠落した商品（１３）を前記ユーザに会計することを含む商品を販売する方法。
2. 前記商品（１３）が前記ユーザによって陳列棚から取り出される前後の前記陳列されたストック（Ｓ）を画像化（５０，５２）すること；
   商品の取り出し前の前記初期のストック（Ｓ）及び商品の取り出し後の前記残りのストック（Ｓ－（Ｓ－Ｐ））の両方におけるすべての商品（ｎ）を前記画像（５０，５２）から特定すること；及び、
   前記初期のストック及び残りのストックにおいて特定された前記商品（ｎ）を比較して、それらの間の欠落した商品（１３）を確定し、それにより、前記欠落した商品（１３）を前記取り出された商品（１３）として指定することを更に含む請求項１に記載の方法。
3. 商品の取り出し前の商品（ｎ）の初期のストック（Ｓ）をプレ画像化（５０）すること；
   前記プレ画像（５０）から商品（ｎ）の前記初期のストック（Ｓ）を特定すること；
   商品の取り出し後の商品（ｎ）の前記残りのストック（Ｓ－（Ｓ－Ｐ））をポスト画像化（５２）すること；
   前記ポスト画像（５２）から商品（ｎ）の前記残りのストック（Ｓ－（Ｓ－Ｐ））を特定すること；及び、
   前記特定された残りのストック（Ｓ－（Ｓ－Ｐ））と前記特定された初期のストック（Ｓ）とを比較して、前記欠落した商品（１３）を特定することを更に含む請求項３に記載の方法。
4. 前記ストックのプレ画像（５０）における各商品（ｎ）を検出しかつ認識するように訓練された人工ニューラルネットワーク（ＡＮＮ）を配置すること；
   前記ストックのポスト画像（５２）における各商品（ｎ）を検出しかつ認識するように訓練された人工ニューラルネットワーク（ＡＮＮ）を配置すること；
   前記ポスト画像（５２）と前記プレ画像（５０）とにおける前記ＡＮＮ認識されたストックの商品（ｎ）を比較して、前記欠落した商品（１３）を特定することを更に含む請求項３に記載の方法。
5. 前記ＡＮＮは、前記商品（ｎ）の分配に使用する前に事前訓練され、
   前記事前訓練は、
   前記初期の商品のストック（Ｓ）を含む多数の商品（ｎ）のインベントリ（Ｎ）を画像化すること；及び、
   対応配置されたニューラルシグネチャ（Ｘ（ｎ））に基づいて前記インベントリ（Ｎ）内の各商品（ｎ）を前記画像から検出及び認識するように前記ＡＮＮを訓練することを含む請求項４に記載の方法。
6. 前記事前訓練されたＡＮＮは、前記プレ画像（５０）及び前記ポスト画像（５２）の両方における前記商品（ｎ）を検出及び認識するために使用される請求項４に記載の方法。
7. ２つの異なるＡＮＮ（－１，－２）が、前記プレ画像（５０）及び前記ポスト画像（５２）の両方における前記商品（ｎ）を独立して検出及び認識するためにシンジケートプーリング評価において並列に配置され、
   商品認識は、前記欠落した商品（１３）を特定するために、前記ストックのプレ画像（５０）及びストックのポスト画像（５２）の両方に対して異なるＡＮＮ（－１，－２）の両方が一致しなければならない請求項４に記載の方法。
8. 前記２つの異なるＡＮＮは、
   シングルショット検出器（ＳＳＤ－ＡＮＮ－１）と、
   地域ベースの畳み込みニューラルネットワーク（ＲＣＮＮ－ＡＮＮ－２）とからなる請求項７に記載の方法。
9. 前記初期の商品のストック（Ｓ）を含む多数の商品（ｎ）のインベントリ（Ｎ）を画像化すること；
   商品外観に基づいて前記インベントリにおける各商品（ｎ）に対して二次シグネチャ（Ｙ（ｎ））を作り出すこと；
   前記ストックのプレ画像（５０）及び前記ストックのポスト画像（５２）の両方における各商品（ｎ）を前記二次シグネチャ（Ｙ（ｎ））から特定するため、二次視覚認識システム（ＳＶＲＳ ５８）を配置すること；及び、
   前記ストックのプレ画像（５０）とストックのポスト画像（５２）とを比較して、前記二次シグネチャ（Ｙ（ｎ））に基づいて前記欠落した商品（１３）を特定することを更に含む請求項４に記載の方法。
10. 前記二次シグネチャ（Ｙ（ｎ））は、前記商品（ｎ）の色シグネチャであり、前記ＳＶＲＳ（５８）は、前記色シグネチャ（Ｙ（Ｎ））のバイナリラージオブジェクト（ＢＬＯＢ）検出を含む請求項９に記載の方法。
11. 前記二次シグネチャ（Ｙ（ｎ））は前記商品（ｎ）に印刷されたテキストであり、前記ＳＶＲＳ（５８）は前記テキストの光学式文字認識（ＯＣＲ）を含む請求項９に記載の方法。
12. 自動販売機（２８）内のロックされた陳列キャビネット（３０）における前記陳列棚（３４）に商品（ｎ）の前記初期のストック（Ｓ）を陳列すること；
    前記陳列キャビネット（３０）からの購入のために前記ユーザにアクセスを許可すること；
    前記陳列キャビネット（３０）のロックを解除する前に、商品（ｎ）の前記初期のストック（Ｓ）をプレ画像化（５０）しそこから特定すること；
    前記陳列された商品（ｎ）のいずれか１つ又は複数を取り出すために、前記陳列キャビネット（３０）のロックを解除して前記ユーザによる前記陳列キャビネット（３０）へのアクセスを可能にすること；
    前記ユーザがある商品（１３）を取り出した後、商品（ｎ）の前記残りのストック（Ｓ－（Ｓ－Ｐ））をポスト画像化（５２）しそこから特定すること；
    前記プレ画像（５０）及び前記ポスト画像（５２）において特定された商品（ｎ）を突き合わせて、前記ポスト画像（５２）から欠落している前記商品（１３）を確定すること；及び、
    前記欠落した商品（１３）に対して前記ユーザに支払いを請求することを更に含む請求項４に記載の方法。
13. ロックされた陳列扉（３２）の背後の前記陳列キャビネット（３０）内の複数の棚（３４）に前記商品（ｎ）を陳列すること；
    前記複数の棚（３４）に陳列された商品（ｎ）の全ストック（Ｓ）の画像（５０，５２）をキャプチャするために、水平及び垂直視野を有するデジタルカメラ（４２）を前記陳列キャビネット（３０）内に取り付けること；
    前記自動販売機内に収容されたデジタルコンピュータ（４４）に前記デジタルカメラ（４２）を結合することであって、前記デジタルコンピュータ（４４）がプログラムされた前記訓練されたＡＮＮを含むこと；
    前記ユーザが前記陳列扉（３２）を開ける前に、前記複数の棚（３４）に陳列された商品（ｎ）の前記初期のストック（Ｓ）を、前記デジタルカメラ（４２）を使用してプレ画像化（５０）しかつ前記訓練されたＡＮＮを使用して特定すること；
    前記ユーザが商品（１３）を取り出して前記陳列扉（３２）を閉じた後に、前記複数の棚（３４）に陳列された商品（ｎ）の前記残りのストック（Ｓ－（Ｓ－Ｐ））を、前記デジタルカメラ（４２）を使用してポスト画像化（５２）しかつ前記訓練されたＡＮＮを使用して特定すること；及び、
    前記ポスト画像（５２）から欠落している前記商品（１３）を確定し、その支払いを前記ユーザに請求することを含む請求項１２に記載の方法。
14. 前記プレ画像（５０）及びポスト画像（５２）の両方において前記商品（ｎ）を検出及び認識するために前記訓練されたＡＮＮが使用される請求項１３に記載の方法。
15. ２つの異なるＡＮＮ（ＡＮＮ－１，ＡＮＮ－２）が、前記プレ画像（５０）及び前記ポスト画像（５２）の両方における前記商品（ｎ）を独立して検出及び認識するようにシンジケートプーリング評価において並列に配置され、
    商品認識は、前記欠落した商品（１３）を特定するために、前記ストックのプレ画像（５０）及びストックのポスト画像（５２）の両方に対して異なるＡＮＮの両方が一致しなければならない請求項１３に記載の方法。
16. 前記２つの異なるＡＮＮは、
    シングルショット検出器（ＳＳＤ－ＡＮＮ－１）と、
    地域ベースの畳み込みニューラルネットワーク（ＲＣＮＮ－ＡＮＮ－２）とからなる請求項１５に記載の方法。
17. 前記初期の商品のストック（Ｓ）を含む多数の商品（ｎ）のインベントリ（Ｎ）を画像化すること；
    商品外観に基づいて前記インベントリにおける各商品（ｎ）に対して二次シグネチャ（Ｙ（ｎ））を作り出すこと；
    前記ストックのプレ画像（５０）及び前記ストックのポスト画像（５２）の両方における各商品（ｎ）を前記二次シグネチャ（Ｙ（ｎ））から特定するため、二次視覚認識システム（ＳＶＲＳ ５８）を配置すること；及び、
    前記ストックのプレ画像（５０）とストックのポスト画像（５２）とを比較して、前記二次シグネチャ（Ｙ（ｎ））に基づいて前記欠落した商品（１３）を特定することを更に含む請求項１６に記載の方法。
18. 飛行中に前記陳列キャビネット（３０）が乗客にアクセスできるように、前記自動販売機（２８）を客室（２６）内の航空機胴体（２２）に取り付けることを含み、
    前記自動販売機（２８）はバーコードリーダ（６２）、無線周波数識別（ＲＦＩＤ）検出器（６４）、及び機械的駆動式分配シュート（６６）を含む前記陳列キャビネットからいずれかの商品を直接特定しかつ自動的に分配するためのシステムが明確に不存在であることにより特徴付けられる最小限の複雑さ及び重量を有する請求項１３に記載の方法。
19. 自動販売機（２８）の陳列キャビネット（３０）の複数の陳列棚（３４）に商品（ｎ）の前記初期のストック（Ｓ）をランダム位置に陳列することを含み、自動販売機（２８）が有するロックされた陳列扉（３２）を通じて前記商品（ｎ）を見ることができ、
    前記陳列キャビネット（３０）は、前記棚（３４）に陳列された商品（ｎ）の全ストック（Ｓ）を含む視野を有するデジタルカメラ（４２）を含み、
    前記デジタルカメラ（４２）はデジタルコンピュータ（４４）に動作可能に結合され、前記デジタルコンピュータ（４４）は、前記商品の取り出しの前後に前記デジタルカメラ（４２）によって撮影されたプレ画像及びポスト画像（５０，５２）を比較することにより、前記ユーザによって前記キャビネット（３０）から取り出された前記商品（１３）を特定し、残りのストック（Ｓ－（Ｓ－Ｐ））の前記ポスト画像（５２）において欠落した商品（１３）を確定するためのソフトウェアで構成され、
    前記デジタルコンピュータ（４４）は、前記ロックされた陳列キャビネット（３０）へのアクセスをユーザに許可し、商品の取り出しの前後に前記陳列扉（３２）のロックを解除及び再ロックし、前記欠落した商品（１３）に対する前記ユーザからの支払いを処理するように更に構成される請求項１に記載の方法。
20. 前記ストックのプレ画像及びポスト画像（５０，５２）における各商品（ｎ）を検出及び認識するように事前訓練された第１人工ニューラルネットワーク（ＡＮＮ－１）と、
    前記第１ＡＮＮとは異なる構成であり、前記ストックのプレ画像及びポスト画像（５０，５２）における各商品（ｎ）を検出及び認識するために事前訓練された第２人工ニューラルネットワーク（ＡＮＮ－２）とを含み、
    前記第１及び第２ＡＮＮは、前記プレ画像（５０）及びポスト画像（５２）の両方において前記商品（ｎ）を独立して検出及び認識するようにシンジケートプーリング評価において並行に結合され、
    前記ソフトウェアは、前記ポスト画像（５２）と前記プレ画像（５０）とにおける前記ＡＮＮ認識されたストック商品（ｎ）を比較して、前記欠落した商品（１３）を特定するように更に構成され、
    前記第１及び第２ＡＮＮによる前記商品認識は、前記欠落した商品（１３）を特定するために、前記ストックのプレ画像（５０）及び前記ストックのポスト画像（５２）の両方に対して一致しなければならない請求項１９に記載の方法。
21. 自動販売機（２８）であって、
    ロックされた陳列扉（３２）を有し、販売するいくつかの商品（ｎ）の初期のストック（Ｓ）を、前記陳列扉（３２）を通じて表示するための複数の陳列棚（３４）を含む陳列キャビネット（３０）と、
    前記陳列棚（３４）に陳列された商品（ｎ）の全ストック（Ｓ）を含む視野を有する、前記キャビネット（３０）内に取り付けられたデジタルカメラ（４２）と、
    前記デジタルカメラ（４２）に動作可能に結合されたデジタルコンピュータ（４４）であって、前記取り出された商品（１３）自体を検出することによってではなく、前記商品の取り出しの前後に前記デジタルカメラ（４２）によって撮影された前記陳列されたストック（Ｓ）のプレ画像及びポスト画像（５０，５２）を比較することによって、残りのストック（Ｓ－（Ｓ－Ｐ））の前記ポスト画像（５２）において欠落した商品を確定することによって、前記キャビネット（３０）からユーザが取り出したいずれかの商品を特定するためのソフトウェアで構成されたデジタルコンピュータ（４４）とを備え、
    前記デジタルコンピュータ（４４）は、ユーザにアクセスを許可し、商品の取り出しの前後に前記陳列扉（３２）のロックを解除及び再ロックし、前記欠落した商品（１３）に対する前記ユーザからの支払いを処理するように更に構成される自動販売機（２８）。
22. 前記ソフトウェアは、
    前記ストックのプレ画像及びポスト画像（５０，５２）における各商品（ｎ）を検出及び認識するように事前訓練された第１人工ニューラルネットワーク（ＡＮＮ－１）と、
    前記第１ＡＮＮとは異なる構成であり、前記ストックのプレ画像及びポスト画像（５０，５２）における各商品（ｎ）を検出及び認識するために事前訓練された第２人工ニューラルネットワーク（ＡＮＮ－２）とを含み、
    前記第１及び第２ＡＮＮは、前記プレ画像（５０）及びポスト画像（５２）の両方において前記商品（ｎ）を独立して検出及び認識するようにシンジケートプーリング評価において並行に結合され、
    前記ソフトウェアは、前記ポスト画像（５２）と前記プレ画像（５０）とにおける前記ＡＮＮ認識されたストック商品（ｎ）を比較して、前記欠落した商品（１３）を特定するように更に構成され、
    前記第１及び第２ＡＮＮによる前記商品認識は、前記欠落した商品（１３）を特定するために、前記ストックのプレ画像（５０）及び前記ストックのポスト画像（５２）の両方に対して一致しなければならない請求項２１に記載の自動販売機（２８）。

Images