JP2019194902A - 情報処理方法、機器、システム及び記憶媒体 - Google Patents

Abstract

【課題】無人小売の解決手段の性能を効果的に向上させる情報処理方法、機器、システム及び記憶媒体を提供する。【解決手段】情報処理方法は、ＡＩカメラが無人小売シーンでのリアルタイムデータを取得するステップと、ニューラルネットワークモデルに基づいてリアルタイムデータに対して商品識別及び人体監視のいずれか１種又は多種を含むフロントエンド処理を行うステップと、フロントエンド処理後の結果をサーバに送信し、該フロントエンド処理後の結果が該フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うようにサーバをトリガすることに用いられるステップと、を含む。【選択図】図２

Description

本発明の実施例は、インターネット技術に関し、特に情報処理方法、機器、システム及び記憶媒体に関する。

インターネット技術の急速な発展に伴い、無人小売は徐々に公衆の注目を集めており、且つますます多くのハイテク会社は人的、物的資源を投入し、実際の実行可能な解決手段を検討している。

現在、無人小売の解決手段は、一般的に従来の単一ネットワーク構造を採用し、且つビッグデータに依存し、端末カメラによって収集されたデータをネットワーク経由でサーバに伝送して集中して統合処理を行う。

発明者らは、上記の無人小売の解決手段の性能が低いと発見する。

本発明の実施例は、無人小売の解決手段の性能を効果的に向上させるために、情報処理方法、機器、システム及び記憶媒体を提供する。

第１の態様では、本発明の実施例にて提供された、無人小売シーンに適用されている情報処理方法は、
人工知能ＡＩカメラが、無人小売シーンでのリアルタイムデータを取得するステップと、
前記ＡＩカメラが、ニューラルネットワークモデルに基づいて前記リアルタイムデータに対して商品識別及び人体監視のいずれか１種又は多種を含むフロントエンド処理を行うステップと、
前記ＡＩカメラが、フロントエンド処理後の結果をサーバに送信し、前記フロントエンド処理後の結果が前記フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うように前記サーバをトリガすることに用いられるステップと、を含む。

１つの可能な設計において、前記ニューラルネットワークモデルはＳＳＤ−ＭｏｂｉｌｅＮｅｔモデル及び畳み込みニューラルネットワークＣＮＮモデルを含む。

１つの可能な設計において、前記サーバはローカルサーバ及びクラウドサーバを含み、前記ＡＩカメラがフロントエンド処理後の結果をサーバに送信するステップは、
前記ＡＩカメラが、フロントエンド処理後の結果を前記ローカルサーバに送信し、前記フロントエンド処理後の結果が前記フロントエンド処理後の結果に基づいてエッジ処理を行うように前記ローカルサーバをトリガすることに用いられることと、エッジ処理後の結果を前記クラウドサーバに送信し、前記エッジ処理後の結果が前記エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うように前記クラウドサーバをトリガすることに用いられることと、を含み、前記エッジ処理は人体視覚処理を含む。

１つの可能な設計において、前記エッジ処理後の結果はさらに、前記エッジ処理後の結果に基づいて請求書を生成し、且つユーザ機器に送信するように前記クラウドサーバをトリガすることに用いられる。

１つの可能な設計において、前記ＡＩカメラはカメラ及び前記カメラに接続されたＡＩチップを含み、
前記カメラは、無人小売シーンでのリアルタイムデータを撮影し、且つ前記ＡＩチップに伝送するように構成され、
前記ＡＩチップは、ニューラルネットワークモデルに基づいて前記リアルタイムデータに対してフロントエンド処理を行い、且つフロントエンド処理後の結果をサーバに送信するように構成される。

第２の態様では、本発明の実施例にて提供された、無人小売シーンに適用されている情報処理方法は、
サーバは、人工知能ＡＩカメラがニューラルネットワークモデルに基づいて無人小売シーンでのリアルタイムデータに対してフロントエンド処理を行った結果であるフロントエンド処理後の結果を受信し、前記フロントエンド処理は、商品識別及び人体監視のいずれか１種又は多種を含むステップと、
前記フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うステップと、を含む。

１つの可能な設計において、前記ニューラルネットワークモデルはＳＳＤ−ＭｏｂｉｌｅＮｅｔモデル及び畳み込みニューラルネットワークＣＮＮモデルを含む。

１つの可能な設計において、前記サーバはローカルサーバを含み、
前記フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行う前記ステップは、
前記ローカルサーバが前記フロントエンド処理後の結果に基づいて人体視覚処理を含むエッジ処理を行うことと、
エッジ処理後の結果をクラウドサーバに送信し、前記エッジ処理後の結果が前記エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うようにクラウドサーバをトリガすることに用いられることと、を含む。

１つの可能な設計において、前記サーバはクラウドサーバを含み、
前記フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行う前記ステップは、
前記クラウドサーバが、ローカルサーバが前記フロントエンド処理後の結果に基づいてエッジ処理を行った結果であるエッジ処理後の結果を受信し、前記エッジ処理は人体視覚処理を含むことと、
前記エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うことと、を含む。

１つの可能な設計において、前記クラウドサーバがエッジ処理後の結果を受信した後に、さらに、
前記エッジ処理後の結果に基づいて請求書を生成するステップと、
前記請求書をユーザ機器に送信するステップと、を含む。

第３の態様では、本発明の実施例にて提供された、無人小売シーンに適用されている人工知能ＡＩカメラは、
無人小売シーンでのリアルタイムデータを取得するための取得モジュールと、
ニューラルネットワークモデルに基づいて前記取得モジュールによって取得されたリアルタイムデータに対して、商品識別及び人体監視のいずれか１種又は多種を含むフロントエンド処理を行うための処理モジュールと、
前記処理モジュールが取得した、フロントエンド処理後の結果をサーバに送信することに用いられ、前記フロントエンド処理後の結果が前記フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うように前記サーバをトリガすることに用いられる送信モジュールと、を含む。

１つの可能な設計において、前記ニューラルネットワークモデルはＳＳＤ−ＭｏｂｉｌｅＮｅｔモデル及び畳み込みニューラルネットワークＣＮＮモデルを含む。

１つの可能な設計において、前記サーバはローカルサーバ及びクラウドサーバを含み、前記送信モジュールは、具体的には、フロントエンド処理後の結果を前記ローカルサーバに送信することに用いられ、前記フロントエンド処理後の結果が前記フロントエンド処理後の結果に基づいてエッジ処理を行うように前記ローカルサーバをトリガすることに用いられ、且つ、エッジ処理後の結果を前記クラウドサーバに送信することに用いられ、前記エッジ処理後の結果が前記エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うように前記クラウドサーバをトリガすることに用いられ、前記エッジ処理は人体視覚処理を含む。

１つの可能な設計において、前記エッジ処理後の結果はさらに、前記エッジ処理後の結果に基づいて請求書を生成し且つユーザ機器に送信するように前記クラウドサーバをトリガすることに用いられる。

第４の態様では、本発明の実施例にて提供された、無人小売シーンに適用されているサーバは、
第１の受信モジュールであって、人工知能ＡＩカメラがニューラルネットワークモデルに基づいて無人小売シーンでのリアルタイムデータに対してフロントエンド処理を行った結果であるフロントエンド処理後の結果を受信することに用いられ、前記フロントエンド処理が商品識別及び人体監視のいずれか１種又は多種を含む第１の受信モジュールと、
前記第１の受信モジュールによって受信された前記フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うことに用いられる処理モジュールと、を含む。

１つの可能な設計において、前記サーバはローカルサーバを含み、前記処理モジュールは第１の処理モジュールを含み、
前記ローカルサーバは、前記第１の受信モジュールと、
前記第１の受信モジュールによって受信された前記フロントエンド処理後の結果に基づいて人体視覚処理を含むエッジ処理を行うための第１の処理モジュールと、
前記第１の処理モジュールが取得した、エッジ処理後の結果をクラウドサーバに送信することに用いられ、前記エッジ処理後の結果が前記エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うようにクラウドサーバをトリガすることに用いられる第１の送信モジュールと、を含む。

１つの可能な設計において、前記サーバはクラウドサーバを含み、前記処理モジュールは第２の処理モジュールを含み、
前記クラウドサーバは、
ローカルサーバが前記フロントエンド処理後の結果に基づいて人体視覚処理を含むエッジ処理を行った結果であるエッジ処理後の結果を受信するための第２の受信モジュールと、
前記エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うための前記第２の処理モジュールと、を含む。

１つの可能な設計において、前記クラウドサーバは、さらに第２の送信モジュールを含み、前記第２の処理モジュールは、さらに前記エッジ処理後の結果に基づいて請求書を生成することに用いられ、前記第２の送信モジュールは、前記請求書をユーザ機器に送信することに用いられる。

１つの可能な設計において、前記ニューラルネットワークモデルはＳＳＤ−ＭｏｂｉｌｅＮｅｔモデル及び畳み込みニューラルネットワークＣＮＮモデルを含む。

第５の態様では、本発明の実施例にて提供される電子機器は、
コンピュータ実行コマンドを記憶するメモリと、
前記コンピュータ実行コマンドを実行するプロセッサと、を含み、
それにより、前記プロセッサは、
第１の態様のいずれか１項に記載の情報処理方法、
及び／又は、第２の態様のいずれか１項に記載の情報処理方法を実行する。

第６の態様では、本発明の実施例は、コンピュータ読取可能な記憶媒体を提供し、前記コンピュータ読取可能な記憶媒体にコンピュータ実行コマンドが記憶され、前記コンピュータ実行コマンドがプロセッサによって実行される時、
第１の態様のいずれか１項に記載の情報処理方法、
及び／又は、第２の態様のいずれか１項に記載の情報処理方法を実現することに用いられる。

第７の態様では、本発明の実施例にて提供された、無人小売シーンに適用されている情報処理システムは、
第３の態様に記載の人工知能ＡＩカメラと、第４の態様に記載のサーバと、を含む。

１つの可能な設計において、前記サーバは、
ローカルサーバであって、第２の態様に記載の情報処理方法における前記ローカルサーバによって実行される動作を実行するためのローカルサーバと、
クラウドサーバであって、第２の態様に記載の情報処理方法における前記クラウドサーバによって実行される動作を実行するためのクラウドサーバと、を含む。

本発明の実施例にて提供される情報処理方法、機器、システム及び記憶媒体は、ＡＩカメラにより無人小売シーンでのリアルタイムデータを取得し、且つニューラルネットワークモデルに基づいてリアルタイムデータに対して商品識別及び人体監視のいずれか１種又は多種を含むフロントエンド処理を行い、その後にフロントエンド処理後の結果をサーバに送信し、該フロントエンド処理後の結果は、該フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うようにサーバをトリガすることに用いられる。端末上のリアルタイムデータの取得の適時性及び利便性を考慮し、ＡＩカメラをフロントエンドの基礎演算子として導入し、深層学習計算を行い、サーバのバックエンド処理を組み合わせ、それにより無人小売シーンで分散計算思想を導入して、無人小売分散システム全体のコストを低減し、データ伝送の帯域幅圧力を軽減し、システム拡張性及び無人小売の解決手段の性能を効果的に向上させることができる。

本発明の実施例と従来技術の技術的解決手段をより明確に説明するため、以下に実施例と従来技術の記述において必要な図面を用いて簡単に説明を行うが、当然ながら、以下に記載する図面は本発明のいくつかの実施例であって、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面に想到しうる。
従来の単一ネットワークを示す構造概略図である。 本発明の一実施例にて提供される情報処理方法を示すフローチャートである。 本発明の別の実施例にて提供される情報処理方法を示すフローチャートである。 本発明の一実施例にて提供されるＡＩカメラを示す構造概略図である。 本発明の一実施例にて提供されるサーバを示す構造概略図である。 本発明の一実施例にて提供されるローカルサーバを示す構造概略図である。 本発明の一実施例にて提供されるクラウドサーバを示す構造概略図である。 本発明の一実施例にて提供される電子機器を示す構造概略図である。

本発明の実施例の目的、技術的解決手段、利点をより明瞭にするために、以下、本発明の実施例に係る図面を参照しながら、その技術的解決手段について明瞭、かつ完全に説明し、当然のことながら、記載される実施例は本発明の実施例の一部に過ぎず、その全てではない。当業者は、本発明の実施例に基づいて創造的な労働をすることなく、想到するその他の実施例は、いずれも本発明の保護範囲に属する。

図１は従来の単一ネットワークを示す構造概略図である。図１に示すように、端末に大量のカメラを配置してオリジナルデータを収集し、次にネットワーク経由でゲートウェーを介してクラウドサーバに伝送し、最後にクラウドサーバにより全ての計算タスクを完了する。もちろん、関連技術においてクラウドサーバは唯一の計算役割を果たす。従って、どのようにクラウドサーバを高負荷、及び厄介な計算タスクから解放するかは、業界内で絶えずに解決しようとする課題となる。

上記の問題に基づいて本発明の実施例は、情報処理方法、機器、システム及び記憶媒体を提供し、ＡＩカメラをフロントエンドの基礎演算子として導入し、サーバのバックエンド処理を組み合わせ、それにより無人小売シーンで分散計算思想を導入して、クラウドサーバの計算負荷を軽減し、無人小売分散システム全体のコストを低減し、スループット、データ伝送の帯域幅圧力及びデータ遅延を低減し、システム拡張性を効果的に向上させることができる。

図２は本発明の一実施例にて提供される情報処理方法を示すフローチャートである。本発明の実施例は無人小売シーンに適用されている情報処理方法を提供し、該情報処理方法はソフトウェア及び／又はハードウェアにより実現することができる。

図２に示すように、該情報処理方法はＳ２０１〜Ｓ２０４を含む。

Ｓ２０１において、人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、ＡＩと略称）カメラは、無人小売シーンでのリアルタイムデータを取得する。

実際の応用において、無人小売シーンに少なくとも１つのＡＩカメラを配置することにより、各角度でのリアルタイムデータを取得する。該リアルタイムデータは、商品に関するデータ、無人小売シーンでのユーザに関するデータなどを含んでよいが、それらに限定されない。

選択的に、ＡＩカメラはカメラを含み、具体的には、カメラにより無人小売シーンでのリアルタイムデータを取得することができる。具体的には、カメラは、単眼カメラ、二眼カメラ又は三眼カメラ等であってよい。

Ｓ２０２において、ＡＩカメラは、ニューラルネットワークモデルに基づいてリアルタイムデータに対してフロントエンド処理を行う。

該フロントエンド処理は、商品識別及び人体監視などのいずれか１種又は多種を含む。無人小売シーンにおいて、コアとなるアルゴリズムは主に、商品識別及び人体監視追跡という２つの部分を含み、人体監視追跡は、人体監視及び人体追跡を含むことができる。本明細書で商品識別及び人体監視はＡＩカメラにより実現されるが、人体追跡はサーバにより実現される。

従来の無人小売の解決手段において、商品識別及び人体監視追跡という２つの部分の計算はクラウドサーバで行われるため、クラウドサーバの負担が大きくなる。本発明の実施例は、端末上のリアルタイムデータの取得の適時性及び利便性を考慮し、ＡＩカメラをフロントエンドの基礎演算子として導入し、基本的な深層学習計算を行い、つまりＡＩカメラはリアルタイムデータに対してフロントエンド処理を行う。

Ｓ２０３において、ＡＩカメラはフロントエンド処理後の結果をサーバに送信する。

該フロントエンド処理後の結果はリアルタイムデータよりデータ量が小さくなり、従って、スループット、データ伝送の帯域幅圧力及びデータ遅延を低減し、システム拡張性を効果的に向上させることができると理解されるべきである。

これに応じて、サーバは、ＡＩカメラから送信されたフロントエンド処理後の結果を受信する。

Ｓ２０４において、サーバはフロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行う。

例示的に、以下のような状況などを挙げる。該フロントエンド処理後の結果は、商品画像を含んでよく、サーバは該商品画像における背景に基づいて商品の流れを決定することができる。又は、該フロントエンド処理後の結果は人体画像を含んでよく、サーバは該人体画像に基づいて顔認識を行うことができる。又は、サーバは、フロントエンド処理後の結果に基づいて誰がある商品を受け取ったかを判断する。

従って、該フロントエンド処理後の結果はＳ２０４を実行するようにサーバをトリガすることに用いられることができる。

本発明の実施例において、ＡＩカメラにより無人小売シーンでのリアルタイムデータを取得し、且つニューラルネットワークモデルに基づいてリアルタイムデータに対して商品識別及び人体監視のいずれか１種又は多種を含むフロントエンド処理を行い、その後にフロントエンド処理後の結果をサーバに送信し、該フロントエンド処理後の結果は、該フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うようにサーバをトリガすることに用いられる。端末上のリアルタイムデータの取得の適時性及び利便性を考慮し、ＡＩカメラをフロントエンドの基礎演算子として導入し、深層学習計算を行い、サーバのバックエンド処理を組み合わせ、それにより無人小売シーンで分散計算思想を導入して、無人小売分散システム全体のコストを低減し、データ伝送の帯域幅圧力を軽減し、システム拡張性及び無人小売の解決手段の性能を効果的に向上させることができる。

選択的に、上記の実施例に基づいて、ニューラルネットワークモデルはＳＳＤ−ＭｏｂｉｌｅＮｅｔモデル及び畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ、ＣＮＮと略称）モデルを含む。ニューラルネットワークモデルはトレーニングデータに基づいて予めトレーニングされていることが理解されるべきであり、具体的なトレーニング過程は関連技術を参照してよく、ここでは説明を省略する。説明すべきものとして、ＡＩカメラがニューラルネットワークモデルに基づいてリアルタイムデータに対して商品識別を行う時、トレーニングデータは商品画像などの特徴を含み、ＡＩカメラがニューラルネットワークモデルに基づいてリアルタイムデータに対して人体監視を行う時、トレーニングデータは人体監視に関連する特徴を含む。

さらに、サーバはローカルサーバ及びクラウドサーバを含むことができる。即ち、上記の実施例におけるサーバによって実行されるステップは、ローカルサーバによって実行されてもよく、クラウドサーバによって実行されてもよく、又は、ローカルサーバ及びクラウドサーバの両方によって実行されてもよい。

いくつかの実施例において、ＡＩカメラはさらにカメラに接続されたＡＩチップを含んでよい。カメラは無人小売シーンでのリアルタイムデータを撮影し且つＡＩチップに伝送するように構成され、ＡＩチップは、ニューラルネットワークモデルに基づいてリアルタイムデータに対してフロントエンド処理を行い且つフロントエンド処理後の結果をサーバに送信するように構成される。

システム性能を考慮し、いくつかの実施形態におけるＡＩカメラは、マシンビジョンを実現する１２個の１２８−ビット ＳＨＡＶＥ Ｖｅｃｔｏｒプロセッサ、ならびに多数のハードウェアアクセラレータ、画像／視覚信号プロセッサを集積し、また、２つの３２ビットのＲＩＳＣプロセッサ、一連の配置可能な外付きの１２ Ｌａｎｅｓ ＭＩＰＩ、Ｉ２Ｃ、ＳＰＩ、Ｉ２Ｓ、ＰＷＭ、ＵＳＢ３．０、ＳＤＩＯ、Ｅｔｈｅｒｎｅｔなどのインタフェースを集積するＡＩチップを採用することができ、該ＡＩチップは低消費電力の条件下でも対応するニューラルネットワーク計算タスクをよく実行することができることを確保した。

上記の実施例は、低コストのＡＩチップを用いることによってシステム全体のコストを大幅に低減する。

次に、上記の実施形態においてサーバによって実行されるステップが、ローカルサーバ及びクラウドサーバの両方によって実行されることを例として説明する。

図３は本発明の別の実施例にて提供される情報処理方法を示すフローチャートである。図３に示すように、該実施例における情報処理方法はＳ３０１〜Ｓ３０６を含んでよい。

Ｓ３０１において、ＡＩカメラは無人小売シーンでのリアルタイムデータを取得する。

該ステップはＳ２０１と同じであり、ここで説明を省略する。

Ｓ３０２において、ＡＩカメラはニューラルネットワークモデルに基づいてリアルタイムデータに対してフロントエンド処理を行う。

該ステップはＳ２０２と同じであり、ここで説明を省略する。

Ｓ３０３において、ＡＩカメラはフロントエンド処理後の結果をローカルサーバに送信する。

該ステップはＳ２０３と類似し、ここで説明を省略する。

それに対応して、ローカルサーバはフロントエンド処理後の結果を受信する。

Ｓ３０４において、ローカルサーバはフロントエンド処理後の結果に基づいてエッジ処理を行う。

エッジ処理は人体視覚処理などのエッジ計算を含んでよい。例えば、ローカルサーバはＡＩカメラから送信されたフロントエンド処理後の結果に基づいて複数の異なる角度の画像の相違点などを決定することができる。

例示的に、ローカルサーバはＴＸ１／ＴＸ２、又はＴＸ１／ＴＸ２とローエンドグラフィックスプロセッシングユニット（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、略称：ＧＰＵ）を組み合わせてエッジ処理を行ってよい。又は、ローカルサーバはＡＲＭ（Ａｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ）システムを配置して構造のやや複雑なエッジ計算、又は端末（即ちＡＩカメラ）での計算に適しないＣＶ動作などを行ってもよい。

従って、フロントエンド処理後の結果はＳ３０４を実行するようにローカルサーバをトリガすることに用いられることができる。

Ｓ３０５において、ローカルサーバはエッジ処理後の結果をクラウドサーバに送信する。

それに対応して、クラウドサーバはエッジ処理後の結果を受信する。

Ｓ３０６において、クラウドサーバはエッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行う。

従って、エッジ処理後の結果はＳ３０６を実行するようにクラウドサーバをトリガすることに用いられることができる。

クラウドサーバは例えば人体の軌跡の計算や人体の追跡の実現などのいくつかの複雑な計算を主に担当する。

該ステップはＳ２０４と類似する。

本発明の実施例は無人小売に分散計算思想を導入し、システムのロバスト性を向上させることができ、且つ端末に大量のカメラを配置することによってコストを低減するという目的を達成する。無人販売シーンで、解決手段のコアは計算タスクについて設計される。計算タスクの観点から分割すると、無人小売分散システム全体は次の３つの部分に分けられる。
（１）ＡＩカメラにより実現されるフロントエンド処理部、
（２）ローカルサーバにより実現されるエッジ処理部、
（３）クラウドサーバにより実現される複雑な計算部。

分散計算思想はさらにモジュール化をよく実現し、システムの拡張及びチーム連携の効率の向上に役立つ。

上記の実施例は、漏斗式のデータ選別、クリーニングを採用し、データ分散を実現し、次の層の計算圧力及び帯域幅圧力を軽減する。具体的には、ネットワーク通信の信頼性が低いため、持続的な高負荷のネットワーク環境はシステムの安定性及び実用性に対して深刻な問題になる。本発明は、データ通信量の減少及びネットワーク負荷の低減を目指し、漏斗式のデータ伝送手段を設計し、データを選択的に選別してデータ分散を実現し、次の層の計算圧力を低減するという目的を達成する。従来の無人小売の単一ネットワーク構造の解決手段に比べて全てのデータを無差別にクラウドサーバに伝送する必要があり、本発明は計算の一部を移して、フロントエンド処理及びエッジ処理を導入し、最後に計算結果のみをクラウドサーバに伝送し、これは、データ伝送を大幅に減少させ、負荷を効果的に軽減し、クラウドサーバの計算圧力を軽減し、また、コストを削減する。

検証により、本発明の実施例に係る無人小売分散システムの性能は従来の単一ネットワークの解決手段よりはるかによい。

選択的に、クラウドサーバはエッジ処理後の結果を受信した後、エッジ処理後の結果に基づいて請求書を生成し、且つ該請求書をユーザ機器に送信することにより、１回の小売プロセスを完了すること、を更に含んでよい。該実施過程において、エッジ処理後の結果はさらに、エッジ処理後の結果に基づいて請求書を生成し且つユーザ機器に送信するようにクラウドサーバをトリガすることに用いられることができる。

図４は本発明の一実施例にて提供されるＡＩカメラを示す構造概略図である。本発明の実施例は無人小売シーンに適用されているＡＩカメラを提供する。該ＡＩカメラはソフトウェア及び／又はハードウェアにより実現することができる。

図４に示すように、ＡＩカメラ４０は、
無人小売シーンでのリアルタイムデータを取得するための取得モジュール４１と、
ニューラルネットワークモデルに基づいて取得モジュール４１によって取得されたリアルタイムデータに対して商品識別及び人体監視などのいずれか１種又は多種を含むフロントエンド処理を行うための処理モジュール４２と、
処理モジュール４２が取得したフロントエンド処理後の結果をサーバに送信するための送信モジュール４３と、を含み、
フロントエンド処理後の結果は、該フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うようにサーバをトリガすることに用いられる。

本実施例にて提供されるＡＩカメラは、上記の方法の実施例におけるＡＩカメラによって実行されるステップを実行することに用いられることができ、その実現手段及び技術的効果は類似し、本実施例では説明を省略する。

上記の実施例において、ニューラルネットワークモデルはＳＳＤ−ＭｏｂｉｌｅＮｅｔモデル及びＣＮＮモデルなどを含むが、それらに限定されない。

いくつかの実施例において、サーバはローカルサーバ及びクラウドサーバを含むことができる。この場合、送信モジュール４３は具体的には、フロントエンド処理後の結果をローカルサーバに送信することに用いられる。フロントエンド処理後の結果は、フロントエンド処理後の結果に基づいてエッジ処理を行い且つエッジ処理後の結果をクラウドサーバに送信するようにローカルサーバをトリガすることに用いられる。エッジ処理後の結果は該エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うようにクラウドサーバをトリガすることに用いられることができる。エッジ処理は人体視覚処理などを含むことができる。

さらに、エッジ処理後の結果はさらに、エッジ処理後の結果に基づいて請求書を生成し且つユーザ機器に送信するようにクラウドサーバをトリガすることに用いられることができる。

図５は本発明の一実施例にて提供されるサーバを示す構造概略図である。本発明の実施例は無人小売シーンに適用されているサーバを提供する。該サーバはソフトウェア及び／又はハードウェアにより実現することができる。図５に示すように、サーバ５０は、
第１の受信モジュール５１であって、フロントエンド処理後の結果を受信することに用いられ、該フロントエンド処理後の結果は、ＡＩカメラがニューラルネットワークモデルに基づいて無人小売シーンでのリアルタイムデータに対してフロントエンド処理を行った結果であり、具体的には、フロントエンド処理は、商品識別及び人体監視などのいずれか１種又は多種を含む第１の受信モジュール５１と、
第１の受信モジュール５１によって受信されたフロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うための処理モジュール５２と、を含む。

本実施例にて提供されるサーバは上記の方法の実施例におけるサーバによって実行されるステップを実行することに用いられることができ、その実現手段及び技術的効果は類似し、本実施例では説明を省略する。

上記の実施例に基づいて１つの実現手段において、サーバ５０はローカルサーバを含んでよい。この場合、処理モジュール５２は第１の処理モジュールを含んでよい。

図６は本発明の一実施例にて提供されるローカルサーバを示す構造概略図である。図６に示すように、ローカルサーバ６０は、
第１の受信モジュール５１と、
第１の受信モジュール５１によって受信されたフロントエンド処理後の結果に基づいて人体視覚処理などを含むエッジ処理を行うための第１の処理モジュール６１と、
第１の送信モジュール６２であって、第１の処理モジュール６１が取得したエッジ処理後の結果をクラウドサーバに送信することに用いられ、該エッジ処理後の結果は該エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うようにクラウドサーバをトリガするための第１の送信モジュール６２と、を含む。

別の実現手段において、サーバ５０はクラウドサーバを含んでよい。この場合、処理モジュール５２は第２の処理モジュールを含んでよい。

図７は本発明の一実施例にて提供されるクラウドサーバを示す構造概略図である。図７に示すように、クラウドサーバ７０は、
第２の受信モジュール７１であって、エッジ処理後の結果を受信することに用いられ、エッジ処理後の結果は、ローカルサーバがフロントエンド処理後の結果に基づいてエッジ処理を行った結果であり、該エッジ処理は、人体視覚処理などを含むことができる第２の受信モジュール７１と、
エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うための第２の処理モジュール７２と、を含む。

さらに、クラウドサーバ７０はさらに第２の送信モジュール（図示せず）を含んでもよい。この場合、第２の処理モジュール７２はさらに前記エッジ処理後の結果に基づいて請求書を生成することに用いられてもよい。第２の送信モジュールは該請求書をユーザ機器に送信することに用いられる。

選択的に、上記のニューラルネットワークモデルはＳＳＤ−ＭｏｂｉｌｅＮｅｔモデル及びＣＮＮモデルなどを含んでよい。

図８は本発明の一実施例にて提供される電子機器を示す構造概略図である。図８に示すように、該電子機器８０は、
コンピュータ実行コマンドを記憶するメモリ８２と、
電子機器８０が前述の情報処理方法におけるＡＩカメラ又はサーバによって実行されるステップを実行するようにコンピュータ実行コマンドを実行するプロセッサ８１と、を含み、
該サーバはローカルサーバ及びクラウドサーバを含む。

プロセッサ８１の具体的な実現プロセスは上記の方法の実施例を参照することができ、その実現原理及び技術的効果は類似し、本実施例では説明を省略する。

選択的に、該電子機器８０はさらに通信部材８３を含む。プロセッサ８１、メモリ８２及び通信部材８３はバス８４を介して接続されることができる。

本発明の実施例はさらにコンピュータ読取可能な記憶媒体を提供し、該コンピュータ読取可能な記憶媒体にコンピュータ実行コマンドが記憶され、該コンピュータ実行コマンドがプロセッサにより実行される時、上記のような情報処理方法を実現することに用いられる。

本発明の実施例はさらに無人小売シーンに適用されている情報処理システムを提供し、前記情報処理システムは上述したＡＩカメラ及びサーバを含む。

選択的に、該サーバは、ローカルサーバ及びクラウドサーバを含み、ローカルサーバは上述した情報処理方法におけるローカルサーバによって実行されるステップを実行することに用いられ、クラウドサーバは上述した情報処理方法におけるローカルサーバによって実行されるステップを実行することに用いられる。

上記の実施例において、開示された機器及び方法が他の手段で実現することができると理解されるべきである。例えば、以上に説明された機器の実施例は例示的なものにすぎない。例えば、前記モジュールの分割は論理機能上の分割にすぎず、実際の実現は別の形態で分割することもでき、例えば、複数のモジュールを別のシステムに組み合わせもしくは集積させたり、又は一部の特徴を反映させず、実行しなかったりしてもよい。また、説明又は検討した互いの結合又は直接的な結合又は通信接続は、いくつかのインタフェース、装置又はモジュールを介した間接的結合又は通信接続としてもよく、電気的形態、機械的形態又はその他の形態としてもよい。

前記分離される部品として説明されるモジュールは、物理的に分離されるものであってもなくてもよい。モジュールとして示される部品は物理的なユニットであってもなくてもよい。即ち、同一の場所に設けられるものであってもよいが、複数のネットワークユニットに配置されるものであってもよい。本実施例の解決手段の目的を達成するために、モジュールのいくつか又は全てを実際の必要性に従って選択することができる。

また、本発明の様々な実施例における各機能モジュールは、１つの処理ユニットに統合されてもよく、又は各モジュールが物理的に別々に存在してもよく、又は２つ以上のモジュールが１つのユニットに統合されてもよい。上記のモジュールによって統合されたユニットはハードウェアの形で実現されてもよく、ハードウェアとソフトウェア機能ユニットの形で実現されてもよい。

上記のソフトウェア機能モジュールの形で実現された統合モジュールは１つのコンピュータ読取可能な記憶媒体に記憶されてよい。上記のソフトウェア機能モジュールは記憶媒体に記憶され、コンピュータ機器（例えばパソコン、サーバ、又はネットワーク機器など）又はプロセッサ（英語：ｐｒｏｃｅｓｓｏｒ）に本願の各実施例の前記方法の一部のステップを実行させるのに用いる若干のコマンドを含む。

上記のプロセッサは中央処理ユニット（英語：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵと略称）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサ（英語：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰと略称）、特定用途向け集積回路（英語：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣと略称）等であってもよいと理解されるべきである。汎用プロセッサはマイクロプロセッサであってもよく、又は該プロセッサは任意の従来のプロセッサ等であってもよい。本発明に開示された方法を組み合わせるステップは、ハードウェアプロセッサの実行、又はプロセッサにおけるハードウェア及びソフトウェアモジュールの組み合わせの実行により完了されると直接具体化されることができる。

メモリは高速ＲＡＭメモリを含んでもよく、さらに少なくとも１つの磁気ディスクメモリなどの不揮発性記憶ＮＶＭを含んでもよく、さらにＵＳＢフラッシュドライブ、モバイルハードディスクドライブ、リードオンリーメモリ、磁気ディスク又はコンパクトディスクなどであってもよい。

バスは、業界標準アーキテクチャ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＩＳＡ）バス、ペリフェラルコンポーネント （Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ、ＰＣＩ）バス又は拡張業界標準アーキテクチャ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ、ＥＩＳＡ）バスなどであってもよい。バスはアドレスバス、データバス、コントロールバスなどに分けることができる。表現を容易にするために、本願の図面におけるバスは１本のバス又は１種のバスのみに限定されない。

上記の記憶媒体は任意のタイプの揮発性又は不揮発性記憶機器又はそれらの組み合わせで実現されてよく、例えばスタティックランダムアクセスメモリ（ＳＲＡＭ）、電気的消去可能プログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、読み取り専用メモリ（ＲＯＭ）、磁気メモリ、フラッシュメモリ、磁気ディスク又はコンパクトディスクである。記憶媒体は汎用又は専用のコンピュータによってアクセスすることができる任意の利用可能な媒体としてよい。

例示的な記憶媒体はプロセッサに結合されており、それによりプロセッサが該記憶媒体から情報を読み取り、該記憶媒体に情報を書き込むことができる。当然のことながら、記憶媒体はプロセッサの構成部分であってもよい。プロセッサ及び記憶媒体は特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ、ＡＳＩＣと略称）に配置されてよい。当然のことながら、プロセッサ及び記憶媒体は分離された部品として端末又はサーバに存在してもよい。

当業者であれば、上記の各方法の実施例を実現する全て又は一部のステップはプログラムコマンドに関連するハードウェアにより完了されることができると理解すべきである。前述のプログラムはコンピュータ読取可能な記憶媒体に記憶することができる。該プログラムを実行する場合、上記の各方法の実施例を含むステップを実行し、前述の記憶媒体は、ＲＯＭ、ＲＡＭ、磁気ディスク又はコンパクトディスクなどのプログラムコードを記憶できる様々な媒体を含む。

最後に説明すべきものとして、以上の各実施例は、本発明の技術的解決手段を説明するためのものであって、これを制限するものではなく、前述の各実施例を参照しながら本発明について詳細に説明したが、当業者であれば、依然として前述の各実施例に記載の技術的解決手段を修正するか、又はそのうちの一部又は全ての技術的特徴に対して同等置換を行うことができ、これらの修正又は置換は、対応する技術的解決手段の本質を本発明の各実施例の技術的解決手段の範囲から逸脱しないと理解すべきである。

Claims (18)

1. 無人小売シーンに適用されている情報処理方法であって、
   人工知能ＡＩカメラが無人小売シーンでのリアルタイムデータを取得するステップと、
   前記ＡＩカメラがニューラルネットワークモデルに基づいて前記リアルタイムデータに対して、商品識別及び人体監視のいずれか１種又は多種を含むフロントエンド処理を行うステップと、
   前記ＡＩカメラがフロントエンド処理後の結果をサーバに送信し、前記フロントエンド処理後の結果が前記フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うように前記サーバをトリガすることに用いられるステップと、を含むことを特徴とする情報処理方法。
2. 前記ニューラルネットワークモデルはＳＳＤ−ＭｏｂｉｌｅＮｅｔモデル及び畳み込みニューラルネットワークＣＮＮモデルを含むことを特徴とする請求項１に記載の情報処理方法。
3. 前記サーバはローカルサーバ及びクラウドサーバを含み、
   前記ＡＩカメラがフロントエンド処理後の結果をサーバに送信するステップは、
   前記ＡＩカメラがフロントエンド処理後の結果を前記ローカルサーバに送信し、前記フロントエンド処理後の結果が前記フロントエンド処理後の結果に基づいてエッジ処理を行うように前記ローカルサーバをトリガすることに用いられることと、
   エッジ処理後の結果を前記クラウドサーバに送信し、前記エッジ処理後の結果が前記エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うように前記クラウドサーバをトリガすることに用いられることと、を含み、
   前記エッジ処理は人体視覚処理を含むことを特徴とする請求項１に記載の情報処理方法。
4. 前記エッジ処理後の結果はさらに、前記エッジ処理後の結果に基づいて請求書を生成し且つユーザ機器に送信するように前記クラウドサーバをトリガすることに用いられることを特徴とする請求項３に記載の情報処理方法。
5. 前記ＡＩカメラはカメラ及び前記カメラに接続されたＡＩチップを含み、
   前記カメラは、無人小売シーンでのリアルタイムデータを撮影し、且つ前記ＡＩチップに伝送するように構成され、
   前記ＡＩチップは、ニューラルネットワークモデルに基づいて前記リアルタイムデータに対してフロントエンド処理を行い、且つフロントエンド処理後の結果をサーバに送信するように構成されることを特徴とする請求項１に記載の情報処理方法。
6. 無人小売シーンに適用されている情報処理方法であって、
   サーバが、人工知能ＡＩカメラがニューラルネットワークモデルに基づいて無人小売シーンでのリアルタイムデータに対してフロントエンド処理を行った結果であるフロントエンド処理後の結果を受信し、前記フロントエンド処理が商品識別及び人体監視のいずれか１種又は多種を含むステップと、
   前記フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うステップと、を含むことを特徴とする情報処理方法。
7. 前記ニューラルネットワークモデルはＳＳＤ−ＭｏｂｉｌｅＮｅｔモデル及び畳み込みニューラルネットワークＣＮＮモデルを含むことを特徴とする請求項６に記載の情報処理方法。
8. 前記サーバはローカルサーバを含み、
   前記フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行う前記ステップは、
   前記ローカルサーバが前記フロントエンド処理後の結果に基づいて人体視覚処理を含むエッジ処理を行うことと、
   エッジ処理後の結果を、クラウドサーバに送信し、前記エッジ処理後の結果が前記エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うようにクラウドサーバをトリガすることに用いられることと、を含むことを特徴とする請求項６に記載の情報処理方法。
9. 前記サーバはクラウドサーバを含み、
   前記フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行う前記ステップは、
   前記クラウドサーバが、ローカルサーバが前記フロントエンド処理後の結果に基づいてエッジ処理を行った結果であるエッジ処理後の結果を受信し、前記エッジ処理は人体視覚処理を含むスことと、
   前記エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うことと、を含むことを特徴とする請求項６に記載の情報処理方法。
10. 前記クラウドサーバはエッジ処理後の結果を受信した後、さらに、
    前記エッジ処理後の結果に基づいて請求書を生成するステップと、
    前記請求書をユーザ機器に送信するステップと、を含むことを特徴とする請求項９に記載の情報処理方法。
11. 無人小売シーンに適用されている人工知能ＡＩカメラであって、
    無人小売シーンでのリアルタイムデータを取得するための取得モジュールと、
    ニューラルネットワークモデルに基づいて前記取得モジューによって取得されたリアルタイムデータに対して、商品識別及び人体監視のいずれか１種又は多種を含むフロントエンド処理を行うための処理モジュールと、
    前記処理モジュールが取得した、フロントエンド処理後の結果をサーバに送信することに用いられ、前記フロントエンド処理後の結果が前記フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うように前記サーバをトリガすることに用いられる送信モジュールと、を含むことを特徴とする人工知能ＡＩカメラ。
12. 無人小売シーンに適用されているサーバであって、
    第１の受信モジュールであって、人工知能ＡＩカメラがニューラルネットワークモデルに基づいて無人小売シーンでのリアルタイムデータに対してフロントエンド処理を行った結果であるフロントエンド処理後の結果を受信することに用いられ、前記フロントエンド処理が商品識別及び人体監視のいずれか１種又は多種を含む第１の受信モジュールと、
    前記第１の受信モジュールによって受信された前記フロントエンド処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うための処理モジュールと、を含むことを特徴とするサーバ。
13. 前記サーバはローカルサーバを含み、前記処理モジュールは第１の処理モジュールを含み、
    前記ローカルサーバは、前記第１の受信モジュールと、
    前記第１の受信モジュールによって受信された前記フロントエンド処理後の結果に基づいて人体視覚処理を含むエッジ処理を行うための前記第１の処理モジュールと、
    前記第１の処理モジュールが取得した、エッジ処理後の結果をクラウドサーバに送信することに用いられ、前記エッジ処理後の結果が前記エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うようにクラウドサーバをトリガすることに用いられる第１の送信モジュールと、を含むことを特徴とする請求項１２に記載のサーバ。
14. 前記サーバはクラウドサーバを含み、前記処理モジュールは第２の処理モジュールを含み、
    前記クラウドサーバは、
    ローカルサーバが前記フロントエンド処理後の結果に基づいて人体視覚処理を含むエッジ処理を行った結果であるエッジ処理後の結果を受信するための第２の受信モジュールと、
    前記エッジ処理後の結果に基づいて顔認識及び／又は商品の流れの決定を行うための前記第２の処理モジュールと、を含むことを特徴とする請求項１２に記載のサーバ。
15. 電子機器であって、
    コンピュータ実行コマンドを記憶するメモリと、
    前記コンピュータ実行コマンドを実行するプロセッサと、を含み、
    前記プロセッサに、
    請求項１〜５のいずれか１項に記載の情報処理方法、
    及び／又は、請求項６〜１０のいずれか１項に記載の情報処理方法を実行させることを特徴とする電子機器。
16. コンピュータ読取可能な記憶媒体であって、前記コンピュータ読取可能な記憶媒体にはコンピュータ実行コマンドが記憶され、前記コンピュータ実行コマンドはプロセッサにより実行される場合に、
    請求項１〜５のいずれか１項に記載の情報処理方法、
    及び／又は、請求項６〜１０のいずれか１項に記載の情報処理方法を実現することに用いられることを特徴とするコンピュータ読取可能な記憶媒体。
17. 無人小売シーンに適用されている情報処理システムであって、
    請求項１１に記載の人工知能ＡＩカメラと、
    請求項１２に記載のサーバと、を含むことを特徴とする情報処理システム。
18. 前記サーバは、
    請求項８に記載の情報処理方法を実行するためのローカルサーバと、
    請求項９又は１０に記載の情報処理方法を実行するためのクラウドサーバと、を含むことを特徴とする請求項１７に記載の情報処理システム。