JP2020191062A - 情報生成方法及び装置並びにヒューマンコンピュータインタラクションのための装置 - Google Patents

Abstract

【課題】取り出された物品の注文情報を生成する情報生成方法及び装置、ヒューマンコンピュータインタラクションのためのデバイス及びコンピュータ可読媒体を提供する。【解決手段】物品を載置する棚１０１１の重力検知データを取得するステップと、棚からの物品の取り出しが重力検知データにより判定されたことに応答して、重力検知データ及び取り出された物品のキャプチャされた画像により、取り出された物品を識別し、取り出された物品の注文情報を生成するステップとを含む。【選択図】図１

Description

本出願の実施例は、コンピュータ技術分野に関し、具体的にはヒューマンコンピュータインタラクションの分野に関し、特に情報生成方法及び装置並びにヒューマンコンピュータインタラクションのための装置に関する。

ヒューマンコンピュータインタラクション技術は、ユーザーとコンピューター化されたシステム及びソフトウェアの間の相互作用を研究する技術である。ヒューマンコンピュータインタラクションデバイスは、ユーザーのインタラクション動作を取得し、ユーザーの要求又は潜在的なニーズに応じて知識又はサービスを提供できる。

インテリジェントテクノロジーの開発により、さまざまなシナリオでヒューマンコンピュータインタラクションがますます広く使用されている。自動販売機は、小売分野でのヒューマンコンピュータインタラクション技術の典型的なアプリケーションである。従来の自動販売機は、ペットボトルなどの特定の材料及び／又は形状の商品をサポートするカーゴレーンテクノロジーに基づいている。ユーザーがインタラクティブリクエストを開始して支払いを完了すると、商品がシュートからキャビネット下方の開口部に落下し、ユーザーが開口部から商品を受け取る。

本出願の実施例は、情報生成方法、装置、ヒューマンコンピュータインタラクションのための装置及びコンピュータ可読媒体を提供する。

第１の態様において、本開示の実施例は、物品を載置する棚の重力検知データを取得するステップと、重力検知データにより棚からの物品の取り出しが判定されたことに応答して、重力検知データ及び取り出された物品のキャプチャされた画像により、取り出された物品を識別し、取り出された物品の注文情報を生成するステップとを含む情報生成方法を提供する。

いくつかの実施例において、前記方法は、棚の現在のユーザーの識別情報を取得するステップと、識別情報に基づいて、注文情報を棚の現在のユーザーに関連付けるステップと、を更に含む。

いくつかの実施例において、前記棚の現在のユーザーの識別情報は、収集された棚の現在のユーザーの生体特徴情報に基づいて、棚のユーザーの識別情報を識別する方式、及び／又は現在のユーザーから提供されたＩＤ識別コードをスキャンすることで得られた棚の現在のユーザーの識別情報を取得する方式によって取得される。

いくつかの実施例において、物品を載置する棚の重力検知データを取得する前に、前記方法は、識別情報による棚の現在のユーザーへの認証に成功したことに応答して、棚の使用権を許可するステップを更に含む。

いくつかの実施例において、前記棚の使用権を許可するステップは、棚を密閉するためのキャビネットドアに開扉命令を送信することを含む。

いくつかの実施例において、前記方法は、キャビネットドアが閉じられたことを検出したことに応答して、注文情報をプッシュするステップを更に含む。

いくつかの実施例において、前記取り出された物品の画像は、取り出された物品の外観画像を含み、前記重力検知データ及び取り出された物品のキャプチャされた画像に従って取り出された物品を識別するステップは、重力検知データにより、物品の取り出しによる棚の重力変化量を確定することと、取り出された物品のキャプチャされた外観画像により、取り出された物品を識別し、事前に保存された物品の重量テーブルにおいて外観画像により識別された物品の重量を検索することと、物品の取り出しによる棚の重力変化量と外観画像により識別された物品の重量とが一致すると判定されたことに応答して、外観画像により識別された物品が取り出された物品であると判定することと、を含む。

いくつかの実施例において、前記方法は、物品の取り出しによる棚の重力変化量と外観画像により識別された物品の重量とが一致しないと判定されたことに応答して、エラープロンプトメッセージを生成すること、を更に含む。

いくつかの実施例において、前記取り出された物品の画像は、取り出された物品の識別コードの画像を更に含み、取り出された物品のキャプチャされた外観画像により、取り出された物品を識別した後、重力検知データ及び取り出された物品のキャプチャされた画像により、取り出された物品を識別するステップは、外観画像から取り出された物品が識別されていないと判定されたことに応答して、現在のユーザーに対して取り出された物品の識別コードをスキャンするように要求する要求情報を生成することと、現在のユーザーが受信した要求情報に応じて提供した識別コードの画像を取得し、識別コードの画像によって識別される物品の重量を確定することと、物品の取り出しによる棚の重力変化量と識別コードの画像によって識別された物品の重量とが一致すると判定されたことに応答して、識別コードの画像によって識別された物品が取り出された物品であると判定することと、を更に含む。

いくつかの実施例において、前記方法は、物品の取り出しによる棚の重力変化量と識別コードの画像によって識別された物品の重量とが一致しないと判定されたことに応答して、エラープロンプトメッセージを生成するステップ、を更に含む。

いくつかの実施例において、前記方法は、重力検知データにより物品が棚に返されたと判定されたことに応答して、棚の重力増分が前回検出された棚の重力減分と一致するかどうかを検出するステップと、棚の重力増分が前回検出された棚の重力減分と一致しないと判定されたことに応答して、エラープロンプトメッセージを生成するステップと、を更に含む。

第２の態様において、本開示の実施例は、物品を載置する棚の重力検知データを取得するように構成される第１取得ユニットと、重力検知データにより棚からの物品の取り出しが判定されたことに応答して、重力検知データ及び取り出された物品のキャプチャされた画像により、取り出された物品を識別し、取り出された物品の注文情報を生成するように構成される第１生成ユニットとを備える情報生成装置を提供する。

いくつかの実施例において、前記装置は第２取得ユニット及び関連付けユニットを更に備える。ここで、第２取得ユニットは、棚の現在のユーザーの識別情報を取得するように構成され、関連付けユニットは、識別情報に基づいて、注文情報を棚の現在のユーザーに関連付けるように構成される。

いくつかの実施例において、前記棚の現在のユーザーの識別情報は、収集された棚の現在のユーザーの生体特徴情報に基づいて、棚のユーザーの識別情報を識別するステップ、及び／又は現在のユーザーから提供されたＩＤ識別コードをスキャンすることで得られた棚の現在のユーザーの識別情報を取得するステップによって取得される。

いくつかの実施例において、前記装置は、物品を載置する棚の重力検知データを取得する前に、識別情報による棚の現在のユーザーへの認証に成功したことに応じて、棚の使用権を許可するように構成される認証ユニットを更に備える。

いくつかの実施例において、前記認証ユニットは更に、棚を密閉するためのキャビネットドアに開扉命令を送信するように構成される。

いくつかの実施例において、前記装置は、キャビネットドアが閉じられたことを検出したことに応答して、注文情報をプッシュするように構成されるプッシュユニットを更に備える。

いくつかの実施例において、前記取り出された物品の画像は、取り出された物品の外観画像を含み、前記第１生成ユニットは更に以下のように取り出された物品を識別するように構成され、即ち、重力検知データにより、物品の取り出しによる棚の重力変化量を確定することと、取り出された物品のキャプチャされた外観画像により、取り出された物品を識別し、事前に保存された物品の重量テーブルで外観画像により識別された物品の重量を検索することと、物品の取り出しによる棚の重力変化量と外観画像により識別された物品の重量とが一致すると判定されたことに応答して、外観画像により識別された物品が取り出された物品であると判定する。

いくつかの実施例において、前記装置は更に、物品の取り出しによる棚の重力変化量と外観画像により識別された物品の重量とが一致しないと判定されたことに応答して、エラープロンプトメッセージを生成するように構成される第２生成ユニットを更に備える。

いくつかの実施例において、前記取り出された物品の画像は、取り出された物品の識別コードの画像を更に含み、前記第１生成ユニットは更に、取り出された物品が外観画像により識別されていないと判定されたことに応答して、現在のユーザーに対して取り出された物品の識別コードをスキャンするように要求する要求情報を生成することと、現在のユーザーが受信した要求情報に応じて提供した識別コードの画像を取得し、識別コードの画像によって識別される物品の重量を確定することと、物品の取り出しによる棚の重力変化量と識別コードの画像によって識別された物品の重量とが一致すると判定されたことに応答して、識別コードの画像によって識別された物品が取り出された物品であると判定することと、の方式によって取り出された物品を識別するように構成される。

いくつかの実施例において、前記装置は更に、物品の取り出しによる棚の重力変化量と識別コードの画像によって識別された物品の重量とが一致しないと判定されたことに応答して、エラープロンプトメッセージを生成するように構成される第３生成ユニットを更に備える。

いくつかの実施例において、前記装置は更に、重力検知データにより物品が棚上に返されたと判定されたことに応答して、棚の重力増分が前回検出された棚の重力減分と一致するかどうかを検出するように構成される検出ユニットと、棚の重力増分が前回検出された棚の重力減分と一致しないと判定されたことに応答して、エラープロンプトメッセージを生成するように構成される第４生成ユニットを更に備える。

第３態様において、本開示の実施例は、１つ又は複数のプロセッサと、１つ又は複数のプログラムが格納されている記憶デバイスと、を備えるヒューマンコンピュータインタラクションのための装置であって、１つ又は複数のプログラムが１つ又は複数のプロセッサによって実行されると、１つ又は複数のプロセッサに前記情報生成方法を実現させる、ヒューマンコンピュータインタラクションのための装置を提供する。

いくつかの実施例において、前記ヒューマンコンピュータインタラクションのための装置は、物品を載置するための棚であって、棚には、棚の重力変化量を検知するための重力センサが設けられている棚と、棚から取り出された物品の画像をキャプチャするカメラと、を更に備え、前記プロセッサは、更に前記棚の重力検知データと前記棚から取り出された物品の画像を取得する。

いくつかの実施例において、前記ヒューマンコンピュータインタラクションのための装置は、ヒューマンコンピュータインタラクションのための装置のユーザーに対話型インターフェイスを提供するための電子画面を更に備え、前記プロセッサは、更に電子画面によって提供される対話型インターフェースを介してユーザーの識別情報を取得し、ユーザーの識別情報に従って生成された注文情報をユーザーに関連付ける。

いくつかの実施例において、前記カメラは、更にユーザーの生体特徴情報を取得し、前記プロセッサは、更にユーザーの生体特徴情報に従ってユーザーの識別情報を確定し、ユーザーの識別情報に従って生成された注文情報をユーザーに関連付ける。

いくつかの実施例において、前記ヒューマンコンピュータインタラクションのための装置は、棚を密閉するための、電子錠が設けられているキャビネットドアを更に備え、前記プロセッサは、更に識別情報による棚のユーザーへの認証に成功したことに応じて、キャビネットドアの電子錠に解錠命令を送信する。

第４態様において、本開示の実施例は、コンピュータプログラムが格納されるコンピュータ可読媒体であって、プログラムがプロセッサによって実行されると、前記情報生成方法を実現するコンピュータ可読媒体を提供する。

本出願の上記実施例の情報生成方法及び装置、ヒューマンコンピュータインタラクションのための装置、及びコンピュータ可読媒体は、物品を載置する棚の重力検知データを取得し、重力検知データにより棚からの物品の取り出しが確定されたことに応答して、重力検知データ及び取り出された物品のキャプチャされた画像により取り出された物品を識別し、取り出された物品の注文情報を生成することで、棚の重力検出データと物品の画像に基づいた物品の注文行動認識が実現され、様々な材料や形態の物品に適用でき、生成された注文情報の正確性が向上された。

本出願の他の特徴、目的及び利点は、以下の図面を参照してなされる非限定的な実施例に係る詳細な説明を読むことにより、より明らかになるであろう。
本開示の実施例を適用可能な例示的なシステムアーキテクチャを示す図である。 本開示に係る情報生成方法の一実施例を示すフローチャートである。 本開示に係る情報生成方法のもう一つの実施例を示すフローチャートである。 本開示に係る情報生成方法の更なる実施例を示すフローチャートである。 本開示に係る情報生成方法の実際の応用シナリオを示すフローチャート概略図である。 本開示に係る情報生成装置の一実施例を示す構造概略図である。 本開示の実施例を達成するために適用されるヒューマンコンピュータインタラクションのための装置の構造概略図である。

以下、図面及び実施例を参照しながら本出願をより詳細に説明する。ここで説明する具体的な実施例は、関連する発明を説明するためのものに過ぎず、当該発明を限定するものではないことを理解されたい。また、説明の便宜上、図面には発明に関連する部分のみが示されていることに留意されたい。

なお、本出願の実施例及び実施例における特徴は、矛盾を生じない限り、相互に組み合わせることができる。以下、図面及び実施例を参照しながら本出願を詳細に説明する。

図１は、本出願に係る情報生成方法又は情報生成装置が適用可能な例示的なシステムアーキテクチャを示している。

図１に示すように、システムアーキテクチャ１００は、自動販売装置１０１、ネットワーク１０２、及びサーバ１０３を含むことができる。ネットワーク１０２は、自動販売装置１０１とサーバ１０３の間で通信リンクの媒体を提供するために使用される。ネットワーク１０３は、有線、無線通信リンク又は光ファイバケーブルなどの様々なタイプの接続を含んでもよい。

自動販売装置１０１は、商品を載せるための棚１０１１を少なくとも１つ含むことができ、各棚１０１１には重力センサ１０１２が設けられることができる。重力センサ１０１２は、棚に載せられる商品の重量変化を検知するために使用可能である。また、自動販売装置１０１にカメラ１０１３を設けることができる。カメラ１０１３は、自動販売装置１０１の使用シナリオの画像をキャプチャするためのものである。本開示の適用シナリオでは、カメラ１０１３の結像範囲は、棚１０１１又は自動販売装置１０１全体の使用領域をカバーしてもよい。

ユーザー１１０は、自動販売装置１０１を用いて商品の選択と決済を自律的に完了することができる。自動販売装置１０１は、メッセージを送受信するために、ネットワーク１０２を介してサーバ１０３と情報のやりとりを行うことができる。自動販売装置１０１は、重力センサ１０１２及びカメラ１０１３によって収集されたデータをパッケージ化して処理要求を生成し、ネットワーク１０２を介してサーバ１０３に処理要求を送信することができる。サーバ１０３は、自動販売装置１０１に対してサポートを提供するバックエンドサーバであってもよい。サーバ１０３は、処理要求を受信して解析し、重力センサ１０１２及びカメラ１０１３によって収集されたデータに基づいて自動販売装置１０１のユーザー（すなわち、ユーザー１１０）が購入した物品を確定し、注文情報を生成することができる。いくつかのシナリオでは、サーバ１０３は、生成された注文情報をネットワーク１０３を介して自動販売装置１０１にフィードバックしてもよい。

いくつかのシナリオでは、自動販売装置１０１には、データ処理部材（例えば、ＣＰＵ、ＧＰＵなどのプロセッサ）、及び記憶部材が設けられてもよい。データ処理部材は、重力センサ１０１２及びカメラ１０１３によって検知されたデータを取得及び処理でき、記憶部材は、センサによって検知されたデータを格納し、データ処理部材がデータ処理タスクを実行するために呼び出す必要のあるデータを格納できる。

サーバ１０３は、ハードウェアでもソフトウェアでもよいことに留意されたい。サーバ１０３がハードウェアである場合、複数のサーバから構成される分散サーバクラスターとしても、単一のサーバとしても実現可能である。サーバ１０３がソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば、分散サービスを提供するためのソフトウェア又はソフトウェアモジュール）として実現されてもよく、又は単一のソフトウェア若しくはソフトウェアモジュールとして実現されてもよい。ここでは特に限定されない。

なお、本出願の実施例によって提供される情報生成方法は、自動販売装置１０１に設けられたデータ処理部材又はサーバ１０３によって実行されてもよい。それに応じて、情報生成装置は、自動販売装置１０１のデータ処理部材又はサーバ１０３に配置されてもよい。

図１の自動販売装置、棚、重力センサ、カメラ、ネットワーク、及びサーバの数が例示的なものに過ぎないことを理解されたい。必要に応じて、自動販売装置、棚、重力センサ、カメラ、ネットワーク、及びサーバの数を任意に加減してもよい。

次に、図２を参照し、本開示に係る情報生成方法の一実施例のフローチャート２００を示している。該情報生成方法は、次のステップ（ステップ２０１〜２０２）を含む。

ステップ２０１：物品を載置する棚の重力検知データを取得する。

本実施例において、前記情報生成方法の実行主体は、棚に配置された重力センサに接続され、重力センサによって送信された棚の重力検知データを取得することができる。例えば、前記情報生成方法の実行主体は、自動販売装置内の処理部材であり得、処理部材は、重力センサから棚の重力検知データを取得してもよい。

前記情報生成方法の実行主体は、前記棚を含む自動販売装置又は自動販売システムに接続されてもよく、前記自動販売装置又は自動販売システムは、棚上の重力センサによって生成された重力検知データを取得することができ、その後、 棚の重力検知データを前記実行主体に送信することができる。例えば、自動販売装置は、重力センサにより生成された重力検知データを取得した後、情報生成方法を実行するためのサーバに送信することができる。

前記棚には、取引すべき物品が載せられることができ、棚に載せられる物品の重量が事前に記録されることができる。棚上の物品を取り出したり元に返したりするプロセスにおいて、棚の重力検知データが変化する。

本実施例において、事前設定されたトリガー操作の検出に応答して棚の重力検知データを取得することができ、ここで、事前設定されたトリガー操作は、例えば、ユーザーが自動販売装置のキャビネットドアを開く操作、又はユーザーがコードをスキャンすることなどによって棚の使用領域に入る操作などのユーザーの物品購入意思を示す操作であってもよい。重力検知データの変化の検出に応じてリアルタイムで重力検知データを取得することもでき、このようにすると、重力データを使用して、棚上の物品の取り出しや取り返しなどを適時に知ることができる。

ステップ２０２：重力検知データにより棚からの物品の取り出しが確定されたことに応答して、重力検知データ及び取り出された物品のキャプチャされた画像により、取り出された物品を識別し、取り出された物品の注文情報を生成する。

本実施例において、ステップ２０１で取得した棚の重力検知データを、データベースに記録された前回取得した棚の重力データと比較することができ、一致しない場合、棚上の物品は取り出された又は取り返されたと判定できる。具体的には、ステップ２０１で取得した棚の重力検知データが、データベースに記録された前回取得した棚の重力データよりも低い、即ち棚の重力データが低下した場合、棚上の物品が取り出されたと判定される。

このとき、棚の重力検知データと、取り出された物品に対してキャプチャされた画像に基づいて、取り出された物品を識別することができる。

具体的には、まず、重力検知データとデータベースに記録された棚の重力データに基づいて棚の重力データの変化量を計算し、その変化量を取り出された物品の重量値とすることができる。

次に、事前に保存された物品情報ライブラリにおいて該重量値に一致する物品を検索し、候補物品又は候補物品の組み合わせとし、例えば、計算により得られた棚の重力データの変化量が１５０グラムであれば、物品情報ライブラリから単一の重量が１５０グラムである物品を候補物品として見つけるか、又は、２つ以上の物品の合計重量が１５０グラムである物品の組み合わせを候補物品の組み合わせとして見つけることができる。ここで、物品情報ライブラリは、棚上のすべての物品の物品重量情報を保存でき、また、棚上のすべての物品の画像や画像特徴を保存できる。

次に、取り出された物品の取得画像から、取り出された物品を画像認識できる。具体的には、取り出された物品の画像を前記候補物品又は前記候補物品の組み合わせのうちの物品の画像とマッチングするか、又は取り出された物品の画像から特徴を抽出し、前記各候補物品又は前記候補 物品の組み合わせのうちの各物品の画像特徴とマッチングする。画像又は画像特徴のマッチング結果により、取り出された物品の画像のうちの物品がどの候補物品／どの候補物品の組み合わせと一致するかを認識し、取り出された物品の認識結果を得る。

まず、棚の重量変化量に応じて候補物品又は候補物品の組み合わせの範囲を画定し、次に、取り出された物品の取得画像をその範囲内でマッチングすることにより、マッチング範囲が効果的に縮小され、マッチング効率が向上できる。

本実施例のいくつかの任意選択実施態様では、前記取り出された物品の画像は、物品が取り出されるプロセス中で取得されるか、又はカメラが取り出された物品の画像をキャプチャできるようにユーザーが物品をカメラの撮像領域に積極的に置くことができ、次に取り出された物品の画像は、情報生成方法の実行主体に送信され得る。

本実施例の他のいくつかの任意選択実施態様では、前記実行主体は、ユーザ支援を要求することにより、取り出された物品の画像を取得することもできる。具体的には、前記実行主体は、棚の重力検知データが棚上の物品が取り出されたことを示すことの検出に応じて、取り出された物品の画像の取得を要求するための要求情報を生成し、テキスト、画像、音声などで該要求情報を表示する。物品を取り出すユーザーは、要求情報を受信した後、取り出された物品をカメラの撮像範囲内に配置でき、カメラは取り出された物品を結像した後、その画像を前記実行主体に送信する。

いくつかのシナリオでは、取り出された物品の画像が物品の取り出し中に取得されたものであり（例えば、自動販売の一般的なシナリオ−無人ショップでは、カメラは顧客が棚から物品を取り出す画像をキャプチャできる）。このとき、取り出された物品の画像には、人や棚などの干渉情報も含まれており、取り出された物品の画像を前処理して、取り出された物品の所在領域の画像情報を抽出し、例えば、ユーザーが通常に手で棚から物品を直接取り出すので、手の所在領域を抽出してから、手の所在領域の周辺領域で物品を探せば、取り出された物品の画像を取得することができ、次に取り出された物品の画像を、候補物品又は候補物品の組み合わせの画像又は画像特徴とマッチングする。

いくつかの実施例において、前記取り出された物品の画像は、取り出された物品の外観画像を含んでもよく、この場合、重力検知データ及び取り出された物品の外観画像に従って次のステップ：重力検知データにより、物品の取り出しによる棚の重力変化量を確定するステップと、取得された取り出された物品の外観画像により、取り出された物品を識別し、事前に保存された物品の重量テーブルから外観画像により識別された物品の重量を検索するステップと、物品の取り出しによる棚の重力変化量と外観画像により識別された物品の重量とが一致すると判定されたことに応答して、外観画像により識別された物品が取り出された物品であると判定するステップと、により取り出された物品を識別することができる。ここで、外観画像により特定された物品の重量と棚の重力変化量との差が０であるか、又は両者の差が特定の範囲内（例えば５％以内）にある場合、外観画像により特定された物品の重量が棚の重力変化量と一致していると判定することができる。

具体的には、棚の重力変化量が確定された後、画像認識アルゴリズムを使用して、取り出された物品の外観画像を識別し、物品種類、物品包装仕様、ブランド標識などを含む物品特徴属性を識別することができ、例えば、物品がブランドＡの２００グラム入りのヨーグルトであると認識される。次に、一致する物品特徴属性を有する物品を事前に保存された物品情報ライブラリ内で見つけ、前記外観画像により認識される物品とする。そして、外観画像により認識された物品の重量が棚の重力変化量と一致するか否かを判定でき、一致する場合には、外観画像により認識された物品が取り出された物品であると判定される。

外観画像には通常、物品の名称、色、ブランドの標識（例えば、商標）などの重要な特徴が含まれているため、これらの重要な特徴に基づいて画像内の物品を認識でき、更に棚の重力変化量と合わせて取り出された物品を判定すれば、取り出された物品の認識精度がいっそう向上されることができる。

任意選択で、情報生成方法のプロセスは、物品の取り出しによる棚の重力変化量と外観画像により識別された物品の重量とが一致しないと判定されたことに応答して、エラープロンプトメッセージを生成すること、を更に含むことができる。すなわち、外観画像に基づいて認識された物品の重量が棚の重力変化量と一致しない場合、エラープロンプトメッセージを出すことができる。エラープロンプトメッセージは、事前設定されていてもよく、音声、テキスト、画像などの形式のプロンプト情報であってもよい。任意選択で、エラープロンプトメッセージは、エラーの原因をユーザーにフィードバックするために、外観画像により認識された物品の重量が棚の重力変化量と一致しないことを提示するための情報を含んでもよい。

いくつかの代替実施形態では、前記取り出された物品の画像は、取り出された物品の識別コードの画像も含み得る。ここで、物品の識別コードは、物品を識別するためのバーコード、二次元コードなどのグラフィック識別コードであってもよいし、物品の在庫番号、物品のバーコード、又は二次元コードに対応するデジタルシーケンスなどのデジタル識別コードであってもよい。

取得された取り出された物品の外観画像に従って取り出された物品を認識した後、更に次のステップに従って取り出された物品を識別することができる。

まず、取り出された物品が外観画像から認識されていないと判定されたことに応答して、現在のユーザーに対して取り出された物品の識別コードをスキャンするように要求する要求情報を生成する。外観画像から物品を識別する認識結果が「物品が不一致」である場合、事前設定された、現在のユーザーに対して取り出された物品の識別コードをスキャンするように要求する要求情報を生成することができる。

次に、現在のユーザーは、該要求情報の受信に応じて、識別コード読み取りを実行するために、物品の識別コードを画像キャプチャ装置（例えば、カメラ）のキャプチャ領域内に置くことができる。画像キャプチャ装置は、識別コードの画像を取り込むことができる。前記実行主体は、要求情報の受信に応じて現在のユーザーによって提供された識別コードの画像を取得し、識別コードの画像に従って識別コードを識別し、物品情報ライブラリ内において該識別コードによって識別された物品を見つけ、更に識別コードの画像によって識別される物品の重量を確定する。

次に、物品の取り出しによる棚の重力変化量と識別コードの画像によって識別された物品の重量とが一致するか否かを判定することができ、物品の取り出しによる棚の重力変化量と識別コードの画像によって識別された物品の重量とが一致すると判定したことに応じて、識別コードの画像によって識別された物品が取り出された物品であると判定する。

識別コード画像は通常、識別コード情報のみを含み、複雑な背景ノイズがなく、識別コードに従って物品を正確に識別できる。そして、識別コード画像を積極的に提供するユーザーの行動は、物品を購入する意図を特徴付けることができるため、識別コード画像によって識別される物品を注文に追加することは、ユーザーの意図と一致する。外観画像による物品識別が失敗した場合、取り出された物品の識別コード画像を提供するように現在のユーザーに要求し、識別コード画像と棚の重力変化量に従って取り出された物品を識別することにより、様々な物品識別方法を提供するだけでなく、取り出された物品の識別精度も向上できる。

任意選択で、情報生成方法のプロセスは、物品の取り出しによる棚の重力変化量と識別コードの画像により識別された物品の重量とが一致しないと判定したことに応じて、エラープロンプトメッセージを生成すること、を更に含むことができる。エラープロンプトメッセージは、事前設定されていてもよく、音声、テキスト、画像などの形式のプロンプト情報であってもよい。任意選択で、エラープロンプトメッセージは、エラーの原因をユーザーにフィードバックするために、識別コードの画像により認識された物品の重量が棚の重力変化量と一致しないことを提示するための情報を含み得る。

取り出された物品が識別された後、該取り出された物品の注文情報を生成することができ、具体的には、取り出された物品を注文リストに追加することができる。任意選択で、注文情報を生成するために、物品の名称、包装仕様、生産地、ブランド、価格、割引情報などの取り出された物品の詳細情報も取得され得る。

本出願の上記実施例の１つの適用シナリオは、ユーザーが無人店舗又は自動販売機で購入しようとする物品を選択するとき、棚上の重力センサが棚の重力検知データを検知して処理部材に送信することができ、処理部材は無人店舗内又は自動販売機に設けられた使用シナリオ画像を取り込むためのカメラによって、取り出された物品の画像を取得することもでき、その後、処理部材は、棚の重力検知データと取り出された物品の画像を組み合わせて取り出された物品を識別し、取り出された物品の注文情報を生成することであり得る。このようにして、棚の重量と取り出された物品の画像によって物品の注文行動を認識して、注文書を生成することが実現された。

本出願の上記実施例の情報生成方法は、物品を載置する棚の重力検知データを取得し、棚から物品が取り出されたことが重力検知データにより確定されたことに応じて、重力検知データ及び取得した取り出された物品の画像により取り出された物品を識別し、取り出された物品の注文情報を生成することで、棚の重力検出データと物品の画像に基づいた物品の注文行動認識が実現され、さまざまな材料や形態の物品に適用できる。同時に、重力検知データと画像の二種類の情報を組み合わせて物品を識別することにより、生成された注文情報の正確性が向上される。

次に、図３を参照し、本開示に係る情報生成方法の他の一つの実施例のフローチャートを示している。図３に示すように、本実施例の情報生成方法のフロー３００は、次のステップ（ステップ３０１〜３０５）を含む。

ステップ３０１：棚の現在のユーザーの識別情報を取得する。

ユーザーの識別情報は、ユーザーの身元を特徴付ける情報であり、ユーザーのユーザーＩＤ（Ｉｄｅｎｔｉｔｙ，個人識別情報）であってもよい。棚の現在のユーザーの識別情報は、さまざまな方法で取得できる。例えば、ユーザーが入力したユーザーＩＤは、対話型インターフェイスを介して取得でき、又は、２次元コードなどのアクセスポータルが提供されることで、ユーザーは２次元コードをスキャンしてアクセス要求を送信した後、ユーザーのユーザーＩＤなどのユーザー情報を取得できる。

本実施例のいくつかの任意選択実施態様では、ユーザーの識別情報は、ユーザーの身元を識別するための識別コード又はユーザーの生体認証識別子（例えば、顔特徴コード、指紋特徴コード、声紋特徴コード）でもあり得る。棚の現在のユーザーの識別情報は、収集された棚の現在のユーザーの生体特徴情報に基づいて、棚のユーザーの識別情報を識別する（例えば、現在のユーザーの顔画像を取得し、顔認識を実行する）ステップ、及び／又は現在のユーザーから提供されたＩＤ識別コードをスキャンすることで得られた棚の現在のユーザーの識別情報を取得する（例えば、実際のシナリオでは、ユーザーは識別子（例えば、登録されたユーザーのために生成された２次元コード）を提示でき、該識別子をスキャンしてスキャン結果を前記実行主体に送信できる）ステップによって取得され得る。

ステップ３０２：物品を載置する棚の重力検知データを取得する。

棚には、取引すべき物品が載せられることができ、棚に載せられる物品の重量が事前に記録されることができる。棚上の物品を取り出したり元に戻したりするプロセスにおいて、棚の重力検知データが変化する。棚の重力検知データは、棚の重力検知データが変化したときにリアルタイムで取得でき、定期的に取得することもできる。

ステップ３０３：重力検知データにより棚からの物品の取り出しが確定されたことに応答して、重力検知データ及び取り出された物品のキャプチャされた画像により、取り出された物品を識別し、取り出された物品の注文情報を生成する。

ステップ３０２で取得した棚の重力検知データを、データベースに記録された前回取得した棚の重力データと比較することができ、棚の重力が低下した場合、棚上の物品が取り出されたと判定できる。このとき、棚の重力検知データと、取り出された物品に対してキャプチャされた画像に基づいて、取り出された物品を識別することができる。具体的には、画像認識方法を使用して取り出された物品を識別し、次に重力検知データを使用して画像ベースの認識結果が正確かどうかを判断し、又は、まず重力検知データにより取り出された物品の重量を確定し、該重量に満たされた候補物品又は候補物品の集合から、画像を使用してマッチングする。

本実施例のステップ３０２及びステップ３０３は、それぞれ、前述の実施例のステップ２０１及びステップ２０２と一致し、ステップ３０２及びステップ３０３の具体的な実施態様及び任意選択実施態様、並びにステップ３０２及びステップ３０３の任意選択実施態様に基づいて拡張される実施形態の説明については、前述の実施例のステップ２０１、ステップ２０２、及び関連するコンテンツの説明を参照することができ、その詳細は本明細書では繰り返し説明しない。

ステップ３０４：現在のユーザーの識別情報に基づいて、注文情報を棚の現在のユーザーに関連付ける。

ステップ３０３で生成された注文情報をステップ３０１で取得された現在のユーザーの識別情報に関連付けることができる。このようにして、注文情報を対応するユーザーに関連付けることができ、注文書の生成プロセスが改善される。注文情報を受け取った後、ユーザーは注文書の支払い、評価などを実行できる。

本実施例では、注文書を自動的にユーザーに関連付けることができ、ユーザーの識別情報に従って異なるユーザーの注文書を効果的に区別することができ、より安全で正確な注文書の生成が実現された。また、生成された注文情報は、識別情報が認証されたユーザーに関連付けられているため、ユーザーは支払い又は評価の時間を自由に選択でき、注文に関連する操作の柔軟性が向上された。

選択可能に、ステップ３０２の前に、情報生成方法のプロセス３００は、ステップ３０５を更に含む。

ステップ３０５：識別情報に基づいた棚の現在のユーザーへの認証に成功したことに応じて、棚の使用権を許可する。

ステップ３０１で取得された識別情報は、現在のユーザーに対する認証に使用することができる。前記実行主体は、使用権を持つユーザーリストを事前に取得することができ、現在のユーザーの識別情報に従って、現在のユーザーが棚を使用する権利を持っているかどうかを判断する。

前記使用権を持つユーザーリストは、事前設定された条件を満たすユーザーのリストであり得、例えば、実際のアプリケーションでは、使用権を持つユーザーリストには、無人プラットフォームにおいて登録済みのユーザーリスト、実名認証を完了したユーザーリスト、又は、未決済の注文書などを持たないユーザーリストが含まれてもよい。

現在のユーザーが使用権を持つユーザーリストに含まれていると判定された場合、棚の使用権を許可できる。自動販売サービスを提供するために、棚の使用権が許可された後、棚をロック状態からオープン状態に切り替えることができ、棚上の重力センサと棚上の物品の画像をキャプチャするためのカメラに対して起動命令を送信することもできる。

任意選択で、前記棚の使用権を許可するステップは、棚を密閉するためのキャビネットドアに開扉命令を送信することを含む。自動販売システムには、棚をロックするために使用できるキャビネットドアを含んでもよく、キャビネットドアに電子ロックが設けられてもよい。キャビネットドアの電子ロックに解錠命令を送信できる。このようにして、ユーザーが使用権許可された後にキャビネットドアを開く可能にすることで、権限を持たないユーザーが棚を使用できず、セキュリティが向上された。

更に選択可能に、ステップ３０４の後に、情報生成方法のプロセス３００は、キャビネットドアが閉じられたことを検出したことに応じて、注文情報をプッシュするステップを更に含む。ユーザーが物品の選択を完了した後、キャビネットドアを閉じることができ、キャビネットドアの電子ロックが施錠状態に復元されたことが検出されると、現在のユーザーの注文動作が完了したと判定できる。現在のユーザーが注文の状況を正確に把握できるように、生成された注文情報を、現在のユーザーの電子機器にプッシュするか、又は、表示用のキャビネットに設定された電子画面などの表示デバイスにプッシュすることができる。

次に、図４を参照し、本開示に係る情報生成方法の更なる一実施例のフローを示している。図４に示すように、本実施例の情報生成方法のフロー４００は、次のステップ（ステップ４０１〜４０４）を含む。

ステップ４０１：物品を載置する棚の重力検知データを取得する。

棚には、取引すべき物品が載せられることができ、棚に載せられる物品の重量が事前に記録されることができる。棚上の物品を取り出したり元に戻したりするプロセスにおいて、棚の重力検知データが変化する。棚の重力検知データは、棚の重力検知データが変化したときにリアルタイムで取得でき、定期的に取得することもできる。

ステップ４０２：棚からの物品の取り出しが重力検知データにより確定されたことに応答して、重力検知データ及び取り出された物品のキャプチャされた画像により、取り出された物品を識別し、取り出された物品の注文情報を生成する。

ステップ４０１で取得した棚の重力検知データを、データベースに記録された前回取得した棚の重力データと比較することができ、棚の重力が低下した場合、棚上の物品が取り出されたと判定できる。このとき、棚の重力検知データと、取り出された物品に対してキャプチャされた画像に基づいて、取り出された物品を識別することができる。具体的には、画像認識方法を使用して取り出された物品を識別し、次に重力検知データを使用して画像ベースの認識結果が正確かどうかを判断し、又は、まず重力検知データにより取り出された物品の重量を確定し、該重量に満たされた候補物品又は候補物品の組み合わせから、画像を使用してマッチングする。

本実施例のステップ４０１及びステップ４０２は、それぞれ、前述の実施例のステップ２０１及びステップ２０２と一致し、ステップ４０１及びステップ４０２の具体的な実施態様及び任意選択実施態様、並びにステップ４０１及びステップ４０２の任意選択実施態様に基づいて拡張される実施例の説明については、前述の実施例のステップ２０１、ステップ２０２、及び関連するコンテンツの説明を参照することができ、その詳細はここで繰り返し説明しない。

ステップ４０３：重力検知データにより物品が棚上に返されたと判定されたことに応答して、棚の重力増分が前回検出された棚の重力減分と一致するかどうかを検出する。

ステップ４０１で取得した棚の重力検知データと、データベースに記録された前回取得した棚の重力データとを比較し、ステップ４０１で取得した棚の重力検知データが、データベースに記録された前回取得した棚の重力データよりも高い場合、即ち棚の重力データが増加した場合、物品が棚上に返されたと判定される。

更に、棚の重力増分が前回検出された棚の重力減分と一致するかどうかを検出することができる。特定の応用シナリオでは、棚上の物品が取り出されてから棚上に返されると、棚の重力検知データによって表される重力値が減少してから増加し、しかも重力の増分と重力の減分が一致するべきである。棚の重力増分が前回検出された棚の重力減分と一致するかどうかを判断することにより、ユーザーが物品を取り出してから再び棚に返したかどうかを判定できる。両者が一致している場合、棚から取り出された物品がその後に棚上に返されたと判定できる。この時、ステップ４０１に戻って棚の重力検知データを引き続き取得し、重力検知データの減少又は増加を検出することで、物品の取り出し又は取り返しを判断し得る。

任意選択で、ユーザーが物品を取り出してから棚に返したと判定された場合、ユーザーが取り出された物品の注文を放棄したと判定でき、生成された注文情報を削除でき、誤った注文の生成が防止され、更に生成された注文情報とユーザーの行動及びユーザーの意図との一致性が確保された。

ステップ４０４：棚の重力増分が前回検出された棚の重力減分と一致しないと判定されたことに応答して、エラープロンプトメッセージを生成する。

本実施例において、棚の重力増分が前回検出された棚の重力減分と一致しないと検出された場合、エラープロンプトメッセージを生成できる。該エラープロンプトメッセージは、事前設定されたものであってもよく、生成した注文情報に問題があるとユーザーに提示するために使用可能である。

実際のシナリオでは、棚の重力増分と前回検出された棚の重力減分とが一致しないと検出された場合、棚の重力検知データ、取り出された物品の画像など、取得されたデータをバックエンドサーバに送信することができる。サーバはさらにデータを解析するか、生成された注文情報が有効であるかどうかを手動で判断することができ、これにより、誤った注文の生成によるユーザーの損失を防止し、注文情報にはユーザーが取り出した物品が含まれていることを確保し、注文漏れが発生することがなく、注文情報の信頼性が向上できる。

図４に示す実施例のいくつかの任意選択実施態様では、情報生成方法のフロー４００は、前述のフロー３００のステップ３０１、ステップ３０４、ステップ３０５、並びに、キャビネットドアの閉扉の検出に応じて、注文情報をプッシュするステップを含んでもよいことに留意されたい。具体的な実施態様は、図３に示される実施例の説明を参照することができ、その詳細はここで繰り返し説明しない。

次に、図５を参照し、本開示に係る情報生成方法の実際の応用シナリオに関するフローの概略図を示す。

図５に示すように、まず、顧客は、コードスキャン又は顔認識によってキャビネットドアを開くことを要求し、要求が成功した後、キャビネットドアが開かれる。このとき、棚の重力検知データを取得し、その後、重力検知データに従って棚の重力の増加又は減少を判断することができる。棚の重力が減少すると、取り出された物品の外観画像を取得し、外観画像によって物品を識別し、外観画像による識別に失敗した場合、更にユーザーに対して物品の識別コードをスキャンすることで取り出された物品の識別コード画像を取得するように提示し、識別コード画像によって物品を識別することができる。物品が識別コード画像で識別されない場合、エラープロンプトメッセージを生成する。外観画像又は識別コード画像による物品の識別に成功した場合、識別された物品の重量が棚の重力の減分と一致しているかどうかをさらに判断することができ、一致している場合、該物品の注文情報を生成する。識別された物品の重量が棚の重力の減分と一致しない場合、エラープロンプトメッセージを表示することができる。

棚の重力検知データを取得した後、棚の重力の増加が確認された場合、重力の増分が前回の減分と一致しているかどうかをさらに判断し、一致した場合、顧客が物品を取り出した後に棚に返したと判断でき、棚の重力検知データを取得するステップに戻り、キャビネットドアが閉じられる前に棚の重力検知データの変化を継続的に検出することができる。棚の重力の増分が前回の減分と一致しない場合、エラープロンプトメッセージが表示されることもできる。

キャビネットドアが閉じられたことを検出した後、生成された注文情報を顧客の携帯電話、キャビネットの電子画面などの表示デバイスにプッシュして、注文結果を顧客に通知できる。

実際の応用シナリオでは、エラープロンプトメッセージが生成された後、関連情報を手動で確認するためにサービスデスクに送信できる。サービスデスクの監視スタッフは、画像、重力検知データなどに基づいて、注文を顧客のアカウントに関連付けるかどうかを判断できる。

更に図６を参照すると、上記の図に示された方法の実施態様として、本開示は、更に情報生成装置の一実施例を提供し、該装置の実施例は、図２、図３及び図４に示された方法の実施例に対応しており、該装置は、具体的に様々な電子機器に適用することができる。

図６に示すように、本実施例の情報生成装置６００は、第１取得ユニット６０１と、第１生成ユニット６０２とを備える。ここで、第１取得ユニット６０１は、物品を載置する棚の重力検知データを取得するように構成され、第１生成ユニット６０２は、棚から物品が取り出されたことが重力検知データにより確定されたことに応じて、重力検知データ及び取り出された物品の取得した画像により、取り出された物品を識別し、取り出された物品の注文情報を生成するように構成される。

いくつかの実施例において、前記装置６００は第２取得ユニット及び関連付けユニットを更に備えていてもよい。ここで、第２取得ユニットは、棚の現在のユーザーの識別情報を取得するように構成され、関連付けユニットは、識別情報に基づいて、注文情報を棚の現在のユーザーに関連付けるように構成される。

いくつかの実施例において、前記棚の現在のユーザーの識別情報は、収集された棚の現在のユーザーの生体特徴情報に基づいて、棚のユーザーの識別情報を識別するステップ、及び／又は現在のユーザーから提供されたＩＤ識別コードをスキャンすることで得られた棚の現在のユーザーの識別情報を取得するステップによって取得される。

いくつかの実施例において、前記装置６００は、物品を載置する棚の重力検知データを取得する前に、識別情報に基づいた棚の現在のユーザーへの認証に成功したことに応じて、棚の使用権を許可するように構成される認証ユニットを更に備えていてもよい。

いくつかの実施例において、前記認証ユニットは更に、棚を密閉するためのキャビネットドアに開扉命令を送信するように構成される。

いくつかの実施例において、前記装置６００は、キャビネットドアが閉じられたことを検出したことに応じて、注文情報をプッシュするように構成されるプッシュユニットを更に備えていてもよい。

いくつかの実施例において、前記取り出された物品の画像は、取り出された物品の外観画像を含み、前記第１生成ユニット６０２は、更に以下のステップ、即ち、重力検知データにより、物品の取り出しによる棚の重力変化量を確定するステップと、取得された取り出された物品の外観画像により、取り出された物品を識別し、事前に保存された物品の重量テーブルから外観画像により識別された物品の重量を検索するステップと、物品の取り出しによる棚の重力変化量と外観画像により識別された物品の重量とが一致すると判定されたことに応答して、外観画像により識別された物品が取り出された物品であると判定するステップによって、取り出された物品を識別するように構成される。

いくつかの実施例において、前記装置は更に、物品の取り出しによる棚の重力変化量と外観画像により識別された物品の重量とが一致しないと判定されたことに応答して、エラープロンプトメッセージを生成するように構成される第２生成ユニットを更に備える。

いくつかの実施例において、前記取り出された物品の画像は、取り出された物品の識別コードの画像を更に含み、前記第１生成ユニット６０２は更に、外観画像から取り出された物品が識別されていないと判定されたことに応答して、現在のユーザーに対して取り出された物品の識別コードをスキャンするように要求する要求情報を生成するステップと、現在のユーザーが受信した要求情報に応じて提供した識別コードの画像を取得し、識別コードの画像によって識別される物品の重量を確定するステップと、物品の取り出しによる棚の重力変化量と識別コードの画像によって識別された物品の重量とが一致すると判定されたことに応答して、識別コードの画像によって識別された物品が取り出された物品であると判定するステップによって、取り出された物品を識別するように構成される。

いくつかの実施例において、前記装置は更に、物品の取り出しによる棚の重力変化量と識別コードの画像によって識別された物品の重量とが一致しないと判定されたことに応答して、エラープロンプトメッセージを生成するように構成される第３生成ユニットを更に備える。

いくつかの実施例において、前記装置６００は更に、重力検知データにより物品が棚上に返されたと判定されたことに応答して、棚の重力増分が前回検出された棚の重力減分と一致するかどうかを検出するように構成される検出ユニットと、棚の重力増分が前回検出された棚の重力減分と一致しないと判定されたことに応答して、エラープロンプトメッセージを生成するように構成される第４生成ユニットを更に備える。

装置６００に列挙されたユニットは、図２、３、及び４を参照して説明された方法の様々なステップに対応することを理解されたい。したがって、本方法について上記で説明した動作及び特徴は、装置６００及びその中に含まれるユニットに等しく適用可能であり、ここではこれ以上くどくど述べない。

本出願の上記実施例の情報生成装置６００は、棚の重力検知データと棚から取り出された物品の画像とを組み合わせてユーザーによって注文した物品を識別することで、注文情報の正確性が向上され、様々な素材、様々な形態の物品に適用可能であり、自動販売シナリオの使用範囲が拡大された。

本開示は、更にヒューマンコンピュータインタラクションのための装置を提供した。ここで図７を参照し、本開示のヒューマンコンピュータインタラクションのための装置の一実施例のハードウェア構造概略図が示されている。具体的な実施態様では、ヒューマンコンピュータインタラクションのための装置は、図１に示されるシステムアーキテクチャの自動販売装置又はサーバであり得る。

図７に示されるように、ヒューマンコンピュータインタラクションのための装置７００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，中央処理装置）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ，グラフィック処理装置）などのプロセッサ７０１、記憶デバイス７０２、入力ユニット７０３及び出力ユニット７０４を含む。プロセッサ７０１、記憶デバイス７０２、入力ユニット７０３、及び出力ユニット７０４は、バス７０５を介して互いに接続されている。ここで、本開示の実施例による方法は、コンピュータプログラムとして実装され、記憶デバイス７０２に格納されてもよい。ヒューマンコンピュータインタラクションのための装置７００内のプロセッサ７０１は、記憶デバイス７０２に格納された上記コンピュータプログラムを呼び出すことにより、本開示の実施例の方法で限定された情報生成機能を具体的に実現する。いくつかの実施態様では、入力ユニット７０３は、例えば、センサなど、棚上の物品ステータス情報を取得するために使用可能な装置を含むことができ、出力ユニット７０４は、例えば、表示画面、スピーカなど、テキスト、画像、音声などの形式で出力情報を表示するために使用可能な装置であってもよい。したがって、プロセッサ７０１は、前記コンピュータプログラム実行情報生成機能を呼び出すとき、棚上の物品のステータス情報を外部センサから取得するように入力ユニット７０３を制御し、生成した情報を出力するように出力ユニット７０４を制御することができる。

いくつかの実施態様において、ヒューマンコンピュータインタラクションのための装置は、自動販売機であってもよく、物品を載置するための棚を備えていてもよく、入力ユニット７０３は、棚に設けられて棚の重力変化を検知するための重力センサと、棚から取り出された物品の画像をキャプチャするカメラと、を備えていてもよい。入力ユニット７０３は、取得した情報をバス７０５を介して記憶デバイス７０２及びプロセッサ７０１に送信することができ、プロセッサ７０１は、重力検知データ及び棚から取り出された物品の画像を取得し、記憶デバイス７０２からコンピュータプログラムを呼び出して上記実施例の情報生成方法を実行する。

いくつかの実施例において、ヒューマンコンピュータインタラクションのための装置７００の出力ユニット７０３は、電子画面を含み得る。電子画面は、ヒューマンコンピュータインタラクションのための装置７００のユーザーに対話型インターフェースを提供するために使用される。プロセッサ７０１はまた、電子画面によって提供される対話型インターフェースを介してユーザーの識別情報を取得し、ユーザーの識別情報に従って生成された注文情報をユーザーに関連付ける。

いくつかの実施例において、前記カメラは、更にユーザーの生体特徴情報を取得し、プロセッサは、更にユーザーの生体特徴情報に従ってユーザーの識別情報を確定し、ユーザーの識別情報に従って生成された注文情報をユーザーに関連付ける。

いくつかの実施例において、ヒューマンコンピュータインタラクションのための装置７００は、棚を密閉するための、電子錠が設けられるキャビネットドアを更に備え、プロセッサは、更に識別情報に基づいた棚のユーザーへの認証成功に応じて、キャビネットドアの電子錠に解錠命令を送信する。

特に、本開示の実施例によれば、上記のフローチャートを参照しながら記載されたプロセスは、コンピュータのソフトウェアプログラムとして実現されてもよい。例えば、本開示の実施例は、コンピュータ可読媒体に具現化されるコンピュータプログラムを含むコンピュータプログラム製品を備え、該コンピュータプログラムは、フローチャートで示される方法を実行するためのプログラムコードを含む。このような実施例では、該コンピュータプログラムは、ネットワークからダウンロードされてインストールされることが可能であり、又は記憶デバイス７０２からインストールされ得る。該コンピュータプログラムがプロセッサ７０１によって実行されると、本開示の実施例の方法で限定された上記の機能を実行する。注意すべきなのは、本開示の実施例に記載されたコンピュータ可読媒体は、コンピュータ可読信号媒体又はコンピュータ可読記憶媒体、又はこれらの任意の組み合わせであってもよい。コンピュータ可読記憶媒体は、例えば、電気、磁気、光、電磁気、赤外線、又は半導体システム、装置もしくはデバイス、又はこれらの任意の組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例としては、１本又は複数の導線による電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、消去可能プログラマブル読取り専用メモリ（ＥＰＲＯＭもしくはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）、光メモリ、磁気メモリ、又はこれらの任意の適切な組み合わせを含むことができるが、これらに限定されない。本開示の実施例において、コンピュータ可読記憶媒体は、命令実行システム、装置もしくはデバイスによって使用可能な、又はそれらに組み込まれて使用可能なプログラムを包含又は格納する任意の有形の媒体であってもよい。本開示の実施例において、コンピュータ可読信号媒体は、ベースバンド内の、又は搬送波の一部として伝搬されるデータ信号を含むことができ、その中にコンピュータ可読プログラムコードが担持されている。かかる伝搬されたデータ信号は、様々な形態をとることができ、電磁信号、光信号、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない。コンピュータ可読信号媒体は、更にコンピュータ可読記憶媒体以外の任意のコンピュータ可読媒体であってもよい。当該コンピュータ可読媒体は、命令実行システム、装置もしくはデバイスによって使用されるか、又はそれらに組み込まれて使用されるプログラムを、送信、伝搬又は伝送することができる。コンピュータ可読媒体に含まれるプログラムコードは任意の適切な媒体で伝送することができ、当該任意の適切な媒体とは、電線、光ケーブル、ＲＦ（無線周波数）など、又はこれらの任意の適切な組み合わせを含むが、これらに限定されない。

前記コンピュータ可読媒体は、前記ヒューマンコンピュータインタラクションのための装置に含まれるものであってもよく、該ヒューマンコンピュータインタラクションのための装置に実装されずに別体として存在するものであってもよい。前記コンピュータ可読媒体には１つ又は複数のプログラムが担持され、前記１つ又は複数のプログラムが該ヒューマンコンピュータインタラクションのための装置によって実行されるとき、物品を載置する棚の重力検知データを取得するステップと、棚から物品が取り出されたことが重力検知データにより確定されたことに応じて、重力検知データ及び取り出された物品の取得した画像に基づいて、取り出された物品を識別し、取り出された物品の注文情報を生成するステップとを、該ヒューマンコンピュータインタラクションのための装置に実行させる。

本開示の実施例の動作を実行するためのコンピュータプログラムコードは、１種以上のプログラミング言語、又はそれらの組み合わせで作成されることができ、プログラミング言語は、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語と、「Ｃ」言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語とを含む。プログラムコードは、完全にユーザのコンピュータで実行されることも、部分的にユーザのコンピュータで実行されることも、単独のソフトウェアパッケージとして実行されることも、部分的にユーザのコンピュータで実行されながら部分的にリモートコンピュータで実行されることも、又は完全にリモートコンピュータもしくはサーバで実行されることも可能である。リモートコンピュータの場合、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続することができ、又は（例えば、インターネットサービスプロバイダによるインターネットサービスを介して）外部のコンピュータに接続することができる。

図面のうちのフローチャート及びブロック図は、本出願の様々な実施例に係るシステム、方法及びコンピュータプログラム製品によって実現できるアーキテクチャ、機能及び動作の表示例である。これについては、フローチャート又はブロック図における各ブロックは、モジュール、プログラムセグメント、又はコードの一部を表すことができる。当該モジュール、プログラムセグメント、又はコードの一部には、所定のロジック機能を実現するための１つ又は複数の実行可能命令が含まれている。さらに注意すべきなのは、一部の代替となる実施態様においては、ブロックに示されている機能は図面に示されているものとは異なる順序で実行することも可能である。例えば、連続して示された２つのブロックは、実際には係る機能に応じて、ほぼ並行して実行されてもよく、時には逆の順序で実行されてもよい。さらに注意すべきなのは、ブロック図及び／又はフローチャートにおけるすべてのブロック、ならびにブロック図及び／又はフローチャートにおけるブロックの組み合わせは、所定の機能又は操作を実行する専用のハードウェアベースのシステムで実現することもできれば、専用のハードウェアとコンピュータ命令との組み合わせで実現することもできる。

本出願の実施例に記載された手段は、ソフトウェアで実現されてもよく、ハードウェアで実現されてもよい。記載されたユニットは、プロセッサに設置されてもよく、例えば、「第１取得ユニットと、第１生成ユニットとを備えるプロセッサ」として記載されてもよい。ここで、これらのユニットの名称は、ある場合において当該ユニットその自体を限定するものではなく、例えば、第１取得ユニットは、「物品を載置する棚の重力検知データを取得するユニット」として記載されてもよい。

以上の記載は、本出願の好ましい実施例、及び使用された技術的原理に関する説明に過ぎない。当業者であれば、本出願に係る発明の範囲が、上記の技術的特徴の特定の組み合わせからなる解決策に限定されるものではなく、上記の本出願の趣旨を逸脱しない範囲で、上記の技術的特徴又はそれらの同等の特徴の任意の組み合わせからなる他の解決策も含むべきであることを理解すべきである。例えば、上記の特徴と本出願に開示された類似の機能を有する技術的特徴（それらに限られない）とを相互に置き換えてなる解決策が該当する。

Claims (18)

1. 情報生成方法であって、
   物品を載置する棚の重力検知データを取得するステップと、
   前記重力検知データにより前記棚からの物品の取り出しが判定されたことに応答して、前記重力検知データ及び前記取り出された物品のキャプチャされた画像により、取り出された物品を識別し、前記取り出された物品の注文情報を生成するステップと、を含む情報生成方法。
2. 前記方法は、
   棚の現在のユーザーの識別情報を取得するステップと、
   前記識別情報に基づいて、前記注文情報を前記棚の現在のユーザーに関連付けるステップと、を更に含む請求項１に記載の方法。
3. 前記棚の現在のユーザーの識別情報は、
   収集された前記棚の現在のユーザーの生体特徴情報に基づいて、前記棚のユーザーの識別情報を識別する方式、及び／又は
   前記現在のユーザーから提供されたＩＤ識別コードをスキャンすることで得られた前記棚の現在のユーザーの識別情報を取得する方式
   によって取得される請求項２に記載の方法。
4. 物品を載置する棚の重力検知データを取得する前に、前記方法は、
   前記識別情報による前記棚の現在のユーザーへの認証に成功したことに応答して、前記棚の使用権を許可するステップを更に含む請求項２に記載の方法。
5. 前記棚の使用権を許可するステップは、
   前記棚を密閉するためのキャビネットドアに開扉命令を送信することを含む請求項４に記載の方法。
6. 前記方法は、
   前記キャビネットドアが閉じられたことを検出したことに応答して、前記注文情報をプッシュするステップを更に含む請求項５に記載の方法。
7. 前記取り出された物品の画像は、前記取り出された物品の外観画像を含み、
   前記重力検知データ及び前記取り出された物品のキャプチャされた画像により取り出された物品を識別するステップは、
   前記重力検知データにより、前記物品の取り出しによる前記棚の重力変化量を確定することと、
   前記取り出された物品のキャプチャされた外観画像により、取り出された物品を識別し、事前に保存された物品の重量テーブルにおいて前記外観画像により識別された物品の重量を検索することと、
   前記物品の取り出しによる前記棚の重力変化量と前記外観画像により識別された物品の重量とが一致すると判定されたことに応答して、前記外観画像に応じて識別された物品が前記取り出された物品であると判定することと、を含む請求項１に記載の方法。
8. 前記方法は、
   前記物品の取り出しによる前記棚の重力変化量と前記外観画像により識別された物品の重量とが一致しないと判定されたことに応答して、エラープロンプトメッセージを生成するステップを更に含む請求項７に記載の方法。
9. 前記取り出された物品の画像は、前記取り出された物品の識別コードの画像を更に含み、
   前記取り出された物品のキャプチャされた外観画像により、取り出された物品を識別した後、前記重力検知データ及び前記取り出された物品のキャプチャされた画像により取り出された物品を識別するステップは、
   前記取り出された物品が前記外観画像から識別されていないと判定されたことに応答して、現在のユーザーに対して取り出された物品の識別コードをスキャンするように要求する要求情報を生成することと、
   前記現在のユーザーが受信した前記要求情報に応じて提供した識別コードの画像を取得し、前記識別コードの画像によって識別される物品の重量を確定することと、
   前記物品の取り出しによる前記棚の重力変化量と前記識別コードの画像によって識別された物品の重量とが一致すると判定されたことに応答して、前記識別コードの画像によって識別された物品が取り出された物品であると判定することと、を更に含む請求項７に記載の方法。
10. 前記方法は、
    前記物品の取り出しによる前記棚の重力変化量と前記識別コードの画像によって識別された物品の重量とが一致しないと判定されたことに応答して、エラープロンプトメッセージを生成するステップを更に含む請求項９に記載の方法。
11. 前記方法は、
    前記重力検知データにより前記物品が前記棚に返されたと判定されたことに応答して、前記棚の重力増分が前回検出された前記棚の重力減分と一致するかどうかを検出するステップと、
    前記棚の重力増分が前回検出された前記棚の重力減分と一致しないと判定されたことに応答して、エラープロンプトメッセージを生成するステップと、を更に含む請求項１〜１０のいずれか１項に記載の方法。
12. 情報生成装置であって、
    物品を載置する棚の重力検知データを取得するように構成される第１取得ユニットと、
    前記重力検知データにより前記棚からの物品の取り出しが判定されたことに応答して、前記重力検知データ及び前記取り出された物品のキャプチャされた画像により、取り出された物品を識別し、前記取り出された物品の注文情報を生成するように構成される第１生成ユニットとを備える情報生成装置。
13. １つ又は複数のプロセッサと、１つ又は複数のプログラムを格納するための記憶デバイスと、を備えるヒューマンコンピュータインタラクションのための装置であって、
    前記１つ又は複数のプログラムが前記１つ又は複数のプロセッサによって実行されると、前記１つ又は複数のプロセッサに請求項１〜１１のいずれか１項に記載の方法を実現させる、ヒューマンコンピュータインタラクションのための装置。
14. 前記ヒューマンコンピュータインタラクションのための装置は、
    物品を載置するための棚であって、前記棚には、前記棚の重力変化を検知するための重力センサが設けられている棚と、
    前記棚から取り出された物品の画像をキャプチャするカメラと、を更に備え、
    前記プロセッサは、更に前記棚の重力検知データと前記棚から取り出された物品の画像を取得する請求項１３に記載の装置。
15. 前記ヒューマンコンピュータインタラクションのための装置は、
    前記ヒューマンコンピュータインタラクションのための装置のユーザーに対話型インターフェイスを提供するための電子画面を更に備え、
    前記プロセッサは、更に前記電子画面によって提供される対話型インターフェースを介してユーザーの識別情報を取得し、前記ユーザーの識別情報に従って生成された注文情報を前記ユーザーに関連付ける請求項１４に記載の装置。
16. 前記カメラは、更に前記ユーザーの生体特徴情報を取得し、
    前記プロセッサは、更に前記ユーザーの生体特徴情報に従って前記ユーザーの識別情報を確定し、前記ユーザーの識別情報により、生成された注文情報を前記ユーザーに関連付ける請求項１５に記載の装置。
17. 前記ヒューマンコンピュータインタラクションのための装置は、
    前記棚を密閉するための、電子錠が設けられているキャビネットドアを更に備え、
    前記プロセッサは、更に前記識別情報による前記棚のユーザーへの認証に成功したことに応答して、前記キャビネットドアの電子錠に解錠命令を送信する請求項１５又は１６に記載の装置。
18. コンピュータプログラムが格納されるコンピュータ可読媒体であって、
    前記プログラムがプロセッサによって実行されると、請求項１〜１１のいずれか１項に記載の方法を実現する、コンピュータ可読媒体。