JP2020502649A - インテリジェントサービスロボットおよび関連するシステムおよび方法 - Google Patents

Abstract

本発明は、商業施設内でインテリジェントサービスを提供するためのロボットに関し、前記ロボットは、移動台車と、前記ロボットの上部視野内の物体を検出するための上部センサと、前記ロボットの下部視野内の物体を検出するための下部センサと、ディスプレイと、前記移動台車、前記上部センサおよび前記下部センサと通信するロボットコンピュータと、を備える。前記ロボットコンピュータは商業施設内の商品の在庫管理を行うように構成され、コンピュータステーションにてユーザに在庫不一致データを提供する。【選択図】図１

Description

本開示は一般にロボティックデバイスに関し、より詳細には、インテリジェントサービスロボットおよびそれに関連するシステムおよび方法に関する。

小売店、モールおよびショッピングセンターなどの商業環境向けに高品質サービスロボットを提供することは、産業界では大きな課題であった。この課題は、一部には、ロボットが人間と相互作用すること、およびロボッティックアプリケーション向けの設計ではないことが多い商業環境とロボットがインターフェースする必要による。顧客サービスを成功させるために、ロボットは買い物客と意思疎通し、買い物客に情報を提供し、買い物客を店内の特定の場所に導き、それを全て、買い物客がロボットの存在によって悪影響を受けないことを確実にしながら行わなければならない。ロボットが商業環境内で物理的に作動するということも課題であり得る。通路、ディスプレイおよび店の環境は、人の満足と商業的成功のために設計されているのであって、ロボットとの相互作用向けに設計されているわけではない。そのため、ロボットは、人間向けに設計された店の既存の特徴を用いてその与えられたタスクに成功できなければならない。

顧客サービス以外にも、商業環境内では従来人間によって処理されている数多くの業務がある。これらの業務のうち１つは、店内の商品の在庫管理を常に行わなければならないということである。店員は多くの場合、通路を行き来して商品を文書記録と相関させることによって店の在庫を評価することに数え切れないほどの時間を費やしかねないが、それは従来ロボットでは行えない仕事であった。多くのタイプの既知のサービスロボットが存在するが、そのようなロボットは顧客サービスまたは適応型在庫管理サービス目的にはうまく適合せず、したがって一般に、非効率的、非生産的であり好ましくない、または、とうてい望ましいとは言えない。さらに、ロボットが商業施設内でうまく実施されている場合、初期コストと日々の運用コストは膨大なものになり得、そのため、ロボットが可能な限り多くのタスクを実行できることが必要である。

したがって、当業界では、上記の不備と不十分さに対処する、これまで対処されていない必要が存在する。

本開示の実施形態は、商業施設内でインテリジェントサービスを提供するロボットとロボティックシステムを提供する。ロボットは、移動台車と、ロボットの上部視野内の物体を検出する上部センサと、ロボットの下部視野内の物体を検出する下部センサと、ディスプレイと、ロボットコンピュータを含む。ロボットコンピュータは移動台車、上部センサおよび下部センサと通信し、ロボットコンピュータはプロセッサとコンピュータ可読メモリを含む。ロボットコンピュータは商業施設内の商品を在庫管理するように構成される。

別の実施形態では、商業施設内でインテリジェント在庫サービスを提供するロボティックシステムが提供される。ロボットは、移動台車と、ロボットの上部視野内の物体を検出するための上部センサと、ロボットの下部視野内の物体を検出するための下部センサと、ディスプレイと、移動台車、上部センサおよび下部センサと通信するロボットコンピュータを含み、コンピュータはプロセッサとコンピュータ可読メモリを有する。サポートステーションがロボットに対して遠隔に配置され、サポートステーションディスプレイと、サポートステーションカメラおよびサポートステーションディスプレイと通信するサポートステーションコンピュータを有し、サポートステーションコンピュータはプロセッサとコンピュータ可読メモリを有する。ロボットは、商業施設内での販売商品のデータを視覚的にキャプチャするように構成され、キャプチャされたデータの少なくとも一部をサポートステーションに通信するように構成される。

別の実施形態では、本開示は、ロボットでの商業施設内の在庫管理の方法を提供するものとも見られ得る。この点で、とりわけ、そのような方法の一実施形態は、以下のステップで広範に要約され得る：商業施設内にロボットを提供し、ロボットは、移動台車と、ロボットの上部視野内の物体を検出するための上部センサと、ロボットの下部視野内の物体を検出するための下部センサと、ディスプレイと、商業施設内の商品の視覚的記録をキャプチャするように構成された商品走査装置と、移動台車、上部センサ、下部センサおよび商品走査装置と通信するロボットコンピュータを含み、商業施設内の商品の視覚的記録を商品走査装置でキャプチャし、商品の視覚的記録を処理して商業施設内の商品の在庫データを決定する。

本開示のその他のシステム、方法、特徴および利点は、以下の図面と詳細な説明を精査すれば当業者にとっては明らかとなろう。そのような付加的なシステム、方法、特徴および利点は全て本明細書に含まれ、本開示の範囲内にあり、添付の特許請求の範囲によって保護されることを意図している。

本開示の多くの態様は、以下の図面を参照すればより良く理解され得る。図面の構成要素は必ずしも縮尺通りではなく、代わりに、本開示の原理を明確に説明するために強調が施されている。さらに、図面において、いくつかの図にわたり、同類の参照符号は対応する部品を指す。

本開示の第１の例示的実施形態による、施設内で顧客サービスを提供するロボティックデバイスの模式図である。 本開示の第１の例示的実施形態による、図１の施設内で顧客サービスを提供するロボティックデバイスのサブシステムのブロック図である。 本開示の第１の例示的実施形態による、図１のロボティックデバイスを用いた、施設内で顧客サービスを提供するロボティックシステムの模式図である。 本開示の第１の例示的実施形態による、図１のロボティックデバイスによって用いられるアクティブパスプランニングの模式図である。 本開示の第１の例示的実施形態による、施設内のアイテムと対話し、また顧客と対話するロボティックデバイスの模式図である。 本開示の第１の例示的実施形態による、図１の施設内で顧客サービスを提供するロボティックデバイスによって用いられる視覚アルゴリズムのブロック図である。 本開示の第１の典型的実施形態による、図１のロボティックデバイスを使用する施設内でのロボティックシステムの模式図である。 本開示の第１の典型的実施形態による、図１のロボティックデバイスの移動台車の模式図である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。 本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための図３のソフトウェアで作動され得るデジタル在庫管理インターフェースの画像である。

以下の説明において、説明の一部を形成する添付の図面を参照するが、図面では例証として、本開示の種々の実施形態を示している。別の実施形態が用いられてもよく、また、本開示の範囲から逸脱せずに変更を施してもよいことを理解すべきである。

本発明の多くの態様は、プログラマブルコンピュータによって実行されるアルゴリズムを含むコンピュータ実行可能命令の形態を取り得る。当業者ならば、本発明は別のコンピュータシステムコンフィギュレーションで実施され得ることを理解するであろう。本発明の特定の態様は、以下に説明する１つ以上のコンピュータ実行可能アルゴリズムを実行するべく専用にプログラム、構成または構築された専用コンピュータまたはデータプロセッサで具体化され得る。したがって、本明細書で一般に用いる「コンピュータ」という用語は、あらゆるデータプロセッサを指し、インターネット機器、ハンドヘルドデバイス（パームトップコンピュータ、ウェアラブルコンピュータ、セルラーまたはモバイル電話、マルチプロセッサシステム、プロセッサベースまたはプログラマブルコンシューマーエレクトロニクス、ネットワークコンピュータ、ミニコンピュータを含む）等を含む。

本発明のいくつかの態様は、分散型コンピューティング環境で実施されることもでき、その場合、タスクまたはモジュールは、通信ネットワークを介してリンクされた遠隔処理デバイスによって実行される。分散型コンピューティング環境において、プログラムモジュールまたはサブルーチンは、ローカルまたはリモートメモリ記憶デバイス両方に配置されてもよい。以下に説明する本発明の態様は、コンピュータ可読媒体上に記憶または分散されてもよく、コンピュータ可読媒体は、磁気または光学的読取リムーバブルコンピュータディスク、固定型磁気ディスク、フロッピーディスクドライブ、光ディスクドライブ、磁気光学ディスクドライブ、磁気テープ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、コンパクトフラッシュ（登録商標）または不揮発性、ならびにネットワークにわたり電子的に分散されたメモリを含む。本発明の態様に特有のデータ構造および伝送も、本発明の範囲内に包含される。

図１は、本開示の第１の例示的実施形態による、施設内でインテリジェントサービスを提供するロボティックデバイス１の模式図である。本明細書ではインテリジェントサービスロボット１とも呼ばれてもよい、インテリジェントサービスを提供するロボティックデバイス１は、任意の種類のロボット、テレボット、または、特定の要素を自動ナビゲート、感知または検出し、遠隔配置されたサポートステーションと通信することができる同等の完全または部分ロボティックデバイスであり得る。インテリジェントサービスロボット１は、移動台車１１と、ロボットヘッド２３と、無線通信デバイス１３と、ロボットコンピュータ１４と、下部３Ｄセンサ１２と、上部３Ｄセンサ１５と、マルチアレイマイクロフォン１６と、スピーカー１８と、タッチスクリーンデバイス１９と、バックディスプレイ２０を含み得る。さらに、インテリジェントサービスロボット１は、移動式台車１１をロボットヘッド２３に接続するフレーム等の構造体２１を含み得る。本明細書の例示的実施形態では「３Ｄ」センサとして説明されるが、当業者ならば、上部センサ１５と下部センサ１２のいずれかまたは両方が２Ｄセンサであってもよく、上部センサ１５と下部センサ１２のいずれかまたは両方として２Ｄセンサを有するロボットの実施形態が本開示の範囲内にあると考えられることを容易に理解するであろう。

移動台車１１は、ロボット１が移動することを可能にする。移動台車１１は、ロボットが任意の方向に移動することを可能にする２つ以上の車輪およびキャスター３０を備えてもよい。ロボット１は、電子機械式駆動モータ等の、移動台車１１を用いて移動する任意のタイプの駆動システムを含み得る。ロボット１は、多様な高さを有してもよいが、好ましくは、顧客に対する最適な利便性をもたらすために、少なくとも５フィートの高さである。構造体２１の高さは調節可能であってよく、ロボットヘッド２３は、パンおよびチルト可能であるか、または別方式で移動して、それにより、任意の所望の高さと上部センサ１５からの視野を提供するために、ロボット１の高さとロボットヘッド２３の角度を変更することを可能にする。

ロボットコンピュータ１４は、任意の公知のオペレーティングシステムを用いて種々のハードウェアおよびソフトウェアから構築された任意のコンピューティングデバイスであってよい。一実施形態では、ロボットコンピュータ１４は、ウブントゥ（Ｕｂｕｎｔｕ）（登録商標）オペレーティングシステムを用い、単一の１２Ｖ電源を含むミニコンピュータである。ロボットコンピュータ１４は、例えば、ロボットオペレーティングシステム（ＲＯＳ）、オープンシーヴィ（ＯｐｅｎＣＶ）でのビデオ処理等を含む種々のソフトウェアを稼動させるための十分な処理能力を有し得る。当技術分野で公知の任意のコンピューティング構成要素が、ロボットコンピュータ１４とともに用いられてもよい。

インテリジェントサービスロボット１に複数のセンサが配設されてもよい。センサは、三次元（３Ｄ）センサ、二次元（２Ｄ）センサ、または当技術分野で公知の任意の別のセンサを含み得る。３Ｄセンサは殆どの用法で好ましくあり得るため、本開示ではセンサを３Ｄセンサであるものとして説明する。上部３Ｄセンサ１５は、ロボット１が、ロボット１の正面の人と物体を感知することを可能にし、付加的な上部センサ３０、３１、３２（２Ｄ、３Ｄその他であり得る）は、ロボット１が、ロボット１のそれぞれ側部および背後にある人と物体を感知することを可能にする。移動台車上の下部３Ｄセンサ１２は、ロボット１がロボット１の正面の地面上の障害物を検出することを可能にし、付加的な下部センサ３４、３５、３６（２Ｄ、３Ｄその他であり得る）は、ロボット１が、地面、ロボット１の側部および背後の障害物を検出することを可能にする。ロボット１はさらに、ロボット１が、ロボット１に対して任意の角度に配置された物体を検出することを可能にするパノラマ３Ｄセンサ１７を含み得る。３Ｄセンサ１２、１５、１７、３０、３１、３２、３４、３５、３６は、任意の種類の２Ｄまたは３Ｄビデオカメラ、レーザー測離計、２Ｄまたは３Ｄスキャナ、構造型光スキャナ、ステレオカメラ、２Ｄまたは３Ｄの静的および／または動的な運動を感知する超音波、レーダー、ライダーまたは任意の別の感知またはスキャンデバイスであってよい。一実施形態では、上部センサはマイクロソフトキネクト（Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ）デバイスであり、下部センサは北陽ライダー（Ｈｏｋｕｙｏ Ｌｉｄａｒ）デバイスであり、パノラマ３Ｄセンサはベロダイン（登録商標）ライダー（Ｖｅｌｏｄｙｎｅ Ｌｉｄａｒ）デバイスである。

ロボット１は、タッチスクリーンディスプレイ５０と、コンピュータ５１と視線追跡デバイス２９を備えたタッチスクリーンデバイス１９を含み得る。タッチスクリーンディスプレイ５０は、顧客に情報を提示して、顧客がタッチスクリーンディスプレイ５０と対話することを可能にする任意のタイプのインタラクティブＧＵＩを含み得る。コンピュータ５１は、例えば、ウィンドウズ（登録商標）８オペレーティングシステムを含む種々のタッチ式対応ソフトウェアを稼動させるために十分な処理能力を含む。バックディスプレイ２０は、タッチスクリーンデバイスコンピュータ５１に接続されてもよく、タッチスクリーンデバイス１９と同等のタッチスクリーン特徴を含み得る。タッチスクリーンデバイス１９とバックディスプレイ２０の使用は、ロボット１が複数の方向から顧客と対話することを可能にする。例えば、第１の顧客は、第２の顧客がバックディスプレイ２０上に表示された情報を見ている間に、ロボット１の正面のタッチスクリーンデバイス１９を用いてロボット１と対話してもよい。

マルチアレイマイクロフォン１６はタッチスクリーンデバイスコンピュータ５１に接続され、ロボット１が、音響源位置特定と周囲雑音抑制を実行することを可能にする。マイクロフォン１６によってロボット１は複数の人が同時に話しているのを理解することができ、特定の人が話しているのを周囲雑音と区別することができる。ロボット１が、話している顧客と対話できるように、１つ以上のスピーカー１８がロボット１に含まれる。スピーカー１８はコンピュータ５１に接続され、コンピュータ５１はマイクロフォン１６を介して周囲雑音を検出し、スピーカー１８にとって正しいスピーカー音量を決定する。ロボット１が対話する発話は任意の言語を含んでもよい。

ロボット１はさらに、電源システム２２を含み得る。電源システム２２は、電池２４と充電システム２５を含み得る。電池２４は、再充電式鉛蓄電池または任意の別のタイプの電池であってよい。充電システム２５は、ロボット１が、充電のためにドッキングステーション（図示せず）に電気結合することを可能にするインターフェースを含み得る。電源システム２２は、レギュレータ、熱消散デバイス、ヒューズおよび／または回路ブレーカーを含む配電回路系および構成要素を含み得る。さらに、電源システム２２は、例えば、電池が高温過ぎる場合、電池が所定の最小閾値電荷未満である場合、またはロボットが所定領域外に移動した場合等の特定の状況下でロボット１から自動または手動で電力を遮断し得る緊急遮断回路を含み得る。電池の寿命は、ユーザがロボットをどの程度動かすかによって大きく異なり得る。好ましくは、電池のタイプ、サイズおよび容量は、充電と充電の間に８時間の激しい使用を可能にする。

ロボット１はさらに、ロボット１の制御および感知インターフェースのための１つ以上のプロセッサ２７（複数の場合あり）および関連する回路系２８を有する埋設型システム２６を含み得る。プロセッサ２７は例えば、台車１１を制御するためのシリアル出力を伴う容易な展開を可能にし、ロボットコンピュータ１４へのインターフェースを提供するシリアル（例えばＵＳＢを介して）デバイスとして機能できるアルドゥイーノ・メガ（Ａｒｄｕｉｎｏ Ｍｅｇａ）マイクロコントローラであり得る。プロセッサ２７は、任意のプロセッサ、マイクロプロセッサまたはマイクロコントローラであってよく、また、一般に強力でありデータ転送のために高速のＵＳＢおよびイーサネット（登録商標）接続を可能にするＰＩＣマイクロコントローラであってよい。プロセッサ２７は、特定の量のコンピュータ可読メモリを含むか連動していてもよい。

ロボット１はさらに、ロボット位置検出器３３を含み得る。ロボット位置検出器３３は、ロボット１の位置を検出するグローバルポジショニングシステム（ＧＰＳ）、インドアポジショニングシステム（ＩＰＳ）および慣性航法システム（ＩＮＳ）を含む任意の個数の公知の位置検出技法を用いてもよい。ロボット位置検出器３３は、ロボット１が利用される施設の任意の個数のマップ、フロアプランまたは同等のレイアウトの模式図と連携して機能してもよい。ロボット１は、ロボット１に、および／またはロボット１からＲＦＩＤ信号を送受信することができる少なくとも１つのＲＦＩＤアンテナ５６をも含んでもよい。

付加的なセンサがロボット１に含まれてもよい。これらは以下のいずれを含んでもよい：赤外線カメラ３７（例えば、環境熱源ならびに顧客の個人的血流分布を感知するための）、接触、力および／または圧力に感応し得るピエゾ抵抗素子型、圧電型、容量型および／または電子抵抗性センサであり得るレーダーセンサまたはドップラーレーダーセンサ３８（運動検出および顧客の個人的な呼吸数および心拍数の検出のための）、段差センサ４０（「段差（ｃｌｉｆｆ）」または階段、またはその他の地形的特徴の存在を感知するための）、ロボット１が物体に衝突したときに感知する力覚センサであり得るバンプセンサ４１、環境空気内の湿度を感知する湿度計であり得る湿度センサ４２、環境の化学成分を感知する電位差測定センサであり得る化学センサ４３、振動を感知する圧電センサまたは加速度計であり得る振動センサ４４、紫外線を感知する紫外線センサ４５、人を検出する、タンク（例えば燃料タンク等）内の液体の充満度を検出する、風速と風の方向を感知する、または任意のその他の公知の用途に用いられ得る超音波センサ４６、および／または環境温度を検出する、および／またはロボットコンピュータ１４の温度または任意の他の熱放出または敏感な構成要素を感知する温度センサ４７。これらの付加的なセンサはそれぞれ、ロボットコンピュータ１４およびタッチスクリーンデバイス１９と通信してもよい。

上記のセンサならびにその他のセンサおよび／または例えば生体認証センサ５２を含むセンシング技術が、ロボット１の能力を、観察対象の顧客の血流、呼吸数および心拍数、網膜パターン、および体液分布を感知するよう展開するために用いられ得る。例えば、カメラ３９は、個人の乳頭拡張および網膜パターンを検出してもよい。赤外線カメラ３７またはその他の温度イメージングデバイスは、人の血流と体液分布を感知してもよい。人の呼吸は、例えばカメラ３９によって感知されてもよく、人の呼吸パターンは、人の胸部の可視的な拡張と収縮に基づいて決定されてもよく、または、吸気と呼気を行う間の人の小鼻の運動に基づいて決定されてもよい。また、人の心拍数は、カメラ３９、赤外線カメラ３７または電気電位差測定センサによって感知される情報に基づいて感知され決定され得るが、それは、心拍数が、皮膚明度の変動、血流の変動および／または容量結合を用いた変位電流に基づいて決定され得るからである。これらのパラメータは、観察対象の個人の「心理状態」を査定するにあたり役立つ。同様に、ロボット１は、これらの技法を用いて、顧客が混乱しているまたは困っていることを顧客の挙動が示すかを識別するために顧客を監視してよく、混乱しているまたは困っている場合、ロボットは近づいて支援を申し出る。

図２は、本開示の第１の例示的実施形態による、図１の施設内で顧客サービスを提供するロボティックデバイス１のサブシステムのブロック図である。したがって、図２の各ブロック／モジュールはロボット１のサブシステムを表す。ビデオ入出力２０１、音声入出力２０２、無線通信２０３、３Ｄセンサ２０４およびその他の入出力２０５サブシステムは全て、コンピューティング、データ記憶、命令および制御サブシステム２００と通信する。サブシステム２００は、移動式台車２１１、サーボ、アクチュエータおよびマニピュレータ２１２を制御して電気機械光学センサ２１３を接続するマイクロコントローラおよびＩ／Ｏボード２１０と通信する。種々のサブシステムが協調して用いられると、ロボット１は、施設内の顧客に顧客サービスを提供することができ、他にも、本明細書に説明される種々の機能を実行する。

図３は、本開示の第１の例示的実施形態による、図１のロボティックデバイス１を用いた、施設内で顧客サービスを提供するロボティックシステム１０の模式図である。図１および３に関して、ロボット１は、完全な機能性を促進するためにロボティックシステム１０のその他の構成要素と通信できてもよい。ロボット１の無線通信デバイス１３は、コンピュータネットワーク３を介してコンピューディングセンター４と通信してもよい。ネットワーク３は、任意の個数のネットワークアクセス可能デバイスを含んでもよく、例えば、第１のネットワーク１０１、サーバ１００、第２のネットワーク１０２、ローカル無線通信デバイス１０３（例えば、ローカル無線ルータであり得る）、または別のロボットを含んでよい。システム１０が２つ以上のロボット１を含む場合、複数のロボット１は互いに通信して、それらの位置を共有するか、またはそれらの位置を別のロボットのダッシュボードに表示するか、または他の情報を交換できる。コンピュータネットワーク１０１および１０２は、デバイス間の通信を可能にする任意の有線または無線コンピュータネットワークであってよく、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、無線ＬＡＮ、Ｗｉ−Ｆｉ、モバイルデバイスネットワーク、ＩＥＥＥ８０２．１１、ＧＳＭ（登録商標）、ＧＰＲＳ、ＵＭＴＳ、３Ｇおよび４Ｇ通信プロトコル、または当業者に公知の任意のその他のネットワーク構成および／またはプロトコルを含む。

コンピューティングセンター４は、任意の種類のクラウドコンピューティングセンター、データセンター、スーパーコンピュータ、およびその他の強力なコンピューティングリソースであってよい。コンピューティングセンター４は、プロモーションビデオ、画像、製品説明、プロモーション優先度、プロモーション特典、プロモーション履歴、ブランドリレーションシップおよびその他の情報等の、種々のプロモーション情報および製品の材料を包含するプロモーションデータベース１４０を含み得る。コンピューティングセンター４はさらに、製品に関するスキャンされた三次元の構造情報を含み得る、施設のデジタル在庫データベース１４１を含んでもよく、コンピューティングセンター４は、この在庫データベース１４１を、例えば消費者に表示するためにロボットコンピュータ１４と共有してもよい。コンピューティングセンター４は、この在庫データベース１４１を施設のマップに組み込んでもよく、それによりマップでの製品の位置を、同じ棚の異なる製品が在庫管理目的で十分に差別化され得る程に高い精度で特定できる。コンピューティングセンター４はさらに、購入履歴、ロイヤルティーカード情報、ロボット対話履歴、顧客挙動パターン分析等の顧客の匿名情報を含む顧客データベース１４２を含んでもよい。

ロボット１は、コンピュータネットワーク３およびオペレータネットワークシステム５を介してサポートステーション２と通信可能であってもよい。サポートステーション２は、オペレータ８０が、ロボット１と対話している顧客７０と通信することを可能にするために用いられてもよい。サポートステーションは、カメラ１２１、サポートステーションコンピュータ１１４、タッチスクリーンディスプレイ１２０、マイクロフォン１１６、スピーカー１１８、およびキーボード、マウスまたはジョイスティック等の入力デバイス１１７を含んでもよい。サポートステーション２は一般に、施設向けの遠隔顧客サービスセンター等の、ロボット１から遠隔な場所に配置される。１つのロボット１と１つのサポートステーション２のみが図示されているが、当業者ならば、システム１０は複数のロボット１および／または複数のサポートステーション２を含んでもよいことを容易に理解するであろう。

サポートステーション２のカメラ１２１によって捕捉されたビデオ画像は、ロボット１に伝送され（例えばネットワーク３を介して）、そこでビデオ画像はタッチスクリーンディスプレイ５０上に表示され得る。音声信号も、サポートステーションマイクロフォン１１６によってピックアップされてロボット１に伝送され、そこでスピーカー１８によって放送される。同様に、ビデオ信号と音声信号はロボット１によってピックアップされてサポートステーション２に伝送される。こうして、サポートステーション２にいるオペレータ８０は、遠隔位置に配置されたロボットの周囲の画像を見て音声を聞くことができる。

こうして、サポートステーション２にいるオペレータ８０と、ロボット１と対話中の顧客７０との間の音声リンクを伴う双方向ビデオ通信が実行される。例えば、ロボット１のカメラ３９は、カメラの視野内の人のビデオデータを捕捉してもよく、マイクロフォン１６は、その人から音声情報を捕捉してもよい。この情報はサポートステーション２に伝送され、そこでディスプレイ１２０および／またはスピーカー１１８に出力されてもよい。同時に、サポートステーション２にいるオペレータ８０からのビデオおよび音声情報が、それぞれカメラ１２１およびマイクロフォン１１６によって捕捉されて、ロボット１に伝送されて、そこでディスプレイ５０および／またはスピーカー１８に出力されてもよい。本発明は、台車毎に独立した、公共ＩＰアドレスの要らない、特殊なトンネルまたはファイアウォール構成が必要ない、リモート情報技術支援を必要とせず、Ｗｉ−Ｆｉおよび４Ｇ接続両方で使用され得る双方向ビデオチャットプロトコルを利用してもよい。

サポートステーション２を操作することにより、オペレータ８０は、ロボット１に、サポートステーション２から遠隔位置に配置された特定の位置にナビゲートする命令を与えてもよい。ロボット１への命令は、サポートステーションコンピュータ１１４と通信するタッチスクリーンディスプレイ１２０または入力デバイス１１７によって達成されてもよい。命令はコンピュータ１１４によって受け取られ解釈されて、例えば、ネットワーク１０１、サーバ１００、ネットワーク１０３、無線通信デバイス１０３、ロボットコンピュータ１４を介してロボット１に伝送され、次に移動台車１１に伝送されてもよい。ロボット１は、受け取った命令に応答して望むとおりに移動する。

システム１０は、インストールできて、ウィンドウズ（登録商標）、ＭａｃＯＳ（登録商標），Ｌｉｎｕｘ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、ｉＯＳ等を含む任意の市販のコンピュータオペレーティングシステム上で稼動するシステムバックエンドソフトウェア１３１と連携して稼動してもよい。施設マネージャーまたはエージェント８１は、施設の、コンピュータまたは、スマートフォンもしくはタブレット等のモバイルデバイスにソフトウェア１３１をインストールして使用してもよい。ソフトウェアは、マネージャーまたはエージェント８１が、ロボット１のタスクの序列または優先度を規定し、プロモーションビデオ、画像、製品説明等の宣材をコンピューティングセンター４のプロモーションデーベース１４０にアップロードすることを可能にしてもよい。ソフトウェア１３１は、マネージャーまたはエージェント８１によって入力された情報を自動処理して、情報をロボット１が理解できるフォーマットに変換してもよい。一例では、ソフトウェア１３１はコンピューティングセンター４から操作されるかまたはコンピューティングセンター４に接続されてよく、デジタル在庫データベース１４１に接続されたデジタル在庫インターフェースを含み、また、図９乃至図２２に関してさらに説明するように、施設内の在庫管理タスクを実行するために用いられ得る。

オペレーションの例
ロボット１は、例えば、自身のパノラマセンサ、上部３Ｄセンサおよび下部３Ｄセンサを用いて施設を自発的に探索できる。ＧＰＳ、ＩＰＳ，ＩＮＳまたはその他のそのような技術等のロボット位置検出器によって特定され得る対応する位置情報を伴って３Ｄセンサにより捕捉された視覚的データは、施設のマップを作成するために利用され得る。施設のマップは、ロボットコンピュータ１４またはコンピュータセンター４内に記憶され得る。ロボット１は、上部３Ｄセンサを用いて、顧客が持ち込んだサンプルをスキャンし、サンプルの構造情報と適合するデジタル在庫内の構造情報を見出し、それにより施設内の製品を位置特定してもよい。次にロボット１は、顧客にタッチスクリーンデバイス１９またはバックディスプレイ２０上で製品に関する情報（施設内の製品の場所、価格、プロモーション情報など）を表示することによって、または顧客を施設内の製品の場所に案内することにより、顧客にさらなるサービスを提供できる。

ロボット１は、例えば移動台車１１またはそのロボットヘッド２３を用いて小さな運動を行うことにより、顧客の関心を惹くことができる。ロボット１はまた、タッチスクリーンデバイス１９またはバックディスプレイ２０上のアバターフィギュアを含み得る静的または動的グラフィックスを表示することにより、顧客の関心を惹いてもよい。ロボット１はさらに、スピーカー１８を介して音声信号を生成することにより、顧客の関心を惹いてもよい。ロボット１はさらに、顧客７０の、ロボット１に対する関心を、顧客の通信応答速度、頭部回転、顔の表情のパターンを監視することにより、または、本明細書で以前論じたように、顧客の「心理状態」を判断するための種々のパラメータを感知することによって検出できる。関心が低い場合、ロボットはこの顧客をとばして、施設内のそのホームポジションにナビゲートして戻る。ロボット１のホームポジションは、充電ステーションの位置、または、施設マネージャーまたはエージェントによって予め定められた、施設内の任意の他の位置であり得る。ホームポジションに戻る途中で、ロボット１は、捕捉したデータに基づいて、顧客密度がより高いルートを選択することができ、自身の上部３Ｄセンサを用いて、サービスを必要とする別の顧客を探す。ロボット１は、顧客の顔の表情、歩行パターン、頭部回転、視線の方向等を分析することにより顧客のサービス必要度を判断できる。ロボット１が、支援の必要があり得る顧客を見出した場合、ロボット１はその顧客に接近し、発話とグラフィック情報を用いて、顧客に支援が必要かどうかを尋ねる。ロボット１と顧客の間の対話が開始すると、ロボット１は、顧客がロボット１に引き付けられたままかどうかについても判断できる。ロボット１が、顧客がもはや対話に引き付けられていないことを見出した場合、ロボット１は現在のタスクを終了して、ホームポジションに戻るというタスクを続行する。

コンピューティングセンター４とコンピュータ１４はそれぞれ、多言語パッケージを用い得るスピーチエンジンソフトウェアを稼動させてもよい。スピーチエンジンソフトウェアは、当業者ならば容易に理解するであろうように、任意の公知のスピーチエンジン、音声文字起こしまたはその他のそのような技術であるか、またはそれらを含んでもよい。スピーチエンジンソフトウェアは、ロボット１が、顧客と多言語で自然な発話での会話に従事することを可能にする。発話での会話により、ロボット１は、マイクロフォン１６を介して話された情報を受け取る。公知の情報処理技術を用いて、この話された情報は、重要な情報を抽出し、購入の関心、製品情報、所在問い合わせ、助言の要請等の顧客の必要を理解し、その他の顧客サービスアクションを実行するために、コンピュータ１４およびコンピューティングセンター４によって処理される。

顧客７０は、発話またはタッチスクリーンデバイス１９の操作によって自身の必要に関してロボット１と対話することができ、顧客が必要とする製品を施設が備えていない場合、ロボット１は顧客に対して何らかの代替解決策を提供できる。例えば、顧客が小売店でシリアルを購入したい場合、シリアルを購入する人は牛乳も購入する可能性があるため、ロボット１はコンピューティングセンター４内に保管されている製品在庫にアクセスすることにより、シリアル製品の全オプションを、牛乳のプロモーションも伴ってタッチスクリーンデバイス１９に提示することができる。因みに、ロボット１は、例えば、「通路＃１０のシリアルセクションにご案内しても宜しいですか？」と言うことにより、顧客７０をシリアルセクションに案内することを提案する。顧客７０がこのサービスを受け入れたい場合、顧客７０は確認し（例えば、「はい、お願いします」と言うことにより）、ロボット１は顧客７０を店内のその場所に案内する。その店舗が、顧客７０が欲しいシリアル製品の在庫を切らしていた場合、ロボット１はそのシリアルをオンラインで発注して顧客の住所（例えばコンピューティングセンター４に記憶され得る）に発送することを提案できる。

ロボット１は、顧客の必要に関連する情報とお勧めをタッチスクリーンデバイス１９上に提供することができ、さらに、顧客７０を、その必要を満たし得る施設のセクションに案内することを提案してもよい。顧客７０がこのガイダンスを承諾すると、ロボット１は、現在位置を施設の所望のセクションと結びつける屋内マップ上の経路を見出す。現在位置から施設の所望のセクションまでは複数の経路が存在し得る。そのため、ロボット１は、経路最適化アルゴリズムを利用して、複数の経路オプションのうちいずれを選択するかを決定してもよい。例えば、ロボットは、プロモーション中の製品を提示して目的地に効率よく到達する等の考慮に基づいて最適な経路を選択してもよい。ロボット１は、プロモーションデータベース１４０にアクセスすることにより、どの製品がプロモーション優先度が高いかを「把握」できる。

ロボット１は、顧客およびその他の人々に連れ添って、親しみやすい直感的にわかる方式で働くように設計される。図４に関連して詳しく説明するように屋内施設またはその他の商業的ロケーションに存在する非常に動的な環境でナビゲーションするときに、ロボット１は、人々と動的に話し応対することもできる。例えば、ホーム位置に静止して対話を待機しているというよりは、ロボット１は、施設内を徘徊して、無作為な顧客に何か助けが必要かどうかを尋ねようとしてもよい。ロボット１は、邪魔にならないように、顧客に繰り返し尋ねることはせず、時間の数パーセントのみ尋ねる。ロボット１は、顧客が存在するときにわかるように、顧客に接近するときに顧客の顔を検出する。ロボット１は、声で自らの存在を表明してもよいが、ロボット１上に配置された種々の発光ダイオード（ＬＥＤ）を含み得るムードライトの動きと色によっても自らを表明してもよい。ロボット１は、繁盛した／混雑したセクションではゆっくり移動し、例えば、混雑している、道に迷った、誰かを助けている、応対中、普通にパトロールしている、またはその他等の種々の状態を表すためにそのＬＥＤ色を変更する。可聴およびＬＥＤベースの通信に加えて、ロボット１は、新規の顧客に挨拶するとき、彼らの関心を得るとき、および／または彼らに応対するときに、その基部のみを用いて揺動を実行してもよい。

顧客を屋内施設内でナビゲートするまたは案内するとき、ロボット１は、顧客に関与していることを見せるため、その現況と、環境の感知の両方を表明してもよい。このため、ロボット１が近付いて来る途中の人を待機している場合、または付近の人を通り過ぎる場合、ロボットは、多くの人が周りにいるためにロボットが非常に自由にナビゲートすることをロボットセンサが許容しない場合に、「すみません」等の何らかの礼儀正しいフレーズを口にして、ロボットは、案内対象の顧客（複数の場合あり）に、混雑を感知していることを報知し、また、ロボット１が動けない場合、ロボット１は誠意をもって謝り、立ち往生した旨を述べる。ロボット１が目的位置付近に来ていて、その経路を邪魔する障害物がある場合、売り場スペース周囲の非常に長い経路に再ルーティングするよりは、ロボット１は、顧客、オペレータまたはその他の個人に、そのアイテムはすぐ先にあると通知する。

図４は、本開示の第１の例示的実施形態による、図１のロボティックデバイス１で用いられるアクティブパスプランニングの模式図である。顧客のために施設内の経路を見出すことは、施設が大方占有されていない場合は、多くの場合単純なマッピングプロセスであり得る。しかしながら、多くの施設では建物内に多くの移動物体を有する可能性があり、それが、ロボット１が稼動しなければならない動的な環境を作り出す。例えば、これらの施設は、店、モール、ショッピングセンター、食料品店、マーケット、テーマパーク、倉庫、空港、バスまたは鉄道の駅、あるいはロボットの存在が望ましい任意の他の公共または民間施設または会場を含んでよい。ロボット１は、使用される施設の動的環境内で動作できなければならない。例えば、屋内の商業的環境では、ロボットがその中をナビゲートしなければならない、人間から、ショッピングカート、移動パレットに至る様々な多くの移動物体が存在する。これらの動的な環境では、ロボット１は、経路を設計するにあたり移動障害物を考慮に入れるアクティブパスプランニングを利用してもよい。

移動ロボット１の正面を顧客が歩く例について考慮する。図４に示すように、ロボット１は、例えば、障害物１６６が移動中であるという検出よりも前に決まった経路である代表的経路１６４に沿って目的地１６２のほうに第１の方向１６０に移動してもよい。この代表的経路１６４は、代表的経路プランニングアルゴリズムから構築され、プランニングの時点では、障害物１６６はロボット１の左側にあったため、単純に障害物１６６の右側のほうへの経路を考案する。しかしながら、障害物１６６が方向１６８のほうに移動し始めると、ロボット１は、障害物１６６がロボット１の右側方面に移動していることを考慮しなければならず、したがって、代表的経路１６４を妨害する位置に動き、ロボット１と障害物１６６の衝突を引き起こす。

ロボット１と移動障害物１６６の衝突を防止するために、ロボット１は障害物１６６の移動に従った方式で障害物１６６の周囲をナビゲートする第２のまたはアクティブパス１７０を生成してもよい。例えば、ロボット１は、任意の物体（例えば、人間、カート等）を含み得る移動障害物１６６を検出して、移動障害物１６６の動きを追跡する。移動障害物１６６の動きに基づいて、ロボット１は、移動障害物１６６を通って、および移動障害物１６６の周りをナビゲートする最適な経路を判断する。図４の図示において、アクティブパス１７０は、移動障害物１６６の背後の辺りであり得る。ロボットは、ロボット１を実制動することにより、その視野内に急に現れる障害物に迅速に応答できる。この実制動は、ロボットの運動の反対方向への短い速度命令を出すことを含み得る。

ロボット１は、検出がより難しい障害物を照準とした追加検出能力を提供するために、レーダー、物理的隆起センサおよび三次元深度センサまたは本明細書に開示の他のセンサの組み合わせを用いてよいことが留意される。これらの障害物は、主センサには目につかない可能性がある、子供や、ロボット１の邪魔になる、またはロボット１の下に来る小型の障害物を含み得る。これらのセンサを合同して使用することは、ロボット１が施設内で注意深く上首尾に操縦することを確実にするために、衝突検出と障害物回避の両方を全般的に補助できる。

図５は、本開示の第１の例示的実施形態による、施設内のアイテムならびに顧客と対話する図１のロボティックデバイス１の模式図である。ロボット１が稼動する施設は、施設内での製品またはサービスを表示するために用いられる任意の構造体であり得るディスプレイ構造体３００を含み得る。一般的なディスプレイ構造体は、棚、テーブル、スタンドまたはブースを含み得る。ディスプレイ構造体３００は任意の個数のアイテム３０１をその上に含んでもよく、さらに、自動識別およびデータキャプチャのための１つ以上の無線送信機３０２を含んでもよい。

図１〜図２および図５に関して、ロボット１が顧客７０を案内するかまたは顧客７０に付き添ってディスプレイ構造体３００付近に移動するとき、ロボット１は、構造体３００とその上のアイテム３０１を、１つ以上の自身の３Ｄセンサによって認識し、アイテム３０１に関連するプロモーション情報３１０をバックディスプレイ２０上に表示する。バックディスプレイ２０上のプロモーション情報３１０は、アイテム３０１の１つまたは複数の画像３１１、アイテム３０１に関するテキスト３１３、アイテム３０１に関するプロモーション見出し３１２および構造体３００に関する一般情報３１４を含み得る。一般情報３１４は、構造体の特徴、製品カテゴリーおよびサブカテゴリー、位置等を含み得る。例えば、構造体３００が小売店内の棚またはテーブルであった場合、ロボット１が通路を通って顧客を案内する際に、ディスプレイ２０は、通路沿いの棚またはテーブル上の製品に関する広告を見せてもよい。その製品に関する広告を表示する際に、ロボット１は、コンピューティングセンター４のプロモーションデータベースにプロモーション状況を記録してもよく、コンピューティングセンター４は、在庫内の各ブランドに関してどの程度のプロモーションが提供されたかを監視し分析してもよい。ロボット１はさらに、特定のディスプレイ構造体３００に案内された顧客の人数を、コンピューティングセンター４のプロモーションデータベースに記録してもよい。

ロボット１は、顧客７０のためのパーソナルショッパーとして働くことができ、顧客７０に個人専有サービスと助言を提供する。そのような個人的なサービスを提供するロボット１の能力は、コンピューティングセンター４上で稼動する人工エンジンソフトウェアによって増強され得る。例えば、顧客７０が、ドレス等の特殊なアイテムを探している場合、ロボット１は、顧客の髪色、目の色、顔の形、身長、体型等を観察して、ファッションに関する提案をしてもよい。服、アクセサリーおよびその他のそのようなアイテムと、個人の身体的またはその他の特徴との関連性を含み得るファッション助言情報は、コンピューティングセンター４に記憶されて、ロボット１により、個人的なファッション提案を作成するためにアクセスされてもよい。大きすぎる、または万引きされやすい製品に関しては、ロボット１は、顧客７０に製品をチェックアウト場所でピックアップするように提案できる。顧客７０は、製品のピックアップを選択することを、ロボット１に発話により告げることにより行ってもよいし、または、タッチスクリーンデバイス上のピックアップのボタンをクリックしてもよい。顧客７０が、製品をチェックアウト場所でピックアップしたいと確認した場合、ロボット１は、顧客７０に、チェックアウトデスクに提示するレシートをプリントアウトしてもよい。

顧客７０がディスプレイ構造体３００を見ているとき、ロボット１は、視線追跡デバイス２９を介して顧客の目の動きを追跡し、自身の３Ｄセンサを介して画像を取り込むことにより、顧客の挙動を監視できる。ロボット１はそのデータをコンピューティングセンター４に送信することができ、コンピューティングセンター４は、データを分析して、顧客がどの製品を見ていたか、製品を見た顧客の情動、顧客が製品に費やす時間等の顧客７０に関する情報を抽出してもよい。

ロボット１が施設内で稼動しているとき、ロボット１は、一定期間にわたり１つの位置での顧客の写真を自身の３Ｄセンサによって撮影することにより顧客の流れを監視してもよい。例えば、小売店において、ロボット１は、６ＰＭから７ＰＭの間に通路を行き来する顧客の写真を撮影し、これらの写真をコンピューティングセンター４に送信してもよく、コンピューティングセンター４は写真を分析して、この時間帯にこの通路を、どの程の人数が通過したかを計算できる。コンピューティングセンター４はさらに、顧客の流れのデータを分析し統合して、施設にわたる顧客の動きのマップを作成してもよく、そのマップは、顧客がどのセクションで最も時間をかけるか、また、どの経路を顧客が最も頻繁に使用するか等の情報を含み得る。

ロボット１は、顧客の特徴を、自身のセンサ（マイクロフォン、３Ｄセンサ、タッチスクリーン、生体認証センサ等）によって捉え、その顧客の特徴データをコンピューティングセンター４に送信してもよい。コンピューティングセンター４は特徴データを処理して、顧客７０の、音声パターン、顔の特徴、ジェスチャーパターン、生体認証パターン等の一定のパターンを見出し、それをコンピューティングセンター４の顧客データベースに保存する。顧客７０が施設に戻ると、ロボット１は顧客７０を、例えば顧客データベースに記憶された情報顧客特徴データにアクセスすることにより、再訪顧客として認識できる。ロボット１が、上記のプロセスを通じて再訪顧客を認識すると、ロボット１はこの顧客の現在の購入関心と過去の買い物履歴に基づいて、タッチスクリーンデバイス１９とバックディスプレイ２０上に広告を表示できる。ロボットは、顧客データベース１４２にアクセスすることにより、再訪顧客の購入関心と買い物履歴を「把握」できる。

ロボット１は、施設内の装置を監視して、装置の不具合または、掃除もしくはメンテナンスの必要を報告してもよい。例えば、ロボット１は小売店内の冷蔵庫および冷凍庫を監視して、そのような装置に不具合があった場合、または開け放しのドアがあった場合、または何かこぼれていたり掃除の必要があった場合にシステムのバックエンドに報告してもよい。ロボット１はさらに、施設内の製品の価格を監視して、表示された製品の価格がデジタル在庫の価格と合致しない場合にシステムバックエンドに報告を送信してもよい。

顧客７０は、ロボット１に話しかけるか、タッチスクリーンデバイス１９を操作することにより、人間の担当者またはオペレータ８０にロボット１にログオンすることを要請してもよい。ロボット１は、オペレータネットワークシステム５にアクセスし、オペレータネットワークシステムに、手が空いているオペレータのうち１人に繋げるように要請する。オペレータネットワークシステム５はサーチエンジン１５０を用いて手が空いている全オペレータを検索し、ダイヤリングソフトウェア１５１を用いて、手が空いている全オペレータに同時にダイヤルする。最初に応答したオペレータがロボット１に繋がり、繋がったオペレータ８０はサポートステーション２を用いてロボット１にログオンできる。例えば、顧客７０がペンキ専門担当者と話したい場合、顧客７０はロボットに「ペンキ専門担当者と話したいのですが」と告げるか、またはタッチスクリーンデバイス１９でペンキ専門担当者のボタンをクリックし、ロボット１はオペレータネットワークシステム５にアクセスして、ネットワーク上の手が空いているペンキ専門担当者に繋ぐ。すると繋がったペンキ専門担当者は、サポートステーションにあるコンピュータまたはスマートフォンを使用してロボット１にログオンできる。

ロボット１は、構造体３００付近で稼動している場合、自身の３Ｄセンサでディスプレイ構造体３００上の製品の写真を撮影することにより、施設のディスプレイ構造体３００上の在庫を支援できる可能性がある。例えば、ロボット１が小売店内の通路沿いに移動している際に、ロボット１は通路沿いの棚の上の製品の写真を撮影してもよい。ロボット１はさらに、かご、ショッピングカートの中、および顧客が手にしている製品の写真を撮影してもよい。ロボット１はこれらの全ての写真をコンピューティングセンター４に送信してもよく、コンピューティングセンター４はこれらの写真を処理し、製品を識別し区別して、ディスプレイ構造体３００上にどの程度製品が残っているかを計算し、構造体３００上に配置されるべきではない誤配置された製品を報告し、在庫データベース内でこれらの全情報を更新する。誤配置された製品があった場合、または、特定の製品の量が、在庫データベースにおける予め設定された警告閾値未満である場合、ロボット１は、施設マネージャーまたはエージェント８１が、誤配置された製品を撤去する、および／または製品を構造体３００上に補充する措置を講じることができるように、システムバックエンドソフトウェアに警告メッセージを送信してもよい。

別の例では、ロボット１は、ディスプレイ構造体３００上のどのアイテムが在庫切れであるか、また、どのアイテムが潜在的に在庫が少ないかを、視覚に基づくプロセスを用いて判断できる。このプロセスは、ロボット１が、顧客の購入用に棚にディスプレイされている商品および、将来の在庫を供給するために配置されている商品（箱詰めして、棚にストックされるのを待機している商品）を予測することなどによって、棚の上の、またはストックしてある商品の分量を予測することを可能にし得る。この視覚に基づくプロセスでは、ロボット１上のカメラシステムは、正確な焦点および照明レベルで写真撮影するように最適化される。視覚に基づくデータはさらに、一層高レベルの精度に達するために、商業施設に配備されていれば、ＲＦＩＤタグ情報の収集および／または３Ｄセンサにより増強され得る。データを追跡、レビューおよび分析するためにコンピュータセンター４とロボットコンピュータ１４の両方で稼動する高度なアナリティクスが存在してもよい。付加的に、視覚に基づくプロセスは、在庫が将来どの時点で在庫切れになりそうかを予測し、新たな在庫を事前に潜在的に発注する最適な時期に関する示唆を提供してもよい。

視覚に基づくプロセスは、ディスプレイ構造体３００上の在庫を査定するための任意の数のステップとプロセスを含んでもよい。例えば、施設が込み合っていない早朝等の、一日のうちの特定の時間に、ロボット１は起動して施設内を周回してもよい。ロボット１が各ディスプレイ構造体３００を通過するとき、ロボット１は、自身のカメラシステムと２Ｄまたは３Ｄセンサのうちいずれかを用いて、各ディスプレイ構造体３００の高精細画像を、施設に関して作成されたマップ上のＸＹ位置およびその方向（角度）を注記しながら撮影する。画像は、高度なコンピュータ視覚アルゴリズムでコンピュータセンター４またはロボットコンピュータ１４のうちいずれかで処理されてもよく、それによりディスプレイ構造体３００上のあらゆる製品を識別し、どのアイテムが在庫切れかを識別する。在庫情報は、在庫データベース１４１に転送される。

ロボット１が通路内で写真をキャプチャする在庫管理システムまたはプロセスの一環として、ロボット１が通路内で写真撮影すべきロケーションは事前に規定され得る。これらの事前規定された位置は「ウェイポイント」と呼ばれてよい。このロケーションを特定のウェイポイントに事前規定することによって、全商品および／または全棚空間の画像を上首尾にキャプチャするために、撮影された隣接する写真間に十分な重複があることを確実にすることが可能になり得る。写真間に十分な重複がない場合、ロボット１はそのロケーションに戻ってウェイポイントを再試行してよい。この状況は、キャプチャされた画像に何か不具合がある場合、または、ロボットが邪魔されてそのウェイポイントをキャプチャできなかったなど、最初の写真にエラーがあった場合に起こり得る。

さらに、ロボット１は、コンピュータビジョン、機械学習およびメカニカルタークのインテリジェントコンビネーションを用いて取得された任意の画像をキャプチャし処理してよい。システムは、取得された画像内の商品を見つけて、棚の画像を、店内の棚の仮想モデルと相関してよい。この棚の仮想モデルは「マスターシェルフ」として知られ得るものであり、商品の完全在庫を有し得る。このマスターシェルフ技法を用いることによって、使用されているビジョンアルゴリズムが何らかの理由により特定の商品のラベルを識別できない場合、システムが、商品をヒューリスティックに識別できるためには、マスターシェルフを通して識別された商品の所在位置を履歴で利用することが可能である。

ロボット１は、ロボット１が操作されている施設に他の在庫管理の恩恵を与えてよい。例えば、ロボット１が棚の上の商品の画像をキャプチャするにつれ、誤配置されたアイテムを識別する場合がある。これが発生した場合、ロボット１は、そのアイテムが何であるかを推測できるばかりでなく、誤配置されたアイテムの量を計数できてよい可能性がある。この情報は、商品の実在庫数を推測するために用いられてよい。この情報は、在庫管理人員に、誤配置されたアイテムを施設内の正しい位置に配置するために、通知またはメッセージを送信するためにも用いられてよい。

ロボット１は、施設内で収集した情報を外部関係者に通信することができてもよい。例えば、ロボット１は、通知またはメッセージを、特定の会社またはアイテムのサプライヤーに送信できてよい。これは、ロボット１が在庫切れまたは在庫僅少のアイテムを見つけた場合に発生することがあり、賞味期限日などの、商品に関する他の情報を監視するためにも用いられてよい。ロボット１が特定のブランド所有の棚を走査した場合、システムは、ブランドのサプライヤーに通知を送信してよい。ブランドのサプライヤーまたは複数のサプライヤーは、少なくとも限度あるアクセスでシステムにアクセスして、そのブランドの棚の現況を調べて、特定の場所への次の商品供給に最適な時期を決定することができてよい。サプライヤーはさらに、サプライヤーに提供される情報の精度に関してシステムにフィードバックを提供してもよい。棚が、施設または店の所有会社によって所有されている場合、システムは、図９乃至図２２に関して論じるソフトウェア１３１内のダッシュボードなどの、棚の現況を示すダッシュボードを、所有会社の従業員に提供してもよい。

在庫データベース１４１は、施設の在庫システムから施設データを取り入れてもよい。ロボット１のスキャンされたデータは次に、施設の在庫システムと相関されてもよく、それにより、人が容易に気付くように、不一致を識別する。次に、施設のスタッフメンバーであり得るエージェント８１は、ソフトウェア１３１を用いて、施設内の注意が必要なアイテムおよび注意しなくてもよいアイテムのリストを閲覧して、労働時間中に各ケースに対処できる。ソフトウェア１３１はさらに、施設マネージャーが、従業員の仕事ぶりと、追加製品在庫を発注する等の、とるべきアクションをレビューすることを可能にできる。ソフトウェア１３１はさらに、コーポレート／ＨＱスタッフに施設の状況を監督させ、在庫のアナリティクスを閲覧させることもできる。ソフトウェア１３１はさらに、近い将来に在庫切れになり得るアイテムを示唆または予測し、施設マネージャーおよびコーポレートスタッフの両方が、これらの示唆または予測に対処できるようにしてもよい。

ロボット１の画像捕捉の精度を改善するために、種々の技法およびプロセスが用いられてもよい。例えば、屋内の売り場スペースにおいて、画像捕捉要件は、視野および画像サイズ等のいくつかの主要な要因に依存して変動する。これらの要因は、通路内のロボット１の位置と、識別が必要な物体の物理的サイズによって決まり得る。したがって、ロボット１の台車上へのカメラの配置は、障害物回避によるロボット経路変更を補償するための十分なオーバーラップがあるような画像オーバーラップ要件によって決まり得る。画像のオーバーラップは安全マージンを提供し、それは捕捉されたセットにおける欠けたデータポイントによって引き起こされる問題を回避することになり得る。

ロボット１によって用いられるもう１つの技法は、施設の環境に基づいたカメラパラメータの調節である。例えば、ナビゲーションデータから派生した情報によって、ロボット１は捕捉した画像の焦点距離を自動変更する能力を備える。この能力は、店舗内の通路幅とロボットの位置がわかれば決まり得る。全体的な写像性が優先される高度に動的な環境ではオートフォーカスがイネーブルされてもよい。別の例では、ロボット１のカメラシステムは、製品査定中にディスプレイ構造体３００上の製品に高精細な画像が正しくフォーカスされるように、施設内の照明を自動補正するように構成されてもよい。このカメラパラメータ調節は、画像センサの感度を調節するために自動的にフィルライティングをイネーブルすることを含み、それは影や低照明が存在する売り場スペースの領域において鮮明で整合性のある画像を提供できる。フィルライティングは、特定の画像捕捉領域における全体的な照明によって決まる。ライティングは、環境のニーズにより良く合わせるために、強度と拡散に関して調整可能であってもよい。

さらに、フィルライティングの追加はより高いシャッター速度を可能にし、その結果台車の速度が増加して、それにより在庫管理プロセス完了までの所要時間が減少する。このため、画像捕捉が行われる速度は、所要のシャッター速度と照明に直接の影響を与える。台車速度が高くなると、データセットにおける画像捕捉の所要時間を減少させるが、画像品質と整合性を維持するための付加的な照明を要する。台車速度が低くなると、付加的な照明の必要量が減少する。ロボット１は、ロケーションの要求に従って台車速度を自動調節してもよい。

図６は、本開示の第１の例示的実施形態による、図１の施設内で顧客サービスを提供するロボティックデバイスによって用いられる視覚アルゴリズムのブロック図４００である。フローチャートのプロセス説明またはブロックはいずれも、プロセスにおいて特定の論理機能を実施するための１つ以上の命令を含むモジュール、セグメント、コードの一部またはステップを表すと理解されるべきであり、代替的な実装も本開示の範囲内に含まれ、その場合、機能は図示され説明されたのとは違う順序で実行されてもよく、その順序は、本開示の当業者ならば合理的に理解するであろうように、関与する機能性次第で、実質的に同時または逆順を含むことに留意すべきである。

ロボットによって使用される視覚アルゴリズムは、カメラシステムおよびセンサによって捕捉された画像を用いて施設内のディスプレイ構造上の製品を識別してもよい。視覚アルゴリズムの一例では、ロボットは自発的に通路をナビゲートして製品のディスプレイをスキャンする（ブロック４０１）。通路をナビゲートして製品のディスプレイをスキャンすることは、通路のストリートビュー、３Ｄデータまたはパノラマビューを生成することを含み得る。（ブロック４０２）。ロボットはバーコードおよび製品をスキャンして、アイテムの欠如に基づいて、在庫切れアイテムを識別する（ブロック４０３）。ロボットからのデータ捕捉に基づいて、ロボットは自身の内部データベースまたは外部コンピューティング環境上のデータベースを更新する（ブロック４０４）。その後施設スタッフは、ロボットが担持するかまたはロボットの外部にあるかのいずれかであるコンピューティングデバイス上の在庫ダッシュボード上のアイテムを閲覧してもよい（ブロック４０５）。次に施設スタッフは、不一致を呈しているアイテムに物理的に対処して、ロボットのダッシュボードに対応する対策をマークする（ブロック４０６）。

視覚アルゴリズムは、製品のラベル抽出、製品のバーコード検出および抽出の実行、あるアイテムが在庫切れまたは在庫が足りているかを判断する、また、屋内環境のストリートビューを提供するのに特に有用である。ラベル抽出に関して、ロボットは、カラー閾値処理および輪郭検出を利用して、ラベル情報を含む製品のラベルの位置を特定してもよい。抽出されたラベルは次にバーコード検出に用いられ得る。バーコード検出は、Ｓｃｈａｒｒ演算子を用いて決定され得る水平および垂直方向における画像（ラベル）の勾配規模を用いてもよい。水平勾配が高く垂直勾配が低い領域が識別され得る。勾配画像から高周波ノイズが平滑化され得る。ぼやけた画像は閾値処理の対象となり、形態演算子が閾値画像に適用される。輪郭検出を用いて、ラベルからバーコード領域が抽出され、それは、アイテムの情報、価格、アイテムの位置、画像内でアイテムを検索するためのウィンドウサイズの識別を可能にする。

どのアイテムが在庫が足りているまたは在庫切れであるか、すなわち、ディスプレイ構造体上のアイテムの入手可能性を判断するために、形態演算子が構造体の背景に適用されてもよい。一般に小売店の通路は３つの異なるカテゴリー、すなわちペグ、棚およびトレイに分類される。ペグアイテムを考慮すると、例えば、アイテムが在庫切れであった場合、通路のバッキングに円を検出することが可能である。所定のウィンドウサイズ内の円の密度は、どのアイテムが在庫切れであるかを決定することに役立つ。検索領域を減らすために、ウィンドウサイズは通路上のバーコードに符号化されてもよい。先ず、アイテムの説明、位置（通路およびアイテム）、価格およびウィンドウサイズを提供するバーコードラベルを含む領域が、異なる形態演算子を用いて抽出されてもよい。次に、ラベルの周囲で、説明されたウィンドウサイズ内の円の密度が決定されてもよい。円の密度が高い場合、そのアイテムは在庫切れと判断され得る。

本明細書に説明されるプロセスは、合成編集した複数の画像、所謂「イメージステッチング」と併用してもよいことに留意すべきである。イメージステッチングは、画像の境界付近の画像の領域を表すために実施され得る。屋内のストリートビューに関して、アイテムの入手可能性に関する画像と情報は、スキャンと処理後に利用可能となることに留意されたい。イメージステッチングを用いて、ストリートビューの屋内版、例えば、施設内の通路の連続画像を形成するために縫い合わされた連続画像も、データから作成され閲覧できる。

ロボット１は、単独で、または本明細書に記載のロボティック能力と組み合わせて用いられてよい他の機能および補助的タスクが可能であってもよい。例えば、ロボット１は、施設内で商品を配送できてもよい。ロボティックシステムは小売業者のオンライン発注システムに接続されてよく、ロボット１はオンライン注文送達またはピックアップ向けの専用ロケーションにアイテムを運搬するために用いられ得る、本体内または本体上にキャビン、コンパートメントまたはその他の領域を有してよい。こうして、商品がオンラインで購入された場合、ロボットは施設から商品を検索して、顧客ピックアップ向けに顧客サービスに商品を持ってくることができる。ロボット１はさらに、クレジットカード、またはセルラーフォンを用いるなどのその他の形式の、ユーザからの電子支払いを受け付けることもできる。搭載型電子支払いシステムは商業施設の支払いシステムに接続されてよく、ロボット１で行われる取引と支払いは、施設によって使用される支払いシステムで文書化され得る。ロボット１が、オンライン購入商品を検索して電子支払いを受け付けることができる場合、商品をオンラインで購入した顧客が自身の商品をロボット１から直接回収することが可能であり得、その場合、顧客はロボット１に支払いをし、次にロボット１は商品を顧客に引き渡す。

図７は、本開示の第１の典型的実施形態による、図１のロボティックデバイスを用いた、施設内ロボティックシステムの模式図である。図７に示すように、ロボット１はドッキングステーション１１０とインターフェースできてよい。ドッキングステーションは、ロボット１の移動台車１１上の充電ポート１１３ａを、ドッキングステーション１１０上の互換充電ユニット１１３ｂと正しく位置合わせすることを補助する物理的位置合わせガイド１１２を有するハウジング構造１１１を含んでよい。ドッキングステーション１１０は、電荷が充電ユニット１１３ｂ上の電気接点を介して充電ユニット１１３ｂに転送され、また、ロボット１の充電ポート１１３ａに転送されてロボット１を再励起するように、充電装置および構成要素を含んでよい。充電ポート１１３ａと充電ユニット１１３ｂの嵌合は多様な異なる設計および構成を含んでよく、それらは全て、本開示の範囲内にあると見なされることが留意される。さらに充電ステーション１１０は、主としてロボット１を充電する使用法で説明されてきたが、充電ステーション１１０は、ロボット１を他の形態のエネルギーで充電するために用いられてもよく、また、ロボット１を、通信または保守などの他の機能向けに接続するために用いられてもよいことが留意される。

ロボット１は、ドッキングステーション１１０と組み合わせて種々の自己充電機能を実行してよいことが留意される。一例では、ロボット１は、スケジュールに基づいて、またはオンデマンドで必要に応じ決定されるスリープモードと自動起動モードを有するようにプログラムされてよい。この例では、ロボット１は、低バッテリー状態になった場合に検知できてよい。低バッテリーになった場合、ロボット１は自律的に自分でドッキングステーションに移動する。ロボット１は次に自身をドッキングステーション１１０にドッキングしてよく、ドッキングがうまくいき次第、充電を開始してよい。ロボット１は次に自身をスリープモードにし、その場合ロボット１内の殆どの構成要素は、ルータ、ｐｃおよび配電盤などの特定の構成要素を除いてはパワーダウンされる。これは、ロボットが常にインターネットに接続された状態となることを補助し得る。ロボット１が充電を終えた場合、またはスケジュールされた起動時期となった場合、ロボット１は自身をオンにして自身のソフトウェアを再初期化する。次にロボット１はドッキングステーションからドッキングを解除して、通常のように顧客サービス／在庫走査を続行する。

図７は、ロボット１と使用され得る付加的な機械的特徴も示す。例えば、ロボット１は、カメラ、光源または他のデバイスなどの種々のデバイスを担持できる伸張式マウント１１５を有してよい。伸張式マウント１１５は、入れ子式デバイス、または、ロボット１から遠ざかる方向に伸張可能な機械式アームを備えた別のデバイスであってよい。カメラが伸張式マウント１１５上に位置決めされると、カメラは高所視座からの画像をキャプチャすることが可能になり得る。伸張式マウント１１５上に高解像度カメラが搭載されている場合、これらの画像は高解像度画像であり得る。ロボット１の運動と組み合わせて、カメラが、伸張式マウント１１５上で垂直方向と、ロボットが内部で使用される施設周囲の横方向の両方に移動することが可能である。フラッシュライトなどの光源が伸張式マウント１１５上に搭載されて、垂直方向に伸張してもよい。伸張式マウント１１５の使用は、ロボット１が、棚、ディスプレイ、または店内の他の物体上の画像をキャプチャすることを可能にする、または、必要に応じ光源を提供するという利点を提供し得る。

図８は、本開示の第１の典型的実施形態による図１のロボティックデバイス１の移動台車１１の模式図である。特に、図８は、ロボット１の移動台車１１と使用され得るロボット１の車輪サスペンションアセンブリを示す。車輪サスペンションアセンブリは、固体取付板１１ｃに取り付けられた、電子駆動モータ１１ｂ、車輪３０および構造フレーム部材を含む車輪およびモータアセンブリ１１ａを含んでよい。取付板１１ｃは、１つ以上の垂直軸１１ｄで車輪およびモータアセンブリ１１ａに取り付けられてよく、それが車輪およびモータアセンブリ１１ａに対する取付板１１ｃの垂直方向の上下運動を可能にする。車輪３０が地面との一定の牽引力を維持することを可能にするために、取付板１１ｃに下向きの力を与えるために１つ以上の圧縮ばね１１ｅが用いられてよい。

図９乃至図２２は、本開示の第１の典型的実施形態による、施設内でインテリジェントサービスを提供するための、図３のソフトウェア１３１で操作され得るデジタル在庫管理インターフェース５００のイメージである。デジタル在庫管理インターフェース５００は、種々の在庫管理業務を遂行するために用いられ得るグラフィカルユーザインターフェース上で表示可能なダッシュボードを有してよい。デジタル在庫管理インターフェース５００は、承認された個人のみがシステム内のデータへのアクセスを得ることができるように、ユーザ名とパスワードログイン画面でセキュリティ保護されてよい。ユーザがアクセスを得ると、ユーザはロボット１によって収集されたデータをレビューして、従来は店内の人間の作業者本人が処理していたであろう在庫管理タスクを実行できる。

図９で示すように、デジタル在庫管理インターフェース５００は、通路または類似した特徴を描写している施設５０４のマップまたはグラフィック表示を含むマップオーバービュー画面５０２と、ユーザに在庫データを提供する情報センター５０６を含んでよい。情報センター５０６は、施設全体または施設の特定の部門内での在庫の不一致の数を識別する数値または文書データを提供してよい。デジタ在庫管理インターフェース５００はさらに、デジタル在庫管理インターフェース５００の異なる表示または構成にナビゲートするための種々の選択ボタン５０５を含んでよい。施設５０４のマップは、在庫不一致の場所を示す、または人の注意が必要であり得る識別ブロック５０８を含み得る。例えば、ブロック５０８は、デジタル在庫データベース１４１（図３）内の商品在庫の記録と、ロボット１によって判断された商品の実在庫との間に在庫不一致がある施設の特定の通路５０９の場所を示唆してよい。施設５０４のマップの特定の部分またはブロックが、施設内のその部分における在庫不一致に関するさらなる情報を識別するために、ユーザによって選択されてよい。このプロセスは、ユーザが、各ブロック５０８に関する特定のデータを個々に検索することを可能にし得る。

図１０は、図９のブロック５０８を選択するとユーザに提示され得るデジタ在庫管理インターフェース５００の棚ページ５１０を示す。棚ページ５１０は、部門識別、通路上の配置および棚位置を含む、選択されたブロック５０８に関する文字情報を識別することを含んでよい。棚ページ５１０はさらに、商品名と商品コード、および商品が棚に有るか無いかの指定などの、ブロック５０８が表される施設内特定の商品の情報を識別することを含んでよい。商品が配置されるべき施設内の棚空間の画像５１２も含まれてよい。画像は、在庫管理プロセス中にロボット１によって撮影された写真であってよく、それに、商品がどこに配置されるべきかを特定的に識別するためにグラフィックス５１４が重畳されていてよい。図１０に示すように、グラフィックス５１４は、棚の何処に在庫切れ商品を配置すべきかを指定するために、図示のように長方形などの、写真の上に重畳される形状であってよい。

ユーザが関連商品に関してさらなる情報を得たいと希望する場合、ユーザは棚ページ５１０から商品名を選択して、図１１に示すような詳細アイテムページ５１６を検索する。詳細アイテムページ５１６は、在庫切れ（または在庫僅少）商品を識別するグラフィックス５１４を備えた画像または写真５１２を含めて、棚ページ５１０に格納された情報を含み得るが、さらに、他の関連情報のなかでもとりわけ、商品のＳＫＵ、手元にある商品の数、発注中の商品数、最終注文の期日、発注到着予測日、最終受注日、最終受注数、最終商品販売日、最低受注数、提示量、商品が施設内の複数の場所に配置されているかどうか、倉庫では商品の在庫切れ状態であるか、商品が旧式であるか、バイヤーがブロックされた状態であるか、を含んでよい。この情報は、各基準に対して提供された所与の商品の値を伴う標準化されたリストまたは表で提供されてよい。詳細アイテムページ５１６は、追加情報を検索または情報を編集する、または商品に関する記述を追加するために用いられ得る選択ボタン５１８を有してよい。

図示のように、インターフェースは、ユーザに、在庫に不一致がある施設内の任意の所与の商品に関する詳細な商品情報にアクセスすることを可能にする。この情報を用いて、施設作業者は、施設内で商品が配置されるべき場所に物理的に赴いて、ソフトウェア１３１を実行するポータブルコンピューティングデバイスを用いて、デジタ在庫管理インターフェース５００を正しい情報で更新できる。例えば、ユーザは選択ボタン５１８を用いて問題を解決し、アイテムの状況を更新する、または将来の参考に、そのアイテムに関する注記を追加できる。

在庫不一致のサマリーを見るために、デジタ在庫管理インターフェース５００は図１２に示すように報告ページ５２０を有してよい。報告ページ５２０は、全在庫不一致に関する詳細な情報を有するシフトサマリーを含んでよい。これは、保留アイテム、解決済みアイテムおよび／または在庫不一致がある全アイテムに関する情報を含んでよく、それは、部門毎に、または他の分類で提供されてよい。ユーザは、部門内でのアイテムのサマリーデータを検索するために、「工具部門」などの特定の部門（図示のように部門１Ａ、１Ｂ、１Ｃ）を選択できる。この情報は、詳細アイテムページ５１６の選択ボタン５１８を用いて入力された情報またはデータのいずれか、ならびに図１３乃至図１４に示すような、その部門内の特定の商品に関する他のデータを含んでよい。この情報は、種々のアクションを実行するための、または状況情報を得るための選択ボタン５２１を含んでよい。これらの選択ボタン５２１は、「後まで取っておく」ボタン、「まだ開いている」ボタン、「データベース調整」ボタン、「解決済」ボタン、「手元にゼロ」ボタン、「盗難確定（ｋｎｏｗｎ ｔｈｅｆｔ）」ボタン、「手元に代替品」ボタンまたはその他を含んでよい。

図１３に示すように、アイテム数、商品名、商品所在位置、および商品の状況に関する従業員からの任意の注意書きを含む商品に関するさらなるデータ５２２が提供されてもよい。さらに、図１４に示すように、データは、同じページ上の商品の個数に関する付加的なデータ５２２全てをリストするなどによって異なる形式で整理されてもよく、その場合ユーザは選択ボタン５２１を用いて、表示されるデータをさらに精錬できる。

ソフトウェア１３１はさらに、図１５に示すようなトレンドおよびデータ分析インターフェース５３０を含んでよく、それは、施設管理者または部門長には特に有用であり得る。トレンドおよびデータ分析インターフェース５３０は、グローバルメニュー５３４およびカレンダー選択メニュー５３６を含む種々のメニューを有するメインページ５３２を含んでよい。グローバルメニュー５３４は、フロア内にある、在庫している商品のパーセンテージ、商品またはドルの調整または古くなったアイテムに関する情報を含んでよい。カレンダー選択メニュー５３６は、ユーザが、所定時間ブロックまたは特定の日間、例えば、数日、数週間、数ヶ月または以前の期間（例えば「先月」）などの、特定の期間を選択することを可能にしてもよい。カレンダー選択メニュー５３６はさらに、ユーザが特定の期間を手動で入力または選択することを可能にするカレンダードロップダウンブロック５３７も有してよい。ユーザはカレンダー選択メニュー５３６またはカレンダードロップダウンブロック５３７を操作して、任意の所与の期間に関する商品データを検索してよい。メインページ５３２はさらに、所与の期間に関する種々の部門でのフロアにある在庫商品のパーセンテージなどのデータのグラフィック表示５３８を含んでよい。グラフィック表示５３８は、どのデータラインが特定の商品、部門、または在庫の別の態様に対応するかを示すグラフキーと連動するデータラインまたはグラフを含んでよい。商品部門と、それらの対応する商品のリストはさらに、ユーザが、各部門の商品の何パーセントが在庫しているかを把握するために提供されてもよい。

ユーザが任意の特定の部門または部門内の商品に関するより詳細な情報を得たい場合、ユーザは図１６に示すように部門リストのいずれを展開してもよい。展開情報は、ユーザが所望の情報を検索するためにメニューを展開または縮小する能力を有するように、施設内に在庫している特定のグループの商品のパーセンテージを全て示しながら、特定の部門内のカテゴリーまたはサブカテゴリー５３９を示してよい。カテゴリーまたはサブカテゴリー５３９のうちいずれもさらに、図１７に示すように特定の商品に関する情報を見るためにさらに展開されてよく、それは、商品数および／または商品名、商品サイズあるいは商品のその他の特徴を含んでよい。ユーザがさらなる情報を入手したい場合、ユーザはインターフェース上の商品を選択することができ、すると、その商品用の詳細アイテムページ５１６が、図１８に示すようにユーザに提供される。ここでも、この情報はＳＫＵ番号、商品名、価格、スコア内の棚上の位置、および図１１に関して詳述された付加的な在庫情報を含んでよい。

図１９に示すように、ユーザはさらに、トレンドおよびデータ分析インターフェース５３０を用いて商品在庫の手元の調整を行ってもよい。この特徴では、ユーザは、商品部門毎になど、施設内のカテゴリーまたはサブカテゴリー５３９のリストを示すために選択され得るタブ５４２を備えた種々のページを提供されてよい。ユーザは、図２０に示すように、そのカテゴリー内の商品のより詳細なメニューを見るためにいずれかのカテゴリー５３９を展開してもよい。ユーザはさらに、カテゴリーまたはサブカテゴリー内の特定の商品５４３を見るためにメニューを展開してもよい。図２０に示されるように、ユーザには、トレンドおよびデータ分析インターフェース５３０内に反映される商品の個数、在庫が調整された商品の個数を含む手元の調整、および任意のアクションを起こす責務を負う共同経営者または個人に関する詳細データ５４４を提供されてよい。ユーザは、データが反映するアクションおよび承認ボタン５４６の承認を行うことができてよく、または、ユーザは、さらなるアクションボタン５４８を用いることで、さらなるアクションが特定の商品に必要であることを指定できる。

図２１に示すように、トレンドおよびデータ分析インターフェース５３０は、ドル価額の手元の調整に関するデータを提供するためにも用いられてよい。ドル調整インターフェース５４０は、所定期間にわたるドル調整に関するグラフィカル表示５５２を含んでよい。ドル調整インターフェース５４０はさらに、部門毎、カテゴリーまたはサブカテゴリー毎の商品のリストも含んでよい。ユーザは、特定の商品と、これらの商品の任意のドル価額調整を見るためにリストを展開できてよい。

図２２は、売れていない、または売り上げが良くなかったため古くなったと見なされる、施設内の特定の商品に関するデータを提供するために用いられ得る古くなったアイテムインターフェース５５０を描写している。古くなったアイテムページにリストされた商品は、売りに出されるまたは売り上げを増やすために処理されるべき商品を含み得る。例えば、あるアイテムが、顧客が購入しなかったために２週間以上または他の期間にわたりストックされなかった場合、商品は古くなったアイテムインターフェース５５０にリストされてよい。古くなったアイテムインターフェース５５０はユーザに、その商品が施設内に在庫している期日、ＳＫＵ番号、その商品の最終発注および受け取り期日、最終販売期日および商品状態などの、その商品に関連するデータとともに、古くなった各商品の詳細なリストを提供してよい。このデータは、グラフィック表示５５４ならびに古くなったアイテムの商品データを提供する表で表示されてよい。例えば、表は、情報としてとりわけ、商品が出た期日、ＳＫＵまたは商品に関する識別情報、最終受け取り日、最終発注日、最終販売日、ステータスに対応する見出しデータ５５６を提供してよい。各対応する見出しの商品情報５５８は見出しデータ５５６の元にリストされてよい。

図９乃至図２２はソフトウェア１３１の特定のインターフェースと機能性を示しているが、ソフトウェア１３１は、従来は人間のみによって行われていた機能を含めて、施設内でロボット１によって収集されたデータに基づいて多くの他の機能を実行が可能であり得ることが留意される。

上記の本開示の実施形態、特にいずれの「好適な」実施形態も、本発明の原理の明確な理解のために単に記述した、実装の可能な例に過ぎないことを強調しておく。本発明の趣旨および原理から実質的に逸脱せずに本発明の上記の実施形態に多くの変更および変更がなされてもよい。例えば、ロボットは、ナビゲーションおよび視覚ならびにそのデータの解釈を含む自身のセンサデータの信頼性を査定してもよい。ロボットが、例えば共分散行列の値に基づいて、ある状況に関して不確かであると判断した場合、ロボットは、ロボット自身ならびにロボットの周囲の安全を維持するために挙動を修正してもよい。ロボットは、また不確かな場合に援助を求めることを決定してもよい。例えば、ロボットが特定のアイテムが在庫切れであるかどうかを決められない場合、ロボットは人間の解釈を仰ぐためそのスポットの写真を送信または記憶してもよい。同様に、ロボットが店舗内で移動する間に、物理的に立ち往生するか、単純に道に迷ったかのいずれかで立ち往生した場合、ロボットは、人間に、テレプレゼンスにより交代してロボットを立ち往生から解除して先に進ませるように要請してもよい。

そのような変更および変形は全て、本明細書において本開示の範囲内に含まれ、以下の特許請求の範囲によって保護されるべきものである。

Claims (15)

1. 商業施設内でインテリジェントサービスを提供するためのロボットであって、
   移動台車と、
   前記ロボットの上部視野内の物体を検出するための上部センサと、
   前記ロボットの下部視野内の物体を検出するための下部センサと、
   ディスプレイと、
   前記移動台車、前記上部センサおよび前記下部センサと通信するロボットコンピュータを備え、前記コンピュータはプロセッサとコンピュータ可読メモリを有し、前記ロボットコンピュータは商業施設内の商品の在庫管理を行うように構成される、ロボット。
2. 前記ロボットコンピュータがさらに、遠隔配置されたサポートステーションでのオペレータからのコマンドを受け取り、受け取ったコマンドに基づいて動作するように構成されている、請求項１に記載のロボット。
3. 前記ロボットコンピュータがさらに、前記商業施設内の商品の在庫管理を、
   前記商業施設内の商品の視覚的記録をキャプチャし、
   前記商品の視覚的記録を処理して前記商業施設内の商品の量を決定し、
   前記決定した商品の量を在庫記録と比較する、
   ことによって行うように構成されている、請求項２に記載のロボット。
4. さらに、前記ロボットコンピュータと通信するコンピューティングセンターを備え、前記コンピューティングセンターは、前記ロボットコンピュータにアクセス可能なデジタル在庫データベースを有する、請求項１乃至３に記載のロボット。
5. 前記ロボットコンピュータはさらに、前記ロボットコンピュータに記憶されたマップと、前記上部センサおよび下部センサのうち少なくとも１つを用いて前記商業施設内をナビゲートするように構成される、請求項１乃至４に記載のロボット。
6. さらに、前記商業施設内の商品の視覚的記録をキャプチャするように構成された商品走査装置を備え、前記商品走査装置がさらに、カメラ、二次元ビデオカメラ、三次元ビデオカメラ、レーザーレンジファインダー、スキャナ、構造的光スキャナ、超音波スキャナ、ＲＡＤＡＲスキャナ、ＬＩＤＡＲスキャナおよびＲＦＩＤスキャナのうち少なくとも１つを含む、請求項１乃至５に記載のロボット。
7. 商業施設内でインテリジェント在庫サービスを提供するためのロボティックシステムであって、
   移動台車と、ロボットの上部視野内の物体を検出するための上部センサと、ロボットの下部視野内の物体を検出するための下部センサと、ディスプレイと、前記移動台車、前記上部センサおよび前記下部センサと通信するロボットコンピュータを備え、前記コンピュータはプロセッサとコンピュータ可読メモリを有する、ロボットと、
   前記ロボットに対して遠隔配置されたサポートステーションであって、サポートステーションディスプレイと、前記サポートステーションディスプレイと通信するサポートステーションコンピュータを有し、前記サポートステーションコンピュータがプロセッサとコンピュータ可読メモリを有する、サポートステーションを備え、
   前記ロボットは前記商業施設内の販売のデータを視覚的にキャプチャして、前記キャプチャされたデータの少なくとも一部を前記サポートステーションに通信するように構成されている、ロボティックシステム。
8. 前記サポートステーションコンピュータがさらに、前記プロセッサで実行されるように構成されたプログラマブルコードを備え、前記プログラマブルコードが、前記サポートステーションコンピュータのＧＵＩ上で表示可能なダッシュボードを備えたデジタル在庫管理インターフェースを有する、請求項７に記載のシステム。
9. 前記デジタル在庫管理インターフェースがさらに、前記商業施設と情報センター部分のグラフィックマップを備え、前記グラフィックマップは、在庫不一致を提示するグラフィックマップの場所を識別し、前記場所の選択は、その場所での在庫不一致の文書データを検索する、請求項８に記載のシステム。
10. 前記デジタル在庫管理インターフェースがさらに棚ページを備え、前記棚ページは、前記商業施設内の商品の、前記ロボットによって撮影された写真を表示し、前記写真はさらに、欠損商品が配置されるべき前記写真内の位置を示すオーバーレイされたグラフィック表示を含む、請求項８乃至９に記載のシステム。
11. 前記サポートステーションコンピュータがさらに、前記プロセッサで実行されるように構成されたプログラマブルコードを含み、前記プログラマブルコードは、サポートステーションコンピュータのＧＵＩで表示可能なダッシュボードを備えたトレンドおよびデータ分析インターフェースを有し、前記商業施設の履歴在庫データは、前記サポートステーションコンピュータのＧＵＩで見ることができる、請求項７乃至１０に記載のシステム。
12. 前記ロボットがさらに、前記商業施設内の商品の視覚的記録をキャプチャするように構成された商品走査装置を備え、前記商品走査装置がさらに、カメラ、二次元ビデオカメラ、三次元ビデオカメラ、レーザーレンジファインダー、スキャナ、構造的光スキャナ、超音波スキャナ、ＲＡＤＡＲスキャナ、ＬＩＤＡＲスキャナおよびＲＦＩＤスキャナのうち少なくとも１つを含む、請求項７乃至１１に記載のシステム。
13. 商業施設をロボットで在庫管理する方法であって、
    商業施設内にロボットを配設し、前記ロボットは、移動台車と、ロボットの上部視野内の物体を検出するための上部センサと、ロボットの下部視野内の物体を検出するための下部センサと、ディスプレイと、商業施設内の商品の視覚的記録をキャプチャするように構成された商品走査装置と、前記移動台車、前記上部センサ、前記下部センサおよび前記商品走査装置と通信するロボットコンピュータを備え、
    商業施設内の商品の視覚的記録を商品走査装置でキャプチャし、
    商品の視覚的記録を処理して商業施設内の商品の在庫データを決定する、ことを含む方法。
14. さらに、決定された商品の量を、前記ロボットから遠隔に配置されたコンピューティングセンター内のデジタル在庫データベースと比較することによって商品の視覚的記録を処理して商業施設内の商品の在庫データを決定し、
    前記商業施設内の商品を、前記ロボットによって担持されたカメラ、二次元ビデオカメラ、三次元ビデオカメラ、レーザーレンジファインダー、スキャナ、構造的光スキャナ、超音波スキャナ、ＲＡＤＡＲスキャナ、ＬＩＤＡＲスキャナおよびＲＦＩＤスキャナのうち少なくとも１つで走査することによって前記商品走査装置で前記商業施設内の商品の視覚的記録をキャプチャし、前記ロボットは前記商業施設で移動する、
    ことのうち少なくとも１つを含む請求項１３に記載の方法。
15. 前記ロボットは前記商品の視覚的記録それぞれがキャプチャされる場所に対応する前記商業施設内の位置を記録する、請求項１４に記載の方法。

Images