JP2020500385A - 人間追跡ロボット - Google Patents

Abstract

ロボット、方法、およびコンピュータプログラム製品、方法は、少なくとも２次元の点の集まりを受信することと、少なくとも１つの物体を決定するために距離によって点をセグメント化することと、少なくとも１つの物体を追跡することと、少なくとも２つの物体が、第１の閾値を超えていないサイズであること、および第２の閾値を超えていない距離に存在することを条件として、少なくとも２つの物体をマージすることと、少なくとも１つの物体と関連付けられる人間の姿勢を分類することとを含む。【選択図】図１Ａ

Description

本開示は、ロボット工学の分野に関する。

環境の中でデバイスを用いて人間を自動的に追跡する、または案内することは、複雑なタスクである。人間を継続的に識別して、その人間を追跡または案内する妨げとなり得る多様な静的物体または動的物体が存在する屋内または別の環境では、タスクが特に複雑になる。

「識別する」という用語は、特に記述がない限り、本明細書では、画像、深度情報、サーマルイメージなどを含むがこれらに限定されず、獲得された情報を基に一定期間にわたって人間などの特定の物体を検出することに関して使用される。識別という用語は、必ずしも、物体を具体的な正体に関連付けるものではなく、むしろ、時間内に連続点で検出された物体が、同じ物体であると決定することに関わるものである。

「追跡する」という用語は、特に記述がない限り、本明細書では、追尾すること、案内すること、追跡すること、指示すること、その他、人間などの物体が取る経路に関連して使用される。

関連技術の前述の例、およびそれと関連する制限は、例証的であり、排他的ではないことが意図される。関連技術の他の制限は、本明細書を読んで、図面を検討することで当業者には明らかになろう。

本開示の主題の１つの例示的実施形態は、２次元またはそれより高次元の点の集まりを条件として、ロボットの環境において物体を示す点をキャプチャするためのセンサと、少なくとも２次元の点の集まりを受信するステップ、少なくとも１つの物体を決定するために距離によって点をセグメント化するステップ、少なくとも１つの物体を追跡するステップ、２つまたはそれ以上の物体が、第１の閾値を超えていないサイズであること、および第２の閾値を超えていない距離に存在することを条件として、少なくとも２つの物体をマージするステップ、および少なくとも１つの物体と関連付けられる人間の姿勢を分類するステップを行うように適合されたプロセッサと、ステアリング機構、または人間の姿勢によってロボットの位置を変更する機構と、ステアリング機構を作動させるためのモータとを備えるロボットである。

本開示の主題の別の例示的実施形態は、２次元またはそれより高次元の点の集まりを受信することと、１つまたは複数の物体を決定するために距離によって点をセグメント化することと、物体を追跡することと、物体が、第１の閾値を超えていないサイズであること、および第２の閾値を超えていない距離に存在することを条件として、複数の物体を単一の物体にマージすることと、単一の物体と関連付けられる人間の姿勢を分類することとを含む、屋内環境において人間を検出するための方法である。方法は、一連の範囲および角度対を受信することと、各範囲および角度対を２次元空間の点に変換することとをさらに含む場合もある。方法の中で、点をセグメント化することは、２つの連続点間の距離が、閾値を超えていないことを条件として、２つの連続点が１つの物体に属していると決定することと、物体毎に最小外接長方形を決定することと、物体毎に調整された外接長方形を獲得するために最小外接長方形を調整することとを任意選択で含む。方法の中で、物体を追跡することは、新たな物体、静的物体、または動的物体を決定するために、調整された外接長方形を、以前に決定されて調整された外接長方形と比較することを任意選択で含み、動的物体は、少なくとも１つの物体および以前の物体が、実質的に同じサイズであるが、異なる方位または異なる場所に存在することを条件として、決定される。方法の中で、人間の姿勢を分類することは、人間の場所を受信することと、その場所から始めて、隣接する画素まで及ぶ深度画像を処理することであって、多くても第３の所定の閾値内の深度情報差を有する画素が、１つのセグメントと関連付けられる、深度画像を処理することと、１つのセグメントの多重的な区域用の垂直軸上の勾配を決定することと、物体の下部と上部との間での勾配差が、少なくとも第４の所定の閾値内であること、または物体が、実質的に垂直ではないことを条件として、人間が座っていると決定することと、物体の高さが第５の所定の閾値を超えていないこと、および物体の幅が、第６の所定の閾値を超えていることを条件として、人間が横になっていると決定することと、物体の高さが、第５の所定の閾値を超えていないこと、および勾配が、実質的に均一であることを条件として、人間が立っていると決定することとを任意選択で含む。方法は、垂直軸上の勾配によって各セグメントをサブセグメント化することをさらに含む可能性がある。方法は、最新の所定の決定回数の中で最も頻繁に起こる姿勢を決定することによって人の姿勢を平滑化することをさらに含む可能性がある。方法は、人間の場所および姿勢によってデバイスの位置を調整することをさらに含む可能性がある。方法の中で、デバイスの位置を調整することは、デバイスの場所を変更することと、そのデバイスまたはその一部の高さを変更することと、そのデバイスまたはその一部の方位を変更することとで構成される群から選択された行動を行うことを任意選択で含む。方法の中で、デバイスの位置を調整することは、人間を追尾することと、人間を案内することと、前にいて人間を進ませることとで構成される群から選択された行動を起こすために任意選択で行われる。

本開示の主題のさらに別の例示的実施形態は、非一時的コンピュータ可読媒体と、少なくとも２次元の点の集まりを受信するための第１のプログラム命令と、少なくとも１つの物体を決定するために距離によって点をセグメント化するための第２のプログラム命令と、少なくとも１つの物体を追跡するための第３のプログラム命令と、少なくとも２つの物体が、第１の閾値を超えていないサイズであること、および第２の閾値を超えていない距離に存在することを条件として、少なくとも２つの物体をマージするための第４のプログラム命令と、少なくとも１つの物体と関連付けられる人間の姿勢を分類するための第５のプログラム命令とを備え、前記第１、第２、第３、第４、および第５のプログラム命令が、前記非一時的コンピュータ可読媒体上に記憶されるコンピュータプログラム製品である。コンピュータプログラム製品は、前記非一時的コンピュータ可読媒体上に記憶されたプログラム命令をさらに含む場合があり、プログラム命令は、一連の範囲および角度対を受信するためのプログラム命令と、各範囲および角度対を２次元空間の点に変換するためのプログラム命令とを含む。コンピュータプログラム製品の中で、第２のプログラム命令は、２つの連続点間の距離が、閾値を超えていないことを条件として、２つの連続点が、１つの物体に属していると決定するためのプログラム命令と、物体毎に最小外接長方形を決定するためのプログラム命令と、物体毎に調整された外接長方形を獲得するために、最小外接長方形を調整するためのプログラム命令とを任意選択で備える。コンピュータプログラム製品の中で、第３のプログラム命令は、新たな物体、静的物体、または動的物体を決定するために、調整された外接長方形を以前に決定された調整された外接長方形と比較するためのプログラム命令を任意選択で備え、動的物体は、少なくとも１つの物体および以前の物体が、実質的に同じサイズであるが、異なる方位または異なる場所に存在することを条件として、決定される。コンピュータプログラム製品の中で、第５のプログラム命令は、人間の場所を受信するためのプログラム命令と、その場所から始めて、隣接する画素まで及ぶ深度画像を処理するためのプログラム命令であって、多くても第３の所定の閾値内の深度情報差を有する画素が、１つのセグメントと関連付けられる、深度画像を処理するためのプログラム命令と、１つのセグメントの多重的な区域用の垂直軸上の勾配を決定するためのプログラム命令と、物体の下部と上部との間での勾配差が、少なくとも第４の所定の閾値内であること、または物体が、実質的に垂直ではないことを条件として、人間が座っていると決定するためのプログラム命令と、物体の高さが、第５の所定の閾値を超えていないこと、および物体の幅が、第６の所定の閾値を超えていることを条件として、人間が横になっていると決定するためのプログラム命令と、物体の高さが、第５の所定の閾値を超えていないこと、および勾配が実質的に均一であることを条件として、人間が立っていると決定するためのプログラム命令とを任意選択で備える。コンピュータプログラム製品は、垂直軸上の勾配によって各セグメントをサブセグメント化するための、前記非一時的コンピュータ可読媒体上に記憶されるプログラム命令をさらに備える場合がある。コンピュータプログラム製品は、最新の所定の決定回数の中で最も頻繁に起きる姿勢を決定することによって、人の姿勢を平滑化するための、前記非一時的コンピュータ可読媒体上に記憶されるプログラム命令をさらに備える場合がある。コンピュータプログラム製品は、人間の場所および姿勢によってデバイスの位置を調整するための、前記非一時的コンピュータ可読媒体上に記憶されるプログラム命令をさらに備える場合がある。コンピュータプログラム製品の中で、デバイスの位置を調整するためのプログラム命令は、デバイスの場所を変更することと、デバイスまたはその一部の高さを変更することと、デバイスまたはその一部の方位を変更することとで構成される群から選択された行動を行うためのさらなるプログラム命令を備える場合がある。コンピュータプログラム製品の中で、デバイスの位置を調整するためのプログラム命令は、人間を追尾することと、人間を案内することと、前にいて人間を進ませることとで構成される群から選択された行動を起こすために任意選択で実行される。

本開示の主題は、対応するまたは類似の数字または文字が、対応するまたは類似の構成要素を表している図面に関連させながら下記の詳細な説明を読むことでより十分に理解されて認識されるであろう。特に明記しない限り、図面は、本開示の例示的実施形態または態様を提供しており、本開示の範囲を限定するものではない。

本開示の主題の例によって使用され得る、環境の中の人間、ペット、または別の動的物体を識別、追跡、および案内するためのデバイスの概略図を示す。 本開示の主題の例によって使用され得る、環境の中の人間、ペット、または別の動的物体を識別、追跡、および案内するためのデバイスの別の概略図を示す。 本開示の主題の例による、図１Ａまたは図１Ｂの追跡デバイスの機能ブロック図を示す。 本開示の主題の例による、環境の中の物体を検出して追跡するために実行される動作の流れ図である。 本開示の主題の例による、点をセグメント化するために実行される動作の流れ図である。 本開示の主題の例による、物体を追跡するために実行される動作の流れ図である。 本開示の主題の例による、人間の姿勢を分類するために実行される動作の流れ図である。 本開示の主題の例による、立っている人および座っている人の深度画像を示す。 本開示の主題の例による、物体を表現する外接長方形および物体の算出深度勾配のいくつかの例を示す。

本開示の主題によって扱われる１つの技術的問題は、人間などの物体を識別して、追跡するための方法およびデバイスの必要性に関する。そのような方法およびデバイスは、歩行器として機能する、人を追尾する、モバイルトレイまたはモバイルコンピュータ化ディスプレイデバイスを提供する、人を目的地に案内する、前にいて目的地まで人間を進ませるまたは後ろにいて目的地まで人を追尾するなどの、多様な目的に使用することができる。上述の目的は、排他的ではなく、デバイスは、人を案内することも行う、歩行器およびモバイルトレイなどの複数の目的で同時に使用され得ることを理解されたい。そのようなデバイスは、他の目的で使用され得ることを理解されたい。環境、特に、他にも動く人がいる環境を含む、複数の物体が存在する環境の中で一人の人を識別して追跡することは、困難なタスクであることが知られている。

本開示の主題によって扱われる別の技術的問題は、人をキャプチャする、または他の方法で感知するための、モバイルキャプチャデバイスまたはセンサ、およびモバイルコンピューティングプラットフォームを使用することで、リアルタイムまたはほぼリアルタイムに人を識別して追跡する必要性に関する。デバイスに要求される可動性および他の要件は、処理能力または他の制限を課す。例えば、高リソース消費の画像処理タスクは、このような条件下では行うことができず、大出力を必要とするプロセッサは、モバイルデバイス上などで、長時間にわたって動作することができない。

１つの技術的解決策は、検出された物体の座標を描写する２次元または３次元の点の集まりから、人を識別して追跡するための方法に関する。追跡は、追跡デバイスが人に近接して前進することによって行われる場合もある。点は、例えば、追跡デバイス上に位置する回転レーザ送信器／受信器から一連の角度および距離対を受信し、この情報を２次元点または３次元点に変換することによって、獲得され得る。それぞれのそのような対は、物体が、特定の角度で見つかる距離を示す。情報は、１度毎に、０．５度毎などに、レーザ送信器／受信器から受信され、レーザ送信器／受信器は、０．１秒毎に、またはさらに短い時間毎に３６０度回転を完了させることができる。

次いで、変換された点は、任意の２つの連続点、すなわち、レーザ送信器／受信器から受信された２つの連続的な読み取り値から獲得された点の間の差によって、セグメント化され得る。

次いで、外接長方形は、そのようなセグメント毎に画定されることができ、レーザ送信器／受信器の以前のサイクルの間に決定された外接長方形と比較され得る。以前に決定された物体に対応するように識別された物体は、経時的に識別され得る。

比較に基づき、物体は、マージおよび分割され得る。さらに、２つのセグメントが、比較的小さく、比較的互いに近くにある場合、それらは、例えば人の脚の場合など、単一の物体として考えられ得る。

別の技術的解決策は、場所が分かったら、人間の姿勢、例えば、人が座っている、立っている、それとも横になっているかどうかを決定することに関する。位置を決定することは、例えば深度カメラから獲得された深度情報を基に算出されるように、垂直軸に沿って物体を作り出す画素の深度の勾配に基づいて行われ得る。

人の場所と位置が決定されると、デバイスは、追尾する、案内する、または前にいて人間を進ませるなどの、人に対して要求される機能を提供するように、人の場所および姿勢よって、場所、高さ、または方位を変更するなどの行動を起こすことができる。

本開示の主題の１つの技術的効果は、人を追尾するまたは人を案内することができる自律的デバイスを提供することである。デバイスは、人にとって役立つように、例えば、人が自律的デバイスのトレイに容易に届くこと、自律的デバイスのディスプレイデバイス上に表示された内容を見ることなどができるように、高さまたは方位をさらに調整することができる。

次に、人を識別、追跡、または案内するための自律的デバイスの概略図を示す図１Ａおよび図１Ｂと、同デバイスの機能ブロック図を示す図２とを参照する。

図１Ａは、人が、デバイスと物理的に接触せずに、人を識別、追跡、案内する、一般的な参照番号１００のデバイスを示す。図１Ｂは、人を識別、追跡、および案内するデバイス１００を示し、人が、デバイス１００のハンドル１１６を保持している。

ハンドル１１６は、例えば、デバイス１００が人を案内している目的地まで、物品を運ぶために、人が使用できるトレイと置き換えること、またはトレイと連結することができることを理解されたい。

デバイス１００は、底部１０４に位置付けられ、１つまたは複数の車輪、または１つまたは複数のベアリング、チェーン、または移動するための任意の他の機構を含む場合があるステアリング機構２００を備える。デバイス１００は、ステアリング機構２００を作動させるためのモータ２０４、および必要とされる動きに従ってモータ２０４にコマンドを提供するためのモータ制御装置２０８をさらに備える場合がある。

デバイス１００は、レーザ受信器／送信器、ＲＧＢデータまたは深度データを提供することができるカメラ、またはマイクロホンなどの付加的なデバイスなどの１つまたは複数のセンサまたはキャプチャデバイス１０８をさらに含む場合がある。

レーザ受信器／送信器は、回転し、物体に命中する距離で、角度毎に、またはデバイス１００の周囲のほとんどの角度でレーザ光線を提供することができる。レーザ受信器／送信器は、１度毎に、０．５度毎などに読み取り値を提供することができる。

デバイス１００は、トレイ１１６、ディスプレイデバイス１１２などの有用な部材２１２をさらに含む場合もある。

ディスプレイデバイス１１２は、他の人をユーザに表示することができ、それにより、人間のインストラクタが、ユーザを案内しているまたは追尾しているという感覚、警告、娯楽情報、運ぶ品物などの必要な情報、または任意の他の情報を与える。有用な部材２１２は、音声を再生するまたはストリーミングするためのスピーカ、バスケットなどをさらに備えることができる。

デバイス１００は、データ、または以下に詳述される方法のステップのいずれかに関連付けられる動作をデバイス１００に行わせるように作動するプログラムコードを記憶するための１つまたは複数のコンピュータ記憶デバイス２１６をさらに含むことができる。記憶デバイス２１６は、永続的または揮発性であり得る。例えば、記憶デバイス２１６は、フラッシュディスク、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、メモリチップ、ＣＤ、ＤＶＤ、またはレーザディスクなどの光学的記憶デバイス；テープ、ハードディスク、ストレージエリアネットワーク（ＳＡＮ：ｓｔｏｒａｇｅ ａｒｅａ ｎｅｔｗｏｒｋ）、ネットワークアタッチストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）他などの磁気記憶デバイス；フラッシュデバイス、メモリスティック等の半導体記憶デバイスであり得る。

本開示の主題のいくつかの例示的実施形態では、デバイス１００は、コマンドを受信する、命令を表示するなどの、デバイス１００から入力を受信し、デバイス１００へ出力を提供するのに利用され得る、１つまたは複数の入力／出力（Ｉ／Ｏ：Ｉｎｐｕｔ／Ｏｕｔｐｕｔ）デバイス２２０を備える場合がある。Ｉ／Ｏデバイス２２０は、ディスプレイ１１２、スピーカ、マイクロホン、タッチスクリーン他などの、以前に述べた部材を含む場合がある。

いくつかの例示的実施形態では、デバイス１００は、１つまたは複数のプロセッサ２２４を備えることができる。プロセッサ２２４のそれぞれは、中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロプロセッサ、電子回路、集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などであり得る。あるいは、プロセッサ２２４は、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）またはマイクロコントローラなどの特定のプロセッサ用にプログラムされた、またはそこへ移植されたファームウェアとして実施されることができる、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）または特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）などのハードウェアもしくは構成可能なハードウェアとして実施されることができる。

いくつかの実施形態では、１つまたは複数のプロセッサ２２４が、デバイス１００から遠隔に位置付けられる場合があり、演算のいくつかまたは全てが、デバイスから遠隔のプラットホームによって行われて、結果が、通信チャネルを介してデバイス１００に伝送される。

プロセッサ２２４は、限定的ではないが記憶デバイス２１６などの、非一時的コンピュータ可読記憶媒体上で実施されるコンピュータ可読命令によっていくつかの機能モジュールを実行するように構成され得ることを理解されたい。そのような機能モジュールは、プロセッサの中に備えられるものとして下文で言及される。

以下に詳述される構成要素は、例えばプロセッサ２２４によって、または別のプロセッサによって実行される相関したコンピュータ命令の１つまたは複数のセットとして実装することができる。構成要素は、任意のプログラミング言語でプログラムされた、そして任意のコンピューティング環境の下で、１つまたは複数の実行可能ファイル、動的ライブラリ、静的ライブラリ、方法、機能、サービスなどとして配置されることができる。

プロセッサ２２４は、例えば、レーザ送信器／受信器から獲得された一連の角度および距離対に基づいて決定された、連続点の集まりを受信して、それらを物体にセグメント化するための点セグメント化モジュール２２８を備えることができる。

プロセッサ２２４は、経時的に点セグメント化モジュール２２８によって獲得された物体を追跡して、例えば、以前には一方が他方の後方に存在した、２人の人物を区別すること、または１人の人と１つの家具とを区別すること、２本の脚が１人の人間のものであると識別することなど、物体がマージされたのか、それとも分割されたのかを決定するための、物体追跡およびマージ／分割モジュール２３２を備えることができる。

プロセッサ２２４は、点セグメント化モジュール２２８によって決定された物体および特に人間の姿勢を決定するための姿勢分類モジュール２３６を備えることができる。

プロセッサ２２４は、デバイス１００によって起こされる行動、例えば、人間のユーザの場所に応じて別の場所に移動する、トレイ１１６またはディスプレイ１１２などのデバイスまたはその一部の高さを変更する、ビデオまたはオーディオストリームを再生するなどを決定するための、行動決定モジュール２４０を備えることができる。

次に、環境の中で物体を検出して追跡するために実行される動作の流れ図を示す図３を参照する。

段階３００では、１つまたは複数の物体が、検出されて、追跡される。段階３００は、例えば２次元の点座標を受信するための段階３１２を含む場合がある。点は、レーザ送信器／受信器から得られた角度および距離の連続的な対を受信し、それらを平面に投射することによって、獲得され得る。通常、連続点は、連続した角度で獲得されるが、これは、必須でないことを理解されたい。

段階３００は、物体を決定するために、連続点間の距離によって、点をセグメント化するための点セグメント化段階３１６をさらに含む場合がある。

次に、点をセグメント化するために実行される動作の流れ図を示し、したがって、点セグメント化段階３１６を詳述する図４Ａを参照する。

点セグメント化段階３１６は、２つの連続点間の距離を決定するための距離決定段階４０４を備える場合がある。距離は、平面上のユークリッド距離として決定されることができる。

点セグメント化段階３１６では、段階４０４上で決定される２つの連続点間の距離が、閾値を下回る場合には、点は同じ物体に属していると決定され得る。距離が、閾値を超える場合には、点は異なる物体と関連付けられる。

非限定的な例では、閾値は、後続の数式によって設定され得る：
ｔａｎ（２つの連続点間の角度差）^＊Ｒａｎｇｅ（ｍ）＋Ｃ、上式において、角度差は、例えば、１度であってもよく、ｒａｎｇｅ（範囲）（ｍ）は、ロボットと物体との間の距離で、例えば１メートルであってもよく、Ｃは、丸め誤差などの誤りを平滑化するために意図された、例えば、０．１などの、０．０１と１との間の小定数である。したがって、１メートルの範囲、１メートルの角度差、０．０５の定数では、計算は、ｔａｎ（１）^＊１＋０．０５＝０．０６７となる。したがって、ＸＹ空間の中の２つの点の間の距離が、０．０６７ｍを下回る場合、点は、同じ物体の部分として考えられ、そうでない場合、それらは２つの別個の物体に分割される。

外接長方形決定段階４１２では、物体毎にその物体と関連付けられる全ての点を含む、外接長方形が決定されることができる。外接長方形は、例えば全ての点を含む最小長方形のように、できるだけ小さくなければならない。

外接長方形調整段階４１６では、段階４１２で決定された外接長方形は、長方形をレーザ送信器／受信器座標系から地球地図座標系に変換するために、レーザ送信器／受信器の位置および方位についての位置確認情報によって調整されることができる。

次に図５Ａおよび図５Ｂを参照すると、図５Ａは、立っている人の深度画像５００および深度カメラを向いて座っている人の深度画像５０２を示す。図５Ｂの物体５０４および５０６は、画像５００および５０２の外接長方形をそれぞれ表示している。

上で詳述された図４Ａの段階は、上で開示された点セグメント化モジュール２２８によって行われてもよい。段階は、３６０°の全サイクル（またはレーザ送信器／受信器が３６０°回転しない場合には、それより少ない）毎に繰り返され得ることを理解されたい。

ここで再び図３を参照すると、物体検出および追跡段階３００は、物体追跡段階３２０をさらに含む場合がある。

次に物体追跡段階３２０を詳述する図４Ｂを参照する。物体追跡段階３２０は、現在のサイクルで決定された長方形のそれぞれは、以前のサイクルで決定された全ての長方形に対して比較される、比較段階４２０を含む場合がある。

現在のサイクルでの長方形および以前のサイクルでの長方形が、同じ、または実質的に同じである場合、関連付けられる物体は、静的物体と考えられ得る。２つの長方形が、実質的に同じサイズであるが、方位が異なる場合、または場所または方位は変化しているが、サイズは同じままである場合には、それらは、動的な同じ物体と考えられ得る。長方形が、これらの判定基準のいずれも満たさない場合、それらは別のものである。以前のサイクルの長方形と適合しない長方形は、新たな物体と考えられる。

上述された図４Ｂの段階は、上で開示された物体追跡およびマージ／分割構成要素２３２によって、行われてもよい。

ここで再び図３を参照すると、物体検出および追跡段階３００は、物体マージ段階３２４をさらに含む場合がある。物体マージ段階３２４では、比較的に小さく、互いに近い物体、例えば最大約２０ｃｍおよび最大約４０ｃｍ離れている物体は、同じ物体と考えられ得る。この状況は、例えば、あるサイクルでは離れていて、他のサイクルでは互いに隣接しており、したがって、１つの物体と考えられ得る、人間の２本の脚に関する場合がある。他の物体から分割する物体は、新たな物体として認識されることを理解されたい。

段階３２８では、物体特徴は、物体識別子を最新のサイズ、場所、方位などと関連付けるなどして、更新され得る。

以下に詳説されるように実行された複数の実験では、驚くべき結果が、達成された。実験は、速度が１．３ｍ／秒のロボットを用いて実行された。レーザ送信器／受信器は、６Ｈｚで作動して、１度毎にサンプルを提供し、したがって、毎秒６^＊３６０＝２１６０サンプルを提供する。動的物体は、失敗なく、検出されて追跡された。

物体が識別されて、追跡された後、１つまたは複数の物体の姿勢は、段階３０４で分類されることができる。姿勢分類段階３０４は、少なくとも所定のサイズの物体、動的物体だけ、場面毎に１つまたは２つなどの、多くても所定数の物体などの、特定の物体で行われる可能性があることを理解されたい。

次に、姿勢分類段階３０４を詳述する図４Ｃを参照する。

姿勢分類段階３０４は、人間であると推定される物体の場所が受信される、場所受信段階４２４を含む場合がある。場所は、絶対座標などの、デバイス１００と相対的な座標で受信され得る。

姿勢分類段階３０４は、深度画像受信および処理段階４２８を含む場合があり、画像は、例えば、デバイス１００上に、または任意の他の場所に載置された深度カメラから受信され得る。深度画像は、画像内の画素毎の深度表示を備える場合がある。処理は、深度に基づいて画像をセグメント化することを含む場合がある。例えば、２つの隣接する画素が、所定の閾値を超えた深度差を有する場合、画素は、異なる物体に属していると考えられることができ、一方で、深度が、同じまたは十分に近い、例えば、差が所定の値を下回る場合、点は、同じ物体に属していると考えられることができる。画像の範囲内の画素は、下から上または任意の他の順序でセグメント化され得る。

姿勢分類段階３０４は、それぞれの見つかった物体の点毎に、垂直軸に沿って深度情報の勾配を計算し、決定された勾配によって物体をサブセグメント化するための段階４３２を含む場合がある。

次に、立っている人の深度画像５００および座っている人の深度画像５０２と、外接長方形５０４、５０６、５０８、および５１２の例とを示す、図５Ａおよび図５Ｂを再び参照すると、物体５０４は、深度画像５００の外接長方形を表しており、物体５０６は、深度画像５０２の外接長方形を表している。深度情報に基づいてセグメント化された物体は、必ずしも長方形であるわけではなく、図５Ｂの物体は、単なる便宜上の理由で長方形として示されていることを理解されたい。

姿勢分類段階３０４は、物体の下部および上部での勾配が、大幅に異なっているかどうかが決定され得る段階４３６を含む場合がある。勾配が異なっている、例えば、差が所定の閾値を超えている、または物体が、一般的には直線に沿っていないと決定される場合には、人間は、座っていると推論され得る。したがって、物体５０４として示される外接長方形の中では、全ての区域が、深度カメラに対して実質的に均一な距離にあるので、物体５０４には、大きな勾配変化がなく、人は、座っていないと決定される。

しかしながら、画像５０２の人の外接長方形５０６は、印が付けられているように、かなりの垂直勾配を示しているので、これは、下部が、上部よりもカメラに近いことを示しており、したがって、人が、カメラを向いて座っている可能性があると決定される。

段階４４０では、物体の高さが、決定されることができ、それが、例えば約１ｍまたは別の所定の高さ未満であるなど、低い場合、そして、物体の幅が、例えば５０ｃｍより広い場合には、人間が、横たわっていると推論され得る。

段階４４４では、物体の高さが、例えば１ｍを上回るなど、高い場合、そして、深度勾配が、実質的に物体上でゼロである場合には、人間が、立っていると推論され得る。

上で詳述されたような図４Ｃの段階は、上で開示された姿勢分類モジュール２３６によって行われてもよい。

次に再び図３を参照すると、物体が追跡されて、位置が分類されると、デバイスの位置は、段階３０８で変更され得る。位置変更により、デバイス１００の場所、デバイスまたはその一部の高さまたは方位が調整される場合があり、特定の適用または使用によって決まり得る。

例えば、場所変更段階３３２では、デバイス１００は、場所を変更する場合がある。配備モードによる。例えば、デバイスは、人間の前進方向と反対方向に、人間から所定の距離だけ離れた場所から、人間を追尾する場合がある。あるいは、デバイス１００は、例えば、所定の場所に到達するために、人間が進むべき方向に人間から所定の距離だけ離れた場所から、人間を案内する場合がある。さらには、デバイス１００は、例えば人間の前進方向に人間から所定の距離だけ離れた場所から、前にいて人間を案内する場合もある。

高さ変更段階３３６では、デバイス１００、またはトレイ１１６もしくはディスプレイ１１２などのその一部の高さは、それが、例えば立っている、座っている、または横になっているなどの姿勢によって決まり得る人間の高さに適合するように、調整されることができる。

方位変更段階３３６では、デバイス１００、またはトレイ１１６もしくはディスプレイ１１２などのその一部の方位は、例えば、人間が、トレイ１１６に触れる、ディスプレイ１１２を見るなどができるように回転することによって、調整されることができる。正しい方位を決定するために、人間の顔は、人間が前進している方向に向いていると推定され得る。

実験は、上で詳述されたように行われた。実験は、カメラから５０ｃｍから２．５ｍまでのさまざまな距離の、さまざまな位置で立っている、または５つの異なる椅子のどれかに座っている、１６０ｃｍから１９５ｃｍまでの範囲の身長の人々について行われた。姿勢分類は、事例の約９５％で成功した。

本明細書に使用される用語は、特定の実施形態を描写するためのものにすぎず、本開示を限定するものとは意図されない。本明細書で使用される場合には、単数形の「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈上、明確にそうでないと指示していない限り、複数形も含むことが意図される。用語「備える」および／または「備えている」は、本明細書で使用されるとき、明示された特徴、整数、ステップ、動作、要素、および／または構成要素が存在することを明記するものであるが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはその群の存在または追加を除外するものではないことをさらに理解されたい。

当業者には認識されるように、本開示の主題の部分は、システム、方法、またはコンピュータプログラム製品として具現化され得る。したがって、本開示の主題は、完全なるハードウェア実施形態、完全なるソフトウェア実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、または本明細書において、「回路」、「モジュール」、または「システム」と全て一般的に称される場合があるソフトウェアおよびハードウェア態様を結合した実施形態の形態をとることができる。そのうえ、本開示は、媒体の中に具現化されたコンピュータ使用可能プログラムコードを有する表現の任意の有形媒体の中に具現化されたコンピュータプログラム製品の形態をとる場合もある。

１つまたは複数のコンピュータ使用可能媒体またはコンピュータ可読媒体の任意の組合せを利用することができる。コンピュータ使用可能媒体またはコンピュータ可読媒体は、以下に限定するわけではないが、例えば、電子的、磁気的、光学的、電磁気的、赤外線の、または半導体のシステム、装置、デバイス、または伝搬媒体であってもよい。コンピュータ可読媒体のより具体的な例（網羅的ではない一覧）は、以下の通りである：１つまたは複数のワイヤを有する電気的接続、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読取専用メモリ（ＲＯＭ：ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙまたはフラッシュメモリ）、光ファイバ、ポータブルコンパクトディスク読取専用メモリ（ＣＤＲＯＭ：ｃｏｍｐａｃｔ ｄｉｓｃ ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ）、光学的記憶デバイス、インターネットまたはイントラネットを支援しているものなどの伝送媒体、または磁気的記憶デバイス。コンピュータ使用可能媒体またはコンピュータ可読媒体は、プログラムが、例えば、紙または他の媒体の光学的スキャンによって、電子的にキャプチャされて、次いで、コンパイルされ、解釈され、または、必要に応じて適切な様式で処理され、次いで、コンピュータメモリの中に記憶され得るように、その上にプログラムが印刷される紙または別の適切な媒体であってもよいことに留意されたい。本文書の文脈では、コンピュータ使用可能媒体またはコンピュータ可読媒体は、命令実行システム、装置、またはデバイスを用いた、またはそれらと接続したプログラムを含有する、記憶する、通信する、伝搬する、また移送することができる任意の媒体であってよい。コンピュータ使用可能媒体は、ベースバンド内の、または搬送波の一部として、それとともに具現化されたコンピュータ使用可能プログラムコードと共に伝搬されたデータ信号を含み得る。コンピュータ使用可能プログラムコードは、無線、有線、光ファイバケーブル、ＲＦなどを含むが、これらに限定されない任意の適切な媒体を使用して伝送され得る。

本開示のオペレーションを実行するためのコンピュータプログラムコードは、Ｊａｖａ（登録商標）、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または類似のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合せで書かれてもよい。プログラムコードは、全体をユーザのコンピュータ上で、独立型ソフトウェアパッケージとして一部をユーザのコンピュータ上で、一部をユーザのコンピュータ上で、一部を遠隔コンピュータ上で、または全体を遠隔コンピュータもしくはサーバ上で、実行してもよい。後者のシナリオでは、遠隔コンピュータは、ローカルエリアネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）または広域ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）を含む任意の種類のネットワークを通じてユーザのコンピュータに接続されてもよく、または接続は、外部コンピュータに（例えば、インターネットサービスプロバイダーを使用してインターネットを通して）つながれてもよい。

対応する構造、材料、動作、および下記の特許請求の範囲の中の全ての手段またはステッププラスファンクション要素の同等物は、明確に請求されるように他の請求された要素と組み合わせて機能を果たすための、任意の構造、材料、または動作を含むことが意図される。本開示の説明は、図解および説明のために提示されてきたが、開示の形態の本開示を網羅的にまたは限定されるようには意図されていない。当業者には、本開示の範囲および精神を逸脱しない範囲で、多くの修正および変更が明らかであろう。実施形態は、本開示の原理および実際の適用を最良に説明するために、そして別の当業者が、想定される特定の用途に適するようにさまざまな変更を有するさまざまな実施形態に関して本開示を理解することを可能にするために、選択されて記載された。

Claims (21)

1. 少なくとも２次元の点の集まりを条件として、ロボットの環境において物体を示す前記点をキャプチャするためのセンサと、
   少なくとも２次元の点の集まりを受信するステップ、
   少なくとも１つの物体を決定するために距離によって前記点をセグメント化するステップ、
   前記少なくとも１つの物体を追跡するステップ、
   少なくとも２つの物体が、第１の閾値を超えていないサイズであること、および第２の閾値を超えていない距離に存在することを条件として、前記少なくとも２つの物体を単一の物体にマージするステップ、および
   前記単一の物体と関連付けられる人間の姿勢を分類するステップ
   を行うように適合されたプロセッサと、
   ステアリング機構、または前記人間の前記姿勢によって前記ロボットの位置を変更する機構と、
   前記ステアリング機構を作動させるためのモータと
   を備える、ロボット。
2. 少なくとも２次元の点の集まりを受信することと、
   少なくとも１つの物体を決定するために距離によって前記点をセグメント化することと、
   前記少なくとも１つの物体を追跡することと、
   少なくとも２つの物体が、第１の閾値を超えていないサイズであること、および第２の閾値を超えていない距離に存在することを条件として、前記少なくとも２つの物体を単一の物体にマージすることと、
   前記単一の物体と関連付けられる人間の姿勢を分類することと
   を含む、屋内環境において人間を検出するための方法。
3. 一連の範囲および角度対を受信することと、
   各範囲および角度対を２次元空間の点に変換することと
   をさらに含む、請求項２に記載の方法。
4. 前記点をセグメント化することが、
   ２つの連続点間の距離が、閾値を超えていないことを条件として、前記２つの連続点が１つの物体に属していると決定することと、
   物体毎に最小外接長方形を決定することと、
   物体毎に調整された外接長方形を獲得するために前記最小外接長方形を調整することと
   を含む、請求項２に記載の方法。
5. 前記少なくとも１つの物体を追跡することが、
   新たな物体、静的物体、または動的物体を決定するために、前記調整された外接長方形を、以前に決定されて調整された外接長方形と比較することを含み、動的物体は、少なくとも１つの物体および以前の物体が、実質的に同じサイズであるが、異なる方位または異なる場所に存在することを条件として、決定される、請求項４に記載の方法。
6. 前記人間の前記姿勢を分類することが、
   人間の場所を受信することと、
   前記場所から始めて、隣接する画素まで及ぶ深度画像を処理することであって、多くても第３の所定の閾値内の深度情報差を有する画素が、１つのセグメントと関連付けられる、深度画像を処理することと、
   前記１つのセグメントの多重的な区域用の垂直軸上の勾配を決定することと、
   物体の下部と上部との間での前記勾配差が、少なくとも第４の所定の閾値内であること、または前記物体が、実質的に垂直ではないことを条件として、前記人間が座っていると決定することと、
   前記物体の高さが第５の所定の閾値を超えていないこと、および前記物体の幅が、第６の所定の閾値を超えていることを条件として、前記人間が横になっていると決定することと、
   前記物体の高さが、前記第５の所定の閾値を超えていないこと、および前記勾配が、実質的に均一であることを条件として、前記人間が立っていると決定することと
   を含む請求項２に記載の方法。
7. 前記垂直軸上の前記勾配によって各セグメントをサブセグメント化することをさらに含む、請求項６に記載の方法。
8. 最新の所定の決定回数の中で最も頻繁に起こる前記姿勢を決定することによって前記人の前記姿勢を平滑化することをさらに含む、請求項６に記載の方法。
9. 前記人間の場所および姿勢によってデバイスの位置を調整することをさらに含む、請求項２に記載の方法。
10. 前記デバイスの前記位置を調整することが、前記デバイスの場所を変更することと、前記デバイスまたはその一部の高さを変更することと、前記デバイスまたはその一部の方位を変更することとで構成される群から選択された行動を行うことを含む、請求項９に記載の方法。
11. 前記デバイスの前記位置を調整することが、前記人間を追尾することと、前記人間を案内することと、前にいて前記人間を進ませることとで構成される群から選択された行動を起こすために行われる、請求項９に記載の方法。
12. 非一時的コンピュータ可読媒体と、
    少なくとも２次元の点の集まりを受信するための第１のプログラム命令と、
    少なくとも１つの物体を決定するために距離によって前記点をセグメント化するための第２のプログラム命令と、
    前記少なくとも１つの物体を追跡するための第３のプログラム命令と、
    少なくとも２つの物体が、第１の閾値を超えていないサイズであること、および第２の閾値を超えていない距離に存在することを条件として、前記少なくとも２つの物体をマージするための第４のプログラム命令と、
    前記少なくとも１つの物体と関連付けられる人間の姿勢を分類するための第５のプログラム命令とを備え、
    前記第１、第２、第３、第４、および第５のプログラム命令が、前記非一時的コンピュータ可読媒体上に記憶される、コンピュータプログラム製品。
13. 前記非一時的コンピュータ可読媒体上に記憶されたプログラム命令をさらに備え、前記プログラム命令が、
    一連の範囲および角度対を受信するためのプログラム命令と、
    各範囲および角度対を２次元空間の点に変換するためのプログラム命令と
    を含む、請求項１２に記載のコンピュータプログラム製品。
14. 前記第２のプログラム命令が、
    ２つの連続点間の距離が、閾値を超えていないことを条件として、前記２つの連続点が、１つの物体に属していると決定するためのプログラム命令と、
    物体毎に最小外接長方形を決定するためのプログラム命令と、
    物体毎に調整された外接長方形を獲得するために、前記最小外接長方形を調整するためのプログラム命令と
    を備える、請求項１２に記載のコンピュータプログラム製品。
15. 前記第３のプログラム命令が、
    新たな物体、静的物体、または動的物体を決定するために、前記調整された外接長方形を以前に決定されて調整された外接長方形と比較するためのプログラム命令を備え、動的物体は、少なくとも１つの物体および以前の物体が、実質的に同じサイズであるが、異なる方位または異なる場所に存在することを条件として、決定される、請求項１４に記載のコンピュータプログラム製品。
16. 前記第５のプログラム命令が、
    人間の場所を受信するためのプログラム命令と、
    前記場所から始めて、隣接する画素まで及ぶ深度画像を処理するためのプログラム命令であって、多くても第３の所定の閾値内の深度情報差を有する画素が、１つのセグメントと関連付けられる、深度画像を処理するためのプログラム命令と、
    前記１つのセグメントの多重的な区域用の垂直軸上の勾配を決定するためのプログラム命令と、
    物体の下部と上部との間での前記勾配差が、少なくとも第４の所定の閾値内であること、または前記物体が、実質的に垂直ではないことを条件として、前記人間が座っていると決定するためのプログラム命令と、
    前記物体の高さが、第５の所定の閾値を超えていないこと、および前記物体の幅が、第６の所定の閾値を超えていることを条件として、前記人間が横になっていると決定するためのプログラム命令と、
    前記物体の高さが、前記第５の所定の閾値を超えていないこと、および前記勾配が実質的に均一であることを条件として、前記人間が立っていると決定するためのプログラム命令と
    を備える、請求項１２に記載のコンピュータプログラム製品。
17. 前記垂直軸上の前記勾配によって各セグメントをサブセグメント化するための、前記非一時的コンピュータ可読媒体上に記憶されるプログラム命令をさらに備える、請求項１６に記載のコンピュータプログラム製品。
18. 最新の所定の決定回数の中で最も頻繁に起きる前記姿勢を決定することによって、前記人の前記姿勢を平滑化するためのプログラム命令をさらに備える、請求項１６に記載のコンピュータプログラム製品。
19. 前記人間の場所および姿勢によってデバイスの位置を調整するためのプログラム命令をさらに備える、請求項１２に記載のコンピュータプログラム製品。
20. 前記デバイスの前記位置を調整するための前記プログラム命令が、前記デバイスの場所を変更することと、前記デバイスまたはその一部の高さを変更することと、前記デバイスまたはその一部の方位を変更することとで構成される群から選択された行動を行うためのさらなるプログラム命令を備える、請求項１９に記載のコンピュータプログラム製品。
21. 前記デバイスの前記位置を調整するための前記プログラム命令が、前記人間を追尾することと、前記人間を案内することと、前にいて前記人間を進ませることとで構成される群から選択された行動を起こすために実行される、請求項１９に記載のコンピュータプログラム製品。

Images