JP2023103345A - オブジェクト履歴関連付けにおけるシステムと方法 - Google Patents
オブジェクト履歴関連付けにおけるシステムと方法 Download PDFInfo
- Publication number
- JP2023103345A JP2023103345A JP2023077945A JP2023077945A JP2023103345A JP 2023103345 A JP2023103345 A JP 2023103345A JP 2023077945 A JP2023077945 A JP 2023077945A JP 2023077945 A JP2023077945 A JP 2023077945A JP 2023103345 A JP2023103345 A JP 2023103345A
- Authority
- JP
- Japan
- Prior art keywords
- dynamic
- history information
- association
- environment
- dynamic object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 230000007613 environmental effect Effects 0.000 claims description 47
- 230000003068 static effect Effects 0.000 claims description 41
- 230000002123 temporal effect Effects 0.000 claims description 31
- 230000027455 binding Effects 0.000 claims description 19
- 238000009739 binding Methods 0.000 claims description 19
- 230000008447 perception Effects 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000013480 data collection Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- OHVLMTFVQDZYHP-UHFFFAOYSA-N 1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-2-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]ethanone Chemical compound N1N=NC=2CN(CCC=21)C(CN1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)=O OHVLMTFVQDZYHP-UHFFFAOYSA-N 0.000 description 1
- KZEVSDGEBAJOTK-UHFFFAOYSA-N 1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-2-[5-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]-1,3,4-oxadiazol-2-yl]ethanone Chemical compound N1N=NC=2CN(CCC=21)C(CC=1OC(=NN=1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)=O KZEVSDGEBAJOTK-UHFFFAOYSA-N 0.000 description 1
- LDXJRKWFNNFDSA-UHFFFAOYSA-N 2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]ethanone Chemical compound C1CN(CC2=NNN=C21)CC(=O)N3CCN(CC3)C4=CN=C(N=C4)NCC5=CC(=CC=C5)OC(F)(F)F LDXJRKWFNNFDSA-UHFFFAOYSA-N 0.000 description 1
- VPSXHKGJZJCWLV-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]-3-(1-ethylpiperidin-4-yl)oxypyrazol-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C=1C(=NN(C=1)CC(=O)N1CC2=C(CC1)NN=N2)OC1CCN(CC1)CC VPSXHKGJZJCWLV-UHFFFAOYSA-N 0.000 description 1
- KNDAEDDIIQYRHY-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]-3-(piperazin-1-ylmethyl)pyrazol-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C=1C(=NN(C=1)CC(=O)N1CC2=C(CC1)NN=N2)CN1CCNCC1 KNDAEDDIIQYRHY-UHFFFAOYSA-N 0.000 description 1
- JQMFQLVAJGZSQS-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-N-(2-oxo-3H-1,3-benzoxazol-6-yl)acetamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)CC(=O)NC1=CC2=C(NC(O2)=O)C=C1 JQMFQLVAJGZSQS-UHFFFAOYSA-N 0.000 description 1
- JVKRKMWZYMKVTQ-UHFFFAOYSA-N 2-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]pyrazol-1-yl]-N-(2-oxo-3H-1,3-benzoxazol-6-yl)acetamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C=1C=NN(C=1)CC(=O)NC1=CC2=C(NC(O2)=O)C=C1 JVKRKMWZYMKVTQ-UHFFFAOYSA-N 0.000 description 1
- YLZOPXRUQYQQID-UHFFFAOYSA-N 3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]propan-1-one Chemical compound N1N=NC=2CN(CCC=21)CCC(=O)N1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F YLZOPXRUQYQQID-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 239000004480 active ingredient Substances 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 239000012925 reference material Substances 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- -1 weight Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】互いのオブジェクトと環境との関連付けに関連する。【解決手段】ここに記載される実施形態は、動的オブジェクト認識のための方法とシステムを開示する。認識処理からの場所と情報、動的オブジェクトに対する履歴データ、及び第2オブジェクトからの関連付けデータを用いて、より完全なデータセットが動的オブジェクトに対して生成される。動的オブジェクトのデータセットは、後の認識、動的オブジェクトのより完全で、人間並みの理解のために格納され、様々な自動のタスクに有益となる。【選択図】図2
Description
ここに記載される主題は、一般的には、動的オブジェクト認識に関連し、より詳細には、互いのオブジェクトと環境(environment)との関連付けに関連する。
近年、視界内のオブジェクトを特定して、認識し、及びこの判断に従って自動装置又は車両に指示する装置が、様々な分野において、生活の質及び安全性の両方を改善することを目的に提案されている。これらに装置は、一般的に、上記の特定及び認識を行うためのオブジェクト認識を用いる。オブジェクト認識は、一般的に、ビデオセグメント内の画像又は一連のフレーム内の所定のオブジェクトを捜すことに関連する。高い時間的相関関係を持つ時間的に接近した特徴が、一連のフレーム内で識別される。それぞれの連続するフレームは、オブジェクトの時間的に接近した表示を含む。
オブジェクト認識は、典型的には、抽出化の幾つかのレベルにおいてオブジェクトのモデルに基づく。「ビュー(view)」とも呼ばれるオブジェクト表示は、回転、動き/移動、明るさの変化、背景、ノイズ、その他のオブジェクトの出現、オブジェクトの部分的遮断/遮断解除など、様々なオブジェクトの変化によりフレームからフレームに変化することになる。そして、オブジェクト表示は、オブジェクトクラス(例えば、自動推進、履物など)、オブジェクトタイプ(小型の低価格車、ランニングブーツなど)の一方又は両方を特定するため、既知のモデル又は特徴と比較される。このモデルは、モデルと同一のレベルで抽出されたオブジェクト表示とマッチングされる。
しかし、オブジェクト認識の現在の方法は、それらが提供できる情報に限定される。新たなオブジェクトが環境に入る場合、検出は、通常、上記のオブジェクト認識に限定され、同じクラス及びタイプの個別のオブジェクト、オブジェクトの履歴又はオブジェクトがどの様に現在位置に到達したかに関する情報を全くか殆ど持たない。自動装置及び車両に対する必然的な目標が、適任の人間オペレータが行うものと同様又はより良く行うことであるため、個々のオブジェクト及びそれらの間の関連付けに関する情報は有益である。
ここに記載されるシステムと方法は、オブジェクトに関連する追加の情報を決定するために、オブジェクト及び場所に関連する履歴データを使用する。1つの実施形態において、環境内のオブジェクトを関連付けるための関連付けシステムが開示される。関連付けシステムは、1つ以上のプロセッサと、前記1つ以上のプロセッサに通信可能に接続されるメモリと、を含む。前記メモリは、前記1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を取得させ、前記環境の前記1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産を認識させる命令を含むオブジェクト認識モジュールを格納できる。前記環境資産は少なくとも1つの第2オブジェクトを含む。前記メモリは、前記1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも1つの動的オブジェクトを識別させる命令を含む事例識別モジュールを更に格納できる。前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識を含む。前記メモリは、前記1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、オブジェクト履歴情報の前記データベースを用いて、前記少なくとも1つの動的オブジェクトの前記少なくとも1つの以前の認識と前記少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別させ、自動装置を用いて、前記1つ以上の関連付けに基づいて、前記少なくとも1つの動的オブジェクトに関連するタスクを実行させる命令を含む関連付けモジュールを更に格納できる。
その他の実施形態において、環境内のオブジェクトを関連付けるための非一時的コンピュータ読み取り可能媒体が開示される。前記媒体は、1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、少なくとも1つの画像キャプチャ装置を用いて、前記環境の1つ以上の画像を取得させる命令を格納できる。前記命令は、更に前記プロセッサに、前記環境の前記1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産を認識させる。前記環境資産は少なくとも1つの第2オブジェクトを含む。前記命令は、更に前記プロセッサに、前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも1つの動的オブジェクトを識別させる。前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識を含む。前記命令は、更に前記プロセッサに、オブジェクト履歴情報の前記データベースを用いて、前記少なくとも1つの動的オブジェクトの前記少なくとも1つの以前の認識と前記少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別させる。前記命令は、更に前記プロセッサに、自動装置を用いて、前記1つ以上の関連付けに基づいて、前記少なくとも1つの動的オブジェクトに関連するタスクを実行させる。
その他の実施形態において、オブジェクト認識に対する方法が開示される。方法は、少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を取得するステップを含むことができる。前記方法は、前記環境の前記1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産を認識するステップを更に含むことができる。前記環境資産は少なくとも1つの第2オブジェクトを含む。前記方法は、前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも1つの動的オブジェクトを識別するステップを更に含むことができる。前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識を含む。前記方法は、オブジェクト履歴情報の前記データベースを用いて、前記少なくとも1つの動的オブジェクトの前記少なくとも1つの以前の認識と前記少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別するステップを更に含むことができる。前記方法は、自動装置を用いて、前記1つ以上の関連付けに基づいて、前記少なくとも1つの動的オブジェクトに関連するタスクを実行するステップを更に含むことができる。
本開示の上記した特徴が詳細に理解できる方法、本開示のより詳細な記載、簡潔に要約された上記載を、実施形態を参照して得ることができるように、実施形態の幾つかは添付する図面において図示される。しかし、注意すべきこととして、添付する図面は、本開示の典型的な実施形態のみを図示しており、このため、その範囲を限定するものと考えるべきではない。本開示は、その他の同等に有効な実施形態を許容できる。
理解を容易にするため、可能な限り、図において共通する同一の要素を示すために同一の参照番号が使用される。更に、1つの実施形態の要素は、ここに記載されるその他の実施形態における利用に対して有利に適応することができる。
ここに開示される実施形態は、動的オブジェクトに関連する更なる情報を決定するため、動的オブジェクト、第2オブジェクト、それらの場所又は組合せとデータを関連付けるために使用されるシステム及び方法を記載する。システム及び方法は、部屋の高レベルビューを特定するため、例えば、部屋の天井に配置される1つ以上の画像キャプチャ装置(例えば、カメラ)を含むことができる。画像キャプチャ装置は、コンピューティング装置と連結して、環境内で予想されるものの履歴情報を作り上げるために使用できる。環境内で予想されるものは、1つ以上の静的オブジェクト及び1つ以上の構造的特徴を含む。ここに記載されるシステム及び方法は、特定範囲の履歴を追跡するために使用できる。例えば、画像キャプチャ装置が台所又は寝室に置かれる場合、画像キャプチャ装置及びコンピューティング装置は、多くの追加情報を知ることができ、オブジェクトは何か、及びその源(source)は何か(例えば、オブジェクトが属するところの人)を絞り込むことができる。画像キャプチャ装置がブーツを脱いでいる人物を観察する場合、ブーツ及び人物は、環境内で新たなオブジェクト(例えば、それぞれ、動的オブジェクト及び第2オブジェクト)となり得る。コンピューティング装置は、動的オブジェクト(例えば、ブーツ)に関連するより多くの情報の識別のため、誰がブーツを脱いだかを検出できる。この結果、システムは、カメラが中にある部屋を監視し、変化を見ているだけなので、処理時間を減らせる。環境内で変化が検出される(例えば、動的オブジェクトが導入される)とき、ここに記載されるシステム及び方法は、以前の既知情報及び時間をかけた観察に基づいて、動的オブジェクトが何で、誰がオブジェクト(例えば、第2オブジェクト)を導入したかを検出できる。
新たな動的オブジェクトが環境に導入される(即ち、動的オブジェクトは、それ以前に環境内に置かれていなかった)場合、システム及び方法は、追加の分析及び処理ステップを取るように多段(tiered)にできる。例えば、新たな動的オブジェクト又は新たな第2オブジェクトが導入された場合、システム及び方法は、例えば、動的オブジェクトを認識し、第2オブジェクトを認識するために画像処理アルゴリズムを動作させて、動的オブジェクトを第2オブジェクトに関連付けることができる。しかし、動的オブジェクト又は第2オブジェクトが環境に既に導入されている例では、システムは、各オブジェクトの特定の事例(instance)を認識し、場所に対するオブジェクト履歴情報として格納されているものを、動的オブジェクト又は第2オブジェクトに対する特徴と比較することができる。これらの多段の処理ステップで、計算時間を減らせる。ここに開示される実施形態の要素は、以下の図面と関連して、より明確に記載される。
図1を参照すると、コンピューティング装置100の例が図示されている。図1に示されるように、コンピューティング装置100は、限定されるものではないが、パーソナルコンピュータ(PC)、ワークステーション、組込型コンピュータ、又はマイクロプロセッサ、DSP(デジタル・シグナル・プロセッサ)、FPGA(フィールド・プログラマブル・ゲート・アレイ)若しくはASIC(特定用途向け集積回路)などの計算ユニットを備えるスタンドアローン装置などの任意の適切なタイプのコンピューティング装置とすることができる。ここに示されるコンピューティング装置100は、ディスプレイ装置360と接続されたPCである。PCコンピュータに関して、ここに取決め(arrangement)が記載されるが、実施形態はPCコンピュータに制限されないことを理解すべきであろう。幾つかの実装において、コンピューティング装置100は、例えば、少なくとも半自律的に動作し、オブジェクト検出又はオブジェクト検出を支援する能力を含み、それによりここで検討される機能性から利益を得る、その他の形式のコンピューティング装置とすることができる。
コンピューティング装置100は、分析及び最終識別及び/又は検証のための画像を取得するために入力102を有する。入力102は、コンピューティング装置100への入力装置のための有線又は無線のどちらかでの1つ以上の接続である。入力102は、装置タイプにより決まる任意の適切な通信インタフェースであり、制限されるものではないが、USB(ユニバーサル・シリアル・バス)、フレーム取込み器(frame grabber)、イーサネット又はファイヤーワイヤー(Firewire)を含む。コンピューティング装置100は、ここに記載されるデータ処理及び分析に使用される汎用プロセッサなどのプロセッサ104を更に含む。入力102は、センサ118(例えば、サーモスタット、気圧計など)、マイク、又はその他のアクティブ型若しくはパッシブ型の入力装置若しくはシステムと接続される。ここに示される入力102は、キーボード108、マウス110、センサ118、画像キャプチャ装置120及びマイク122と接続される。コンピューティング装置100は、更に接続112を有することができる。接続112は、有線又は無線とすることができ、ネットワークプロトコル(例えば、イーサネット又は同様のプロトコル)上などで、ローカルに又は遠隔に、コンピューティング装置100がその他のコンピューティング装置と通信できるようにする。
コンピューティング装置100は、メモリ114などの幾つかの揮発性又は不揮発性メモリを更に有することができる。メモリ114は、プロセッサ104により実行されるとき、ここで検討される方法及び機能をプロセッサ104に実行させるコンピュータ読み取り可能な命令を含む1つ以上のモジュールを含むことができる。メモリ114は、図2を参照して記載されるデータベース210を含むことができる。メモリ114は、動的オブジェクト及び第2オブジェクトの既知の関連性など、比較及び/又は分析目的のための参考資料に関連する情報を含むことができる。コンピューティング装置100は、自律型装置又はユーザにより使用可能な方法で出力を伝達するための出力接続116を含むこともできる。一例として、出力接続116は、都合良く見るためのスクリーン(例えば、ディスプレイ装置130)、又は動的オブジェクトがその一部となる外部プロセスを制御するための制御装置に出力を伝達する。外部プロセスの実施形態は、制限されるものではないが、自律型ロボットプロセス、工業生産プロセス、セキュリティプロセス(例えば、人-オブジェクト関連付けに関連するような不審な行動の検出)又は医療アプリケーション(例えば、手術室で行われる処置と医療装置との関連付け)を含むことができる。
コンピューティング装置は、第2オブジェクト及び/又は環境と動的オブジェクトの関連付けに関してここに開示される方法及びその他の機能を行うために実装される関連付けシステム126を更に含む。動的オブジェクトは、環境内で移動するオブジェクトであり、環境一覧(inventory)の一部ではない。動的オブジェクトは、認識方法の感覚で理解される。そのようなものとして、語句「オブジェクト」は、ブーツ又はボールなどの無生物オブジェクトと同様に、動物及び人間などの生物オブジェクトを含む。動的オブジェクトに関する情報は、静的オブジェクトを参照して記載される任意又は全ての情報を含むことができる。しかし、動的オブジェクトは、動的オブジェクトの変化する性質を反映するため、ポーズ情報、以前のポーズ情報、所持又は所有の変化をより頻繁に更新するであろう。
図2を参照すると、図1の関連付けシステム126の1つの実施形態が更に図示される。関連付けシステム126は、図1のコンピューティング装置100からプロセッサ104を含むように示されている。これに応じて、プロセッサ104は関連付けシステム126の一部とすることができ、関連付けシステム126はコンピューティング装置100のプロセッサ104と別のプロセッサを含むことができ、又は関連付けシステム126はデータバス若しくはその他の通信経路を通じてプロセッサ104にアクセスできる。1つの実施形態において、関連付けシステム126は、オブジェクト認識モジュール220、事例識別モジュール230及び関連付けモジュール240を格納するメモリ114を含む。メモリ114は、モジュール220、230及び240を格納するためのランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、ハードディスクドライブ、フラッシュメモリ又はその他の適切なメモリである。モジュール220、230及び240は、例えば、プロセッサ104により実行されるとき、ここに開示される様々な機能をプロセッサ104に行わせるコンピュータ読み取り可能な命令である。
オブジェクト認識モジュール220は、環境の1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産(asset)を認識するため、コンピューティング装置100の入力102と接続される1つ以上のセンサ118を用いて、環境の1つ以上の画像を取得するためにプロセッサ104を制御するように機能する命令を一般に含む。オブジェクト認識モジュール220は、動作感知装置(motion detector)により検出されるような環境内の移動など、1つ以上の始動イベントにより作動する。動作感知装置、赤外線センサ、RADAR、LIDAR、画像キャプチャ装置120又はその他のセンサは、センサ118に含まれる。一旦初期化されると、オブジェクト認識モジュール220は、プロセッサ104による命令の実行を通して、認識のための環境内の1つ以上の環境資産に関する情報を収集する。ここで用いられるように、環境資産は、動的オブジェクト、第2オブジェクト及び静的オブジェクトを含む、環境内の又は環境から収集された全てのオブジェクト、環境の要素、検出、関連付け及び/又はその他の情報を表現する。
収集された情報は、環境データとオブジェクトデータの両方を含むことができる。環境データは、通常は位置を変えない、又は冷蔵庫ドアなど固定経路内でのみ位置を変えるカウチ、ランプなどの静的オブジェクト又はその他のオブジェクトを含む環境内で静的な要素を記述するためにここで使用される。静的オブジェクトは、環境内で規則的な頻度で発生するオブジェクトであり、人又はその他の動くもの(actor)による移動を含む一般的な可動物(mobile)ではない。静的オブジェクトは、冷蔵庫のドアなどの移動可能な要素を含むことができる。静的オブジェクトに関する情報は、オブジェクトのポーズ(即ち、位置及び方向)、組成(composition)、個人所有の詳細、到着日の環境内の時間の長さ、及びオブジェクトに関するその他の場所と履歴の情報など、構造的及び位置決めの情報を含むことができる。1つの例において、環境はリビングルームであり、静的オブジェクトは、カウチ、ラブシート、椅子、ラグ、ランプ、靴入れ及び絵画を含む。静的オブジェクトに関する情報は、製造業者、一般的使用、それらが購入された場合の購入値段、能動的成分、重さ、オブジェクトのそれぞれに対する材料とタイプ、及びオブジェクトに関する構造的及び製造情報などのオブジェクトタイプ情報を更に含むことができる。
オブジェクトデータは、動的オブジェクト及び第2オブジェクトに関するデータを記述するためにここで用いられる。動的オブジェクトは、環境に入り、又は出ることができる可動性オブジェクトである。オブジェクトデータは、(構造データなど)オブジェクト自体に関連する詳細、及び(ポーズ、時間上の移動、その他のオブジェクトとの関連など)環境とのオブジェクトの相互作用に関連する詳細の両方を含む。そして、オブジェクト認識モジュール220は、オブジェクト認識方法に従い、オブジェクトクラス及びオブジェクトタイプを認識するためにオブジェクトデータを使用する。オブジェクト認識方法は、既知の絵画との比較、画像からの3Dモデルの形成、又はその他を含むことができる。オブジェクトデータは、オブジェクトに関する識別子、生成された3Dモデル又はその他など、オブジェクト認識方法の一部として生成されるデータを更に含むことができる。オブジェクトが認識されると、関連付けシステム126の更なるモジュールでの使用のために、認識、オブジェクトデータ及び環境データが認識データに追加される。認識データは、オブジェクト履歴情報260に更に追加することができる。
環境データは、環境からの情報又は環境に関する情報を更に含むことができる。環境データは、場所(例えば、家のリビングルーム)、環境パラメータ(例えば、温度、湿度及びその他の環境要素)、環境の大きさ及び境界(例えば、壁、障害物など)を含むことができる。環境データは、動的オブジェクトと作用し合うようデザインされた、あるいは使用される(例えば、ブーツに対する靴入れ)環境内の静的オブジェクトを含むこともできる。
環境データは、動的オブジェクトの場所に対する状況(context)、データ追跡メトリックを提供でき、最終的にオブジェクト認識シーケンスを促進するために使用できる。動的オブジェクトの場所に対する状況は、部屋内にあるオブジェクトにつながる起こりそうなイベントを含むことができる(例えば、人々は、通常、仕事から家に帰り、リビングルームで彼らのブーツを脱ぐ)。データ追跡メトリックは、環境内の動的オブジェクトに関する統計情報を含むことができる。動的オブジェクトの環境との相互作用を追跡することにより、この特定の環境又は似たような環境のどちらかで現れそうな動的オブジェクト(タイプ及び特定の事例の両方)をより意識することができる。
認識後、事例識別モジュール230は、一般に、環境に対するオブジェクト履歴情報のデータベース内の少なくとも1つの動的オブジェクトを識別するために、プロセッサ104を制御するよう機能する命令を含む。事例識別モジュール230は、特定の動的オブジェクトを認識するために、オブジェクト認識モジュール220により生成された認識データ、及びオブジェクト履歴情報260からの動的オブジェクトの少なくとも1つの以前の認識に関する情報を検索することができる。ここに記載されるように、事例識別モジュール230は、特定の動的オブジェクトに関する既知の情報の特性を示すデータベース210からオブジェクト履歴情報260を獲得するための命令を含む。オブジェクト履歴情報260は、場所履歴データ、オブジェクト仕様、構造情報、所有などを含むことができる。オブジェクト仕様は、オブジェクトの必要条件及び性能の詳細を記載する、通常は製造業者から入手可能な、詳細である。本開示は、オブジェクト履歴情報260を生成するために監視することができる動的オブジェクトと関連する側面の例示的項目を提供していると理解すべきである。しかし、この項目は、限定するものとして解釈されるものではなく、この考察のための可能性の例示的一覧表として提供されるものである。
1つ以上の実施形態において、事例識別モジュール230は、認識データ内の冗長な情報を判断するために、オブジェクト履歴情報260又は一覧情報270を参照できる。オブジェクト履歴情報260及び一覧情報270が参照され、答えが画像キャプチャ装置120に送られる。そして、画像キャプチャ装置120は、冗長性を避けるために、動的オブジェクトに関して収集されたデータを制限できる。代わりに、認識データは、コンピューティング装置にアップロードされない冗長な部分を持つ通常なものとして収集することができ、又は冗長なデータはアップロードされて、部分的な更新(例えば、黒のブーツ、劣化した色)に対して使用できる。更に、オブジェクト履歴情報260は、新たな静的オブジェクトが環境内に設置されたときなど、一覧情報270を更新するために使用できる。
上記情報の多くが客観的に記載されているが、主観的情報をオブジェクトに関して収集できる。主観的情報は、見解(例えば、環境内で見られるその他のブーツに基づいて、このブーツは流行遅れになるだろう)に基づくオブジェクトに関する実際の情報及び仮定の情報の両方とすることができる。言語化された見解、使用及び取扱いに基づく好き嫌いなどを動的オブジェクトのデータセットに組み込むことができる。上記した例において、人がそのブーツを脱ぐことによる安らぎを言語化するように、彼女は、環境内を歩き、カウチに座り、彼女のブーツを脱ぎ、そしてそれらを床の上で滑らせることができる。この場合、ブーツと人の両方が動的オブジェクトである。しかし、簡単のため、動的オブジェクトとしてブーツに焦点を当てる。ブーツに関する情報は、色、サイズ(数値又はその他のブーツとの比較のどちらか)、材質、靴の一般的タイプ(例えば、ドレスブーツ)、ブランド(入手可能であれば)、ブーツの最終的ポーズ、滑りのベクトル、加えられた力の量の詳細、動的オブジェクトの状態(例えば、ブーツが湿っている)、及び入室から最終的ポーズまでのブーツに関する時間的情報を含むことができる。
従って、例示により、オブジェクト履歴情報260は、オブジェクトタイプと分類、動的オブジェクトの数と検出のタイミング、構造的又は本体の特徴、構成、所有履歴、所持履歴、動的オブジェクトの記載に使用される関連するダイアログ、オブジェクトのポーズ、製造業者の詳細、年、生理的パラメータ(もしあれば)、環境条件、予期される寿命、使用の状態(例えば、雨中でのレインコート)などを含む、幾つか又は全ての利用可能な環境資産に関する情報を含むことができる。更に、オブジェクト履歴情報260は、様々な発信元(source)から、ローカル及び遠隔の両方での、コンピューティング装置100への情報の収集とすることができる。様々な発信元は、動的オブジェクトのデータセット(即ち、現在の処理の間にオブジェクト認識モジュール220、事例識別モジュール230及び関連付けモジュール240による、未加工の又は処理された収集されたデータ)、第2データベースからの第2オブジェクト履歴情報(例えば、同一の環境又は別の環境に対して、ここに記載されたものと類似の又は同一の他の関連付けシステムから集められた情報)、動的オブジェクトに関する公的に入手可能な情報又はそれらの組合せを含むことができる。
関連付けシステム126は、動的オブジェクト及び第2オブジェクトの検出、識別及び関連付けにおいて、一覧情報270を更に使用できる。関連付けシステム126は、環境に対する一覧情報270から以前に獲得した一覧を使用することができ、あるいは、一覧は、事例識別モジュール230を用いて監視中に獲得できる。一覧情報270は、動的オブジェクトがない場合の環境に関する情報である。一覧情報270は、特定の動的オブジェクトの特性化において、事例識別モジュール230により使用できる。一覧情報270は、環境からの静的オブジェクトを動的オブジェクトに関連付けるなど、関連性を形成するために関連付けモジュール240により使用できる。一覧情報270は、静的オブジェクトと動的オブジェクトとを差別化するなど、環境を監視するためにオブジェクト認識モジュール220により更に使用できる。
更に、事例識別モジュール230は、特定の実装に応じた複数の異なる方法で、オブジェクト履歴情報260内の既存データと動的オブジェクトの関連を決定することができる。1つの実施形態において、事例識別モジュール230は、画像キャプチャ装置120、心拍監視センサ、赤外線センサ、気圧計、マイク122など、図1に関連して議論された1つ以上のセンサ118と通信する。1つの実施形態において、入力装置は、コンピューティング装置100から離れた、環境の範囲内に置かれ、動的オブジェクトの顕著な側面及び/又は環境と第2オブジェクトに関連した側面に関する情報を獲得するために様々な場所に置くことができる。更に、事例識別モジュール230は、例えば、収集されたオブジェクト履歴情報260の正確性/精度を改善するため、入力102を通した入力装置の複数の冗長なものを含むことができる。同様に、事例識別モジュール230は、更なる識別のために、動的オブジェクトの初期認識に関して、オブジェクト認識モジュール220から情報を受信できる。
関連付けシステム126を引き続き参照すると、1つの実施形態において、関連付けシステム126はデータベース210を含む。データベース210は、1つの実施形態において、メモリ114又は別のデータストアに格納された電子データ構造であり、格納されたデータを分析し、格納されたデータを提供し、格納されたデータを体系化するなどのためにプロセッサ104により実行できるルーティンで構成される。このため、1つの実施形態において、データベース210は、様々な機能の実行において、モジュール220、230及び240により使用されるデータを格納する。1つの実施形態において、データベース210は、一覧情報270など、関連付けシステム126により使用される更なるデータに加え、オブジェクト認識モジュール220により部分的に収集されるオブジェクト履歴情報260を含む。メモリ114は、自動装置又はコンピューティング装置100内などでローカルに格納できる。メモリ114は、更に、クラウドサーバ内などで遠隔的に格納できる。
関連付けモジュール240は、1つの実施形態において、オブジェクト履歴情報260のデータベースを用いて、少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識と少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別するために、プロセッサ104を制御するように機能する命令を一般的に含む。即ち、関連付けモジュール240は、コンピューティング装置100の動的オブジェクトと環境又は第2オブジェクトとの間の関連付けを特性化するために、オブジェクト履歴情報260及び事例識別モジュール230からの動的オブジェクトのデータセットを形成する収集されたデータを使用する。一般的に、オブジェクト履歴情報260は、動的オブジェクトとコンピューティング装置100により観測される第2オブジェクト、環境又は両方との間の関連付け又は共有データの時点を表し、(動的オブジェクトのデータセットの一部として)これまでに関連付けモジュール240により観測されるか、又は第2発信元から収集されるかのどちらかである履歴データの収集である。関連付けは、オブジェクト履歴情報260及び動的オブジェクトのデータセットを用いて決定されるような、動的オブジェクトと第2オブジェクト及び/又は環境との間で共有される関連性である。従って、関連付けモジュール240は、コンピューティング装置100の関連付けモジュール240により以前に検出され、観測され、又は収集された、第2オブジェクト又は環境の間の結合の量及びタイプの評価として、関連付けを生成することができる。結合のタイプは、2つ以上のオブジェクトの間の関連を記述できる時間的結合、場所的結合、使用の結合又はその他の結合を含む。
このため、簡単な例示のために、関連付けモジュール240は、例えば、最後の既知のポーズ、その他のオブジェクトとの時間的結合、その他のオブジェクトとの場所的結合又は更なる関連付け情報など、特定の動的オブジェクトに関する情報を含むオブジェクト履歴情報260に電子的にアクセスできる。1つの実施形態において、関連付けモジュール240は、特定の動的オブジェクトの最後の既知のポーズに関する情報、より詳細には、特定の動的オブジェクトの最後の既知のポーズ及び任意の第2オブジェクト又は環境データを関連付ける情報(例えば、動的オブジェクトを置いた人物、オブジェクトがどの様に置かれたか、ポーズを安定させるために必要な環境内の静的オブジェクト間の相互作用など)にアクセスする。この関連付けから、関連付けモジュール240は、特定の動的オブジェクトのふさわしい所有又はコンピューティング装置100の環境内の適切な位置など、動的オブジェクトに関する更なる情報を特性化できる。例えば、関連付けモジュール240は、環境内の特定の動的オブジェクトのポーズが常に特定の第2オブジェクトの付近にあるかどうか(例えば、殆どの場合に靴入れに向かい投げ出されるブーツ)、特定の動的オブジェクトが使用の特定環境を有するかどうか(例えば、雨の場合、又は気圧が通常のあるパーセンテージより下がったときにのみ使用される傘)、動的オブジェクトが複数の第2オブジェクトにより使用されるかどうかなどを考慮することができる。この評価から、関連付けモジュール240は、環境内の特定の動的オブジェクトに関する事実を決定するために、オブジェクト履歴情報260を使用する。このため、オブジェクト履歴情報260は、現在及び以前のポーズに基づいて、動的オブジェクトについて関連付けモジュール240に通知する。
更なる態様において、関連付けモジュール240は、複数の環境又は第2オブジェクトの相互作用を動的オブジェクトに関連付けるために、より複雑な分析を請け負うことができる。例えば、関連付けモジュール240は、事例識別モジュール230により検出されるように、第2オブジェクトの存在/場所、及び環境内の動的オブジェクトに対する第2オブジェクトの関連(例えば、動的オブジェクトとしてのコート及び第2オブジェクトとしてのコートラック)など、入力102からの更なる情報と動的オブジェクトのポーズを相互に関連付けることができる。一般的に、ここで使用されるようなコンピューティング装置100の環境への参照は、コンピューティング装置100により検出される環境、ローカル又は遠隔かどうか、環境内のオブジェクト、及び環境のオブジェクトとの関連付けとその反対に関する情報に関連する。
更に、関連付けモジュール240は、動的オブジェクト及び第2オブジェクト及び/又は環境を関連付けるとき、リモートデータ280などのリモートデータを更に考慮することができる。1つの実施形態において、リモートデータは、動的オブジェクトに関連する様々な外部の構造的側面及び検出された環境に関連する外部の環境的側面を含むことができる。例えば、リモートデータは、動的オブジェクトのGPS座標、動的オブジェクトについての製造業者パラメータ(例えば、組成、重さなど)、外部イベント(例えば、交通事故により変更された動的オブジェクトの予想到着時間)、毎日の使用パターン、移動の方法、外部温度、動的オブジェクトのGPS移動ルート、関連する第2オブジェクトに対するGPS移動ルート、及び事例識別モジュール230の異なるセンサ及びシステムから事例識別モジュール230により収集されたその他のデータを含むことができる。
このため、オブジェクト間の関連付けを形成するため、1つの実施形態において、関連付けモジュール240は、オブジェクト間(例えば、動的オブジェクトと第2オブジェクト)の関連付けを決定するために、追加の情報(例えば、動的オブジェクトのデータセット)と共に、オブジェクト履歴情報260を分析する。一般的に、関連付けモジュール240は、動的オブジェクトに関連する様々なデータ要素を識別し、それは、例えば、第2オブジェクトによる/の動的オブジェクト所有の可能性を提供する。その後、関連付けモジュール240は、全体の可能性を生成するため、定義された重みに従って個々の可能性を結び付けできる。その結果、関連付けモジュール240は、関連付けレベルとして全体の可能性を提供することができる。関連付けモジュール240は、関連付けレベルが環境内のオブジェクト間の実際の関連性を反映するように、全体の可能性を用いて更なる分析を適用することもできる。オブジェクト間の関連付けレベルは、例えば、環境の側面(例えば、第2オブジェクトに関連した使用の履歴)に従い、関連付けの可能性を特定の等級(例えば、0-10)に変換することにより、コンピューティング装置100により決定することができる。
更なる実施形態において、新たな動的オブジェクトの場合など、オブジェクト認識モジュール220及び事例識別モジュール230と共に関連付けモジュール240は、オブジェクト履歴情報260内に新たな登録に対する認識データを形成する。この場合、オブジェクト認識モジュール220は、先に検討したように、環境内の新たな動的オブジェクトに関する情報を収集する。事例識別モジュール230は、1つの実施形態において実装されるとき、オブジェクト履歴情報260、オブジェクト認識モジュール220(例えば。認識データ)及びその他の電子データからの既存のデータを、オブジェクト履歴情報260内の新たな登録への可能な入力として電子的に処理する。従って、関連付けモジュール240は、事例識別モジュール230と協力して、新たな動的オブジェクトと以前から存在している第2オブジェクトとの間の関連付けの程度を特性化する電子出力としての新たな関連付けを決定するために、オブジェクト履歴情報260及び認識データを使用する。
更に、様々な実施形態において、関連付けモジュール240が動的オブジェクトと第2オブジェクトとの間の関連付けをどのように計算するかの一部として、データの多くの異なるソース及び形式の使用が記載される間、特定のデータは実装の異なる側面に従い変化する。いずれの場合でも、これらの例は、説明を目的にしたものであり、開示されたデータ要素及び機能の限定された形式として解釈すべきではない。更に、1つの実施形態において、検討されたオブジェクト履歴情報260及び更に検討された電子データを、関連付けモジュール240を教育するために収集して、使用できることを認識すべきである。
即ち、関連付けモジュール240が動作している間、オブジェクト履歴情報260、認識データ及びその他のデータが収集され、格納される。その後、1つの実施形態において、関連付けシステム126は、関連付けモジュール240の修正に使用するため、収集された情報を中央収集ポイントに伝達することができる。更なる実施形態において、関連付けシステム126は、コンピューティング装置100により観測される環境内の動的オブジェクトの単独で確認された関連付けに関係して、関連付けモジュール240又は事例識別モジュール230を更新あるいはカスタマイズ/改良するために設定されたトレーニングデータとして収集された情報を使用できる。このため、1つの実施形態において、関連付けシステム126は、オブジェクト履歴情報260と入力102を使用し、ローカルオペレータの記録された応答及び/又は関連付けモジュール240により計算された記録された確認された関係付けに従い、関連付けモジュール240又は事例識別モジュール230にフィードバックを提供することにより、関連付けモジュール240を更に教育する。この方法において、関連付けシステム126は、どの関連付けが実際の関連付けを正確に反映しているかを積極的に学習し、そして、それに応じてモジュールを調整する。
そして、関連付けシステム126は、関連付けモジュール240を介して、1つ以上の関連付けに基づいて、自動装置を用いて動的オブジェクトに関連するタスクを実行できる。ここで、関連付けモジュールは、関連付けに関連するタスクを実行するために、プロセッサ104を制御するよう機能する命令を含むことができる。タスクは、自動装置の使用を通じて実行できる。自動装置は、1つ以上の命令に応答して、自動の応答又は動作を提供できる任意の装置である。自動装置は、ロボット装置、十分に自動化された家庭用電気器具、コンピューティング装置、電話機、PDA、自律走行車又はその他を含むことができる。タスクは、第2オブジェクト(例えば、人)までの動的オブジェクト(例えば、ブーツ)の位置を示すディスプレイに命令を提供するなど、視覚的にできる。その他の実施形態において、タスクは、関連付けに基づいて、第2オブジェクト(例えば、人)に関連して動的オブジェクト(例えば、ブーツ)を自律型ロボットに移動させるために、自律型ロボットに命令を送るなど、物理的にできる。その他の実施形態において、関連付けモジュール240は、複数の関連付けに関連して、タスクを実行できる。1つの例において、ブーツは人に関連付けられ、人は靴入れに関連付けられる。そして、関連付けモジュール240は、ブーツを人の靴入れに移動するように自動装置に命令を与えることができる。当業者は、上記のシステムを用いて作成できる様々なタスク及び関連付けを理解するであろう。更なるタスク及び関連付けが、ここでの明白な記載なしに期待される。
更なる実施形態において、関連付けシステム126は、関連付けモジュール240を介して、オブジェクト履歴情報を用いて、時間的パターンを生成できる。時間的パターンは、将来のイベントに対応して使用できる。1つの例において、人は動的オブジェクトであり、花瓶、静的オブジェクトは第2オブジェクトである。上記のモジュールの要素を用いて、オブジェクト認識モジュール220は、第2オブジェクト及び動的オブジェクトを認識し、事例識別モジュール230は、第2オブジェクト及び動的オブジェクトをオブジェクト履歴情報260内のそれらそれぞれの情報と関連付け、関連付けモジュール240は、第2オブジェクトと動的オブジェクトとの間の関連付けを形成する。関連付けモジュール240からの関連付けに関する情報を用いて、関連付けシステム126は、将来のイベントを予測できる。1つの例において、システムは、オンラインの当座預金口座における銀行引き落しを通して、花が購入されたことを検出する。そして、関連付けシステム126は、上記の第2オブジェクト、花瓶、が花を生けるために使用され、その目的のために水で満たされるという情報に結び付く、関連する情報に対する可能な関連付けを再検討する。この結び付けられた情報を用いて、関連付けシステム126は、第2オブジェクトを水で満たすよう、ロボットなど、自動装置に指示する。
本開示の1つの実施形態において、関連付けシステム126は、図3に示されるように、画像を獲得し、動的オブジェクトを分析し、第2オブジェクトを関連付け、識別及び/又は認証処理からの結果に応答するための環境の部分として使用される。そのようなものとして、関連付けシステム126は、環境306内のブーツ304などの動的オブジェクト及び人314などの第2オブジェクトの表示を獲得するための少なくとも1つの画像キャプチャ装置120又はその他の装置若しくはユニット、コンピューティング装置100、及び以下に記載する自律型ロボット又は工業プロセス用装備などの応答装備(responsive equipment)を含むことができる。
図3に例示されるように、環境306は、囲い310及び静的オブジェクト312など、環境資産を含む。囲い310は、環境のあり得る要素である。この例において、家のリビングルームが使用され、囲いはリビングルームの壁の境界により区画される。静的オブジェクト312は、環境306内のランプにより例示される。環境内の更なる静的オブジェクトは、カウチ、テーブル、及び環境内で通常は静止したままである本記載のその他の全てのオブジェクトを含む。しかし、ここに記載されるように、囲い310も静的オブジェクト312も環境306に対して必要不可欠ではない。少なくとも1つの画像キャプチャ装置120が、環境306内のブーツ304(動的オブジェクト、人314により所有される)と人314(この例において、第2オブジェクト)の1つ以上の画像を獲得するために使用される。そして、画像は、関連付けシステム126及び/又はオブジェクト認識モジュール220による分析及び検証及び/又は識別のために、コンピューティング装置100に伝送される。
関連付けシステム126は、図4において以下に記載される方法を行うための命令を実行するように構成できる。そして、この処理から結果として生じる認識データ、関連付けデータ及び履歴データは、動的オブジェクトのデータセットに追加できる。動的オブジェクトのデータセットは、データベースに送信され、オブジェクト履歴情報に追加され、制御システム(例えば、ロボット用制御システム)に送信され、又はディスプレイ装置に送信される。オブジェクト認識の場合、ブーツ304(即ち、動的オブジェクト)の少なくとも1つの画像が獲得され、適切な通信技術308(有線又は無線)を用いて、画像又は複数の画像がコンピューティング装置100に送信される。そして、獲得された画像又は複数の画像は、分析され、参照測定から得られたデータ、例えば、既知の2D-3D関係と比較できる。しかし、推測される3D形状と格納された3D参照データとの間、又は2D表面モデルと格納された2D参照表面モデルとの間で、比較が行われる。結果は、例えば、ディスプレイ装置130を通して利用可能であり、この例となる説明は図1に示される。画像キャプチャ装置及び/又はディスプレイ/制御システムは、一体式ユニットを形成するコンピューティング装置に組み込むことができ、結果は適切な方法で表示され、結果は上記記載の例に制限されないことを当業者は理解すべきである。ディスプレイ装置130に結果を伝送する代わりに、単にデータベースに格納する、コンピューティング装置100に統合する、又は例えば、ロボット、入場システム、アラームなどを制御するための適切な制御処理で使用することができる。
ここに示されるように、人314は、環境306に入り、座り、ブーツ304を脱ぐ。そして、動的オブジェクト(例えば、ブーツ304と人314)の動きは、関連付けシステム126を作動させることができ、オブジェクト認識モジュール220が始動する。オブジェクト認識モジュール220は、プロセッサ104により実行される命令を通じて、画像キャプチャ装置120を用いて環境データを収集する。オブジェクト認識モジュール220は、上記環境データを用いて、ブーツ304及び人314を動的オブジェクトとして認識できる。先に記載したように、オブジェクトは、ここに記載されるような動的オブジェクトと第2オブジェクトの両方とすることができる。ブーツ304及び人314は、関連付けの決定(この場合、各動的オブジェクトをその他に対する第2オブジェクトとして割り当てる)が起こる前に、動的オブジェクトとして最初に認識される。環境データは、環境306からの静的オブジェクトを含み、囲い310の壁、ランプ312及び環境306内のその他の動かないオブジェクトを含む。
そして、オブジェクトデータ(例えば、ブーツ304及び人314など、認識された動的オブジェクト)及び環境データを含む認識データは、事例識別モジュール230に転送できる。そして、事例識別モジュール230は、プロセッサ104により実行される命令を通じて、データベース210からのオブジェクト履歴情報260など、データベースからのオブジェクト履歴情報を参照できる。オブジェクト履歴情報は、人314がブーツ304を購入した日から、環境306内への全ての入場に関する情報を含めることができる。環境306内のブーツ304及び人314の履歴、及び現在の認識データの観点から以前に収集された認識の詳細に留意して、事例識別モジュール230は、人314に対応する特定の人、及びブーツ304に対応する特定のブーツの両方を認識する。
そして、それぞれは、オブジェクト履歴情報260内のそれら個別のファイルと同じ指示子を用いてインデックスが付けられる。ブーツ304が検討のこの部分の焦点であるとき、ブーツ304は動的オブジェクトとして分類され、人314は関連付けに対する第2オブジェクトとして分類できる。しかし、処理において、人314とブーツ304の両方が、互いに関して動的オブジェクトと第2オブジェクトの両方となることがわかる。参照された情報及び検出データを用いて、人314及びブーツ304に関して事例データが作成される。事例データは、事例識別モジュール230により収集又は処理された個々のオブジェクトに関連するデータであり、特定のオブジェクト事例に関連するように、オブジェクト履歴情報260内に関連付けられる。
そして、認識データ及び事例データは、関連付けモジュール240に送られる。関連付けモジュール240は、1つ以上のプロセッサにより実行されるとき、1つ以上のプロセッサに動的オブジェクトと第2オブジェクトなどの環境資産との間の関連付けを形成させる命令を含み、ここで、関連付けは、動的オブジェクトに関する更なる情報を提供する関連付けデータを生成する。オブジェクト履歴情報260、認識データ及び事例データを用いて、人314はブーツ304に関連付けられる。事例データは、ブーツ304及び人314に関する特定の指示子を提供し、これは、ブーツ304及び人314が環境に入った全ての事例を収集するために、オブジェクト履歴情報と共に使用される。事例は、人314がいない環境306に入るブーツ304を含むことができる(例えば、誰かがブーツ304を借りて、その後、それらを戻した)。同様に、事例は、ブーツがない環境306に入る人314を含むことができる(例えば、人314は異なる組のブーツを履いた)。関連付けモジュールにより形成された、累積された事例及びそれら事例の間の関連付けは、関連付けデータとして参照することができる。関連付けデータは、環境内の時間データ、共通ポーズと位置、動的オブジェクトとの共通の相互作用、及び動的オブジェクトと環境資産の相互作用に関連するその他など、多岐にわたる情報を提供できる。この例において、関連付けデータは、環境306内のブーツ304の適切な位置に関する情報を提供できる。
上記の例において、動的オブジェクトとしてのブーツは、人、第2オブジェクト、と関連付けられる。ブーツと関連付けられた追加の情報は、人の体形、衣服又は衣装、人の衣装の一部としてのブーツの結び付き、及び彼女が環境に入った時間を含むことができる。人のコメントの内容及び一般的な伝達された感情(例えば、安堵)など、人とブーツの相互作用に関する更なる履歴、位置的又は時間的情報が含まれる。
関連付けシステム126は、自律型ロボット320など自動装置を更に含むことができる。自律型ロボット320は、オブジェクトをつかみ、部屋内を自由に移動する能力、又はロボット装置に典型的なその他の機能を持つことができる。自律型ロボット320は、1つ以上の関連付けに基づいて動的オブジェクトに関連するタスクを実行するため、関連付けシステム126を通じて、コンピューティング装置100からの通信を受信できる。この例において、通信は、ブーツ304の適切な位置に関する助言を含む。1つの実施形態において、自律型ロボット320は、ブーツを集め、それらをその所有者に返すよう設計される。自律型ロボット320は、各人が彼らのブーツをどこに保管するかについての履歴情報を有する。そして、コンピューティング装置100は、自律型ロボット320に動的オブジェクトのデータセットを提供し、これはブーツ304のポーズ及び人314との関連付けを含むことができる。そして、自律型ロボット320は、ブーツを集め、それらを適切な保管場所に置くために、この情報を使用できる。
更なる実施形態において、自律型ロボット320は、コンピューティング装置100、画像キャプチャ装置120、又はそれらの組合せのいずれかを含むことができる。1つの実施形態において、コンピューティング装置100は、自律型ロボット320内に組み込まれる。この実施形態において、自律型ロボット320は、画像キャプチャ装置120から送信されたデータを受信し、これは、上記したように、動的オブジェクトのデータセットに対する認識データ、関連付けデータ及び履歴データを生成するために分析及び処理される。1つの例において、コンピューティング装置100及び画像キャプチャ装置120は、自律型ロボット320内に組み込まれる。この実施形態において、自律型ロボット320は、画像キャプチャ装置120の統合型バージョンを通じてデータを受信し、これは、上記したように、動的オブジェクトのデータセットに対する認識データ、関連付けデータ及び履歴データを生成するために分析及び処理される。その他の実施形態において、自律型ロボット320は、コンピューティング装置300によりガイドされる。この実施形態において、自律型ロボット320は、コンピューティング装置100から受信されたリモート命令のみに基づいて自律的である。ここで、自律型ロボット320は、動的オブジェクトのデータセットに基づいて、コンピューティング装置100から、移動及び行動に対する送信された命令を受信する。自律型ロボット320、コンピューティング装置100と画像キャプチャ装置120との間のその他及び更なる組合せが、その明白な記載なしに予測される。
図4は、動的オブジェクトを1つ以上の第2オブジェクトに関連付けるための方法400を示す。環境に入ると、動的オブジェクトは、認識され、関連する第2オブジェクト及び動的オブジェクトに固有の履歴データと関連付けられる。この方法において、更なるデータが収集され、動的オブジェクトと関連付けることができる。方法400は、402において、少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を獲得することを含む。404において、少なくとも1つの動的オブジェクト及び1つ以上の環境資産が、環境の1つ以上の画像内で認識される。406において、少なくとも1つの動的オブジェクトは、環境に対するオブジェクト履歴情報のデータベース内で識別される。そして、408において、オブジェクト履歴情報のデータベースを用いて、1つ以上の関連付けが、少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識と少なくとも1つの第2オブジェクトとの間で識別される。そして、410において、自動化装置を用いて、1つ以上の関連付けに基づき、少なくとも1つの動的オブジェクトに関連するタスクが実行できる。ここに記載される関連付けは、動的オブジェクトに関する更なる情報を提供する関連付けデータを生成できる。
402において、方法400は、少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を獲得することを含む。画像キャプチャ装置は、カメラ、ビデオレコーディング装置、又は1つ以上の画像を収集するために使用できるその他の装置とすることができる。画像キャプチャ装置は、図1及び2を参照して記載される関連付けシステム126など、システムの一部とすることができる。1つ以上の画像が、時間区間上で収集される。1つの例において、1つ以上の画像が、システム又は装置が作動している時間区間など、時間区間上の特定の時間間隔で収集される。更に、画像は、動作感知装置の起動など、開始イベントに応答して収集できる。画像キャプチャ装置は、通常に又は開始イベント(例えば、動的オブジェクト)に合わせて、環境の画像を収集できる。
方法400は、一覧情報を考慮して、獲得された画像を減らすことを更に含む。方法400は、環境における一覧情報270からの以前に獲得された一覧を使用でき、又は一覧は、オブジェクト認識モジュール220を用いて、監視中に獲得できる。環境は、カメラにおける視界として定義される。視界は、静的オブジェクト、動的オブジェクト及び囲いを含む。視界は、可視性が制限された静的及び動的オブジェクト、遮られたオブジェクト、部分的に遮られたオブジェクト、合理的に予想されるオブジェクト(例えば、2つの壁が近づいているように見え、このため、視界の外であるとしても、隅は合理的に予想されるオブジェクトである)などのオブジェクト、及びその他を含む。1つの例において、環境は、リビングルームなどの部屋とすることができる。この一覧は、方法400の一部として集められ(例えば、方法400が実装されるとき、環境に関する情報が収集される)、又は方法400を実装する前に生成することができる。一覧は、環境内の静的オブジェクト及び動的オブジェクトの以前の事例に関する多数の情報を含む。
404において、少なくとも1つの動的オブジェクト及び1つ以上の環境資産が、環境の1つ以上の画像内で認識できる。動的オブジェクトが環境に入ると、動的オブジェクトは、動的オブジェクトに関する認識データを生成するオブジェクト認識を用いて検出される。オブジェクト認識は、図1及び2を参照に記載される、関連付けシステム170の事例識別モジュール230など、装置又はシステムにより実行できる。認識データは、図2を参照して記載される認識データと実質的に同じとできる。そして、動的オブジェクトに関連して上記される情報を含むこの情報は、動的オブジェクトのデータセットに追加できる。
406において、少なくとも1つの動的オブジェクトは、環境に対するオブジェクト履歴情報のデータベース内で識別される。オブジェクト履歴情報は、図2~3を参照して記載される、データベース210からのオブジェクト履歴情報260と実質的に同じとできる。オブジェクト履歴情報は、オブジェクトが以前に環境内にあった場合など、既存とすることができる。オブジェクト履歴情報は、新たな情報、訂正された情報、更新された情報又はそれらの組合せを反映するために適切に更新及び/又は変更できる。1つの例において、オブジェクト履歴情報は、環境内の新たなオブジェクトの場合、新たな動的オブジェクトのデータセットを受信するために生成される。その他の例において、オブジェクト履歴情報は、動的オブジェクト関してローカルに又は遠隔に格納された容易に利用可能なデータと同様に、動的オブジェクトのデータセットを用いて生成又は更新できる。
動的オブジェクトのデータセットは、認識データ、事例データ、関連付けデータ又はそれらの組合せを含むことができる。一般的に言えば、動的オブジェクトのデータセットは、検出、識別及び関連付けの特定の事例の間に、この時点までに行われた全ての認識、分析及び関連付けの蓄積である。動的オブジェクトのデータセットは、メモリ114などのメモリ内に格納できる。同様に、動的オブジェクトのデータセットは、図1を参照に記載されるコンピューティング装置100などのコンピューティング装置内に格納できる。動的オブジェクトのデータセットは、図2を参照して関連付けシステム126に関連して上記される、関連付けが完了すると、オブジェクト履歴情報260に追加できる。コンピューティング装置は、1つ以上のローカル又はリモートコンピューティング装置が動的オブジェクトのデータセットを受信できるように、ネットワーク接続される。
そして、認識データは、オブジェクト履歴情報、監視生成事例データを用いて既知の動的オブジェクトに対して監視できる。動的オブジェクトが以前に環境内にあった場合、動的オブジェクトに関する以前に得られた情報も関連付けられるであろう。オブジェクト履歴情報内に格納されたこの履歴データは、環境内の以前の登録、以前の第2オブジェクトとの関連付け、この又はその他の環境での以前のポーズ、及び以前の第2オブジェクトと現在のオブジェクトとの間の結び付きを含むことができる。上記例に従い、ブーツは女性に関連付けられているであろう。ここで、例示の目的で、ブーツは以前の二度に環境内にあったと仮定する。そして、環境内のブーツの以前の登録は、ブーツと関連付けられ、上記でリストアップされた全てのデータポイント(時間的情報、色、第2の関連付けなど)を含む。
注目すべきは、動的オブジェクト(例えば、ブーツ)は、この関連付けにおいて主要な項目である。このように、第2アイテムとの全ての以前の関連付けは、ブーツに重要であろう。上記の例において、女性(例えば、第1女性)が彼/彼女のブーツをその他の人(例えば、第2女性)に貸した場合、その関連付けは、環境内に登録されると、動的オブジェクトのデータセットに記録され、ブーツと関連付けられる。上記のように、複数の動的オブジェクトが一度に環境に入ることができる。環境内の全ての動的オブジェクトは、ここに記載される方法とシステムにおいて記載されるものと同じ方法で検出され、処理できる。動的オブジェクトは、記載されるように、逐次的に、同時に、又はその他の時間的方法で、分析される。
408において、オブジェクト履歴情報のデータベースを用いて、1つ以上の関連付けが、少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識と少なくとも1つの第2オブジェクトとの間で識別される。環境内のその他の動的オブジェクト及び静的オブジェクトを含む全てのその他の環境資産に関するデータは、この時間の間に、同様に収集されている。この情報を用いて、オブジェクト履歴情報からの少なくとも1つの動的オブジェクトの以前の認識及び少なくとも1つの静的オブジェクトに関する情報が、事例データを用いて動的オブジェクトに関連付けることができる。このため、任意のその他の動的オブジェクト又は静的オブジェクトは、ここに記載される方法の目的のために、第2オブジェクトになることができる。第2オブジェクトと動的オブジェクトとの間の関連付けは、動的オブジェクトの所有又は動的オブジェクトによる所有、第2オブジェクトと動的オブジェクトとの間の結合のタイプ(例えば、人がブーツを履いている、コントローラ及びゲームコンソールが1つのユニットとして動作する、など)を含むことができる。更に、関連付けは、動的オブジェクトと第2オブジェクトとの間の時間的関連性(例えば、ブーツが19時49分に人と共に環境に入った)及び使用の状況(例えば、それらブーツはスーツの一部として使用された)を含むことができる。同様に、関連付けデータは、動的オブジェクトと第2オブジェクトとの間の関連付けを記載又は明確にするその他の要素を含むことができる。
そして、410において、少なくとも1つの動的オブジェクトに関連するタスクが、自動装置を用いて、1つ以上の関連付けに基づいて実行される。自動装置は、1つ以上の組み込まれたシステムを有する家庭用品、自律型又は半自律型ロボット、自律型自動車、又はその他など、1つ以上の自動化された機能を有することが可能な装置とすることができる。動的オブジェクトのデータセット、オブジェクト履歴情報又はそれらの組合せは、様々な接続(有線又は無線の一方)を通じて、コンピューティング装置から自動装置に通信することができる。例示的な接続は、Wi-Fi(任意の無線プロトコル)、ブルートゥース及びイーサネットケーブルを含む。動的オブジェクトのデータセットは、コンピューティング装置からの初期化されたアップロードにより、又はコンピューティング装置からの定期的なフィードにより、自律型ロボットからの要求に応じて送信できる。そして、動的オブジェクトのデータセットは、特定のタスク(例えば、ブーツを開始位置からそれらの適切な所有者の保管位置に移動させる)を実行するため、自律型ロボットにより処理及び/又は利用される。更なる実施形態において、動的オブジェクトのデータセットは、自動装置に伝送される前に、オブジェクト履歴情報に組み込まれる。
方法は、曖昧な個人的に識別可能な情報を更に含むことができる。情報は、情報を見る又は受信する誰かが、情報が関連する的確な人物を決定することを可能にするように収集される。1つの実施形態において、その情報は、もはや個人的に識別可能でなくなるように、縮小する又は曖昧にすることができる。例えば、人は、ナンバープレートが既知の車と関連付けられる。この場合、関連付けは、関連付けデータ内で収集され、ナンバープレートは内部で認識可能なナンバーに変換することができる。
ここで、関連付けは、動的オブジェクトに関する非常に有益なローカル情報を提供できる。そのような情報は、誰が動的オブジェクトを所有するか、それはどこにあるか、残存耐用年数などを含む。この情報は、エンドユーザ又は自動装置(例えば、自律型ロボット)と共有され、及びそれらにより利用される。更に、長い期間において収集されるこの情報は、家庭又は会社に興味深く、有益なパラメータ(例えば、どの製品が実際に使用されるか、いつ購入されたか、動的オブジェクトに関する潜在意識下の挙動、など)を提供できる。
ここに記載される実施形態は、対象の動的オブジェクトに関するデータの迅速な関連付けを可能にする。動的オブジェクトを環境内の第2オブジェクトに関連付けることにより、動的オブジェクトだけを考慮するときに入手できない動的オブジェクトに関する更なる情報を集めることができる。更に、全てのオブジェクトに関する情報を時間区間で関連付けることができるように、関連付けの利益を増大させたオブジェクト履歴情報を集める。そのような方法は、監視システム又は警告システムにおいて有益であり、全ての可能性がある動的オブジェクトに関する大量のデータを集めるより、短い処理時間及び対象の動的オブジェクトの適切な認識が望ましい目的となる。
上に記載したシステム及び方法のその他の及び更なる実施形態が予測され、それらの明白の記載なしに、システム及び方法の組合せ又はシステム及び方法からの削除を含む。更なる実施形態において、オブジェクト履歴情報は、少なくとも1つの動的オブジェクトと少なくとも1つの第2オブジェクトとの間の時間的結合についての情報を含む。更なる実施形態において、1つ以上の関連付けは、少なくとも1つの動的オブジェクトに関する時間的データ、少なくとも1つの第2オブジェクトに関する時間的データ、及び少なくとも1つの動的オブジェクトと少なくとも1つの第2オブジェクトとの間の関連付けに関する結合データの少なくとも1つを含む。更なる実施形態において、関連付けモジュールは、関連付けモジュールのトレーニングの一部として、オブジェクト履歴情報を使用するための命令を更に含む。更なる実施形態において、少なくとも1つの第2オブジェクトは、その他の動的オブジェクトである。更なる実施形態において、事例識別モジュールは、少なくとも1つの動的オブジェクトについての冗長なデータ収集を最小化するように、オブジェクト履歴情報を使用するための命令を更に含む。更なる実施形態において、1つ以上の環境資産は、静的オブジェクトを更に含み、オブジェクト履歴情報は、静的オブジェクトと少なくとも1つの動的オブジェクトとの間の関連付けデータを更に含む。更なる実施形態において、オブジェクト履歴情報は、少なくとも1つの動的オブジェクトと少なくとも1つの第2オブジェクトとの間の局所的結合に関する情報を含む。
詳細な実施形態がここに開示される。しかし、開示される実施形態は、例示としてのみを目的とすることを理解すべきである。このため、ここに開示される特定の構造的及び機能的詳細は、限定するものとして解釈すべきでなく、単なるクレームの根拠として、及び実質的に任意の適切に詳細な構造において、ここの態様を様々に用いることを当業者に示唆するための表現的根拠として解釈すべきである。更に、ここで使用される用語及び語句は、限定することを意図するものではなく、可能性ある実装の理解可能な記載をむしろ提供することを意図するものである。様々な実施形態が図1~4に示されるが、実施形態は図示される構成又はアプリケーションに限定されない。
図におけるフローチャート及びブロック図は、様々な実施形態に応じて、システム、方法及びコンピュータプログラムプロダクトの可能な実施形態のアーキテクチャー、機能及び動作を説明する。これに関し、フローチャート又はブロック図内の各ブロックは、特定の論理的機能を実装するための1つ以上の実行可能な命令を含む、モジュール、セグメント又はコードの部分を表すことができる。また、幾つかの代替の実施形態において、ブロック内に記述される機能は、図内に記述される順番と異なって現れることに注意すべきである。例えば、関係する機能性に応じて、連続して示される2つのブロックは、実際には、実質的に同時に実行され、又はブロックは、時には、逆の順序で実行される。
上記されるシステム、コンポーネント及び/又は方法は、ハードウェア又はハードウェアとソフトウェアの組合せで実現することができ、そして、1つのプロセッシングシステムにおける集中型の方法又は異なる要素が幾つかの相互接続されたプロセッシングシステム上に分散される分散型の方法で実現することができる。ここに記載される方法を実行するために適用される任意の種類のプロセッシングシステム又はその他の装置が適合される。ハードウェアとソフトウェアの典型的な組み合わせを、コンピュータ利用可能なプログラムコードを持つプロセッシングシステムとすることができ、プログラムコードは、ロードされ、実行されるとき、ここに記載される方法を実行できるよう、プロセッシングシステムを制御する。システム、コンポーネント及び/又は方法は、機械により読み取り可能で、ここに記載される方法を行うために機械により実行可能な命令のプログラムを明白に具体化した、コンピュータプログラムプロダクト又はその他のデータプログラム記憶装置など、コンピュータ読み取り可能な記憶装置内に埋め込むこともできる。これらの要素は、ここに記載される方法の実施形態を可能にする全ての特徴を含むアプリケーションプロダクト内に埋め込むこともでき、プロセッシングシステムにロードされるとき、これらの方法を実行できる。
更に、ここに記載されるアレンジメントは、具体化された又は保存されるなど埋め込まれたコンピュータ読み取り可能プログラムコードを有する1つ以上のコンピュータ読み取り可能媒体内で具体化されたコンピュータプログラムプロダクトの形式を取ることができる。1つ以上のコンピュータ読み取り可能媒体の任意の組合せが利用できる。コンピュータ読み取り可能媒体は、コンピュータ読み取り可能信号媒体又はコンピュータ読み取り可能記憶媒体とすることができる。語句「コンピュータ読み取り可能記憶媒体」は、非一時的記憶媒体を意味する。コンピュータ読み取り可能記憶媒体は、例えば、限定されないが、電子、磁気、光学、電磁気、赤外線、若しくは半導体のシステム、器具又は装置、あるいは上述の任意の適切な組合せとすることができる。コンピュータ読み取り可能記憶媒体のより明確な例(包括的でないリスト)は、以下を含むであろう:1つ以上の有線を持つ電気接続、携帯型コンピュータディスケット、ハードディスクドライブ(HDD)、ソリッドステートドライブ(SSD)、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、消去プログラム可能読み出し専用メモリ(EPROM又はフラッシュメモリ)、光ファイバ、携帯コンパクトディスク読み出し専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、光学記憶装置、磁気記憶装置。又は上述の任意の適切な組合せ。この文章の文脈において、コンピュータ読み取り可能記憶媒体は、命令実行システム、器具若しくは装置により使用され、又はそれらと接続して使用されるためのプログラムを含む、又は保存することができる任意の有形の媒体とすることができる。
コンピュータ読み取り可能媒体上に具体化されるプログラムコードは、限定されないが、無線、有線、光ファイバ、ケーブル、RFなど、又は上述の任意の適切な組合せを含む適切な媒体を用いて送信できる。目下のアレンジメントの側面に対する動作を実行するためのコンピュータプログラムコードは、JavaTM、Smalltalk、C++又は同類のものなどのオブジェクト指向プログラミング言語及びCプログラミング言語又は同様のプログラミング言語などの従来の手続き型プログラミング言語を含む1つ以上のプログラミング言語の任意の組合せで記述することができる。プログラムコードは、ユーザのコンピュータ上で完全に、スタンドアロンソフトウェアパッケージとしてユーザのコンピュータ上で部分的に、ユーザのコンピュータ上で部分的及びリモートコンピュータ上で部分的に、又はリモートコンピュータ若しくはサーバ上で完全に実行することができる。後半のシナリオにおいて、リモートコンピュータは、ローカルエリアネットワーク(LAN)若しくはワイドエリアネットワーク(WAN)を含む任意のタイプのネットワークを通じてユーザのコンピュータに接続でき、又は接続は外部コンピュータと行うこともできる(例えば、インターネットサービスプロバイダを用いたインターネットを通じて)。
ここで使用される用語「a」及び「an」は、1つ又は1つより多いとして定義される。ここで使用される用語「plurality」は、2つ又は2つより多いとして定義される。ここで使用される用語「another」は、少なくとも2番目またはそれ以上として定義される。ここで使用される用語「including」及び/又は「having」は、包含する(comprising)して定義される(即ち、オープンランゲージ)。ここで使用される語句「…と…の少なくとも1つ(at least one of … and …)」は、関連するリストアップされた項目の1つ以上の任意及び全ての可能な組合せを参照し、及び包含する。一例として、語句「A、B及びCの少なくとも1つ(at least one of A , B and C)」は、Aのみ、Bのみ、Cのみ、又はそれらの組合せ(例えば、AB、AC、BC又はABC)を含む。
上記したものは、開示した装置、システム及び方法の実施形態に向けられたものであるが、開示した装置、システム及び方法のその他の及び更なる実施形態が、その基本的な範囲から逸脱することなしに考え出すことができる。その範囲は、以下の特許請求の範囲により決定される。
例1
履歴的に関連するオブジェクトに対する関連付けシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリは、
前記1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を取得させ、前記環境の前記1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産を認識させる命令を含むオブジェクト認識モジュールであって、前記1つ以上の環境資産は少なくとも1つの第2オブジェクトを含む、オブジェクト認識モジュールと、
前記1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも1つの動的オブジェクトを識別させる命令を含む事例識別モジュールであって、前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識を含む、事例識別モジュールと、
前記1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、オブジェクト履歴情報の前記データベースを用いて、前記少なくとも1つの動的オブジェクトの前記少なくとも1つの以前の認識と前記少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別させ、自動装置を用いて、前記1つ以上の関連付けに基づいて、前記少なくとも1つの動的オブジェクトに関連するタスクを実行させる命令を含む関連付けモジュールと、
を格納する、関連付けシステム。
例2
前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の時間的結合に対する情報を含む、例1に記載の関連付けシステム。
例3
前記1つ以上の関連付けは、前記少なくとも1つの動的オブジェクトに関する時間的データ、前記少なくとも1つの第2オブジェクトに関する時間的データ、及び前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の関連付けに関する結合データの少なくとも1つを含む、例1に記載の関連付けシステム。
例4
前記関連付けモジュールは、前記関連付けモジュールのトレーニングの一部として、オブジェクト履歴情報を使用するための命令を更に含む、例1に記載の関連付けシステム。
例5
前記少なくとも1つの第2オブジェクトは、その他の動的オブジェクトである、例1に記載の関連付けシステム。
例6
前記事例識別モジュールは、前記少なくとも1つの動的オブジェクトに対する冗長データ収集を最小化するために、前記オブジェクト履歴情報を使用するための命令を更に含む、例1に記載の関連付けシステム。
例7
前記1つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも1つの動的オブジェクトとの間の関連付けデータを更に含む、例1に記載の関連付けシステム。
例8
前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の場所的結合に対する情報を含む、例1に記載の関連付けシステム。
例9
履歴的に関連するオブジェクトに対する非一時的コンピュータ読み取り可能媒体であって、
前記非一時的コンピュータ読み取り可能媒体は、1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、
少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を取得させ、
前記環境の前記1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産を認識させ、前記1つ以上の環境資産は少なくとも1つの第2オブジェクトを含み、
前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも1つの動的オブジェクトを識別させ、前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識を含み、
オブジェクト履歴情報の前記データベースを用いて、前記少なくとも1つの動的オブジェクトの前記少なくとも1つの以前の認識と前記少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別させ、
自動装置を用いて、前記1つ以上の関連付けに基づいて、前記少なくとも1つの動的オブジェクトに関連するタスクを実行させる命令を格納する、非一時的コンピュータ読み取り可能媒体。
例10
前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の時間的結合に対する情報を含む、例9に記載の非一時的コンピュータ読み取り可能媒体。
例11
前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の場所的結合に対する情報を含む、例9に記載の非一時的コンピュータ読み取り可能媒体。
例12
前記1つ以上の関連付けは、前記少なくとも1つの動的オブジェクトに関する時間的データ、前記少なくとも1つの第2オブジェクトに関する時間的データ、及び前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の関連付けに関する結合データの少なくとも1つを含む、例9に記載の非一時的コンピュータ読み取り可能媒体。
例13
前記少なくとも1つの動的オブジェクトに対する冗長データ収集を最小化するために、前記オブジェクト履歴情報を使用するための命令を更に含む、例9に記載の非一時的コンピュータ読み取り可能媒体。
例14
前記1つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも1つの動的オブジェクトとの間の関連付けデータを更に含む、例9に記載の非一時的コンピュータ読み取り可能媒体。
例15
履歴的に関連するオブジェクトに対する方法あって、
少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を取得するステップと、
前記環境の前記1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産を認識するステップであって、前記1つ以上の環境資産は少なくとも1つの第2オブジェクトを含む、ステップと、
前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも1つの動的オブジェクトを識別するステップであって、前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識を含む、ステップと、
オブジェクト履歴情報の前記データベースを用いて、前記少なくとも1つの動的オブジェクトの前記少なくとも1つの以前の認識と前記少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別するステップと、
自動装置を用いて、前記1つ以上の関連付けに基づいて、前記少なくとも1つの動的オブジェクトに関連するタスクを実行するステップと、
を有する、方法。
例16
前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の時間的結合に対する情報を含む、例15に記載の方法。
例17
前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の場所的結合に対する情報を含む、例15に記載の方法。
例18
前記1つ以上の関連付けは、前記少なくとも1つの動的オブジェクトに関する時間的データ、前記少なくとも1つの第2オブジェクトに関する時間的データ、及び前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の関連付けに関する結合データの少なくとも1つを含む、例15に記載の方法。
例19
前記少なくとも1つの動的オブジェクトに対する冗長データ収集を最小化するために、前記オブジェクト履歴情報を使用するための命令を更に含む、例15に記載の方法。
例20
前記1つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも1つの動的オブジェクトとの間の関連付けデータを更に含む、例15に記載の方法。
履歴的に関連するオブジェクトに対する関連付けシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリは、
前記1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を取得させ、前記環境の前記1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産を認識させる命令を含むオブジェクト認識モジュールであって、前記1つ以上の環境資産は少なくとも1つの第2オブジェクトを含む、オブジェクト認識モジュールと、
前記1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも1つの動的オブジェクトを識別させる命令を含む事例識別モジュールであって、前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識を含む、事例識別モジュールと、
前記1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、オブジェクト履歴情報の前記データベースを用いて、前記少なくとも1つの動的オブジェクトの前記少なくとも1つの以前の認識と前記少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別させ、自動装置を用いて、前記1つ以上の関連付けに基づいて、前記少なくとも1つの動的オブジェクトに関連するタスクを実行させる命令を含む関連付けモジュールと、
を格納する、関連付けシステム。
例2
前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の時間的結合に対する情報を含む、例1に記載の関連付けシステム。
例3
前記1つ以上の関連付けは、前記少なくとも1つの動的オブジェクトに関する時間的データ、前記少なくとも1つの第2オブジェクトに関する時間的データ、及び前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の関連付けに関する結合データの少なくとも1つを含む、例1に記載の関連付けシステム。
例4
前記関連付けモジュールは、前記関連付けモジュールのトレーニングの一部として、オブジェクト履歴情報を使用するための命令を更に含む、例1に記載の関連付けシステム。
例5
前記少なくとも1つの第2オブジェクトは、その他の動的オブジェクトである、例1に記載の関連付けシステム。
例6
前記事例識別モジュールは、前記少なくとも1つの動的オブジェクトに対する冗長データ収集を最小化するために、前記オブジェクト履歴情報を使用するための命令を更に含む、例1に記載の関連付けシステム。
例7
前記1つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも1つの動的オブジェクトとの間の関連付けデータを更に含む、例1に記載の関連付けシステム。
例8
前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の場所的結合に対する情報を含む、例1に記載の関連付けシステム。
例9
履歴的に関連するオブジェクトに対する非一時的コンピュータ読み取り可能媒体であって、
前記非一時的コンピュータ読み取り可能媒体は、1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、
少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を取得させ、
前記環境の前記1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産を認識させ、前記1つ以上の環境資産は少なくとも1つの第2オブジェクトを含み、
前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも1つの動的オブジェクトを識別させ、前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識を含み、
オブジェクト履歴情報の前記データベースを用いて、前記少なくとも1つの動的オブジェクトの前記少なくとも1つの以前の認識と前記少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別させ、
自動装置を用いて、前記1つ以上の関連付けに基づいて、前記少なくとも1つの動的オブジェクトに関連するタスクを実行させる命令を格納する、非一時的コンピュータ読み取り可能媒体。
例10
前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の時間的結合に対する情報を含む、例9に記載の非一時的コンピュータ読み取り可能媒体。
例11
前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の場所的結合に対する情報を含む、例9に記載の非一時的コンピュータ読み取り可能媒体。
例12
前記1つ以上の関連付けは、前記少なくとも1つの動的オブジェクトに関する時間的データ、前記少なくとも1つの第2オブジェクトに関する時間的データ、及び前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の関連付けに関する結合データの少なくとも1つを含む、例9に記載の非一時的コンピュータ読み取り可能媒体。
例13
前記少なくとも1つの動的オブジェクトに対する冗長データ収集を最小化するために、前記オブジェクト履歴情報を使用するための命令を更に含む、例9に記載の非一時的コンピュータ読み取り可能媒体。
例14
前記1つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも1つの動的オブジェクトとの間の関連付けデータを更に含む、例9に記載の非一時的コンピュータ読み取り可能媒体。
例15
履歴的に関連するオブジェクトに対する方法あって、
少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を取得するステップと、
前記環境の前記1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産を認識するステップであって、前記1つ以上の環境資産は少なくとも1つの第2オブジェクトを含む、ステップと、
前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも1つの動的オブジェクトを識別するステップであって、前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識を含む、ステップと、
オブジェクト履歴情報の前記データベースを用いて、前記少なくとも1つの動的オブジェクトの前記少なくとも1つの以前の認識と前記少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別するステップと、
自動装置を用いて、前記1つ以上の関連付けに基づいて、前記少なくとも1つの動的オブジェクトに関連するタスクを実行するステップと、
を有する、方法。
例16
前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の時間的結合に対する情報を含む、例15に記載の方法。
例17
前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の場所的結合に対する情報を含む、例15に記載の方法。
例18
前記1つ以上の関連付けは、前記少なくとも1つの動的オブジェクトに関する時間的データ、前記少なくとも1つの第2オブジェクトに関する時間的データ、及び前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の関連付けに関する結合データの少なくとも1つを含む、例15に記載の方法。
例19
前記少なくとも1つの動的オブジェクトに対する冗長データ収集を最小化するために、前記オブジェクト履歴情報を使用するための命令を更に含む、例15に記載の方法。
例20
前記1つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも1つの動的オブジェクトとの間の関連付けデータを更に含む、例15に記載の方法。
Claims (15)
- 履歴的に関連するオブジェクトに対する関連付けシステムであって、
1つ以上のプロセッサと、
前記1つ以上のプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリは、
前記1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を取得させ、前記環境の前記1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産を認識させる命令を含むオブジェクト認識モジュールであって、前記1つ以上の環境資産は少なくとも1つの第2オブジェクトを含む、オブジェクト認識モジュールと、
前記1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも1つの動的オブジェクトを識別させる命令を含む事例識別モジュールであって、前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識を含む、事例識別モジュールと、
前記1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、オブジェクト履歴情報の前記データベースを用いて、前記少なくとも1つの動的オブジェクトの前記少なくとも1つの以前の認識と前記少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別させ、自動装置を用いて、前記1つ以上の関連付けに基づいて、前記少なくとも1つの動的オブジェクトに関連するタスクを実行させる命令を含む関連付けモジュールと、
を格納する、関連付けシステム。 - 前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の時間的結合に対する情報を含む、請求項1に記載の関連付けシステム。
- 前記1つ以上の関連付けは、前記少なくとも1つの動的オブジェクトに関する時間的データ、前記少なくとも1つの第2オブジェクトに関する時間的データ、及び前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の関連付けに関する結合データの少なくとも1つを含む、請求項1に記載の関連付けシステム。
- 前記関連付けモジュールは、前記関連付けモジュールのトレーニングの一部として、オブジェクト履歴情報を使用するための命令を更に含む、請求項1に記載の関連付けシステム。
- 前記1つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも1つの動的オブジェクトとの間の関連付けデータを更に含む、請求項1に記載の関連付けシステム。
- 履歴的に関連するオブジェクトに対する非一時的コンピュータ読み取り可能媒体であって、
前記非一時的コンピュータ読み取り可能媒体は、1つ以上のプロセッサにより実行されるとき、前記1つ以上のプロセッサに、
少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を取得させ、
前記環境の前記1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産を認識させ、前記1つ以上の環境資産は少なくとも1つの第2オブジェクトを含み、
前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも1つの動的オブジェクトを識別させ、前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識を含み、
オブジェクト履歴情報の前記データベースを用いて、前記少なくとも1つの動的オブジェクトの前記少なくとも1つの以前の認識と前記少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別させ、
自動装置を用いて、前記1つ以上の関連付けに基づいて、前記少なくとも1つの動的オブジェクトに関連するタスクを実行させる命令を格納する、非一時的コンピュータ読み取り可能媒体。 - 前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の時間的結合に対する情報を含む、請求項6に記載の非一時的コンピュータ読み取り可能媒体。
- 前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の場所的結合に対する情報を含む、請求項6に記載の非一時的コンピュータ読み取り可能媒体。
- 前記1つ以上の関連付けは、前記少なくとも1つの動的オブジェクトに関する時間的データ、前記少なくとも1つの第2オブジェクトに関する時間的データ、及び前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の関連付けに関する結合データの少なくとも1つを含む、請求項6に記載の非一時的コンピュータ読み取り可能媒体。
- 前記1つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも1つの動的オブジェクトとの間の関連付けデータを更に含む、請求項6に記載の非一時的コンピュータ読み取り可能媒体。
- 履歴的に関連するオブジェクトに対する方法あって、
少なくとも1つの画像キャプチャ装置を用いて、環境の1つ以上の画像を取得するステップと、
前記環境の前記1つ以上の画像内の少なくとも1つの動的オブジェクト及び1つ以上の環境資産を認識するステップであって、前記1つ以上の環境資産は少なくとも1つの第2オブジェクトを含む、ステップと、
前記環境に対するオブジェクト履歴情報のデータベース内の前記少なくとも1つの動的オブジェクトを識別するステップであって、前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトの少なくとも1つの以前の認識を含む、ステップと、
オブジェクト履歴情報の前記データベースを用いて、前記少なくとも1つの動的オブジェクトの前記少なくとも1つの以前の認識と前記少なくとも1つの第2オブジェクトとの間の1つ以上の関連付けを識別するステップと、
自動装置を用いて、前記1つ以上の関連付けに基づいて、前記少なくとも1つの動的オブジェクトに関連するタスクを実行するステップと、
を有する、方法。 - 前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の時間的結合に対する情報を含む、請求項11に記載の方法。
- 前記オブジェクト履歴情報は、前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の場所的結合に対する情報を含む、請求項11に記載の方法。
- 前記1つ以上の関連付けは、前記少なくとも1つの動的オブジェクトに関する時間的データ、前記少なくとも1つの第2オブジェクトに関する時間的データ、及び前記少なくとも1つの動的オブジェクトと前記少なくとも1つの第2オブジェクトとの間の関連付けに関する結合データの少なくとも1つを含む、請求項11に記載の方法。
- 前記1つ以上の環境資産は、静的オブジェクトを更に含み、前記オブジェクト履歴情報は、前記静的オブジェクトと前記少なくとも1つの動的オブジェクトとの間の関連付けデータを更に含む、請求項11に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/803,143 US11003916B2 (en) | 2017-11-03 | 2017-11-03 | Systems and methods for object historical association |
US15/803,143 | 2017-11-03 | ||
JP2018207264A JP7346019B2 (ja) | 2017-11-03 | 2018-11-02 | オブジェクト履歴関連付けにおけるシステムと方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018207264A Division JP7346019B2 (ja) | 2017-11-03 | 2018-11-02 | オブジェクト履歴関連付けにおけるシステムと方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023103345A true JP2023103345A (ja) | 2023-07-26 |
Family
ID=66328667
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018207264A Active JP7346019B2 (ja) | 2017-11-03 | 2018-11-02 | オブジェクト履歴関連付けにおけるシステムと方法 |
JP2023077945A Withdrawn JP2023103345A (ja) | 2017-11-03 | 2023-05-10 | オブジェクト履歴関連付けにおけるシステムと方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018207264A Active JP7346019B2 (ja) | 2017-11-03 | 2018-11-02 | オブジェクト履歴関連付けにおけるシステムと方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11003916B2 (ja) |
JP (2) | JP7346019B2 (ja) |
CN (1) | CN109753865B (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11003916B2 (en) * | 2017-11-03 | 2021-05-11 | Toyota Research Institute, Inc. | Systems and methods for object historical association |
US11159798B2 (en) * | 2018-08-21 | 2021-10-26 | International Business Machines Corporation | Video compression using cognitive semantics object analysis |
US11217012B2 (en) * | 2018-11-16 | 2022-01-04 | Uatc, Llc | System and method for identifying travel way features for autonomous vehicle motion control |
CN110826724A (zh) * | 2019-10-22 | 2020-02-21 | 深圳前海达闼云端智能科技有限公司 | 一种检测数据处理的方法、装置、终端和存储介质 |
CN111162520B (zh) * | 2019-12-27 | 2022-09-20 | 中国电力科学研究院有限公司 | 一种电网映像方法及系统 |
WO2022256249A1 (en) * | 2021-06-02 | 2022-12-08 | May Mobility, Inc. | Method and system for remote assistance of an autonomous agent |
Family Cites Families (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6445409B1 (en) | 1997-05-14 | 2002-09-03 | Hitachi Denshi Kabushiki Kaisha | Method of distinguishing a moving object and apparatus of tracking and monitoring a moving object |
JP3077745B2 (ja) | 1997-07-31 | 2000-08-14 | 日本電気株式会社 | データ処理方法および装置、情報記憶媒体 |
US6107918A (en) | 1997-11-25 | 2000-08-22 | Micron Electronics, Inc. | Method for personal computer-based home surveillance |
US7099510B2 (en) * | 2000-11-29 | 2006-08-29 | Hewlett-Packard Development Company, L.P. | Method and system for object detection in digital images |
US7401054B1 (en) | 2001-03-26 | 2008-07-15 | Accenture Gmbh | Content bank for objects |
WO2002101593A2 (en) * | 2001-06-08 | 2002-12-19 | Idcomm, Inc. | System and method for managing historical information on an object on an electronic tag |
JP3918813B2 (ja) * | 2001-10-23 | 2007-05-23 | ソニー株式会社 | データ通信システム、データ送信装置、並びにデータ受信装置 |
US7227893B1 (en) * | 2002-08-22 | 2007-06-05 | Xlabs Holdings, Llc | Application-specific object-based segmentation and recognition system |
US7135992B2 (en) * | 2002-12-17 | 2006-11-14 | Evolution Robotics, Inc. | Systems and methods for using multiple hypotheses in a visual simultaneous localization and mapping system |
JP2004302785A (ja) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | 移動ロボットの画像送信装置 |
US7367497B1 (en) | 2003-12-09 | 2008-05-06 | Jason Lester Hill | Electronic access control, tracking and paging system |
JP4481663B2 (ja) * | 2004-01-15 | 2010-06-16 | キヤノン株式会社 | 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム |
US7689321B2 (en) * | 2004-02-13 | 2010-03-30 | Evolution Robotics, Inc. | Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system |
US7663661B2 (en) * | 2004-03-16 | 2010-02-16 | 3Vr Security, Inc. | Feed-customized processing of multiple video streams in a pipeline architecture |
US7697026B2 (en) * | 2004-03-16 | 2010-04-13 | 3Vr Security, Inc. | Pipeline architecture for analyzing multiple video streams |
US8589315B2 (en) * | 2004-08-14 | 2013-11-19 | Hrl Laboratories, Llc | Behavior recognition using cognitive swarms and fuzzy graphs |
JP2006110707A (ja) * | 2004-09-14 | 2006-04-27 | Sony Corp | ロボット装置 |
US7720652B2 (en) | 2004-10-19 | 2010-05-18 | Microsoft Corporation | Modeling location histories |
JP4650669B2 (ja) * | 2004-11-04 | 2011-03-16 | 富士ゼロックス株式会社 | 動体認識装置 |
US20060262188A1 (en) | 2005-05-20 | 2006-11-23 | Oded Elyada | System and method for detecting changes in an environment |
US7676064B2 (en) * | 2006-05-17 | 2010-03-09 | The Boeing Company | Sensor scan planner |
JP2008026997A (ja) * | 2006-07-18 | 2008-02-07 | Denso Corp | 歩行者認識装置及び歩行者認識方法 |
DE102006048163B4 (de) * | 2006-07-31 | 2013-06-06 | Pilz Gmbh & Co. Kg | Kamerabasierte Überwachung bewegter Maschinen und/oder beweglicher Maschinenelemente zur Kollisionsverhinderung |
US20080033645A1 (en) * | 2006-08-03 | 2008-02-07 | Jesse Sol Levinson | Pobabilistic methods for mapping and localization in arbitrary outdoor environments |
JP5114924B2 (ja) | 2006-11-02 | 2013-01-09 | 富士通株式会社 | 防犯ロボットシステムによる警告方法及び防犯ロボットシステム |
US7792328B2 (en) * | 2007-01-12 | 2010-09-07 | International Business Machines Corporation | Warning a vehicle operator of unsafe operation behavior based on a 3D captured image stream |
US7801332B2 (en) * | 2007-01-12 | 2010-09-21 | International Business Machines Corporation | Controlling a system based on user behavioral signals detected from a 3D captured image stream |
JP5284599B2 (ja) * | 2007-03-30 | 2013-09-11 | 株式会社日立国際電気 | 画像処理装置 |
WO2008126389A1 (ja) * | 2007-04-02 | 2008-10-23 | Panasonic Corporation | 安全運転支援装置 |
US9582937B2 (en) | 2008-01-02 | 2017-02-28 | Nokia Technologies Oy | Method, apparatus and computer program product for displaying an indication of an object within a current field of view |
US8224029B2 (en) * | 2008-03-03 | 2012-07-17 | Videoiq, Inc. | Object matching for tracking, indexing, and search |
US9161715B2 (en) * | 2008-05-23 | 2015-10-20 | Invention Science Fund I, Llc | Determination of extent of congruity between observation of authoring user and observation of receiving user |
JP4422792B1 (ja) * | 2008-07-08 | 2010-02-24 | パナソニック株式会社 | 物品推定装置及び物品位置推定装置、物品推定方法、並びに、物品推定プログラム |
US8126833B2 (en) * | 2008-09-11 | 2012-02-28 | Behavioral Recognition Systems, Inc. | Detecting anomalous events using a long-term memory in a video analysis system |
JP5500559B2 (ja) | 2009-06-03 | 2014-05-21 | 学校法人中部大学 | 物体検出装置 |
US8649565B1 (en) * | 2009-06-18 | 2014-02-11 | Hrl Laboratories, Llc | System for automatic object localization based on visual simultaneous localization and mapping (SLAM) and cognitive swarm recognition |
JP5203319B2 (ja) * | 2009-08-25 | 2013-06-05 | セコム株式会社 | 置き去り監視装置 |
JP5709367B2 (ja) * | 2009-10-23 | 2015-04-30 | キヤノン株式会社 | 画像処理装置、および画像処理方法 |
US8913085B2 (en) * | 2010-12-22 | 2014-12-16 | Intel Corporation | Object mapping techniques for mobile augmented reality applications |
JP5724543B2 (ja) * | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 端末装置、オブジェクト制御方法及びプログラム |
US8526677B1 (en) * | 2012-07-16 | 2013-09-03 | Google Inc. | Stereoscopic camera with haptic feedback for object and location detection |
IN2013MU02571A (ja) | 2013-08-05 | 2015-06-12 | Tata Consultancy Services Ltd | |
CN103557859B (zh) * | 2013-10-10 | 2015-12-23 | 北京智谷睿拓技术服务有限公司 | 图像采集定位方法及图像采集定位系统 |
CN103630116B (zh) * | 2013-10-10 | 2016-03-23 | 北京智谷睿拓技术服务有限公司 | 图像采集定位方法及图像采集定位装置 |
EP3736732A1 (en) * | 2014-01-30 | 2020-11-11 | Mobileye Vision Technologies Ltd. | Systems and methods for lane end recognition |
US9420559B2 (en) * | 2014-08-19 | 2016-08-16 | International Business Machines Corporation | Obstacle detection and warning system using a mobile device |
US10491695B2 (en) * | 2014-08-22 | 2019-11-26 | Oracle International Corporation | Autosave with across user session undo support |
CN105700819B (zh) * | 2014-11-28 | 2019-04-12 | 国际商业机器公司 | 用于网络数据存储的方法和系统 |
US10460600B2 (en) * | 2016-01-11 | 2019-10-29 | NetraDyne, Inc. | Driver behavior monitoring |
CN107179767B (zh) * | 2016-03-10 | 2021-10-08 | 松下电器(美国)知识产权公司 | 驾驶控制装置、驾驶控制方法以及非瞬时性记录介质 |
US10740767B2 (en) * | 2016-06-28 | 2020-08-11 | Alitheon, Inc. | Centralized databases storing digital fingerprints of objects for collaborative authentication |
US10505962B2 (en) * | 2016-08-16 | 2019-12-10 | Nec Corporation | Blackbox program privilege flow analysis with inferred program behavior context |
US10430657B2 (en) * | 2016-12-12 | 2019-10-01 | X Development Llc | Object recognition tool |
JP2018103925A (ja) * | 2016-12-28 | 2018-07-05 | 日立オートモティブシステムズ株式会社 | 車両制御装置 |
MX2019008983A (es) * | 2017-01-30 | 2019-09-18 | Walmart Apollo Llc | Metodos y sistemas roboticos autonomos distribuidos. |
US11003916B2 (en) * | 2017-11-03 | 2021-05-11 | Toyota Research Institute, Inc. | Systems and methods for object historical association |
US11110932B2 (en) * | 2017-11-03 | 2021-09-07 | Toyota Research Institute, Inc. | Methods and systems for predicting object action |
US10546202B2 (en) * | 2017-12-14 | 2020-01-28 | Toyota Research Institute, Inc. | Proving hypotheses for a vehicle using optimal experiment design |
US10503165B2 (en) * | 2017-12-22 | 2019-12-10 | Toyota Research Institute, Inc. | Input from a plurality of teleoperators for decision making regarding a predetermined driving situation |
-
2017
- 2017-11-03 US US15/803,143 patent/US11003916B2/en active Active
-
2018
- 2018-11-02 JP JP2018207264A patent/JP7346019B2/ja active Active
- 2018-11-02 CN CN201811297684.0A patent/CN109753865B/zh active Active
-
2023
- 2023-05-10 JP JP2023077945A patent/JP2023103345A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
CN109753865A (zh) | 2019-05-14 |
CN109753865B (zh) | 2023-12-26 |
JP2019087250A (ja) | 2019-06-06 |
JP7346019B2 (ja) | 2023-09-19 |
US11003916B2 (en) | 2021-05-11 |
US20190138817A1 (en) | 2019-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7346019B2 (ja) | オブジェクト履歴関連付けにおけるシステムと方法 | |
US11710075B2 (en) | Hazard recognition | |
Mastorakis et al. | Fall detection system using Kinect’s infrared sensor | |
CN107045623B (zh) | 一种基于人体姿态跟踪分析的室内危险情况告警的方法 | |
Planinc et al. | Introducing the use of depth data for fall detection | |
Alvarez et al. | Behavior analysis through multimodal sensing for care of Parkinson’s and Alzheimer’s patients | |
Twomey et al. | The SPHERE challenge: Activity recognition with multimodal sensor data | |
Stone et al. | Unobtrusive, continuous, in-home gait measurement using the Microsoft Kinect | |
US20150302310A1 (en) | Methods for data collection and analysis for event detection | |
CN105794191A (zh) | 识别数据传输装置 | |
JP6351860B2 (ja) | 行動識別装置、空気調和機およびロボット制御装置 | |
JP6817974B2 (ja) | 計算機システム | |
Bellotto et al. | Enrichme integration of ambient intelligence and robotics for aal | |
Liciotti et al. | Human activity analysis for in-home fall risk assessment | |
JP2016058078A (ja) | 連想メモリによって分類されたフレームを使用して位置に対する計量値を取得すること | |
Gomes et al. | Multi-human fall detection and localization in videos | |
CN114972727A (zh) | 用于多模态神经符号场景理解的系统和方法 | |
US20220093241A1 (en) | Correlating interaction effectiveness to contact time using smart floor tiles | |
Mettel et al. | Designing and evaluating safety services using depth cameras | |
Chand et al. | Tracking a person’s behaviour in a smart house | |
JP7306152B2 (ja) | 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム | |
US20230326318A1 (en) | Environment sensing for care systems | |
US20220093277A1 (en) | Path analytics of disease vectors in a physical space using smart floor tiles | |
JP5712401B2 (ja) | 行動監視システム、行動監視プログラム、及び行動監視方法 | |
US20210158057A1 (en) | Path analytics of people in a physical space using smart floor tiles |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230525 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230525 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20231120 |