JP2021512297A

JP2021512297A - 可変シーンでの複数の設備による視覚ナビゲーション方法及びシステム

Info

Publication number: JP2021512297A
Application number: JP2020540757A
Authority: JP
Inventors: リウ、チョー
Original assignee: Zhuineng Robotics Shanghai Co Ltd
Current assignee: Zhuineng Robotics Shanghai Co Ltd
Priority date: 2018-01-24
Filing date: 2018-08-29
Publication date: 2021-05-13
Also published as: WO2019144617A1; EP3745085A1; US20210041886A1; CN108267121A; KR20200116111A

Abstract

可変シーンでの複数の設備による視覚ナビゲーション方法及びシステムであって、複数の設備によってシーン画像を連続的に撮影して画像のデータ化された特徴情報を取得し、その中からキーフレームのデータ化された特徴情報を抽出し、サーバー端末（又はクラウド）に送信する。サーバー端末（又はクラウド）は最も新たに取得したキーフレームのデータ化された特徴情報でシーンの空白スペースを補填し、シーンのナビゲーションデータの拡充を完成する。最も新たに取得したデータ化された特徴情報を加えた後、領域内の既存データにおる最も類似していないデータ化された特徴情報を置き換え、シーンのナビゲーションデータの更新を完成する。サーバーは修正、更新されたデータ化された特徴情報を各端末デバイスに配布し、従って、ナビゲーションデータのリアルタイム更新も保証され、クラスター化された自律ナビゲーションも実現される。【選択図】図１

Description

本発明は、ロボットナビゲーションの技術分野に関し、具体的には可変シーンでの複数の設備による視覚ナビゲーション方法及びシステムに関するものである。

現在、自動ナビゲーションロボットは倉庫の自動化、特に自動ナビゲーションロボットに基づくＧＴＰ（グッズ・トゥ・パーソン）システムにおいて広く応用されている。現在の自動ナビゲーションロボットの倉庫における先進的な位置決め方法として、主に次のようなものがある。

１．レーザー反射に基づくレーザー位置決めシステム
（ａ）価格が高い。
（ｂ）反射板を設置する場所を遮ってはならないため、使用時は走行経路に広いスペースを確保する必要があり、倉庫内の相当なスペースが無駄になる。
（ｃ）温度による影響を受ける。
（ｄ）屋内でのみ使用できる。

２．屋内シーン再構築に基づく視覚位置決め
（ａ）精度が低く、使用時は走行経路に広いスペースを確保する必要があり、倉庫内の相当なスペースが無駄になる。
（ｂ）重複シーンに対応できない。
（ｃ）頻繁に変化するシーンに対応できない。特にＧＴＰ倉庫保管の分野で、棚が動き続けているため、シーンも変化し続けている。
（ｄ）設備は独自に動作しているため、異なる設備の間の再構築シーンに偏差があり、正確な位置決めと再構築シーンの統一が不可能である。よって、屋内シーン再構築に基づく視覚位置決めシステムにおいて、動作している設備は少ない。

３．床面識別コードに基づく位置決めシステム
（ａ）精度が高いが、摩耗しやすい床面標示に依存している。
（ｂ）シーンに入るには、測定と敷設のために多くの人手が必要である。
（ｃ）設備が通常ルートから大幅にずれると、標示によって補正することができない。

本発明は従来技術における上記問題を解決する方法及びシステムを提供することを目的とする。

上記目的を達成するために、本発明は具体的な解決手段として、可変シーンでの複数の設備による視覚ナビゲーション方法を提供し、上記方法は、
第１設備はシーンのビデオシーケンスを撮影し、かつビデオシーケンスにおける各フレームの画像のデータ化された特徴情報を取得するステップと、
第１設備はデータ化された特徴情報に基づいて比較し、ビデオシーケンスにおけるキーフレームを抽出し、かつ前記キーフレームのデータ化された特徴情報を第2設備にアップロードするステップと、
第２設備は第1設備によってアップロードされたデータ化された特徴情報を比較及び選別し、かつシーンのナビゲーションデータの構築、更新、及び配布を完成するために、選別後のデータ化された特徴情報を再構成するステップとを含む。

さらに、前記データ化された特徴情報の取得プロセスは、
第１設備は、シーンにおける床面の画像を収集することと、
前記画像における特徴点を識別し、かつ特徴点から特徴点の特徴情報を抽出することと、
前記画像のデータ化された特徴情報を形成するために、画像中特徴点の特徴情報をフォーマット及びデータ化することと含むことを特徴とする。

さらに、前記画像のデータ化された特徴情報はフォーマットのように配列されて形成された配列データであり、前記データ化された特徴情報は画像位置、特徴点の座標、特徴点の方向、特徴点のサイズ、及び特徴点の記述因子を含む。

さらに、前記キーフレームの抽出プロセスは、
新たに取得した画像のデータ化された特徴情報とデータベースに保存されているキーフレームのデータ化された特徴情報に対して検索と比較を行うことと、
新たに取得した画像とデータベースに保存されているキーフレームのデータ化された特徴情報の比較結果に基づいて類似度評価値を与えることと、
類似度評価値が設定閾値より小さい場合、当該フレームはキーフレームであることとを含む。

さらに、特徴点の幾何学的位置と特徴点の記述因子によって前記データ化された特徴情報に対して検索と比較を行い、前記特徴点の幾何学的位置は特徴点の位置、サイズ、及び方向によって算出される。

さらに、前記類似度評価値は、画像のデータ化された特徴情報の比較結果におる記述因子と幾何学的位置が一致する特徴点の数である。

さらに、前記第２設備がデータ化された特徴情報に対して行う選別と構築プロセスは、
データ化された特徴情報を受信して保存し、データ化された特徴情報のデータ集合を形成することと、
データ集合におけるデータ化された特徴情報の数が上限に達した場合、最も新たに受信したデータ化された特徴情報を残し、他のデータ化された特徴情報に対して優先順位付けを行い、かつ優先順位が最も低いデータ化された特徴情報を削除することと、
シーンのナビゲーションデータを構築するために、データ集合中のすべてのデータ化された特徴情報に対して修正と閉ループ検出を行うこととを含む。

さらに、データ集合におるデータ化された特徴情報の数の上限を設定し、前記数の上限は各画像位置におけるデータ化された特徴情報の数の上限である。

さらに、前記データ化された特徴情報の優先順位付けは、

新たに受信したデータ化された特徴情報とその画像位置、及びその隣接範囲内のすべてのデータ化された特徴情報に対して2つずつ類似度を比較することと、
空間変換モデルによって、データ化された特徴情報の間の特徴点位置、特徴点方向、特徴点サイズ、及び特徴記述因子が一致する特徴点の数を検出することと、
一致する特徴点の数によってデータ化された特徴情報の優先順位付けを行うこととを含む。

さらに、前記空間変換モデルはデータ集合中のデータ化された特徴情報の特徴点位置、特徴点方向、特徴点サイズ、及び特徴点の記述因子を比較することによって生成される。

一方、本発明は可変シーンでの複数の設備による視覚ナビゲーションシステムをさらに提供し、該当システムは、
シーンにおける床面のビデオシーケンスを撮影し、かつビデオシーケンスにおける各フレームの画像のデータ化された特徴情報を取得し、データ化された特徴情報に基づいて比較し、ビデオシーケンスにおけるキーフレームを抽出し、かつ当該キーフレームのデータ化された特徴情報を第2設備にアップロードするための第１設備と、
第１設備によってアップロードされたデータ化された特徴情報を比較及び選別し、かつシーンのナビゲーションデータの構築、更新、及び配布を完成するために、選別後のデータ化された特徴情報を再構成する第２設備とを含む。

さらに、前記第1設備は自律ナビゲーション設備、又はAGV運搬車に設置される自律ナビゲーション設備であり、前記第2設備は第1設備と通信可能に接続されるサーバー端末である。

さらに、前記自律ナビゲーション設備とサーバー端末の数の比率はｎ：ｍであり、ここで、ｎは１より大きい自然数であり、ここで、ｍは１以上の自然数である。

さらに、前記第１設備は、
シーンにおける床面の画像フレームを収集するためのビデオ収集ユニットと、
前記画像フレームにおける特徴点を識別し、画像フレームのデータ化された特徴情報を形成するための画像情報識別ユニットと、
キーフレームを抽出するために、取得したフレームのデータ化された特徴情報と前に抽出した前記キーフレームのデータ化された特徴情報に対して検索と比較を行うキーフレーム抽出ユニットと、
前記キーフレーム抽出ユニットによって抽出されたキーフレームのデータ化された特徴情報を第2設備に送信するための通信ユニットとを含む。

さらに、前記第２設備は、
最も新たに取得したデータ化された特徴情報と前に取得したデータ化された特徴情報に対して類似度を比較し、かつ選別する時に比較結果に基づいて優先順位付けを行うデータ化された特徴情報選別ユニットと、
データ化された特徴情報に基づいてシーンのナビゲーションデータを構築するナビゲーションデータ構築ユニットとを含む。

本発明は従来技術と比べて、以下の利点と有益な効果を有する。

本発明の可変シーンでの複数の設備による視覚ナビゲーション方法及びシステムは、一方、複数の設備でシーンにおける床面の画像を連続的に撮影することによって、床面画像の特徴情報、及び当該特徴情報によって形成された画像データ化された特徴情報を抽出し、さらにネットワークを介して、キーフレームのフォーマットされたデータをサーバー端末（又はクラウド）に送信する。このように、フォーマットされたデータのみを送信する必要があるため、ネットワーク伝送のリアルタイム性が向上し、ネットワークの帯域幅とリソースが節約され、また、床面ビデオを撮影することにより、可変シーンにおける識別精度と信頼性の問題が回避される。他方、サーバー端末（又はクラウド）は当該キーフレームのデータ化された特徴情報に基づいて、前に取得したデータ化された特徴情報と比較、修正、及び選別を行う。最も新たに取得したデータ化された特徴情報でシーンの空白スペースを補填し、それによってシーンのナビゲーションデータが拡充される。或いは、最も新たに取得したデータ化された特徴情報を加えた後、領域内の既存データにおける最も類似していないデータ化された特徴情報を置き換え、それによってシーンのナビゲーションデータの更新が完成される。最後に、サーバーは修正、更新されたデータ化された特徴情報を各端末設備に送信する。このように、ナビゲーションデータのリアルタイム更新も保証され、それと同時に、複数の設備に配布し、クラスター化された自律ナビゲーションを実現することもできる。

本発明に係る可変シーンでの複数の設備によるビデオナビゲーション方法のフローチャートである。本発明に係るデータ化された特徴情報を取得する方法のフローチャートである。本発明に係るキーフレームを抽出する方法のフローチャートである。

本発明の実施例、または従来技術の技術的解決手段をより明確に説明するために、以下に、実施例、または従来技術の記述において必要な図面を用いて簡単に説明を行うが、当然ながら、以下に記載する図面は単に本発明の幾つかの実施例であって、当業者であれば、創造的な労力を要することなく、これらの図面に基づいて他の図面にも想到しうる。

以下において、本発明実施例の図面と共に本発明の実施例の技術的解決手段を明瞭、かつ完全に説明するが、当然ながら，説明する実施例は本発明の一部の実施例にすぎず，すべての実施例ではない。本発明の実施例に基づいて、当業者が創造的な労力を払わずに想到しうるすべての他の実施例は、いずれも本発明の保護する範囲に属する。

本発明が提供する可変シーンでの複数の設備によるビデオナビゲーション方法及びシステムであって、それは主に、倉庫保管の自動化などのような、可変で、複雑なシーンに適用される。倉庫保管の自動化環境は、主に移動棚と自動ナビゲーションロボットを含み、ここで、移動棚の底部には、自動ナビゲーションロボットを収容するスペースがあり、自動ナビゲーションロボットは、四方向から移動棚の底部に入り、そして移動棚を持ち上げ、作業エリア又は保管エリアに運搬することができる。実際の運搬において、大量の移動棚は自動ナビゲーションロボットによって、作業エリアと保管エリアの間に往復運搬されることによってリアルタイムで変化する複雑なシーンに構成される。このような変化しやすく複雑なシーンにおいて、ＳＬＡＭ（位置特定と地図作成を同時に行う）技術、すなわちシーン画像を捕捉することによって識別するものに基づく自動ナビゲーション方法は、棚が移動し続けながら識別することも、棚の重複的な配列を識別することもできない。床面識別コードに基づく識別方式を採用すると、シーンで識別コードを敷設するために多くの人手と資金が要るという問題、及び自動ナビゲーションロボットが運動軌跡からずれる時、識別コードによって路線の偏向補正と再位置決めを行うことができないという問題がある。

上記の技術的課題に基づき、本発明が提供する可変シーンでの複数の設備によるビデオナビゲーション方法は、スタンドアローンシーン識別又は識別コード位置決めの方式を捨てて、分散型の方法、すなわちフロントエンドにおる複数の第１設備がシーンにおける床面画像（又は床面パターン画像と呼ばれる）を取得する方式を採用し、バックグラウンド（例えば、サーバー又はクラウド）において、複数の第1設備によってアップロードされた床面画像情報に対する分析、選別、及び最適化を行うことで、シーンにおける床面画像（又は床面パターン画像と呼ばれる）に基づくシーン構築を完成する。各第１設備はこの動作プロセスにおいて、シーンにおける床面画像をリアルタイムで取得し、アップロードし、更新し、すなわち、可変で、重複的なシーンでの位置決めとナビゲーションが実現できる。

以下において、図１に関連し、本発明の実施例に開示される可変シーンでの複数の設備によるビデオナビゲーション方法について詳しく説明し、図１には、本実施例に開示される可変シーンでの複数の設備によるビデオナビゲーション方法のフローチャートを例示的に示される。

図１に示すように、本実施例が提供する可変シーンでの複数の設備によるビデオナビゲーション方法は、以下のステップが含まれる。
ステップＳ１、第１設備はシーンのビデオシーケンスを撮影し、かつビデオシーケンスにおける各フレームの画像のデータ化された特徴情報を取得する。

ここで、第1設備はＡＧＶロボットであってもよく、ＡＧＶロボット又は他の移動設備に統合された自律ナビゲーション設備であってもよい。第１設備は、深度カメラ、ステレオカメラ、単眼／多眼カメラ又は一般カメラなどのような様々な画像収集装置によって床面画像を撮影する。最初の撮影の前に、第1設備の運動軌跡はディスパッチサーバーによって設定される。ディスパッチサーバーにはシーンの形状、サイズ、レイアウトなどの基本情報が保存されており、且つ、シーンの基本情報はディスパッチサーバーに事前に入力されており、その目的は、各第１設備の最初の撮影時の運動軌跡がシーン全体をできるだけカバーすることを確保する。

好ましくは、本実施例は普通カメラを例に挙げ、カメラはＡＧＶロボットに取り付けられ、床面と一定の撮影夾角をなしてもよく、９０°の夾角で床面画像を垂直に撮影することに限らない。第１設備は運動軌跡に沿ってシーンにおいて移動し、カメラはシーンにおける床面をリアルタイムで撮影し、連続する複数のフレームで構成されるビデオシーケンスを形成する。ビデオシーケンスを取得すると同時に、第１設備はビデオシーケンスにおける各フレームの画像のデータ化された特徴情報を取得する。

好ましくは、ビデオシーケンスにおける複数のフレームはビデオシーケンスにおけるすべてのフレームである必要がなく、そのうち一部のフレームであってもよく、一方、複数のフレームは連続する複数のフレームであってもよく、所定のフレーム間隔でビデオシーケンスから抽出して、不連続な複数のフレームの画像であってもよい。

好ましくは、データ化された特徴情報はフォーマットのように配列された、画像のデータ化された特徴情報を含む配列データである。図２に示すように、データ化された特徴情報の取得するプロセスは以下のとおりである。

Ｓ１０１、第１設備は、シーンにおける床面の画像を収集する。
Ｓ１０２、前記画像における特徴点を識別し、且つ特徴点から特徴点の特徴情報を抽出する。
Ｓ１０３、前記画像のデータ化された特徴情報を形成するように、画像におる特徴点の特徴情報をフォーマット及びデータ化する。

ここで、特徴点の識別はＦＡＳＴアルゴリズム、ＯＲＢアルゴリズム、又はＳＵＲＦアルゴリズムなどのような、本分野で一般的に使用される特徴点検出方法で識別することができる。特徴点を識別した後に特徴点の特徴情報を取得すれば、特徴点の特徴情報によって画像を記述することができる。

好ましくは、特徴点の特徴情報を取得した後に、特徴情報をフォーマット及びデータ化し、それによって画像の特徴情報を形成する。従来技術で画像を取得して比較し、キーフレームを取得する方式に対して、帯域幅の占有率が低下し、伝送速度と計算速度が向上し、従って識別のリアルタイム性が保証される。

例示的に、床面画像のデータ化された特徴情報は画像位置、特徴点の座標、特徴点の方向、特徴点のサイズ、及び特徴点の記述因子を含む。下表に示す。

表１に示すように、本発明の好適な実施例のデータ化された特徴情報の概略図であり、そこで、データヘッダは、例えばＴＣＰメッセージのメッセージヘッダが挙げられ、送信元ポート(source port)と宛先ポート(destination port)のポート番号、シーケンス番号(sequence number)、応答確認番号(acknowledgement number)、データオフセット(offset)などを含んでもよく、ＴＣＰメッセージのデータ部分には第1設備の名称、撮影時間、画像位置、及び特徴点の特徴情報などがカプセル化されている。特徴点の特徴情報は複数のグループを有してもよく、各グループの特徴点情報には特徴点の座標、特徴点の方向、特徴点のサイズ、及び特徴点の記述因子が含まれる。

好ましくは、画像位置は次の２つの方式を組み合わせて取得することができる。

１，撮影された画像ｐと前に保存された隣接キーフレームｋ（複数のキーフレームと同様に演算することができる）に対して特徴点マッチングを行い、ミスマッチング部分を取り除き、空間モデルを構築することで、ｐとｋの間の回転と並進行列を得て、ｋに対するｐの位置情報にｋの位置情報を重ね合わせ、最終的にｐの位置情報を取得する。

２，第１設備の運動軌跡とエンコーダ、位置センサー、距離測定設備のうちの１つ又は複数と組み合わせることによって、画像の位置情報を算出する。

好ましくは、特徴点の座標は画像における当該特徴点の座標位置である。特徴点のサイズと方向は、特徴点検出方法によって定義される特徴点サイズと２次元ベクトルである。特徴点の記述因子はタグコードであり、当該分類コードは事前に分類された記述因子ライブラリにおいて、当該特徴点の記述に最も近い記述因子の分類コードである。

ステップＳ２、第1設備はデータ化された特徴情報に基づいて比較し、ビデオシーケンスにおけるキーフレームを抽出し、かつ前記キーフレームのデータ化された特徴情報を第２設備にアップロードする。

図３に示すように、前記キーフレームの抽出するプロセスは以下のステップを含む。

Ｓ２０１、新たに取得した画像のデータ化された特徴情報はデータベースに保存されているキーフレームのデータ化された特徴情報と検索するように比較を行う。

Ｓ２０２、新たに取得した画像とデータベースに保存されているキーフレームのデータ化された特徴情報との比較結果に基づいて類似度評価値を与える。

Ｓ２０３、類似度評価値が設定閾値より小さい場合、当該画像はキーフレームである。

好ましくは、本発明の好適な実施例は、データ化された特徴情報に基づいて、新たに取得した画像とデータベースに保存されているキーフレームにおける特徴点と比較し、それによって両者のマッチングする特徴点の数を取得する。特徴点の比較プロセスにおいて、まず特徴点マッチングとモデルフィッティングの方法で空間換算モデルを取得し、空間換算モデルは両者の特徴点座標、特徴点方向、特徴点サイズを換算し、特徴点の幾何学的位置を得て、両者の幾何学的位置が近い場合、特徴点の記述因子が一致するか否かを確認し、特徴点の幾何学的位置と記述とはどちらも一致すれば、新たに取得した画像と比較されるキーフレームに同様な特徴点があると判断できる。

好ましくは、類似度評価値は新たに取得した画像と比較されるキーフレームとにおる同様な特徴点の数であり、類似度評価値が設定閾値より小さい時、新たに取得したの画像はデータベースに保存されているキーフレームに比べて顕著な変化があると判断でき、当該画像はキーフレームと設定され、続いて第1設備は当該キーフレームのデータ化された特徴情報を第２設備にアップロードする。

ステップＳ３、第２設備は第1設備によってアップロードされたデータ化された特徴情報を比較及び選別し、かつ選別後のデータ化された特徴情報を再構成することで、シーンのナビゲーションデータの構築、更新を完成し、且つ、第1設備にシーンのナビゲーションデータを配布し、ナビゲーションデータを行う。

好ましくは、第２設備はまずデータ化された特徴情報を受信し且つ保存し、データ化された特徴情報のデータ集合を形成する。データ集合におけるある領域のデータ化された特徴情報の数が上限に達した場合、最も新たに受信したデータ化された特徴情報を残し、他のデータ化された特徴情報に対して優先順位付けを行い、かつ優先順位が最も低いデータ化された特徴情報を削除する。シーンのナビゲーションデータを構築するために、データ集合におけるすべてのデータ化された特徴情報に対して修正と閉ループ検出を行う。

そこで、データ化された特徴情報の数の上限は事前に設定され、システムの演算及び保存性能によって決められる。数の上限は各空間領域におけるデータ化された特徴情報の数の上限である。

好ましくは、データ化された特徴情報の優先順位付けは、
新たに受信したデータ化された特徴情報とその画像位置、及びその隣接範囲内のすべてのデータ化された特徴情報に対して2つずつ類似度を比較することと、
空間変換モデルによって、データ化された特徴情報の間の特徴点位置、特徴点方向、及び特徴点サイズが一致する特徴点の数を検出することと、
一致する特徴点の数をもってデータ化された特徴情報の優先順位付けを行うこととを含む。

さらに、前記空間変換モデルはデータ集合中のデータ化された特徴情報の特徴点位置、特徴点方向、特徴点サイズ、及び記述因子を比較することによって生成される。

一方、本発明は可変シーンでの複数の設備による視覚ナビゲーションシステムをさらに提供し、視覚ナビゲーションシステムは、
シーンにおける床面のビデオシーケンスを撮影し、かつビデオシーケンスにおける各フレームの画像のデータ化された特徴情報を取得し、データ化された特徴情報に基づいて比較し、ビデオシーケンスにおけるキーフレームを抽出し、かつ当該キーフレームのデータ化された特徴情報を第2設備にアップロードする第１設備と、
第１設備によってアップロードされたデータ化された特徴情報を比較及び選別し、かつ選別後のデータ化された特徴情報を再構成することで、シーンのナビゲーションデータの構築、更新、及び配布を完成する為に用いられる第２設備とを含む。

さらに、前記第１設備は自律ナビゲーション設備、又はＡＧＶ運搬車に設置される自律ナビゲーション設備であり、前記第２設備は第1設備と通信するサーバー端末である。

さらに、前記第１設備は、
シーンにおける床面の画像フレームを収集するためのビデオ収集ユニットと、
前記画像フレームにおける特徴点を識別し、画像フレームのデータ化された特徴情報を形成するための画像情報識別ユニットと、
キーフレームを抽出するために、取得した画像フレームのデータ化された特徴情報と前に抽出した前記キーフレームのデータ化された特徴情報に対して検索と比較を行うキーフレーム抽出ユニットと、
前記キーフレーム抽出ユニットによって抽出されたキーフレームのデータ化された特徴情報を第２設備に送信するための通信ユニットとを含む。

以上の記載は本発明の好ましい実施形態に過ぎず、本発明を限定するものではなく、本発明の精神及び原則を逸脱することなく行うあらゆる修正、均等な置き換え、改良などは、いずれも本発明の保護範囲内に含まれるものとする。

Claims

第１設備はシーンのビデオシーケンスを撮影し、かつビデオシーケンスにおける各フレームの画像のデータ化された特徴情報を取得するステップと、
第１設備はデータ化された特徴情報に基づいて比較し、ビデオシーケンスにおけるキーフレームを抽出し、かつ前記キーフレームのデータ化された特徴情報を第２設備にアップロードするステップと、
第２設備は第1設備によってアップロードされたデータ化された特徴情報を比較及び選別し、かつ選別後のデータ化された特徴情報を再構成することで、シーンのナビゲーションデータの構築、更新を完成し、且つ、第1設備にシーンのナビゲーションデータを配布し、ナビゲーションデータを実現するステップと、
を含むことを特徴とする、可変シーンでの複数の設備による視覚ナビゲーション方法。
前記データ化された特徴情報の取得プロセスは、
第１設備はシーンにおける床面の画像を収集することと、
前記画像における特徴点を識別し、かつ特徴点から特徴点の特徴情報を抽出することと、
前記画像のデータ化された特徴情報を形成するために、画像中の特徴点の特徴情報をフォーマット及びデータ化することと、
を含むことを特徴とする、請求項１に記載の可変シーンでの複数の設備による視覚ナビゲーション方法。
前記画像のデータ化された特徴情報はフォーマットのように配列されて形成された配列データであり、前記データ化された特徴情報は画像位置、特徴点の座標、特徴点の方向、特徴点のサイズ、及び特徴点の記述因子を含むことを特徴とする、請求項２に記載の可変シーンでの複数の設備による視覚ナビゲーション方法。
前記キーフレームの抽出プロセスは、
新たに取得した画像のデータ化された特徴情報とデータベースに保存されているキーフレームのデータ化された特徴情報に対して検索と比較を行うことと、
新たに取得した画像とデータベースに保存されているキーフレームのデータ化された特徴情報の比較結果に基づいて類似度評価値を与えることと、
類似度評価値が設定閾値より小さい場合、画像フレームはキーフレームであることと
を含むことを特徴とする、請求項３に記載の可変シーンでの複数の設備による視覚ナビゲーション方法。
特徴点の幾何学的位置と特徴点の記述因子によって前記データ化された特徴情報に対して検索と比較を行い、前記特徴点の幾何学的位置は特徴点の位置、サイズ、及び方向によって算出されることを特徴とする、請求項４に記載の可変シーンでの複数の設備による視覚ナビゲーション方法。
前記類似度評価値は、画像のデータ化された特徴情報比較結果におる記述因子と幾何学的位置が一致する特徴点の数であることを特徴とする、請求項５に記載の可変シーンでの複数の設備による視覚ナビゲーション方法。
前記第２設備がデータ化された特徴情報に対して行う選別と構築プロセスは、
データ化された特徴情報を受信して保存し、データ化された特徴情報のデータ集合を形成することと、
データ集合におけるデータ化された特徴情報の数が上限に達した場合、最も新たに受信したデータ化された特徴情報を残し、他のデータ化された特徴情報に対して優先順位付けを行い、かつ優先順位が最も低いデータ化された特徴情報を削除することと、
シーンのナビゲーションデータを構築するために、データ集合におるすべてのデータ化された特徴情報に対して修正と閉ループ検出を行うことと、
を含むを特徴とする、請求項１〜請求項６の何れか１項に記載の可変シーンでの複数の設備による視覚ナビゲーション方法。
データ集合におるデータ化された特徴情報の数の上限を設定し、前記数の上限は各画像位置におけるデータ化された特徴情報の数の上限であることを特徴とする、請求項７に記載の可変シーンでの複数の設備による視覚ナビゲーション方法。
前記データ化された特徴情報の優先順位付けは、
新たに受信したデータ化された特徴情報とその画像位置の、及びその隣接範囲内のすべてのデータ化された特徴情報に対して２つずつ類似度を比較することと、
空間変換モデルによって、データ化された特徴情報の間の特徴点位置、特徴点方向、及び特徴点サイズが一致する特徴点の数を検出することと、
一致する特徴点の数によってデータ化された特徴情報の優先順位付けを行うことと、
を含むことを特徴とする、請求項８に記載の可変シーンでの複数の設備による視覚ナビゲーション方法。
前記空間変換モデルはデータ集合におるデータ化された特徴情報の特徴点位置、特徴点方向、特徴点サイズ、及び特徴点の記述因子を比較することによって生成されることを特徴とする、請求項９に記載の可変シーンでの複数の設備による視覚ナビゲーション方法。
シーンにおける床面のビデオシーケンスを撮影し、かつビデオシーケンスにおける各フレームの画像のデータ化された特徴情報を取得し、データ化された特徴情報に基づいて比較し、ビデオシーケンスにおけるキーフレームを抽出し、かつ当該キーフレームのデータ化された特徴情報を第２設備にアップロードする第１設備と、
第１設備によってアップロードされたデータ化された特徴情報を比較及び選別し、かつシーンのナビゲーションデータの構築、更新、及び配布を完成するために、選別後のデータ化された特徴情報を再構成する第２設備と、
を含むことを特徴とする、可変シーンでの複数の設備による視覚ナビゲーションシステム。
前記第１設備は自律ナビゲーション設備、又はＡＧＶ運搬車に設置される自律ナビゲーション設備であり、前記第２設備は第1設備と通信するサーバー端末であることを特徴とする、請求項１１に記載の可変シーンでの複数の設備による視覚ナビゲーションシステム。
前記自律ナビゲーション設備とサーバー端末の数の比率はｎ：ｍであり、ここで、ｎは１より大きい自然数であり、ここで、ｍは１以上の自然数であることを特徴とする、請求項１２に記載の可変シーンでの複数の設備による視覚ナビゲーションシステム。
前記第１設備は、
シーンにおける床面の画像フレームを収集するためのビデオ収集ユニットと、
前記画像フレームにおける特徴点を識別し、画像フレームのデータ化された特徴情報を形成するための画像情報識別ユニットと、
キーフレームを抽出するために、取得した画像フレームのデータ化された特徴情報と前に抽出した前記キーフレームのデータ化された特徴情報に対して検索と比較を行うキーフレーム抽出ユニットと、
前記キーフレーム抽出ユニットによって抽出されたキーフレームのデータ化された特徴情報を第2設備に送信するための通信ユニットと、
を含むことを特徴とする、請求項１２に記載の可変シーンでの複数の設備による視覚ナビゲーションシステム。
前記第２設備は、
最も新たに取得したデータ化された特徴情報と前に取得したデータ化された特徴情報に対して類似度を比較し、かつ選別する時に比較結果に基づいて優先順位付けを行うデータ化された特徴情報選別ユニットと、
データ化された特徴情報に基づいてシーンのナビゲーションデータを構築するナビゲーションデータ構築ユニットと、
を含むことを特徴とする、請求項１２に記載の可変シーンでの複数の設備による視覚ナビゲーションシステム。