JP2017134833A - コンピュータビジョン位置決めシステム及び方法 - Google Patents

Abstract

【課題】本発明は、人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステム及び方法を提供する。
【解決手段】本発明の人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムは、画像採集モジュール、人工の目印識別モジュール、二次元バーコード識別モジュール、データ記憶モジュール及び制御モジュールを含む。また、本発明は、人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決め方法を提供する。
【選択図】図１

Description

本発明は、人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムおよび方法に関する。

視覚化された人工の目印による位置決めシステムにおいて、較正されたレンズで、所定のサイズ及びフォーマットを有する人工の目印を撮って、自律移動装置の所在位置及び該自律移動装置の人工の目印に対する位置と角度とを判断することができる。現在は、一つの人工の目印だけで、自律移動装置の所在位置及び該自律移動装置の人工の目印に対する位置と角度とを判断している。しかし、自律移動装置がその位置に関して知る必要がある情報及び関連処理情報は、人工の目印だけを通じて、取得することはできない。

人工の目印によって、位置の情報及び関連処理情報を取得するために、位置の情報及び処理方法をプログラムにバインディングする必要がある。これによって、コーディングすることに融通性がなく、関連処理情報が変化すると、プログラムを修正しなければならないので、複雑であり、煩瑣である。

人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムおよび方法を提供する必要がある。

人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムは、画像採集モジュール、人工の目印識別モジュール、二次元バーコード識別モジュール、データ記憶モジュール及び制御モジュールを含む。前記画像採集モジュールは、画像を採集して、該画像を前記人工の目印識別モジュール及び前記二次元バーコード識別モジュールに伝送することに用いられる。前記人工の目印識別モジュールは、人工の目印を識別して、該人工の目印のＩＤを読み取って、該人工の目印のＩＤを前記データ記憶モジュールに伝送することに用いられる。前記二次元バーコード識別モジュールは、二次元バーコードを識別して、該二次元バーコードのＵＲＬを読み取って、該二次元バーコードのＵＲＬを前記データ記憶モジュールに伝送することに用いられる。前記データ記憶モジュールは、人工の目印が付けられた地図及び地図説明文書が記憶され、更に、人工の目印のＩＤが対応する位置情報及び、二次元バーコードが対応するＵＲＬに接続して、ＵＲＬによって取得された具体的な処理情報が記憶される。前記制御モジュールは、前記データ記憶モジュールに記憶された情報によって、人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムを備える自律移動装置を制御して、該自律移動装置を移動させ、相応する処理を行わせる。

人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決め方法は、人工の目印及び二次元バーコードを提供して、前記人工の目印及び二次元バーコードをマークする必要がある位置に設置して、前記人工の目印が位置情報を含み、前記二次元バーコードが関連処理情報を含むステップと、上記のような人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムを備える自律移動装置を提供して、該自律移動装置における画像採集モジュールは、人工の目印及び二次元バーコードの画像を採集して、該画像を人工の目印識別モジュール及び二次元バーコード識別モジュールに伝送して、人工の目印識別モジュールは、人工の目印の画像を識別して、該人工の目印のＩＤをデータ記憶モジュールに伝送して、二次元バーコード識別モジュールは、二次元バーコードの画像を識別して、二次元バーコードのＵＲＬをデータ記憶モジュールに伝送して、データ記憶モジュールは、人工の目印のＩＤによって、自律移動装置の位置を判断して、二次元バーコードのＵＲＬに接続して、ＵＲＬによって具体的な処理情報を取得して、制御モジュールは、前記データ記憶モジュールに記憶された情報によって、自律移動装置を制御して、該自律移動装置を移動させ、相応する処理を行わせるステップとを含む。

従来技術と比べて、本発明の人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムおよび方法は、人工の目印によって、自律移動装置の位置を判断することができるだけではなく、自律移動装置がその位置に関して知る必要がある情報及び関連処理情報も二次元バーコードによって、取得することもできる。知る必要がある情報及び関連処理情報が変化する時には、二次元バーコードが対応するＵＲＬにおける情報だけを修正してもよく、二次元バーコードだけを取り替えることによって、自律移動装置に対応する処理をさせてもよく、自律移動装置のプログラムを新たに修正する必要はない。従って、コーディングすることに融通性を有して、位置の情報及び処理方法をバインディングする必要がないので、処理過程がより簡単になる。

本発明の人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムのブロック図である。 本発明の人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決め方法のフローチャートである。

以下、図面を参照して、本発明の実施例について説明する。

以下、図面及び具体的な実施例を参照して、本発明の人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステム及び方法について詳しく説明する。

図1を参照して、本発明の実施例は、人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムを提供する。人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムは、画像採集モジュール、人工の目印識別モジュール、二次元バーコード識別モジュール、データ記憶モジュール及び制御モジュールを含む。

画像採集モジュールは、画像を採集して、該画像を人工の目印識別モジュール及び二次元バーコード識別モジュールに伝送することに用いられる。画像採集モジュールは、レンズを含み、該レンズがＣＣＤのレンズ又はＣＭＯＳのレンズである。

人工の目印識別モジュールは、前記画像におけるどの画像が人工の目印に類似するのかを判断して、類似する人工の目印をマークして、人工の目印であるかどうかを識別して、人工の目印であれば、該人工の目印のＩＤを読み取って、該人工の目印のＩＤをデータ記憶モジュールに記憶する。それに、人工の目印識別モジュールは、採集された人工の目印によって、人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムを備える自律移動装置が、人工の目印に対する距離及び角度を計算することができ、その後、制御モジュールは、自律移動装置を微調整して、自律移動装置を人工の目印に対応する位置に移動させる。

二次元バーコード識別モジュールは、前記画像におけるどの画像が二次元バーコードに類似するのかを判断して、類似する二次元バーコードをマークして、二次元バーコードであるかどうかを識別して、二次元バーコードであれば、該二次元バーコードのＵＲＬを読み取って、該二次元バーコードのＵＲＬをデータ記憶モジュールに伝送する。

データ記憶モジュールは、人工の目印が付けられた地図及び地図説明文書が記憶され、更に、人工の目印のＩＤが対応する位置情報及び、二次元バーコードが対応するＵＲＬに接続して、ＵＲＬによって取得された具体的な処理情報が記憶される。

制御モジュールは、データ記憶モジュールに記憶された情報によって、自律移動装置を制御して、自律移動装置に移動させ、相応する処理を行わせる。

また、本発明の実施例は、人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決め方法を提供する。図２を参照すると、人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決め方法は、下記のステップを含む。

人工の目印及び二次元バーコードを提供して、人工の目印及び二次元バーコードをマークする必要がある位置に設置して、人工の目印が位置情報を含み、二次元バーコードが関連処理情報を含む。

上記のような人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムを備える自律移動装置を提供して、該自律移動装置における画像採集モジュールは、人工の目印及び二次元バーコードの画像を採集して、該画像を人工の目印識別モジュール及び二次元バーコード識別モジュールに伝送して、人工の目印識別モジュールは、人工の目印の画像を識別して、該人工の目印のＩＤをデータ記憶モジュールに伝送して、二次元バーコード識別モジュールは、二次元バーコードの画像を識別して、二次元バーコードのＵＲＬをデータ記憶モジュールに伝送して、データ記憶モジュールは、人工の目印のＩＤによって、自律移動装置の位置を判断して、それに、二次元バーコードのＵＲＬに接続して、ＵＲＬによって具体的な処理情報を取得して、制御モジュールは、データ記憶モジュールに記憶された情報によって、自律移動装置を制御して、自律移動装置を移動させ、相応する処理を行わせる。

人工の目印は、Ｔａｇ３６ｈ１１マークシリーズ、Ｔａｇ３６ｈ１０マークシリーズ、Ｔａｇ２５ｈ９マークシリーズ、又はＴａｇ１６ｈ５マークシリーズなどのいずれかの一つの人工の目印であってもよい。

二次元バーコードの種類は、Ｄｅｔａ Ｍａｔｒｉｘ、ＭａｘｉＣｏｄｅ、Ａｚｔｅｃ、ＱＲ Ｃｏｄｅ、Ｖｅｒｉｃｏｄｅ、ＰＤＦ４１７、Ｕｌｔｒａｃｏｄｅ、Ｃｏｄｅ ４９、Ｃｏｄｅ １６Ｋなどがある。二次元バーコードは、スタックバーコード及びマトリックスバーコードであってもよい。

次に、例を挙げて、自律移動装置が人工の目印及び二次元バーコードを使って、コンピュータビジョン位置決めをする方法を説明する。自律移動装置は、ロボット、無人搬送車又は無人自動車などである。

例1：大きな工場では、ロボットが目的地に歩いて、目的地の物品を運搬しようとする。

ロボットは、人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムを備える。人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムは、画像採集モジュール、人工の目印識別モジュール、二次元バーコード識別モジュール、データ記憶モジュール及び制御モジュールを含む。各々のモジュールの構成及び機能は上記のように述べたので、ここで詳しく説明しない。

本実施例において、ロボットにシェルフに位置する機器を運搬させるために、機器の上方に人工の目印Ａ及び二次元バーコードａを設置する。人工の目印Ａが位置情報を含み、二次元バーコードａが関連処理情報を含む。データ記憶モジュールにおいて、人工でコーディングすることによって、人工の目印及び二次元バーコードに異なる意義を与え、人工の目印Ａがシェルフに設置された機器の位置を表示して、二次元バーコードａが、壊れにくい物品であり、普通のマニピュレーターを使って挟むことを表示する。

まず、制御モジュールは、ロボットを制御して、ロボットを地図説明文書に計画される走行経路に沿って、人工の目印Ａの付近に歩かせる。即ち、シェルフの機器が設置された位置の付近に歩く。

その後、ロボットの画像採集モジュールは、校正されたカメラのレンズを使って、画像を採集して、採集された画像を人工の目印識別モジュール及び二次元バーコード識別モジュールに伝送する。校正されたカメラのレンズを使って採集された画像は、変形及び映像歪みはない。

人工の目印識別モジュールは、前記画像におけるどの画像が人工の目印に類似するのかを判断して、類似する人工の目印をマークして、人工の目印であるかどうかを識別して、人工の目印であれば、該人工の目印のＩＤを読み取って、該人工の目印のＩＤをデータ記憶モジュールに伝送する。それに、人工の目印識別モジュールは、採集された人工の目印によって、ロボットの人工の目印に対する距離及び角度を計算することができ、これによって、ロボットが地図における位置を推算することができる。ロボットが人工の目印の位置（シェルフの運搬しようとする物品の位置）に到着していなければ、制御モジュールは、ロボットを微調整して、ロボットを人工の目印の位置（シェルフの運搬しようとする物品の位置）に移動させる。ロボットが人工の目印の位置（シェルフの運搬しようとする物品の位置）に到着すれば、制御モジュールは、ロボットを制御して、ロボットを作動させない。本実施例において、人工の目印識別モジュールが採集された人工の目印Ａによって、ロボットの人工の目印Ａに対する距離及び角度を計算して、これによって、ロボットが人工の目印Ａの位置（シェルフの機器が設置された位置）に位置することを推算する。

二次元バーコード識別モジュール、前記画像におけるどの画像が二次元バーコードに類似するのかを判断して、類似する二次元バーコードをマークして、二次元バーコードであるかどうかを識別して、二次元バーコードであれば、該二次元バーコードのＵＲＬを読み取って、該二次元バーコードのＵＲＬをデータ記憶モジュールに伝送する。本実施例において、二次元バーコード識別モジュールは、二次元バーコードａを識別して、該二次元バーコードａのＵＲＬをデータ記憶モジュールに伝送する。

データ記憶モジュールは、人工の目印が付けられた地図及び地図説明文書が記憶され、人工の目印のＩＤが対応する位置情報が記憶される。データ記憶モジュールは、人工の目印のＩＤによって、自律移動装置の位置を判断することができる。データ記憶モジュールは、二次元バーコードのＵＲＬに接続して、ＵＲＬによって具体的な処理情報が取得することができる。本実施例において、人工の目印ＡのＩＤが対応する位置情報は、シェルフの機器が設置された位置であり、二次元バーコードａのＵＲＬは、運搬しようとする物品である機器が壊れにくい物品であり、普通のマニピュレーターを使って挟むという情報が記載される。

制御モジュールは、自律移動装置を制御して、自律移動装置に処理情報によって動作させる。本実施例において、制御モジュールは、二次元バーコードａのＵＲＬに記載された運搬しようとする物品である機器が壊れにくい物品であり、普通のマニピュレーターを使って挟むという情報によって、対応する処理をする。即ち、制御モジュールは、自律移動装置を制御して、自律移動装置に普通のマニピュレーターを伸させ、機器を挟ませる。

もちろん、シェルフの運搬しようとする物品が壊れやすい物品であれば、シェルフの運搬しようとする物品の上方に他の二次元バーコードを設置することができる。該二次元バーコードは、対応するＵＲＬがあり、該ＵＲＬが運搬しようとする物品が壊れやすい物品であり、吸盤を使って壊れやすい物品を吸着するという情報が記載される。

従って、シェルフに位置する物品を取り替える時に、二次元バーコードが対応するＵＲＬにおける情報だけを修正してもよく、二次元バーコードだけを取り替えることによって、ロボットに対応する処理をさせてもよく、ロボットのプログラムを新たに修正する必要はない。これによって、コーディングすることに融通性を有して、位置情報及び処理方法をプログラムにバインディングする必要がないので、処理過程がより簡単である。

もちろん、人工の目印及び二次元バーコードが代表する意義は、これに制限されない。異なる人工の目印及び二次元バーコードが異なる意義を代表することができ、コーディングすることによって、実現することができる。

例２：ロボットの走行経路において、異なる地面を有して、ロボットに異なる各々の地形を滞りなく歩かせる。

ロボットの走行経路において、異なる地面を有して、例えば、セメント床、絨毯、上り坂又は下り坂などであり、ロボットが異なる地面に走行する時の摩擦係数も同じでなく、異なる地形によって、モーターの出力を調整するべきである。この時には、人工の目印及び二次元バーコードを使う方法によって、ロボットにモーターの出力を動態的に調整することを教え、ロボットに各種の異なる地形を滞りなく歩かせる。

ロボットは、人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムを備える。人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムは、画像採集モジュール、人工の目印識別モジュール、二次元バーコード識別モジュール、データ記憶モジュール及び制御モジュールを含む。各々のモジュールの構成及び機能は上記のように述べたので、ここで詳しく説明しない。

特殊な路面の起点に人工の目印及び二次元バーコードを設置して、人工の目印が位置情報を含み、二次元バーコードが関連処理情報を含む。人工の目印は、特殊な路面の起点を表示して、二次元バーコードは、特殊な路面のタイプ及び関連処理情報を表示する。例えば、特殊な路面がセメント床であれば、モーターがいくらの仕事率を出力するかでロボットにセメント床を通らせる情報、特殊な路面が絨毯であれば、モーターがいくらの仕事率を出力するかでロボットに絨毯を通らせる情報、特殊な路面が上り坂であれば、モーターがいくらの仕事率を出力するかでロボットに上り坂を通らせる情報、特殊な路面が下り坂であれば、モーターがいくらの仕事率を出力するかでロボットに下り坂を通らせる情報、及び特殊な路面のほかのタイプと関連処理情報である。本実施例において、上り坂の起点に人工の目印Ｂ及び二次元バーコードｂを設置して、人工の目印Ｂは、特殊な路面の起点を表示して、二次元バーコードｂは、特殊な路面が上り坂であり、モーターがいくらの具体的な仕事率を出力するかでロボットに上り坂を通させる情報を表示する。

まず、制御モジュールは、ロボットを制御して、ロボットを地図説明文書に計画される走行経路に沿って、人工の目印Ｂの付近に歩かせる。即ち、特殊な路面の起点に歩く。

その後、ロボットの画像採集モジュールは、校正されたカメラのレンズを使って、画像を採集して、採集された画像を人工の目印識別モジュール及び二次元バーコード識別モジュールに伝送する。校正されたカメラのレンズを使って採集された画像は、変形及び映像歪みはない。

上記のように、人工の目印識別モジュールは、人工の目印Ｂを識別して、人工の目印ＢのＩＤを読み取って、人工の目印ＢのＩＤをデータ記憶モジュールに伝送する。それに、人工の目印識別モジュールは、採集された人工の目印Ｂによって、ロボットの人工の目印Ｂに対する距離及び角度を計算して、これによって、ロボットが地図における位置を推算することができる。計算をして、ロボットが人工の目印Ｂの位置（特殊な路面の起点）に到着していなければ、制御モジュールは、ロボットを微調整して、ロボットを人工の目印Ｂの位置（特殊な路面の起点）に移動させる。

上記のように、二次元バーコード識別モジュールは、二次元バーコードｂを識別して、二次元バーコードｂのＵＲＬを読み取って、二次元バーコードｂのＵＲＬをデータ記憶モジュールに伝送する。

データ記憶モジュールは、人工の目印ＢのＩＤによって、ロボットの位置を判断することができ、それに、二次元バーコードｂのＵＲＬに接続して、ＵＲＬによって具体的な処理情報を取得することができる。人工の目印ＢのＩＤが対応する位置情報は、特殊な路面の起点であり、二次元バーコードｂのＵＲＬは、特殊な路面が上り坂であり、モーターがいくらの仕事率を出力するかでロボットに上り坂を通らせることが記載される。

制御モジュールは、二次元バーコードｂのＵＲＬに記載されたモーターのどの出力で上り坂を走行する情報によって、対応する処理をする。即ち、ロボットに滞りなく上り坂を通らせるために、制御モジュールは、ロボットを制御して、ロボットに所定のモーターの出力で上り坂を走行させる。

もちろん、特殊な路面が他の路面であれば、特殊な路面の起点に他の二次元バーコードを設置することができる。該二次元バーコードが対応するＵＲＬを有して、該ＵＲＬにおいて、特殊な路面がどういう路面であり、ロボットがモーターのどの出力で該路面を走行することが記載される。

従って、ロボットが他の新しい環境で任務を実施する時に、二次元バーコードが対応するＵＲＬにおける情報だけを修正してもよい。二次元バーコードだけを取り替えることによって、ロボットに対応する処理をさせてもよく、ロボットのプログラムを新たに修正する必要はない。従って、コーディングすることに融通性を有して、位置の情報及び関連処理情報をプログラムにバインディングする必要がないので、処理過程がより簡単である。

もちろん、人工の目印及び二次元バーコードが代表する意義は、これに制限されない。異なる人工の目印及び二次元バーコードが異なる意義を代表することができ、コーディングすることによって、実現することができる。

本発明の人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムにおいて、人工の目印によって、自律移動装置がいる位置を判断することができるだけではなく、自律移動装置がその位置に関して知る必要がある情報及び関連処理情報も二次元バーコードによって、取得することもできる。知る必要がある情報及び関連処理情報が変化する時に、二次元バーコードが対応するＵＲＬにおける情報だけを修正してもよく、二次元バーコードだけを取り替えることによって、自律移動装置に対応する処理をさせてもよく、自律移動装置のプログラムを新たに修正する必要はない。従って、コーディングすることに融通性を有して、位置の情報及び関連処理情報をプログラムにバインディングする必要がないので、処理過程がより簡単である。

Claims (4)

1. 画像採集モジュール、人工の目印識別モジュール、二次元バーコード識別モジュール、データ記憶モジュール及び制御モジュールを含む人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムにおいて、
   前記画像採集モジュールは、画像を採集して、該画像を前記人工の目印識別モジュール及び前記二次元バーコード識別モジュールに伝送することに用いられ、
   前記人工の目印識別モジュールは、人工の目印を識別して、該人工の目印のＩＤを読み取って、該人工の目印のＩＤを前記データ記憶モジュールに伝送することに用いられ、
   前記二次元バーコード識別モジュールは、二次元バーコードを識別して、該二次元バーコードのＵＲＬを読み取って、該二次元バーコードのＵＲＬを前記データ記憶モジュールに伝送することに用いられ、
   前記データ記憶モジュールは、人工の目印が付けられた地図及び地図説明文書が記憶され、更に、人工の目印のＩＤが対応する位置情報及び、二次元バーコードが対応するＵＲＬに接続して、ＵＲＬによって取得された具体的な処理情報が記憶され、
   前記制御モジュールは、前記データ記憶モジュールに記憶された情報によって、人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムを備える自律移動装置を制御して、該自律移動装置を移動させ、相応する処理を行わせることを特徴とする人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステム。
2. 人工の目印及び二次元バーコードを提供して、前記人工の目印及び二次元バーコードをマークする必要がある位置に設置して、前記人工の目印が位置情報を含み、前記二次元バーコードが関連処理情報を含むステップと、
   請求項１に記載の人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決めシステムを備える自律移動装置を提供して、該自律移動装置における画像採集モジュールは、人工の目印及び二次元バーコードの画像を採集して、該画像を人工の目印識別モジュール及び二次元バーコード識別モジュールに伝送して、人工の目印識別モジュールは、人工の目印の画像を識別して、該人工の目印のＩＤをデータ記憶モジュールに伝送して、二次元バーコード識別モジュールは、二次元バーコードの画像を識別して、二次元バーコードのＵＲＬをデータ記憶モジュールに伝送して、データ記憶モジュールは、人工の目印のＩＤによって、自律移動装置の位置を判断して、二次元バーコードのＵＲＬに接続して、ＵＲＬによって具体的な処理情報を取得して、制御モジュールは、前記データ記憶モジュールに記憶された情報によって、自律移動装置を制御して、該自律移動装置を移動させ、相応する処理を行わせるステップと、
   を含むことを特徴とする人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決め方法。
3. 前記人工の目印識別モジュールは、前記画像におけるどの画像が人工の目印に類似するのかを判断して、類似する人工の目印をマークして、人工の目印であるかどうかを識別することを特徴とする、請求項２に記載の人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決め方法。
4. 前記二次元バーコード識別モジュールは、前記画像におけるどの画像が二次元バーコードに類似するのかを判断して、類似する二次元バーコードをマークして、二次元バーコードであるかどうかを識別する、請求項２に記載の人工の目印及び二次元バーコードを使ったコンピュータビジョン位置決め方法。