JP2020532775A - マッピング方法、画像収集処理システム及び測位方法 - Google Patents

マッピング方法、画像収集処理システム及び測位方法 Download PDF

Info

Publication number
JP2020532775A
JP2020532775A JP2019531677A JP2019531677A JP2020532775A JP 2020532775 A JP2020532775 A JP 2020532775A JP 2019531677 A JP2019531677 A JP 2019531677A JP 2019531677 A JP2019531677 A JP 2019531677A JP 2020532775 A JP2020532775 A JP 2020532775A
Authority
JP
Japan
Prior art keywords
image
parameter
connection
mapping
control point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019531677A
Other languages
English (en)
Other versions
JP6977921B2 (ja
Inventor
スン、ユー
ルオ、レイ
チョウ、タオユー
シアオ、シャンホア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Quicktron Intelligent Technology Co Ltd
Original Assignee
Shanghai Quicktron Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Quicktron Intelligent Technology Co Ltd filed Critical Shanghai Quicktron Intelligent Technology Co Ltd
Priority claimed from PCT/CN2019/075741 external-priority patent/WO2019154435A1/zh
Publication of JP2020532775A publication Critical patent/JP2020532775A/ja
Application granted granted Critical
Publication of JP6977921B2 publication Critical patent/JP6977921B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29Geographical information databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • G06F18/232Non-hierarchical techniques
    • G06F18/2321Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation

Abstract

本発明は、場所の座標系を作成又は取得することと、前記場所をスキャンして、標定点の画像、測位対象となる位置の画像、前記画像に対応する位置パラメータ及び姿勢パラメータを取得することと、前記標定点の画像、前記測位対象となる位置の画像、前記位置パラメータ及び前記姿勢パラメータに基づいて、前記測位対象となる位置の画像の前記位置パラメータ及び姿勢パラメータを修正することとを含む、場所をマッピングする方法を提供する。

Description

本発明は、インテリジェント倉庫の分野に関し、特に、インテリジェント倉庫用のマッピング方法、画像収集処理システム及び測位方法に関する。
従来のインテリジェント倉庫では、常に測位場所を測定し、物理座標系を作成する必要があり、物理座標系は、例えば、メートル、デシメートル、センチなどの一般的な距離単位を測定単位とし、例えば、1メートル、1デシメートル、1センチ、0.55メートル、0.2デシメートル、1.4センチ、2分の1メートルなど、整数、小数、分数の形で記述することができ、座標系の方向は、一般的に建物の壁と平行したり、東南西北の方向と平行している。
インテリジェント倉庫で貨物を運送する無人搬送車AGVは、常にその位置を正確に測位する必要がある。しかし、従来の測位方法では、通常、その精度は作業のニーズを満たせず、特にAGVの位置パラメータ及び姿勢パラメータを正確に決定する必要がある場合には、なおさらである。これは操作員の操作と制御に非常に不利である。
したがって、従来技術においては、より正確なマッピング及び測位が可能な方法及び装置が必要である。
背景技術の内容は発明者が知っている技術に過ぎず、当然のことながら、本技術分野の従来技術を代表するものではない。
従来技術に存在している1つ又は複数の問題に対して、本発明は、場所をマッピングする方法であって、前記場所の座標系を作成又は取得することと、前記場所をスキャンして、標定点の画像、測位対象となる位置の画像、前記画像に対応する位置パラメータ及び姿勢パラメータを取得することと、前記標定点の画像、前記測位対象となる位置の画像、前記位置パラメータ及び前記姿勢パラメータに基づいて、前記測位対象となる位置の画像の前記位置パラメータ及び姿勢パラメータを修正することとを含む方法を提供する。
本発明の一態様によれば、前記位置パラメータは、横座標及び縦座標を含み、好ましくは、垂直座標を含み、前記姿勢パラメータは、ヨー角を含み、好ましくは、ピッチ角及びロール角を含む。
本発明の一態様によれば、前記修正ステップは、それぞれ1枚の画像、前記1枚の画像に対応する前記位置パラメータ及び前記姿勢パラメータ、前記画像が標定点に対応するかどうかを含む接続点の集合を作成することと、前記接続点の集合に基づいて、前記測位対象となる位置の画像の前記位置パラメータ及び姿勢パラメータを修正することとを含む。
本発明の一態様によれば、前記修正ステップは、前記接続点の集合から、距離が所定値を超えない2つの接続点を一つの接続として取得して、接続の集合を作成することと、前記接続の集合中の各々の接続に含まれる2つの接続点に対して、前記2つの接続点の間の接続信頼度を算出し、接続信頼度が所定の閾値より高い接続をマッピング接続集合としてフィルタリングすることと、前記マッピング接続集合に基づいて、前記測位対象となる位置の画像の前記位置パラメータ及び姿勢パラメータを修正することとを含む。
本発明の一態様によれば、前記修正ステップは、さらに、前記マッピング接続集合において、初期化ステップを実行する際に非標定点の接続点の画像の前記位置パラメータ及び姿勢パラメータを初期反復パラメータとする勾配降下法を実行することを含む。
本発明の一態様によれば、前記修正ステップは、さらに、反復変化率が所定の閾値より低くなるまで、前記勾配降下法を実行することを含む。
本発明の一態様によれば、標定点のうちの一部又は全部に対して、複数回の画像収集を行い、毎回の画像収集に対応する位置パラメータ及び姿勢パラメータを取得する。
本発明の一態様によれば、前記方法は、前記座標系、前記標定点の画像、前記測位対象となる位置の画像、前記標定点の画像の位置パラメータ及び姿勢パラメータ、修正後の前記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータをデータベース又はファイルに記憶して、地図ライブラリーを構築することをさらに含む。
本発明の一態様によれば、前記座標系は物理座標系である。
本発明の一態様によれば、前記所定値は、前記画像の長さ又は幅の半分である。
本発明は、ベースと、前記ベースに取り付けられ、前記ベースの下方の領域の画像を収集できるように構成されているカメラと、前記ベースに取り付けられ、前記画像に対応する無人搬送車の位置パラメータ及び姿勢パラメータを測定又は算出できるように構成されている測定部品とを含む、画像収集用の無人搬送車をさらに提供する。
本発明の一態様によれば、前記無人搬送車は、前記ベースに取り付けられ、前記カメラの画像を収集するために前記ベースの下方の領域を照明できるように構成されている発光装置をさらに含む。
本発明の一態様によれば、前記無人搬送車は、前記ベースに取り付けられ、前記カメラと前記測定部品がいずれもそれに結合され、前記搬送車を制御して前記標定点及び前記測位対象となる位置に前進させて、前記標定点の画像と前記測位対象となる位置の画像を収集するように構成されている制御装置をさらに含む。
本発明の一態様によれば、前記無人搬送車は、前記カメラ及び前記測定部品に結合され、前記画像、前記位置パラメータ及び姿勢パラメータに基づいて、前記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正する処理装置をさらに含む。
本発明の一態様によれば、前記処理装置は、それぞれ1枚の画像、前記1枚の画像に対応する前記位置パラメータ及び前記姿勢パラメータ、前記画像が標定点に対応するかどうかを含む接続点の集合を作成することと、前記接続点の集合から、距離が所定値を超えない2つの接続点を一つの接続として取得して、接続の集合を作成することと、前記接続の集合中の各々の接続に含まれる2つの接続点に対して、前記2つの接続点の間の接続信頼度を算出し、接続信頼度が所定の閾値より高い接続をマッピング接続集合としてフィルタリングすることと、前記マッピング接続集合において、反復変化率が所定の閾値より低くなるまで、初期化ステップを実行する際に非標定点の接続点の画像の前記位置パラメータ及び姿勢パラメータを初期反復パラメータとする勾配降下法を実行することとを含む方法により、前記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正する。
本発明の一態様によれば、前記無人搬送車は、前記ベースに取り付けられ、前記発光装置からの光線を柔らかくするためのレンズフードをさらに含み、好ましくは、前記発光装置は、前記レンズフードを取り囲んで取り付けられる。
本発明の一態様によれば、前記測定部品は慣性航法測定部品である。
本発明の一態様によれば、前記位置パラメータは、横座標及び縦座標を含み、好ましくは、垂直座標を含み、前記姿勢パラメータは、ヨー角を含み、好ましくは、ピッチ角及びロール角を含む。
本発明の一態様によれば、前記測定部品は、レーザSLAM測定装置及び/又は視覚SLAM測定装置を含む。
本発明の一態様によれば、前記処理装置は、前記座標系、前記標定点の画像、前記測位対象となる位置の画像、前記標定点の画像の位置パラメータ及び姿勢パラメータ、修正後の前記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータをデータベース又はファイルに記憶して、地図ライブラリーを構築するように構成されている。
本発明は、上述したような無人搬送車と、前記カメラ及び前記測定部品に結合され、前記画像、前記位置パラメータ及び姿勢パラメータに基づいて、前記画像の位置パラメータ及び姿勢パラメータを修正する処理装置とを含む、画像収集処理システムをさらに提供する。
本発明の一態様によれば、前記処理装置は、上述したようなマッピング方法を実行できるように構成されている。
本発明は、無人搬送車の下方の画像を収集できるように構成されているカメラと、前記無人搬送車の下方を照明できるように構成されている発光装置と、前記無人搬送車の位置パラメータ及び姿勢パラメータを測定できるように構成されている慣性航法測定部品と、前記カメラと前記慣性航法測定部品がいずれもそれに結合され、前記画像、前記位置パラメータ及び姿勢パラメータに基づいて、前記画像の位置パラメータ及び姿勢パラメータを修正するように構成されている処理装置とを含む、無人搬送車用のマッピング測位システムをさらに提供する。
本発明の一態様によれば、前記処理装置は、請求項1〜10の何れか1項に記載のマッピング方法を実行できるように構成されている。
本発明は、場所の座標系を作成又は取得するように構成されている装置と、前記場所をスキャンして、標定点の画像、複数の測位対象となる位置の画像、前記画像に対応する位置パラメータ及び姿勢パラメータを取得するように構成されている装置と、前記画像、前記位置パラメータ及び前記姿勢パラメータに基づいて、前記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正する装置とを含む、場所をマッピングするデバイスをさらに提供する。
本発明は、上記のいずれか1項に記載の方法で得られた地図をロード又は取得することと、測位対象となる位置の画像、該画像に対応する位置パラメータ及び姿勢パラメータを収集又は取得することと、前記地図に基づいて、該測位対象となる位置の画像との距離が最も近い画像を検索することとを含む測位方法をさらに提供する。
本発明の一態様によれば、前記測位方法は、位相相関法を用いて、前記測位対象となる位置の画像と前記距離が最も近い画像との間の信頼度、位置パラメータオフセット及び姿勢パラメータオフセットを算出することをさらに含む。
本発明の一態様によれば、位相相関法を用いて算出された信頼度が所定値より低い場合、該距離が最も近い画像を廃棄し、該測位対象となる位置の画像との距離が最も近く、信頼度が所定値より高い画像を再検索する。
図面は、本発明の更なる理解を提供するためのもので、明細書の一部を構成して、本発明の実施形態と共に本発明を説明するためのものであり、本発明に対する制限を構成するものではない。
本発明の一実施形態に係るマッピング方法のフローチャートである。 本発明の一実施形態に係る物理座標の概略図である。 本発明の一実施形態に係る論理座標の概略図である。 本発明の一実施形態に係る接続点の概略図である。 本発明の一実施形態に係る標定点の概略図である。 本発明の一実施形態に係る測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正する方法のフローチャートである。 本発明の一実施形態に係る位相相関法により算出された画像の重ね合わせの例である。 本発明の一実施形態に係る接続の概略図である。 物理座標系と論理座標系のマッピングが完了した後の地図のスクリーンショットを示す図である。 本発明の一実施形態に係る画像収集用の無人搬送車の概略図である。 本発明の一実施形態に係る測位方法のフローチャートである。 本発明の一実施形態に係るコンピュータプログラム製品のブロック図である。
以下では、いくつかの例示的な実施形態のみが簡単に説明される。当業者が想到できるように、本発明の精神又は範囲から逸脱することなく、説明した実施形態は様々な方法で修正することができる。したがって、図面及び説明は、実質的に、限定ではなく例示的であると考えられる。
本発明の説明では、「中心」、「縦」、「横」、「長さ」、「幅」、「厚み」、「上」、「下」、「前」、「後」、「左」、「右」、「垂直」、「水平」、「頂」、「底」、「内」、「外」、「時計回り」、「反時計回り」などの用語で指示された方位又は位置関係は、図面に示す方向又は位置関係に基づくものである。本発明を説明し、説明を簡単にするためだけで、装置又は要素が特定の方向を有し、特定の方位で構成し、動作しなければならないことを指示又は暗示するものではないため、本発明に対する制限としては理解できない。なお、「第1」、「第2」という用語は、説明の目的のためのみに用いられ、相対的な重要性を示すか又は示唆し、あるいは技術的特徴の数量を示すものと理解すべきではない。従って、「第1」、「第2」と限定された特徴は、1つ以上の特徴を明示又は暗黙的に含むことができる。本発明の説明では、特に具体的な限定がない限り、「複数」の意味は、2つ以上である。
本発明の説明では、特に明確な規定及び限定がない限り、「装着」、「連結」、「接続」という用語について、広義的に理解すべきであり、例えば、固定接続であってもよいし、取り外し可能な接続であってもよいし、あるいは一体的に接続してもよい。機械的接続であってもよいし、電気的接続であってもよいし、あるいは相互に通信可能であってもよい。直接的な接続であってもよいし、中間媒体を介して間接的に接続してもよいし、2つの要素の内部の連結又は2つの要素の相互作用関係であってもよい。当業者にとっては、本発明における上記の用語の具体的な意味は、具体的な状況に応じて理解され得る。
本発明では、特に明確な規定及び限定がない限り、第1の特徴は、第2の特徴の「上」又は「下」であることは、第1の特徴と第2の特徴との直接接触を含むようにしてよいし、第1の特徴と第2の特徴は直接的な接触ではなく、それらの間の別の特徴で接触することを含むようにしてもよい。また、第1の特徴は、第2の特徴「の上」、「上方」、「上面」であることは、第1の特徴が第2の特徴の直上と斜め上であることを含み、又は第1の特徴の水平高さが第2の特徴よりも高いことを示すだけである。第1の特徴は、第2の特徴「の下」、「下方」、「下面」であることは、第1の特徴が第2の特徴の直下と斜め下であることを含み、又は第1の特徴の水平高さが第2の特徴よりも低いことを示すだけである。
以下の開示は、本発明の異なる構造を実現するための多くの異なる実施形態又は実施例を提供する。本発明の開示を簡略化するために、以下では、特定の例の構成要素及び設定について説明する。当然のことながら、それらは単なる例であり、本発明を限定する目的ではない。なお、本発明は、様々な実施形態及び/又は設定の間の関係を示すものではなく、簡略化及び明確化のために、異なる例で参照数字及び/又は参照アルファベットを繰り返して用いることができる。さらに、本発明は様々な特定のプロセス及び材料の例を提供するが、当業者は他のプロセスの応用及び/又は他の材料の使用を想到することができる。
以下、図面を参照して、本発明の好適な実施形態を説明するが、本明細書に記載の好適な実施形態は、本発明を説明し解釈するためのものに過ぎず、本発明を限定するものではないと理解すべきである。
まず、図1を参照して、例えば、場所をマッピングする、本発明の第1実施形態に係るマッピング方法100を説明する。
ステップS101で、上記場所の座標系を作成又は取得する。上記座標系は、物理座標系であってもよく、論理座標系であってもよく、いずれも本発明の範囲内である。座標系の定義には、一般的に原点の位置、XY座標軸の方向などが含まれる。
図2に示すように、例えば、測位が必要な場所を測定して、物理座標系を作成し、物理座標系は、一般的な距離単位、例えば、メートル、デシメートル、センチを測定単位とし、整数、小数、分数の形、例えば、1メートル、1デシメートル、1センチ、0.55メートル、0.2デシメートル、1.4センチ、2分の1メートルなどで説明することができ、座標系の方向は、一般的に建物の壁と平行であるか、又は東南西北の方向と平行であり、以上の原則に従って作成された座標は本システムでは物理座標系と呼ばれる。
業務の実際の状況に応じて設定された座標系は、本システムでは論理座標系と呼ばれる。限定ではなく例として、論理座標系と物理座標系の違いは、例えば、論理座標系では、一般的に例えば(1,2)、(5,10)のような整数で説明されて、座標系の方向が必ずしも物理座標系と重なり合わず、論理座標系の距離単位が、一般的な物理的単位ではなく、実際の作業需要に応じて定義されることであり、例えば、図3のA点、B点、C点について、B点の論理座標が(3,7)であり、A点の論理座標が(3,8)であり、C点の論理座標が(4,7)であり、左下隅の点を原点として、各論理的位置間隔を1.35メートルとして計算すると、A点の物理座標は(4.05,9.45)となる。従って、論理的位置と物理的位置は完全に一致してもよいし、両方には一定の換算関係があるようにしてもよい。論理的位置がある原因としては、業務ロジックを設計しやすく、或いはマッピング計算しやすくするために、例えばシェルフ配置を例にして、シェルフの位置は論理座標系の位置、例えば、(3、7)の位置で記憶され、物理的位置を使うと、上記(4.05、9.45)の説明があるので、作業者に理解し操作しにくく、物理的位置が必要な場合は、換算関係で換算でき、一般的な換算は、X方向とY方向で異なってもよい論理的位置間隔と呼ばれる1つの係数を乗算する。例えば、倉庫内のシェルフが1.3m*1.3mであり、シェルフの間隔が0.05mであれば、論理的位置間隔を1.35mと定義でき、シェルフが1.2m*1.0mであれば、論理的位置間隔をX軸方向において1.25m、Y軸方向において1.05mと定義することにより、物理的測位が必要なデバイスは、対応する物理的位置にあるシェルフを見つけることができる。以上の換算は通常の換算方式にすぎず、座標系の回転換算、非線形換算など、より複雑な換算方法もあり、紙幅の都合で、ここでは説明を省略する。以上の論理座標系についての説明は、限定ではなく例示的なものにすぎない。論理座標系とは、業務の実際の状況に応じて設定される座標系である。本発明の概念では、論理座標系での位置パラメータは整数に限定されず、小数を有することもできる。これらは、いずれも本発明の保護範囲内にある。場所の物理座標系又は論理座標系があらかじめ作成された場合、該当するファイル又はデータベースから取得すればいい。以下では、物理座標系を例として説明する。
ステップS102で、上記場所をスキャンして、標定点の画像(標定点の定義について、後述を参照)、測位対象となる位置の画像(好ましくは、複数の測位対象となる位置の画像)、上記標定点の画像及び測位対象となる位置の画像に対応する位置パラメータ及び姿勢パラメータを取得する。
例えば、本発明のデバイス(後述)を搭載した無人搬送車を用いて、上記場所をスキャンし、測位対象となる位置の画像、標定点の画像、上記の2つの画像に対応する位置パラメータ及び姿勢パラメータとを取得することがきる。ここで、いわゆる測位対象となる位置とは、実際の作業条件によって決められ、例えば、無人搬送車が到着する位置である。
図2を参照して説明すると、上記位置パラメータは、例えば、ある標定点又は測位が必要な位置の画像の物理座標系での横座標及び縦座標(つまり水平位置、例えば、画像中心の座標、又は画像のある隅の座標)であり、当然のことながら、ある基点に対する水平距離と縦方向距離であってもよく、上記姿勢パラメータは、取得された画像の角度、例えば、横軸又は縦軸に対する角度(つまりヨー角)である。本発明の好ましい実施形態によれば、上記画像に対応するピッチ角、ロール角、垂直高さなどのパラメータ(つまり無人搬送車が写真を取得する際のピッチ角、ロール角、垂直高さなど)を取得することもできる。本発明の好ましい実施形態によれば、本発明の無人搬送車に搭載された慣性航法測定装置を用いて、上記データを提供することができる。慣性航法測定装置は、例えば、ホイールエンコーダ、加速度計(1〜3軸)、ジャイロスコープ(1〜3軸)、磁束センサ(1〜3軸)、気圧センサ、ヨー角、ピッチ角、ロール角、水平位置、及び垂直位置をフィードバックできる測定装置を含む。ホイールエンコーダ、加速度計、ジャイロスコープ、磁束センサ、気圧センサで得られたデータを用いて計算することにより、ヨー角(即ち、画像が水平軸又は縦軸に対する角度)、ピッチ角、ロール角、水平位置、垂直位置を得ることができ、得られた以上のデータを画像に重畳して、(画像、ヨー角(つまり画像角度)、ピッチ角、ロール角、水平位置(つまりx軸横座標とy軸縦座標)、垂直位置、標定点であるかどうか)の七つ組のデータ組み合わせを形成し、図4に示すように、本システムでは接続点と呼ばれ、後続のマッピングのための入力とする。当然のことながら、当業者が理解できるように、上記接続点は、全てのデータを備える必要がなく、例えば、(画像、ヨー角、水平位置、標定点であるかどうか)を含む四つ組のデータ組み合わせを含むと、本発明の目的を達成できる。本発明の1つの好ましい実施形態によれば、標定点の画像及び対応する位置パラメータ及び姿勢パラメータをできるだけ多く収集することにより、より正確に測位地図を作成し、より正確に測位することができ、収集時には、同じ領域を複数回経て複数回収集すると、測位地図をより正確にすることもできる。当然のことながら、本発明の保護範囲は、物理座標系での座標に限定されず、論理座標系での座標であってもよい。
標定点について、それらの座標が正確に決定された点を代表する。図3に示すA点、B点、C点のように、これらの点の座標はすでに確認され、人為的に定義され、予め検証されるものである。
図5には、標定点の一例が示されており、論理座標が(5,8)で、物理座標が(3.75,4.10)である標定点Aが示されている。当然のことながら、本発明では、論理座標と物理座標を同時に持たなければならない標定点に限定されない。多様な手段で標定点を識別し、確認することができる。例えば、1つは、画像に位置をラベリングされた十字線があり、画像を収集した後に、標定点及びその位置座標を識別することができ、もう1つは、その上にコード情報、例えば、バーコード又は二次元コードがあり、画像を収集した後、プログラムで復号することができ、復号された内容は、該標定点の位置座標である。本発明の一実施形態によれば、標定点の座標は事前に確認されているので、ステップS102で、標定点の画像の位置パラメータは、慣性航法測定装置によって測定された標定点の画像の位置パラメータではなく、該標定点の位置パラメータを用いる。
ステップS103で、上記標定点の画像、上記測位対象となる位置の画像、上記位置パラメータ及び上記姿勢パラメータに基づいて、上記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正する。
測位対象となる位置の画像に対して、その位置パラメータ及び姿勢パラメータは測定によって得られるものであり、例えば、慣性航法測定装置によって測定されて得るものであり、現場の作業条件で測定誤差が存在しているため、さらに修正してその精度を向上させる必要がある。標定点の画像は、測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正するための良い基準として用いることができる。
図6を参照して、ステップS103の一実施形態を説明する。
ステップS1031で、接続点の集合を作成する。上述したように、各接続点は、(画像、ヨー角(つまり画像角度)、ピッチ角、ロール角、水平位置、垂直位置、標定点であるかどうか)の七つ組のデータ組み合わせ、又は(画像、ヨー角、水平位置、標定点であるかどうか)の四つ組のデータ組み合わせを含む。これらの接続点を利用して接続点集合を作成する。「標定点であるかどうか」というパラメータについて、該画像に標定点が現れ、かつ該標定点の予め検証された位置パラメータが正常に得られた場合、このパラメータは「標定点である」となり、さもなければ、該パラメータは「非標定点である」というものである。論理0又は1で表すこともできる。
ステップS1032で、上記接続点の集合に基づいて接続集合を作成し出力する。接続点の集合を入力し、接続点に含まれる水平位置、すなわちxy軸座標に応じて対になる操作を行い、対になる操作の原則としては、例えば、2つの画像の表示位置の距離が所定値を超えず、例えば、画像の長さ又は幅の50%、30%又は20%を超えない。例を挙げて説明すると、接続点Aの水平位置は(0,0)であり、接続点Bの水平位置は(5,0)であると、AからBまでの距離は5であり、画像のサイズが10*10であれば、A、Bは画像のサイズの50%を超えないという基準に合致し、ペアになることができ、本システムではこのような組み合わせは、接続と呼ばれ、各接続は、2つの接続点を含み、本システムにおいて接続集合と呼ばれる組み合わせ可能な全ての接続を出力する。
ステップS1033で、生成された接続集合を入力し、接続集合中の各接続に対して、接続内の2つの接続点A、Bを抽出し、説明の便宜上、接続点Aを基準点と呼び、接続点Bを隣接点と呼び、基準点を原点として、隣接点をオフセットとして、基準点の画像と隣接点の画像を入力として、例えば、位相相関法を実行して、接続信頼度(conf)(両者の間の類似度を特徴付ける)、x方向相対変位(delta_x)、y方向相対変位(delta_y)、相対回転角度(theta)が得られ、本システムでは、(conf、delta_x、delta_y、theta)からなる四つ組を相互相関結果と呼び、対応する接続に入れて記憶し、信頼度が一定の閾値(例えば10であり、該相互相関結果がランダムに出現する確率は正規分布10シグマ位置で表される確率値より小さいと理解できる)を超える接続を保留し、本システムにおいてマッピング接続集合と呼ばれる、フィルタリングされた後の信頼度が該閾値より大きく相互相関結果を含む新しい接続集合を出力する。上記接続信頼度は、位相相関法の出力であり、位相相関法で算出された値のピーク値の鋭さ、又はピーク付近の分布により算出されるものであり、分布が正規状態であると仮定すると、ピーク値と平均値を知ることで、信頼度を算出することができる。相互相関結果は、上記の位相相関法に従って、2つの画像の相関度を算出することにより算出されるものである。位相相関法を実行する過程において、クロスパワースペクトルの計算に関わり、クロスパワースペクトラム関数を利用して、異なる変位条件での相互相関レベルを得ることができ、相互相関レベルが正規分布に従うと仮定すると、統計方法により正規分布の相関パラメータを算出することができ、該パラメータを最大の相互相関値で割れば、接続信頼度を算出することができる。
一実施形態によれば、マッピング接続集合は、両方の点が全て標定点である接続を含まない。
図7に示すように、図中の灰色領域は画像Aであり、緑色領域は画像Bであり、位相相関により算出された、2つの画像の重ね合わせ領域を示している。例えば、図7の2つの画像AとBの算出した相互相関結果は、信頼度131.5142、x方向相対変位33.4、y方向位相変位10.7、回転角度0.3度である。
図8は、基準点と隣接点を含む接続の概略図を示す。
ステップS1034で、マッピング接続集合において勾配降下法を実行し、上記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正する。一実施形態によれば、標定点の画像の横縦座標と角度は不変であり、勾配調整は、非標定点の画像のパラメータを変数として、標定点の画像は定数と見なされる。あるいは、マッピング接続集合は、両方の点が全て標定点である接続を含まないと定義することができ、このような調整が意義なく、標定点はもともと調整されるべきでなくて、勾配を求める時にも求められないためである。最適化関数は、例えば数式1に示される。
・・・・(数式1)
・・・・(数式2)
・・・・(数式3)
・・・・(数式4)
・・・・(数式5)
・・・・(数式6)
・・・・(数式7)
ここで、
はマッピング接続集合に全部で
個の接続が含まれることを表し、
はマッピング接続集合中の
番目の接続を表し、

番目の接続の基準点を表し、

番目の接続の隣接点を表し、

番目の接続の相互相関結果を表し、
は基準点のヨー角を表し、
は隣接点のヨー角を表し、
は相互相関結果における相対回転角度を表し、
は基準点と隣接点の慣性航法測定部品での角度差として理解でき、
は慣性航法測定部品での角度差と相互相関結果における相対回転との角度差として理解でき(相互相関結果における回転角度は位相相関法により算出されたthetaであり、この値は、隣接点の画像がどれぐらいの角度を回転すれば基準点の画像と平行になるかを表す)、ここで、
はヨー角重み関数であり、ヨー角のフィッティング過程において、異なる接続点属性(例えば、標定点と非標定点)の地図反復における重みが異なること(一例として、一般的には、標定点の重みが大きく、例えば1000であり、非標定点の重みが小さく、例えば1である)を表し、
は相互相関結果における角度差の重み関数であり、異なる接続属性(例えば、2つの非標定点の間の接続、標定点と非標定点の間の接続)の相互相関結果角度に対する重み(2つの非標定点の接続であれば、変化の度合いが対等又は均等になるはずであり、これは、2つのコードの地位は等しいが、標定点と非標定点の変化の度合いは対等ではなく、非標定点の変化の度合いが標定点より著しく大きいため、重みにより制御される必要があるからである。実際の状況に応じて重みを与えることができる)を表す。1つの好ましい実施形態によれば、2つの非標定点の接続について、重みは1とし、同じレベルで調整することができ、標定点と非標定点の接続についても、重みは1としてもよく、これは、標定点が定数であり、勾配計算に関与しないため、勾配が不変であると考えられるからである。標定点を微調整することを考慮すれば、標定点と非標定点との接続の重み付け比は99:1に達することができる。
その他の数式の説明は、全て以上の説明と同様に、慣性航法測定部品でのX軸方向の差と相互相関結果におけるX軸方向相対変位の差、慣性航法測定部品でのY軸方向の差と相互相関結果におけるY軸方向相対変位との差をそれぞれ算出し、上記重み関数は、いずれも業務状況、アルゴリズム適合状況に応じて調整することができる。
は基準点のx軸座標を表し、
は隣接点のx軸座標を表し、
は相互相関結果におけるx方向相対変位を表し、
は基準点と隣接点の慣性航法測定部品でのx方向座標の差として理解でき、
は慣性航法測定部品でのx方向座標の差と相互相関結果におけるx方向相対変位の差として理解でき(相互相関結果におけるx方向相対変位は、位相相関法により算出されたdelta_xであり、この値は、隣接点の画像がx方向に沿ってどのぐらいの距離を並進すれば基準点の画像に整列するかを表す)、ここで、
はx軸重み関数であり、x軸座標のフィッティング過程において、異なる接続点属性(例えば、標定点と非標定点)の地図反復における重みが異なること(一例として、一般的には、標定点の重みが大きく、例えば1000であり、非標定点の重みが小さく、例えば1である)を表し、
は相互相関結果のx軸相対変位に対する調整重みであり、例えば1をとすることができる。

は基準点のy軸座標を表し、
は隣接点のy軸座標を表し、
は相互相関結果におけるy方向相対変位を表し、
は基準点と隣接点の慣性航法測定部品でのy方向座標の差として理解でき、
は慣性航法測定部品でのy方向座標の差と相互相関結果におけるy方向相対変位との差として理解でき(相互相関結果におけるy方向相対変位は、位相相関法により算出されたdelta_yであり、この値は、隣接点画像がy方向に沿ってどのぐらいの距離を並進すれば基準点の画像に整列するを表す)、ここで、
はx軸重み関数であり、y軸座標フィッティング過程において、異なる接続点属性(例えば、標定点と非標定点)の地図反復における重みが異なること(一例として、一般的には、標定点の重みが大きく、例えば1000であり、非標定点の重みが小さく、例えば1である)を表し、
は相互相関結果のy軸相対変位に対する調整重みであり、例えば1とすることができる。



はそれぞれ、theta、x、y変化量の最終フィッティング結果における重みを表し、あるシーンはthetaの変化に対して敏感であれば、
を上げることができる。1つの好ましい実施形態によれば、


はいずれも1である。
数式1における独立変数は





である。数式1の各独立変数を導出することにより、各独立変数の勾配方向、又は一組の勾配集合が得られ、勾配降下を行うために使用されている。
勾配降下法の初期化ステップを実行し、慣性航法によりラベリングされた位置パラメータ及び姿勢パラメータを画像の初期位置とする。勾配降下法の入力について、1つは前回の反復集合であり、1つは勾配であり、1つはステップサイズであり、ここで、勾配は数式1から導関数を求めることによって得られ、反復初期集合は、例えば、慣性航法によってラベリングされた位置パラメータ及び姿勢パラメータで付値され、ステップサイズは固定又は可変である。
勾配と反復初期集合を決定した後、勾配方向にステップサイズの降下を行い、数式1を用いて最適化する。必要に応じてステップサイズアルゴリズムをカスタマイズすることができ、本システムは、固定ステップサイズを用いて、勾配降下を行うのが好ましい。反復変化率が所定の閾値より低くなるまで繰り返して実行し、本システムは、例えば、所定の閾値が0.1%である。変化率は、例えば前回算出した値と今回の反復計算で得られた値との差を前回の値で割ったものである。最終的に、各画像の基点(例えば、中心点)の物理座標及び姿勢パラメータを修正後の測位対象となる位置の位置パラメータ及び姿勢パラメータとして得られる。
なお、マッピング接続集合において勾配降下法を実行する過程では、標定点の画像の位置パラメータ及び姿勢パラメータは変化しない。
以上に説明した勾配降下法の実行において、画像のx軸座標、y軸座標、及びヨー角が用いられている。本発明の1つの好ましい実施形態によれば、画像に対応する垂直座標、ピッチ角、及びロール角を含んでもよく、特に、場所に平坦ではない場合、これは非常に役立つ。これらは本発明の保護範囲内にある。
本発明の好ましい実施形態によれば、標定点のうちの一部又は全部に対して、複数回の画像収集を行い、毎回の画像収集に対応する位置パラメータ及び姿勢パラメータを取得する。標定点の画像を複数回収集することにより、反復結果がより正確になり、接続の数が増加する。
本発明の1つの好ましい実施形態によれば、上記座標系、上記標定点の画像、上記測位対象となる位置の画像、上記標定点の画像の位置パラメータ及び姿勢パラメータ、修正後の上記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータをデータベース又はファイルに記憶して、地図ライブラリーを構築することをさらに含む。1つの好ましい実施形態によれば、上記接続の集合及び/又は上記マッピング接続集合を地図の一部として同時に上記データベース又はファイルに記憶する。図9は本発明に基づいて構築された地図を示す。
好ましくは、反復後の地図に対して人工チェックと微調整を行うと、物理座標系と論理座標系の安定したマッピングが完了し、後続の測位のために用いる。
以下、図10を参照しながら、本発明の他の実施形態に係る画像収集用の無人搬送車10を説明する。図10に示すように、無人搬送車10の内部部品が示されているが、そのケースなどの部品は明瞭化のために省略する。無人搬送車10はベース6と、上記ベースに取り付けられ、上記ベースの下方の領域を照明できるように構成されている発光装置5−2と、上記ベースに取り付けられ、上記ベースの下方の領域の画像、例えば、上記発光装置により照明される領域の画像を収集できるように構成されているカメラ5−3と、上記ベースに取り付けられ、上記画像に対応する上記無人搬送車の位置パラメータ及び姿勢パラメータを測定又は算出できるように構成されている測定部品3とを含む。
駆動輪1はベース6に取り付けられ、駆動力を提供するモータと、駆動力を増幅する減速器と、モータの回転角度を取得することにより無人搬送車又は駆動輪の水平位置を取得することができるエンコーダとを含む。駆動輪2は駆動輪1と協力して運動制御を達成する。上記測定部品3は、例えば、慣性航法測定装置であり、例えば、横座標、縦座標、垂直座標、ヨー角、ピッチ角、及びロール角などのような瞬間速度、瞬間角度、瞬間位置のうちの1つ又は複数を提供することができる。本発明の一実施形態によれば、上記駆動輪のエンコーダは、上記測定部品3の一部であってもよい。制御装置4は、上記ベース6に取り付けられ、測定部品3及びカメラ5−3に結合される。上記制御装置4は、上記無人搬送車を制御して標定点及び測位対象となる位置に前進させて、上記標定点の画像及び上記測位対象となる位置の画像を収集するように構成され、かつ上記カメラ5−3と上記測定部品3を同期させることにより、カメラが画像を収集すると同時に、上記測定部品3は、上記無人搬送車の位置パラメータ及び姿勢パラメータを測定でき、すなわち、上記画像に対応する位置パラメータ及び姿勢パラメータを取得する。
上記カメラ5−3は、例えば、無人搬送車の下方の画像を取得する下方監視型カメラであり、ベースに取り付けられ下方監視型カメラの撮影領域を照明する発光装置5−2及びレンズフード5−1とともに撮像装置5を形成する。レンズフード5−1は、上記ベースに取り付けられ、発光装置の光線をより柔らかくし、テカリ現象の発生を防ぐために用いられる。上記発光装置は、好ましくは、上記レンズフードを取り囲んで取り付けられる。
本発明の好ましい実施形態によれば、無人搬送車10は、上記カメラ5−3及び上記測定部品3に結合され、上記カメラで収集した画像と測定部品で測定した位置パラメータ及び姿勢パラメータを受信し、上記画像、上記位置パラメータ及び姿勢パラメータに基づいて、上記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正する処理装置(未図示)をさらに含む。当業者が理解できるように、処理装置は、上記無人搬送車10に組み込まれてもよく、上記無人搬送車から物理的に分離されて、有線又は無線の方式により他の部材と通信してもよい。これらは、いずれも本発明の範囲内にある。
本発明の1つの好ましい実施形態によれば、上記処理装置は、それぞれ1枚の画像、上記1枚の画像に対応する上記位置パラメータ及び上記姿勢パラメータ、上記画像が標定点に対応するかどうかを含む接続点の集合を作成することと、上記接続点の集合から、距離が所定値を超えない2つの接続点を一つの接続として取得して、接続の集合を作成することと、上記接続の集合中の各々の接続に含まれる2つの接続点に対して、上記2つの接続点の間の接続信頼度を算出し、接続信頼度が所定の閾値より高い接続をマッピング接続集合としてフィルタリングすることと、反復変化率が所定の閾値より低くなるまで、上記マッピング接続集合において、初期化ステップを実行する際に非標定点の接続点の画像の上記位置パラメータ及び姿勢パラメータを初期反復パラメータとする勾配降下法を実行することとを含む方法により、上記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正する。具体的な計算過程は、数式1−7に示されている。
本発明の好ましい実施形態によれば、上記測定部品は、慣性航法測定部品であり、上記位置パラメータは、横座標及び縦座標を含み、好ましくは、垂直座標を含み、上記姿勢パラメータは、ヨー角を含み、好ましくは、ピッチ角及びロール角を含む。
本発明の1つの好ましい実施形態によれば、上記測定部品は、レーザSLAM測定装置及び/又は視覚SLAM測定装置を含む。
本発明の1つの好ましい実施形態によれば、上記処理装置は、上記座標系、上記標定点の画像、上記測位対象となる位置の画像、上記標定点の画像の位置パラメータ及び姿勢パラメータ、修正後の上記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータをデータベース又はファイルに記憶して、地図ライブラリーを構築するように構成されている。
本発明は、上述したような無人搬送車と、上記カメラ及び上記測定部品と通信し、上記画像、上記位置パラメータ及び姿勢パラメータに基づいて、上記画像の位置パラメータ及び姿勢パラメータを修正するように構成されている処理装置とを含む画像収集処理システムをさらに提供する。上記処理装置は、例えば、上記無人搬送車に設置されていない。
上記処理装置は、例えば、上述したようなマッピング方法100を実行できるように構成されている。
本発明は、上記無人搬送車の下方の画像を収集できるように構成されているカメラと、上記無人搬送車の下方を照明できるように構成されている発光装置と、上記無人搬送車の位置パラメータ及び姿勢パラメータを測定できるように構成されている慣性航法測定部品と、上記カメラと上記慣性航法測定部品がいずれもそれに結合され、上記画像、上記位置パラメータ及び姿勢パラメータに基づいて、上記画像の位置パラメータ及び姿勢パラメータを修正する処理装置とを含む無人搬送車用のマッピング測位システムをさらに提供する。
上記処理装置は、例えば、上述したようなマッピング方法100を実行するように構成されている。
本発明は、上記場所の座標系を作成又は取得するように構成されている装置と、上記場所をスキャンし、標定点の画像、複数の測位対象となる位置の画像、上記画像に対応する位置パラメータ及び姿勢パラメータを取得するように構成されている装置と、上記画像、上記位置パラメータ及び上記姿勢パラメータに基づいて、上記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正するように構成されている装置とを含む、場所をマッピングするデバイスを提供する。
方法100によって作成された地図に基づいて、本発明は、測位方法200をさらに提供する。以下、図11を参照しながら、本発明に係る測位方法200を説明する。
図11に示すように、ステップS201では、本発明の方法100で得られた地図をロード又は取得し、例えば、地図ファイル又はデータベースをロード又は読み込みすることにより行うことができる。
ステップS202では、測位対象となる位置の画像、該画像に対応する位置パラメータ及び姿勢パラメータを収集又は取得する。例えば、AGV動作中に画像を収集しながら、該画像に対応する位置パラメータ及び姿勢パラメータを測定する。
ステップS203では、上記地図において、その測位対象となる位置の画像との距離が最も近い画像を検索する。
本発明の1つの好ましい実施形態によれば、上記測位方法200は、位相相関法を用いて、上記測位対象となる位置の画像と上記距離が最も近い画像との間の信頼度、位置パラメータオフセット及び姿勢パラメータオフセットを算出することをさらに含む。
本発明1つの好ましい実施形態によれば、位相相関法を用いて算出した信頼度が所定値より低い場合、該距離が最も近い画像を廃棄し、該測位対象となる位置の画像との距離が最も近く(廃棄した画像を含まない)、信頼度が所定値より高い画像を再検索する。距離が最も近く信頼度が所定値より高い画像が見つかった場合、検索された画像の位置に位相相関法のオフセット量を加えれば、測位対象となる画像の位置パラメータを取得することができ、その後、デバイスの位置を更新すれば、測位に成功する。測位に成功した後、次の検索される位置はこの位置である。
図12は、本発明の少なくとも一部の実施形態に従って構成されたコンピュータプログラム製品900のブロック図である。信号担持媒体902は、コンピュータ読み取り可能な媒体906、コンピュータ記録可能な媒体908、コンピュータ通信媒体910、又はこれらの組み合わせとして実現されるか、又はこれらを含むことができ、処理ユニットを配置して前に説明した過程における全部又は一部のプログラミング命令904を記憶する。これらの命令は、例えば、1つ又は複数のプロセッサに、上記場所の座標系を作成又は取得する処理と、上記場所をスキャンして、標定点の画像、測位対象となる位置の画像、上記画像に対応する位置パラメータ及び姿勢パラメータを取得する処理と、上記標定点の画像、上記測位対象となる位置の画像、上記位置パラメータ及び上記姿勢パラメータに基づいて、上記測位対象となる位置の画像の上記位置パラメータ及び姿勢パラメータを修正する処理とを、実行させるための1つ又は複数の実行可能な命令を含むことができる。
上記の詳細な説明は、ブロック図、フローチャート及び/又は例を用いて、装置及び/又は方法の様々な例を説明したが、このようなブロック図、フローチャート及び/又は例は、1つ又は複数の機能及び/又は操作を含み、当業者によって理解されるように、このようなブロック図、フローチャート又は例の中の各機能及び/又は操作は、幅広い範囲のハードウェア、ソフトウェア、ファームウェア、又はそれらの実質的に任意の組み合わせによって、個別及び/又は集合的に実施されうる。一例では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、又は他の集積形態によって実施されてもよい。しかしながら、当業者は、本明細書に記載された例示的な実施形態は、全体又は部分的に集積回路に等価的に実施されてもよく、1つ又は複数のコンピュータ上で実行される1つ又は複数のコンピュータプログラム(例えば、1つ又は複数のコンピュータシステム上で実行される1つ又は複数のコンピュータプログラム)として実施されてもよく、1つ又は複数のプロセッサ上で実行される1つ又は複数のプログラム(例えば、1つ又は複数のマイクロプロセッサ上で実行される1つ又は複数のプログラム)として実施されてもよく、ファームウェアとして実施されてもよく、又はそれらのほとんどの組み合わせとして実施されてもよいことを理解でき、本開示により、回路設計及び/又はソフトウェア及び/又はファームウェアのコードの作成は当業者の熟練した技能内にある。例えば、ユーザは、速度と精度が最も重要であると決定した場合、主なハードウェア及び/又はファームウェア媒体を選択することができ、柔軟性が最も重要であれば、主なソフトウェアの実施形態を選択することができ、さらに代替的に、ハードウェア、ソフトウェア、及び/又はファームウェアの任意の組み合わせを選択することができる。
さらに、当業者が認識できるように、本明細書に記載した主題のメカニズムは、様々な形でプログラム製品として配給することができ、また、本明細書に記載した主題の例示的な例は、該配給を実際に実現するための信号担持媒体の具体的な種類にかかわらず適用することができる。信号担持媒体の例は、フレキシブルディスク、ハードディスクドライブ、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、デジタルテープ、コンピュータメモリなどの記録可能型媒体と、デジタル及び/又はアナログ通信媒体(例えば、光ファイバケーブル、導波路、有線通信リンク、無線通信リンクなど)の伝送型媒体とを含むが、これらに限定されない。
当業者が認識できるように、本明細書に記載された方式で装置及び/又は方法を説明し、その後、エンジニアリング実践によりこのように記載した装置及び/又は方法をデータ処理システムに集積することが本分野には一般的である。すなわち、本明細書に記載された装置及び/又は方法の少なくとも一部は、合理的な量の実験によりデータ処理システムに集積され得る。当業者が認識できるように、典型的なデータ処理システムは、一般に、システムユニット筐体、ビデオ表示装置、揮発性及び不揮発性メモリなどのメモリ、マイクロプロセッサ及びデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどのコンピューティングエンティティ、ドライブ、グラフィカルユーザインターフェース、アプリケーション、タッチパッド又はタッチパネルのような1つ又は複数のインタラクティブ装置、及び/又はフィードバックループ及び制御モータ(例えば、位置及び/又は速度を感知するフィードバック、部品及び/又は量を移動及び/又は調整するための制御モータ)を含む制御システムのうちの1つ又は複数を含む。典型的なデータ処理システムは、データ計算/通信及び/又はネットワーク計算/通信システムに一般的に見られるような、任意の適切な市販の部件で実施することができる。
最後に、以上は本発明の好適な実施形態に過ぎず、本発明を限定するものではなく、上記実施形態を参照しながら本発明を詳細に説明したが、当業者にとっては、依然として上述した各実施形態に記載された技術手段を修正したり、一部の技術的特徴を均等に置き換えたりすることができる。本発明の精神及び原則内で行われるいかなる修正、均等置換、改善等は、本発明の保護範囲に含まれるべきである。

Claims (29)

  1. 場所をマッピングする方法であって、
    前記場所の座標系を作成又は取得することと、
    前記場所をスキャンして、標定点の画像、測位対象となる位置の画像、前記画像に対応する位置パラメータ及び姿勢パラメータを取得することと、
    前記標定点の画像、前記測位対象となる位置の画像、前記位置パラメータ及び前記姿勢パラメータに基づいて、前記測位対象となる位置の画像の前記位置パラメータ及び姿勢パラメータを修正することとを含む、方法。
  2. 前記位置パラメータは、横座標及び縦座標を含み、好ましくは、垂直座標を含み、前記姿勢パラメータは、ヨー角を含み、好ましくは、ピッチ角及びロール角を含む、請求項1に記載の方法。
  3. 前記修正ステップは、
    それぞれ1枚の画像、前記1枚の画像に対応する前記位置パラメータ及び前記姿勢パラメータ、前記画像が標定点に対応するかどうかを含む接続点の集合を作成することと、
    前記接続点の集合に基づいて、前記測位対象となる位置の画像の前記位置パラメータ及び姿勢パラメータを修正することとを含む、請求項1又は2に記載の方法。
  4. 前記修正ステップは、
    前記接続点の集合から、距離が所定値を超えない2つの接続点を一つの接続として取得して、接続の集合を作成することと、
    前記接続の集合中の各々の接続に含まれる2つの接続点に対して、前記2つの接続点の間の接続信頼度を算出し、接続信頼度が所定の閾値より高い接続をマッピング接続集合としてフィルタリングすることと、
    前記マッピング接続集合に基づいて、前記測位対象となる位置の画像の前記位置パラメータ及び姿勢パラメータを修正することとを含む、請求項3に記載の方法。
  5. 前記修正ステップは、さらに、
    前記マッピング接続集合において、初期化ステップを実行する際に非標定点の接続点の画像の前記位置パラメータ及び姿勢パラメータを初期反復パラメータとする勾配降下法を実行することを含む、請求項4に記載の方法。
  6. 前記修正ステップは、さらに、
    反復変化率が所定の閾値より低くなるまで、前記勾配降下法を実行することを含む、請求項5に記載の方法。
  7. 標定点のうちの一部又は全部に対して、複数回の画像収集を行い、毎回の画像収集に対応する位置パラメータ及び姿勢パラメータを取得する、請求項1〜6の何れか1項に記載の方法。
  8. 前記座標系、前記標定点の画像、前記測位対象となる位置の画像、前記標定点の画像の位置パラメータ及び姿勢パラメータ、修正後の前記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータをデータベース又はファイルに記憶して、地図を作成し、好ましくは、前記接続の集合及び/又は前記マッピング接続集合を前記データベース又はファイルに記憶することをさらに含む、請求項1〜7の何れか1項に記載の方法。
  9. 前記座標系は物理座標系である、請求項1〜8の何れか1項に記載の方法。
  10. 前記所定値は、前記画像の長さ又は幅の半分である、請求項4に記載の方法。
  11. ベースと、
    前記ベースに取り付けられ、前記ベースの下方の領域の画像を収集できるように構成されているカメラと、
    前記ベースに取り付けられ、前記画像に対応する無人搬送車の位置パラメータ及び姿勢パラメータを測定又は算出できるように構成されている測定部品とを含む、画像収集用の無人搬送車。
  12. 前記ベースに取り付けられ、前記カメラによる画像収集のために前記ベースの下方の領域を照明できるように構成されている発光装置をさらに含む、請求項11に記載の無人搬送車。
  13. 前記ベースに取り付けられ、前記カメラと前記測定部品がいずれもそれに結合され前記搬送車を制御して前記標定点及び前記測位対象となる位置に前進させて、前記標定点の画像及び前記測位対象となる位置の画像を収集するように構成されている制御装置をさらに含む、請求項11又は12に記載の無人搬送車。
  14. 前記カメラ及び前記測定部品に結合され、前記画像、前記位置パラメータ及び姿勢パラメータに基づいて、前記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正する処理装置をさらに含む、請求項13に記載の無人搬送車。
  15. 前記処理装置は、
    それぞれ1枚の画像、前記1枚の画像に対応する前記位置パラメータ及び前記姿勢パラメータ、前記画像が標定点に対応するかどうかを含む接続点の集合を作成することと、
    前記接続点の集合から、距離が所定値を超えない2つの接続点を一つの接続として取得して、接続の集合を作成することと、
    前記接続の集合中の各々の接続に含まれる2つの接続点に対して、前記2つの接続点の間の接続信頼度を算出し、接続信頼度が所定の閾値より高い接続をマッピング接続集合としてフィルタリングすることと、
    前記マッピング接続集合において、反復変化率が所定の閾値より低くなるまで、初期化ステップを実行する際に非標定点の接続点の画像の前記位置パラメータ及び姿勢パラメータを初期反復パラメータとする勾配降下法を実行することとを含む方法により、
    前記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正する、請求項14に記載の無人搬送車。
  16. 前記ベースに取り付けられ、前記発光装置からの光線を柔らかくするためのレンズフードをさらに含み、好ましくは、前記発光装置は、前記レンズフードを取り囲んで取り付けられる、請求項11〜15の何れか1項に記載の無人搬送車。
  17. 前記測定部品は、慣性航法測定部品である、請求項11〜16の何れか1項に記載の無人搬送車。
  18. 前記位置パラメータは、横座標及び縦座標を含み、好ましくは、垂直座標を含み、前記姿勢パラメータは、ヨー角を含み、好ましくは、ピッチ角及びロール角を含む、請求項11〜17の何れか1項に記載の無人搬送車。
  19. 前記測定部品は、レーザSLAM測定装置及び/又は視覚SLAM測定装置を含む、請求項11〜18の何れか1項に記載の無人搬送車。
  20. 前記処理装置は、前記座標系、前記標定点の画像、前記測位対象となる位置の画像、前記標定点の画像の位置パラメータ及び姿勢パラメータ、修正後の前記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータをデータベース又はファイルに記憶して、地図を作成し、好ましくは、前記接続の集合及び/又は前記マッピング接続集合を前記データベース又はファイルに記憶するように構成されている、請求項14又は15に記載の無人搬送車。
  21. 請求項11に記載の無人搬送車と、
    前記カメラ及び前記測定部品に結合され、前記画像、前記位置パラメータ及び姿勢パラメータに基づいて、前記画像の位置パラメータ及び姿勢パラメータを修正する処理装置とを含む、画像収集処理システム。
  22. 前記処理装置は、請求項1〜10の何れか1項に記載のマッピング方法を実行できるように構成されている、請求項20に記載の画像収集処理システム。
  23. 無人搬送車の下方の画像を収集できるように構成されているカメラと、
    前記無人搬送車の下方を照明できるように構成されている発光装置と、
    前記無人搬送車の位置パラメータ及び姿勢パラメータを測定できるように構成されている慣性航法測定部品と、
    前記カメラと前記慣性航法測定部品がいずれもそれに結合され、前記画像、前記位置パラメータ及び姿勢パラメータに基づいて、前記画像の位置パラメータ及び姿勢パラメータを修正するように構成されている処理装置とを含む、無人搬送車用のマッピング測位システム。
  24. 前記処理装置は、請求項1〜10の何れか1項に記載のマッピング方法を実行できるように構成されている、請求項22に記載のマッピング測位システム。
  25. 場所をマッピングするデバイスであって、
    前記場所の座標系を作成又は取得するように構成されている装置と、
    前記場所をスキャンして、標定点の画像、複数の測位対象となる位置の画像、前記画像に対応する位置パラメータ及び姿勢パラメータを取得するように構成されている装置と、
    前記画像、前記位置パラメータ及び前記姿勢パラメータに基づいて、前記測位対象となる位置の画像の位置パラメータ及び姿勢パラメータを修正する装置とを含む、デバイス。
  26. 請求項1〜10のいずれか1項に記載の方法で得られた地図をロード又は取得することと、
    測位対象となる位置の画像、該画像に対応する位置パラメータ及び姿勢パラメータを収集又は取得することと、
    前記地図に基づいて、該測位対象となる位置の画像との距離が最も近い画像を検索することとを含む、測位方法。
  27. 位相相関法を用いて、前記測位対象となる位置の画像と前記距離が最も近い画像との間の信頼度、位置パラメータオフセット及び姿勢パラメータオフセットを算出することをさらに含む、請求項26に記載の測位方法。
  28. 位相相関法を用いて算出された信頼度が所定値より低い場合、該距離が最も近い画像を廃棄し、該測位対象となる位置の画像との距離が最も近く、信頼度が所定値より高い画像を再検索する、請求項26に記載の測位方法。
  29. プロセッサによって実行される場合、請求項1〜10のいずれか一項に記載のマッピング方法を実行するコンピュータ実行可能な命令を記憶する、コンピュータ読み取り可能な記憶媒体。
JP2019531677A 2018-05-31 2019-02-21 マッピング方法、画像収集処理システム及び測位方法 Active JP6977921B2 (ja)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
CN201820865300.X 2018-05-31
CN201810551792 2018-05-31
CN201820865300 2018-05-31
CN201810551792.X 2018-05-31
CN201822023605.9 2018-12-04
CN201822023605.9U CN211668521U (zh) 2018-05-31 2018-12-04 用于图像采集的自动引导车、以及图像采集和处理系统
CN201811475564.5 2018-12-04
CN201811475564.5A CN110006420B (zh) 2018-05-31 2018-12-04 建图方法、图像采集和处理系统和定位方法
PCT/CN2019/075741 WO2019154435A1 (zh) 2018-05-31 2019-02-21 建图方法、图像采集和处理系统和定位方法

Publications (2)

Publication Number Publication Date
JP2020532775A true JP2020532775A (ja) 2020-11-12
JP6977921B2 JP6977921B2 (ja) 2021-12-08

Family

ID=67174769

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019531677A Active JP6977921B2 (ja) 2018-05-31 2019-02-21 マッピング方法、画像収集処理システム及び測位方法
JP2019531456A Active JP7083472B2 (ja) 2018-05-31 2019-04-25 地図構築方法、画像収集処理システムと測位方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2019531456A Active JP7083472B2 (ja) 2018-05-31 2019-04-25 地図構築方法、画像収集処理システムと測位方法

Country Status (2)

Country Link
JP (2) JP6977921B2 (ja)
CN (3) CN110006420B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110006420B (zh) * 2018-05-31 2024-04-23 上海快仓智能科技有限公司 建图方法、图像采集和处理系统和定位方法
CN112150907A (zh) * 2019-10-23 2020-12-29 王博 一种基于地球纹理构建地图的方法及应用
CN112070810B (zh) * 2020-08-31 2024-03-22 安徽爱观视觉科技有限公司 定位方法、可移动设备及计算机可读存储介质
CN112465912B (zh) * 2020-11-18 2024-03-29 新拓三维技术(深圳)有限公司 一种立体相机标定方法及装置
CN112612788B (zh) * 2020-12-11 2024-03-01 中国北方车辆研究所 一种无导航卫星信号下的自主定位方法
CN112835333B (zh) * 2020-12-31 2022-03-15 北京工商大学 一种基于深度强化学习多agv避障与路径规划方法及系统
CN113029168B (zh) * 2021-02-26 2023-04-07 杭州海康机器人股份有限公司 基于地面纹理信息的地图构建方法和系统及移动机器人
CN115761311B (zh) * 2022-11-03 2023-07-07 广东科力新材料有限公司 Pvc钙锌稳定剂的性能检测数据分析方法及系统

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004151085A (ja) * 2002-09-27 2004-05-27 Canon Inc 情報処理方法及び情報処理装置
US7774158B2 (en) * 2002-12-17 2010-08-10 Evolution Robotics, Inc. Systems and methods for landmark generation for visual simultaneous localization and mapping
CN1762123A (zh) * 2003-01-24 2006-04-19 科科通信公司 使未采用集中管理的匿名非信任方之间的通信和资源共享安全的方法与装置
CN101566471B (zh) * 2007-01-18 2011-08-31 上海交通大学 基于地面纹理的智能车视觉全局定位方法
CN101354441A (zh) * 2008-09-11 2009-01-28 上海交通大学 全天候运行的移动机器人定位系统
CN102201052B (zh) * 2010-03-26 2015-08-19 新奥特(北京)视频技术有限公司 一种篮球广播视频中场地检测的方法
CN102324102B (zh) * 2011-10-08 2014-04-16 北京航空航天大学 一种图像场景空洞区域结构和纹理信息自动填补方法
CN102692188B (zh) * 2012-05-08 2014-11-12 浙江工业大学 机械视觉疲劳裂纹扩展试验裂纹长度动态测量方法
WO2014003596A1 (en) * 2012-06-26 2014-01-03 Schlumberger, Holdings Limited A method for building a 3d model of a rock sample
CN102866397B (zh) * 2012-10-12 2014-10-01 中国测绘科学研究院 一种多源异构遥感影像联合定位方法
CN103955550B (zh) * 2012-11-12 2018-04-24 罗克韦尔自动化技术公司 用于人机接口动画图形元素的计算机辅助设计的方法及装置
WO2015084533A1 (en) * 2013-12-05 2015-06-11 Schlumberger Canada Limited Digital core model construction
KR102497704B1 (ko) * 2014-12-09 2023-02-09 바스프 에스이 광 검출기
CN104732545B (zh) * 2015-04-02 2017-06-13 西安电子科技大学 结合稀疏近邻传播和快速谱聚类的纹理图像分割方法
CN104835173B (zh) * 2015-05-21 2018-04-24 东南大学 一种基于机器视觉的定位方法
CN105043383A (zh) * 2015-07-10 2015-11-11 哈尔滨医科大学 一种姿态矫正方法及装置
CN105389819B (zh) * 2015-11-13 2019-02-01 武汉工程大学 一种鲁棒的半标定下视图像极线校正方法及系统
CN108352069B (zh) * 2015-12-15 2022-11-25 徕卡生物系统公司 自动核分割
CN105444741B (zh) * 2015-12-17 2018-08-28 南京航空航天大学 基于双视野窗口的路径特征识别、偏差测量与精确定位方法
CN105426872B (zh) * 2015-12-17 2019-06-21 电子科技大学 一种基于相关高斯过程回归的面部年龄估计方法
CN106289285A (zh) * 2016-08-20 2017-01-04 南京理工大学 一种关联场景的机器人侦察地图及构建方法
CN107918499B (zh) * 2016-10-09 2022-09-06 北京墨土科技有限公司 光学定位系统及方法、定位用光学观测设备
CN106767854B (zh) * 2016-11-07 2020-05-22 纵目科技(上海)股份有限公司 移动设备、车库地图形成方法及系统
CN106714110B (zh) * 2017-01-19 2020-03-31 深圳大学 一种Wi-Fi位置指纹地图自动构建方法及系统
CN107146255A (zh) * 2017-04-05 2017-09-08 纵目科技(上海)股份有限公司 全景图像误差校正方法及装置
CN107103293B (zh) * 2017-04-13 2019-01-29 西安交通大学 一种基于相关熵的注视点估计方法
CN106996777B (zh) * 2017-04-21 2019-02-12 合肥井松自动化科技有限公司 一种基于地面图像纹理的视觉导航方法
CN107392848A (zh) * 2017-06-14 2017-11-24 江西科技师范大学 全景图像显示方法和装置
CN107607110A (zh) * 2017-07-29 2018-01-19 刘儿兀 一种基于图像和惯导技术的定位方法及系统
CN107492105A (zh) * 2017-08-11 2017-12-19 深圳市旭东数字医学影像技术有限公司 一种基于多统计信息的变分分割方法
CN107966638B (zh) * 2017-12-29 2020-09-11 国网北京市电力公司 校正误差的方法和装置、存储介质及处理器
CN110006420B (zh) * 2018-05-31 2024-04-23 上海快仓智能科技有限公司 建图方法、图像采集和处理系统和定位方法

Also Published As

Publication number Publication date
CN110189331B (zh) 2022-08-05
CN211668521U (zh) 2020-10-13
JP7083472B2 (ja) 2022-06-13
CN110006420A (zh) 2019-07-12
JP6977921B2 (ja) 2021-12-08
JP2020530598A (ja) 2020-10-22
CN110006420B (zh) 2024-04-23
CN110189331A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
JP6977921B2 (ja) マッピング方法、画像収集処理システム及び測位方法
US20200183405A1 (en) Fixed Segmented Lattice Planning for a Mobile Automation Apparatus
KR102627352B1 (ko) 증강 현실 디바이스를 교정하기 위한 방법
US20200219267A1 (en) Visual-inertial odometry with an event camera
CN102538779B (zh) 机器人系统以及地图更新方法
CN111121754A (zh) 移动机器人定位导航方法、装置、移动机器人及存储介质
KR102347239B1 (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
CN109002161B (zh) 对眼动追踪器进行硬件校准的装置和方法
CN111652113B (zh) 障碍物检测方法、装置、设备以及存储介质
CN105487555A (zh) 一种无人机的悬停定位方法及装置
CN112964276B (zh) 一种基于激光和视觉融合的在线标定方法
CN111862214B (zh) 计算机设备定位方法、装置、计算机设备和存储介质
CN111862215B (zh) 一种计算机设备定位方法、装置、计算机设备和存储介质
US20210252700A1 (en) Hybrid visual servoing method based on fusion of distance space and image feature space
EP4114623A1 (en) Method and system for obstacle avoidance in robot path planning using depth sensors
CN110895408A (zh) 一种自主定位方法、装置及移动机器人
CN112833890A (zh) 地图构建方法、装置、设备、机器人及存储介质
JP2014089740A (ja) ロボットシステム及び地図更新方法
Csaba et al. Differences between Kinect and structured lighting sensor in robot navigation
KR20210015516A (ko) 라이다와 카메라를 이용하여 이미지 특징점의 깊이 정보를 향상시키는 방법 및 시스템
CN117437348A (zh) 计算装置及模型生成方法
JP5953393B2 (ja) ロボットシステム及び地図更新方法
CN114577216A (zh) 导航地图构建方法、装置、机器人及存储介质
WO2019154435A1 (zh) 建图方法、图像采集和处理系统和定位方法
JP7375066B2 (ja) 無人飛行体または航空機によって撮影した航空画像に基づいてhdマップを生成する方法およびシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200303

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210427

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211012

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211027

R150 Certificate of patent or registration of utility model

Ref document number: 6977921

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150