JP2019194787A - 部品情報管理システム、部品情報管理方法および部品情報管理プログラム - Google Patents

Abstract

【課題】様々な形状の部品の位置及び姿勢を検出することが可能な部品情報管理システムを提供する。【解決手段】本願発明の部品情報管理システムは、複数の特徴点を有する第１の特徴点パターンが付された部品と、所定の位置に設置され複数の特徴点を有する第２の特徴点パターンが付された基準点とを備え、第１の特徴点パターンと第２の特徴点パターンを含む画像情報を取得し、画像情報に含まれる複数の特徴点を抽出することにより第１の特徴点パターンおよび第２の特徴点パターンを特定し、予め登録された特徴点パターンと部品の形状の対応関係とに基づいて部品の形状を特定し、予め登録された特徴点パターンと基準点マーカの位置および姿勢の対応関係に基づいて基準点マーカの位置および姿勢を特定し、第１の特徴点パターンと第２の特徴点パターンの相対的な位置関係に基づいて部品の位置および姿勢を特定する。【選択図】 図１

Description

本願発明は、特徴点を抽出する画像処理により、荷物や部品の位置や姿勢を管理する部品情報管理システムに関する。

物流の現場においては、広い倉庫内における多数の荷物や部品の位置を人間の手を用いることなく簡易に把握する技術が求められている。また、建設工事や土木工事の現場においても、設計で定めた種々の部品が適正な位置に配置されていることを確認でき、さらに、各部品が適正な姿勢で配置されているかについても確認できる技術が求められている。

例えば、特許文献１には、識別用のマーカーが付された物品を魚眼カメラによって撮像して得られた魚眼画像データを取得し、その魚眼画像データから物品に付されたマーカーを検出することにより物品及びその位置を認識する技術が記載されている。この物品に付された識別用のマーカーには、マーカーを認識するための外枠ともに、物品を識別するためのＩＤ情報が含まれており、物品の位置の検出と物品の識別を行うことができる。

また、ロボットによる部品のピッキングの分野では、部品に配置された複数のマーカーを読み取ることにより部品の位置や姿勢を検出することが従来から採用されている。例えば、特許文献２では、所定の形状の三角形の頂点に配置された３つのマーカーを部品に設置し、そのマーカーを撮影した画像情報における三角形のマーカーの形状、大きさ及び位置に基づいて部品の位置及び姿勢を検出する技術が提案されている。

特開２０１５−０６７４４３号公報 特開２０１０−２４３４０５号公報

ここで、特許文献１において用いられる識別用のマーカーによれば、物品の位置の検出とともに物品の識別を行うことができるが、物品の姿勢までは検出することはできない。また、特許文献２のマーカーでは、物品の位置とともに物品の姿勢を検出することができるが、簡単な形状の部品の位置や姿勢を検出することができるにとどまり、建設工事等の現場において求められているような、様々な形状の部品の位置や姿勢を検出することはできない。また、屋外での作業や建築現場では、マーカーの汚れや欠損などが生じる可能性が高いが、従来のマーカーでは検出が困難な場合もある。

本願発明は、以上のような課題を解決するためになされたものであり、様々な形状の部品の位置及び姿勢を検出することが可能な部品情報管理システムを提供することを目的とする。

上記課題を解決するために、本願発明の部品情報管理システムは、部品の形状毎に予め定められた第１の特徴点パターンが付された部品と、所定のエリアの予め定められた複数の位置に設置され、基準点マーカ毎に予め定められた第２の特徴点パターンが付された基準点マーカと、を備え、前記所定のエリアにおいて、前記第１の特徴点パターンと前記第２の特徴点パターンを含む画像情報を取得する撮影端末と、部品情報管理サーバであって、前記画像情報に含まれる特徴点を抽出することにより前記第１の特徴点パターンおよび前記第２の特徴点パターンを特定する手段と、特定された前記第１の特徴点パターンと、予め登録された特徴点パターンと部品の形状の対応関係とに基づいて前記部品の形状を特定する手段と、特定された前記第２の特徴点パターンと、予め登録された特徴点パターンと基準点マーカの位置および姿勢の対応関係に基づいて前記基準点マーカの位置および姿勢を特定する手段と、前記第１の特徴点パターンに対する前記第２の特徴点パターンの相対的な位置関係に基づいて前記部品の位置および姿勢を特定する手段とを有する部品情報管理サーバとを備える。

前記第１の特徴点パターンは、前記部品の形状を特徴づける特徴面に付され、複数の前記部品が識別可能に構成されてもよい。

前記第１の特徴点パターンは、互いに識別可能な複数の特徴点パターンを有し、前記複数の特徴点パターンのそれぞれが部品の形状を特定可能に構成され、前記複数の特徴点パターンの一部が抽出できない場合に、前記複数の特徴点パターンの他の一部を抽出することにより前記部品の形状を特定してもよい。

前記第１の特徴点パターンは、前記第１の特徴点パターンの複数の特徴点に囲まれた領域内に配置された第３の特徴点パターンを有し、前記第３の特徴点パターンが前記部品の形状を特定可能に構成され、前記撮影端末が様々な距離から前記画像情報を取得する場合に、前記画像情報から前記特徴点を抽出することにより前記部品の形状を特定してもよい。

前記部品情報管理サーバは、特定された前記部品の位置および姿勢と、予め登録された前記部品が設置されるべき位置および姿勢とを比較することにより、前記特定された前記部品の位置および姿勢の正当性を検証する手段を有してもよい。

上記課題を解決するために、本願発明の部品情報管理方法は、部品の形状毎に予め定められた第１の特徴点パターンが付された部品と、所定のエリアの予め定められた位置に設置され、基準点マーカ毎に予め定められた第２の特徴点パターンが付された基準点マーカとを備えた部品情報管理システムにおける部品情報管理方法であって、撮影端末が、前記所定のエリアにおいて、前記第１の特徴点パターンと前記第２の特徴点パターンを含む画像情報を取得し、部品情報管理サーバが、前記画像情報に含まれる特徴点を抽出することにより前記第１の特徴点パターンおよび前記第２の特徴点パターンを特定し、特定された前記第１の特徴点パターンと、予め登録された特徴点パターンと部品の形状の対応関係とに基づいて前記部品の形状を特定し、特定された前記第２の特徴点パターンと、予め登録された特徴点パターンと基準点マーカの位置および姿勢の対応関係に基づいて前記基準点マーカの位置および姿勢を特定し、前記第１の特徴点パターンおよび前記第２の特徴点パターンに対する前記撮影端末の相対的な位置関係に基づいて前記部品の位置および姿勢を特定する。

上記課題を解決するために、本願発明の部品情報管理プログラムは、部品の形状毎に予め定められた第１の特徴点パターンが付された部品と、所定のエリアの予め定められた位置に設置され、基準点マーカ毎に予め定められた第２の特徴点パターンが付された基準点マーカとを備えた部品情報管理システムにおける部品情報管理プログラムであって、部品情報管理サーバに、撮影端末により前記所定のエリアにおいて取得され、前記第１の特徴点パターンと前記第２の特徴点パターンを含む画像情報に含まれる特徴点を抽出することにより前記第１の特徴点パターンおよび前記第２の特徴点パターンを特定することと、特定された前記第１の特徴点パターンと、予め登録された特徴点パターンと部品の形状の対応関係とに基づいて前記部品の形状を特定することと、特定された前記第２の特徴点パターンと、予め登録された特徴点パターンと基準点マーカの位置および姿勢の対応関係に基づいて前記基準点マーカの位置および姿勢を特定することと、前記第１の特徴点パターンおよび前記第２の特徴点パターンに対する前記撮影端末の相対的な位置関係に基づいて前記部品の位置および姿勢を特定することとを実施させる。

本願発明によれば、様々な形状の部品の位置及び姿勢を検出する部品情報管理システムを提供することが可能となる。

図１は、部品情報管理システムの概要を示す図である。 図２は、特徴点パターンを用いた部品の形状、位置、姿勢の特定を説明するための図である。 図３は、部品情報管理システムにおける撮影端末および部品情報管理サーバの構成例を示す図である。 図４は、部品に付される特徴点パターンの構成の一例を示す図である。 図５は、複数の特徴点パターンを含む特徴点パターンの構成の一例を示す図である。 図６は、撮影端末、基準点マーカおよび部品の位置関係を示す図である。 図７は、基準点マーカおよび部品に対する撮影端末の相対的な位置・姿勢を表す座標変換行列を示す図である。 図８は、部品形状情報の管理テーブルの一例を示す図である。 図９は、基準点位置情報、部品位置・姿勢情報の管理テーブルの一例を示す図である。 図１０は、部品の位置および姿勢の特定処理のシーケンスの一例を示す図である。 図１１は、部品の位置および姿勢の特定処理のフローチャートの一例を示す図である。

以下、本願発明を実施するための形態について説明する。

＜部品情報管理システムの概要＞
図１は、部品情報管理システムの概要を示す図である。本実施の形態の部品情報管理システムでは、複数の基準点マーカ＃Ａ−＃Ｅが所定の位置に配置された所定のエリアに、種々の形状を有する部品＃１−＃５が設置されている。

エリア内に配置された基準点マーカ＃Ａ−＃Ｅは、エリア内における部品の位置を特定するための基準となるマーカであり、基準点マーカ＃Ａ−＃Ｅは、所定のエリア内の予め定められた位置に設置されている。部品が設置された位置の基準点マーカからの相対的位置関係を特定し、さらに基準点マーカのエリア内における位置を用いて、部品のエリア内における位置を特定することができる。

基準点マーカ＃Ａ−＃Ｅには、各基準点マーカ毎に予め定められた特徴点パターンが付されており、特徴点パターンを特定することにより各基準点マーカが識別できるように構成されている。エリア内には、様々な形状を有する部品＃１−＃５が設置されており、各部品には、部品の形状毎に予め定められた特徴点パターンが付されており、特徴点パターンを特定することにより部品の形状が識別できるように構成されている。

例えば、円筒形状の部品＃１、＃２では、円筒形状の特徴面である曲面に特徴点パターンが付され、立方体形状の部品＃３では、立方体の特徴面である正方形の面に特徴点パターンが付され、板形状の部品＃４、＃５では、立方体の特徴面である板形状を構成する広い面に特徴点パターンが付されている。

ここで、各部品の形状をより高い精度で特定できるように、円筒形状の部品＃１、＃２、立方体形状の部品＃３、板形状の部品＃４、＃５には、それぞれ異なる特徴点パターンが付されてもよい。部品の形状毎に異なる特徴点パターンを付するようにすれば、特徴点パターンを特定することで、部品の形状が円筒形状、立方体形状、板形状のいずれであるかを特定できるので、同じような長さの円筒形状の部品と板形状の複数の部品が混在するような場合においても、複数の部品の形状を識別することができる。

さらに、各部品に付される特徴点パターンの形状や、特徴点パターンが付される位置を変えることにより、円筒形状、立方体形状、板形状の部品のそれぞれの部品中において、異なる形状を有する部品の特定が可能となる。図１の例では、２つの特徴点パターンの間隔に基づいて、短い円筒形状の部品＃１と長い円筒形状の部品＃２を識別可能であり、同様にして、長い板形状の部品＃４と短い板形状の部品＃５を識別可能に構成されている。

なお、図１に示された基準点マーカおよび部品は、あくまで例示であり、図に示されたものに限定されるものではない。部品に付される特徴点パターンの形状や配置位置についても、部品の形状が特定できる限りにおいて、部品の形状の種類に応じて、他の形状や配置位置を適宜選択することができる。

＜特徴点パターンを用いた部品の特定＞
図２は、特徴点パターンを用いた部品の特定を説明するための図である。本実施形態では、基準点に付された特徴点パターンと部品に付された特徴点パターンを含む画像情報を取得することにより、画像情報に含まれる特徴点パターンを特定して、部品の形状、位置および姿勢を特定する。

部品の形状は、予め部品の形状と特徴点パターンの対応関係を登録しておき、画像情報から抽出された特徴点パターンと、登録された特徴点パターンの間でパターンマッチングを行うことにより特定する。図２の例では、円筒形状の部品＃１、＃２、立方体形状の部品＃３、板形状の部品＃４、＃５には、それぞれ異なる特徴点パターンが付されており、特徴点パターンを特定することにより部品の形状が円筒形状、立方体形状、板形状のいずれであるかを特定することができる。さらに、２つの特徴点パターンが付される間隔に基づいて、短い円筒形状の部品＃１と長い円筒形状の部品＃２を識別し、長い板形状の部品＃４と短い板形状の部品＃５を識別することができる。

部品の位置、姿勢は、基準点マーカの位置からみた部品の相対的な位置関係に基づいて特定する。この基準点マーカの位置からみた部品の相対的な位置関係は、撮影端末と基準点マーカとの位置関係と、撮影端末と部品との位置関係を用いることにより特定することができる。撮影端末と基準点マーカおよび部品との位置関係は、基準点マーカおよび部品の特徴点パターンを撮影端末で撮影し、撮影された画像情報において特定された特徴点パターンの位置、大きさおよび方向等の情報に基づいて算出することができる。

基準点マーカ＃Ａ−＃Ｅは、所定のエリア内の予め定められた位置・姿勢で設置されているので、基準点マーカの位置からみた部品の相対的な位置関係を算出することで、部品のエリア内における位置・姿勢を特定することができる。基準点マーカの位置・姿勢については、基準点マーカの位置・姿勢と特徴点パターンとの対応関係を登録しておき、画像情報から抽出された特徴点パターンと、登録された特徴点パターンの間でパターンマッチングを行うことで、基準点マーカの位置・姿勢を特定することができる。

＜部品情報管理システムの構成＞
図３は、部品情報管理システムにおける撮影端末および部品情報管理サーバの構成例を示す図である。

撮影端末１０は、基準点マーカおよび部品の画像情報を取得するためのカメラ部１２、画像情報取得部１３、部品情報管理サーバ２０との間で通信を行うアンテナ部１４、無線部１５、各部の制御を行う中央処理部１１、各種情報を入力する入力部１６、各種情報を表示する表示部１７、各種情報を記憶する記憶部１８を備える。中央処理部１１は、基準点マーカおよび部品の画像を含む画像情報を取得して、部品情報管理サーバ２０に送信する処理を実行する。

部品情報管理サーバ２０は、部品形状情報等の管理等を行う中央処理部２１、撮影端末１０とネットワーク３０を介して通信を行うためのＩ／Ｆ部２６、および部品形状情報等の各種情報を記憶する記憶部２７を備える。

中央処理部２１は、部品の形状情報を管理する部品情報管理部２２、基準点マーカの情報を管理する基準点情報管理部２３、画像情報から特徴点を検出してパターンマッチングを行うパターン特定部２４、および部品の位置情報、姿勢情報を管理する部品位置・姿勢情報管理部２５として動作する。記憶部２７には、部品形状情報、基準点情報、部品位置・姿勢情報が記憶されている。部品形状情報は、部品の形状情報と特徴点パターン情報の対応関係を表す情報であり、基準点情報は、基準点マーカの位置・姿勢と特徴点パターンとの対応関係を表す情報であり、部品位置・姿勢情報は、各部品の位置情報と姿勢情報を表す情報である。

部品位置・姿勢情報には、画像情報から特徴点パターンを検出することにより特定された部品の位置情報と姿勢情報が含まれる。また、部品位置・姿勢情報として、部品が設計上の位置および姿勢で配置されているかを検証するための情報として、部品が設置されるべき位置情報とその位置における姿勢情報を予め登録しておいてもよい。

パターン特定部２４では、画像情報に含まれる特徴点を抽出することによる基準点マーカおよび部品の特徴点パターンを特定する処理が行われ、特定された特徴点パターンと、予め登録された特徴点パターンとのパターンマッチングが行われる。

部品位置・姿勢情報管理部２５では、特定された基準点マーカの特徴点パターンと部品の特徴点パターンの相対的な位置関係に基づいて部品の相対的位置および姿勢を特定する処理が行われる。基準点マーカのエリア内における位置・姿勢を予め特定しておき、基準点マーカの位置・姿勢と、特定された基準点マーカと部品の相対的な位置関係に基づいて部品のエリア内における位置を特定することもできる。

尚、部品情報管理サーバ２０は、記憶部、Ｉ／Ｆ部および中央処理部を備えたコンピュータによって構成してもよく、中央処理部１１における処理をプログラムによって実施するように構成してもよい。その場合には、中央処理部１１に予めそのプログラムを搭載しておいてもよく、あるいはプログラムを記憶部２７に記憶しておき、実行する際に中央処理部１１にロードするようにしてもよい。

＜特徴点パターンの構成＞
図４は、部品に付される特徴点パターンの構成の一例を示す図である。図４の例では、立方体形状を特定する特徴点パターンが部品＃３に付されており、立方体形状の特徴面である正方形の面に特徴点パターンが付されている。

図４の特徴点パターンは、部品の形状を特徴づける特徴面に付され、複数の前記部品が識別可能に構成することで、特徴点パターンの特定による部品の形状の特定が可能となる。

また、図５に示すように、特徴点パターンは、互いに識別可能な複数の特徴点パターンを有し、複数の特徴点パターンのそれぞれが部品の形状を特定可能に構成することで、特徴点パターンの欠損等により特徴点パターンの一部が抽出できない場合においても、複数の特徴点パターンの内の一部の特徴点パターンを抽出することができれば、特徴点パターンの特定による部品の形状の特定が可能となる。

さらに、図５に示すように、大型の特徴点パターンを構成する複数の特徴点に囲まれた領域内に、複数の特徴点からなる小型の特徴点パターンを配置することにより、遠距離から近距離まで様々な距離から撮影する場合でも画像情報から特徴点パターンを特定することが可能となる。この小型の特徴点パターン内にさらに小型の特徴点パターンを配置してもよい。

＜特徴点パターンを用いた部品の位置・姿勢特定＞
図６は、撮影端末、基準点マーカおよび部品の位置関係を示す図である。基準点マーカは、予め定めたエリア内の所定の位置に所定の姿勢で設置されており、基準点マーカの位置からみた部品の相対的な位置関係は、撮影端末と基準点マーカとの位置関係と、撮影端末と部品との位置関係を用いることにより特定することができる。

撮影端末と基準点マーカおよび部品との位置関係は、基準点マーカおよび部品の特徴点パターンを撮影端末で撮影し、撮影された画像情報において特定された特徴点パターンの位置、大きさおよび方向等の情報に基づいて算出することができる。

図６に示すように、撮影端末と基準点マーカとの位置関係は、基準マーカからみた撮影端末の相対的な位置・姿勢であり、撮影端末と部品との位置関係は、部品からみた撮影端末の相対的な位置・姿勢である。基準マーカおよび部品からみた撮影端末の相対的な位置・姿勢は、基準点マーカおよび部品に付された特徴点パターンに対して３次元の座標系を定義し、その座標系に対する撮影端末の位置・姿勢を表すパラメータを求めることにより特定することができる。

具体的には、図７に示すように、撮影された画像情報において特定された特徴点パターンの位置、大きさおよび方向等の情報に基づいて、基準点マーカ座標系（Ｘｒ、Ｙｒ、Ｚｒ）、部品座標系（Ｘｍ、Ｙｍ、Ｚｍ）を設定し、基準点マーカ座標系（Ｘｒ、Ｙｒ、Ｚｒ）、部品座標系（Ｘｍ、Ｙｍ、Ｚｍ）に対するカメラ座標系（Ｘｃ、Ｙｃ、Ｚｃ）の間の変換行列を算出することにより、基準マーカおよび部品からみた撮影端末の相対的な位置・姿勢を特定することができる。

部品座標系に対する撮影端末の位置・姿勢を表す変換行列と、基準点マーカ座標系に対する撮影端末の位置・姿勢を表す変換行列の両方を用いることにより、基準点マーカ座標系における部品の位置・姿勢を求めることができる。基準点マーカ座標系における基準点マーカの位置・姿勢を予め登録しておけば、基準点マーカ座標系における部品の位置・姿勢、すなわちエリア内における部品の位置・姿勢を特定することができる。

なお、図６、７の例では、部品の位置を特定する方法として、特徴点パターンの３次元画像を用いたが、複数の基準点からの撮影端末の位置に基づく位置特定方法や、複数の撮影端末において取得された画像情報における視差を用いる方法、ＳＬＡＭ（Simultaneous Localization and Mapping）のように連続画像を用いる方法等を用いてもよく、これらの方法を組み合わせて、高精度な位置特定を行うようにしてもよい。

また、大きな部品を扱う場合等撮影端末が遠距離から基準点マーカを撮影する必要がある場合等において、基準点マーカの特徴点パターンの位置は特定できるが姿勢が特定できない場合でも、上述した複数の基準点からの撮影端末の位置に基づく位置特定方法等により部品の位置を特定してもよく、その場合には、少なくとも３点の基準点の位置に基づいて特定した撮影端末の相対的な位置および姿勢と、撮影端末と部品の相対的な位置関係から、基準点マーカ座標系における部品の位置及び姿勢を特定すればよい。

＜部品形状情報の管理テーブル＞
図８は、部品形状情報の管理テーブルの一例を示す図である。物品形状情報の管理テーブルには、部品の属性毎に部品の形状情報と特徴点パターン情報の対応関係が登録されている。図８の例では、円筒形状の部品＃１、＃２、立方体形状の部品＃３、板形状の部品＃４、＃５と対応する特徴点パターン情報がそれぞれ登録されている。画像情報から特定された特徴点パターンと管理テーブルに登録された特徴点パターンのパターンマッチングを行うことで、対応する部品の形状を特定することができる。

図８においては、特徴点パターンは、円筒形状、立方体形状、板形状の形状毎にそれぞれ異なり、特徴点パターンを認識することにより部品の形状が、円筒形状、立方体形状、板形状のいずれであるかを特定することができる。なお、部品の形状毎ではなく、部品の属性毎に異なる特徴点パターンを付するようにしてもよい。

図８の例では、各部品に付される特徴点パターンの付される位置を変えることにより、円筒形状、立方体形状、板形状の部品のそれぞれの形状の中において、異なる形状を有する部品が識別可能に構成されている。図８の例では、２つの特徴点パターンの間隔に基づいて、短い円筒形状の部品＃１と長い円筒形状の部品＃２を識別可能であり、同様にして、長い板形状の部品＃４と短い板形状の部品＃５が識別可能に構成されている。

また、図１の部品＃５のように、同一の属性の部品が並んだ状態で設置される場合もあるので、特徴点パターンの向きを識別できるように構成することもできる。

＜基準点位置情報、部品位置・姿勢情報の管理テーブル＞
図９は、基準点位置情報、部品位置・姿勢情報の管理テーブルの一例を示す図である。基準点位置情報の管理テーブルには、基準点毎に特徴点パターン情報と位置・姿勢の対応関係が登録されている。画像情報に含まれる特徴点パターンと登録された特徴点パターンのパターンマッチングを行うことで、対応する基準点とその位置・姿勢を特定することができる。

部品位置・姿勢情報の管理テーブルには、画像情報から特徴点パターンを検出することにより特定された部品の位置情報と姿勢情報が保存される。部品に対する撮影端末の位置・姿勢と、基準点マーカに対する撮影端末の位置・姿勢の両方を用いることにより、基準点マーカに対する部品の位置・姿勢を特定し、部品位置・姿勢情報の管理テーブルに保存する。基準点位置情報管理テーブルに含まれる基準点マーカの位置・姿勢の情報を用いることで、基準点マーカに対す部品の位置・姿勢、すなわちエリア内における部品の位置・姿勢を特定することができる。

部品位置・姿勢情報の管理テーブルには、設計で定めた部品の位置・姿勢を予め登録しておき、部品が所定の位置に所定の姿勢で配置されているかを検証してもよい。画像情報から得られた位置・姿勢情報と、予め登録された位置・姿勢情報と比較することにより、部品が正しい位置に正しい姿勢で設置されているかを検証することができる。

＜部品の位置および姿勢の特定処理＞
図１０は、部品の位置および姿勢の特定処理のシーケンスの一例を示す図である。

撮影端末では、基準点マーカの特徴点パターンと部品の特徴点パターンを含む画像情報を取得し、取得した画像情報を部品情報管理サーバに送信する。

部品情報管理サーバには、部品の形状情報と特徴点パターン情報の対応関係を表す部品形状情報と、基準点マーカの特徴点パターン情報と位置・姿勢情報の対応関係を表す基準点マーカ位置情報が予め登録されている。必要に応じて、部品が設置されるべき位置情報とその位置における姿勢情報が含まれる部品位置・姿勢情報を登録しておいてもよい。

部品情報管理サーバでは、撮影端末から受信した画像情報から特徴点を抽出し、抽出された特徴点に基づいて特定された特徴点パターンと、部品形状情報管理テーブル、基準点位置情報管理テーブルに登録された特徴点パターンとのパターンマッチングを行うことにより、基準点マーカの位置・姿勢と部品の形状を特定し、基準点マーカの位置からみた部品の相対的な位置に基づいて、エリア内における部品の位置・姿勢を特定する。

さらに、部品情報管理サーバでは、画像情報から得られた位置情報および姿勢情報と、予め登録された設計上の位置情報および姿勢情報とを比較することにより、部品が正しい位置、姿勢で設置されているかを検証し、検証結果を撮影端末に送信する。

なお、部品の位置を特定する方法として、特徴点パターンの３次元画像を用いたが、複数の基準点からの撮影端末の位置に基づく位置特定方法や、複数の撮影端末において取得された画像情報における視差を用いる方法、ＳＬＡＭ（Simultaneous Localization and Mapping）のように連続画像を用いる方法等を用いてもよく、これらの方法を組み合わせて、高精度な位置特定を行うようにしてもよい。

図１１は、部品の位置および姿勢の特定処理のフローチャートの一例を示す図である。

部品情報管理サーバには、部品の形状情報と特徴点パターン情報の対応関係を表す部品形状情報と基準点マーカの特徴点パターン情報と位置情報の対応関係を表す基準点位置情報が予め登録され（Ｓ１−１、Ｓ１−２）、必要に応じて、部品が設置されるべき位置情報とその位置における姿勢情報が含まれる部品位置・姿勢情報が登録される（Ｓ１−３）。

部品情報管理サーバでは、撮影端末から基準点マーカの特徴点パターンと部品の特徴点パターンを含む画像情報を受信すると（Ｓ１−４）、受信した画像情報から特徴点を抽出し（Ｓ１−５）、抽出された特徴点を用いて特定された特徴点パターンと、部品形状情報の管理テーブル、基準点位置情報の管理テーブルに登録された特徴点パターンとのパターンマッチングを行うことにより（Ｓ１−６）、基準点マーカの位置・姿勢と部品の形状を特定し、（Ｓ１−７、Ｓ１−８）、基準点マーカの位置からみた部品の相対的な位置に基づいて、エリア内における部品の位置・姿勢を特定する（Ｓ１−９）。

さらに、画像情報から得られた位置情報および姿勢情報と、予め登録された位置情報および姿勢情報とを比較することにより、部品が正しい位置、姿勢で設置されているかを検証し（Ｓ１−１０）、検証結果を撮影端末に送信する（Ｓ１−１１）。

以上述べたように、本実施の形態によれば、基準点マーカに付した特徴点パターンと部品に付した特徴点パターンの画像情報から特徴点を抽出して特徴点パターンを特定し、特定された特徴点パターンを用いて、部品の位置、姿勢を特定するように構成したので、様々な形状の部品が配置されている場合においても、各部品の位置及び姿勢を特定することが可能な部品情報管理システムを提供することができる。

本願発明は、物流の現場や建設現場、工事現場において部品の位置や姿勢を管理する部品情報管理システムに利用することができる。

１０…撮影端末、１１…中央処理部、１２…カメラ部、１３…画像情報取得部、１４…アンテナ部、１５…無線部、１６…入力部、１７…表示部、１８…記憶部、２０…部品情報管理サーバ、２１…中央処理部、２２…部品情報管理部、２３…基準点情報管理部、２４…パターン特定部、２５…部品位置・姿勢情報管理部、２６…Ｉ／Ｆ部、２７…記憶部、３０…ネットワーク。

Claims (7)

1. 部品の形状毎に予め定められた第１の特徴点パターンが付された部品と、
   所定のエリアの予め定められた複数の位置に設置され、基準点マーカ毎に予め定められた第２の特徴点パターンが付された基準点マーカと、
   を備え、
   前記所定のエリアにおいて、前記第１の特徴点パターンと前記第２の特徴点パターンを含む画像情報を取得する撮影端末と、
   部品情報管理サーバであって、
   前記画像情報に含まれる特徴点を抽出することにより前記第１の特徴点パターンおよび前記第２の特徴点パターンを特定する手段と、
   特定された前記第１の特徴点パターンと、予め登録された特徴点パターンと部品の形状の対応関係とに基づいて前記部品の形状を特定する手段と、
   特定された前記第２の特徴点パターンと、予め登録された特徴点パターンと基準点マーカの位置および姿勢の対応関係に基づいて前記基準点マーカの位置および姿勢を特定する手段と、
   前記第１の特徴点パターンに対する前記第２の特徴点パターンの相対的な位置関係に基づいて前記部品の位置および姿勢を特定する手段と
   を有する部品情報管理サーバと
   を備えた部品情報管理システム。
2. 前記第１の特徴点パターンは、前記部品の形状を特徴づける特徴面に付され、複数の前記部品が識別可能に構成される
   請求項１記載の部品情報管理システム。
3. 前記第１の特徴点パターンは、互いに識別可能な複数の特徴点パターンを有し、前記複数の特徴点パターンのそれぞれが部品の形状を特定可能に構成され、前記複数の特徴点パターンの一部が抽出できない場合に、前記複数の特徴点パターンの他の一部を抽出することにより前記部品の形状を特定する
   請求項１または２に記載の部品情報管理システム。
4. 前記第１の特徴点パターンは、前記第１の特徴点パターンの複数の特徴点に囲まれた領域内に配置された第３の特徴点パターンを有し、前記第３の特徴点パターンが前記部品の形状を特定可能に構成され、前記撮影端末が様々な距離から前記画像情報を取得する場合に、前記画像情報から前記特徴点を抽出することにより前記部品の形状を特定する
   請求項１乃至３のいずれか１項に記載の部品情報管理システム。
5. 前記部品情報管理サーバは、特定された前記部品の位置および姿勢と、予め登録された前記部品が設置されるべき位置および姿勢とを比較することにより、前記特定された前記部品の位置および姿勢の正当性を検証する手段を有する
   請求項１乃至４のいずれか１項に記載の部品情報管理システム。
6. 部品の形状毎に予め定められた第１の特徴点パターンが付された部品と、所定のエリアの予め定められた位置に設置され、基準点マーカ毎に予め定められた第２の特徴点パターンが付された基準点マーカとを備えた部品情報管理システムにおける部品情報管理方法であって、
   撮影端末が、
   前記所定のエリアにおいて、前記第１の特徴点パターンと前記第２の特徴点パターンを含む画像情報を取得し、
   部品情報管理サーバが、
   前記画像情報に含まれる特徴点を抽出することにより前記第１の特徴点パターンおよび前記第２の特徴点パターンを特定し、
   特定された前記第１の特徴点パターンと、予め登録された特徴点パターンと部品の形状の対応関係とに基づいて前記部品の形状を特定し、
   特定された前記第２の特徴点パターンと、予め登録された特徴点パターンと基準点マーカの位置および姿勢の対応関係に基づいて前記基準点マーカの位置および姿勢を特定し、
   前記第１の特徴点パターンおよび前記第２の特徴点パターンに対する前記撮影端末の相対的な位置関係に基づいて前記部品の位置および姿勢を特定する
   部品情報管理方法。
7. 部品の形状毎に予め定められた第１の特徴点パターンが付された部品と、所定のエリアの予め定められた位置に設置され、基準点マーカ毎に予め定められた第２の特徴点パターンが付された基準点マーカとを備えた部品情報管理システムにおける部品情報管理プログラムであって、
   部品情報管理サーバに、
   撮影端末により前記所定のエリアにおいて取得され、前記第１の特徴点パターンと前記第２の特徴点パターンを含む画像情報に含まれる特徴点を抽出することにより前記第１の特徴点パターンおよび前記第２の特徴点パターンを特定することと、
   特定された前記第１の特徴点パターンと、予め登録された特徴点パターンと部品の形状の対応関係とに基づいて前記部品の形状を特定することと、
   特定された前記第２の特徴点パターンと、予め登録された特徴点パターンと基準点マーカの位置および姿勢の対応関係に基づいて前記基準点マーカの位置および姿勢を特定することと、
   前記第１の特徴点パターンおよび前記第２の特徴点パターンに対する前記撮影端末の相対的な位置関係に基づいて前記部品の位置および姿勢を特定することと
   を実施させる部品情報管理プログラム。

Images