JP2000074628A - 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 - Google Patents
三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体Info
- Publication number
- JP2000074628A JP2000074628A JP10246648A JP24664898A JP2000074628A JP 2000074628 A JP2000074628 A JP 2000074628A JP 10246648 A JP10246648 A JP 10246648A JP 24664898 A JP24664898 A JP 24664898A JP 2000074628 A JP2000074628 A JP 2000074628A
- Authority
- JP
- Japan
- Prior art keywords
- feature
- model
- matching
- component
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 高速で高い信頼性を有する三次元位置決め方
法及び装置並びに上記方法を実現するソフトウェアを記
録した媒体を提供する。 【解決手段】 対象部品の入力画像からこの対象部品の
特徴を抽出し（２）、位置姿勢計算用モデル特徴を用い
たマッチングにより部品の認識候補を検出し（５）、こ
の認識候補の位置姿勢へ部品モデルを座標変換し
（７）、座標変換したモデルをイメージ平面上へ投影
し、投影モデルの二次元特徴データを計算し、イメージ
上での確認用モデルの二次元特徴マッチングを行うこと
で認識候補の正否を判断する（８）ようにした。
法及び装置並びに上記方法を実現するソフトウェアを記
録した媒体を提供する。 【解決手段】 対象部品の入力画像からこの対象部品の
特徴を抽出し（２）、位置姿勢計算用モデル特徴を用い
たマッチングにより部品の認識候補を検出し（５）、こ
の認識候補の位置姿勢へ部品モデルを座標変換し
（７）、座標変換したモデルをイメージ平面上へ投影
し、投影モデルの二次元特徴データを計算し、イメージ
上での確認用モデルの二次元特徴マッチングを行うこと
で認識候補の正否を判断する（８）ようにした。
Description
【０００１】
【発明の属する技術分野】本発明は、いわゆる三次元物
体認識における対象部品の位置決め方法及び装置並びに
この方法を実現するソフトウェアを記録した媒体に関す
る。
体認識における対象部品の位置決め方法及び装置並びに
この方法を実現するソフトウェアを記録した媒体に関す
る。
【０００２】
【従来の技術】いわゆる三次元物体認識方法としてモデ
ルベーストマッチング法がある。このモデルベーストマ
ッチング法は、入力画像から得られる対象部品の輪郭、
凹凸、模様といった特徴を直線、円、円弧、角等にして
近似した特徴データを用いてマッチングすることにより
三次元物体認識を行うものであり、モデル作製時にモデ
ルの特徴データを画像から抽出してこの特徴データを用
いて認識すべき対象部品の入力画像のマッチングを行う
ものであり、例えば特願平８−１８６１３号に提案がさ
れている。
ルベーストマッチング法がある。このモデルベーストマ
ッチング法は、入力画像から得られる対象部品の輪郭、
凹凸、模様といった特徴を直線、円、円弧、角等にして
近似した特徴データを用いてマッチングすることにより
三次元物体認識を行うものであり、モデル作製時にモデ
ルの特徴データを画像から抽出してこの特徴データを用
いて認識すべき対象部品の入力画像のマッチングを行う
ものであり、例えば特願平８−１８６１３号に提案がさ
れている。
【０００３】また、対象部品が曲線にて構成されている
場合には、対象部品を閉曲線の特徴データとして抽出
し、この特徴データにて認識すべき対象部品を閉曲線に
てマッチングする技術も開示され、例えば特願平８−１
００９７４号に提案がされている。
場合には、対象部品を閉曲線の特徴データとして抽出
し、この特徴データにて認識すべき対象部品を閉曲線に
てマッチングする技術も開示され、例えば特願平８−１
００９７４号に提案がされている。
【０００４】
【発明が解決しようとする課題】モデルベーストマッチ
ング法は、上述の如く対象部品の輪郭、凹凸、模様を直
線、円、円弧、角、閉曲線の特徴として抽出し、これら
特徴データを元にして三次元位置姿勢を計算するため最
低限必要な特徴グループを部品モデルとして登録し、こ
の特徴グループによって認識すべき対象部品のマッチン
グを行い部品の位置姿勢を検出するものである。そし
て、この方式は、マッチングに用いる特徴数が少ないた
め、マッチング手順が簡単であり、高速処理を行うこと
ができるという長所を有する。
ング法は、上述の如く対象部品の輪郭、凹凸、模様を直
線、円、円弧、角、閉曲線の特徴として抽出し、これら
特徴データを元にして三次元位置姿勢を計算するため最
低限必要な特徴グループを部品モデルとして登録し、こ
の特徴グループによって認識すべき対象部品のマッチン
グを行い部品の位置姿勢を検出するものである。そし
て、この方式は、マッチングに用いる特徴数が少ないた
め、マッチング手順が簡単であり、高速処理を行うこと
ができるという長所を有する。
【０００５】しかし、反面複雑な形状を有する部品や複
数個の部品が入力画像に存在する場合には、特徴グルー
プと似通った特徴群が抽出されても実際の部品の位置姿
勢とは異なる場所に部品の特徴グループひいては位置姿
勢が得られることがあり、部品位置決め性能や信頼性を
著しく欠くことがある。
数個の部品が入力画像に存在する場合には、特徴グルー
プと似通った特徴群が抽出されても実際の部品の位置姿
勢とは異なる場所に部品の特徴グループひいては位置姿
勢が得られることがあり、部品位置決め性能や信頼性を
著しく欠くことがある。
【０００６】本発明は、上述の問題に鑑み、複雑な形状
を有する部品あるいは複数個の部品があっても、正しい
三次元位置姿勢を検出する三次元位置決め方法及び装置
並びにこの方法を実現するソフトウェアを記録した媒体
の提供を目的とする。
を有する部品あるいは複数個の部品があっても、正しい
三次元位置姿勢を検出する三次元位置決め方法及び装置
並びにこの方法を実現するソフトウェアを記録した媒体
の提供を目的とする。
【０００７】
【課題を解決するための手段】上述の目的を達成する本
発明の三次元位置決め方法及びこの方法を実現するソフ
トウェアを記録した媒体は、それぞれ次の発明の特定事
項を有する。 （１）対象部品の入力画像からこの対象部品の特徴を抽
出し、位置姿勢計算用モデル特徴を用いたマッチングに
より部品の認識候補を検出し、この認識候補の位置姿勢
へ部品モデルを座標変換し、座標変換したモデルをイメ
ージ平面上へ投影し、投影モデルの二次元特徴データを
計算し、イメージ上での確認用モデルの二次元特徴マッ
チングを行うことで認識候補の正否を判断するようにし
たことを特徴とする。
発明の三次元位置決め方法及びこの方法を実現するソフ
トウェアを記録した媒体は、それぞれ次の発明の特定事
項を有する。 （１）対象部品の入力画像からこの対象部品の特徴を抽
出し、位置姿勢計算用モデル特徴を用いたマッチングに
より部品の認識候補を検出し、この認識候補の位置姿勢
へ部品モデルを座標変換し、座標変換したモデルをイメ
ージ平面上へ投影し、投影モデルの二次元特徴データを
計算し、イメージ上での確認用モデルの二次元特徴マッ
チングを行うことで認識候補の正否を判断するようにし
たことを特徴とする。
【０００８】（２）対象部品の入力画像からこの対象部
品の特徴を抽出し、位置姿勢計算用モデル特徴を用いた
マッチングにより部品の認識候補を検出し、この認識候
補の位置姿勢へ部品モデルを座標変換し、抽出特徴を対
象特徴として設定し、対象特徴の三次元位置計測を行
い、対象特徴の三次元特徴データを計算し、ワールド座
標系での確認用モデルの三次元特徴マッチングを行うこ
とで認識候補の正否を判断するようにしたことを特徴と
する。
品の特徴を抽出し、位置姿勢計算用モデル特徴を用いた
マッチングにより部品の認識候補を検出し、この認識候
補の位置姿勢へ部品モデルを座標変換し、抽出特徴を対
象特徴として設定し、対象特徴の三次元位置計測を行
い、対象特徴の三次元特徴データを計算し、ワールド座
標系での確認用モデルの三次元特徴マッチングを行うこ
とで認識候補の正否を判断するようにしたことを特徴と
する。
【０００９】（３）対象部品の入力画像からこの対象部
品の特徴を抽出し、位置姿勢計算用モデル特徴を用いた
マッチングにより部品の認識候補を検出し、この認識候
補の位置姿勢へ部品モデルを座標変換し、確認用モデル
２Ｄマッチングを行いさらに、この２Ｄマッチングで照
合した特徴を対象特徴として設定して確認用モデル３Ｄ
マッチングを行うようにしたことを特徴とする。
品の特徴を抽出し、位置姿勢計算用モデル特徴を用いた
マッチングにより部品の認識候補を検出し、この認識候
補の位置姿勢へ部品モデルを座標変換し、確認用モデル
２Ｄマッチングを行いさらに、この２Ｄマッチングで照
合した特徴を対象特徴として設定して確認用モデル３Ｄ
マッチングを行うようにしたことを特徴とする。
【００１０】また本発明の三次元位置決め装置は次の発
明特定事項を有する。 （４）対象部品の入力画像からこの対象部品の特徴を抽
出する特徴抽出部と、位置姿勢計算用モデル特徴を用い
たマッチングにより部品の認識候補を検出する位置姿勢
計算用モデル特徴マッチング部と、この認識候補の位置
姿勢へ部品モデルを座標変換するモデル座標変換部と、
座標変換したモデルをイメージ平面上へ投影し、投影モ
デルの二次元特徴データを計算し、イメージ上での確認
用モデルの二次元特徴マッチングを行うことで認識候補
の正否を判断する確認用モデル２Ｄマッチング部と、を
有する。
明特定事項を有する。 （４）対象部品の入力画像からこの対象部品の特徴を抽
出する特徴抽出部と、位置姿勢計算用モデル特徴を用い
たマッチングにより部品の認識候補を検出する位置姿勢
計算用モデル特徴マッチング部と、この認識候補の位置
姿勢へ部品モデルを座標変換するモデル座標変換部と、
座標変換したモデルをイメージ平面上へ投影し、投影モ
デルの二次元特徴データを計算し、イメージ上での確認
用モデルの二次元特徴マッチングを行うことで認識候補
の正否を判断する確認用モデル２Ｄマッチング部と、を
有する。
【００１１】（５）対象部品の入力画像からこの対象部
品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデ
ル特徴を用いたマッチングにより部品の認識候補を検出
する位置姿勢計算用モデル特徴マッチング部と、この認
識候補の位置姿勢へ部品モデルを座標変換するモデル座
標変換部と、抽出特徴を対象特徴として設定する対象特
徴設定部と、この対象特徴の三次元位置計測を行い、対
象特徴の三次元特徴データを計算し、ワールド座標系で
の確認用モデルの三次元特徴マッチングを行うことで認
識候補の正否を判断する確認用モデル３Ｄマッチング部
と、を有する。
品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデ
ル特徴を用いたマッチングにより部品の認識候補を検出
する位置姿勢計算用モデル特徴マッチング部と、この認
識候補の位置姿勢へ部品モデルを座標変換するモデル座
標変換部と、抽出特徴を対象特徴として設定する対象特
徴設定部と、この対象特徴の三次元位置計測を行い、対
象特徴の三次元特徴データを計算し、ワールド座標系で
の確認用モデルの三次元特徴マッチングを行うことで認
識候補の正否を判断する確認用モデル３Ｄマッチング部
と、を有する。
【００１２】（６）対象部品の入力画像からこの対象部
品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデ
ル特徴を用いたマッチングにより部品の認識候補を検出
する位置姿勢計算用モデル特徴マッチング部と、この認
識候補の位置姿勢へ部品モデルを座標変換するモデル座
標変換部と、確認用モデル２Ｄマッチングを行う部分、
さらに、この２Ｄマッチングで照合した特徴を対象特徴
として設定する対象特徴設定部、そして確認用モデル３
Ｄマッチングを行う部分、を有する。
品の特徴を抽出する特徴抽出部と、位置姿勢計算用モデ
ル特徴を用いたマッチングにより部品の認識候補を検出
する位置姿勢計算用モデル特徴マッチング部と、この認
識候補の位置姿勢へ部品モデルを座標変換するモデル座
標変換部と、確認用モデル２Ｄマッチングを行う部分、
さらに、この２Ｄマッチングで照合した特徴を対象特徴
として設定する対象特徴設定部、そして確認用モデル３
Ｄマッチングを行う部分、を有する。
【００１３】
【発明の実施の形態】＜基本的事項＞本発明では、三次
元位置姿勢計算をするに当って部品モデルについて必要
とする特徴グループ（以後「位置姿勢計算用モデル特
徴」と称す）の外に、マッチング結果を確認するための
特徴グループ（以後「確認用モデル特徴」と称す）をモ
デル特徴として登録しておき、マッチング処理におい
て、まず位置姿勢計算用モデル特徴を用いたマッチング
により部品を構成する特徴候補を検出し換言すれば部品
の認識候補を検出し、ついでこの認識候補の示す位置姿
勢において確認用モデル特徴を用いたマッチングを行い
認識候補の正否を確認するもので、間違った認識候補を
排除し、正しい結果を得るものである。
元位置姿勢計算をするに当って部品モデルについて必要
とする特徴グループ（以後「位置姿勢計算用モデル特
徴」と称す）の外に、マッチング結果を確認するための
特徴グループ（以後「確認用モデル特徴」と称す）をモ
デル特徴として登録しておき、マッチング処理におい
て、まず位置姿勢計算用モデル特徴を用いたマッチング
により部品を構成する特徴候補を検出し換言すれば部品
の認識候補を検出し、ついでこの認識候補の示す位置姿
勢において確認用モデル特徴を用いたマッチングを行い
認識候補の正否を確認するもので、間違った認識候補を
排除し、正しい結果を得るものである。
【００１４】ここで、本発明の実施の形態の一例につい
て述べる。最初は、部品モデルについて位置姿勢計算用
モデル特徴を登録する。すなわち、部品モデルについて
輪郭、凹凸、模様を直線、円、角等の特徴として抽出し
て特徴データを作製し、この特徴データの中から三次元
位置姿勢計算に必要な特徴データの組を選択し特徴グル
ープとして登録する。
て述べる。最初は、部品モデルについて位置姿勢計算用
モデル特徴を登録する。すなわち、部品モデルについて
輪郭、凹凸、模様を直線、円、角等の特徴として抽出し
て特徴データを作製し、この特徴データの中から三次元
位置姿勢計算に必要な特徴データの組を選択し特徴グル
ープとして登録する。
【００１５】マッチングに当っては、対象部品の画像入
力から特徴を抽出し、この特徴データと予め登録した部
品モデルの選択された特徴グループとのマッチングを行
い、認識候補を特定することになる。
力から特徴を抽出し、この特徴データと予め登録した部
品モデルの選択された特徴グループとのマッチングを行
い、認識候補を特定することになる。
【００１６】他方、確認用モデル特徴によるマッチング
では、まず上記位置姿勢計算用モデル特徴によるマッチ
ングにて得た認識候補の示す位置姿勢へ確認用モデル特
徴を座標変換し、この座標変換した確認用モデル特徴を
用いてマッチングを行う。この場合の特徴マッチングに
おいては、認識候補の特徴データと座標変換した確認用
モデル特徴との特徴データの照合に加え、座標変換した
確認用モデル特徴と入力画像から抽出した特徴（以後
「抽出係数」と称す）との位置データの照合を行う。
では、まず上記位置姿勢計算用モデル特徴によるマッチ
ングにて得た認識候補の示す位置姿勢へ確認用モデル特
徴を座標変換し、この座標変換した確認用モデル特徴を
用いてマッチングを行う。この場合の特徴マッチングに
おいては、認識候補の特徴データと座標変換した確認用
モデル特徴との特徴データの照合に加え、座標変換した
確認用モデル特徴と入力画像から抽出した特徴（以後
「抽出係数」と称す）との位置データの照合を行う。
【００１７】この場合確認用モデル特徴マッチングとし
て次のような方式があげられる。 （１）認識候補の示す位置姿勢へ座標変換した確認用モ
デル特徴をイメージ平面上へ投影し、投影した確認用モ
デル特徴の二次元特徴データを計算し、この二次元特徴
データと入力画像からの抽出特徴のイメージ平面上にお
ける二次元特徴データとの照合を行う。このイメージ平
面上での確認用モデル特徴のマッチングにおいては、抽
出特徴の三次元情報を必要としないため、抽出特徴に対
して時間のかかる三次元計測処理を行う必要が無く、高
速なマッチング処理を実現できる。
て次のような方式があげられる。 （１）認識候補の示す位置姿勢へ座標変換した確認用モ
デル特徴をイメージ平面上へ投影し、投影した確認用モ
デル特徴の二次元特徴データを計算し、この二次元特徴
データと入力画像からの抽出特徴のイメージ平面上にお
ける二次元特徴データとの照合を行う。このイメージ平
面上での確認用モデル特徴のマッチングにおいては、抽
出特徴の三次元情報を必要としないため、抽出特徴に対
して時間のかかる三次元計測処理を行う必要が無く、高
速なマッチング処理を実現できる。
【００１８】（２）他方、対象部品について三次元マッ
チングの対象となる特徴（以下「対象特徴」と称す）の
三次元位置計測を行い、対象特徴の三次元特徴データを
計算し、認識候補の示す位置姿勢へ座標変換した確認用
モデル特徴と対象特徴のワールド座標系における三次元
特徴データとの照合を行う。このワールド座標系でのマ
ッチングでは、特徴の三次元情報を用いて特徴データ及
び位置データの照合を実際のサイズにて行うため、信頼
性あるマッチング結果を得ることができる。
チングの対象となる特徴（以下「対象特徴」と称す）の
三次元位置計測を行い、対象特徴の三次元特徴データを
計算し、認識候補の示す位置姿勢へ座標変換した確認用
モデル特徴と対象特徴のワールド座標系における三次元
特徴データとの照合を行う。このワールド座標系でのマ
ッチングでは、特徴の三次元情報を用いて特徴データ及
び位置データの照合を実際のサイズにて行うため、信頼
性あるマッチング結果を得ることができる。
【００１９】以後図を参照して部品の三次元位置決め方
法を述べる。前述したイメージ上における確認用モデル
特徴マッチング（確認用モデル２Ｄマッチングと称す）
を図１に示す。この図１に示す手順にて部品の三次元位
置決めが行われる。 対象部品の画像を入力する。 対象部品の特徴抽出を行う。 位置姿勢計算用モデル特徴によるマッチングを行
い、部品の認識候補を得る。 のマッチング結果から部品の認識候補の位置姿勢
を計算する。 認識候補の位置姿勢へ部品モデルを座標変換する。 確認用モデル２Ｄマッチングを行う。 １．座標変換したモデルをイメージ平面上へ投影する。 ２．投影モデルの二次元特徴データを計算する。 ３．イメージ上での確認用モデルの二次元特徴マッチン
グを行う。 ４．このマッチングの結果から認識候補の正否を判断す
る。 部品三次元位置姿勢を決定する。
法を述べる。前述したイメージ上における確認用モデル
特徴マッチング（確認用モデル２Ｄマッチングと称す）
を図１に示す。この図１に示す手順にて部品の三次元位
置決めが行われる。 対象部品の画像を入力する。 対象部品の特徴抽出を行う。 位置姿勢計算用モデル特徴によるマッチングを行
い、部品の認識候補を得る。 のマッチング結果から部品の認識候補の位置姿勢
を計算する。 認識候補の位置姿勢へ部品モデルを座標変換する。 確認用モデル２Ｄマッチングを行う。 １．座標変換したモデルをイメージ平面上へ投影する。 ２．投影モデルの二次元特徴データを計算する。 ３．イメージ上での確認用モデルの二次元特徴マッチン
グを行う。 ４．このマッチングの結果から認識候補の正否を判断す
る。 部品三次元位置姿勢を決定する。
【００２０】また、前述したワールド座標系における確
認用モデル特徴マッチング（確認用モデル３Ｄマッチン
グと称す）を図２に示す。この図２に示す手順により部
品の三次元位置決めが行われる。 対象部品の画像を入力する。 対象部品の特徴抽出を行う。 位置姿勢計算用モデル特徴によるマッチングを行
い、部品の認識候補を得る。 のマッチング結果から部品の認識候補の位置姿勢
を計算する。 認識候補の位置姿勢へ部品モデルを座標変換する。 抽出特徴を対象特徴として設定する。 確認用モデル３Ｄマッチングを行う。 １．対象特徴の三次元位置計測を行う。 ２．対象特徴の三次元特徴データを計算する。 ３．ワールド座標系での確認用モデルの三次元特徴マッ
チングを行う。 ４．このマッチングの結果から認識候補の正否を判断す
る。 部品三次元位置姿勢を決定する。
認用モデル特徴マッチング（確認用モデル３Ｄマッチン
グと称す）を図２に示す。この図２に示す手順により部
品の三次元位置決めが行われる。 対象部品の画像を入力する。 対象部品の特徴抽出を行う。 位置姿勢計算用モデル特徴によるマッチングを行
い、部品の認識候補を得る。 のマッチング結果から部品の認識候補の位置姿勢
を計算する。 認識候補の位置姿勢へ部品モデルを座標変換する。 抽出特徴を対象特徴として設定する。 確認用モデル３Ｄマッチングを行う。 １．対象特徴の三次元位置計測を行う。 ２．対象特徴の三次元特徴データを計算する。 ３．ワールド座標系での確認用モデルの三次元特徴マッ
チングを行う。 ４．このマッチングの結果から認識候補の正否を判断す
る。 部品三次元位置姿勢を決定する。
【００２１】また、図３は前述した確認用モデル２Ｄマ
ッチング及び確認用モデル３Ｄマッチングを組み合せた
部品の三次元位置決め方法の手順を示している。 対象部品の画像を入力する。 対象部品の特徴抽出を行う。 位置姿勢計算用モデル特徴によるマッチングを行
い、部品の認識候補を得る。 のマッチング結果から部品の認識候補の位置姿勢
を計算する。 認識候補の位置姿勢へ部品モデルを座標変換する。 確認用モデル２Ｄマッチングを行う。 ２Ｄマッチングで照合した特徴を対象特徴として設
定する。 確認用モデル３Ｄマッチングを行う。 部品三次元位置姿勢を決定する。
ッチング及び確認用モデル３Ｄマッチングを組み合せた
部品の三次元位置決め方法の手順を示している。 対象部品の画像を入力する。 対象部品の特徴抽出を行う。 位置姿勢計算用モデル特徴によるマッチングを行
い、部品の認識候補を得る。 のマッチング結果から部品の認識候補の位置姿勢
を計算する。 認識候補の位置姿勢へ部品モデルを座標変換する。 確認用モデル２Ｄマッチングを行う。 ２Ｄマッチングで照合した特徴を対象特徴として設
定する。 確認用モデル３Ｄマッチングを行う。 部品三次元位置姿勢を決定する。
【００２２】上述の図１，図２，図３に対応した方法を
実施する部品三次元位置決め装置を図４，図５，図６に
示す。図４において、対象部品の画像を入力する画像入
力部１、入力画像から対象部品の特徴を抽出する特徴抽
出部２、対象モデル部品について部品モデルの特徴を得
るモデル作製部３及びモデル保存部４を有し、位置姿勢
計算用モデル特徴マッチング部５では対象部品の特定デ
ータとモデル保存部４の特徴データとのマッチングを行
って部品の認識候補を検出し、これに基づき位置姿勢計
算部６で対象部品の位置姿勢を得る。
実施する部品三次元位置決め装置を図４，図５，図６に
示す。図４において、対象部品の画像を入力する画像入
力部１、入力画像から対象部品の特徴を抽出する特徴抽
出部２、対象モデル部品について部品モデルの特徴を得
るモデル作製部３及びモデル保存部４を有し、位置姿勢
計算用モデル特徴マッチング部５では対象部品の特定デ
ータとモデル保存部４の特徴データとのマッチングを行
って部品の認識候補を検出し、これに基づき位置姿勢計
算部６で対象部品の位置姿勢を得る。
【００２３】次にモデル座標変換部７では、認識候補の
位置姿勢へ確認用部品モデルを座標変換し、確認用モデ
ル２Ｄマッチング部６でマッチングを行う。すなわち、
座標変換したモデルをイメージ平面上へ投影し、投影モ
デルの二次元特徴データを計算し、イメージ上での確認
用モデルの二次元特徴マッチングを行う。そして、部品
位置姿勢決定部９では、この二次元特徴マッチングの認
識候補の正否を判断し、正しい場合には認識候補の位置
姿勢データを用いて部品の三次元位置決めを行う。
位置姿勢へ確認用部品モデルを座標変換し、確認用モデ
ル２Ｄマッチング部６でマッチングを行う。すなわち、
座標変換したモデルをイメージ平面上へ投影し、投影モ
デルの二次元特徴データを計算し、イメージ上での確認
用モデルの二次元特徴マッチングを行う。そして、部品
位置姿勢決定部９では、この二次元特徴マッチングの認
識候補の正否を判断し、正しい場合には認識候補の位置
姿勢データを用いて部品の三次元位置決めを行う。
【００２４】図５は、図２に示す確認用モデル３Ｄマッ
チングによる装置を示す。図５において、図４との違い
は、抽出特徴を対象特徴として設定する対象特徴設定部
１０を有し、確認用モデル３Ｄマッチング部１１では対
象特徴の三次元位置計測を行い、対象特徴の三次元特徴
データを計算しそしてワールド座標系での確認用モデル
の三次元特徴マッチングを行うものである。その他の処
理は図４と同じである。
チングによる装置を示す。図５において、図４との違い
は、抽出特徴を対象特徴として設定する対象特徴設定部
１０を有し、確認用モデル３Ｄマッチング部１１では対
象特徴の三次元位置計測を行い、対象特徴の三次元特徴
データを計算しそしてワールド座標系での確認用モデル
の三次元特徴マッチングを行うものである。その他の処
理は図４と同じである。
【００２５】図６は、確認用モデル２Ｄマッチングと確
認用モデル３Ｄマッチングとによる装置を示しており、
この図６では、図４，図５に示す装置を組合せたもので
図４に示す確認用モデル２Ｄマッチングを行ってこのマ
ッチングの結果照合した特徴を対象特徴として対象特徴
について確認用モデル３Ｄマッチングを行うものであ
る。その他の処理は図４と同じである。
認用モデル３Ｄマッチングとによる装置を示しており、
この図６では、図４，図５に示す装置を組合せたもので
図４に示す確認用モデル２Ｄマッチングを行ってこのマ
ッチングの結果照合した特徴を対象特徴として対象特徴
について確認用モデル３Ｄマッチングを行うものであ
る。その他の処理は図４と同じである。
【００２６】上述については、図１，図２，図３にて三
次元位置決め方法、図４，図５，図６にて装置を示した
ものであるが、位置決め処理については、そのソフトウ
ェアを記録したフロッピィディスク、ＣＤ−ＲＯＭ等の
媒体により行われる。
次元位置決め方法、図４，図５，図６にて装置を示した
ものであるが、位置決め処理については、そのソフトウ
ェアを記録したフロッピィディスク、ＣＤ−ＲＯＭ等の
媒体により行われる。
【００２７】
【発明の効果】以上説明したように本発明によれば、次
の効果を有する （１）三次元物体認識においてその結果を確認する機能
を持つため、複雑な形状を持つ部品を対象とした場合で
も間違った認識結果を排除し、正しい結果のみを得るこ
とができる。 （２）三次元物体認識においてその結果を確認する機能
を持つため、複数個の部品が画面内に存在する場合でも
間違った認識結果を排除し、正しい結果のみを得ること
ができる。 （３）三次元物体認識においてその結果を確認する機能
を持つため、煩雑な背景や部品表面の汚れ等による環境
条件が良好でない場合でも間違った認識結果を排除し、
正しい結果のみを得ることができる。 （４）複雑な形状を持つ部品に対しても、認識候補の確
認機能によって正しい位置決めを行うことができる。 （５）部品の設置状況や環境条件が良好でない場合で
も、認識候補の確認機能によって正しい位置決めを行う
ことができる。 （６）認識候補の確認機能によって正しい位置決めを行
うことができるため、部品位置決め装置として高い信頼
性を得ることができる。
の効果を有する （１）三次元物体認識においてその結果を確認する機能
を持つため、複雑な形状を持つ部品を対象とした場合で
も間違った認識結果を排除し、正しい結果のみを得るこ
とができる。 （２）三次元物体認識においてその結果を確認する機能
を持つため、複数個の部品が画面内に存在する場合でも
間違った認識結果を排除し、正しい結果のみを得ること
ができる。 （３）三次元物体認識においてその結果を確認する機能
を持つため、煩雑な背景や部品表面の汚れ等による環境
条件が良好でない場合でも間違った認識結果を排除し、
正しい結果のみを得ることができる。 （４）複雑な形状を持つ部品に対しても、認識候補の確
認機能によって正しい位置決めを行うことができる。 （５）部品の設置状況や環境条件が良好でない場合で
も、認識候補の確認機能によって正しい位置決めを行う
ことができる。 （６）認識候補の確認機能によって正しい位置決めを行
うことができるため、部品位置決め装置として高い信頼
性を得ることができる。
【図１】本発明の実施の形態で三次元位置決め方法の一
例のフローチャート。
例のフローチャート。
【図２】三次元位置決め方法の他の例のフローチャー
ト。
ト。
【図３】三次元位置決め方法のその他の例のフローチャ
ート。
ート。
【図４】本発明の実施の形態で三次元位置決め装置の一
例のブロック図。
例のブロック図。
【図５】三次元位置決め装置の他の例のブロック図。
【図６】三次元位置決め装置のその他の例のブロック
図。
図。
５ 位置姿勢計算用モデル特徴マッチング部 ７ モデル座標変換部 ８ 確認用モデル２Ｄマッチング部 １０ 対象特徴設定部 １１ 確認用モデル３Ｄマッチング部
【手続補正書】
【提出日】平成１０年１１月１０日（１９９８．１１．
１０）
１０）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正内容】
【００１６】他方、確認用モデル特徴によるマッチング
では、まず上記位置姿勢計算用モデル特徴によるマッチ
ングにて得た認識候補の示す位置姿勢へ確認用モデル特
徴を座標変換し、この座標変換した確認用モデル特徴を
用いてマッチングを行う。この場合の特徴マッチングに
おいては、認識候補の特徴データと座標変換した確認用
モデル特徴との特徴データの照合に加え、座標変換した
確認用モデル特徴と入力画像から抽出した特徴（以後
「抽出特徴」と称す）との位置データの照合を行う。
では、まず上記位置姿勢計算用モデル特徴によるマッチ
ングにて得た認識候補の示す位置姿勢へ確認用モデル特
徴を座標変換し、この座標変換した確認用モデル特徴を
用いてマッチングを行う。この場合の特徴マッチングに
おいては、認識候補の特徴データと座標変換した確認用
モデル特徴との特徴データの照合に加え、座標変換した
確認用モデル特徴と入力画像から抽出した特徴（以後
「抽出特徴」と称す）との位置データの照合を行う。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】変更
【補正内容】
【００２２】上述の図１，図２，図３に対応した方法を
実施する部品三次元位置決め装置を図４，図５，図６に
示す。図４において、対象部品の画像を入力する画像入
力部１、入力画像から対象部品の特徴を抽出する特徴抽
出部２、対象モデル部品について部品モデルの特徴を得
るモデル作製部３及びモデル保存部４を有し、位置姿勢
計算用モデル特徴マッチング部５では対象部品の特徴デ
ータとモデル保存部４の特徴データとのマッチングを行
って部品の認識候補を検出し、これに基づき位置姿勢計
算部６で対象部品の位置姿勢を得る。
実施する部品三次元位置決め装置を図４，図５，図６に
示す。図４において、対象部品の画像を入力する画像入
力部１、入力画像から対象部品の特徴を抽出する特徴抽
出部２、対象モデル部品について部品モデルの特徴を得
るモデル作製部３及びモデル保存部４を有し、位置姿勢
計算用モデル特徴マッチング部５では対象部品の特徴デ
ータとモデル保存部４の特徴データとのマッチングを行
って部品の認識候補を検出し、これに基づき位置姿勢計
算部６で対象部品の位置姿勢を得る。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】変更
【補正内容】
【００２３】次にモデル座標変換部７では、認識候補の
位置姿勢へ確認用部品モデルを座標変換し、確認用モデ
ル２Ｄマッチング部８でマッチングを行う。すなわち、
座標変換したモデルをイメージ平面上へ投影し、投影モ
デルの二次元特徴データを計算し、イメージ上での確認
用モデルの二次元特徴マッチングを行う。そして、部品
位置姿勢決定部９では、この二次元特徴マッチングの認
識候補の正否を判断し、正しい場合には認識候補の位置
姿勢データを用いて部品の三次元位置決めを行う。
位置姿勢へ確認用部品モデルを座標変換し、確認用モデ
ル２Ｄマッチング部８でマッチングを行う。すなわち、
座標変換したモデルをイメージ平面上へ投影し、投影モ
デルの二次元特徴データを計算し、イメージ上での確認
用モデルの二次元特徴マッチングを行う。そして、部品
位置姿勢決定部９では、この二次元特徴マッチングの認
識候補の正否を判断し、正しい場合には認識候補の位置
姿勢データを用いて部品の三次元位置決めを行う。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 恩田 寿和 東京都品川区大崎二丁目１番17号 株式会 社明電舎内 Ｆターム(参考） 2F065 AA03 AA04 AA37 AA49 AA51 AA54 DD03 FF04 QQ24 QQ25 QQ31 QQ38 5B057 AA01 CD20 DA07 DB03 DC08 DC33
Claims (9)
- 【請求項１】 対象部品の入力画像からこの対象部品の
特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッ
チングにより部品の認識候補を検出し、この認識候補の
位置姿勢へ部品モデルを座標変換し、座標変換したモデ
ルをイメージ平面上へ投影し、投影モデルの二次元特徴
データを計算し、イメージ上での確認用モデルの二次元
特徴マッチングを行うことで認識候補の正否を判断する
ようにした三次元位置決め方法。 - 【請求項２】 対象部品の入力画像からこの対象部品の
特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッ
チングにより部品の認識候補を検出し、この認識候補の
位置姿勢へ部品モデルを座標変換し、抽出特徴を対象特
徴として設定し、対象特徴の三次元位置計測を行い、対
象特徴の三次元特徴データを計算し、ワールド座標系で
の確認用モデルの三次元特徴マッチングを行うことで認
識候補の正否を判断するようにした三次元位置決め方
法。 - 【請求項３】 対象部品の入力画像からこの対象部品の
特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッ
チングにより部品の認識候補を検出し、この認識候補の
位置姿勢へ部品モデルを座標変換し、確認用モデル２Ｄ
マッチングを行いさらに、この２Ｄマッチングで照合し
た特徴を対象特徴として設定して確認用モデル３Ｄマッ
チングを行うようにした三次元位置決め方法。 - 【請求項４】 対象部品の入力画像からこの対象部品の
特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッ
チングにより部品の認識候補を検出し、この認識候補の
位置姿勢へ部品モデルを座標変換し、座標変換したモデ
ルをイメージ平面上へ投影し、投影モデルの二次元特徴
データを計算し、イメージ上での確認用モデルの二次元
特徴マッチングを行うことで認識候補の正否を判断する
ようにした三次元位置決め方法を実現するソフトウェア
を記録した媒体。 - 【請求項５】 対象部品の入力画像からこの対象部品の
特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッ
チングにより部品の認識候補を検出し、この認識候補の
位置姿勢へ部品モデルを座標変換し、抽出特徴を対象特
徴として設定し、対象特徴の三次元位置計測を行い、対
象特徴の三次元特徴データを計算し、ワールド座標系で
の確認用モデルの三次元特徴マッチングを行うことで認
識候補の正否を判断するようにした三次元位置決め方法
を実現するソフトウェアを記録した媒体。 - 【請求項６】 対象部品の入力画像からこの対象部品の
特徴を抽出し、位置姿勢計算用モデル特徴を用いたマッ
チングにより部品の認識候補を検出し、この認識候補の
位置姿勢へ部品モデルを座標変換し、確認用モデル２Ｄ
マッチングを行いさらに、この２Ｄマッチングで照合し
た特徴を対象特徴として設定して確認用モデル３Ｄマッ
チングを行うようにした三次元位置決め方法を実現する
ソフトウェアを記録した媒体。 - 【請求項７】 対象部品の入力画像からこの対象部品の
特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特
徴を用いたマッチングにより部品の認識候補を検出する
位置姿勢計算用モデル特徴マッチング部と、この認識候
補の位置姿勢へ部品モデルを座標変換するモデル座標変
換部と、座標変換したモデルをイメージ平面上へ投影
し、投影モデルの二次元特徴データを計算し、イメージ
上での確認用モデルの二次元特徴マッチングを行うこと
で認識候補の正否を判断する確認用モデル２Ｄマッチン
グ部と、を有する三次元位置決め装置。 - 【請求項８】 対象部品の入力画像からこの対象部品の
特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特
徴を用いたマッチングにより部品の認識候補を検出する
位置姿勢計算用モデル特徴マッチング部と、この認識候
補の位置姿勢へ部品モデルを座標変換するモデル座標変
換部と、抽出特徴を対象特徴として設定する対象特徴設
定部と、この対象特徴の三次元位置計測を行い、対象特
徴の三次元特徴データを計算し、ワールド座標系での確
認用モデルの三次元特徴マッチングを行うことで認識候
補の正否を判断する確認用モデル３Ｄマッチング部と、
を有する三次元位置決め装置。 - 【請求項９】 対象部品の入力画像からこの対象部品の
特徴を抽出する特徴抽出部と、位置姿勢計算用モデル特
徴を用いたマッチングにより部品の認識候補を検出する
位置姿勢計算用モデル特徴マッチング部と、この認識候
補の位置姿勢へ部品モデルを座標変換するモデル座標変
換部と、確認用モデル２Ｄマッチングを行う部分、さら
に、この２Ｄマッチングで照合した特徴を対象特徴とし
て設定する対象特徴設定部、そして確認用モデル３Ｄマ
ッチングを行う部分、を有する三次元位置決め装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24664898A JP3763215B2 (ja) | 1998-09-01 | 1998-09-01 | 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24664898A JP3763215B2 (ja) | 1998-09-01 | 1998-09-01 | 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000074628A true JP2000074628A (ja) | 2000-03-14 |
| JP3763215B2 JP3763215B2 (ja) | 2006-04-05 |
Family
ID=17151549
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24664898A Expired - Lifetime JP3763215B2 (ja) | 1998-09-01 | 1998-09-01 | 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3763215B2 (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008276805A (ja) * | 2008-08-04 | 2008-11-13 | Central Res Inst Of Electric Power Ind | 電線点検用画像の作成方法 |
| JP2009216503A (ja) * | 2008-03-10 | 2009-09-24 | Ihi Corp | 三次元位置姿勢計測方法および装置 |
| JP2010002976A (ja) * | 2008-06-18 | 2010-01-07 | Secom Co Ltd | 画像監視装置 |
| WO2011013301A1 (en) * | 2009-07-28 | 2011-02-03 | Canon Kabushiki Kaisha | Position and orientation calibration method and apparatus |
| CN103310204A (zh) * | 2013-06-28 | 2013-09-18 | 中国科学院自动化研究所 | 基于增量主成分分析的特征与模型互匹配人脸跟踪方法 |
| JP2015135333A (ja) * | 2015-02-13 | 2015-07-27 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020037679A1 (zh) * | 2018-08-24 | 2020-02-27 | 太平洋未来科技（深圳）有限公司 | 视频处理方法、装置及电子设备 |
-
1998
- 1998-09-01 JP JP24664898A patent/JP3763215B2/ja not_active Expired - Lifetime
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009216503A (ja) * | 2008-03-10 | 2009-09-24 | Ihi Corp | 三次元位置姿勢計測方法および装置 |
| JP2010002976A (ja) * | 2008-06-18 | 2010-01-07 | Secom Co Ltd | 画像監視装置 |
| JP2008276805A (ja) * | 2008-08-04 | 2008-11-13 | Central Res Inst Of Electric Power Ind | 電線点検用画像の作成方法 |
| WO2011013301A1 (en) * | 2009-07-28 | 2011-02-03 | Canon Kabushiki Kaisha | Position and orientation calibration method and apparatus |
| JP2011027623A (ja) * | 2009-07-28 | 2011-02-10 | Canon Inc | 位置姿勢計測方法及び装置 |
| US8577176B2 (en) | 2009-07-28 | 2013-11-05 | Canon Kabushiki Kaisha | Position and orientation calibration method and apparatus |
| CN103310204A (zh) * | 2013-06-28 | 2013-09-18 | 中国科学院自动化研究所 | 基于增量主成分分析的特征与模型互匹配人脸跟踪方法 |
| JP2015135333A (ja) * | 2015-02-13 | 2015-07-27 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3763215B2 (ja) | 2006-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sharp et al. | ICP registration using invariant features | |
| Zhang | A flexible new technique for camera calibration | |
| David et al. | SoftPOSIT: Simultaneous pose and correspondence determination | |
| JP4825253B2 (ja) | 可変形オブジェクト認識のためのシステムおよび方法 | |
| US9153030B2 (en) | Position and orientation estimation method and apparatus therefor | |
| Stevens et al. | Precise matching of 3-D target models to multisensor data | |
| Yan et al. | Joint camera intrinsic and lidar-camera extrinsic calibration | |
| JP5093591B2 (ja) | 三次元位置姿勢計測方法および装置 | |
| JP4003465B2 (ja) | 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置 | |
| JP2002063567A (ja) | 物体位置姿勢推定装置及びその方法並びそれを用いた特徴点位置抽出方法及び画像照合方法 | |
| Lei et al. | Detection and localisation of reflectional and rotational symmetry under weak perspective projection | |
| JP2000074628A (ja) | 三次元位置決め方法及び装置並びに上記方法を実現するソフトウェアを記録した媒体 | |
| Collins et al. | Site model acquisition and extension from aerial images | |
| JP3849228B2 (ja) | 部品の円特徴の三次元位置姿勢検出装置、その検出方法及びその記録媒体 | |
| Pless et al. | Extrinsic calibration of a camera and laser range finder | |
| US11544914B2 (en) | Annotation of 3D models with signs of use visible in 2D images | |
| JPH1055446A (ja) | 物体認識装置 | |
| Hołowko et al. | Color-based algorithm for automatic merging of multiview 3D point clouds | |
| JPH085333A (ja) | ３次元位置姿勢認識装置 | |
| US11983836B2 (en) | Annotation of 3D models with signs of use visible in 2D images | |
| JPH0738223B2 (ja) | 移動ロボット用画像認識装置 | |
| JP2002197472A (ja) | 物体認識方法 | |
| JP6534411B2 (ja) | 相対角度推定装置、相対角度推定方法、及び相対角度推定プログラム | |
| McLean | Image warping for calibration and removal of lens distortion | |
| Ricolfe-Viala et al. | Improved camera calibration method based on a two-dimensional template |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040823 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051227 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060109 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100127 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110127 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120127 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130127 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140127 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |