JP2012154862A

JP2012154862A - ３次元寸法測定装置

Info

Publication number: JP2012154862A
Application number: JP2011015901A
Authority: JP
Inventors: Hiroyuki Nakano; 博之中野; Takaaki Konishi; 孝明小西; Nobuhisa Seya; 修久瀬谷; Daisuke Igarashi; 大輔五十嵐
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2011-01-28
Filing date: 2011-01-28
Publication date: 2012-08-16
Anticipated expiration: 2031-01-28
Also published as: JP5610579B2

Abstract

【課題】本発明の目的は、画像を用いた測定において、１枚の画像に納まりきらない程の高い倍率で画像を取得する際にも、容易な操作で画像を取得でき、かつ、寸法を算出する際に、１枚の画像に納まりきらない程の高い倍率で撮影した画像を用いることで、１枚の画像に納まりきる画像から寸法を算出するよりも高い精度で寸法を算出可能な装置を提供することにある。
【解決手段】本発明は、ワイドカメラの画像からワークの輪郭を抽出し、抽出された輪郭情報に基づき、駆動機構の走査軌跡および、複数のカメラの撮像倍率を決定し、決定された走査軌跡を走査中に、複数のカメラから複数枚の画像を取得し、複数枚の画像を合成して、高倍率の画像を生成し、生成された高倍率画像から高精度に輪郭の寸法を求めることを特徴とする。
【選択図】図１

Description

本発明は、３次元寸法測定装置に関する。

画像から寸法を求める際に、高倍率（高精細）画像を取得することで、寸法の算出精度が向上する。しかしながら、同じ大きさの受光素子を用いた場合、高倍率画像は撮影範囲が狭くなるため、測定可能な測定対象の大きさが小さくなる。また、測定対象の大きさに応じ撮影範囲を変えた場合、ズーミング、および、フォーカシングの状態によって画像歪みなどのカメラパラメータが変わってしまい、正確な寸法測定ができなくなる。さらに、高倍率で撮影した場合、測定対象の一部しか確認できなくなるため、測定対象全体のうちどの部分を撮影しているのかの判断が難しくなる。

これらの課題に対し、特開２００８−２４１４９１号公報（特許文献１）において廣岡らは、ズーム及びフォーカス機能を有するステレオカメラを用いた３次元計測装置において、ズーム及びフォーカスが変化した場合でも精度のよい３次元計測を行うことが可能な３次元計測装置について述べている。すなわち、ズーム及びフォーカスが可変な撮像手段を１つ以上含む複数の撮像手段と、ズーミング及びフォーカシングの制御手段と、複数の撮像手段が出力した撮像画像をステレオ画像処理し３次元情報を計測するステレオ画像処理手段と、ステレオ画像処理を行うために必要なカメラ情報を格納するカメラ情報格納手段とを有する３次元計測装置において、カメラ情報格納手段は各撮像手段のズームの状態及びフォーカスの状態に依存して変化するカメラ情報については、その状態に応じた複数のカメラ情報を持ち、ステレオ画像処理手段が各撮像手段のズームの状態及びフォーカスの状態を取得して、カメラ情報格納部から対応するカメラ情報を取得し、ステレオ画像処理に用いる方法について述べている。

また、特開２００８−７０１２０号公報（特許文献２）において廣岡らは、ズームが可変なステレオ撮像を用いた距離計測装置において、ズームが変化した場合でも正確なステレオ画像処理による距離計測を行う距離計測装置について述べている。すなわち、撮像を行うズームが可変な第一，第二の撮像手段と、第一，第二の撮像手段が出力するステレオ撮像画像を用いてステレオ画像処理を行い、距離情報を演算するステレオ画像処理手段と、第一の撮像手段と第二の撮像手段が出力する撮像画像を用いて画像処理を行い、ズームの変化量を検出するズーム変化量検出手段とを有する。検出した第一，第二の撮像手段のズーム倍率に差がある場合に、その差を補正するように第一，第二の撮像手段を制御する。また、ステレオ画像処理手段がズーム変化量検出手段の出力するズーム変化量を用いてステレオ画像処理を行うことで、ズーム変化時にも精度の良いステレオ画像処理を行い、正確な距離計測を行うことが可能となると述べている。

また、特開平８−１４８６１号公報（特許文献３）において近藤らは、対象物体の３次元形状を精度良く計測するために、ズームレンズを有する２つの撮像部を用い、それぞれ撮像したステレオ画像から測距部においてステレオ測距法により被写体距離データＺＳを得る。一方、ズーム比を変えながら測距部においてズーム測距法により距離データＺＲ，ＺＬを得て、距離データ統合部にて各データＺＳ，ＺＲ，ＺＬを各々の信頼性に応じて荷重平均する。そして、最終的な被写体距離を求めることで、２つの測距法の計測結果が補い合いながら被写体の３次元形状を高精度に安定して計測する方法について述べている。

また、特開２００９−２８４４５２号公報（特許文献４）において河野らは、従来複数カメラの位置関係を正確に定め、複数カメラを効果的に利用するのに困難であった複数のカメラの正確な位置決めとカメラ操作を容易とし、複数カメラ間の位置関係を常に正確に保ちながら操作容易にした複数のカメラ装着用雲台構成およびそれらを制御操作する複数カメラシステム装置を提供する。この装置では、複数カメラの位置関係を正確に保ちながら制御操作することにより、複数カメラによる複数画像の利用，目標対象物のスピーディかつ的確な捕捉，対象物の位置関係の把握，高速ズームフォーカス、など複数カメラによるより高度な機能を備えたカメラシステム装置について述べている。すなわち、複数のカメラから成る電子カメラシステム装置において、前記複数のカメラはパン方向およびチルト方向に制御可能な雲台上に装着され、前記複数のカメラはそれぞれが連携して操作可能とされることを特徴とする電子カメラシステムについて述べている。

特開２００８−２４１４９１号公報特開２００８−７０１２０号公報特開平８−１４８６１号公報特開２００９−２８４４５２号公報

しかしながら、特許文献１，特許文献２、および、特許文献３で述べられている技術では、高倍率で撮影した場合、測定対象の一部しか確認できなくなるため、測定対象全体のうちどの部分を撮影しているのかの判断が難しくなることに対する解決方法については述べられていない。

また、特許文献４で述べられている技術では、低倍率画像と高倍率画像を同時に取得し、低倍率画像中の所望の場所を高倍率で撮影する技術について述べられているものの、測定対象を１枚の高倍率画像に納まりきらない程のより高い倍率で撮影する方法については述べられていない。

そこで、本発明の目的は、画像を用いた測定において、１枚の画像に納まりきらない程の高い倍率で画像を取得する際にも、容易な操作で画像を取得でき、かつ、寸法を算出する際に、１枚の画像に納まりきらない程の高い倍率で撮影した画像を用いることで、１枚の画像に納まりきる画像から寸法を算出するよりも高い精度で寸法を算出可能な装置を提供することにある。

本発明は、ワイドカメラの画像からワークの輪郭を抽出し、抽出された輪郭情報に基づき、駆動機構の走査軌跡および、複数のカメラの撮像倍率を決定し、決定された走査軌跡を走査中に、複数のカメラから複数枚の画像を取得し、複数枚の画像を合成して、高倍率の画像を生成し、生成された高倍率画像から高精度に輪郭の寸法を求めることを特徴とする。

本発明によれば、画像を用いた測定において、１枚の画像に納まりきらない程の高い倍率で画像を取得する際にも、容易な操作で画像を取得でき、かつ、寸法を算出する際に、１枚の画像に納まりきらない程の高い倍率で撮影した画像を用いることで、１枚の画像に納まりきる画像から寸法を算出するよりも高い精度で寸法を算出可能な装置を提供することができる。

本発明の第１の実施例における、ワイドカメラと、ズーム機能付きステレオカメラを用いた寸法計測システムの全体構成図を示す図である。本発明の第１の実施例における、ワイドカメラと、ステレオカメラのＸ軸方向の位置の違いを説明する図である。本発明の第１の実施例における、ワイドカメラと、ステレオカメラのＹ軸方向の位置の違いを説明する図である。本発明の第１の実施例における、ワイドカメラで撮影された画像と、ワイドカメラで撮影された画像の中の指定された部分をズームカメラで撮影した画像を、各々、別々のモニタで表示させる様子を説明する図である。本発明の第１の実施例における、ワイドカメラで撮影された画像と、ワイドカメラで撮影された画像の中の指定された部分をズームカメラで撮影した画像を、同じモニタで表示させる様子を説明する図である。本発明の第１の実施例における、抽出された注目部位の輪郭と、該輪郭を複数領域に分割した様子と、該分割された領域のうち、抽出された注目部位の輪郭を含む画像を抽出する様子を示す図である。本発明の第１の実施例における、抽出された注目部位の輪郭と、該輪郭を複数領域に分割した様子と、該分割された領域のうち、抽出された注目部位の輪郭を含む画像の中心座標をサブピクセル精度で抽出する様子を示す図である。本発明の第１の実施例における、ＣＡＤ情報と計測結果を比較表示する様子を示す図である。本発明の第１の実施例における、計測フローを示す図である。

本発明の実施形態を図１から図９を用いて説明する。

図１に本発明で用いる計測システムの全体構成について示す。

まず、ワイドカメラ３がパン機構６に搭載されており、広い範囲の画像を取得する。ワイドカメラのレンズは、ピント調整不要の固定焦点レンズでも良いし、バリフォーフォーカル機能付きのレンズでも良い。

次に、上記ワイドカメラ３よりも高い倍率を有するズームカメラ１、および、ズームカメラ２にて、上記ワイドカメラ３で撮影された画像の一部を撮影する。本実施例では、計測対象の３次元形状を求めるために、ズームカメラ１とズームカメラ２でステレオカメラを構成している。ズームカメラ１、および、ズームカメラ２のレンズは、倍率、および、フォーカス調整が可能なズームレンズを用いる。ズームカメラ１、および、ズームカメラ２は、パン機構４およびチルト機構５に搭載されており、任意の方向を撮影できる。また、ズームカメラ１，ズームカメラ２、および、ワイドカメラ３は、パン機構４及びパン機構６に搭載されており、水平方向に回転可能である。図示していないが、ズームカメラ１，ズームカメラ２、および、ワイドカメラ３をチルト機構に搭載すれば、ズームカメラ１，ズームカメラ２、および、ワイドカメラ３を一体で任意の方向に向けることが可能となる。

ズームカメラ１，ズームカメラ２、および、ワイドカメラ３は、それぞれ、カメラコントローラ９，１０，１１を介してコンピュータ１５に接続されており、シャッター速度などを設定したり、画像を取り込んだりできる。

また、パン機構４，６、および、チルト機構５は、それぞれ、パン機構コントローラ１２，１４、および、チルト機構コントローラ１３を介してコンピュータ１５に接続され、ズームカメラ１，２、および、ワイドカメラ３の姿勢を制御する。

撮影画像は、記憶装置１８に保存される。また、ディスプレイ１９、および、２０に映し出される。

ここで、ズームカメラ１，２、および、ワイドカメラ３は、各々、異なる位置に配置されているため、取得される画像において、計測対象の画像上での座標が異なる。寸法の測定を行うためには、画像上で同じ座標系で取り扱うために、座標補正を行う必要がある。これは、バンドル調整法を用いて得られた画像から位置関係を求めてもよい。また、図２、および、図３に示すように、予め回転調整を行う。ズームカメラ１，２、および、ワイドカメラ３は、Ｘ軸方向に距離３０ずれており、また、ズームカメラ１とワイドカメラ３は、Ｙ軸方向に距離３１ずれており、さらに、ズームカメラ２とワイドカメラ３は、Ｙ軸方向に距離３２ずれている（すなわち、ズームカメラ１とズームカメラ２はＹ軸方向に距離３３＝距離３１＋距離３２ずれており、これが、ステレオカメラを構成しているズームカメラ１とズームカメラ２の視差となる）。このように算出しておけば、画像の位置補正が容易となる。

図９は、本実施例における形状計測のフローを示している。まず、ワイドカメラ３で測定対象（ワーク）を撮影し、図４に示すようにディスプレイ１９に表示される。取得画像は、コンピュータでレンズの収差などに起因する歪みが補正される。次に、図４に示すように、測定対象のうち寸法を算出した部分である注目部位４２を含むように、マウス１７を用いて測定領域４１で囲う。この際、タッチパネルディスプレイを用いてディスプレイ上で測定領域４１を指定しても良い。

次に、上記指定された測定領域が画面全体に写るようにズームカメラ１，２をパン，チルト移動させ、画像を取得する。該取得画像は、図４に示すように、ディスプレイ２０に写しだされる。この際、図４ではズームカメラ１、または、ズームカメラ２で取得された画像のうちの１つを表示するようにしているが、両方の画像を表示するようにしても良い。また、図４では、ズームカメラ１、および／または、ズームカメラ２の画像を、ワイドカメラ３の画像を映し出すディスプレイ１９とは異なるディスプレイ２０に表示する例を示しているが、図５に示すように、全ての画像を同じディスプレイ１９上に表示しても良い。

次に、図６に示すように、抽出された輪郭４３は複数の分割された領域４４に分割される。分割された各々の領域のうち、該抽出された輪郭４３を含む領域４５について、図７に示すように中心座標がサブピクセル精度で求められる。分割された各々の領域のうちの該抽出された輪郭４３を含む全ての領域について、中心座標を求める。求まった中心座標は、ズームカメラ１，２での撮影軌跡となる。すなわち、ズームカメラ１，２での撮影中心が、中心座標４７となるように、パン機構４、および、チルト機構５を用いて、ズームカメラ１，２の姿勢を制御する。このとき、ズームカメラ１，２での倍率は、撮影範囲が上記領域４５よりも少し大きめになるように自動で設定する。また、その後ピント調整を行った後に、ズームカメラ１，２での画像を取得する。

次に、上記ズームカメラ１，２で取得された画像の歪補正を行う。この際、ズーム倍率，フォーカスごとの補正パラメータを事前に準備しておくことで、任意の倍率，フォーカス状態での画像補正が行えるようにしておく。この作業を、該抽出された輪郭４３を含む全ての領域に対して撮像を終えたら、得られた画像を合成する。その後、合成された画像に対しステレオマッチングを施し、該抽出された輪郭４３の３次元座標を求める、半径などの幾何寸法を算出する。

最後に算出された寸法と３次元設計データ（ＣＡＤデータ）を比較し、算出された寸法と目標形状の寸法の差である残り量を算出し、図８に示すように、ディスプレイ２０上に、算出された寸法５２，目標形状の寸法５１とともに、残り量５３を表示する。

本発明によれば、抽出された輪郭４３を含む全ての領域について、中心座標を求め、求まった中心座標は、ズームカメラ１，２での撮影軌跡となる。そのため、画像を用いた測定において、１枚の画像に納まりきらない程の高い倍率で画像を取得する際にも、容易な操作で画像を取得でき、かつ、寸法を算出する際に、１枚の画像に納まりきらない程の高い倍率で撮影した画像を用いることで、１枚の画像に納まりきる画像から寸法を算出するよりも高い精度で寸法を算出可能な装置を提供することができる。

画像からの寸法計測方法および装置に関する。

１，２ズームカメラ
３ワイドカメラ
４，６パン機構
５チルト機構
９，１０，１１カメラコントローラ
１２，１４パン機構コントローラ
１３チルト機構コントローラ
１５コンピュータ
１６キーボード
１７マウス
１８記憶装置
１９，２０ディスプレイ
３０ズームカメラ１，ズームカメラ２とワイドカメラ３のＸ軸方向の距離
３１ズームカメラ１とワイドカメラ３のＹ軸方向の距離
３２ズームカメラ２とワイドカメラ３のＹ軸方向の距離
３３ズームカメラ１とズームカメラ２のＹ軸方向の距離（視差）
４０測定対象
４１測定領域
４２注目部位（寸法を算出したい部位）
４３抽出された輪郭
４４分割された領域
４５領域
４６画像の１画素
４７注目部位が写っている分割された画像の中心座標
５０目標形状
５１目標形状の寸法
５２算出された寸法
５３算出された寸法と目標形状の寸法の差（残り量）

Claims

ズームが可変な複数のカメラと、該複数のカメラを一体にしてパン方向およびチルト方向に動作させる駆動機構と、該ズームが可変な複数のカメラよりも撮像範囲が広いワイドカメラを有する３次元寸法測定装置であって、
前記ワイドカメラの画像からワークの輪郭を抽出し、該抽出された輪郭情報に基づき、上記駆動機構の走査軌跡および、上記複数のカメラの撮像倍率を決定し、該決定された走査軌跡を走査中に、上記複数のカメラから複数枚の画像を取得し、該複数枚の画像を合成して、高倍率の画像を生成し、該生成された高倍率画像から高精度に輪郭の寸法を求めることを特徴とする３次元寸法測定装置。
ズームが可変な前記複数のカメラは、ステレオカメラで構成していることを特徴とする上記請求項１に記載の３次元寸法測定装置。
抽出された形状輪郭と目標形状である設計形状を同時に画面上に表示することを特徴とする上記請求項１に記載の３次元寸法測定装置。
求めたれた寸法と目標形状である設計寸法を同時に画面上に表示することを特徴とする上記請求項１に記載の３次元寸法測定装置。