JP2023022517A

JP2023022517A - 計測システム及び計測プログラム

Info

Publication number: JP2023022517A
Application number: JP2021127420A
Authority: JP
Inventors: 裕武田; Yutaka Takeda; 博昭中村; Hiroaki Nakamura
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2021-08-03
Filing date: 2021-08-03
Publication date: 2023-02-15
Also published as: CN115704675A; US20230043369A1

Abstract

【課題】マッチングの際の精度をより向上できる計測システム及び計測プログラムを提供すること。【解決手段】計測システムは、取得部と、比較部と、表示制御部とを備える。取得部は、計測対象と計測対象に対して配置された補助物とを撮像するカメラで計測された情報に基づいて、補助物を含む計測対象の３次元形状を表す第１の点群データを取得する。除去部は、第１の点群データと計測対象の３次元形状を表す既知の第２の点群データとの比較に基づき、第１の点群データから補助物の点群データを除去する。比較部は、補助物の点群データが除去された第１の点群データと第２の点群データとを比較する。表示制御部は、比較の結果に関わる情報を表示装置に表示する。【選択図】図１

Description

実施形態は、計測システム及び計測プログラムに関する。

同一の計測対象に係る２つの点群のデータのマッチング手法の１つとして、ＩＣＰ(Iterative Closest Point)手法が知られている。ＩＣＰ手法等のマッチング手法は、例えば部品の組付けが正しく行われていることを確認するための画像の比較処理に適用され得る。このような点群のデータのマッチングの精度向上及び効率向上等を目的として、計測対象にマーカ等の補助物が基準物として配置されることがある。

特開２０１７－１０６７４９号公報

ここで、マーカ等の補助物は、本来の計測対象には存在しないものである。計測された点群データに含まれるマーカ等の基準物の点群は、設計図面等から生成される点群等の計測対象の理想形状を表す既知の点群とのマッチングの際には不要なノイズになる。

実施形態は、マッチングの際の精度をより向上できる計測システム及び計測プログラムを提供する。

一態様の計測システムは、取得部と、比較部と、表示制御部とを備える。取得部は、計測対象と計測対象に対して配置された補助物とを撮像するカメラで計測された情報に基づいて、補助物を含む計測対象の３次元形状を表す第１の点群データを取得する。除去部は、第１の点群データと計測対象の３次元形状を表す既知の第２の点群データとの比較に基づき、第１の点群データから補助物の点群データを除去する。比較部は、補助物の点群データが除去された第１の点群データと第２の点群データとを比較する。表示制御部は、比較の結果に関わる情報を表示装置に表示する。

図１は、実施形態に係る計測システムの一例の構成を示すブロック図である。図２は、計測システム１のハードウェア構成の一例を示す図である。図３Ａは、マーカの例を示す図である。図３Ｂは、マーカの例を示す図である。図３Ｃは、マーカの例を示す図である。図４は、計測システムの動作を示すフローチャートである。図５は、補助物の変形例を示す図である。

以下、図面を参照して実施形態を説明する。図１は、実施形態に係る計測システムの一例の構成を示すブロック図である。計測システム１は、計測対象の３次元形状の計測に用いられ得る。

実施形態における計測システム１は、カメラ２によって計測される計測対象Ｏの３次元形状の情報と予め用意されている計測対象Ｏの３次元形状を表す情報とを比較し、その比較結果をユーザに提示する。

図１に示すように、計測システム１は、取得部１１と、除去部１２と、形状データベース（ＤＢ）１３と、比較部１４と、表示制御部１５とを有している。計測システム１は、カメラ２と通信できるように構成されている。計測システム１とカメラ２との通信は、無線で行われてもよいし、有線で行われてもよい。また、計測システム１は、表示装置３と通信できるように構成されている。計測システム１と表示装置３との通信は、無線で行われてもよいし、有線で行われてもよい。

カメラ２は、計測対象の点群に関わる情報を計測対象に対して配置されたマーカの点群に関わる情報とともに計測するように構成されたカメラである。カメラ２は、例えばＲＧＢ－Ｄカメラである。ＲＧＢ－Ｄカメラは、ＲＧＢ－Ｄ画像を計測できるように構成されたカメラである。ＲＧＢ－Ｄ画像は、深度画像（Depth image)とカラー画像（RGB color image）を含む。深度画像は、計測対象の各点の深度を画素の値として有する画像である。カラー画像は、計測対象の各点のＲＧＢ値を画素の値として有する画像である。

また、マーカＭは、計測対象Ｏの予め定められた位置に配置される既知のマーカである。マーカＭは、カメラ２の画角に応じて計測対象Ｏの２つ以上の面に配置されている。マーカＭは、点群データの合成の際の基準として用いられる補助物である。

表示装置３は、液晶ディスプレイ及び有機ＥＬディスプレイといった表示装置である。表示装置３は、計測システム１から転送されたデータに基づいて各種の画像を表示する。

取得部１１は、例えば深度画像からマーカＭを含む計測対象Ｏの３次元形状を表す計測点群データを取得する。また、取得部１１は、計測対象Ｏを複数方向からカメラ２によって撮像した結果として得られるそれぞれの方向についての計測点群データを、計測対象Ｏに予め配置されているマーカＭを基準にして合成する。また、取得部１１は、ＩＣＰ（Iterative Closest Point)手法、ＣＰＤ(Coherent Point Drift)手法等のマッチング手法を用いて計測点群データとカラー画像とを対応付けする。つまり、取得部１１は、計測点群データを構成するそれぞれの点に対して、色の情報を対応付ける。

除去部１２は、取得部１１で生成されたマーカＭを含む計測対象Ｏの計測点群データと形状ＤＢ１３に記憶されている計測対象Ｏの既知の３次元形状に基づく理想点群データとを比較することにより、計測点群データからマーカＭの点群データを除去する。除去部１２は、例えばＭａｓｋＮｅｔを用いた学習済みモデルによってマーカＭの点群データを除去する。ＭａｓｋＮｅｔは、入力点群と参照点群とのそれぞれの特徴量を同一の重み付けで抽出し、これらの特徴量を比較して、その差分を除去するためのマスクを学習する機械学習ベースのアルゴリズムである。実施形態では、計測点群データが入力点群とされ、既知の３次元形状に基づく理想点群データが参照点群とされる。計測点群データはマーカＭの点群データを含むのに対し、理想点群データはマーカＭの点群データを含まない。したがって、ＭａｓｋＮｅｔにより、マーカＭの点群データを除く点群データが抽出され得る。このようにして、除去部１２は、マーカＭの点群データを元の計測点群データから除去する。なお、点群データの比較に用いられる特徴量は、点群データの値そのもの、点群データに対応付けられる色、反射輝度等であってよい。実施形態における学習済みモデルは、計測点群データと理想点群データとの差異を抽出できれば、ＭａｓｋＮｅｔである必要はない。

形状ＤＢ１３は、計測対象Ｏの既知の３次元形状情報を記憶している。既知の３次元形状情報は、計測対象Ｏの３ＤＣＡＤ（Computer Aided Design)による図面データ等であり、計測対象Ｏの理想形状を表している。既知の３次元形状情報は、図面データに限らず、任意の点群のデータ又は点群のデータに変換できるデータであってよい。また、形状ＤＢ１３は、計測システム１の外部に設けられていてもよい。この場合、計測システム１の除去部１２は、必要に応じて形状ＤＢ１３から情報を取得する。また、既知の３次元形状情報は、形状ＤＢ１３に登録されることなく、ユーザによって計測システム１に入力されてもよい。

比較部１４は、マーカＭの点群データが除去された計測点群データと形状ＤＢ１３に記憶された３次元形状情報に基づく理想点群データとの比較をする。具体的には、比較部１４は、計測点群データと理想点群データとを比較し、両点群データのマッチングをすることで両者の位置合わせをする。点群のデータのマッチングは、ＩＣＰ手法、ＣＰＤ手法等を用いて実施され得る。

表示制御部１５は、形状の比較結果に関わる情報を表示装置３に表示する。形状の比較結果に関わる情報は、例えばカメラ２による計測点群データに基づく画像に形状ＤＢ１３に記憶されている理想点群データに基づく画像が重ねられた画像である。表示制御部１５は、例えばカメラ２の位置及び姿勢に基づいて、カメラ２で計測されたＲＧＢ画像と点群データとを対応付けて特定の視点から見た計測対象Ｏの３次元モデルを生成する。そして、表示制御部１５は、生成した計測対象Ｏの３次元モデルに既知の３次元形状情報に基づく３次元モデルを重ねて表示装置３に表示する。

図２は、計測システム１のハードウェア構成の一例を示す図である。計測システム１は、パーソナルコンピュータ（ＰＣ）、タブレット端末等の各種の端末装置であり得る。図２に示すように、計測システム１は、プロセッサ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ストレージ１０４と、入力インタフェース１０５と、通信装置１０６とをハードウェアとして有している。

プロセッサ１０１は、計測システム１の全体的な動作を制御するプロセッサである。プロセッサ１０１は、例えばストレージ１０４に記憶されているプログラムを実行することによって、取得部１１と、除去部１２と、比較部１４と、表示制御部１５として動作する。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit)である。プロセッサ１０１は、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit)、ＡＳＩＣ（Application Specific Integrated Circuit)、ＦＰＧＡ（Field Programmable Gate Array）等であってもよい。プロセッサ１０１は、単一のＣＰＵ等であってもよいし、複数のＣＰＵ等であってもよい。

ＲＯＭ（Read Only Memory）１０２は、不揮発性のメモリである。ＲＯＭ１０２は、計測システム１の起動プログラム等を記憶している。ＲＡＭ（Random Access Memory）１０３は、揮発性のメモリである。ＲＡＭ１０３は、例えばプロセッサ１０１における処理の際の作業メモリとして用いられる。

ストレージ１０４は、例えばハードディスクドライブ、ソリッドステートドライブといったストレージである。ストレージ１０４は、計測プログラム等のプロセッサ１０１によって実行される各種のプログラムを記憶している。また、ストレージ１０４は、形状ＤＢ１３を記憶し得る。形状ＤＢ１３は、必ずしもストレージ１０４に記憶されている必要はない。

入力インタフェース１０５は、タッチパネル、キーボード、マウス等の入力装置を含む。入力インタフェース１０５の入力装置の操作がされた場合、操作内容に応じた信号がプロセッサ１０１に入力される。プロセッサ１０１は、この信号に応じて各種の処理を行う。

通信装置１０６は、計測システム１がカメラ２及び表示装置３といった外部の機器と通信するための通信装置である。通信装置１０６は、有線通信のための通信装置であってもよいし、無線通信のための通信装置であってもよい。

次に、マーカＭについて説明する。実施形態では、マーカＭは、例えば複数方向からの撮像によって得られた計測点群データの合成の際の基準として用いられる。マーカＭは、カメラ２を介して取得される深度画像又はカラー画像において認識できる任意のマーカであってよい。例えば、マーカＭは、図３Ａに示すＡＲ（Augmented Reality)マーカであってよい。ＡＲマーカは、例えば白黒のパターンを含むマーカであり、白黒のパターンによって所定の情報を表し得る。実施形態では、ＡＲマーカは、例えばマーカの識別情報を含む。また、マーカＭは、図３Ｂに示すシールマーカであってもよい。図３Ｂに示すシールマーカは、同心円を含むマーカである。図３Ｂに示すシールマーカでは、シールマーカの円の中心が画像から認識されることで、画像内のマーカの位置が精度よく認識される。これにより、計測点群データの合成精度が向上する。さらに、マーカＭは、図３Ｃに示す物理マーカであってもよい。物理マーカは、計測対象Ｏとはまったく異なる形状を有しているマーカである。図３Ｃに示す物理マーカは、例えば四角錐状のマーカである。図３Ｃに示す物理マーカでは、計測対象Ｏには存在しない特異的な形状が画像から認識されることで、画像内のマーカの位置が精度よく認識される。これにより、計測点群データの合成精度が向上する。

ここで、マーカＭには、計測対象Ｏとは異なる特徴が付与されていてもよい。異なる特徴は、例えば、表面の色、模様、反射強度といった特徴を含む。例えば、色であれば、マーカＭの色は、計測対象Ｏの色に対して補色の関係にあるといった、計測対象Ｏの色との差異の大きな色である。例えば、実施形態では、計測点群データを構成するそれぞれの点には、ＲＧＢ値が対応付けられている。マーカＭの色が計測対象Ｏの色と異なっていて、理想点群データもＲＧＢ値の情報を有していれば、色の違いからもマーカＭの点群データの座標が特定され得る。同様に、模様、反射強度の違いも点群データの違いに表れるので、これらの特徴からもマーカＭの点群データの座標が特定され得る。さらには、前述した物理マーカのような特徴的な形状からもマーカＭの点群データの座標が特定され得る。学習済みモデルを用いたマーカＭの点群データの除去と特徴の情報を用いたマーカＭの点群データの除去とが組み合わされることにより、より精度よくマーカＭの点群データが除去され得る。なお、特徴の情報を用いたマーカＭの点群データの除去は、必ずしも学習済みモデルを用いたマーカＭの点群データの除去と組み合わされる必要はなく、単独で行われてもよい。

次に実施形態における計測システム１の動作を説明する。図４は、計測システム１の動作を示すフローチャートである。図４の処理は、プロセッサ１０１によって実行される。ここで、以下では、カメラ２は、ＲＧＢ－Ｄカメラであり、既知の３次元形状情報は、計測対象Ｏの３ＤＣＡＤデータであり、マーカＭは、ＡＲマーカである例が説明される。しかしながら、前述したように、カメラ２はＲＧＢ－Ｄカメラでなくてもよく、また、既知の３次元形状情報も計測対象Ｏの３ＤＣＡＤデータでなくてもよい。また、マーカＭもＡＲマーカでなくてもよい。

ステップＳ１において、プロセッサ１０１は、計測対象Ｏに対する複数方向から撮像されたマーカＭを含む計測対象ＯのＲＧＢ－Ｄ画像をカメラ２から取得する。そして、プロセッサ１０１は、ＩＣＰ手法等を用いて深度画像に基づいて生成される計測点群データとカラー画像とを対応付ける。

ステップＳ２において、プロセッサ１０１は、カメラ２から取得されたカラー画像からマーカＭを検出する。プロセッサ１０１は、カメラ２から取得されたカラー画像を例えばグレースケールの画像に変換し、グレースケールの画像をさらに白黒の２値画像に変換し、この白黒の２値画像を予め記憶されているマーカＭのパターンと比較することでマーカＭを検出する。マーカＭの検出手法は、これに限るものではない。

ステップＳ３において、プロセッサ１０１は、マーカＭに基づいて、複数方向についての計測点群データを合成する。

ステップＳ４において、プロセッサ１０１は、計測点群データと理想点群データとの差分をマスクするように構成された学習済みモデルに計測点群データと３ＤＣＡＤデータに基づく計測対象Ｏの理想点群データとを入力し、計測点群データにおけるマーカＭの点群データを特定する。前述したように、マーカＭに色等の特徴が付与されている場合には、プロセッサ１０１は、計測点群データと理想点群データとの間の色等の特徴の比較によってマーカＭの点群データを特定してもよい。例えば、プロセッサ１０１は、計測点群データと理想点群データとを比較し、計測対象Ｏの点群データにのみ存在する特異的な色の点群データをマーカＭの点群データとして抽出する。この場合において、プロセッサ１０１は、計測点群データと理想点群データとの差分をマスクするように構成された学習済みモデルによってマーカＭの点群データを特定した上で、さらに色等の特徴によってマーカＭの点群データの絞り込みをしてもよい。

ステップＳ５において、プロセッサ１０１は、計測点群データから、マーカＭの点群データを除去する。

ステップＳ６において、プロセッサ１０１は、マーカＭの点群データが除去された計測点群データと理想点群データとをマッチングすることによって位置合わせする。マッチングは、ＩＣＰ手法等に基づいて行われ得る。

ステップＳ７において、プロセッサ１０１は、計測点群データに基づく計測対象Ｏの３次元画像を生成する。そして、プロセッサ１０１は、計測点群データに基づく計測対象Ｏの３次元画像と３ＤＣＡＤデータに基づく計測対象Ｏの３次元画像とを重ねて表示装置３に表示する。この際、プロセッサ１０１は、計測点群データに基づく計測対象Ｏの３次元画像と３ＤＣＡＤデータに基づく計測対象Ｏの３次元画像との相違箇所を色付けする、濃淡を変える等して強調表示してもよい。その後、プロセッサ１０１は、図４の処理を終了させる。

例えば、計測対象Ｏが装置に組付けられる部品であれば、計測点群データに基づく計測対象Ｏの３次元画像と３ＤＣＡＤデータに基づく計測対象Ｏの３次元画像との比較により、部品が正しく装置に組付けられているか否かが、表示装置３において表示される画像から判断され得る。

以上説明したように、複数方向から計測される計測点群データの合成には必要であるが、理想点群データとのマッチングには不要な補助物としてのマーカの点群が計測点群データから除去された上で計測点群データと理想点群データとのマッチングが行われる。これにより、計測点群データと理想点群データとのマッチングとが精度良く行われ得る。

［変形例］
実施形態の変形例を説明する。実施形態においては、計測点群データにおける理想点群データとのマッチングに不要な補助物は、マーカであるとされている。これに対し、実施形態の手法は、マーカ以外の補助物にも適用され得る。例えば、図５に示すように、土台２００の上に配置された不安定な計測対象２０１を支持する目的で、計測対象２０１が補助物としての支持部材２０２によって支持されることがある。このような支持部材２０２も理想点群データとのマッチングの際には不要である。支持部材２０２の点群データについても、実施形態で説明した学習済みモデルを用いた手法又は支持部材２０２の特徴を用いた手法によって除去され得る。

また、実施形態では、カメラ２としてＲＧＢ－Ｄカメラが例示されている。これに対し、カメラ２は、計測対象の点群に関わる情報を計測できれば、ＲＧＢ－Ｄカメラでなくてもよい。カメラ２は、例えばステレオカメラであってもよい。ステレオカメラであれば、点群データを構成するそれぞれの点自体にＲＧＢ値の情報を持たせることができる。

また、実施形態において、カメラ２は、計測システム１と一体的に構成されていてもよい。この場合において、カメラ２の位置及び姿勢の制御が計測システム１によって実施されてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１計測システム、２カメラ、３表示装置、１１取得部、１２除去部、１３形状データベース（ＤＢ）、１４比較部、１５表示制御部、１０１プロセッサ、１０２ＲＯＭ、１０３ＲＡＭ、１０４ストレージ、１０５入力インタフェース、１０６通信装置。

Claims

計測対象と前記計測対象に対して配置された補助物とを撮像するカメラで計測された情報に基づいて、前記補助物を含む前記計測対象の３次元形状を表す第１の点群データを取得する取得部と、
前記第１の点群データと前記計測対象の３次元形状を表す既知の第２の点群データとの比較に基づき、前記第１の点群データから前記補助物の点群データを除去する除去部と、
前記補助物の点群データが除去された前記第１の点群データと前記第２の点群データとを比較する比較部と、
前記比較の結果に関わる情報を表示装置に表示する表示制御部と、
を有する計測システム。
前記除去部は、前記第１の点群データと前記第２の点群データとの差分をマスクするように構成された学習済みモデルに前記第１の点群データと前記第２の点群データとを入力し、前記第１の点群データと前記第２の点群データとの差分を前記補助物の点群データとして除去する請求項１に記載の計測システム。
前記補助物は、前記計測対象と異なる特徴を有し、
前記第１の点群データを構成するそれぞれの点群は、前記特徴のデータと対応付けられており、
前記除去部は、前記特徴のデータに基づき、前記第１の点群データから前記補助物の点群データを除去する請求項１又は２に記載の計測システム。
前記特徴の違いは、表面の色の違いである請求項３に記載の計測システム。
前記特徴の違いは、表面の模様の違いである請求項３又は４に記載の計測システム。
前記特徴の違いは、表面の反射強度の違いである請求項３乃至５の何れか１項に記載の計測システム。
前記特徴の違いは、形状の違いである請求項３乃至６の何れか１項に記載の計測システム。
前記補助物は、マーカである請求項１乃至６の何れか１項に記載の計測システム。
計測対象と前記計測対象に対して配置された補助物とを撮像するカメラで計測された情報に基づいて、前記補助物を含む前記計測対象の３次元形状を表す第１の点群データを取得することと、
前記第１の点群データと前記計測対象の３次元形状を表す既知の第２の点群データとの比較に基づき、前記第１の点群データから前記補助物の点群データを除去する除去部と、
前記補助物の点群データが除去された前記第１の点群データと前記第２の点群データとを比較することと、
前記比較の結果に関わる情報を表示装置に表示することと、
をコンピュータに実行させるための計測プログラム。