JP2020024629A - ３次元モデル作成装置 - Google Patents

Abstract

【課題】撮像または計測データから自動でワーク及び治具の３次元モデルを作成することが可能な３次元モデル作成装置を提供すること。【解決手段】３次元モデル作成装置１は、少なくとも２以上の物体を一緒に撮像又は計測することで得られたデータに基づいて作成された一体モデルから、前記物体の個別の形状を示す個別モデルを作成する。３次元モデル作成装置１は、前記一体モデルを形成する各面を延長した延長面により該一体モデルを分割した複数の分割モデルを作成する３次元モデル分割処理部１３０と、前記データに基づいて、前記物体が存在する２次元領域をそれぞれ特定する領域判定部１７０と、前記分割モデルの射影と、前記２次元領域と、に基づいて前記分割モデルそれぞれへのタグ付けを行い、前記タグ付けされた前記分割モデルから、前記物体の個別モデルを作成する個別モデル作成部１５０と、を備える。【選択図】図２

Description

本発明は、３次元モデル作成装置に関し、特に画像から干渉チェックデータを作成する３次元モデル作成装置に関する。

工作機械の構造物や工具、被加工物の干渉を検出する技術がある。干渉を検出する従来技術である３次元干渉チェック機能は、干渉のチェック対象物の３次元形状を直方体や円柱などの立体モデルを組み合わせて表現し、３次元シミュレーションを行なうことで立体モデル同士が干渉するかどうかをチェックする方法が一般的である。

３次元干渉チェック機能を用いて干渉をチェックする場合には、３次元シミュレーションのデータとして、ＣＡＤで作成した３次元モデルが必要となるが、工作機械で加工を行う毎に加工対象となるワークやワークを固定するために用いる冶具は異なり、その３次元モデルは作業者がその都度作成する必要があり、また、ワークは工具により加工される（工具と接触する）ことで形状が変化していくものの、冶具は一般に形を変えることはなく、また治具は工具との接触が干渉として判断されるべき部分であるため、ワークと治具は別の３次元モデルとして作成する必要がある。

３次元モデルの作成を支援する技術として、例えば特許文献１には、２つのカメラにより、工作機械を構成する構造体をＸ軸，Ｙ軸，Ｚ軸方向からそれぞれ撮像して画像データを生成し、各画像データを基に、構造体の３次元形状データを生成する方法が開示されている。また、特許文献２には、旋盤において、チャック、ワークそれぞれの不装着時の画像と装着時の画像から各形状を検出し、干渉領域を演算する技術が開示されている。更に、特許文献３には、ワークの３次元モデルと３次元計測でワークおよび冶具の形状を一体的に計測したデータをもとに、冶具の個別モデルを生成する技術が開示されている。

特許第４０８３５５４号公報 特許第４４５６４５５号公報 特許第６０４３２３４号公報

しかしながら、特許文献１に開示される従来技術では、ワークと冶具とを一体の３次元モデルとして作成してしまい、そのような３次元モデルからはワークと冶具の区別ができないため、干渉チェックにおいてワークと冶具とを区別してチェックすることができない。また、特許文献２に開示される従来技術では、３次元モデルを作成する際にワークとチャック（治具）それぞれの不装着時の画像と装着時の画像を別に撮像する必要があり、３次元モデルの作成の手間を充分に軽減できているとは言えない。更に、特許文献３に開示される従来技術では、ワークと冶具が一体の３次元モデルからワークの３次元モデルを利用して冶具の３次元モデルを切り出しているが、ワークの３次元モデルは作業者が別途ＣＡＤで作成する必要があり、作業者は冶具の３次元モデルの作成の手間こそかからないものの、ワークの３次元モデルの作成はしなければならない。

そこで本発明の目的は、撮像または計測データから自動でワーク及び治具の３次元モデルを作成することが可能な３次元モデル作成装置を提供することである。

本発明の３次元モデル作成装置は、少なくとも２以上の物体を一緒に撮像又は計測することで得られたデータに基づいて作成された一体モデルから、前記物体の個別の形状を示す個別モデルを作成する３次元モデル作成装置において、前記一体モデルを形成する各面を延長した延長面により該一体モデルを分割した複数の分割モデルを作成する３次元モデル分割処理部と、前記データに基づいて、前記物体が存在する２次元領域をそれぞれ特定する領域判定部と、前記分割モデルの射影と、前記２次元領域と、に基づいて前記分割モデルそれぞれにタグを付けるタグ付けを行い、前記タグ付けされた前記分割モデルから、前記物体の個別モデルを作成する個別モデル作成部と、を備える。
本発明の３次元モデル作成装置において、前記物体は、ワーク及び治具を含む。
本発明の３次元モデル作成装置において、前記領域判定部は、前記物体の撮影画像の輝度情報又は色情報に基づいて前記２次元領域を特定する。
本発明の３次元モデル作成装置において、前記個別モデル作成部は、前記分割モデルの射影と、特定の前記物体の前記２次元領域と、の重畳の程度に応じて、前記特定の物体を示す前記タグを前記分割モデルに付与する。

本発明により、撮像または計測データから自動でワーク及び治具の３次元モデルを作成することが可能な３次元モデル作成装置を提供することができる。

一実施形態による３次元モデル作成装置の要部を示す概略的なハードウェア構成図である。 一実施形態による３次元モデル作成装置の概略的な機能ブロック図である。 ステレオビジョンによる３次元モデルの作成方法を説明する図である。 一体モデルの分割方法の例を示す図である。 凹稜線と凸稜線の判別方法の例を示す図である。 ３次元モデル生成用データ取得部１１０及び領域判定用データ取得部１６０の行う処理を示す図である。 ３次元モデル作成部１２０及び３次元モデル分割処理部１３０の行う処理を示す図である。 領域判定部１７０の行う処理を示す図である。 個別モデル作成部１５０の行う処理を示す図である。 個別モデル作成部１５０の行う処理を示す図である。 個別モデル作成部１５０の行う処理を示す図である。

以下に本発明を実現するための３次元モデル作成装置の構成例を示す。
図１は一実施形態による３次元モデル作成装置の要部を示す概略的なハードウェア構成図である。本実施形態による３次元モデル作成装置１は、例えば数値制御装置として実装することができる。また、本実施形態による３次元モデル作成装置１は、例えば工作機械に併設されるパソコン等として実装することができる。更に、本実施形態による３次元モデル作成装置１は、例えば工作機械に併設される干渉チェック装置等として実装することもできる。図１は、パソコンとして実装された３次元モデル作成装置１のハードウェア構成の例を示している。

３次元モデル作成装置１は、プロセッサ１０を中心に構成されている。３次元モデル作成装置１が備える各構成要素はバス１７を介して接続されており、該バス１７を介して互いにデータをやり取りする。プロセッサ１０はＲＯＭ１１に格納されたシステム・プログラムに従って３次元モデル作成装置１の全体を制御する。このＲＯＭ１１にはＥＰＲＯＭやＥＥＰＲＯＭなどが使用される。

ＲＡＭ１２にはＤＲＡＭ等が使用され、一時的な計算データ、表示データ、入出力信号等が格納される。不揮発性メモリ１３には図示されていないバッテリによってバックアップされたＣＭＯＳやＳＲＡＭ等が使用され、電源切断後も保持すべきパラメータ等が記憶される。

機械操作盤１８は、３次元モデル作成装置１の前面などに配置され、３次元モデル作成装置１の動作に必要とされるデータ及び図形の表示、作業者の手動操作入力や、データ入力などを受け付け、３次元モデル作成装置１の動作に使用される。グラフィック制御回路１９は数値データ及び図形データ等のデジタル信号を表示用のラスタ信号に変換し、表示装置２０に送り、表示装置２０はこれらの数値及び図形を表示する。表示装置２０には主に液晶表示装置が使用される。

入力装置２１は、キースイッチやロータリースイッチ、数値キー、シンボリックキー、文字キー及び機能キーを備えたキーボードや、マウスなどのポインティングデバイスから構成される。
タッチパネル２２は、作業者によるタッチやドラッグなどの操作を検知する機能を備える。タッチパネル２２は表示装置２０の画面上に重畳して配置され、作業者が表示装置２０の画面上に表示されたソフトウェアキーやソフトウェアボタン、ソフトウェアスイッチに対して行った操作をタッチパネル２２により検知することができる。なお、タッチパネル２２と表示装置２０とを併せて１つの装置として構成しても良い。

通信部２３は、有線／無線ネットワークを介して数値制御装置、干渉チェック装置、セルコンピュータ、ホストコンピュータ等との間でデータ通信を行なう。３次元モデル作成装置１で作成された３次元モデルデータは、例えば通信部２３を介して数値制御装置へと送信される。

インタフェース１４はセンサ１００により撮像乃至計測して得たデータを３次元モデル作成装置１へと取り込むインタフェースである。センサ１００は、３次元モデルを作成するためのデータが取得できるものであればどのようなものを用いても良い。センサ１００としては、例えばカメラや距離センサなどを利用することができ、更に好適には、３次元距離画像カメラやステレオビジョン等のように、撮像対象の画像と、該画像の各ピクセルに対する撮像位置からの距離を取得できるものを用いることができる。

インタフェース１５はセンサ１０２により撮像して得たデータを３次元モデル作成装置１へと取り込むインタフェースである。センサ１０２は、ワークと治具との判別に使用可能な情報を取得可能であるものであればどのようなものを用いても良い。例えば、ワーク及び治具の材質等の違いにより、表面の輝度又は色（光波長）が相違することがある。そのため、センサ１０２として、典型的にはカメラを利用できる。カメラが取得する画像データから、輝度、色（光波長）などの情報が得られる。また、ハイパースペクトルカメラなどの高機能カメラを使用すれば、材質による光波長の違いをより精密に判別することが可能である。なお、センサ１０２は、撮影時の画角、撮影方向、被写体との距離といったパラメータを外部に出力できるものであることが好ましい。あるいはセンサ１０２は、事前にキャリブレーションされて上記パラメータが特定された状態で使用されることが好ましい。

なお、センサ１００及びセンサ１０２はそれぞれ独立した装置であって良く、又は同一の装置がセンサ１００及びセンサ１０２の両方として機能するものであっても良い。

図２は、本発明の３次元モデル作成機能を実現するためのシステム・プログラムを図１で示した３次元モデル作成装置１上で実行した場合の、本発明の一実施形態による３次元モデル作成装置の要部を示す概略的な機能ブロック図である。図２に示した各機能ブロックは、図１に示した３次元モデル作成装置１が備えるプロセッサ１０が、３次元モデル作成機能のためのシステム・プログラムを実行し、３次元モデル作成装置１の各部の動作を制御することにより実現される。本実施形態の３次元モデル作成装置１は、３次元モデル生成用データ取得部１１０、３次元モデル作成部１２０、３次元モデル分割処理部１３０、個別モデル作成部１５０、領域判定用データ取得部１６０、領域判定部１７０を備え、また、不揮発性メモリ１３上にはワーク及び該ワークが装着された治具を一緒に撮像乃至計測して得られた画像を格納するための３次元モデル生成用データ格納部２００、及び３次元モデルを格納するための３次元モデル格納部２１０が確保されている。

３次元モデル生成用データ取得部１１０は、センサ１００により撮像乃至計測して得られたデータを取得し、３次元モデル生成用データ格納部２００へと格納する機能手段である（図６）。３次元モデル生成用データ取得部１１０は、例えばワーク及び該ワークが装着された治具をセンサ１００により複数の方向から撮像乃至計測して取得した複数のデータの組を３次元モデル生成用データ格納部２００に格納するようにしても良い。

３次元モデル作成部１２０は、３次元モデル生成用データ格納部２００に格納されたワーク及び該ワークが装着された治具を一緒に撮像乃至計測して得られたデータから、３次元モデルを作成する機能手段である（図７）。３次元モデル作成部１２０は、３次元モデル生成用データ格納部２００に格納されたデータから作成した３次元モデルを、ワーク及び治具の一体モデルとして、３次元モデル格納部２１０に格納する。

一般に、データとしての画像から３次元モデルを作成する手法は、例えば視体積交差法やステレオマッチング法等の様々な方法が知られているが、３次元モデル作成部１２０による３次元モデルを作成する手法としては、何らかの手段で取得されたワーク及び該ワークが装着された治具の撮像乃至計測の結果に基づいて３次元モデルを作成できる方法であれば、どのような方法を用いても良い。

３次元モデル作成部１２０による３次元モデル作成の一例として、３次元距離画像を用いた方法を簡単に説明する。この方法では、まず３次元モデル生成用データ取得部１１０により、センサ１００としての３次元距離画像カメラやステレオビジョン等でワーク及び該ワークが装着された治具を一緒に複数方向から撮影し、複数の距離画像を得て、３次元モデル生成用データ格納部２００に格納する。３次元距離画像カメラを用いて距離画像を撮像する際には、３次元距離画像カメラは予め所定の位置に設置するようにしても良いし、例えば工作機械の主軸や工作機械に併設されるロボットに３次元距離画像カメラを取り付けて、軸移動により３次元距離画像カメラを所定の位置へと移動させて撮像するようにしても良い。また、図３に示すように、ステレオビジョンを使用して対象物の画像を取得している場合には、以下の手順で距離画像を得る。
●［手順ａ１］画像内で特徴点を検出
●［手順ａ２］各画像間（図３では、右目画像（Ｘ_R，Ｙ_R）と左目画像（Ｘ_L，Ｙ_L））で特徴点を対応付け
●［手順ａ３］検出した対応点を元に以下の数１式を用いて３次元位置を計算

このようにして得られた複数の距離画像に対して、３次元モデル作成部１２０は、平行移動と回転により撮影した画像を同座標系に位置合せする。そして、同座標系に位置合せした複数の距離画像を用いて、３次元モデル作成部１２０は、ボクセル上の符号付距離を求め、マーチングキューブ法を用いてメッシュを作成する。

更に、３次元モデル作成部１２０は、このようにして作成したメッシュに対して、以下の手順で簡略化した３次元モデルを作成する。
●［手順ｂ１］３次元モデルの各メッシュの面の法線を計算
●［手順ｂ２］隣接する面の法線について外積を計算
●［手順ｂ３］計算した外積があらかじめ決めた閾値以下であれば同一平面とみなし、面を合成

３次元モデル分割処理部１３０は、３次元モデル格納部２１０に格納されたワーク及び治具の一体モデルに基づいて、該一体モデルの各部分を分割した分割モデルを作成する機能手段である（図７）。３次元モデル分割処理部１３０は、図４に示すように、一体モデルを形成する各面を延長した延長面により一体モデルを分割する。３次元モデル分割処理部１３０は、３次元モデル格納部２１０に格納された一体モデルを分割して得られた分割モデルを３次元モデル格納部２１０に格納する。

３次元モデル分割処理部１３０による一体モデルの分割アルゴリズムは様々なアルゴリズムが考えられるが、一例として、一体モデルの各部における稜線（面と面とが接する境目の線）が凹稜線であるのか又は凸稜線であるのかを判別し、凹稜線に対して接続する面の従法線の方向（従法線ベクトルの正負方向）に他の稜線と交差する位置まで面を拡張し、交差する点でモデルを分割するようにしても良い。この方法を取る場合、３次元モデル分割処理部１３０は、例えば以下の手順に従って、一体モデルの各部における稜線（面と面とが接する境目の線）が凹稜線であるのか又は凸稜線であるのかを判別する（図５）。
●［手順ｃ１］判別対象となる稜線（ベクトル）に接する面１と面２（稜線ベクトルに対して物体の表側から見て右側の面を面２とする）のそれぞれの（物体の表側へ向かう）法線ベクトルを求める
●［手順ｃ２］面２の法線ベクトルと稜線ベクトルに対して従法線ベクトルを求める
●［手順ｃ３］面１の法線ベクトルと求めた従法線ベクトルの内積を求め、内積が負の場合には凸稜線、内積が正の場合は凹稜線として判断する
上記した３次元モデル分割アルゴリズムは、「尹泰聖，外２名，"多重特徴認識に基づいた溶接部品の形状分割支援"，精密工学会誌，精密工学会，第６２巻，第１２号，ｐ．１７０７−１７１１」等ですでに公知となっているので、本明細書での更なる詳細な説明は省略する。

領域判定用データ取得部１６０は、センサ１０２によりワーク及び治具を撮像又は計測して得られたデータを取得する機能手段である（図６）。領域判定用データ取得部１６０は、例えば輝度情報、色情報、深度情報又はＸ線透過率情報を含む画像データを取得することができる。

領域判定部１７０は、領域判定用データ取得部１６０が取得した画像データのうち、ワークが存在する領域及び治具が存在する領域を判別する機能手段である（図８）。領域判定部１７０は、領域判定用データ取得部１６０が取得した画像データに含まれる各種情報、例えば輝度情報、色情報等に基づくものであれば、どのような手法でワークが存在する領域及び治具が存在する領域を判別しても良い。

一例として、領域判定部１７０が輝度情報又は色情報を用いてワークが存在する領域及び治具が存在する領域を判別する手法について説明する。ワークと治具とで異なる材質（材料や表面処理等が異なるものを含む）が使用されている場合、画像データにおける両者の輝度又は色（光波長）が異なることがある。この場合、領域判定部１７０は、領域判定用データ取得部１６０が取得した画像データのうち、ワーク特有の輝度又は色（光波長）を有するピクセルが存在する領域と、治具特有の輝度又は色（光波長）を有するピクセルが存在する領域と、を特定する。なお、ワーク特有の輝度又は色、及び治具特有の輝度又は色（光波長）の基準値は、領域判定部１７０が予め保持しているものとする。領域判定部１７０は、定義された基準値から一定範囲内にある輝度又は色（光波長）を有するピクセルを、ワーク又は治具が存在する領域として特定することができる。

他の例として、領域判定部１７０が形状判定によりワークが存在する領域及び治具が存在する領域を判別する手法について説明する。ワーク及び治具は、一定の特徴的な形状を有している場合に本手法は有効である。この場合、領域判定部１７０は、公知の機械学習手法によりワーク及び治具の形状の特徴を学習した学習モデルを保持し、この学習モデルを使用して、作成された分割モデルがワーク又は治具のいずれかであるか判定することができる。

個別モデル作成部１５０は、領域判定部１７０によるワーク及び治具の存在領域の判別結果に基づいて、３次元モデル分割処理部１３０が作成した分割モデルのうちワーク又は治具にあたるものにそれぞれタグ付けを行い、同一のタグを付与された分割モデルを１つのモデルとした個別モデルを作成する機能手段である。

個別モデル作成部１５０のタグ付処理について説明する。個別モデル作成部１５０は、３次元モデル分割処理部１３０が作成した分割モデルの射影（２次元投影画像）を計算する（図９）。このとき、センサ１０２が取得した画像と、分割モデルの射影と、が同様のパースペクティブとなるよう、個別モデル作成部１５０は、センサ１０２の撮影パラメータ（撮影時の画角、撮影方向、被写体との距離等）を利用して射影を計算する。すなわち次式の関係が成り立つ。
ｘ＝ＰＸ
ｘ：領域判定用データ取得部１６０が取得した画像データ上の座標
Ｘ：分割モデル上の座標
Ｐ：センサ１０２の撮影パラメータ

個別モデル作成部１５０は、領域判定用データ取得部１６０が取得した画像データと、全分割モデルの射影画像と、を重畳する。すなわちワーク及び治具の輪郭が一致するように両画像を重ね合わせる。そして、射影画像のピクセルであって、領域判定部１７０が判定したワークの存在領域に含まれるものに、ワークのタグ付けを行う。治具の存在領域に含まれるピクセルには、治具のタグ付けを行う。（図１０）

個別モデル作成部１５０は、分割モデルの射影を構成するピクセルと、ワーク又は治具のワークの存在領域と、の重畳の程度に応じて、当該分割モデルにワーク又は治具のタグ付けを行う。例えば、個別モデル作成部１５０は、３次元の分割モデルの射影を構成するピクセルのうち、所定割合を超えるピクセルがワークにタグ付けされた場合、その３次元分割モデルにワークのタグを付与する（図１１）。同様に、３次元の分割モデルの射影を構成するピクセルのうち、所定割合を超えるピクセルが治具にタグ付けされた場合、その３次元分割モデルに治具のタグを付与する。例えば、ある３次元分割モデルを射影して２次元画像を生成したところ、射影画像のピクセルの８割がワーク、１割が治具にタグ付けされ、残る１割が不明（タグ付けなし）であったとする。この場合、タグが不明のピクセルについては、例えば安全のため治具タグを付与することとしても良い。すると射影画像のピクセルの８割がワーク、２割が治具にタグ付けされることになる。例えば、ピクセルに付与されたタグの数が勝る方を分割モデルのタグとして採用する、というルールであれば、個別モデル作成部１５０はこの場合、ワークのタグを３次元分割モデルに付与することになる。個別モデル作成部１５０は、全ての分割モデルについて、順次同様の処理を実施する。

個別モデル作成部１５０の個別モデル作成処理について説明する。個別モデル作成部１５０は、ワークにタグ付けられた分割モデルからワークの個別モデルを作成し、治具にタグ付けられた分割モデルから治具の個別モデルを作成する。個別モデル作成部１５０は、同じタグが付けられた分割モデルが接していない場合は、同一のタグに対応する複数の個別モデルを作成するようにしても良い。個別モデル作成部１５０は、３次元モデル格納部２１０に格納された分割モデルから得られた個別モデルを３次元モデル格納部２１０に格納する。

このようにして、本実施形態の３次元モデル作成装置１により作成され、３次元モデル格納部２１０に格納されたワーク、治具等の個別モデルは、数値制御装置や干渉チェック装置等が備える加工シミュレーション機能や干渉チェック機能において活用される。

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。
例えば、上記実施形態ではワークと該ワークが装着された治具とを一緒に捉えた一体モデルからワークと治具の個別モデルを作成する例を示しているが、例えば工具と主軸とを一緒に捉えた一体モデルから工具と主軸の個別モデルを作成する等、他の目的で利用することも可能である。

１ ３次元モデル作成装置
１０ プロセッサ
１１ ＲＯＭ
１２ ＲＡＭ
１３ 不揮発性メモリ
１４ インタフェース
１５ インタフェース
１８ 機械操作盤
１９ グラフィック制御回路
２０ 表示装置
２１ 入力装置
２２ タッチパネル
２３ 通信部
１００ センサ
１０２ センサ
１１０ ３次元モデル生成用データ取得部
１２０ ３次元モデル作成部
１３０ ３次元モデル分割処理部
１４０ ユーザインタフェース部
１５０ 個別モデル作成部
１６０ 領域判定用データ取得部
１７０ 領域判定部
２００ ３次元モデル生成用データ格納部
２１０ ３次元モデル格納部

Claims (4)

1. 少なくとも２以上の物体を一緒に撮像又は計測することで得られたデータに基づいて作成された一体モデルから、前記物体の個別の形状を示す個別モデルを作成する３次元モデル作成装置において、
   前記一体モデルを形成する各面を延長した延長面により該一体モデルを分割した複数の分割モデルを作成する３次元モデル分割処理部と、
   前記データに基づいて、前記物体が存在する２次元領域をそれぞれ特定する領域判定部と、
   前記分割モデルの射影と、前記２次元領域と、に基づいて前記分割モデルそれぞれにタグを付けるタグ付けを行い、前記タグ付けされた前記分割モデルから、前記物体の個別モデルを作成する個別モデル作成部と、
   を備えた３次元モデル作成装置。
2. 前記物体は、ワーク及び治具を含む、
   請求項１に記載の３次元モデル作成装置。
3. 前記領域判定部は、前記物体の撮影画像の輝度情報又は色情報に基づいて前記２次元領域を特定する
   請求項１記載の３次元モデル作成装置。
4. 前記個別モデル作成部は、前記分割モデルの射影と、特定の前記物体の前記２次元領域と、の重畳の程度に応じて、前記特定の物体を示す前記タグ付けを前記分割モデルに付与する
   請求項１記載の３次元モデル作成装置。