JP2022007232A - 情報処理方法および情報処理装置 - Google Patents

Abstract

【課題】部品図面に描かれた部品形状の複雑度を表している位相特徴を、パーシステントホモロジーを利用して読み取り図面解析することで、工程情報を判定する。
【解決手段】図面情報から複数の第１輪郭を抽出し、抽出された第１輪郭の包含関係に応じて第１輪郭を階層化した後、第２輪郭を抽出し、第２輪郭からパーシステントホモロジーに基づくパーシステントホモロジー情報を抽出し、パーシステントホモロジー情報をベクトル変換しパーシステントホモロジーベクトル得る。パーシステントホモロジーベクトルと工程情報を用いて機械学習により工程情報を判定する。
【選択図】図７

Description

本発明は、図面解析にかかわる情報処理方法および情報処理装置に関する。

オーダーメイド型生産においては、まったくの同一ではないものの、類似した形状を持つ部品の受注が大半を占める。このため、オーダーメイド型生産を行う会社においては、類似した部品の形状に関して、自社の製造部門、もしくは、実績のある下請け・協力企業を選定し、発注・スケジュール管理を行うことが重要となる。

従来、様々な部品を製造するための製造工程、作業担当者の選定、製造スケジューリング等の製造計画の作成や見積もり作業は、人手により図面情報を読み込みながら行っている。これら製造に係わる作業は定型的であるものの、部品図面に記載された、部品形状、材質、寸法、加工精度、数量等から、誰が（どの協力企業が）、どういう加工機械を使って、どういう順番に加工し、経費はどれくらいかかるのかという製造に必要な工程情報を考慮しながら、製造計画の作成や見積もり作業を行わなければならないため、部品製造に関する工程情報を熟知している者が担当する必要がある。このため、製造部門の人員のうち極めて熟練度の高い複数の者が、製造計画の作成や見積もり作業に対して時間の大半を割り当て行っている。

一方で、製造計画の作成や見積もり作業にコンピュータを利用することを考えると、特に機械学習を利用する場合、従来の畳み込みニューラルネットワークをベースとする手法（非特許文献１～３）は大量のアノテーション情報に基づいて様々な形状を認識させる必要があるが、認識させなければならない部品形状が膨大でありアノテーション情報を用意することは難しい。

このため部品形状等の図面情報を認識し所望する情報を得る図面解析を行う技術として、例えば下記特許文献１における、未構造化図面を自動で構造化する際の構造化の精度を向上させた図面機械学習支援システムや、下記特許文献２における、専門知識や経験が豊富でない作業者においても図面情報の抽出作業が行えるような技術が開示されている。

特開２０１９－１０１５１４号公報 特開２０１７－００４０９４号公報

Ｌ．－Ｃ． Ｃｈｅｎ， ｅｔ． ａｌ． Ｅｎｃｏｄｅｒ－ｄｅｃｏｄｅｒ ｗｉｔｈ ａｔｒｏｕｓ ｓｅｐａｒａｂｌｅ ｃｏｎｖｏｌｕｔｉｏｎ ｆｏｒ ｓｅｍａｎｔｉｃ ｉｍａｇｅ ｓｅｇｍｅｎｔａｔｉｏｎ． ＥＣＣＶ ２０１８ Ｊ． Ｌｏｎｇ， ｅｔ． ａｌ． Ｆｕｌｌｙ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｓｅｍａｎｔｉｃ ｓｅｇｍｅｎｔａｔｉｏｎ． ＣＶＰＲ ２０１５ Ｋ． Ｈｅ， ｅｔ． ａｌ． Ｍａｓｋ ｒｃｎｎ． ＩＣＣＶ ２０１７

製造業においては、製造計画の作成や見積もり作業を製造部門の熟練度の高い者でなくとも、部品図面の図面解析により製造に必要な工程情報を判定できる技術が望まれている。特に、どういう加工機械を使って加工するのかという工程情報を判定できる技術が望まれている。

そこで本発明は、上記課題に鑑みてなされたものであり、部品図面に描かれた部品形状の複雑度を読み取ることで工程情報解析ができることに着目し、部品図面に描かれた部品形状の複雑度を表す位相特徴をパーシステントホモロジーを利用して読み取り図面解析することにより、工程情報を判定できる情報処理方法および情報処理装置を提供することを目的とする。

本発明者らは鋭意検討を重ねた結果、以下の構成を具備することで上記課題を解決することを見いだし、本発明の完成に至った。

本発明の一観点に係る図面解析方法は、図面情報から複数の第１輪郭を抽出するステップと、抽出された複数の第１輪郭の間の包含関係に応じて第１輪郭の階層化を行うステップと、階層化された第１輪郭から第２輪郭を抽出するステップと、第２輪郭からパーシステントホモロジーに基づくパーシステントホモロジー情報を抽出するステップと、パーシステントホモロジー情報をベクトル変換しパーシステントホモロジーベクトル得るステップと、パーシステントホモロジーベクトルを用いて工程情報判定結果を得るステップとを備え、工程情報判定結果を得るステップは、製造実績がある図面情報に基づくパーシステントホモロジーベクトルと、製造実績がある図面情報に対応する工程情報を用いた機械学習により工程情報学習モデルを生成するステップを含み、工程情報判定結果は、工程情報学習モデルを使用して取得する図面解析を行う情報処理方法である。

本観点において、パーシステントホモロジーベクトルを得るステップには、製造実績がある図面情報に基づくパーシステントホモロジー情報を用いた機械学習によりベクトル変換学習モデルを生成するステップを含み、パーシステントホモロジーベクトルは、ベクトル変換学習モデルを使用して取得することが好ましく、更にパーシステントホモロジーベクトルを得るステップにおける機械学習が、変分自己符号化器に基づく確率的潜在変数を使って処理されることが好ましい。

また、本発明の他の一観点に係る図面解析を行う情報処理装置は、図面情報から複数の第１輪郭を抽出し、抽出された複数の第１輪郭の間の包含関係に応じて第１輪郭の階層化を行う形状階層抽出部と、階層化された第１輪郭から第２輪郭を抽出する最外輪郭抽出部と、第２輪郭からパーシステントホモロジーに基づくパーシステントホモロジー情報を抽出する特徴抽出部と、パーシステントホモロジー情報をベクトル変換しパーシステントホモロジーベクトルを得るベクトル変換部とパーシステントホモロジーベクトルを用いて工程情報判定結果を得る工程情報判定部を備え、工程情報判定部には、製造実績がある図面情報に基づくパーシステントホモロジーベクトルと製造実績がある図面情報に対応する工程情報を用いた機械学習により工程情報学習モデルを生成する工程情報学習部と、工程情報判定結果を、工程情報学習モデルを使用して取得する工程情報推論部を備える図面解析を行う情報処理装置である。

本観点において、ベクトル変換部には、製造実績がある図面情報に基づくパーシステントホモロジー情報を用いた機械学習によりベクトル変換学習モデルを生成するベクトル変換学習部と、パーシステントホモロジーベクトルを、ベクトル変換学習モデルを使用して取得するベクトル変換推論部をさらに備えることが好ましく、更にベクトル変換部における機械学習が、変分自己符号化器に基づく確率的潜在変数を使って処理されることが好ましい。

以上、本発明によって、部品図面を図面解析することで、工程情報を判定できる情報処理方法および情報処理装置を提供することができる。

実施形態に係る情報処理装置の機能構成例を示す図である。 パーシステントホモロジーの概要図である。 実施形態に係る図面例である。 実施形態に係る図面例の外形を沿った点群データである。 パーシステントホモロジー情報の１つであるパーシステント図の例である。 Ｖａｒｉａｔｉｏｎａｌ ＡｕｔｏＥｎｃｏｄｅｒ（ＶＡＥ）の概要図である。 実施形態に係る制御部におけるフローチャートを示す図である。 実施形態に係るハードウェア構成に関する図である。 輪郭の包含関係と階層化を説明する図である。 実施形態に係る図面解析の流れを説明する概要図である。

以下に、本発明を実施するための形態（以下、「実施形態」と記載する。）について図面を参照しつつ詳細に説明する。なお、本発明はこの実施形態において記載される具体的な例示にのみ限定されるものではない。

〔情報処理装置の一例〕
以下、後述する図面解析を実現する情報処理装置１０が有する機能構成の一例について説明する。図１は、実施形態に係る情報処理装置の構成例である。

情報処理装置１０は、情報処理装置１０に接続された入力部２０から図面解析にかかわる情報が入力され、情報処理装置１０に接続された出力部５０から図面解析にかかわる情報を出力する。

入力部２０と出力部５０は、どちらか一方または両方とも情報処理装置１０と一体で構成されてもよい。情報処理装置１０との接続は、有線であっても無線であっても、ネットワークを介してもよく、図面解析にかかわる情報が入出力可能であればどのような手段でもよい。また、入力部２０と出力部５０が一体であってもよい。

入力部２０は図面解析にかかわる情報を情報処理装置１０に対し入力する。具体的には、図面解析で使用する機械学習のための学習データや、工程情報を解析したい部品の図面情報を入力する。図面情報は、部品形状、材質、寸法、加工精度、数量、日付、解析対象か学習データに利用するかのフラグ等が含まれる。機械学習のための学習データには、図面情報と工程情報の両方またはどちらか一方が含まれる。

図面情報と工程情報を含む全ての情報の入力には、例えば、キーボード、マウス、スキャナ等の入力デバイスを使用できる。また、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ ｃｈａｎｇｅ ｒｅｗｒｉｔａｂｌｅ Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ－Ｏｐｔｉｃａｌ ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出すデバイスを使用しても良い。また、ＵＳＢメモリ等の外付け記憶媒体であってもよく、これらのデバイスは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）やＢｌｕｅｔｏｏｔｈ（登録商標）等、情報処理装置１０へ情報を入力可能とするインタフェース（ＩＦ）を介して直接接続してもよく、ネットワークや通信回線を介して接続してもよい。入力部２０には、入力デバイスを情報処理装置１０に直接接続する、または、情報処理装置１０と一体で接続する場合に必要な入出力ＩＦを含むこともあり、ネットワークを介して接続する場合には入力部２０と情報処理装置１０を接続するネットワークインターフェースを含むこともある。

出力部５０は情報処理装置１０で図面解析された結果情報を出力する。具体的には、入力部２０から入力された部品の図面情報に対して、制御部４０で解析、判定された結果を出力する。

解析、判定された結果の出力には、例えば、モニタやプリンタ等の各種出力デバイスを使用できる。これらの出力デバイスは、情報処理装置１０から情報を出力可能とするＵＳＢやＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｓｕａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等、情報処理装置１０から情報を出力可能とするインタフェースを介して直接接続してもよく、ネットワークや通信回線を介して接続してもよい。出力部５０には、出力デバイスを情報処理装置１０に直接接続する、または、情報処理装置１０と一体で接続する場合に必要な入出力ＩＦを含むこともあり、ネットワークを介して接続する場合には出力部５０と情報処理装置１０を接続するネットワークインターフェースを含むこともある。

入力部２０と出力部５０は、例えば、スマートフォンやタブレット等のスマートデバイス、デスクトップＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やノートＰＣ、スキャナコピー機等の電子情報機器により一体とすることもある。

図１に示すように、情報処理装置１０は、記憶部３０と、制御部４０とを有する。

記憶部３０は、各種電子情報を記憶する。具体的には、部品の図面情報、制御部４０で使用される各種情報処理プログラム、プログラム演算に用いるデータ、後述するベクトル変換部４４で使用するベクトル変換学習モデル、工程情報判定部４５で使用する工程情報学習モデルや、工程情報判定結果等の情報を記憶する。記憶部３０に記憶された工程情報判定結果等は必要に応じて出力部４８に出力される。

記憶部３０には、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリ（Ｆｌａｓｈ Ｍｅｍｏｒｙ）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置を使用できる。

制御部４０は、いわゆるコントローラ（ｃｏｎｔｒｏｌｌｅｒ）であり、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサによって、入力部２０から入力された情報に基づき、記憶部３０において、記憶されている情報処理プログラムが、制御部４０に備えるＲＡＭ等、いわゆるキャッシュメモリ等を作業領域として使用し実行されることにより図面解析が実現される。また、制御部４０は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の集積回路により実現されてもよい。

制御部４０は、形状階層抽出部４１、最外輪郭抽出部４２、特徴抽出部４３、ベクトル変換部４４、工程情報判定部４５を有し、ベクトル変換部４４は、更にベクトル変換学習部４４１とベクトル変換推論部４４２を有してもよく、工程情報判定部４５は、更に工程情報学習部４５１と工程情報推論部４５２を有し、後述する処理を実行する。

〔制御部４０が実行する処理について〕
制御部４０が実行する処理の概要は、図面情報の部品形状から輪郭（第１輪郭）を抽出し、輪郭の間の包含関係に応じた階層化を行ったうえで、階層化された第１輪郭から第２輪郭となる最外輪郭を抽出し、最外輪郭に基づく点群データをパーシステントホモロジーに基づき解析することでパーシステントホモロジー情報を抽出し、得られたパーシステントホモロジー情報をベクトル変換することでパーシステントホモロジーベクトルを得て、得られたパーシステントホモロジーベクトルを用いて工程情報の判定を行う。工程情報とは、誰が（どの協力企業が）、どういう加工機械を使って、どういう順番に加工するのか、経費はどれくらいかかるのか等、部品を製造する全行程に係る情報を示すが、これらの情報のうち少なくとも一つが含まれる情報も工程情報と呼ぶ。各処理の詳細については後述する。

（パーシステントホモロジー）
ここでパーシステントホモロジーについて説明する。パーシステントホモロジーは、ホモロジーと呼ばれる代数学の応用領域であり、図形の連結部分、「穴」、空洞の構造に着目した数学分野であり、位相的データ解析の一つの手法である。

図２がパーシステントホモロジーの概要図である。点集合データから半径ｒの円を各点に置き、ｒの値を０から一定時間毎に徐々に大きくしていく。すると、ｒが増大するにつれて、「穴」が現れるタイミングが発生し（図２の例ではｒ＝ｂの時点）、さらに増大していくと「穴」は消滅していく（図２の例ではｒ＝ｄの時点）。このときの「穴」が発生した時点での半径ｂを発生時間（ｂｉｒｔｈ ｔｉｍｅまたはＢｉｒｔｈ）、「穴」が埋められて消滅する時点の半径ｄを消滅時間（ｄｅａｔｈ ｔｉｍｅまたはＤｅａｔｈ）と呼び、対（ｂ，ｄ）を生存対と呼ぶ。

各生存対の要素を、横軸を発生時間、縦軸を消滅時間として平面上にプロットしたものをパーシステント図と呼ぶ。パーシステント図における各点は点集合データ内にある「穴」を示し、対角線付近の点は「穴」の発生から消滅までの時間が短いことから大部分はノイズ様の要素であり、対角線から離れた点はロバスト性を持つ要素とされている。

すなわち、単純な形状の場合、対角線から離れて生存対が生成されるが、複雑度がますほど対角線近くに生存対が配置される。

図面解析の例として、図３に示す部品形状を用いた制御部４０における処理を説明する。部品の製造工程と作業担当者の選定、これらに基づく見積もりといった工程情報の内、各製造工程において部品加工に用いる加工機械の選定が一番重要となる。加工機械の選定は図面情報を基に行うが、特に部品図面に描かれた部品形状の複雑度やトポロジー等の幾何的特徴、特に位相特徴が加工機械の選定には重要である。例えば、部品形状がシンプルな円筒状であれば旋盤で製作可能であるが、複雑な部品形状の部品を製作するためにはフライス盤が必要となるといった関係性が経験的に分かっているためである。

図面解析にパーシステントホモロジーを適用するにあたって、前述の通り、図面情報の中の部品形状から部品の輪郭（第１輪郭）を抽出し、次に、第１輪郭の間の包含関係に応じて階層化を行ったうえで、階層化された第１輪郭を使って部品形状を最も表現する部品の外郭にある複数の点を結んで作り出される最外輪郭（第２輪郭）を抽出する必要がある。そのため、始めに第１輪郭としては、部品内部の形状（丸穴など）も含めて抽出する必要がある。

（第１輪郭抽出と階層化）
形状階層抽出部４１は、図面情報から複数の第１輪郭を抽出し、抽出された複数の第１輪郭の間の包含関係に応じて第１輪郭の階層化を行う。

（第１輪郭抽出）
第１輪郭を抽出する輪郭抽出法としては、画像処理で用いられている公知の様々な手法を利用できるが、手法が簡素な割にパフォーマンスも良好である観点からソーベルフィルタやラプラシアンフィルタなどの微分フィルタを用いることが好ましい。

（階層化）
抽出した第１輪郭は、この後の第２輪郭の抽出処理のためにツリー構造を構築し階層化する。ツリー構造の階層は第１輪郭の間の包含関係に応じて設定する。例えば、部品図面の一部分において正方形の中に丸穴がある場合、図９に示すように、正方形の輪郭と円の輪郭が抽出され、これら２つの輪郭の関係は、正方形に円が包含されている状況である。この正方形が円を包含する関係をツリー構造で表現すると、ツリー構造の親ノードが正方形で、子ノードが円となる。すなわち、「輪郭の階層化」とは、複数の第１輪郭同士の包含関係を判定しながら、抽出した全ての第１輪郭に対しツリー構造を設定することである。

すなわち、形状階層抽出部４１では第１輪郭を抽出した後、輪郭の階層化を行い、ツリー構造を付与した第１輪郭である図形を描いた図面を生成し、生成した図面は輪郭抽出後図面として記憶部３０に記憶する。

（第２輪郭抽出）
最外輪郭抽出部４２は、形状階層抽出部４１により階層化された第１輪郭から第２輪郭を抽出する。すなわち、輪郭線抽出後図面から第２輪郭となる最外輪郭を抽出する。

第２輪郭は、例えば「尖っている」や「凹んでいる」などの部品形状のホモロジーを維持しながら、部品外郭にある複数の点を結んで作り出される最外輪郭である。第２輪郭は、可能な限り少ない点で結ばれる輪郭であることが好ましい。

記憶部３０から読みだされた輪郭抽出後図面を使った第２輪郭の抽出には、フリーマンチェーンコード等画像処理で用いられている公知の様々な輪郭抽出手法（チェーンアルゴリズム）を利用できるが、誤差が少なく輪郭判定をできる観点から、画素の隣接関係から同一輪郭かどうかを点のなす微分を利用して判定するＴｅｈ－Ｃｈｉｎチェーン近似アルゴリズムを用いることが好ましい。Ｔｅｈ－Ｃｈｉｎチェーン近似アルゴリズムの詳細は、Ｔｅｈ， Ｃ．Ｈ． ａｎｄ Ｃｈｉｎ， Ｒ．Ｔ．， Ｏｎ ｔｈｅ Ｄｅｔｅｃｔｉｏｎ ｏｆ Ｄｏｍｉｎａｎｔ Ｐｏｉｎｔｓ ｏｎ Ｄｉｇｉｔａｌ Ｃｕｒｖｅ． ＰＡＭＩ １１ ８， ｐｐ ８５９－８７２ （１９８９）に記載されている。

抽出された第２輪郭は、最外輪郭抽出後図面として記憶部３０に記憶する。

（点群データ化とパーシステントホモロジー情報抽出）
特徴抽出部４３は、第２輪郭からパーシステントホモロジーに基づくパーシステントホモロジー情報を抽出する。

（点群データ化）
記憶部３０から読み出された最外輪郭抽出後図面を使って、第２輪郭を点群データに直す。この点群データは、部品形状の幾何的特徴を維持しながら、部品外郭にある複数の点のデータである。第２輪郭を点群データに直す点群データ化は、第２輪郭からのサンプリングによって処理する。サンプリングとは、指定位置の点のみを抽出する処理をいう。サンプリングは、あらかじめ指定した間隔での等間隔サンプリングでもよいし、ランダムなサンプリングでもよい。図３の部品形状の最外輪郭抽出後図面から生成された点群データが図４である。

図４の縦軸と横軸は、ともに点群データ化された図形全体に対して、左下を原点とした時の画素位置である。画素位置の原点は任意に定める事ができる。図４の最外輪郭抽出を行った後の点群データは、図３の縦溝付きフランジの部品図面に対し、フランジ外形に沿う点と、フランジ中心点から放射状に延びる６本の溝に対応する点が抽出されている。

（パーシステントホモロジー情報抽出）
図４の点群データに対して、パーシステントホモロジーを適用し、パーシステントホモロジーの結果をパーシステント図により可視化したものが図５である。この図のようにパーシステントホモロジーを使った解析の結果を表現する情報をパーシステントホモロジー情報と定義する。

情報処理装置１０では、パーシステントホモロジー情報を、パーシステント図で表現される生存対の集合として生成する。パーシステントホモロジー情報は、イメージとしてのパーシステント図のみならず、バーコードベクトルと呼ばれる、ある生存対集合中の点における生存時刻を始点、消滅時刻を終点としたベクトル（およびその集合）であってもよい。このようにして、パーシステントホモロジーを使った解析では、部品形状の複雑度やトポロジー等の幾何的特徴をパーシステントホモロジー情報として読み取ることが可能となる。

すなわち、特徴抽出部４３では、部品形状の幾何的特徴を読み取るために最外輪郭抽出後図面を点群データ化して、パーシステントホモロジーを用いて生存対集合を生成し、ベクトル変換学習モデル生成のためパーシステントホモロジー情報、あるいは、工程情報学習モデルや工程情報判定結果を得るためのパーシステントホモロジーベクトルを得るためのパーシステントホモロジー情報として、記憶部３０に保存する。

特徴抽出部４３への入力データが、過去に製造実績がある図面情報に基づく最外輪郭抽出後図面の時、抽出されたパーシステントホモロジー情報は、ベクトル変換部４４で変換されるパーシステントホモロジーベクトルが工程情報判定部４５で工程情報学習モデルを生成するための情報および、ベクトル変換学習部４４１でベクトル変換学習モデルを生成するための情報として記憶部３０に記憶する。

特徴抽出部４３への入力データが、解析対象となる図面情報に基づく最外輪郭抽出後図面の時、抽出されたパーシステントホモロジー情報は、ベクトル変換部４４で変換されるパーシステントホモロジーベクトルが工程情報判定部４５で工程情報判定結果を得るための情報として記憶部３０に記憶する。

（ベクトル変換）
ベクトル変換部４４は、工程情報判定部４５における機械学習の性能（精度、再現率、Ｆ値など）を向上させるために特徴抽出部４３により抽出されたパーシステントホモロジー情報をベクトル変換しパーシステントホモロジーベクトルを得る。ベクトル変換とは、特徴抽出部４３で抽出されたままのパーシステント図、もしくは、バーコードベクトルに代表される、図形データのような明示的に数値で表現されていないデータ、もしくは、ベクトル・行列などのデータであるパーシステントホモロジー情報を、統計的な傾向に基づいてベクトルデータに変換することである。ベクトル変換により統計的傾向を捉えたベクトルデータをパーシステントホモロジーベクトルと定義する。

ベクトル変換は、特徴抽出部４３で抽出したパーシステント図のイメージデータや、バーコードベクトルに限らず、生存対集合などのパーシステントホモロジーを使った解析の結果を表現する全てのパーシステントホモロジー情報に関して適用することができる。

ベクトル変換は、カーネル法など公知の様々な手法を利用できるが、工程情報判定部４５の機械学習において深層学習を用いた場合に、深層学習との親和性を考えるとベクトル変換には、教師なし機械学習を用いることが好ましく、変分自己符号化器（Ｖａｒｉａｔｉｏｎａｌ ＡｕｔｏＥｎｃｏｄｅｒ、ＶＡＥ）を用い、変分自己符号化器に基づく確率的潜在変数を使って処理されることがより好ましい。教師なし機械学習を用いることで膨大な量の図面情報、特に膨大な数となる部品形状に対するアノテーション情報を用意する必要が無く、深層学習に利用する学習データを大量に用意することができ部品形状の複雑度を学習することで機械学習の製法を更に向上させることができる。さらに、ＶＡＥを用いると工程情報判定部４５における機械学習の過学習を抑制し、普遍性を維持することが可能である。

（変分自己符号化器）
ＶＡＥはニューラルネットワークを用いて次元削減を行う手法であり、ニューラルネットワークを利用した教師なし機械学習の手法の一つである。オートエンコーダ（ＡｕｔｏＥｎｃｏｄｅｒ）を構成する潜在変数に確率分布を導入することで、ランダム性を持たせつつ、次元圧縮後の潜在変数を求める手法である。つまり、確率的潜在変数とは、観測されていない潜在変数から観測値が確率的に生成されることを仮定する、いわゆる生成モデルにおける潜在変数ｚのことを指す。

図６がＶＡＥの概要図である。ｘを入力とし、Ｅｎｃｏｄｅｒでデータがもつ潜在変数ｚを学習する。潜在変数ｚをサンプリングするのではなく、平均ベクトルμと分散ベクトルσ^２を用いて近似し、もとのデータｘを復元した際の復元誤差と正則化を最適化することによって潜在変数ｚを学習している。

（ベクトル変換学習）
ベクトル変換部４４においてＶＡＥをはじめとする機械学習を利用する場合は、ベクトル変換部４４が有するベクトル変換学習部４４１がパーシステントホモロジー情報を学習データとして機械学習し、ベクトル変換部４４が有するベクトル変換推論部４４２が、パーシステントホモロジー情報をベクトル変換する。

ベクトル変換学習部４４１は、解析対象となる部品図面の図面解析を行う前に、予め過去に製造実績がある図面情報に基づくパーシステントホモロジー情報を用いた機械学習によりベクトル変換学習モデルを生成する。より具体的にはパーシステントホモロジー情報を学習データとして使い、パーシステントホモロジー情報が有している部品形状の複雑度やトポロジー等の幾何的特徴を学習してベクトル変換学習モデルを生成しておく。生成したベクトル変換学習モデルは、記憶部３０に記憶する。

ＶＡＥを利用する場合は、ベクトル変換部学習部４４１で学習した潜在変数ｚや各レイヤーの係数がＶＡＥによる学習モデルとなり、これらをベクトル変換学習モデルとして記憶部３０に記憶する。

過去に製造実績がある図面情報は、工程情報学習モデルやベクトル変換学習モデルを得るために利用し、記憶部３０に記憶させておいても良いし、必要に応じて入力部２０から入力しても良い。

（ベクトル変換推論）
ベクトル変換部４４が有するベクトル変換推論部４４２は、ベクトル変換学習部４４１で生成したパーシステントホモロジーベクトルを、ベクトル変換学習モデルを使用するベクトル変換により取得する。ベクトル変換学習モデルへの入力データは、特徴抽出部４３で抽出されるパーシステントホモロジー情報である。

ベクトル変換推論部４４２への入力データが、過去に製造実績がある図面情報に基づくパーシステントホモロジー情報の時、ベクトル変換されたパーシステントホモロジーベクトルは、工程情報判定部４５で工程情報学習モデルを生成するための情報として記憶部３０に記憶する。

ベクトル変換推論部４４２への入力データが、解析対象となる図面情報に基づくパーシステントホモロジー情報の時、ベクトル変換されたパーシステントホモロジーベクトルは、工程情報判定部４５で工程情報判定結果を得るための情報として記憶部３０に記憶する。

（工程情報判定）
工程情報判定部４５は、工程情報学習部４５１と工程情報推論部４５２を有し、ベクトル変換部４４でベクトル変換されたパーシステントホモロジーベクトルを用いて工程情報判定結果を得る。

（工程情報学習）
工程情報学習部４５１は、過去に製造実績がある図面情報に基づくパーシステントホモロジーベクトルと、製造実績があるその図面情報に対応する工程情報を用いた機械学習により工程情報学習モデルを生成する。図面情報に対応する工程情報とは、実際に部品を製造した時に使用した加工機械や加工順番等の工程情報であり、部品の部品図面に記載された図面情報と、その部品を製造した時の工程情報の２つを機械学習の学習データとして工程情報学習モデルを生成する。

工程情報の判定を行う前に、過去に製造実績がある図面情報とその図面情報に対応する工程情報の関係を機械学習で推論する。生成された工程情報学習モデルは、記憶部３０に記憶する。

（工程情報推論）
工程情報推論部４５２は、工程情報判定結果を、工程情報学習モデルを使用して取得する。すなわち、記憶部３０から呼び出した工程情報学習モデルによりパーシステントホモロジーベクトルから推論を行い、解析したい図面情報を持つ部品の加工に必要な工程情報を判定する。より具体的には、工程情報推論部４５２に解析対象の図面情報に基づくパーシステントホモロジーベクトルを入力し、工程情報学習モデルによる推論から解析対象の図面情報に対する工程情報の推論結果である工程情報判定結果を出力する。

工程情報判定部４５における機械学習は、どのような機械学習アルゴリズムでも用いることが可能であるが、好ましくはＳＶＭ（ｓｕｐｐｏｒｔ ｖｅｃｔｏｒ ｍａｃｈｉｎｅ）、ニューラルネットワーク、ＬｉｇｈｔＧＢＭ（登録商標）などに代表される教師あり機械学習を使用し、より好ましくはＳＶＭである。工程情報、特に加工機械の数は人間で十分に処理できる数であり、膨大な数の部品形状からベクトル変換されたパーシステントホモロジーベクトルに対しては、アノテーション情報を用意することが可能であり、教師あり機械学習を使用することで機械学習の性能（精度、再現率、Ｆ値など）を向上できる。特にＳＶＭは汎化能力、計算コスト、分類性能（Ｆ値などで評価）の点について有利である。

工程情報判定部４５で判定した結果は、必要に応じて出力部５０に出力できるよう、記憶部３０に工程情報判定結果として記憶する。

工程情報判定部４５における機械学習について、より具体的な例により説明する。例えば、切削加工において被工作物を回転させ、そこに切削刃物を当てて削る旋盤加工を用いた部品Ａと、被工作物を固定し、切削工具を回転させて削るフライス盤加工を用いた部品Ｂ、及び旋盤加工とフライス盤加工の両方を用いた部品Ｃの３品目を分類する場合、工程情報判定結果を出力するために、過去に部品Ａ、部品Ｂ、部品Ｃを実際に製造した時の工程情報として、旋盤加工、フライス盤加工のラベルを各部品の図面情報に対応させたうえで、その図面情報と工程情報に基づく機械学習により工程情報学習モデルが生成される。

〔情報処理方法の一例〕
以下、図７のフローチャートおよび図１０の概要図を用いて詳細に実施形態に係る各ステップの処理を説明する。なお、適宜、図１－図６までの図を参照する。

実施形態に係る情報処理方法では、解析対象となる図面情報から複数の第１輪郭を抽出し、第１輪郭の階層化を行う。階層化された第１輪郭から第２輪郭である最外輪郭を抽出する。次いで、最外輪郭に基づく点群データからパーシステントホモロジーを用いてパーシステントホモロジー情報を抽出し、得られたパーシステントホモロジー情報をベクトル変換することでパーシステントホモロジーベクトルを得て、得られたパーシステントホモロジーベクトルを用いて解析対象の図面に描かれた部品の工程情報を判定する処理を行う。そのために、以下の手順を実行する。

（情報入力）
図面情報と工程情報が、入力部２０から制御部４０に入力される。入力される情報は制御部４０に入力される前に必要に応じて記憶部３０に保存されても良い。

（第１輪郭の抽出）
ステップｓ１１では、図面情報から複数の第１輪郭を抽出する。このステップでは図面情報が過去に製造実績を有する部品図面に関する情報であるか、これから製造しようとしている解析対象の部品図面に関する情報であるかは問わない。図面情報の内、画像情報として入力可能な部品形状の図形情報から、部品内側に開いている丸穴なども含めて部品の内外の輪郭を抽出し、その輪郭の情報を記憶部３０に保存する。輪郭抽出の手法としては、ラプラシアンフィルタなどの微分フィルタを用いることができる。

ステップｓ１２では、抽出された複数の第１輪郭の間の包含関係に応じて第１輪郭の階層化を行う。具体的には、ステップ１１でフィルタ処理を行った後の部品の外郭とその内側の全ての第１輪郭を輪郭抽出後図面として生成し、記憶部３０に保存する。更に、第１輪郭の包含関係を比較して各第１輪郭に階層化構造を付与する。当該階層構造を記憶部３０に保存する。

（第２輪郭の抽出）
ステップｓ２では、階層化された第１輪郭から第２輪郭を抽出する。このステップも、輪郭抽出後図面が過去に製造実績を有する部品図面に基づく図面であるか、これから製造しようとしている解析対象の部品図面に基づく図面であるかは問わない。具体的には、ステップ１２で得られた輪郭抽出後図面の画像から、Ｔｅｈ－Ｃｈｉｎチェーン近似アルゴリズムなどのチェーンアルゴリズムを利用して各第１輪郭を構成する座標を抽出し、ステップｓ１２で得られた階層構造も利用して、各第１輪郭の隣接関係を比較することで包含関係を判定し、第２輪郭である最外輪郭を抽出する。抽出された部品形状の幾何的特徴を有する最外輪郭を使って描かれた図面を最外輪郭抽出後図面として生成し、記憶部３０に保存する。

（パーシステントホモロジー）
ステップｓ３では、第２輪郭からパーシステントホモロジーに基づくパーシステントホモロジー情報を抽出する。このステップも、最外輪郭抽出後図面が過去に製造実績を有する部品図面に基づく図面であるか、これから製造しようとしている解析対象の部品図面に基づく図面であるかは問わない。具体的には、記憶部３０から読み出した最外輪郭抽出後図面を点群データ化したうえで、部品の幾何的特徴を読み取るために点群のパーシステントホモロジーを用いて、パーシステントホモロジー情報である生存対集合を生成する。生成された生存対集合は画像、行列、バーコードベクトル等として扱うことができる。パーシステントホモロジー情報は、記憶部３０に保存する。

（ベクトル変換）
ステップｓ４では、パーシステントホモロジー情報をベクトル変換しパーシステントホモロジーベクトルを得る。このステップは、パーシステントホモロジー情報が過去に製造実績を有する部品図面に基づく情報であるか、これから製造しようとしている解析対象の部品図面に基づく情報であるかは問わない。具体的には、記憶部３０から読み出したパーシステントホモロジー情報（生存対集合）を、ベクトル変換により統計的な傾向に基づくベクトルデータに変換する。変換することで得られるベクトルデータは、パーシステントホモロジーベクトルとして記憶部３０に保存する。

パーシステントホモロジー情報をパーシステントホモロジーベクトルに変換するステップｓ４において、機械学習を用いる場合、ベクトル変換学習モデルは、ステップｓ４１で予め生成する。これによりパーシステントホモロジーベクトルはベクトル変換学習モデルを使用するベクトル変換により得られる。

ステップｓ４１では、製造実績がある図面情報に基づくパーシステントホモロジー情報を用いた機械学習によりベクトル変換学習モデルを生成する。すなわち、ステップｓ４でベクトル変換学習モデルを使う場合に、解析対象の部品図面に基づくパーシステントホモロジー情報のベクトル変換を行う前に、予め過去に製造実績がある図面に基づくパーシステントホモロジー情報を使って機械学習によりベクトル変換学習モデルを生成する。ベクトル変換に用いる機械学習は、好ましくは、変分自己符号化器に基づく確率的潜在変数を使って処理される。製造実績がある図面に基づくパーシステントホモロジー情報を学習データとして機械学習を繰り返し、ベクトル変換学習モデルを更新（転移学習）することで、ベクトル変換での特徴抽出性能を高めることができる。

（工程情報判定）
ステップｓ５１では、製造実績がある図面情報に基づくパーシステントホモロジーベクトルと、製造実績がある図面情報に対応する工程情報を用いた機械学習により工程情報学習モデルを生成する。工程情報学習モデルは、解析対象の部品の加工に必要な製造工程の判定に必要であり、解析対象の図面情報を行う前に予め生成する必要がある。

ステップｓ４でベクトル変換学習モデルを使用してベクトル変換を行う場合は、ステップｓ５１での機械学習で使用する学習データにも、ベクトル変換学習モデルを使用して得られる、過去に製造実績がある図面に基づくパーシステントホモロジーベクトルを使用する。

ステップｓ５では、パーシステントホモロジーベクトルを用いて工程情報判定結果を得る。工程情報判定結果は、工程情報学習モデルを使用して取得する。具体的には、解析対象の部品図面に基づくパーシステントホモロジーベクトルと予めステップｓ５１で機械学習により生成した工程情報学習モデルとにより工程情報の判定を行い、判定した結果を工程情報判定結果として記憶部３０に保存する。

（工程情報判定結果表示）
一連の図面解析処理により、記憶部３０に保存された工程情報判定結果は出力部５０に出力する。例えば、入力されたベクトルに基づき、フライス加工が必要であると表示される。

以下に、本願に係る情報処理装置を実施するための形態について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る情報処理装置が限定されるものではない。

〔情報処理装置の一例〕
上述してきた実施形態に係る情報処理装置１０は、例えば図８に示すような構成のコンピュータ１０００によって実現される。図８は、ハードウェア構成の一例を示す図である。

コンピュータ１０００は、出力装置１０１０、入力装置１０２０と接続され、演算装置１０３０、記憶装置１０５０、出力ＩＦ１０６０、入力ＩＦ１０７０、ネットワークＩＦ１０８０がバス１０９０により接続された形態を有する。

演算装置１０３０は、制御部４０を実現するデバイスであり、記憶部３０を実現する記憶装置１０５０に格納されたプログラムや各種の演算データ、記憶情報を使って動作する。演算装置で使われるプログラムや各種の演算データ、記憶情報は入力装置１０２０から直接読み出して動作することもできる。

演算装置１０３０は、出力ＩＦ１０６０や入力ＩＦ１０７０を介して、出力装置１０１０や入力装置１０２０の制御を行う。例えば、演算装置１０３０は、入力装置１０２０や記憶装置１０５０からプログラムを演算装置１０３０上にロードし、ロードしたプログラムを実行する。

演算装置１０３０は、演算装置１０３０自身が各種の演算に用いるデータを一次的に記憶するＲＡＭ等のメモリを備える。

記憶部３０である記憶装置１０５０は、演算装置１０３０が各種の演算に用いるデータや、各種のデータベースが登録される記憶装置であり、ＲＯＭ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、フラッシュメモリ等により実現される。

出力ＩＦ１０６０は、モニタやプリンタといった各種の情報を出力する出力装置１０１０に対し、出力対象となる情報を送信するためのインタフェースであり、例えば、ＵＳＢやＤＶＩ、ＨＤＭＩ（登録商標）といった規格のコネクタにより実現される。出力部５０は出力装置１０１０と出力ＩＦ１０６０とにより実現される。図８では出力ＩＦ１０６０がコンピュータ１０００の内部に位置する状態を示したが、出力ＩＦ１０６０はコンピュータ１０００の外部に位置してもよい。また、コンピュータ１０００と電子情報の送受信を行う出力装置１０１０にも、出力ＩＦ１０６０と同じ規格のＩＦが出力装置１０１０の内部または外部に備わっていることはいうまでもない。

入力ＩＦ１０７０は、マウス、キーボード、およびスキャナ等といった各種の入力装置１０２０から情報を受信するためのインタフェースであり、例えば、ＵＳＢ等により実現される。入力部２０は入力装置１０２０と入力ＩＦ１０７０とにより実現される。出力ＩＦ１０６０と同様、入力ＩＦ１０７０はコンピュータ１０００の内部あっても外部あってもよく、また、入力装置１０２０にも、入力ＩＦ１０７０と同じ規格のＩＦが入力装置１０２０の内部または外部に備わっていることはいうまでもない。

なお、入力装置１０２０は、例えば、ＣＤ、ＤＶＤ、ＰＤ等の光学記録媒体、ＭＯ等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等から情報を読み出す装置であってもよい。また、入力装置１０２０は、ＵＳＢメモリ等の外付け記憶媒体であってもよい。

ネットワークＩＦ１０８０は、ネットワークＮを介して他の機器からデータを受信して演算装置１０３０へ送り、また、ネットワークＮを介して演算装置１０３０が生成したデータを他の機器へ送信する。すなわち、例えば出力装置１０１０や入力装置１０２０がコンピュータ１０００と直接接続可能な位置関係になくとも、ネットワークＮを介して接続することも可能である。また、例えば二次記憶装置１０５０もネットワークを介してコンピュータ１０００の外部に設ける、いわゆる「クラウド」を利用することも可能である。

（評価実験）
本図面解析の情報処理方法の有効性を検証するために図面情報と工程情報を用意し、図面解析を行った。図面解析により判定される部品製造のための加工機械が、製造部門の人員のうち熟練度が高く工程情報を熟知している者が図面情報から選択する加工機械と、どれくらい違うかを検証した。

ベクトル変換学習モデルの生成にはＶＡＥを利用し、３００００件の図面情報を使って学習を行った。製造実績がある図面情報に対する工程情報は、製造部門の人員が４００件の図面情報に対して付与した。工程情報は、図面解析により判定したい工程情報判定結果として、加工機械の種類の情報とし、旋盤、マシニングセンター、旋盤＋マシニングセンターの３分類とした。工程情報学習モデルの生成にはＳＶＭを利用した。

図面解析を行った結果、ＳＶＭによるＦ値は０．８５であった。この結果から、本図面解析の方法は十分に実用レベルであることが分かる。

本発明によれば、製造業において図面に描かれた部品形状の複雑度・トポロジー等の幾何的特徴をパーシステントホモロジーにより読み取り機械学習する図面解析によって専門知識や経験が豊富でない作業者においても図面情報から部品を製造するための工程情報の解析が可能となる。

１０・・・情報処理装置
２０・・・入力部
３０・・・記憶部
４０・・・制御部
４１・・・形状階層抽出部
４２・・・最外輪郭抽出部
４３・・・特徴抽出部
４４・・・ベクトル変換部
４４１・・・ベクトル変換学習部
４４２・・・ベクトル変換推論部
４５・・・工程情報判定部
４５１・・・工程情報学習部
４５２・・・工程情報推論部

Claims (6)

1. 図面情報から複数の第１輪郭を抽出するステップと、
   抽出された複数の前記第１輪郭の間の包含関係に応じて前記第１輪郭の階層化を行うステップと、
   前記階層化された前記第１輪郭から第２輪郭を抽出するステップと、
   前記第２輪郭からパーシステントホモロジーに基づくパーシステントホモロジー情報を抽出するステップと、
   前記パーシステントホモロジー情報をベクトル変換しパーシステントホモロジーベクトルを得るステップと、
   前記パーシステントホモロジーベクトルを用いて工程情報判定結果を得るステップと、
   を備え、
   前記工程情報判定結果を得るステップは、製造実績がある前記図面情報に基づく前記パーシステントホモロジーベクトルと、製造実績がある前記図面情報に対応する工程情報を用いた機械学習により工程情報学習モデルを生成するステップを含み、
   前記工程情報判定結果は、前記工程情報学習モデルを使用して取得する、
   ことを特徴とする図面解析を行う情報処理方法
2. 前記パーシステントホモロジーベクトルを得るステップは、製造実績がある前記図面情報に基づく前記パーシステントホモロジー情報を用いた機械学習によりベクトル変換学習モデルを生成するステップを含み、
   前記パーシステントホモロジーベクトルは、前記ベクトル変換学習モデルを使用して取得する、
   ことを特徴とする請求項１に記載の図面解析を行う情報処理方法
3. 前記パーシステントホモロジーベクトルを得るステップにおける機械学習が、変分自己符号化器に基づく確率的潜在変数を使って処理される、
   ことを特徴する請求項２に記載の図面解析を行う情報処理方法。
4. 図面情報から複数の第１輪郭を抽出し、抽出された複数の前記第１輪郭の間の包含関係に応じて前記第１輪郭の階層化を行う形状階層抽出部と、
   前記階層化された前記第１輪郭から第２輪郭を抽出する最外輪郭抽出部と、
   前記第２輪郭からパーシステントホモロジーに基づくパーシステントホモロジー情報を抽出する特徴抽出部と、
   前記パーシステントホモロジー情報をベクトル変換しパーシステントホモロジーベクトルを得るベクトル変換部と、
   前記パーシステントホモロジーベクトルを用いて工程情報判定結果を得る工程情報判定部と、
   を備え、
   前記工程情報判定部には、製造実績がある前記図面情報に基づく前記パーシステントホモロジーベクトルと、製造実績がある前記図面情報に対応する工程情報を用いた機械学習により工程情報学習モデルを生成する工程情報学習部と、
   前記工程情報判定結果を、前記工程情報学習モデルを使用して取得する工程情報推論部と、
   を備える図面解析を行う情報処理装置。
5. 前記ベクトル変換部には、製造実績がある前記図面情報に基づく前記パーシステントホモロジー情報を用いた機械学習によりベクトル変換学習モデルを生成するベクトル変換学習部と、
   前記パーシステントホモロジーベクトルを、前記ベクトル変換学習モデルを使用して取得するベクトル変換推論部と、
   をさらに備えることを特徴とする請求項４に記載の図面解析を行う情報処理装置。
6. 前記ベクトル変換部における機械学習が、変分自己符号化器に基づく確率的潜在変数を使って処理される、
   ことを特徴する請求項５に記載の図面解析を行う情報処理装置。
   
   
   

Images