JP2021021669A - 点検支援方法、点検支援システム、及び点検支援プログラム - Google Patents

Abstract

【課題】点検対象物における欠陥の３次元的な位置及び寸法を導出することが可能な点検支援方法等を提供する。【解決手段】点検支援方法は、点検対象物を撮像した二次元実画像を取得する画像取得ステップと、二次元実画像に含まれる点検対象物の形状を識別する形状識別ステップと、二次元実画像に含まれる点検対象物の欠陥を検出する検出ステップと、形状識別ステップの識別結果に基づいて、必要とする、予め取得されている点検対象物の３次元ＣＡＤモデルから、二次元実画像に対応する二次元模擬画像を抽出する画像抽出ステップと、検出ステップにおいて検出した欠陥を示す欠陥画像を含む二次元実画像を二次元模擬画像に適合するように調整し、調整後の前記欠陥画像を前記３次元ＣＡＤモデル上に描写する描写ステップと、を備える。【選択図】 図７

Description

本開示は、点検支援方法、点検支援システム、及び点検支援プログラムに関する。

点検員が点検対象物（製品、機械部品や製造過程の中間生産物も含む）を目視点検して、欠陥の寸法等を判定して報告書に記入する場合、手間がかかり、点検員の能力差によって正確性にバラツキが生じてしまう。また、レーザで３Ｄ測定する場合、位置合わせ等で時間がかかり、また、装置が高価であるため、コスト高であった。

そのため、近年、点検対象物をカメラ又はＩＲカメラで撮像した画像に基づいて、点検対象物の欠陥の有無などを検査する点検支援方法が提案されている。例えば、特許文献１には、点検対象物をＩＲカメラで撮像することによって２次元画像（ＩＲ実画像）を取得し、その２次元画像上で３次元距離の計測を行う方法が開示されている。

この方法では、３次元ＣＡＤモデルを用いて模擬画像を生成し、模擬画像を２次元画像に再配置し、３次元距離スケールマトリクスを生成し、２次元画像におけるピクセル間の３次元距離を取得する。模擬画像の再配置では、グレースケール値の相違に基づく費用関数を評価することによって、模擬画像を２次元画像に対して最適化し、両者の相対的な位置関係の調整を図っている。また、この方法では、点検対象物を一時的に加熱し、その放熱過程におけるＩＲ実画像を取得することにより、奥行方向を含む３次元的な欠陥の位置や寸法を検出している。

特開２０１０−１２２２１８号公報

特許文献１に記載されている方法では、点検対象物を一時的に加熱する必要がある。この場合、加熱することが好ましくない点検対象物には適用できない。また、点検対象物のセッティングに手間がかかる場合がある。また、グレースケール値（あるいは二値）を用いた方法では、点検対象物を識別しにくい場合がある。

一方、ＩＲ実画像ではなく、通常の可視光のカメラによって撮像した二次元実画像では、ＲＧＢの色合いを評価することが可能であるため、点検対象物を識別しやすい場合がある。また、通常の可視光のカメラで点検対象物を撮像する場合には、点検対象物を加熱する必要がない点で有利である。しかしながら、点検対象物を可視光のカメラによって撮像した二次元実画像では、点検対象物における欠陥の３次元的な位置と寸法をどのように導出するかが問題となる。

上述の事情に鑑みて、本発明の少なくとも一実施形態は、点検対象物における欠陥の３次元的な位置及び寸法を導出することが可能な点検支援方法等を提供することを目的とする。

本発明の少なくとも一実施形態に係る点検支援方法は、
点検対象物を撮像した二次元実画像を取得する画像取得ステップと、
前記二次元実画像に含まれる前記点検対象物の形状を識別する形状識別ステップと、
前記二次元実画像に含まれる前記点検対象物の欠陥を検出する検出ステップと、
前記形状識別ステップの識別結果に基づいて、必要とする、予め取得されている前記点検対象物の３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出する画像抽出ステップと、
前記検出ステップにおいて検出した前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合するように調整し、調整後の前記欠陥画像を前記３次元ＣＡＤモデル上に描写する描写ステップと、
を備える。

かかる方法によれば、欠陥画像を点検対象物の３次元ＣＡＤモデル上に描写するため、３次元ＣＡＤモデルの寸法データから点検対象物における欠陥の３次元的な位置及び寸法を導出することが可能となる。

幾つかの実施形態では、前記描写ステップにおいて、前記二次元実画像と前記二次元模擬画像とを比較した結果に基づいて、前記欠陥画像を含む前記二次元実画像をアフィン変換することによって、描写する前記欠陥画像の位置及び寸法を調整する。

かかる方法によれば、描写する欠陥画像の位置及び寸法を調整するため、より正確な欠陥画像を３次元ＣＡＤモデル上に描写させることができる。

幾つかの実施形態では、前記形状識別ステップは、前記二次元実画像において前記点検対象物の複数の基準部分を検出することによって前記二次元実画像に含まれる前記点検対象物の形状を識別する。

かかる方法では、点検対象物の特徴的な部分（例えば角部分）を基準部分として設定しておき、二次元実画像からその基準部分を検出することによって点検対象物の形状を識別する。この場合、点検対象物の輪郭を示すラインを検出して点検対象物の形状を識別する場合に比べて、処理を単純化したり、識別の精度を向上させたりすることが可能となる。

幾つかの実施形態では、前記画像抽出ステップは、前記二次元実画像から検出された前記点検対象物の複数の基準部分に対応する部分を含む前記二次元模擬画像を、前記点検対象物の前記３次元ＣＡＤモデルから抽出する。

かかる方法では、点検対象物の特徴的な部分（例えば角部分）を基準部分として設定しておき、二次元実画像から検出される点検対象物の複数の基準部分に基づいて、３次元ＣＡＤモデルから二次元模擬画像を抽出する。この場合、点検対象物の輪郭を示すラインに基づいて二次元模擬画像を抽出する場合に比べて、処理を単純化したり、抽出の精度を向上させたりすることが可能となる。

幾つかの実施形態では、前記描写ステップは、前記二次元実画像から検出される前記点検対象物の複数の基準部分と、前記二次元模擬画像に含まれる前記複数の基準部分に対応する部分とを比較した結果に基づいて、前記欠陥画像を含む前記二次元実画像をアフィン変換することによって前記欠陥画像の位置及び寸法を調整し、前記３次元ＣＡＤモデル上に描写する。

かかる方法では、二次元実画像から検出される点検対象物の複数の基準部分と、二次元模擬画像に含まれる複数の基準部分に対応する部分とを比較して、それらの位置関係、形状、寸法等の相違に基づいて、欠陥画像の位置及び寸法を調整する。この場合、点検対象物の輪郭を示すライン同士を比較して、欠陥画像の位置及び寸法を調整する場合に比べて、処理を単純化したり、調整の精度を向上させたりすることが可能となる。

幾つかの実施形態では、前記形状識別ステップ及び前記画像抽出ステップは、前記点検対象物を含む複数の対象物のそれぞれの前記二次元実画像と、前記複数の対象物のそれぞれの前記３次元ＣＡＤモデル又は前記二次元模擬画像との関係性を機械学習した学習済みモデルを用いて実行される。

かかる方法によれば、点検対象物の形状の識別及び二次元実画像に対応する二次元模擬画像の抽出をより正確に実行することが可能となる。

幾つかの実施形態では、前記検出ステップは、前記点検対象物を含む複数の対象物のそれぞれの前記二次元実画像と、前記複数の対象物に発生し得る前記欠陥画像との関係性を機械学習した学習済みモデルを用いて実行される。

かかる方法によれば、点検対象物の欠陥の検出をより正確に実行することが可能となる。

幾つかの実施形態では、前記点検支援方法は、前記３次元ＣＡＤモデルの寸法データから前記点検対象物における前記欠陥の３次元的な位置及び寸法を導出し、前記位置及び寸法の導出結果を含む報告書を作成する報告書作成ステップをさらに備える。

かかる方法によれば、欠陥の３次元的な位置及び寸法を含む報告書が作成されるため、報告書を作成する作業負担が低減される。また、同一の３次元ＣＡＤモデルに対する欠陥の位置及び寸法の情報を複数の事例において収集することにより、統計（例えば、欠陥がへこみである場合、統計データからへこみ易い位置を特定できる）を取ることも可能となる。

本発明の少なくとも一実施形態に係る点検支援システムは、
点検対象物を撮像した二次元実画像を取得する画像取得部と、
前記二次元実画像に含まれる前記点検対象物の形状を識別する形状識別部と、
前記二次元実画像に含まれる前記点検対象物の欠陥を検出する検出部と、
前記点検対象物の３次元ＣＡＤモデルを記憶する記憶部と、
前記形状識別部による識別結果に基づいて、必要とする、前記記憶部に記憶されている前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出する画像抽出部と、
前記検出部が検出した前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合するように調整し、調整後の前記欠陥画像を前記３次元ＣＡＤモデル上に描写する描写部と、
を備える。

かかる構成によれば、欠陥画像を点検対象物の３次元ＣＡＤモデル上に描写するため、３次元ＣＡＤモデルの寸法データから点検対象物における欠陥の３次元的な位置及び寸法を導出することが可能となる。

本発明の少なくとも一実施形態に係る点検支援プログラムは、
コンピュータに、
点検対象物を撮像した二次元実画像を取得する画像取得手順、
前記二次元実画像に含まれる前記点検対象物の形状を識別する形状識別手順、
前記二次元実画像に含まれる前記点検対象物の欠陥を検出する検出手順、
前記点検対象物の３次元ＣＡＤモデルを記憶する記憶手順、
前記形状識別手順における識別結果に基づいて、必要とする、記憶されている前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出する画像抽出手順、
前記検出手順において検出された前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合するように調整し、調整後の前記欠陥画像を前記３次元ＣＡＤモデル上に描写する描写手順、
を実行させる。

かかるプログラムによれば、欠陥画像を点検対象物の３次元ＣＡＤモデル上に描写するため、３次元ＣＡＤモデルの寸法データから点検対象物における欠陥の３次元的な位置及び寸法を導出することが可能となる。

本発明の少なくとも一実施形態によれば、点検対象物における欠陥の３次元的な位置及び寸法を検出することが可能な点検支援方法等を提供することができる。

一実施形態に係る点検支援システムの構成を概略的に示すブロック図である。 一実施形態に係る点検支援システムが実行する基準部分の検出方法を説明するための概念図である。 比較例に係る点検支援システムが実行するラインの検出方法を説明するための概念図である。 一実施形態に係る点検支援システムが取得する二次元実画像の一例を示す模式図である。 一実施形態に係る点検支援システムが抽出する二次元模擬画像の一例を示す模式図である。 欠陥画像が描写された状態の３次元ＣＡＤモデルの一例を示す模式図である。 一実施形態に係る点検支援システムが実行する処理の一例を示すフローチャートである。

以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。

（点検支援システムの構成）
以下、一実施形態に係る点検支援システム１の構成について説明する。図１は、一実施形態に係る点検支援システム１の構成を概略的に示すブロック図である。

以下の一実施形態では、単一の装置（コンピュータ）によって構成される点検支援システム１について説明する。点検支援システム１は、可視光のカメラ２によって点検対象物３を撮像した画像である二次元実画像を取得するように構成される。

なお、点検支援システム１は、このような構成に限られず、複数の装置（コンピュータ）から構成されてもよい。例えば、一つ以上の通信端末がＷＡＮ（Ｗｏｒｌｄ Ａｒｅａ Ｎｅｔｗｏｒｋ）又はＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介してサーバ装置と通信を行い、それらの協働関係によって、点検支援システム１の機能が実現されてもよい。また、点検支援システム１は、カメラ２を備える構成であってもよい。

点検支援システム１は、点検対象物３の欠陥を検出したり、その報告書を作成したりする点検作業を支援するためのシステムである。点検支援システム１のユーザは、点検業務を行う点検員であってもよいし、その点検対象物３を使用する使用者であってもよい。点検支援システム１によって検出される欠陥は、外観から判別可能な欠陥であり、その種類は、例えば、ひび割れ、へこみ、傷、コーティング不良、酸化、減肉、汚れ等である。

点検対象物３は、製品全体であってもよいし、製品を構成する部品（例えば、機械部品）等であってもよい。また、点検対象物３は、新品であってもよいし、補修品であってもよいし、既設の設備であってもよい。点検対象物３は、例えば、ガスタービンの動翼、静翼、分割環、燃焼器等であってもよい。

以下、点検支援システム１の構成について詳細に説明する。図１に示すように、点検支援システム１は、他の装置と通信を行う通信部１１０と、各種データを記憶する記憶部１２０と、各種情報を出力する出力部１３０と、ユーザの入力を受け付ける入力部１４０と、装置全体の制御を行う制御部１５０とを備える。これらの構成要素は、バスライン１６０によって相互に接続される。

通信部１１０は、有線通信又は無線通信を行うためのＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ ｃｏｎｔｒｏｌｌｅｒ）を備える通信インターフェースである。通信部１１０は、不図示のネットワークを介して、他の装置（例えばカメラ２又はカメラ２を備える装置）と通信を行う。なお、点検支援システム１がカメラ２を備える構成である場合、この通信部１１０は省略されてもよい。

記憶部１２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等から構成される。記憶部１２０は、各種制御処理を実行するためのプログラム（例えば、点検支援プログラム、後述する学習済みモデル）と、各種データとを記憶する。

各種データには、複数の対象物の３次元ＣＡＤモデルが含まれる。複数の対象物には、点検対象物３が含まれる。３次元ＣＡＤモデルとは、その対象物を、任意の縮尺の３次元の仮想空間上においてメッシュ画像で示す３次元のＣＡＤデータである。メッシュ画像は、回転、拡大、縮小が可能であり、３次元ＣＡＤモデルは、任意の視点で二次元模擬画像を抽出可能に構成される。

また、記憶部１２０は、取得した二次元実画像、抽出した二次元模擬画像、作成した報告書等を記憶してもよい。なお、記憶部１２０は、一つの記憶装置によって構成されてもよいし、複数の記憶装置によって構成されてもよいし、外部記憶装置であってもよい。

出力部１３０は、例えば、ディスプレイ装置、スピーカー装置等の出力装置から構成される。出力部１３０は、ユーザに各種情報を提示するための出力インターフェースである。

入力部１４０は、例えば、操作ボタン、キーボード、ポインティングデバイス、マイクロフォン等の入力装置から構成される。入力部１４０は、ユーザが指示を入力するために用いられる入力インターフェースである。

制御部１５０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のプロセッサから構成される。制御部１５０は、記憶部１２０に記憶されているプログラムを実行することにより、システム全体の動作を制御する。

以下、制御部１５０の機能的な構成を説明する。制御部１５０は、画像取得部１５１、形状識別部１５２、検出部１５３、画像抽出部１５４、描写部１５５、報告書作成部１５６として機能する。

画像取得部１５１は、点検対象物３をカメラ２で撮像した二次元実画像を取得する。具体的には、画像取得部１５１は、通信部１１０を介して、他の装置から二次元実画像を受信することによって二次元実画像を取得する。

形状識別部１５２は、画像取得部１５１が取得した二次元実画像中の点検対象物の二次元の形状を識別する。形状識別部１５２は、二次元実画像において点検対象物３の複数の基準部分を検出することによって二次元実画像に含まれる点検対象物３の形状を識別するように構成されていてもよい。

ここで、基準部分の検出方法について、比較例におけるラインの検出方法と対比しながら説明する。図２は、一実施形態に係る点検支援システム１が実行する基準部分の検出方法を説明するための概念図である。図３は、比較例に係る点検支援システム（不図示）が実行するラインの検出方法を説明するための概念図である。

図２及び図３では、点検対象物３が正面視において三角形状である場合を例示している。まず、点検支援システム１は、点検対象物３の特徴的な部分を基準部分として検出するように構成される。一実施形態では、特徴的な部分は、角部である。なお、特徴的な部分は、形状を識別するために役立つ部分であればよく、例えば、目印となるようなマーク、商標、鍵穴、ボタン等であってもよい。

一実施形態における基準部分の検出方法では、機械学習（例：ＳＳＤ（Ｓｉｎｇｌｅ Ｓｈｏｔ ＭｕｌｔｉＢｏｘ Ｄｅｔｅｃｔｏｒ）技術）が使用される。ＳＳＤ技術は、深層学習により画像内の物体を検出する手法として知られている。具体的には、図２に示すように、点検支援システム１は、デフォルトボックスＢ０を用いて二次元実画像Ｐ１内を探索し、点検対象物３の角部を基準部分として検出する。基準部分の形状は、ピクセルごとの赤、緑、青の成分を示すＲＧＢ値と、他のピクセルと比較した色合いとに基づいて識別される。

この結果、３つの角部に対応するデフォルトボックスＢ１、Ｂ２、Ｂ３が基準部分として検出される。点検支援システム１は、これらの基準部分の位置関係から点検対象物３が三角形状であると識別する。この場合、三角形状の辺に不鮮明な部分があったとしても、基準部分が検出されれば、点検支援システム１は、点検対象物３が三角形状であることを識別可能である。また、点検支援システム１は、検出された複数の基準部分の相対的な位置関係に基づいて、三角形状の辺の長さを識別可能である。

比較例に係るラインの検出方法では、点検対象物３の輪郭を示すラインを検出して点検対象物３の形状を識別する。この例では、図３において拡大して示すように、ピクセルごとの輝度を示すグレースケール値に基づいて点検対象物３の輪郭を示すラインを検出している。なお、比較例において、グレースケール値ではなく、基準値を定めて二値化することによってラインを検出することも可能である。

しかしながら、比較例のように、二次元実画像Ｐ１における点検対象物３の輪郭を示すラインを検出する場合、ラインの定義が必要となり、処理の複雑化、精度の低下等の問題が発生する虞がある。また、輝度は、撮影時の時間帯、場所、照明等の撮影条件によって変動してしまうため、撮影条件によってラインの検出に誤差が生じてしまう。このような誤差を除去するためには、様々な条件を考慮してシステムを構築しなければならない。

これに対し、上記の一実施形態に係る基準部分の検出方法によれば、ＲＧＢ値と色合いに基づいて基準部分を検出するため、輝度の変動による検出の誤差は比較例に比べて小さくなる。また、深層学習の機械学習によって基準部分の形状を識別するため、処理を高速化することが可能である。ラインの定義が不要であるため、機械学習に必要な学習量も少なくすることができる。

形状識別部１５２は、上述した基準部分の検出方法によって二次元実画像に含まれる点検対象物３の形状を識別する。この場合、ラインの定義が不要であり、部分同士の比較だけになるため処理を単純化させることができる。また、形状識別部１５２は、点検対象物３を含む複数の対象物のそれぞれの二次元実画像と、複数の対象物のそれぞれの３次元ＣＡＤモデル又はそれらの二次元模擬画像との関係性を機械学習した学習済みモデルを用いて二次元実画像に含まれる点検対象物３の形状を識別してもよい。

検出部１５３は、二次元実画像に含まれる点検対象物３の欠陥を検出する。検出部１５３は、点検対象物３を含む複数の対象物のそれぞれの二次元実画像と、複数の対象物に発生し得る欠陥画像との関係性を機械学習した学習済みモデルを用いて点検対象物３の欠陥を検出してもよい。例えば、検出部１５３は、二次元実画像の各ピクセルのＲＧＢ値を解析し、そのコントラストや色合いのパターン分類によって欠陥を判定するように構成されてもよい。

画像抽出部１５４は、形状識別部１５２による識別結果に基づいて、必要とする、記憶部１２０に記憶されている３次元ＣＡＤモデルを参照し、その３次元ＣＡＤモデルから、二次元実画像に対応する二次元模擬画像を抽出する。画像抽出部１５４は、二次元実画像から検出された点検対象物３の複数の基準部分に対応する部分を含む二次元模擬画像を、点検対象物３の３次元ＣＡＤモデルから抽出してもよい。また、画像抽出部１５４は、点検対象物３を含む複数の対象物のそれぞれの二次元実画像と、複数の対象物のそれぞれの３次元ＣＡＤモデル又はそれらの二次元模擬画像との関係性を機械学習した学習済みモデルを用いて、二次元模擬画像を３次元ＣＡＤモデルから抽出してもよい。

描写部１５５は、検出部１５３が検出した欠陥を示す欠陥画像を二次元模擬画像に適合するように調整し、調整後の欠陥画像を３次元ＣＡＤモデル上に描写する。この調整は、描写する前又は描写する時に実行されてもよいし、一度描写した後に既に描写されている欠陥画像に対して実行されてもよい。欠陥画像が描写された状態の３次元ＣＡＤは、出力部１３０のディスプレイ装置に表示されてもよい。

描写部１５５は、二次元実画像と二次元模擬画像とを比較した結果に基づいて、二次元実画像に含まれる欠陥画像をアフィン変換することによって、描写する欠陥画像の位置及び寸法を調整する。なお、描写部１５５は、二次元実画像から検出される点検対象物３の複数の基準部分と、二次元模擬画像に含まれる複数の基準部分に対応する部分とを比較した結果に基づいて、二次元実画像に含まれる欠陥画像をアフィン変換することによって欠陥画像の位置及び寸法を調整してもよい。また、描写部１５５は、二次元実画像と二次元模擬画像とを比較した結果に基づいて、欠陥画像を含む二次元実画像をアフィン変換することによって、描写する欠陥画像の位置及び寸法を調整してもよい。欠陥画像だけでは欠陥部の寸法が正常時よりも変化している場合も考えられるため、アフィン変換時に欠陥部の周囲の正常部分も含めてもよい。

例えば、描写部１５５は、二次元実画像と二次元模擬画像との間で、複数の基準部分の位置関係から定まる辺の長さを比較して、それらの相似比に基づいて欠陥画像を拡大又は縮小してもよい。描写部１５５は、二次元実画像と二次元模擬画像との間で、複数の基準部分の位置関係を比較して、欠陥画像のアスペクト比の調整、平行移動、線形変換等を行ってもよい。

報告書作成部１５６は、３次元ＣＡＤモデルの寸法データから点検対象物３における欠陥の３次元的な位置及び寸法を導出し、位置及び寸法の導出結果を含む報告書を作成する。作成された報告書は、記憶部１２０に記憶されてもよいし、通信部１１０を介して他の装置（例えば、報告書を管理するサーバ装置）に送信されてもよい。

（二次元実画像と二次元模擬画像と３次元ＣＡＤモデルとの関係性）
ここで、点検対象物３をカメラ２で撮像した二次元実画像と、その二次元実画像に基づいて画像抽出部１５４が３次元ＣＡＤモデルから抽出した二次元模擬画像と、描写部１５５が欠陥画像を描写した３次元ＣＡＤモデルとについて具体例を説明する。

図４は、一実施形態に係る点検支援システム１が取得する二次元実画像の一例を示す模式図である。図５は、一実施形態に係る点検支援システム１が抽出する二次元模擬画像の一例を示す模式図である。図６は、欠陥画像が描写された状態の３次元ＣＡＤモデルの一例を示す模式図である。

なお、図５に示す二次元模擬画像は、図４に示す二次元実画像に基づいて抽出される画像である。図６では、図４に示す二次元実画像に含まれる欠陥画像が描写された３次元ＣＡＤモデルが示されている。

図４〜図６に示す例では、点検対象物３は、ガスタービンの静翼である。図４に示すように、欠陥は、ガスタービンの静翼を腹側から撮像した二次元実画像において、翼部の中央の領域Ａ１に位置するヘコミである。検出部１５３は、この領域Ａ１の画像を欠陥画像として検出する。画像取得部１５１が図４に示す二次元実画像を取得した場合に、画像抽出部１５４は、形状識別部１５２による識別結果に基づいて、３次元ＣＡＤモデルから、図５に示す二次元模擬画像を抽出する。

図４と図５を比べると、視点と縮尺とに若干の相違がある。そこで、描写部１５５は、図４における領域Ａ１の欠陥画像を図５の二次元模擬画像に適合するようにアフィン変換等を行って調整する。そして、描写部１５５は、図５に示すように調整後の欠陥画像（領域Ａ２）を３次元ＣＡＤモデル上に描写する。なお、３次元ＣＡＤモデル上では、欠陥画像は３次元ＣＡＤモデルの縮尺で表示される。欠陥画像を示す領域Ａ２は、元々の３次元ＣＡＤモデルの画像と区別可能とするために着色されていてもよい。

（処理の流れ）
以下、点検支援システム１が実行する処理の具体例を説明する。図７は、一実施形態に係る点検支援システム１が実行する処理の一例を示すフローチャートである。

図７に示すように、点検支援システム１の画像取得部１５１は、カメラ２が点検対象物３を撮像した二次元実画像を取得する（ステップＳ１）。点検支援システム１の形状識別部１５２は、二次元実画像における点検対象物３の基準部分を検出して、点検対象物３の形状を識別する（ステップＳ２）。点検支援システム１の検出部１５３は、点検対象物３の欠陥を検出する（ステップＳ３）。欠陥の検出は、３次元ＣＡＤモデルとの比較で行われてもよいし、学習済みモデルを使用して行われてもよい。

ここで、点検支援システム１の制御部１５０は、点検対象物３に欠陥があるか否かを判別する（ステップＳ４）。点検対象物３に欠陥が無いと判別された場合（ステップＳ４；Ｎｏ）、ステップＳ５〜Ｓ７は、スキップされ、点検支援システム１の報告書作成部１５６は欠陥が無いことを示す報告書を作成する（ステップＳ８）。

一方、点検対象物３に欠陥があると判別された場合（ステップＳ４；Ｙｅｓ）、点検支援システム１の画像抽出部１５４は、二次元実画像から検出された点検対象物３の複数の基準部分に対応する部分を含む二次元模擬画像を３次元ＣＡＤモデルから抽出する（ステップＳ５）。この抽出には、学習済みモデルが使用されてもよい。

点検支援システム１の描写部１５５は、ステップＳ３で検出された欠陥を示す二次元実画像（すなわち欠陥画像）を二次元模擬画像に適合するように適合化を行う（ステップＳ６）。このとき、欠陥画像は、アフィン変換等によって調整される。点検支援システム１の描写部１５５は、調整後の欠陥画像を３次元ＣＡＤモデル上に描写する（ステップＳ７）。点検支援システム１の報告書作成部１５６は、３次元ＣＡＤモデルの寸法データから点検対象物３における欠陥の３次元的な位置及び寸法を後出し、その導出結果を含む報告書を作成する（ステップＳ８）。なお、図７において、破線で示すように、ステップＳ１〜Ｓ４、Ｓ６は二次元情報を用いた処理であり、ステップＳ５、Ｓ７は三次元情報を用いた処理である。ステップＳ８は、三次元情報と二次元情報の両方又はいずれか一方を用いたり、欠陥が無い場合は文言だけを記載したりする等、適用先の拠点や点検対象物に応じて報告書を作成する。

以上説明したように、例えば、図１〜図７に示すように、一実施形態に係る点検支援方法は、点検対象物３を撮像した二次元実画像を取得する画像取得ステップと、二次元実画像に含まれる点検対象物３の形状を識別する形状識別ステップと、二次元実画像に含まれる点検対象物３の欠陥を検出する検出ステップと、形状識別ステップの識別結果に基づいて、必要とする、予め取得されている点検対象物３の３次元ＣＡＤモデルから、二次元実画像に対応する二次元模擬画像を抽出する画像抽出ステップと、検出ステップにおいて検出した欠陥を示す欠陥画像を含む二次元実画像を二次元模擬画像に適合するように調整し、調整後の欠陥画像を３次元ＣＡＤモデル上に描写する描写ステップと、を備える。

かかる方法によれば、欠陥画像を点検対象物３の３次元ＣＡＤモデル上に描写するため、３次元ＣＡＤモデルの寸法データから点検対象物３における欠陥の３次元的な位置及び寸法を導出することが可能となる。

幾つかの実施形態では、描写ステップにおいて、二次元実画像と二次元模擬画像とを比較した結果に基づいて、欠陥画像を含む二次元実画像をアフィン変換することによって、描写する欠陥画像の位置及び寸法を調整する。

かかる方法によれば、描写する欠陥画像の位置及び寸法を調整するため、より正確な欠陥画像を３次元ＣＡＤモデル上に描写させることができる。

幾つかの実施形態では、形状識別ステップは、二次元実画像において点検対象物３の複数の基準部分を検出することによって二次元実画像に含まれる点検対象物３の形状を識別する。

かかる方法では、点検対象物３の特徴的な部分（例えば角部分）を基準部分として設定しておき、二次元実画像からその基準部分を検出することによって点検対象物３の形状を識別する。この場合、点検対象物３の輪郭を示すラインを検出して点検対象物３の形状を識別する場合に比べて、処理を単純化したり、識別の精度を向上させたりすることが可能となる。

幾つかの実施形態では、画像抽出ステップは、二次元実画像から検出された点検対象物３の複数の基準部分に対応する部分を含む二次元模擬画像を、点検対象物３の３次元ＣＡＤモデルから抽出する。

かかる方法では、点検対象物３の特徴的な部分（例えば角部分）を基準部分として設定しておき、二次元実画像から検出される点検対象物３の複数の基準部分に基づいて、３次元ＣＡＤモデルから二次元模擬画像を抽出する。この場合、点検対象物３の輪郭を示すラインに基づいて二次元模擬画像を抽出する場合に比べて、処理を単純化したり、抽出の精度を向上させたりすることが可能となる。

幾つかの実施形態では、描写ステップは、二次元実画像から検出される点検対象物３の複数の基準部分と、二次元模擬画像に含まれる複数の基準部分に対応する部分とを比較した結果に基づいて、欠陥画像を含む二次元実画像をアフィン変換することによって欠陥画像の位置及び寸法を調整し、３次元ＣＡＤモデル上に描写する。

かかる方法では、二次元実画像から検出される点検対象物３の複数の基準部分と、二次元模擬画像に含まれる複数の基準部分に対応する部分とを比較して、それらの位置関係、形状、寸法等の相違に基づいて、欠陥画像の位置及び寸法を調整する。この場合、点検対象物３の輪郭を示すライン同士を比較して、欠陥画像の位置及び寸法を調整する場合に比べて、処理を単純化したり、調整の精度を向上させたりすることが可能となる。

幾つかの実施形態では、形状識別ステップ及び画像抽出ステップは、点検対象物３を含む複数の対象物のそれぞれの二次元実画像と、複数の対象物のそれぞれの３次元ＣＡＤモデル又は二次元模擬画像との関係性を機械学習した学習済みモデルを用いて実行される。

かかる方法によれば、点検対象物３の形状の識別及び二次元実画像に対応する二次元模擬画像の抽出をより正確に実行することが可能となる。

幾つかの実施形態では、検出ステップは、点検対象物３を含む複数の対象物のそれぞれの二次元実画像と、複数の対象物に発生し得る欠陥画像との関係性を機械学習した学習済みモデルを用いて実行される。

かかる方法によれば、点検対象物３の欠陥の検出をより正確に実行することが可能となる。

幾つかの実施形態では、点検支援方法は、３次元ＣＡＤモデルの寸法データから点検対象物３における欠陥の３次元的な位置及び寸法を導出し、位置及び寸法の導出結果を含む報告書を作成する報告書作成ステップをさらに備える。

かかる方法によれば、欠陥の３次元的な位置及び寸法を含む報告書が作成されるため、報告書を作成する作業負担が低減される。また、同一の３次元ＣＡＤモデルに対する欠陥の位置及び寸法の情報を複数の事例において収集することにより、統計（例えば、欠陥がへこみである場合、統計データからへこみ易い位置を特定できる）を取ることも可能となる。

本発明の少なくとも一実施形態に係る点検支援システム１は、例えば、図１に示すように、点検対象物３を撮像した二次元実画像を取得する画像取得部１５１と、二次元実画像に含まれる点検対象物３の形状を識別する形状識別部１５２と、二次元実画像に含まれる点検対象物３の欠陥を検出する検出部１５３と、点検対象物３の３次元ＣＡＤモデルを記憶する記憶部１２０と、形状識別部１５２による識別結果に基づいて、必要とする、記憶部１２０に記憶されている３次元ＣＡＤモデルから、二次元実画像に対応する二次元模擬画像を抽出する画像抽出部１５４と、検出部１５３が検出した欠陥を示す欠陥画像を含む二次元実画像を二次元模擬画像に適合するように調整し、調整後の欠陥画像を３次元ＣＡＤモデル上に描写する描写部１５５と、を備える。

かかる構成によれば、欠陥画像を点検対象物３の３次元ＣＡＤモデル上に描写するため、３次元ＣＡＤモデルの寸法データから点検対象物３における欠陥の３次元的な位置及び寸法を導出することが可能となる。

本発明は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。

（変形例）
例えば、点検支援システム１が実行する処理の順序は、図７に示す例に限られない。例えば、図７において、欠陥を検出するステップＳ３の前に、二次元模擬画像を抽出するステップＳ５が実行されてもよい。図７に示す処理の一部は、ユーザが行ってもよい。例えば、ステップＳ８の報告書の作成はユーザが行ってもよく、点検支援システム１は報告書作成部１５６を備えていない構成であってもよい。

また、本開示に係る点検支援システム１は、上記装置によらず、例えば、コンピュータがプログラム（点検支援プログラム）を実行することで、その機能を実現してもよい。点検支援システム１の機能を実現するための点検支援プログラムは、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等のコンピュータ読み取り可能な記録媒体に記憶されてもよいし、ネットワークを介してコンピュータにダウンロードされてもよい。

１ 点検支援システム
２ カメラ
３ 点検対象物
１１０ 通信部
１２０ 記憶部
１３０ 出力部
１４０ 入力部
１５０ 制御部
１５１ 画像取得部
１５２ 形状識別部
１５３ 検出部
１５４ 画像抽出部
１５５ 描写部
１５６ 報告書作成部
１６０ バスライン

Claims (10)

1. 点検対象物を撮像した二次元実画像を取得する画像取得ステップと、
   前記二次元実画像に含まれる前記点検対象物の形状を識別する形状識別ステップと、
   前記二次元実画像に含まれる前記点検対象物の欠陥を検出する検出ステップと、
   前記形状識別ステップの識別結果に基づいて、必要とする、予め取得されている前記点検対象物の３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出する画像抽出ステップと、
   前記検出ステップにおいて検出した前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合するように調整し、調整後の前記欠陥画像を前記３次元ＣＡＤモデル上に描写する描写ステップと、
   を備える点検支援方法。
2. 前記描写ステップにおいて、前記二次元実画像と前記二次元模擬画像とを比較した結果に基づいて、前記欠陥画像を含む前記二次元実画像をアフィン変換することによって、描写する前記欠陥画像の位置及び寸法を調整する
   請求項１に記載の点検支援方法。
3. 前記形状識別ステップは、前記二次元実画像において前記点検対象物の複数の基準部分を検出することによって前記二次元実画像に含まれる前記点検対象物の形状を識別する
   請求項１又は２に記載の点検支援方法。
4. 前記画像抽出ステップは、前記二次元実画像から検出された前記点検対象物の複数の基準部分に対応する部分を含む前記二次元模擬画像を、前記点検対象物の前記３次元ＣＡＤモデルから抽出する
   請求項１乃至３の何れか一項に記載の点検支援方法。
5. 前記描写ステップは、前記二次元実画像から検出される前記点検対象物の複数の基準部分と、前記二次元模擬画像に含まれる前記複数の基準部分に対応する部分とを比較した結果に基づいて、前記欠陥画像を含む前記二次元実画像をアフィン変換することによって前記欠陥画像の位置及び寸法を調整し、前記３次元ＣＡＤモデル上に描写する
   請求項１乃至４の何れか一項に記載の点検支援方法。
6. 前記形状識別ステップ及び前記画像抽出ステップは、前記点検対象物を含む複数の対象物のそれぞれの前記二次元実画像と、前記複数の対象物のそれぞれの前記３次元ＣＡＤモデル又は前記二次元模擬画像との関係性を機械学習した学習済みモデルを用いて実行される
   請求項１乃至５の何れか一項に記載の点検支援方法。
7. 前記検出ステップは、前記点検対象物を含む複数の対象物のそれぞれの前記二次元実画像と、前記複数の対象物に発生し得る前記欠陥画像との関係性を機械学習した学習済みモデルを用いて実行される
   請求項１乃至６の何れか一項に記載の点検支援方法。
8. 前記３次元ＣＡＤモデルの寸法データから前記点検対象物における前記欠陥の３次元的な位置及び寸法を導出し、前記位置及び寸法の導出結果を含む報告書を作成する報告書作成ステップをさらに備える
   請求項１乃至７の何れか一項に記載の点検支援方法。
9. 点検対象物を撮像した二次元実画像を取得する画像取得部と、
   前記二次元実画像に含まれる前記点検対象物の形状を識別する形状識別部と、
   前記二次元実画像に含まれる前記点検対象物の欠陥を検出する検出部と、
   前記点検対象物の３次元ＣＡＤモデルを記憶する記憶部と、
   前記形状識別部による識別結果に基づいて、必要とする、前記記憶部に記憶されている前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出する画像抽出部と、
   前記検出部が検出した前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合するように調整し、調整後の前記欠陥画像を前記３次元ＣＡＤモデル上に描写する描写部と、
   を備える点検支援システム。
10. コンピュータに、
    点検対象物を撮像した二次元実画像を取得する画像取得手順、
    前記二次元実画像に含まれる前記点検対象物の形状を識別する形状識別手順、
    前記二次元実画像に含まれる前記点検対象物の欠陥を検出する検出手順、
    前記点検対象物の３次元ＣＡＤモデルを記憶する記憶手順、
    前記形状識別手順における識別結果に基づいて、必要とする、記憶されている前記３次元ＣＡＤモデルから、前記二次元実画像に対応する二次元模擬画像を抽出する画像抽出手順、
    前記検出手順において検出された前記欠陥を示す欠陥画像を含む前記二次元実画像を前記二次元模擬画像に適合するように調整し、調整後の前記欠陥画像を前記３次元ＣＡＤモデル上に描写する描写手順、
    を実行させるための点検支援プログラム。

Images