JP2021021670A - 外観検査装置 - Google Patents

Abstract

【課題】検査対象物の検査を適切に効率良く行うことが可能な外観検査装置を提供する。【解決手段】外観検査装置は、検査対象物の表面における相互に異なる領域である複数の表面領域を撮像装置により自動で撮影するよう構成された自動撮影装置と、自動撮影装置により撮影された撮像画像に基づいて、検査対象物の診断を実行するよう構成された診断装置と、を備え、診断装置は、複数の表面領域を低解像度で撮影した撮像画像である複数の低解像度画像を取得する第１取得部と、複数の低解像度画像に基づいて、検査対象物の表面の一部の表面領域を診断領域として決定する診断領域決定部と、低解像度画像よりも高い解像度で診断領域を撮影した撮像画像である高解像度画像を取得する第２取得部と、高解像度画像に基づいて診断を実行する診断実行部と、を有する。【選択図】 図１

Description

本開示は、検査対象物の検査に関する。

従来から、検査対象物をカメラ撮影した画像に基づいて、検査対象物の欠陥の有無などを検査する手法が知られている（特許文献１〜２参照）。例えば、特許文献１には、鋼片や鋼板等の被検査材表面をＴＶカメラで走査し走査信号の微分値が所定の疵信号レベルを越えた画面上の位置を指定点とした限定領域の画像を記憶装置に記憶し、更に画像処理、パターン認識処理を行なって疵の真偽および疵の種類と大小を検出することが開示されている。特許文献２には、外観検査装置が出力した欠陥位置座標（試料上の欠陥の位置を示した座標情報）をもとに、半導体ウェハ上の欠陥位置を高解像度に撮像し、画像を出力する装置が開示されている。

特開昭５９−１３８９０４号公報 特開２０１８−１３７２７５号公報

撮像画像の撮影状態（撮影方向、露出、ピントなど）にばらつきがあると、同一の欠陥を対象とする場合でも撮像画像への対象の表れ方に違いが生じるため、診断に影響する可能性がある。例えば、検査対象物の診断に機械学習の手法を用いる場合には、学習データとなる撮像画像の撮影状態にばらつきが生じていると、撮像画像から抽出する特徴量が影響を受け、診断精度が低下する可能性がある。また、検査対象物が例えばガスタービンの備える動翼、静翼、分割環、燃焼器など外形（外観）が複雑で大型の部品の場合には、その複雑な表面の形状に合わせて撮影状態を調整し、撮影を行うのが望ましい。しかし、検査対象物の有する検査すべき表面の全てについてそのような撮影を行うと、多大な検査時間を要する。

上述の事情に鑑みて、本発明の少なくとも一実施形態は、検査対象物の検査を適切に効率良く行うことが可能な外観検査装置を提供することを目的とする。

（１）本発明の少なくとも一実施形態に係る外観検査装置は、
検査対象物の表面における相互に異なる領域である複数の表面領域を撮像装置により自動で撮影するよう構成された自動撮影装置と、
前記自動撮影装置により撮影された撮像画像に基づいて、前記検査対象物の診断を実行するよう構成された診断装置と、を備え、
前記診断装置は、
前記複数の表面領域を低解像度で撮影した前記撮像画像である複数の低解像度画像を取得する第１取得部と、
前記複数の低解像度画像に基づいて、前記検査対象物の表面の一部の前記表面領域を診断領域として決定する診断領域決定部と、
前記低解像度画像よりも高い高解像度で前記診断領域を撮影した前記撮像画像である高解像度画像を取得する第２取得部と、
前記高解像度画像に基づいて前記診断を実行する診断実行部と、を有する。

上記（１）の構成によれば、外観検査装置は、検査対象物の表面における相互に異なる領域（表面領域）を自動で撮影可能な自動撮影装置と、自動撮影装置により撮影された撮像画像に基づいて検査対象物の診断を実行する診断装置とを備えている。そして、外観検査装置は、検査対象物の表面における相互に異なる領域を低解像度で撮影した撮像画像（低解像度画像）の解析（画像処理など）を通して、詳細に検査すべき検査対象物の表面部分を決定する。その後、決定した表面部分を含む領域（診断領域）を高解像度で撮影した撮像画像（高解像度画像）の解析を通して、検査対象物に欠陥が生じているか否かの判定などの診断領域の診断を実行する。

検査対象物の診断を撮像画像に基づいて行う場合の診断精度は、撮像画像の撮影状態（撮影方向、露出（光の量）、ピントなど）に依存するが、自動撮影装置を用いて自動で検査対象物を撮影することにより、撮影状態のバラツキを抑制することができ、検査に適した品質を有する撮影画像を取得することができる。よって、撮像画像に基づいて診断を行う機能を機械学習などにより作成する場合に適切な教師データを得ることができ、診断精度の高い診断機能（機械学習モデル）を作成することができる。これと共に、自動撮影装置により同様に撮影された高解像度画像を検査に用いることで、撮影状態を教師データのものと合わせことができ、診断精度の向上を図ることができる。また、低解像度画像に基づいて検査対象物において詳細な診断を行う領域（診断領域）を絞りこみ、絞り込んだ領域について高解像度画像を撮影することにより、撮影時間の短縮化、および高解像度画像に基づく精度良く診断を行うことができ、検査対象物の検査を適切に効率良く行うことができる。

（２）幾つかの実施形態では、上記（１）の構成において、
前記診断装置は、前記検査対象物の種類毎に前記診断領域を定めた診断領域特定情報を記憶する記憶部を、さらに有し、
前記診断領域決定部は、
前記複数の低解像度画像に基づいて、前記検査対象物の種類を特定する第１特定部と、
特定された前記検査対象物の種類および前記診断領域特定情報に基づいて、前記診断領域を決定する第１決定部と、を有する。

上記（２）の構成によれば、低解像度画像に基づいて検査対象物の種類を特定（判別）すると共に、特定した検査対象物の種類に応じた診断領域を、診断領域特定情報に基づいて適切に決定する。診断領域特定情報は、過去の事例や設計情報などに基づいて特に確認すべき箇所を指定したものであり、検査対象物の種類に応じて、検査対象物における診断領域を適切に絞り込むことができる。また、複数の低解像度画像から検査対象物の種類が特定できれば良いので、検査対象物における検査すべき全ての表面が写るように撮影する必要は必ずしもない。このため、検査対象物の低解像度による撮影回数を減らすことも可能であり、検査時間のさらなる短縮化を図ることができる。

（３）幾つかの実施形態では、上記（１）の構成において、
前記診断装置は、前記検査対象物の種類毎に前記診断領域を定めた診断領域特定情報を記憶する記憶部を、さらに有し、
前記診断領域決定部は、
前記複数の低解像度画像に基づいて、前記複数の表面領域における欠陥被疑箇所を特定する第２特定部と、
特定された前記欠陥被疑箇所を含むように前記診断領域を決定する第２決定部と、を有する。

上記（３）の構成によれば、低解像度画像に基づいて検査対象物の欠陥被疑箇所を特定（判別）すると共に、特定された欠陥被疑箇所を含むように診断領域を決定する。これによって、検査対象物における診断領域を適切に絞り込むことができる。

（４）幾つかの実施形態では、上記（１）〜（３）の構成において、
前記診断装置は、決定された前記診断領域を前記高解像度で撮影する撮影指令を前記自動撮影装置に送信する撮影指令部をさらに備え、
前記自動撮影装置は、前記撮影指令で指定された前記診断領域の前記高解像度画像を撮影する。
上記（４）の構成によれば、高解像度画像を自動で撮影することができる。

（５）幾つかの実施形態では、上記（１）〜（４）の構成において、
前記自動撮影装置は、
前記検査対象物に対する前記撮像装置の撮影方向を変化させることが可能な機構と、
前記複数の表面領域の前記撮像装置による撮影が可能となるように前記機構を制御すると共に、前記撮像装置を制御することにより前記複数の表面領域をそれぞれ撮影する撮影制御部と、を有する。

上記（５）の構成によれば、自動撮影装置は、検査対象物に対する撮像装置の撮影方向を変更可能な機構を制御することにより、検査対象物の複数の表面領域を撮影する。これによって、検査に適した撮像画像（低解像度画像、高解像度画像）を自動で撮影することができる。

（６）幾つかの実施形態では、上記（５）の構成において、
前記機構は、
前記検査対象物に対して、前記撮像装置の前記撮影方向又は位置の少なくとも一方を変化させる第１可動部、または、前記撮像装置に対して、前記検査対象物の向き又は位置の少なくとも一方を変化させる第２可動部の少なくとも一方を有する。

上記（６）の構成によれば、機構が、検査対象物または前記撮像装置を変化させる可動部を備えることにより、自動撮影装置により、検査対象物の複数の表面領域の各々を適切に自動で撮影することができる。

（７）幾つかの実施形態では、上記（１）〜（６）の構成において、
前記検査対象物は、ガスタービンを構成する動翼、静翼、分割環または燃焼器である。
上記（７）の構成によれば、動翼、静翼、分割環または燃焼器は、複雑な形状を有する比較的大型の物であり、このような検査対象物の検査を適切に効率良く行うことができる。

本発明の少なくとも一実施形態によれば、検査対象物の検査を適切に効率良く行うことが可能な外観検査装置が提供される。

本発明の一実施形態に係る外観検査装置の構成を概略的に示す図である。 本発明の他の一実施形態に係る外観検査装置の構成を概略的に示す図である。 本発明の一実施形態に係る診断装置の構成を概略的に示すブロック図である。 本発明の一実施形態に係る診断領域決定部の構成を概略的に示すブロック図である。 本発明の他の一実施形態に係る診断領域決定部の構成を概略的に示すブロック図である。 本発明の一実施形態に係る外観検査装置による検査フローを示す図である。

以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、実施形態として記載されている又は図面に示されている構成部品の寸法、材質、形状、その相対的配置等は、本発明の範囲をこれに限定する趣旨ではなく、単なる説明例にすぎない。
例えば、「ある方向に」、「ある方向に沿って」、「平行」、「直交」、「中心」、「同心」或いは「同軸」等の相対的或いは絶対的な配置を表す表現は、厳密にそのような配置を表すのみならず、公差、若しくは、同じ機能が得られる程度の角度や距離をもって相対的に変位している状態も表すものとする。
例えば、「同一」、「等しい」及び「均質」等の物事が等しい状態であることを表す表現は、厳密に等しい状態を表すのみならず、公差、若しくは、同じ機能が得られる程度の差が存在している状態も表すものとする。
例えば、四角形状や円筒形状等の形状を表す表現は、幾何学的に厳密な意味での四角形状や円筒形状等の形状を表すのみならず、同じ効果が得られる範囲で、凹凸部や面取り部等を含む形状も表すものとする。
一方、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。

図１は、本発明の一実施形態に係る外観検査装置１の構成を概略的に示す図である。図２は、本発明の他の一実施形態に係る外観検査装置１の構成を概略的に示す図である。図３は、本発明の一実施形態に係る診断装置３の構成を概略的に示すブロック図である。図４は、本発明の一実施形態に係る診断領域決定部５の構成を概略的に示すブロック図である。図５は、本発明の他の一実施形態に係る診断領域決定部５の構成を概略的に示すブロック図である。図６は、本発明の一実施形態に係る外観検査装置１による検査フローを示す図である。

図１〜図２に示すように、外観検査装置１は、検査対象物９の表面における相互に異なる領域である複数の表面領域Ｓを撮像装置２ｉにより自動で撮影するよう構成された自動撮影装置２と、この自動撮影装置２により撮影された撮像画像Ｇに基づいて、検査対象物９の診断を実行するよう構成された診断装置３と、を備える。すなわち、診断装置３は、自動撮影装置２により撮影された画像（以下、撮像画像Ｇ）を用いて、検査対象物９の検査を実行する。相互に異なる領域とは、撮影する領域が相互に完全に一致しないこと、または同じ領域であっても写り方、つまり、幾何学的な撮影方向あるいは色合いが相互に完全に一致しないことを意味する。また、撮像画像Ｇは、撮像装置２ｉから無線または有線を用いた通信により、直接あるいは通信ネットワークを介して診断装置３に送信されても良いし、診断装置３がアクセス可能なクラウドなどに送信されても良い。あるいは、自動撮影装置２の後述する撮影制御部２ｃや診断装置３のプログラムが同一のＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）上で動作することで、記憶装置ｍを介して連携しても良い。

なお、検査対象物９は、図１〜図２では簡易的に直方体の形状を示しているが、検査を行う必要のある製品、部品などの物であれば良く、例えばガスタービンの備える動翼、静翼、分割環、燃焼器など、複雑な外形を有する物や、大型の物であっても良い。また、撮像装置２ｉは、例えば動画や静止画を撮影するための機能を有する装置であれば良く、撮影専用のカメラや、スマートフォンであっても良い。

まず、上記の自動撮影装置２について、詳細に説明する。
自動撮影装置２は、図１〜図２に示すように、検査対象物９に対する撮像装置２ｉの撮影方向を変化させることが可能な機構２ｍと、この機構２ｍおよび撮像装置２ｉを制御（操作）可能な撮影制御部２ｃと、を備える。より詳細には、機構２ｍは、図１に示すような、位置が固定された検査対象物９に対して、撮像装置２ｉの撮影方向又は位置の少なくとも一方を変化させる第１可動部２１ａ、または、図２に示すような、位置が固定された撮像装置２ｉに対して、検査対象物９の向き又は位置の少なくとも一方を変化させる第２可動部２１ｂの少なくとも一方を有しても良い。

図１〜図２に示す実施形態では、上記の機構２ｍは、上記の第１可動部２１ａまたは第２可動部２１ｂとなる可動部２１と、少なくとも１台の撮像装置２ｉを固定可能なカメラ固定フレーム２２と、を備えている。また、可動部２１は、例えばステッピングモータなどのモータ２３と、このモータ２３の回転軸に取り付けられるなどされた、モータ２３により位置が変化される部材（図１ではカメラ固定フレーム２２、図２では回転台座２６）と、で構成される。

より詳細には、図１に示す実施形態では、第１可動部２１ａは、カメラ固定フレーム２２と、モータ２３とを備えている。具体的には、機構２ｍは、上記のモータ２３を介してカメラ固定フレーム２２を支持する台座２４をさらに備えている。また、カメラ固定フレーム２２はコの字状の形状を有しており、コの字状の一端を形成する棒状のアーム部２２ａがモータ２３を介して台座２４に支持され、コの字状の他方の端部を形成する棒状のアーム部２２ｂがモータ２３の駆動方向に追従して動くように台座２４の他の部分に支持されている。また、２つのアーム部（２２ａ、２２ｂ）の各々の他端が棒状のフレーム部２２ｆの両端のいずれか一方に連結されており、アーム部およびフレーム部２２ｆの少なくとも一方に、１以上の撮像装置２ｉが固定されている。また、機構２ｍは、撮像装置２ｉの初期位置を調整するためのセンサ２７をさらに備えても良い。この初期位置調整用のセンサ２７を用いて撮像装置２ｉの初期位置を決めることで、撮像装置２ｉの位置（撮影角度）のずれを防止し、診断時において品質の良い撮像画像Ｇの入手ができるように図っている。このセンサ２７は、例えばリードスイッチであっても良い。

これによって、カメラ固定フレーム２２の位置が、モータ２３の回転軸の延在方向に沿った中心軸線２２ｌを中心に、回転軸の回転方向に沿って、例えば０度〜１８０度の間などの所定の角度範囲の中で所定の角度毎など段階的に変化可能となっている。よって、カメラ固定フレーム２２の位置の変化に伴って、カメラ固定フレーム２２に取り付けられた撮像装置２ｉの位置も変化することにより、その撮影方向が変化するようになっており、この変位の中心に検査対象物９を設置することで、検査対象物９を移動させることなく、その様々な表面領域Ｓを撮影することが可能となっている。なお、台座２４が車輪２５を有することで、検査対象物９に対してカメラ固定フレーム２２を容易に配置可能となっている。

図２に示す実施形態では、第２可動部２１ｂは、上述したモータ２３と、検査対象物９が載置される、載置された検査対象物９の向きを変化させることが可能な回転台座２６と、を備えている。これによって、回転台座２６の向き（回転角）が、モータ２３の回転軸の回転方向に沿って、例えば３６０度などの所定の角度範囲の中で所定の角度毎など段階的に変化可能となっている。よって、回転台座２６の回転に伴って、検査対象物９の撮像装置２ｉに対する向きを段階的に変えられるようになっており、回転台座２６に検査対象物９を設置することで、カメラ固定フレーム２２（撮像装置２ｉ）を移動させることなく、検査対象物９の様々な表面領域Ｓを撮影することが可能となっている。

また、撮影制御部２ｃは、コンピュータ（後述）で構成されており、プログラム（撮影制御プログラム）に従って、上述した機構２ｍが備えるモータ２３を制御する。例えば、モータ２３がステッピングモータの場合には、モータ２３は、１パルス信号に応じて、カメラ固定フレーム２２あるいは回転台座２６を一定の角度だけ回す（移動させる）ようになっている。そして、撮影制御部２ｃは、パルス信号を所定数（１以上）だけモータ２３に入力する度に、撮像装置２ｉによる撮影を行わせることが可能である。また、撮影制御部２ｃは、指定された角度（位置）までカメラ固定フレーム２２あるいはモータ２３を移動させた後、撮像装置２ｉによる撮影を行わせることも可能である。

次に、上記の診断装置３はついて、詳細に説明する。
図３に示すように、診断装置３は、第１取得部４１と、第２取得部４２と、診断領域決定部５と、診断実行部７と、を有する。診断装置３が備える上記の機能部をそれぞれ説明する。

なお、診断装置３は、コンピュータで構成されても良い。コンピュータは、図示しないＣＰＵ（プロセッサ）およびＧＰＵや、ＲＯＭやＲＡＭといったメモリや外部記憶装置などとなる記憶装置ｍを備える。そして、メモリ（主記憶装置）にロードされたプログラム（診断プログラム）の命令に従ってＣＰＵとＧＰＵが動作（データの演算など）する。このプログラムは、コンピュータによる読み込みが可能な記憶媒体に記憶されても良い。

第１取得部４１は、検査対象物９の表面における複数の表面領域Ｓを低解像度で撮影した撮像画像Ｇである複数の低解像度画像Ｇａを取得するよう構成された機能部である。具体的には、複数の低解像度画像Ｇａは、カメラ固定フレーム２２あるいは回転台座２６を相互に異なる複数の位置（回転角度）でそれぞれ停止させて、撮像装置２ｉにより各位置での撮影を実行することで得られる。なお、低解像度画像Ｇａの画素数は、例えば約２００万画素（１９２０×１０８０）や約１０６０万画素（３９８４×２６５６）であっても良い。

図１に示す実施形態では、自動撮影装置２は、撮影制御部２ｃの指令に従って、カメラ固定フレーム２２を０度から１８０度まで所定の回転角度毎に停止し、停止した各位置において低解像度の設定での撮影を実行するようになっている。図２に示す実施形態では、回転台座２６を０度〜３６０度の範囲で所定の回転角度毎に停止、停止した各位置において低解像度の設定での撮影を実行するようになっている。そして、第１取得部４１は、こうした撮影により生成された複数の低解像度画像Ｇａを取得するようになっている。第１取得部４１は、自動撮影装置２と診断装置３との間の通信を実行することで、複数の低解像度画像Ｇａを取得しても良いし、診断装置３が備える記憶装置ｍに既に格納されている複数の低解像度画像Ｇａを取得しても良い。

診断領域決定部５は、上記の第１取得部４１によって取得された複数の低解像度画像Ｇａに基づいて、検査対象物９の表面の一部の表面領域Ｓを診断領域Ｓｔとして決定するよう構成された機能部である。

例えば、幾つかの実施形態では、図４に示すように、診断装置３は、検査対象物９の種類Ｋに応じた診断領域Ｓｔを定めた診断領域特定情報Ｒを記憶する記憶部１２を、さらに有しても良い。この記憶部１２は、診断装置３の記憶装置ｍに形成された記憶領域である。そして、診断領域決定部５は、複数の低解像度画像Ｇａに基づいて、検査対象物９の種類Ｋを特定する第１特定部５１ａと、この第１特定部５１ａによって特定された検査対象物９の種類Ｋおよび診断領域特定情報Ｒに基づいて、診断領域Ｓｔを決定する第１決定部５２ａと、を有しても良い。つまり、診断領域特定情報Ｒは、検査対象物９の種類Ｋと、その種類Ｋに応じた既定の診断領域Ｓｔとが関連付けられた情報である。この既定の診断領域Ｓｔは、過去の事例や設計情報などに基づいて特に確認すべき箇所を指定した情報であっても良い。この診断領域特定情報Ｒを参照することで、検査対象物９の種類Ｋから、診断領域Ｓｔをどこ決定すべきかを求めることが可能になっている。

具体的には、第１特定部５１ａは、複数の低解像度画像Ｇａから検査対象物９の種類Ｋを導出可能な第１学習モデルＭａに基づいて、検査対象物９の種類Ｋを特定しても良い。複数の低解像度画像Ｇａからは、検査対象物９の外形など外観上の特徴（特徴量）が得られることから、この第１学習モデルＭａは、複数の低解像度画像Ｇａから得られる上記の特徴と検査対象物９の種類Ｋとの関係性を学習することにより、予め生成される。例えば、検査対象物９の種類Ｋは、例えばガスタービンなどの製品の構成部品の製品名および型番で特定されるものであっても良い。また、診断領域特定情報Ｒに含まれる診断領域Ｓｔの情報は、検査対象物９における領域を一意に示すことが可能な情報であり、例えば、カメラ固定フレーム２２の位置座標や、その位置座標に対応した回転角度、その位置座標に対応したモータ２３の０度などの基準からの制御量（パルス数）で示されても良い。

これによって、検査対象物９の種類Ｋに応じて、検査対象物９における診断領域Ｓｔを適切に絞り込むことが可能となる。また、複数の低解像度画像Ｇａから検査対象物９の種類Ｋが特定できれば良いので、検査対象物９における検査すべき全ての表面が写るように撮影する必要は必ずしもない。このため、検査対象物９の低解像度による撮影回数を減らすことも可能であり、検査時間のさらなる短縮化を図ることができる。

他の幾つかの実施形態では、図５に示すように、診断領域決定部５は、複数の低解像度画像Ｇａに基づいて、複数の表面領域Ｓにおける欠陥被疑箇所Ｓｄを特定する第２特定部５１ｂと、特定された欠陥被疑箇所Ｓｄを含むように診断領域Ｓｔを決定する第２決定部５２ｂと、を有しても良い。欠陥被疑箇所Ｓｄは、欠陥と判定（評価）すべき可能性がある箇所である。具体的には、第２特定部５１ｂは、診断のための学習モデル（後述する第２学習モデルＭｂ）を用いて、複数の低解像度画像Ｇａの各々を入力として、低解像度画像Ｇａ毎に診断を実行しても良い。これによって、欠陥被疑箇所Ｓｄを含む領域を自動でより高画質に撮影することが可能となり、欠陥被疑箇所Ｓｄの詳細分析が可能となるのに加え、僅かな欠陥（欠陥の広がり）も見逃さないように図れる。このように低解像度画像Ｇａに基づいて１次的な診断を実行することで、後述する高解像度画像Ｇｂを用いた診断では欠陥と判定されないような箇所を、欠陥被疑箇所Ｓｄとして誤判定するのを防止することが可能となる。

第２取得部４２は、上記の診断領域決定部５により決定された診断領域Ｓｔを上述した低解像度画像Ｇａよりも高い解像度で撮影した画像である高解像度画像Ｇｂを取得するよう構成された機能部である。高解像度画像Ｇｂの画素数は、低解像度画像Ｇａよりも相対的に低解像度であれば、例えば約１０６０万画素（３９８４×２６５６）や、約２４００万画素（６０００×４０００）であっても良い。また、低解像度画像Ｇａおよび高解像度画像Ｇｂは、同じ撮像装置２ｉで設定を変えることにより撮影されても良いし、自動撮影装置２が、低解像度画像Ｇａを撮影するための撮像装置２ｉ、および高解像度画像Ｇｂを撮影するための撮像装置２ｉをそれぞれ備えることで撮影されても良い。

図３に示す実施形態では、診断装置３は、上述した診断領域決定部５によって決定された診断領域Ｓｔを高解像度で撮影する撮影指令Ｃを自動撮影装置２（撮影制御部２ｃ）に送信する撮影指令部６をさらに備えている。この撮影指令Ｃには、診断領域Ｓｔの位置を指定するための情報と、撮影時の解像度を指定するための情報が含まれている。例えば、撮影指令部６は、撮影指令Ｃを、無線または有線により、直接あるいは通信ネットワークを介して撮影制御部２ｃに通信する。そして、撮影制御部２ｃは、この撮影指令Ｃを受信すると、その指令内容に従ってモータ２３を駆動して、カメラ固定フレーム２２または回転台座２６を指定された位置まで動かした後、指定された解像度での撮影を実行する。診断領域決定部５により決定された診断領域Ｓｔの全範囲の高解像度画像Ｇｂを得るためには複数の位置で撮影を行う必要がある場合など、撮影指令Ｃに複数の位置の情報が含まれる場合には、撮影制御部２ｃは、複数の位置の各々にカメラ固定フレーム２２または回転台座２６を移動させて、各位置での撮影を実行する。

診断実行部７は、高解像度画像Ｇｂに基づいて診断を実行するよう構成された機能部である。例えば、入力された高解像度画像Ｇｂの特徴量を抽出し、抽出した特徴量に基づいて診断を実行する第２学習モデルＭｂを用いて、検査対象物９の欠陥の有無などの診断を実行しても良い。この第２学習モデルＭｂは、高解像度画像Ｇｂから抽出可能な特徴量と、欠陥の有無との関係性を学習（機械学習）したモデルであり、上記の特徴量と欠陥の有無とを関連付けた教師データを学習（機械学習）することにより、予め生成される。図３に示す実施形態では、診断実行部７は、診断結果を報告書の形式にして、ディスプレイ７ｄなどの出力装置に出力するようになっている。なお、出力装置は、プリンタなどの他の周辺機器であっても良い。

以下、上述した外観検査装置１による検査フローを、図６を用いて説明する。図６は、本発明の一実施形態に係る外観検査装置１による検査フローを示す図である。図６をステップ順に説明する。なお、本検査フローは、検査対象物９を自動撮影装置２に適切にセットした状態で、オペレータなどにより実行を指示されることで、開始される。

図６のステップＳ１において、自動撮影装置２が、検査対象物９における複数の表面領域Ｓを、撮像装置２ｉを用いて低解像度で順次撮影する。ステップＳ２において、自動撮影装置２は、ステップＳ１での撮影により生成された複数の低解像度画像Ｇａを診断装置３に送信する。ステップＳ３において、診断装置３は、これらの複数の低解像度画像Ｇａを読み込む（第１取得部４１）。ステップＳ４において、診断装置３は、複数の低解像度画像Ｇａに基づいて、検査対象物９の表面のうちの詳細に診断する診断領域Ｓｔを決定する（診断領域決定部５）。ステップＳ５において、診断装置３は、決定した診断領域Ｓｔを高解像度で撮影するために、撮影指令Ｃを自動撮影装置２（撮影制御部２ｃ）に送信する。ステップＳ６において、自動撮影装置２は、受信した撮影指令Ｃに基づいて、低解像度画像Ｇａの解像度よりも相対的に高い高解像度で診断領域Ｓｔを撮影する。ステップＳ７において、自動撮影装置２は、ステップＳ６での撮影により生成された１以上の高解像度画像Ｇｂを診断装置３に送信する。ステップＳ８において、診断装置３は、受信した高解像度画像Ｇｂを読み込む（第２取得部４２）。ステップＳ９において、診断装置３は、読み込んだ各高解像度画像Ｇｂに基づいて診断を実行し、診断結果を出力する。この診断結果は、正常または異常の種別、また、異常のあった診断領域Ｓｔの情報を含んでも良い。また、診断結果を報告書の形式にして出力しても良い。

上記の構成によれば、外観検査装置１は、検査対象物９の表面における相互に異なる領域（表面領域Ｓ）を自動で撮影可能な自動撮影装置２と、自動撮影装置２により撮影された撮像画像Ｇに基づいて検査対象物９の診断を実行する診断装置３とを備えている。そして、外観検査装置１は、検査対象物９の表面における相互に異なる領域を低解像度で撮影した撮像画像Ｇ（低解像度画像Ｇａ）の解析（画像処理など）を通して、詳細に検査すべき検査対象物９の表面部分を決定する。その後、決定した表面部分を含む領域（診断領域Ｓｔ）を高解像度で撮影した撮像画像Ｇ（高解像度画像Ｇｂ）の解析を通して、検査対象物９に欠陥が生じているか否かの判定などの診断領域Ｓｔの診断を実行する。

検査対象物９の診断を撮像画像Ｇに基づいて行う場合の診断精度は、撮像画像Ｇの撮影状態（撮影方向、露出（光の量）、ピントなど）に依存するが、自動撮影装置２を用いて自動で検査対象物９を撮影することにより、撮影状態のバラツキを抑制することができ、検査に適した品質を有する撮像画像Ｇを取得することができる。よって、撮像画像Ｇに基づいて診断を行う機能を機械学習などにより作成する場合に適切な教師データを得ることができ、診断精度の高い診断機能（機械学習モデル）を作成することができる。これと共に、自動撮影装置２により同様に撮影された高解像度画像Ｇｂを検査に用いることで、撮影状態を教師データのものと合わせことができ、診断精度の向上を図ることができる。また、低解像度画像Ｇａに基づいて検査対象物９において詳細な診断を行う領域（診断領域Ｓｔ）を絞りこみ、絞り込んだ領域について高解像度画像Ｇｂを撮影することにより、撮影時間の短縮化、および高解像度画像Ｇｂに基づく精度良く診断を行うことができ、検査対象物９の検査を適切に効率良く行うことができる。

本発明は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。

１ 外観検査装置
１２ 記憶部
２ 自動撮影装置
２ｃ 撮影制御部
２ｉ 撮像装置
２ｍ 機構
２１ 可動部
２１ａ 第１可動部
２１ｂ 第２可動部
２２ カメラ固定フレーム
２２ａ アーム部
２２ｂ アーム部
２２ｆ フレーム部
２２ｌ 中心軸線
２３ モータ
２４ 台座
２５ 車輪
２６ 回転台座
２７ センサ（初期位置調整用）
３ 診断装置
４１ 第１取得部
４２ 第２取得部
５ 診断領域決定部
５１ａ 第１特定部
５１ｂ 第２特定部
５２ａ 第１決定部
５２ｂ 第２決定部
６ 撮影指令部
７ 診断実行部
９ 検査対象物
Ｇ 撮像画像
Ｇａ 低解像度画像
Ｇｂ 高解像度画像
Ｓ 表面領域
Ｓｔ 診断領域
Ｓｄ 欠陥被疑箇所
Ｒ 診断領域特定情報
Ｋ 検査対象物の種類
Ｍａ 第１学習モデル（種類の特定用）
Ｍｂ 第２学習モデル（診断用）
Ｃ 撮影指令
ｍ 記憶装置（診断装置）

Claims (7)

1. 検査対象物の表面における相互に異なる領域である複数の表面領域を撮像装置により自動で撮影するよう構成された自動撮影装置と、
   前記自動撮影装置により撮影された撮像画像に基づいて、前記検査対象物の診断を実行するよう構成された診断装置と、を備え、
   前記診断装置は、
   前記複数の表面領域を低解像度で撮影した前記撮像画像である複数の低解像度画像を取得する第１取得部と、
   前記複数の低解像度画像に基づいて、前記検査対象物の表面の一部の前記表面領域を診断領域として決定する診断領域決定部と、
   前記低解像度画像よりも高い高解像度で前記診断領域を撮影した前記撮像画像である高解像度画像を取得する第２取得部と、
   前記高解像度画像に基づいて前記診断を実行する診断実行部と、を有することを特徴とする外観検査装置。
2. 前記診断装置は、前記検査対象物の種類毎に前記診断領域を定めた診断領域特定情報を記憶する記憶部を、さらに有し、
   前記診断領域決定部は、
   前記複数の低解像度画像に基づいて、前記検査対象物の種類を特定する第１特定部と、
   特定された前記検査対象物の種類および前記診断領域特定情報に基づいて、前記診断領域を決定する第１決定部と、を有することを特徴とする請求項１に記載の外観検査装置。
3. 前記診断装置は、前記検査対象物の種類毎に前記診断領域を定めた診断領域特定情報を記憶する記憶部を、さらに有し、
   前記診断領域決定部は、
   前記複数の低解像度画像に基づいて、前記複数の表面領域における欠陥被疑箇所を特定する第２特定部と、
   特定された前記欠陥被疑箇所を含むように前記診断領域を決定する第２決定部と、を有することを特徴とする請求項１に記載の外観検査装置。
4. 前記診断装置は、決定された前記診断領域を前記高解像度で撮影する撮影指令を前記自動撮影装置に送信する撮影指令部をさらに備え、
   前記自動撮影装置は、前記撮影指令で指定された前記診断領域の前記高解像度画像を撮影することを特徴とする請求項１〜３のいずれか１項に記載の外観検査装置。
5. 前記自動撮影装置は、
   前記検査対象物に対する前記撮像装置の撮影方向を変化させることが可能な機構と、
   前記複数の表面領域の前記撮像装置による撮影が可能となるように前記機構を制御すると共に、前記撮像装置を制御することにより前記複数の表面領域をそれぞれ撮影する撮影制御部と、を有することを特徴とする請求項１〜４のいずれか１項に記載の外観検査装置。
6. 前記機構は、
   前記検査対象物に対して、前記撮像装置の前記撮影方向又は位置の少なくとも一方を変化させる第１可動部、または、前記撮像装置に対して、前記検査対象物の向き又は位置の少なくとも一方を変化させる第２可動部の少なくとも一方を有することを特徴とする請求項５に記載の外観検査装置。
7. 前記検査対象物は、ガスタービンを構成する動翼、静翼、分割環または燃焼器であることを特徴とする請求項１〜６のいずれか１項に記載の外観検査装置。

Images