JP2011232111A - 検査装置及び検査装置の用いた欠陥検出方法 - Google Patents

検査装置及び検査装置の用いた欠陥検出方法 Download PDF

Info

Publication number
JP2011232111A
JP2011232111A JP2010101475A JP2010101475A JP2011232111A JP 2011232111 A JP2011232111 A JP 2011232111A JP 2010101475 A JP2010101475 A JP 2010101475A JP 2010101475 A JP2010101475 A JP 2010101475A JP 2011232111 A JP2011232111 A JP 2011232111A
Authority
JP
Japan
Prior art keywords
image
subject
feature
information indicating
defect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010101475A
Other languages
English (en)
Other versions
JP2011232111A5 (ja
Inventor
Fumio Hori
史生 堀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010101475A priority Critical patent/JP2011232111A/ja
Priority to US13/091,291 priority patent/US20110262026A1/en
Publication of JP2011232111A publication Critical patent/JP2011232111A/ja
Publication of JP2011232111A5 publication Critical patent/JP2011232111A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M13/00Testing of machine parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10068Endoscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)

Abstract

【課題】ブレード上の欠陥の有無、量及び大きさを簡単に認識できるとともに、複数のブレード上に存在する複数の欠陥を簡単に認識することができる内視鏡装置を提供する。
【解決手段】内視鏡装置3は、1の条件に基づいて、画像から複数の被写体のうち少なくとも2つの被写体の第1の特徴部を検出する特徴検出部と、少なくとも2つの被写体の第1の特徴部に基づいて、第1の被写体の第1の特徴部と第2の被写体の第1の特徴部とを判別する特徴判別部と、第1の被写体の第1の特徴部、及び第2の被写体の第1の特徴部に基づいて、第1の被写体の第1の欠陥部、及び第2の被写体の第1の欠陥部を検出する欠陥検出部と、第1の被写体の第1の欠陥部を示す情報、及び第2の被写体の第1の欠陥部を示す情報を、画像と共に表示する表示部とを有する。
【選択図】図2

Description

本発明は、検査装置及び検査装置の用いた欠陥検出方法に関し、特に、複数の被写体の欠陥の有無、量及び大きさを簡単に認識できる検査装置及び検査装置の用いた欠陥検出方法に関する。
従来、非破壊検査装置は、航空機用エンジンやボイラ等を検査対象物(被写体)とする非破壊検査を行う。このような検査対象物の検査は、検査装置が撮像した画像を表示部に表示し、検査官が目視で傷等の異常部分を識別するものであった。
このため、たとえば航空機用エンジン内に多数配列されているタービンブレードのように検査対象物の数が多いと、高い集中力を必要とする検査作業が長時間続くこととなって検査官の負担を大きくするため、異常部分の判定及び検出を自動化することができる検査装置が開発されている。
このような異常部分を自動的に検出する検査装置は、画像処理で良品及び不良品を判別するため、予め用意した良品の画像データ(以下、良品モデルという)を検査対象物の画像データと比較し、両方の画像データに相違がなければ正常と判断する。
しかし、このような検査装置を用いた検査では、多種類の検査対象物毎に異なる良品モデルを作成するという面倒な作業が必要になる。
そこで、良品モデルに相当する比較対象物の作成を不要とした画像処理により、異常検出を可能とする内視鏡装置が提案されている(例えば、特許文献1参照)。
この特許文献1に記載された内視鏡装置は、画像データの形状が直線ないし緩やかな曲線状の場合を正常と判定し、それ以外を異常と判定する画像識別手段を備え、良品モデルに相当する比較対象物の作成を不要とした画像処理により、異常検出を可能としている。
特開2005−55756号公報
しかしながら、特許文献1に記載された内視鏡装置は、動画像の1フレーム毎に、タービンブレードの異常部分である欠陥部に「DEFECT」という文字を表示または非表示するだけで、ユーザは、どの程度の欠陥があるのかを認識することができない。また、この内視鏡装置は、1つのタービンブレード上に存在する複数の欠陥なのか、複数のタービンブレード上に存在する複数の欠陥なのかを認識することができない。
そこで、本発明は、複数の被写体の欠陥の有無、量及び大きさを簡単に認識できるとともに、複数の被写体に存在する複数の欠陥を簡単に認識することができる検査鏡装置を提供することを目的とする。
本発明の一態様によれば、複数の被写体を撮像して画像を得る検査装置であって、第1の条件に基づいて、前記画像から前記複数の被写体のうち少なくとも2つの被写体の第1の特徴部を検出する特徴検出部と、前記少なくとも2つの被写体の前記第1の特徴部に基づいて、第1の被写体の前記第1の特徴部と第2の被写体の前記第1の特徴部とを判別する特徴判別部と、前記第1の被写体の前記第1の特徴部、及び前記第2の被写体の前記第1の特徴部に基づいて、前記第1の被写体の第1の欠陥部、及び前記第2の被写体の第1の欠陥部を検出する欠陥検出部と、前記第1の被写体の第1の欠陥部を示す情報、及び前記第2の被写体の第1の欠陥部を示す情報を、前記画像と共に表示する表示部と、を有することを特徴とする検査装置を提供することができる。
本発明の検査装置によれば、複数の被写体の欠陥の有無、量及び大きさを簡単に認識できるとともに、複数の被写体に存在する複数の欠陥を簡単に認識することができる。
本実施の形態に係るブレード検査システムの構成を示す図である。 内視鏡装置3の構成を示すブロック図である。 欠陥検査ソフトを実行したときに表示されるメインウィンドウ50を説明するための説明図である。 閲覧ボタン56が押下されたときに表示される閲覧ウィンドウの例を説明するための説明図である。 閲覧ボタン56が押下されたときに表示される閲覧ウィンドウの他の例を説明するための説明図である。 閲覧ボタン56が押下されたときに表示される閲覧ウィンドウの他の例を説明するための説明図である。 欠陥検査ソフトの動作の流れの例を説明するためのフローチャートである。 図5のステップS3の初期化処理の流れの例を説明するためのフローチャートである。 図5のステップS5の映像表示処理の流れの例を説明するためのフローチャートである。 図5のステップS6の静止画撮影処理の流れの例を説明するためのフローチャートである。 図5のステップS7の動画撮影処理の流れの例を説明するためのフローチャートである。 図5のステップS8の検査設定処理の流れの例を説明するためのフローチャートである。 図5のステップS9の欠陥検査処理の流れの例を説明するためのフローチャートである。 図11のステップS72の欠け検出処理の流れの例を説明するためのフローチャートである。 読み出されたフレーム画像90の例を示す図である。 グレースケール画像から変換されたエッジ画像A93の例を示す図である。 エッジ画像A93から変換された2値画像94の例を示す図である。 2値画像94から変換された細線画像A95の例を示す図である。 細線画像A95から変換された細線画像B96の例を示す図である。 細線画像B96から変換された膨張画像97の例を示す図である。 グレースケール画像と膨張画像97から取り出されたエッジ領域画像98の例を示す図である。 エッジ領域画像98から生成されたエッジ画像B99の例を示す図である。 エッジ画像B99から生成された分割エッジ画像100の例を示す図である。 分割エッジ画像100の各分割エッジに対して、円が近似された円近似画像101の例を示す図である。 分割エッジ画像100から所定の分割エッジが除去されたエッジ画像C104の例を示す図である。 エッジ画像C104を内視鏡映像に重畳表示した例を示す図である。 はがれ検出処理により得られたエッジ画像が内視鏡映像に重畳表示された例を示す図である。 欠け及びはがれ検出処理により得られたエッジ画像が内視鏡映像に重畳表示された例を示す図である。 本実施の形態の変形例に係るブレード検査システムの構成の例を示す図である。 本実施の形態の変形例に係るブレード検査システムの構成の例を示す図である。 PC6の構成の例を説明するためのブロック図である。
以下、図面を参照して本発明の実施の形態について詳細に説明する。
図1は、本実施の形態に係るブレード検査システムの構成を示す図である。図1に示すように、ジェットエンジン1内には、検査対象物である複数のタービンブレード10が所定の間隔で周期的に配置されている。なお、検査対象物は、タービンブレード10に限定されることなく、例えば、コンプレッサーブレードであってもよい。また、ジェットエンジン1には、タービンブレード10を回転方向Aに所定の速度で回転させるターニングツール2が接続されている。本実施の形態では、タービンブレード10の画像を取り込んでいる間は常にタービンブレード10を回転させた状態にしている。
本実施の形態では、タービンブレード10の画像を取得するため、内視鏡装置3が用いられる。ジェットエンジン1の内部には、内視鏡装置3の内視鏡挿入部20が挿入されており、この内視鏡挿入部20により、回転しているタービンブレード10の映像が取り込まれる。また、内視鏡装置3には、タービンブレード10を所望の角度で撮像した画像を記録するため、及び複数のタービンブレード10の欠陥をリアルタイムに検出し、検出した欠陥を強調表示するための欠陥検査ソフトウエアプログラム(以下、欠陥検査ソフトという)が記憶されている。
この欠陥には、タービンブレード10の一部が欠けて無くなった状態である「欠け(欠損)」(第1の欠陥部)と、タービンブレード10の表面が薄くなった状態である「はがれ」(第2の欠陥部)とがある。「はがれ」は、タービンブレード10の表面だけが薄くはがれた状態と、タービンブレード10の表面が深くえぐれた状態とを含む。欠陥検査ソフトは、これらの欠け及び/またははがれを検出する。
図2は、内視鏡装置3の構成を示すブロック図である。図2に示すように、内視鏡装置3は、内視鏡挿入部20と、内視鏡装置本体21と、モニタ22と、リモートコントローラ(以下、リモコンという)23とから構成されている。内視鏡挿入部20の先端には、撮像光学系30aおよび撮像素子30bが内蔵されている。また、内視鏡装置本体21には、画像信号処理装置(CCU)31と、光源32と、湾曲制御ユニット33と、制御用コンピュータ34とが内蔵されている。
内視鏡挿入部20において、撮像光学系30aは被写体からの光を集光し、撮像素子30bの撮像面上に被写体像を結像する。撮像素子30bは、被写体像を光電変換して撮像信号を生成する。撮像素子30bから出力された撮像信号は、画像信号処理装置31に入力される。
内視鏡装置本体21において、画像信号処理装置31は、撮像素子30bからの撮像信号をNTSC信号等の映像信号に変換して制御用コンピュータ34およびモニタ22に供給し、さらに必要に応じてアナログビデオ出力として、端子から外部に出力可能となっている。
光源32は、光ファイバ等を通じて内視鏡挿入部20の先端に接続されており、光を外部に照射することができる。湾曲制御ユニット33は、内視鏡挿入部20の先端と接続されており、内視鏡挿入部20の先端の湾曲部を上下左右に湾曲させることができる。光源32および湾曲制御ユニット33の制御は、制御用コンピュータ34によって行われる。
制御用コンピュータ34は、RAM34aと、ROM34bと、CPU34cと、外部インターフェースとしてLAN I/F34dと、RS232C I/F34eと、カード I/F34fとから構成されている。
RAM34aは、ソフトウェア動作に必要な画像情報等のデータを一時記憶するために使用される。ROM34bには、内視鏡装置3を制御するための一連のソフトウェアが記憶されており、後述する欠陥検査ソフトもROM34b内に記憶される。CPU34cは、ROM34bに記憶されているソフトウェアの命令コードに従って、RAM34aに記憶されたデータを用いて各種制御のための演算等を実行する。
LAN I/F34dは、外部のパーソナルコンピュータ(以下、外部PCという)とLANケーブルによって接続するためのインターフェースであり、外部PCに対して、画像信号処理装置31から出力された映像情報を出力することができる。RS232C I/F34eは、リモコン23と接続するためのインターフェースであり、このリモコン23をユーザが操作することによって、内視鏡装置3の各種動作を制御することができる。カード I/F34fは、記録媒体である各種メモリカード、ここでは、CFカード40を自由に着脱できるようになっている。ユーザは、カード I/F34fにCFカード40を装着することにより、CPU34cの制御によって、CFカード40に記憶されている画像情報等のデータを取り込む、あるいは画像情報等のデータをCFカード40に記録することができる。
図3は、欠陥検査ソフトを実行したときに表示されるメインウィンドウ50を説明するための説明図である。図3に示すメインウィンドウ50は、ユーザが欠陥検査ソフトを起動することにより、モニタ22に表示される。
メインウィンドウ50の表示は、CPU34cによる制御に従って行われる。CPU34cは、メインウィンドウ50を表示するためのグラフィック画像信号(表示信号)を生成し、モニタ22へ出力する。
また、内視鏡装置3に取り込まれた映像(以下、内視鏡映像と記載)をメインウィンドウ50上に重畳表示する場合には、CPU34cは、画像信号処理装置31によって処理された画像データをグラフィック画像信号に重畳する処理を行い、処理後の信号をモニタ22へ出力する。
ユーザは、GUI機能を利用して、リモコン23を介してメインウィンドウ50を操作することにより、内視鏡映像の閲覧、欠陥検査結果の閲覧、検査アルゴリズムの設定、パラメータの設定、画像ファイルの保存、動画ファイルの保存等を行うことができる。以下、各種GUIの機能を説明する。
ライブ映像ウィンドウ51は、内視鏡映像を表示するためのウィンドウであり、欠陥検査ソフトが起動されると、ライブ映像ウィンドウ51に内視鏡映像がリアルタイムに表示される。ライブ映像ウィンドウ51により、ユーザは内視鏡映像を閲覧することができる。
撮影ボタン52は、静止画の撮影を行うためのボタンであり、撮影ボタン52が押下されると、内視鏡映像のうち、撮影ボタン52が押下されたタイミングで取り込まれた1フレーム分の画像が、画像ファイルとしてCFカード40に保存される。
画像ファイル名フィールド53は、撮影された画像ファイル名を表示するためのフィールドであり、撮影ボタン52が押下されると、撮影ボタン52が押下されたタイミングで保存された画像ファイルのファイル名が表示される。
キャプチャ開始ボタン54は、動画の撮影を行うためのボタンであり、キャプチャ開始ボタン54が押下されると、内視鏡映像の動画ファイルへの記録が開始される。その際、キャプチャ開始ボタン54の表示は、「キャプチャ開始」から「キャプチャ停止」に切り替わる。そして、キャプチャ停止ボタン54が押下されると、内視鏡映像の動画ファイルへの記録が停止され、キャプチャ停止ボタン54が押下されるまで記録された動画ファイルがCFカード40に保存される。その際、キャプチャ停止ボタン54の表示は、「キャプチャ停止」から「キャプチャ開始」に切り替わる。
動画ファイル名フィールド55は、撮影された動画ファイル名を表示するためのフィールドであり、キャプチャ開始ボタン54が押下されると、そのタイミングで記録が開始された動画ファイルのファイル名が表示される。
閲覧ボタン56は、CFカード40に保存された画像ファイルおよび動画ファイルの閲覧を行うためのボタンであり、閲覧ボタン56が押下されると、後述する閲覧ウィンドウが表示され、保存された画像ファイルおよび動画ファイルの閲覧を行うことができる。なお、閲覧ボタン56押下時の処理の詳細は、省略する。
検査アルゴリズムボックス57は、検査アルゴリズムの各種設定を行うためのボックスであり、その検査アルゴリズムボックス57内には、検査アルゴリズム選択ラジオボタン58、及び検査パラメータ調整バー59が配置されている。
検査アルゴリズム選択ラジオボタン58は、使用する検査アルゴリズムを選択するためのラジオボタンである。検査アルゴリズム選択ラジオボタン58は、「なし」、「欠け検出」、「はがれ検出」の3種類がある。なしラジオボタン58aは、検査アルゴリズムを使用しない場合に選択される。欠け検出ラジオボタン58bは、欠け検出アルゴリズムを使用する場合に選択される。はがれ検出ラジオボタン58cは、はがれ検出アルゴリズムを使用する場合に選択される。また、検査アルゴリズムは、複数選択できるようになっている。例えば、欠け検出ラジオボタン58b及びはがれ検出ラジオボタン58cが選択されると、タービンブレード10の欠け及びはがれが検出される。
検査パラメータ調整バー59は、検査パラメータの設定値を調整するためのバーである。検査パラメータ調整バー59の右側には、設定値が表示される。また、検査パラメータ調整バー59は、検査アルゴリズム選択ラジオボタン58の選択状況によって、表示内容が切り替わる。これは、使用する検査アルゴリズムによって、検査パラメータの種類も異なるからである。図3のなしラジオボタン58aが選択されている場合は、検査パラメータ調整バー59は無効となる。検査パラメータ調整バー59を無効するには、検査パラメータ調整バー59をグレーアウトとして、操作を行えないようにする、あるいは、検査パラメータ調整バー59を非表示にすることにより実現する。
また、図3に示すように、欠け検出ラジオボタン58bが選択されている場合、エッジ閾値バー59a及び径閾値バー59bがそれぞれ表示される。エッジ閾値バー59a及び径閾値バー59bにおける設定値の詳細は後述する。同様に、図3のはがれ検出ラジオボタン58cが選択されている場合、エッジ閾値バー59a及び径閾値バー59bがそれぞれ表示される。各バーにおける設定値の詳細は後述する。
処理画像保存ボックス60は、検出した欠陥画像(第1の欠陥部を示す情報、第2の欠陥部を示す情報)を保存するためのボックスである。処理画像保存ボックス60がチェックされていない場合、欠陥画像が保存されず、処理画像保存ボックス60がチェックされている場合、欠陥画像が保存される。初期状態では、処理画像保存ボックス60はチェックされている状態となり、欠陥画像が保存されるようになっている。なお、処理画像保存ボックス60を設けずに、常に欠陥画像を保存するようにしてもよい。
このように、本実施の形態では、欠陥画像は、画像ファイル又は動画ファイルと異なるファイルで記憶されるようになっている。この欠陥画像は、画像ファイル又は動画ファイルと同じ名前のテキストファイル(以下、txtファイルという)としてCFカード40等に記憶される。画像ファイル又は動画ファイルが読み込まれた際に、画像ファイル又は動画ファイル名と同じ名前のtxtファイルがある場合、そのtxtファイルを付帯情報として読み込むことにより、内視鏡映像に欠陥画像が重畳表示される。
×ボタン61は、欠陥検査ソフトを終了するためのボタンである。×ボタン61が押下されると、メインウィンドウ50が非表示となり、欠陥検査ソフトの動作が終了する。
ここで、上述した閲覧ボタン56が押下されたときの閲覧ウィンドウについて説明する。図4Aは、閲覧ボタン56が押下されたときに表示される閲覧ウィンドウの例を説明するための説明図である。
閲覧ウィンドウ70aは、ファイル名リストボックス71と、画像ウィンドウ72と、欠陥検出チェックボタン73と、再生ボタン74と、停止ボタン75と、×ボタン76とを有してしる。
ファイル名リストボックス71は、CFカード40に保存されている画像ファイルのファイル名及び動画ファイルのファイル名をリスト表示するためのボックスである。
画像ウィンドウ72は、ファイル名リストボックス71から選択された画像ファイルまたは動画ファイルの画像を表示するウィンドウである。
欠陥検出チェックボタン73は、後述する欠け検出処理及びはがれ検出処理により検出されたエッジ画像(第1の欠陥部を示す情報、第2の欠陥部を示す情報)を内視鏡映像に重畳表示するためのボタンである。欠陥検出チェックボタン73がチェックされていると、動画ファイルが読み込まれた際に、上述した動画ファイル名と同じ名前のtxtファイルがある場合、そのtxtファイルを付帯情報として読み込まれる。
再生ボタン74は、動画ファイルの再生を行うためのボタンである。また、停止ボタン75は、再生されている動画ファイルの停止を行うためのボタンである。
×ボタン76は、閲覧ウィンドウ70aを閉じて、メインウィンドウ50に戻るためのボタンである。なお、閲覧ウィンドウ70aを図4Bまたは図4Cのようにしてもよい。
図4B及び図4Cは、閲覧ボタン56が押下されたときに表示される閲覧ウィンドウの他の例を説明するための説明図である。なお、図4B及び図4Cにおいて、図4Aと同一の構成について同一の符号を付して説明を省略する。
図4Bに示す閲覧ウィンドウ70bは、画像ファイルの内視鏡映像をサムネイル表示するための閲覧ウィンドウである。閲覧ウィンドウ70bは、複数、ここでは、4つのサムネイル画像表示ウィンドウ77a〜77dと、欠陥量表示バー78a〜78dと、スクロールバー79と、スクロールボックス80とを有している。
サムネイル画像表示ウィンドウ77a〜77dには、例えば、撮影された日時の早い順に内視鏡映像が表示される。
欠陥量表示バー78a〜78dは、それぞれサムネイル画像表示ウィンドウ77a〜77dに表示された内視鏡映像に含まれる欠陥量を表示する。
スクロールバー79は、表示領域をスクロールさせるためのバーである。また、スクロールバー79上に配置されたスクロールボックス80は、現在のスクロール位置を示すためのボックスである。
ユーザは、スクロールバー79上のスクロールボックス80を操作することにより、サムネイル画像表示ウィンドウ77dに表示されているサムネイル画像以降に撮影されたサムネイル画像を閲覧ウィンドウ70bに表示することができる。
撮影された日時の早い順に画像ファイルが表示されるため、ユーザは、図4Aのファイル名リストボックス71に表示された画像ファイルのファイル名を順次選択することなく、どの画像ファイルに欠陥がある画像が保存されているかが容易に認識することができる。
次に、図4Cに示す閲覧ウィンドウ70cは、動画ファイルの内視鏡映像を表示するための閲覧ウィンドウである。閲覧ウィンドウ70cは、動画再生ウィンドウ81と、欠陥時間表示バー82とを有している。
動画再生ウィンドウ81は、ユーザによって選択された動画ファイルの内視鏡映像を表示するウィンドウである。
欠陥時間表示バー82は、動画ファイルに欠陥画像が含まれる時間帯を表示する。欠陥時間表示バー82の図4Cに向かって左端を撮影開始時間、図4Cに向かって右端を撮影終了時間として、欠陥画像の含まれる時間帯が黒く塗り潰されている。
ユーザは、欠陥時間表示バー82を確認することで、動画ファイルのどの時間帯に欠陥画像が多く含まれているかが容易に認識することができる。
なお、閲覧ウィンドウ70cは、1つの動画像ファイルを再生するときの例であるが、図4Bの閲覧ウィンドウ70bと同様の構成にし、複数の動画ファイルを同時に再生できるようにしてもよい。
ここで、図5を用いて、欠陥検査ソフトの動作の流れを説明する。図5は、欠陥検査ソフトの動作の流れの例を説明するためのフローチャートである。
まず、ユーザよって欠陥検出ソフトが起動される(ステップS1)。このとき、リモコン23に入力された欠陥検査ソフトの起動指示に基づいて、CPU34cは、ROM34bに格納されている欠陥検査ソフトをRAM34aに読み込み、欠陥検査ソフトに従った動作を開始する。
次に、CPU34cは、メインウィンドウ50を表示するための処理を行い(ステップS2)、初期化処理を行う(ステップS3)。初期化処理とは、メインウィンドウ50内の各種GUIの初期状態を設定したり、RAM34aに記録された各種データの初期値を設定したりする処理のことである。初期化処理の詳細は、後述する図6を用いて説明する。
次に、CPU34cは、繰り返し処理を行う(ステップS4)。CPU34cは、 ×ボタン61が押下されると、繰り返し処理を終了し、処理はステップS10に移行する。繰り返し処理が行われるステップS4内部には、ステップS5、ステップS6、ステップS7、ステップS8及びステップS9の5つのフローがある。ステップS5、ステップS6、ステップS7及びステップS8のそれぞれのフローは、並列的に処理される。また、ステップS8のフローが実行されるとステップS9のフローが実行される。そのため、ステップS9のフローは、ステップS5、ステップS6及びステップS7と並列的に処理される。
ステップS4内部では、CPU34cが映像表示処理を行う(ステップS5)。映像表示処理とは、ライブ映像ウィンドウ51に内視鏡映像を表示する処理のことである。映像表示処理の詳細は、後述する図7を用いて説明する。
また、ステップS4内部では、ユーザによって撮影ボタン52が押下されると、CPU34cが静止画撮影処理を行う(ステップS6)。静止画撮影処理とは、内視鏡映像のうち、1フレーム分の画像を、画像ファイルとしてCFカード40に保存する処理のことである。静止画撮影処理の詳細は、後述する図8を用いて説明する。
また、ステップS4内部では、ユーザによってキャプチャ開始ボタン54が押下されると、CPU34cが動画撮影処理を行う(ステップS7)。動画撮影処理とは、内視鏡映像のうち、指定された期間の映像を、動画ファイルとしてCFカード40に保存する処理のことである。動画撮影処理の詳細は、後述する図9を用いて説明する。
また、ステップS4内部では、ユーザによって検査アルゴリズムボックス57または検査パラメータ調整バー59が操作されると、CPU34cが検査設定処理を行う(ステップS8)。検査設定処理とは、後述する欠陥検査処理において使用される検査アルゴリズムまたは検査パラメータを設定する処理のことである。検査設定処理の詳細は、後述する図10を用いて説明する。
ステップS8が実行されると、CPU34cが欠陥検査処理を行う(ステップS9)。欠陥検査処理とは、内視鏡映像に対して画像処理を施すことで、被写体の欠陥検査を行う処理のことである。欠陥検査処理の詳細は、後述する図11を用いて説明する。
そして、ステップS4において×ボタン61が押下されると、CPU34cがメインウィンドウ50を非表示とし(ステップS10)、欠陥検査ソフトの動作を終了する。
次に、図6を用いて、ステップS3の初期化処理の流れを説明する。図6は、図5のステップS3の初期化処理の流れの例を説明するためのフローチャートである。
まず、CPU34cは、キャプチャフラグをOFFとして、RAM34aに記録する(ステップS11)。キャプチャフラグとは、現在動画撮影が行われているかどうかを示すフラグである。キャプチャフラグがとり得る値は、ONかOFFかのどちらかである。
次に、CPU34cは、選択アルゴリズムを「なし」として、RAM34aに記録する(ステップS12)。選択アルゴリズムとは、現在選択されている検査アルゴリズムのことである。選択アルゴリズムがとり得る値は、「なし」「欠け検出」「はがれ検出」の3つである。
次に、CPU34cは、検査パラメータを初期値に設定して、RAM34aに記録する(ステップS13)。検査パラメータとは、現在設定されている検査パラメータのことである。検査パラメータは、検査アルゴリズムによって種々の値があり、その初期値はRAM34aにあらかじめ記録されている。
最後に、CPU34cは、検査パラメータ調整バー59の表示切替を行い(ステップS14)、処理を終了する。ステップS12において、RAM34aに記録された選択アルゴリズムは「なし」であるので、検査パラメータ調整バー59は無効状態となる。
次に、図7を用いて、ステップS5の映像表示処理の流れを説明する。図7は、図5のステップS5の映像表示処理の流れの例を説明するためのフローチャートである。
まず、CPU34cが、画像信号処理装置31から1フレーム分の画像(画像信号)をフレーム画像として取り込む(ステップS21)。なお、ステップS21よりも前の時点で、撮像素子30bは1フレーム分の撮像信号を生成し、画像信号処理装置31はその撮像信号を映像信号に変換し、1フレーム分の画像を生成している。
次に、CPU34cが、ステップS21で取り込んだフレーム画像をRAM34aに記録する(ステップS22)。RAM34aに記録されたフレーム画像は、CPU34cがフレーム画像を取り込む度に上書きされる。
最後に、CPU34cが、ステップS21で取り込んだフレーム画像をライブ映像ウィンドウ51に表示するための処理を行い(ステップS23)、処理を終了する。
次に、図8を用いて、ステップS6の静止画撮影処理の流れを説明する。図8は、図5のステップS6の静止画撮影処理の流れの例を説明するためのフローチャートである。
まず、CPU34cは、撮影ボタン52がユーザにより押下されたか否かを判定する(ステップS32)。撮影ボタン52が押下されたと判定された場合、YESとなり、処理はステップS32に移行し、撮影ボタン52が押下されていないと判定された場合、NOとなり、処理は終了する。
次に、撮影ボタン52が押下されたと判定された場合、CPU34cは、処理画像保存ボックス60がチェックされているか否かに基づき、処理画像保存判定を行う(ステップS32)。CPU34cは、この判定結果に応じて、欠陥画像がある場合、画像ファイルと同名のtxtファイルを作成し、欠陥画像を保存する。
次に、CPU34cは、画像ファイルのファイル名を作成する(ステップS33)。ファイル名は、撮影ボタン52が押下された日時となる。例えば、撮影ボタン52が押下された日時が、2009年10月9日14時52分34秒の場合、ファイル名は「20091009145234.jpg」となる。なお、画像ファイルは、jpg形式に限定されることなく、他の形式であってもよい。
次に、CPU34cは、画像ファイル名フィールド53にステップS32で作成された画像ファイルのファイル名を表示する(ステップS34)。
次に、CPU34cは、上述したステップS22においてRAM34aに記録されているフレーム画像を読み出す(ステップS35)。
最後に、CPU34cは、フレーム画像を画像ファイルとして、CFカード40に保存する(ステップS36)。このとき、保存される静止画像ファイルのファイル名は、ステップS32で作成されたファイル名となる。ステップS35の処理が終了すると、処理は終了する。
次に、図9を用いて、ステップS7の動画撮影処理の流れを説明する。図9は、図5のステップS7の動画撮影処理の流れの例を説明するためのフローチャートである。
まず、CPU34cは、RAM34aに記録されたキャプチャフラグがONか否かを判定する(ステップS41)。キャプチャフラグがONと判定された場合、YESとなり、処理はステップS51に移行し、キャプチャフラグがOFFと判定された場合、NOとなり、処理はステップS42に移行する。
次に、キャプチャフラグがOFFと判定された場合、CPU34cは、キャプチャ開始ボタン54がユーザにより押下されたかどうか否かを判定する(ステップS42)。キャプチャ開始ボタン54が押下されたと判定された場合、YESとなり、処理はステップS43に移行し、キャプチャ開始ボタン54が押下されていないと判定された場合、処理は終了する。
次に、キャプチャ開始ボタン54が押下されたと判定された場合、CPU34cは、キャプチャフラグをONとして、RAM34aに記録する(ステップS43)。
次に、CPU34cは、キャプチャ開始ボタン54の表示を、「キャプチャ開始」から「キャプチャ停止」に切り替える(ステップS44)。
次に、CPU34cは、処理画像保存ボックス60がチェックされているか否かに基づき、処理画像保存判定を行う(ステップS45)。CPU34cは、この判定結果に応じて、欠陥画像がある場合、動画ファイルと同名のtxtファイルを作成し、欠陥画像を保存する。
次に、CPU34cは、動画像ファイルのファイル名を作成する(ステップS46)。ファイル名は、キャプチャ開始ボタン54が押下された日時となる。例えば、キャプチャ開始ボタン54が押下された日時が、2009年10月9日14時52分34秒の場合、ファイル名は「20091009145234.avi」となる。なお、動画ファイルは、avi形式に限定されることなく、他の形式であってもよい。
次に、CPU34cは、動画ファイル名フィールド55にステップS32で作成された静止画像ファイルのファイル名を表示する(ステップS47)。
次に、CPU34cは、動画像ファイル作成し、RAM34aに記録する(ステップS48)。但し、このとき作成される動画像ファイルは、初期状態のファイルであり、映像はまだ記録されていない。後述するステップS50において、動画ファイルにフレーム画像が順次追加記録される。
次に、CPU34cは、RAM34aに記録されたフレーム画像を読み出す(ステップS49)。
次に、CPU34cは、RAM34aに記録された動画像ファイルに、読み出したフレーム画像を追加記録する(ステップS50)。ステップS50の処理が終了すると、処理は終了する。
一方、ステップS41において、キャプチャフラグがOFFと判定された場合、CPU34cは、キャプチャ停止ボタン54がユーザにより押下されたか否かを判定する(ステップS51)。キャプチャ停止ボタン54が押下されたと判定された場合、YESとなり、処理はステップS52に移行し、キャプチャ停止ボタン54が押下されていないと判定された場合、NOとなり、処理はステップS49に移行する。
次に、キャプチャ停止ボタン54が押下されたと判定された場合、CPU34cは、RAM34aに記録された動画像ファイルを、CFカード40に保存する(ステップS52)。このとき、保存される動画ファイルのファイル名は、ステップS46で作成されたファイル名となる。
次に、CPU34cは、キャプチャ停止ボタン54の表示を、「キャプチャ停止」から「キャプチャ開始」に切り替える(ステップS53)。
最後に、CPU34cは、キャプチャフラグをOFFとして、RAM34aに記録する(ステップS54)。ステップS54の処理が終了すると、処理は終了する。
次に、図10を用いて、ステップS8の検査設定処理の流れを説明する。図10は、図5のステップS8の検査設定処理の流れの例を説明するためのフローチャートである。
まず、CPU34cは、検査アルゴリズム選択ラジオボタン58の選択がユーザにより変更されたか否かを判定する(ステップS61)。検査アルゴリズム選択ラジオボタン58が変更されたと判定された場合、YESとなり、処理はステップS62に移行し、検査アルゴリズム選択ラジオボタン58が変更されていないと判定された場合、NOとなり、処理はステップS64に移行する。
次に、検査アルゴリズム選択ラジオボタン58が変更されたと判定された場合、CPU34cは、検査アルゴリズム選択ラジオボタン58の選択状態に基づいて、対応する選択アルゴリズムフラグを変更し、RAM34aに記録する(ステップS62)。
次に、CPU34cは、検査アルゴリズム選択ラジオボタン58の選択状態に基づいて、検査パラメータ調整バー59の表示を切り替える(ステップS63)。ステップS63の処理が終了すると、処理はステップS64に移行する。
次に、CPU34cは、検査パラメータ調整バー59の設定値がユーザにより変更されたか否かを判定する(ステップS64)。検査パラメータ調整バー59の設定値が変更されたと判定された場合、YESとなり、処理はステップS65に移行し、検査パラメータ調整バー59の設定値が変更されていないと判定された場合、処理は終了する。
最後に、検査パラメータ調整バー59の設定値が変更されたと判定された場合、CPU34cは、検査パラメータ調整バー59の設定値に基づいて、検査パラメータを変更し、RAM34aに記録する(ステップS65)。ステップS65の処理が終了すると、処理は終了する。
次に、図11を用いて、ステップS9の欠陥検査処理の流れを説明する。図11は、図5のステップS9の欠陥検査処理の流れの例を説明するためのフローチャートである。
まず、CPU34cは、RAM34aに記録された検査アルゴリズムの内容を確認する(ステップS71)。検査アルゴリズムが「なし」の場合は、処理は終了し、検査アルゴリズムが「欠け検出」の場合は、処理はステップS72に移行し、検査アルゴリズムが「はがれ検出」の場合は、処理はステップS73に移行し、検査アルゴリズムが「欠け及びはがれ検出」の場合は、処理はステップS74に移行する。ステップS72の欠け検出処理、ステップS73のはがれ検出処理またはステップS74の欠け及びはがれ検出処理が終了すると、処理は終了する。
次に、図12を用いて、ステップS72の欠け検出処理の流れを説明する。図12は、図11のステップS72の欠け検出処理の流れの例を説明するためのフローチャートである。
この図12に示す欠け検出処理は、撮影された動画像の全てのフレームあるいは一部のフレームに対して繰り返し行われる。
まず、CPU34cは、RAM34aに記録されたフレーム画像を読み出す(ステップS81)。図13は、読み出されたフレーム画像90の例を示す図である。フレーム画像90は、2つのタービンブレード10が撮影された内視鏡画像である。ここでは、これら2つのタービンブレード10をタービンブレード10a及び10bという。タービンブレード10aは、欠け部91aとはがれ部92とを含み、タービンブレード10bは、欠け部91bを含む。
次に、CPU34は、読み出したフレーム画像を、グレースケール画像に変換する(ステップS82)。グレースケール画像の各画素の輝度値Yは、カラー画像であるフレーム画像の各画素のRGB輝度値から、以下の式1で算出される。
Y=0.299×R+0.587 ×G+0.114×B ・・・(式1)
次に、CPU34cは、Kirschフィルタ等によってグレースケール画像をエッジ画像に変換する(ステップS83)。以下、このときのエッジ画像を、エッジ画像A93と記載する。図14は、グレースケール画像から変換されたエッジ画像A93の例を示す図である。
このKirschフィルタは、1次微分フィルタとい呼ばれるエッジ抽出フィルタの1種であり、他の1次微分フィルタよりも、エッジ部分を強調することができることが特徴となる。Kirschフィルタに入力される画像は、グレースケール画像(例えば8bit)であり、Kirschフィルタから出力される画像も、入力される画像と同様にグレースケール画像となる。
次に、CPU34cは、エッジ画像A93に2値化処理を施し、エッジ画像A93を2値画像に変換する(ステップS84)。このステップS84の処理では、エッジ閾値バー59aによって設定されたエッジ閾値(第1の条件)に基づき、エッジ画像A93からエッジ閾値以上の画素が2値化処理される。以下、このときの2値画像を、2値画像94と記載する。図15は、エッジ画像A93から変換された2値画像94の例を示す図である。
次に、CPU34cは、2値画像94に細線化処理を施し、2値画像94を細線画像に変換する(ステップS85)。以下、このときの細線画像を、細線画像A95と記載する。図16は、2値画像94から変換された細線画像A95の例を示す図である。
次に、CPU34cは、細線画像A95に領域制限処理を施し、細線画像A95を領域制限された細線画像に変換する(ステップS86)。領域制限処理とは、画像内の一部の領域、この場合は画像の周囲領域にある細線を除去し、処理対象から除く処理のことである。以下、このときの領域制限された細線画像を、細線画像B96と記載する。図17は、細線画像A95から変換された細線画像B96の例を示す図である。
次に、CPU34cは、細線画像B96に膨張処理を施し、細線画像B96を膨張画像に変換する(ステップS87)。以下、このときの膨張画像を、膨張画像97と記載する。図18は、細線画像B96から変換された膨張画像97の例を示す図である。
次に、CPU34cは、エッジ領域抽出処理によって、グレースケール画像から、膨張画像の赤領域に位置する部分のみを取り出した画像を作成する(ステップS88)。以下、このときの取り出された画像を、エッジ領域画像98と記載する。図19は、グレースケール画像と膨張画像97から取り出されたエッジ領域画像98の例を示す図である。
次に、CPU34cは、Cannyフィルタによって、エッジ領域画像98から、高精度にかつ細線化されたエッジを抽出し、エッジ画像を生成する(ステップS89)。その際、長さの短いエッジは抽出しない。以下、このときのエッジ画像を、エッジ画像B99と記載する。図20は、エッジ領域画像98から生成されたエッジ画像B99の例を示す図である。
このCannyフィルタは、2つの閾値を用いて、強いエッジと弱いエッジとの両方を抽出する。そして、Cannyフィルタは、弱いエッジは強いエッジに結合している場合のみ有効とする。Cannyフィルタは、他のフィルタより高精度であり、抽出すべきエッジを選別できることが特徴となる。Cannyフィルタに入力される画像は、グレースケール画像であり、Cannyフィルタから出力される画像は、細線化された2値画像となる。
上記ステップS81〜S89の概要は、ステップS83において、まず大まかに画像のエッジを抽出し、そのエッジを基に、ステップS84〜S88において、より詳細にエッジ抽出を行うための領域を抽出し、ステップS89において、詳細なエッジ抽出を行っている、ということになる。このステップS82〜S89が、ステップS81で読み出された画像データとしてのフレーム画像のエッジ(第1の特徴部)を検出するエッジ検出部(特徴検出部)を構成する。
次に、CPU34cは、エッジ分割処理によってエッジ画像B99のエッジを分割し、分割されたエッジ画像を生成する(ステップS90)。このとき、エッジにおいて急峻な方向変化を有する点において、そのエッジを分割する。この急峻な方向変化を有する点を分割点と呼び、この分割点で分割されたエッジ、言い換えると、隣り合う2の分割点で結ばれたエッジを分割エッジという。ただし、分割後の分割エッジは、所定の長さ以上を有することを条件とする。以下、このときの作成された画像を、分割エッジ画像100と記載する。図21には、エッジ画像B99から生成された分割エッジ画像100の例を示す図である。この分割エッジ画像100において、黒丸印で示された点が、分割点である。
次に、CPU34cは、円近似処理によって、分割エッジ画像100内の各分割エッジに対して、円を近似する(ステップS91)。このとき、分割された各分割エッジと近似された円を、それぞれ関連づけてRAM34aに記録する。以下、この円近似された画像を円近似画像101と記載する。図22には、分割エッジ画像100の各分割エッジに対して、円が近似された円近似画像101の例を示す図である。図22に示すように、ステップS91の処理により、タービンブレード10a及び10bの欠けていない箇所は、直線または緩やかな曲線となり、大きな径を有する円102及び103が割り当てられる。一方、タービンブレード10a及び10bの欠けている箇所は、直線または緩やかな曲線とならず、小さな径を有する円が割り当てられる。
次に、CPU34cは、ステップS91において近似された各円の径を算出する(ステップS92)。
次に、CPU34cは、ステップS91において算出された各円の径に応じて、複数、ここでは、2つのタービンブレード10a及び10bの判別を行う(ステップS93)。CPU34cは、ステップS92で算出された各円の径のうち、最も大きな径を有する円と、次に大きな径を有する円とを検出し、第1及び第2のタービンブレード10a及び10bを判定する。言い換えると、CPU34cは、曲率の最も小さい分割エッジと、次に小さい分割エッジとを検出して、第1及び第2のタービンブレード10a及び10bを判別する。このステップS93の処理が、第1のタービンブレード10a(第1の被写体)のエッジ(第1の特徴部)及び第2のタービンブレード10b(第2の被写体)のエッジ(第1の特徴部)を判別するブレード判別部(特徴判別部)を構成する。
例えば、図22の円102が最も大きな径であり、円103が次に大きな径の場合、円102が関連付けられている分割エッジ及びこの分割エッジに直接あるいは間接的に接続されている分割エッジを第1のタービンブレード10aと判定し、円103が関連付けられている分割エッジ及びこの分割エッジに直接あるいは間接的に接続されている分割エッジを第2のタービンブレード10bと判定する。なお、ステップS93では、2つのタービンブレード10a及び10bの判別を行っているが、3つ以上のタービンブレードの判別を行うようにしてもよい。
次に、CPU34cは、ステップS93で検出されたタービンブレード10aに関連する分割エッジと、タービンブレード10bに関連する分割エッジとに互いに異なる色を付ける(ステップS94)。このステップS94の処理によって、ステップS93で判別された第1のタービンブレード10aの後述するエッジ画像(第1の欠陥部を示す情報)と、第2のタービンブレード10bの後述するエッジ画像(第1の欠陥部を示す情報)とを、互いに識別可能に表示することができる。
CPU34cは、タービンブレード10aに関連する分割エッジに第1の色を付け、タービンブレード10bに関連する分割エッジに第2の色を付ける処理が行われる。なお、第1の色と第2の色は、例えば、赤とピンクのように、同系の色にする。動画の場合、あるフレームでは、円102の径が円103の径より大きいが、次のフレームでは、円103の径が円102の径より大きくなり、第1の色と第2の色とが頻繁に入れ替わることがある。第1の色と第2の色とを同系の色にすることで、欠け処理が行われているときに、第1の色と第2の色とが頻繁に入れ替わって場合でも、ユーザの視聴に負担がかかることを防ぐことができる。
次に、CPU34cは、ステップS92において算出された各円の径と、RAM34aに記録された径の閾値とをそれぞれ比較し、径の閾値より大きな径を有する円を抽出する(ステップS95)。このRAM34aに記録された径の閾値とは、径閾値バー59bによって設定されている値である。
次に、CPU34cは、ステップS95において抽出された、径の閾値より大きな径を有する円に関連付けられた分割エッジを、除去する(ステップS96)。以下、このときのエッジ画像を、エッジ画像C104と記載する。図23は、分割エッジ画像100から所定の分割エッジが除去されたエッジ画像C104の例を示す図である。図23に示すように、ステップS96の処理により、大きな径を有する円、例えば、円102及び103に関連付けられた分割エッジが除去、即ち、タービンブレード10a及び10bの欠けていない箇所のエッジが除去され、欠け部91a及び91bのエッジ105及び106のエッジ画像(第1の欠陥部を示す情報)のみがCPU34cの欠陥検出部としての処理によって検出されることになる。
最後に、CPU34cが、ステップS96で作成されたエッジ画像C104(第1の欠陥部を示す情報)をライブ映像ウィンドウ51の内視鏡画像に重畳表示するための処理を行い(ステップS97)、処理を終了する。このステップS97の処理が、ステップS96で検出された欠け部91a及び91bのエッジ105及び106のエッジ画像を、ステップS91で読み出された画像データと共に表示する表示部を構成する。図24には、エッジ画像C104を内視鏡映像に重畳表示した例を示す図である。図24に示すように、CPU34cは、内視鏡映像、即ち、ステップS91で読み出されたフレーム画像にエッジ画像C104を重畳表示する際、強調表示できるように、エッジ画像C104を太くする処理を行う。
このような欠け処理によれば、複数のタービンブレード10、ここでは、第1のタービンブレード10a上における欠け部91aと、第2のタービンブレード10b上における欠け部91bとに異なる色が付けられるため、ユーザは、複数のタービンブレード10a及び10b上における欠け部91a及び91bを容易に認識することができる。
次に、はがれ検出処理について説明する。図25は、はがれ検出処理により得られたエッジ画像が内視鏡映像に重畳表示された例を示す図である。
検査アルゴリズムが「はがれ検出」の場合は、ステップS73ではがれ検出処理が実行される。このはがれ検出処理では、欠け検出処理のエッジ閾値より小さい第1のエッジ閾値(第2の条件)を設定し、図12のフローチャートと同様の処理を行う。これにより、弱いエッジ(第2の特徴部)を検出し、はがれ部92(第2の欠陥部)を検出することができる。
ただし、この場合、1枚の内視鏡画像に欠け部91a、91b及びはがれ部92が存在する場合、欠け部91a及び91bのエッジ画像も検出してしまう。そのため、はがれ部92のエッジ画像(第2の欠陥部を示す情報)のみ重畳表示する場合、第1のエッジ閾値より大きい第2のエッジ閾値を設け、第2のエッジ閾値により検出された欠け部91a及び91bのような強いエッジを検出しないようにする。そして、検出されたはがれ部92のエッジ107のエッジ画像のみを内視鏡映像に重畳表示するようにすればよい。
また、図25は、タービンブレード10aのみにはがれ部92が存在する例であるが、タービンブレード10bにもはがれ部が存在する場合、上述したステップS93の処理により、タービンブレード10bのはがれ部のエッジ画像も検出することができる。また、ステップS94の処理により、タービンブレード10aのはがれ部92のエッジ画像と、タービンブレード10bのはがれ部のエッジ画像とを互いに異なる色を付けることができる。
次に、欠け及びはがれ検出処理について説明する。図26は、欠け及びはがれ検出処理により得られたエッジ画像が内視鏡映像に重畳表示された例を示す図である。
検査アルゴリズムが「欠け及びはがれ検出」の場合は、ステップS74で欠け及びはがれ検出処理が実行される。この欠け及びはがれ検出処理では、はがれ検出処理と同様に、欠け検出処理のエッジ閾値より小さい第1のエッジ閾値を設定し、図12のフローチャートと同様の処理を行う。これにより、欠け部91a及び91bのような強いエッジに加え、はがれ部92のような弱いエッジも検出することができる。この結果、複数のタービンブレード10a及び10bに存在する複数の欠陥を同時に表示することができる。
なお、はがれ検出処理と同様に第1のエッジ閾値より大きい第2のエッジ閾値を設け、第2のエッジ閾値で検出されたエッジ画像に、第1のエッジ閾値で検出されたエッジ画像とは異なる所定の色を付けるようにしてもよい。この結果、欠け部91aのエッジ105のエッジ画像と、はがれ部92のエッジ107のエッジ画像とが異なる色になるため、ユーザは、タービンブレード10aに存在する複数の欠陥が、どのような種類の欠陥、即ち、欠けまたははがれであるかを容易に認識することができる。
以上のように、本実施の形態の内視鏡装置3によれば、ブレード上の欠陥の有無、量及び大きさを簡単に認識できるとともに、複数のブレード上に存在する複数の欠陥を簡単に認識することができる。
(変形例)
上述した実施の形態によるブレード検査システムの構成の変形例として、図27又は図28のような構成としてもよい。図27及び図28は、本実施の形態の変形例に係るブレード検査システムの構成の例を示す図である。図27に示すように、本変形例では、内視鏡装置3にビデオ端子ケーブル4およびビデオキャプチャカード5が接続されており、これによって、内視鏡装置3が取り込んだ映像をPC6にも取り込ませることが可能となっている。PC6は、図27ではノート型PCとして描かれているが、デスクトップ型のPC等でもよい。PC6には、タービンブレード10を所望の角度で撮像した画像を記録するため及び複数のタービンブレード10の欠陥をリアルタイムに検出し、検出した欠陥を強調表示するための欠陥検査ソフトが記憶されている。欠陥検査ソフトの動作は上述した実施の形態と同様である。
さらに、図27では、PC6への映像の取り込みにビデオ端子ケーブル4およびビデオキャプチャカード5を用いているが、図28に示すようにLANケーブル7を用いてもよい。内視鏡装置3は、取り込まれた映像をLANネットワーク上に展開することのできるLANI/F34dを備えている。そして、LANケーブル7を通じて、PC6に映像を取りませることができる。
図29は、PC6の構成の例を説明するためのブロック図である。PC6は、PC本体24およびモニタ25から構成されている。PC本体24には、制御用コンピュータ35が内蔵されている。制御用コンピュータ35は、RAM35a、HDD(ハードディスクドライブ)35b、CPU35c、外部インターフェースとして、LAN I/F35d、USB I/F35eから構成されている。制御用コンピュータ35はモニタ25に接続されており、映像情報およびソフトウェアの画面等がモニタ25に表示される。
RAM35aは、ソフトウェア動作に必要な画像情報等のデータを一時記憶するために使用される。HDD35bには、内視鏡装置を制御するために一連のソフトウェアが記憶されており、欠陥検査ソフトもHDD35b内に記憶される。また、本変形例では、タービンブレード10の画像を保存する保存用フォルダはHDD35b内に設定される。CPU35cは、HDD35bに記憶されているソフトウェアの命令コードに従って、RAM35aに記憶されたデータを用いて各種制御のための演算等を実行する。
LAN I/F35dは、内視鏡装置3とPC6とをLANケーブル7によって接続するためのインターフェースであり、内視鏡装置3からLAN出力された映像情報をPC6に入力することができる。USB I/F35eは、内視鏡装置3とPC6とをビデオキャプチャカード5によって接続するためのインターフェースであり、内視鏡装置3からアナログビデオ出力された映像情報をPC6に入力することができる。
本変形例によれば、上述した実施の形態と同様の効果を得ることができる。特に、内視鏡装置の性能がPCよりも劣っており、内視鏡装置の動作速度等が十分でない場合等に本変形例は有効である。
なお、本明細書における各フローチャート中の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。
本実施形態では検査装置として内視鏡装置が用いられているが、検査対象物の画像を用いて検査を行う各種の装置に適用することが可能である。
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
1…ジェットエンジン、2…ターニングツール、3…内視鏡装置、4…ビデオ端子ケーブル、5…ビデオキャプチャカード、6…PC、7…LANケーブル、10…タービンブレード、20…内視鏡挿入部、21…内視鏡装置本体、22…モニタ、23…リモコン、24…PC本体、25…モニタ、30a…撮像光学系、30b…撮像素子、31…画像信号処理装置、32…光源、33…湾曲制御ユニット、34,35…制御用コンピュータ、50…メインウィンドウ、51…ライブ映像ウィンドウ、52…撮影ボタン、53…画像ファイル名フィールド、54…キャプチャ開始ボタン、55…動画ファイル名フィールド、56…閲覧ボタン、57…検査アルゴリズムボックス、58…検査アルゴリズム選択ラジオボタン、58a…なしラジオボタン、58b…欠け検出ラジオボタン、58c…はがれ検出ラジオボタン、59…検査パラメータ調整バー、59a…エッジ閾値バー、59b…径閾値バー、60…処理画像保存ボックス、61…×ボタン、70a,70b,70c…閲覧ウィンドウ、71…ファイル名リストボックス、72…画像ウィンドウ、73…欠陥検出チェックボタン、74…再生ボタン、75…停止ボタン、76…×ボタン、77a〜77d…サムネイル画像表示ウィンドウ、78a〜78d…欠陥量表示バー、79…スクロールバー、80…スクロールボックス、81…動画再生ウィンドウ、82…欠陥時間表示バー。

Claims (14)

  1. 複数の被写体を撮像して画像を得る検査装置であって、
    第1の条件に基づいて、前記画像から前記複数の被写体のうち少なくとも2つの被写体の第1の特徴部を検出する特徴検出部と、
    前記少なくとも2つの被写体の前記第1の特徴部に基づいて、第1の被写体の前記第1の特徴部と第2の被写体の前記第1の特徴部とを判別する特徴判別部と、
    前記第1の被写体の前記第1の特徴部、及び前記第2の被写体の前記第1の特徴部に基づいて、前記第1の被写体の第1の欠陥部、及び前記第2の被写体の第1の欠陥部を検出する欠陥検出部と、
    前記第1の被写体の第1の欠陥部を示す情報、及び前記第2の被写体の第1の欠陥部を示す情報を、前記画像と共に表示する表示部と、
    を有することを特徴とする検査装置。
  2. 前記特徴検出部は、第2の条件に基づいて、前記画像から前記少なくとも2つの被写体の第2の特徴部を検出し、
    前記特徴判別部は、前記少なくとも2つの被写体の前記第2の特徴部に基づいて、前記第1の被写体の前記第2の特徴部と前記第2の被写体の前記第2の特徴部とを判別し、
    前記欠陥検出部は、前記第1の被写体の前記第2の特徴部、及び前記第2の被写体の前記第2の特徴部に基づいて、前記第1の被写体の第2の欠陥部、及び前記第2の被写体の第2の欠陥部を検出し、
    前記表示部は、前記第1の被写体の第2の欠陥部を示す情報、及び前記第2の被写体の第2の欠陥部を示す情報を、前記画像と共に表示することを特徴とする請求項1に記載の検査装置。
  3. 前記表示部は、前記第1及び前記第2の被写体の前記第1の欠陥部を示す情報及び前記第1及び前記第2の被写体の前記第2の欠陥部を示す情報を、前記画像と共に表示することを特徴とする請求項2に記載の検査装置。
  4. 前記第1及び前記第2の被写体の前記第1の欠陥部を示す情報は、前記画像が記録されるファイルとは異なるファイルに記録されることを特徴とする請求項1に記載の検査装置。
  5. 前記第1及び前記第2の被写体の前記第2の欠陥部を示す情報は、前記画像が記録されるファイルとは異なるファイルに記録されることを特徴とする請求項2に記載の検査装置。
  6. 前記第1の被写体の前記第1の欠陥部を示す情報と前記第2の被写体の前記第1の欠陥部を示す情報とを、互いに識別可能に表示することを特徴とする請求項1に記載の検査装置。
  7. 前記第1の被写体の前記第2の欠陥部を示す情報と前記第2の被写体の前記第2の欠陥部を示す情報とを、互いに識別可能に表示することを特徴とする請求項2に記載の検査装置。
  8. 複数の被写体を撮像して画像を得る検査装置を用いた欠陥検出方法であって、
    第1の条件に基づいて、前記画像前記複数の被写体のうち少なくとも2つの被写体の第1の特徴部を検出し、
    前記少なくとも2つの被写体の前記第1の特徴部に基づいて、第1の被写体の前記第1の特徴部と第2の被写体の前記第1の特徴部とを判別し、
    前記第1の被写体の前記第1の特徴部、及び前記第2の被写体の前記第1の特徴部に基づいて、前記第1の被写体の第1の欠陥部、及び前記第2の被写体の第1の欠陥部を検出し、
    前記第1の被写体の第1の欠陥部を示す情報、及び前記第2の被写体の第1の欠陥部を示す情報を、前記画像と共に表示することを特徴とする検査装置を用いた欠陥検出方法。
  9. 第2の条件に基づいて、前記画像から前記少なくとも2つの被写体の第2の特徴部を検出し、
    前記少なくとも2つの被写体の前記第2の特徴部に基づいて、前記第1の被写体の前記第2の特徴部と前記第2の被写体の前記第2の特徴部とを判別し、
    前記第1の被写体の前記第2の特徴部、及び前記第2の被写体の前記第2の特徴部に基づいて、前記第1の被写体の第2の欠陥部、及び前記第2の被写体の第2の欠陥部を検出し、
    前記第1の被写体の第2の欠陥部を示す情報、及び前記第2の被写体の第2の欠陥部を示す情報を、前記画像と共に表示することを特徴とする請求項8に記載の検査装置を用いた欠陥検出方法。
  10. 前記第1及び前記第2の被写体の前記第1の欠陥部を示す情報及び前記第1及び前記第2の被写体の前記第2の欠陥部を示す情報を、前記画像と共に表示することを特徴とする請求項9に記載の検査装置を用いた欠陥検出方法。
  11. 前記第1及び前記第2の被写体の前記第1の欠陥部を示す情報は、前記画像が記録されるファイルとは異なるファイルに記録されることを特徴とする請求項8に記載の検査装置を用いた欠陥検出方法。
  12. 前記第1及び前記第2の被写体の前記第2の欠陥部を示す情報は、前記画像が記録されるファイルとは異なるファイルに記録されることを特徴とする請求項9に記載の検査装置を用いた欠陥検出方法。
  13. 前記第1の被写体の前記第1の欠陥部を示す情報と前記第2の被写体の前記第1の欠陥部を示す情報とを、互いに識別可能に表示することを特徴とする請求項8に記載の検査装置を用いた欠陥検出方法。
  14. 前記第1の被写体の前記第2の欠陥部を示す情報と前記第2の被写体の前記第2の欠陥部を示す情報とを、互いに識別可能に表示することを特徴とする請求項9に記載の検査装置を用いた欠陥検出方法。
JP2010101475A 2010-04-26 2010-04-26 検査装置及び検査装置の用いた欠陥検出方法 Pending JP2011232111A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010101475A JP2011232111A (ja) 2010-04-26 2010-04-26 検査装置及び検査装置の用いた欠陥検出方法
US13/091,291 US20110262026A1 (en) 2010-04-26 2011-04-21 Inspection apparatus and defect detection method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010101475A JP2011232111A (ja) 2010-04-26 2010-04-26 検査装置及び検査装置の用いた欠陥検出方法

Publications (2)

Publication Number Publication Date
JP2011232111A true JP2011232111A (ja) 2011-11-17
JP2011232111A5 JP2011232111A5 (ja) 2013-06-06

Family

ID=44815827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010101475A Pending JP2011232111A (ja) 2010-04-26 2010-04-26 検査装置及び検査装置の用いた欠陥検出方法

Country Status (2)

Country Link
US (1) US20110262026A1 (ja)
JP (1) JP2011232111A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015513631A (ja) * 2012-01-31 2015-05-14 シーメンス エナジー インコーポレイテッド 関節式多軸検査スコープを有する、産業用ガスタービン及び他の発電機械の自動光学検査のためのシステム及び方法
JP2016080702A (ja) * 2014-10-18 2016-05-16 エムハート・グラス・ソシエテ・アノニム グラフィックユーザインターフェースを備えたガラス容器検査機
JP2016178553A (ja) * 2015-03-20 2016-10-06 株式会社Pfu 画像処理装置、領域検出方法及びコンピュータプログラム
WO2016189764A1 (ja) * 2015-05-26 2016-12-01 三菱電機株式会社 検出装置および検出方法
WO2017130550A1 (ja) * 2016-01-29 2017-08-03 富士フイルム株式会社 欠陥検査装置、方法およびプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8983172B2 (en) 2012-12-28 2015-03-17 Modern Technology Solutions, Inc. Visual inspection apparatus, secure one-way data transfer device and methods therefor
US9813674B2 (en) * 2013-03-09 2017-11-07 Olympus Corporation Photography system and photography method
US20140320630A1 (en) * 2013-04-27 2014-10-30 Mit Automobile Service Company Limited Device for an automobile fuel intake catalytic system test and its test method
JP6355909B2 (ja) * 2013-10-18 2018-07-11 三菱重工業株式会社 検査記録装置及び検査記録評価方法
US11354881B2 (en) 2015-07-27 2022-06-07 United Launch Alliance, L.L.C. System and method to enable the application of optical tracking techniques for generating dynamic quantities of interest with alias protection
US10674080B2 (en) * 2016-07-20 2020-06-02 Sikorsky Aircraft Corporation Wireless battery-less mini camera and system for interior inspection of closed spaces
US11276159B1 (en) * 2018-05-15 2022-03-15 United Launch Alliance, L.L.C. System and method for rocket engine health monitoring using digital image correlation (DIC)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2748977B2 (ja) * 1988-09-12 1998-05-13 オムロン株式会社 基板検査結果表示装置
JP2002267428A (ja) * 2001-03-14 2002-09-18 Nec Corp ランド外観検査装置およびランド外観検査方法
JP2004037222A (ja) * 2002-07-03 2004-02-05 Matsushita Electric Ind Co Ltd ティーチング方法、電子基板検査方法、および電子基板検査装置
JP2005055756A (ja) * 2003-08-06 2005-03-03 Olympus Corp 内視鏡装置
JP2005291760A (ja) * 2004-03-31 2005-10-20 Anritsu Corp プリント基板検査装置
JP2007163723A (ja) * 2005-12-13 2007-06-28 Olympus Corp 内視鏡装置
JP2009168774A (ja) * 2008-01-21 2009-07-30 Olympus Corp 画像処理装置およびプログラム
JP2011232110A (ja) * 2010-04-26 2011-11-17 Olympus Corp 検査装置及び検査装置を用いた欠陥検出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5426506A (en) * 1993-03-22 1995-06-20 The University Of Chicago Optical method and apparatus for detection of surface and near-subsurface defects in dense ceramics
US20040183900A1 (en) * 2003-03-20 2004-09-23 Everest Vit Method and system for automatically detecting defects in remote video inspection applications
US7489811B2 (en) * 2004-10-08 2009-02-10 Siemens Energy, Inc. Method of visually inspecting turbine blades and optical inspection system therefor
US7689003B2 (en) * 2006-03-20 2010-03-30 Siemens Energy, Inc. Combined 2D and 3D nondestructive examination
US7995829B2 (en) * 2007-08-01 2011-08-09 General Electric Company Method and apparatus for inspecting components

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2748977B2 (ja) * 1988-09-12 1998-05-13 オムロン株式会社 基板検査結果表示装置
JP2002267428A (ja) * 2001-03-14 2002-09-18 Nec Corp ランド外観検査装置およびランド外観検査方法
JP2004037222A (ja) * 2002-07-03 2004-02-05 Matsushita Electric Ind Co Ltd ティーチング方法、電子基板検査方法、および電子基板検査装置
JP2005055756A (ja) * 2003-08-06 2005-03-03 Olympus Corp 内視鏡装置
JP2005291760A (ja) * 2004-03-31 2005-10-20 Anritsu Corp プリント基板検査装置
JP2007163723A (ja) * 2005-12-13 2007-06-28 Olympus Corp 内視鏡装置
JP2009168774A (ja) * 2008-01-21 2009-07-30 Olympus Corp 画像処理装置およびプログラム
JP2011232110A (ja) * 2010-04-26 2011-11-17 Olympus Corp 検査装置及び検査装置を用いた欠陥検出方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015513631A (ja) * 2012-01-31 2015-05-14 シーメンス エナジー インコーポレイテッド 関節式多軸検査スコープを有する、産業用ガスタービン及び他の発電機械の自動光学検査のためのシステム及び方法
JP2016080702A (ja) * 2014-10-18 2016-05-16 エムハート・グラス・ソシエテ・アノニム グラフィックユーザインターフェースを備えたガラス容器検査機
JP2016178553A (ja) * 2015-03-20 2016-10-06 株式会社Pfu 画像処理装置、領域検出方法及びコンピュータプログラム
WO2016189764A1 (ja) * 2015-05-26 2016-12-01 三菱電機株式会社 検出装置および検出方法
JPWO2016189764A1 (ja) * 2015-05-26 2017-08-31 三菱電機株式会社 検出装置および検出方法
US10620131B2 (en) 2015-05-26 2020-04-14 Mitsubishi Electric Corporation Detection apparatus and detection method
WO2017130550A1 (ja) * 2016-01-29 2017-08-03 富士フイルム株式会社 欠陥検査装置、方法およびプログラム
JPWO2017130550A1 (ja) * 2016-01-29 2018-11-08 富士フイルム株式会社 欠陥検査装置、方法およびプログラム
US11156567B2 (en) 2016-01-29 2021-10-26 Fujifilm Corporation Defect inspection apparatus, method, and program

Also Published As

Publication number Publication date
US20110262026A1 (en) 2011-10-27

Similar Documents

Publication Publication Date Title
JP2011232111A (ja) 検査装置及び検査装置の用いた欠陥検出方法
US8965103B2 (en) Image processing apparatus and image processing method
US8675950B2 (en) Image processing apparatus and image processing method
US8791998B2 (en) Image processing apparatus and method for displaying images
JP6809250B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2011232110A (ja) 検査装置及び検査装置を用いた欠陥検出方法
JP5244404B2 (ja) 画像処理装置およびプログラム
CN107209922A (zh) 图像处理设备、图像处理系统、和图像处理方法
JP2007114843A (ja) 良否判定装置
JP4498203B2 (ja) メータ認識システム、メータ認識方法、およびメータ認識プログラム
JP4974599B2 (ja) 顕微鏡用カラー撮像装置、顕微鏡用カラー撮像プログラムおよび顕微鏡用カラー撮像方法
JP2007184723A (ja) 検査システム及び検査方法
JP7294343B2 (ja) ガス検出装置、情報処理装置およびプログラム
JP2013121097A (ja) 撮像装置及び方法、並びに画像生成装置及び方法、プログラム
JP7210872B2 (ja) 画像処理装置及び画像処理プログラム
JP6822093B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び画像処理プログラム
JPWO2019216084A1 (ja) 検査動画処理装置、検査動画処理方法及び検査動画処理プログラム
JP2023107399A (ja) 内視鏡システム及びその作動方法
JP2011044094A (ja) 表示装置
JP7380332B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JP5519202B2 (ja) 画像処理装置およびプログラム
JP5385048B2 (ja) 画像処理装置およびプログラム
JP2007140703A (ja) 保険証読取方法、そのシステム及び保険証認識装置
JP5745128B2 (ja) 画像処理装置
JP2005168804A (ja) プロセッサ、電子内視鏡装置

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130419

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130419

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131219

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140513

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141014