JP2019521334A - 目視検査デバイスのアーティキュレーションのための方法およびシステム - Google Patents

Abstract

目視検査デバイスをアーティキュレートさせるための方法、システム、およびコンピュータ可読媒体が提供される。例えば、方法は、検査テンプレートを目視検査デバイスに関連する制御システムによって受信することを含むことができる。検査テンプレートは、目視検査デバイスが視認可能なシーンの少なくとも１つの関心点に関連するデータを含むことができる。方法は、制御システムによって、データに基づいてアーティキュレーション経路を生成することをさらに含むことができる。方法はまた、アーティキュレーション経路に従って目視検査デバイスの電気機械式システムを作動させることを含むことができる。【選択図】図４

Description

本発明は、目視検査デバイスのアーティキュレーションのための方法およびシステムに関する。

目視検査デバイスを使用して、産業資産の摩耗または損傷を検査することができる。検査は、典型的には、オペレータが静止画像および／または記録されたビデオおよび／または測定解析を利用して資産状態をドキュメント化することを必要とする。ドキュメント化は、損傷している、またはサービスを必要としている資産のシステムまたはサブシステムに関する情報を含むことができる。静止画像および／または記録されたビデオおよび／または測定解析は、修理やメンテナンスのスケジューリングにおいて、意思決定者および技術者に有用となり得る。例えば、過去の画像もしくはビデオ、または測定データは、経時的な機器の状態を監視するのに役立ち得る。

従来の目視検査は、時間がかかり、誤差が発生する可能性がある。例えば、従来の検査作業は、典型的には、高度に熟練した技術者によって行われる。目視検査デバイスによってとられるアーティキュレーション経路は、技術者によって異なることがあり、記録された検査データに不一致が生じる。具体的には、特定の資産の臨時または定期的な手動検査では、検査経路の変動によって一貫性のない履歴データが提供される可能性がある。したがって、産業資産を監視するための現在の目視検査方法は、検査プロトコルの標準化および再現性の欠如を被る可能性がある。

加えて、産業資産のための従来の目視検査方法は、コストがかかることがある。これらのコストの大部分は、スケジューリングされた検査を実行するために資産がオフラインになったときに発生し得る。これらの従来の方法はまた、典型的には、オペレータの広範囲の訓練を必要とし、資産監視の全体的なコストを増加させる。

欧州特許出願公開第２９７９６１０号明細書

本開示は、一般に、産業資産監視に関する。特に、本開示は、産業資産の目視検査方法およびシステムに関する。産業資産は、産業的な環境で使用される機器とすることができる。例えば、産業資産は、タービンブレード、エンジン、タービン、燃焼器、または検査および監視を必要とする任意の他の機器とすることができる。

さらに、本明細書で特徴付けられるいくつかの実施形態は、目視検査の状況で説明されているが、他の検査方法、または多様な検査方法も考えられる。例えば、本明細書で特徴付けられる教示は、超音波およびビデオボアスコープ検査システムを組み合わせたものに拡張することができる。

いくつかの実施形態は、目視検査デバイスの自動または半手動のアーティキュレーションならびに正確で反復可能な検査プロトコルを確実にすることによって検査プロセスを合理化するシステム、方法、および装置を提供することができる。さらに、いくつかの実施形態は、アーティキュレーションを自動化することによって資産停止時間を最小限に抑えることができ、すべての重要領域は、オフラインとする必要のある資産なしで確実に検査される。いくつかの実施形態は、徹底的な検査を行うのに必要な熟練したオペレータの数を減らすことによって、資産停止時間およびコストをさらに最小限に抑えることができる。さらに、このような（検査のための）資産停止時間の短縮は、資産生産性を高めることができる。

例えば、実施形態は、検査員が目視検査デバイスをナビゲートする機構ではなく、資産の内部特徴に注意を集中させることを可能にすることができる。さらに、実施形態は、熟練したオペレータが目視検査デバイスのガイド付き検査ルーチンを作成し、記憶し、配布することを可能に、熟練していないオペレータが繰り返し検査を正確に追跡し、実行することができるようにする。さらにまた、実施形態は、異なるタイプの資産の同時監視を可能にすることに加えて、複数の目視検査デバイスを同時に制御して複数の資産を監視することを可能にすることができる。さらにまた、実施形態は、検査ルーチンの一部として他の補助検査工具またはデバイスの制御を可能にすることができる。例えば、本明細書に記載の様々な態様によれば、アーティキュレーションの間、目視検査デバイスは、タービンのコアを検査ルーチンの一部として回転させる旋回工具をトリガすることができる。

ある状況下では、いくつかの実施形態は、目視検査デバイスをアーティキュレートさせる方法を提供することができる。方法は、目視検査デバイスが視認可能なシーンの少なくとも１つの関心点に関連するデータを有する検査テンプレートを生成することを含むことができる。方法はまた、続いて、検査テンプレートを目視検査デバイスに関連する制御システムのメモリにロードすることと、制御システムによって、データに基づくアーティキュレーション経路を生成することとを含むことができる。検査テンプレートは、遠隔デバイスまたはクラウド環境に置くことができ、したがってテンプレートは、ネットワークを介して制御システムによってアクセスすることができる。目視検査デバイスの電気機械式アクチュエータは、アーティキュレーション経路に従って作動させることができる。

様々な実施形態の追加の特徴、操作モード、利点、および他の態様は、添付の図面を参照して以下に説明される。本開示は、本明細書に記載の特定の実施形態に限定されないことに留意されたい。これらの実施形態は、説明のために提示されている。開示される実施形態の追加の実施形態、または変更は、提供される教示に基づいて当業者には容易に明らかになるであろう。

例示的な実施形態は、様々な構成要素および構成要素の構成において形態をとることができる。例示的な実施形態が添付の図面に示されており、図面を通して、同様の参照番号は、様々な図面における対応するまたは類似の部分を示すことができる。図面は、実施形態を例示するためのものであり、本開示を限定するものとして解釈されるべきではない。以下の図面の説明を可能にすると、本開示の新規な態様は、当業者に明らかになるはずである。

一実施形態による、目視検査デバイスによって視認可能なシーンを示す図である。 一実施形態による、目視検査デバイスによって視認可能なシーンを示す図である。 一実施形態による、システムのブロック図を示す図である。 一実施形態による、システムを示す図である。 一実施形態による方法を示す図である。 一実施形態による、デバイスのブロック図を示す図である。

例示的な実施形態は、特定の用途について本明細書に記載されているが、本開示は、それに限定されないことを理解されたい。当業者であれば、本明細書で提供される教示にアクセスして、その範囲内の追加の用途、変更、および実施形態、ならびに本開示が重要な有用性を有する追加の分野を認識するであろう。

ビデオボアスコープなどのビデオ検査デバイスを使用して、タービンおよびエンジンなどの機械の内部を検査することができる。検査デバイスは、検査中の機械に挿入される長いプローブを含むことができる。プローブを機械内部に挿入し、検査プロセスを支援するために、プローブの端部は、典型的には、技術者によって操作されるジョイスティックを使用してアーティキュレートさせることができる。いくつかの実施形態では、検査デバイスは、検査中の機械に固有の検査テンプレートを使用することができる。検査テンプレートは、プローブを自動的にアーティキュレートさせるために使用することができる命令を含むことができる。プローブが検査される機械に挿入されると、検査デバイスは、検査テンプレートの命令に基づいてプローブを所望の場所に自動的にアーティキュレートさせることができ、技術者がそのようにする必要がなくなる。他の実施形態は、本開示の範囲内にある。

図１は、一実施形態による、目視検査デバイスによって視認可能なシーン１００を示す。目視検査デバイスは、内視鏡、ボアスコープ、ビデオスコープまたはパンチルトズーム（ＰＴＺ）カメラであってもよい。例えば、目視検査デバイスは、２０１５年５月１９日に発行された米国特許第９，０３６，８９２号の図３に示すものと同様のボアスコープシステムとすることができ、その全体が参照により本明細書に組み込まれる。

一般に、目視検査デバイスは、静止画像および／またはビデオデータを提供することができる任意のシステムとすることができる。

目視検査デバイスは、目視検査デバイスからの信号を受信すると、資産を再配置および／または再構成する電気機械式アクチュエータを含む旋回工具システムに結合することができる。目視検査デバイスを再配置することはまた、目視検査デバイスをｘ、ｙ、およびｚ座標の特定のセットに作動させることを含むことができる。目視検査デバイスを再構成することは、目視検査デバイスに関連する光源の光強度などの様々な所定の撮像パラメータを設定して、所望の光レベルでシーン１００を照らして見ることを含むことができる。

目視検査デバイスを構成することは、デバイスの特定のズームを設定することを含むことができる。例えば、ＰＴＺカメラの場合、配置および構成することは、カメラのパン、チルト、およびズーム、ならびに照明条件の特定のセットを設定することを含むことができる。ビデオスコープの場合、配置および構成することは、ビデオスコープの光強度、およびズームの程度を設定するだけでなく、アーティキュレーション／ナビゲーション座標を設定することを含むことができる。

一実施形態では、目視検査デバイスは、シーン１００に関するビデオおよび／または静止画像を取得することができる。図１では、これらのデータは、目視検査デバイスまたはその制御システムのメモリにデジタルで表される。例えば、データは、複数のフレーム１０２として表すことができ、各フレームは、デジタル画像である。このデジタル画像は、目視検査デバイスの画像センサの複数の画素１０４の各画素からの値を読み取ることによって構築することができる。

フレーム１０２の各々は、目視検査デバイスの特定の場所で得られた１つの画像に対応することができる。ビデオデータの場合、フレーム１０２は、時間軸１１６に従って時系列的にインデックスすることができる。このように、ビデオデータは、時間軸１１６に従って、フレームを時間的に再生することによって再構築することができる。

一実施形態では、フレーム１０２の１つまたは複数は、目視検査デバイスのヒューマンマシンインターフェース（ＨＭＩ）に関連するグラフィカルユーザインターフェース（ＧＵＩ）で見ることができる。例えば、いくつかの実施形態では、ＨＭＩは、目視検査デバイスに関連する制御システムのタッチスクリーンとすることができる。ＧＵＩは、ユーザが目視検査デバイスによって取得されたビデオおよび／または静止画像を見ることを可能にするために、制御システムのプロセッサによって実施される１つまたは複数のソフトウェアアプリケーションであり得る。

ユーザは、フレーム１０２の１つを選択し、選択されたフレームの画像の２つの関心点をマークすることができる。例えば、図１では、ユーザは、２つの関心点として点１０６および点１１０を選択してもよい。他の実施形態では、画素１０４のグループを、特定の関心点の周りで選択することができる。例えば、点１０６の近傍１０８を、関心領域として選択することができる。同様に、点１１０の近傍１１２を、別の関心領域として選択することができる。点１０６および１１０はまた、三次元位置に基づいて、すなわち、既知の基準点から得られたそれぞれのｚ座標のそれぞれのｘおよびｙ座標に基づいて選択されてもよい。

これら２つの点を選択すると、制御システムは、テンプレートを自動的に生成することができる。すなわち、制御システムは、目視検査デバイスをアーティキュレートさせるために有用な命令および／または設定のセットを生成することができる。アーティキュレーションは、点１０６から点１１０に、またはその逆に延びる経路１１４に沿って行われ得る。命令を生成することに加えて、制御システムはまた、関心点が選択されるフレームの目視検査デバイスの絶対的な配置および構成データをインデックスしてもよい。このようにして、絶対的というよりも、配置データは、シーンの基準点に関連するものとなり得る。

一般に、オペレータは、点ＡとＢとの間のアーティキュレーション経路を画定する必要があり得る。例えば、監視される資産は、湾曲した前縁／後縁を有するタービンブレードとすることができる。このように、制御システムは、選択された画像のタービンブレードの湾曲した前縁／後縁に従って、点ＡとＢとの間に湾曲したアーティキュレーション経路を自動的に画定することができる。さらに、制御システムは、湾曲したアーティキュレーション経路を画定するために、サーボ（すなわち、目視検査デバイスを支持する電気機械式アクチュエータ）の動きを時間に対して記録することができる。

したがって、テンプレートが制御システムによって実施されると、目視検査デバイスは、テンプレートに関連するフレームが取得されたときのように配置および構成され得る。目視検査デバイスは、オペレータの目視支援を行い、オペレータが検査デバイスを最初に配置することができるようにし、かつ／または適切な最初の配置からのずれを自動的に補償することができる。目視支援の一例は、オペレータが一致させるための半透明画像、または選択されたフレーム１０２に重ね合わせることができる方向矢印のような視覚キューであってもよい。結果として、目視検査デバイスは、基準点に配置された後、第１の関心点から第２の関心点に、２つの関心点の間の特定の経路に沿ってアーティキュレートさせることができる。

上述の実施形態では、２つの点または関心領域が選択されたとき、制御システムは、経路１１４を２つの点または領域の間の最短アーティキュレーション経路として自動的に画定することができる。したがって、経路１１４は、２つの点または領域の間に延びる直線経路とすることができる。あるいは、最短経路ではなく、テンプレートは、境界条件を画定する、例えば、ある特定の経路特徴を迂回／回避する他の経路を含むことができる。以下に示すように、アーティキュレーション経路は、非直線経路であってもよい。

特定の用途では、経路１１４は、機器の特定のサブシステムに関連するセグメントであってもよい。例えば、点１０６は、タービンブレードの第１の領域にあってもよく、点１１０は、タービンブレードの第２の領域にあってもよい。このようにして、経路１１４は、タービンブレードのこれらの２つの点の間のセグメントとすることができる。

したがって、この例では、実施形態では、２つの関心点の選択が可能であり、目視検査デバイスは、経路１１４に沿って、ビデオまたは静止画像を提供するために経路１１４にわたってアーティキュレートされ得る。テンプレートは、後の時間に再ロードすることができ、目視検査デバイスは、同じ経路１１４にわたってアーティキュレートさせることができる。

本明細書に記載の実施形態は、いくつかの改良をコンピュータ化された検査システムに提供する。例えば、図１に示す実施形態は、目視検査デバイスは、テンプレートが使用されるたびに同じ経路にわたって正確にアーティキュレートされ得るので、検査の再現性を容易にすることができる。これらの利点は、検査時間およびばらつきを低減するだけでなく、コストも削減するため、高度に熟練したオペレータが検査を行う必要を排除する。

図２は、別の実施形態による目視検査デバイスによって視認可能なシーン２００を示す。図２では、ユーザは、時系列の時間軸２０４に従って記憶された複数のフレーム２０２から単一のフレームを選択することができる。選択されたフレームでは、ユーザは、選択されたフレームの画像の複数の関心点を選択してカスタム経路を作成することができる。前述のように、任意の適切なＨＭＩ／ＧＵＩを使用して、ユーザが選択されたフレームの画像の関心点をマークすることを可能にすることができる。したがって、関心点の代わりに、関心領域を選択することができる（例えば、近傍２０６、２０８、２１０、および２１２）。

一例として、ユーザは、点２１４、２１６、２１８、および２２０を選択し、検査のための経路２２２を効果的に作成することができる。このように、経路２２２は、経路２２２に沿って目視検査デバイスを自動的にアーティキュレートさせるための命令を含むテンプレートに保存することができる。経路２２２は、経路１１４の場合のように、機器に固有であり得る。

代替の実施形態では、図１および２に関して、目視検査デバイスのオペレータによってではなく、関心点または領域の選択を自動的に達成することができる。例えば、コンピュータ支援設計（ＣＡＤ）モデルを、目視検査デバイスの制御システムに供給することができる。画像認識ソフトウェアを使用して、制御システムは、関心点（または領域）の１つまたは複数のを識別および選択することができる。

次に制御システムは、それに沿って目視検査デバイスを自動的にアーティキュレートさせることができる検査経路を自動的に提供することができる。したがって、これらの代替の実施形態では、目視検査デバイスは、検査経路をプログラムするためにユーザの関心点選択を必要としない。あるいは、オペレータは、物理的資産にアクセスせずに、特定の経路の１つまたは複数の関心点を選択することによってＣＡＤモデルから検査経路を手動でプログラムすることができる。

加えて、図１および図２に関して、関心点または領域が選択されると、旋回工具検査シーケンスをトリガすることができる。このトリガにより、目視検査デバイスを生成された経路に沿って自動的に操作することができる。例えば、目視検査デバイスがビデオスコープである場合、旋回工具の開始／停止シーケンスは、自動化されたアーティキュレーションの開始をトリガすることができる。アーティキュレーションは、画像がいつ移動を終了するかを検出することによって、または光学的フローの検出技術を使用することによって停止することができる。

実施形態では、ユーザは、１つまたは複数のフレームにわたる関心点を切り替え、選択された関心点に対応するアーティキュレーション経路を保存／記録／命名することができる。このプロセスは、将来の使用のためにアーティキュレーションプログラム（またはテンプレート）を作成することができる。

アーティキュレーションプログラムは、目視検査デバイスによって現在使用されているメニューダイレクテッド検査（ｍｅｎｕ−ｄｉｒｅｃｔｅｄ ｉｎｓｐｅｃｔｉｏｎ：ＭＤＩ）アプリケーションに統合することができる。このような統合により、ファイルの命名および記憶システムへのアクセスを提供することができる。このように、これらのシステムは、機器固有かつ検査作業固有のアーティキュレーションプログラムのデータベースを作成するのに役立ち得る。特定の関心点の間のアーティキュレーションの速度に関する命令を提供する特徴など、アーティキュレーションプログラムに追加の特徴を含めてもよい。

実施形態は、いくつかの利点および改良をＭＤＩアプリケーションを実行する現在のハードウェアシステムに提供する。例えば、アーティキュレーションプログラムがＭＤＩアプリケーションに統合されると、ＭＤＩアプリケーションによって制御されるデバイスは、標準化されたアーティキュレーション経路に従うことができ、したがって再現可能なデータが得られる。言い換えれば、実施形態は、検査が実行されるたびに目視検査デバイスが同じ正確な経路に従って確実に作動されるようにする手段を提供し、したがって、検査が実行されるたびに同じ検査が確実に行われる。他の実施形態では、目視検査デバイスの視野を越えて延びる大きなアーティキュレーション経路にわたる関心点に対応することができる。

他の実施形態では、図１および図２に関して、検査を少なくとも１つの関心点の近傍で実行することができる。これらの実施形態では、検査は、経路に沿って行われない。代わりに、検査は、少なくとも１つの関心点の近傍で行われる。

さらに他の実施形態では、目視検査デバイスの制御システムは、アーティキュレーションルーチンの間に、ある特定の関心点で２Ｄまたは３Ｄ測定解析の目的で静止画像を自動的にロードすることができる。例えば、自動化されたタービンブレード検査の間、制御システムは、アーティキュレーション経路に沿ったいくつかの点で、自動化されたブレード先端からエンジンシュラウドまでのクリアランス測定を実行するようにプログラムされてもよい。別の例では、制御システムは、複雑なアーティキュレーション経路を事前にプログラムするために、重なり合う画像のステッチングを実行して１つの大きな画像を作成することができる。

図３は、実施形態による、システム３００を示す。システム３００は、目視検査デバイス３０２およびその関連する電気機械式アクチュエータ３０４に通信可能に結合された制御システム３０８を含むことができる。目視検査デバイス３０２、電気機械式アクチュエータ３０４、および制御システム３０８は、単一のデバイスに共に位置することができる。あるいは、制御システム３０８は、目視検査デバイス３０２および電気機械式アクチュエータ３０４から遠隔に位置することができる。目視検査デバイス３０２は、線３０６によって区切られた立体角によって画定される視野を有することができる。

目視検査デバイス３０２は、その視野に位置するシーンの静止画像またはビデオデータを取得することができる画像センサを含むことができる。例えば、このようなシーンは、図３に示すように、複数のフレーム３１０として制御システム３０８のメモリで表すことができる。フレーム３１０の各々は、目視検査デバイス３０２が移動するか静止したままであるときに取得することができる。取得されたフレームは、メモリで、目視検査デバイス３０２の場所および構成データならびに取得時間に関連付けることができる。

制御システム３０８は、ユーザが特定のフレームを選択して関心点または領域をマークし、特定のアーティキュレーション経路を画定することを可能にするＨＭＩを含むことができる。加えて、制御システム３０８は、目視検査デバイス３０２のアーティキュレーションを監視するようにプログラム可能なプロセッサを含むことができる。プロセッサは、目視検査デバイス３０２の場所、速度、および構成データをメモリに記録することができる。この記録は、目視検査デバイス３０２が所定のテンプレートに設けられた特定のアーティキュレーション経路にわたってアーティキュレートするときに行われ得る。

制御システム３０８はまた、特定のアーティキュレーション経路に沿って、または特定の関心点で、アーティキュレーションおよびデータ取得を逆転するためのソフトウェアを含むことができる。すなわち、制御システム３０８は、「取り消し」操作を実行する能力を有することができる。例えば、オペレータは、目視検査デバイス３０２が以前にアーティキュレートした位置および／またはデータを取得した位置に戻ることができる。

例えば、アーティキュレーションは、特定のアーティキュレーション経路に沿って行うことができる。制御システム３０８から電気機械式アクチュエータ３０４に受信され、アーティキュレーションをトリガするコマンドは、メモリに記憶可能である。コマンドはまた、発行された（または受信された）順序でインデックスすることができる。コマンドに応答して、取り消しコマンドが制御システム３０８で実施する制御ソフトウェアから選択されると、目視検査デバイス３０２は、アーティキュレーションが以前に行った順序を逆転することができる。結果として、オペレータは、必要に応じて、アーティキュレーションステップをリトレースし、経路に沿って再検査することができる。

別の実施形態では、目視検査デバイス３０２が特定の経路に沿ってアーティキュレートすると、すべての場所データ、構成データ、およびアーティキュレーション時間を制御システム３０８のメモリに保存することができる。次にオペレータは、取り消しを選択して元に戻ることができる。例えば、オペレータは、過去５、１０、１５、または３０秒前に戻ることができる。このような取り消しコマンドを発行すると、目視検査デバイス３０２は、オペレータによって選択された時間に対応する場所および構成設定に自動的に戻ることができる。

さらに別の実施形態では、アーティキュレーションが終了すると（すなわち、目視検査デバイス３０２が複数の関心点においてある点から別の点に移動するようにアーティキュレートするとき）、静止画像を各点で取り込むことができる。このプロセスは、各々がアーティキュレーションが停止した特定の関心点に対応するＮ個の画像を生成することができる。（Ｎは、０より大きい自然数である。）Ｎ個の画像の各々は、目視検査デバイス３０２の対応する構成および場所データと共に記憶することができる。

例えば、ビデオスコープのヘッドのｘ、ｙ、ｚ位置は、保存した各画像と共に保存することができる。しかしながら、いくつかの実施形態では、ヘッドのｘ、ｙ、ｚ位置は、知る必要がない。むしろ、ヘッドを作動させる役割を果たすビデオスコープ（すなわち、サーボまたはサーボモータ）の電気機械式アクチュエータの構成値を保存することができる。

どちらの場合でも、オペレータは、最後に訪れたＮ個の位置（すなわち、Ｎ個の画像の各々に関連する位置）を示すサムネイルのセットを続いて呼び出すことができる。オペレータは、所望の画像のいずれかに戻り、１つの画像が取得されたときと同じように、目視検査デバイス３０２を配置および構成するように制御システム３０８に指示することができる。

別の構成では、制御システム３０８は、記録されたビデオデータから前の場所および構成に戻るようにプログラムすることができる。例えば、記録されたビデオの場合、フレーム３１０の各々は、構成および場所データと共に記憶され得る。記録された検査セクションが再生されると、オペレータは、再生ビデオの特定のフレームを選択し、ライブビデオモードに戻って再検査することができる。

上記の実施形態では、取り消し操作が記載されているが、「やり直し」操作も考えられる。すなわち、実施形態は、取り消し操作を行った後に前進する能力を提供することもできる。アーティキュレーションは、事前にプログラムされたアーティキュレーションテンプレートを使用して自動的に実行されると説明されているが、完全に手動のアーティキュレーションのための取り消しおよびやり直し操作も考えられる。いくつかの実施形態では、手動操作は、例えば、制御システム３０８に関連するジョイスティックデバイスを使用して実行することができる。

図４は、実施形態による、システム４００を示す。システム４００は、目視検査デバイス４２０および４２２が示されている、複数の目視検査デバイスを含むことができる。各目視検査デバイスは、電気機械式アクチュエータまたは旋回工具システム（図示せず）に関連付けることができる。各目視検査デバイスは、制御システム４１４、４１６、および４１８の１つを介して制御することができる。図４の例では、３つの制御システムのみが示されている。しかしながら、いくつかの構成では、１つの制御システムだけが各目視検査デバイスを制御することができる。さらに、異なる目視検査デバイスの制御は、独立して、順次に、または同時に達成することができる。

オペレータ４０４および４０６は、目視検査デバイス４２０および４２２と、ネットワーク４０２およびサーバ４０８を介してインターフェースすることができる。オペレータのいずれも、目視検査デバイス４２０および目視検査デバイス４２２のいずれか１つを訓練することによって検査テンプレートを生成することができる。１つまたは複数の目視検査デバイスを伴う複雑な検査作業は、サーバ４０８にロードされ、実施のためにスケジューリングすることができる。コンピューティングデバイス４１０、またはコンピューティングデバイス４１２を使用して、オペレータは、テンプレートを遠隔で生成し、かつ／または目視検査デバイス４２０および４２２のいずれか１つを手動で（ジョイスティックを介して）アーティキュレートさせることができる。

実施形態は、検査の再現性および正確性を犠牲にすることなく、検査作業を遠隔で計画、配布、およびスケジューリングする能力を提供する。特定のアーティキュレーションテンプレートを、特定の機器にプログラムすることができる。例えば、タービンに固有のアーティキュレーションテンプレートをサーバ４０８にプログラムすることができ、燃焼器に固有のアーティキュレーションテンプレートをサーバ４０８にプログラムすることができる。

テンプレートの生成、実施、取り消し、およびやり直し操作は、遠隔で行うことができ、複数の目視検査デバイス、制御システム、アーティキュレーションハードウェア、および機器に関連付けることができる。さらに、実施形態は、任意のタイプの目視検査デバイス、特に電気機械的に制御されるビデオスコープおよびＰＴＺカメラならびにカメラシステムに拡張することができる。

様々な実施形態を説明した後、例示的な操作を説明する方法５００を図５に記載する。方法５００は、開始ブロック５０２で始めることができ、または開始ブロック５２０で始めることができる。

方法５００が開始ブロック５０２で始まると、資産の検査中に事前に記録された画像は、資産に関連する目視検査デバイスに結合された制御システムのメモリにロードされる（ブロック５０４）。あるいは、画像を遠隔で制御システムに通信することができ、または制御システムは、初期化時に、すなわち開始ブロック５０２で始まる方法５００において、画像を遠隔サーバまたは周辺デバイスからフェッチすることができる。

画像は、デジタル画像であってもよく、制御システムのメモリまたは遠隔サーバもしくは周辺デバイスに、当技術分野で公知の１つまたは複数の画像ファイルフォーマットで保存することができる。例えば、限定ではなく、１つまたは複数の画像は、．ｊｐｇ、．ｂｍｐ、．ｔｉｆｆ、．ｐｎｇなどを含むフォーマットから選択された拡張子を有するファイルフォーマットであってもよい。さらに、代替の実施形態では、画像の代わりに、制御システムは、当技術分野で公知の１つまたは複数のファイルフォーマットであり得る、事前に保存されたＣＡＤモデルを利用することができる。ここでも例えば、限定ではなく、これらのフォーマットは、．ｄｗｇまたは．ｄｘｆフォーマットなどであり得る。さらに他の実施形態では、制御システムは、当技術分野で公知の任意のビデオファイルフォーマット（例えば、．ｍｐｇ、．ａｖｉ、．ｄｖｉなど）であり得る、事前に記録されたビデオファイルを利用することができる。

一実施形態では、オペレータは、１つまたは複数の関心フレームを選択することができる（ブロック５０６）。例えば、関心フレームは、ブロック５０４でロードされる複数の画像の静止画像とすることができる。関心フレームは、事前に記録されたビデオがブロック５０４でロードされたときに、特定のビデオフレームとして選択することもできる。さらに、ＣＡＤモデルがロードされている場合、オペレータは、ＣＡＤモデルの特定の領域、またはＣＡＤモデルの１つまたは複数全体を関心フレームとして選択することができる。

上述のような関心フレームの選択は、制御システムのＨＭＩ／ＧＵＩシステムを介して実行することができる。例えば、オペレータは、複数の画像をスクリーンにサムネイル形式で表示し、続いて、さらなる処理のために１つまたは複数の画像を複数の画像から選択することができる。同様に、ＣＡＤモデルおよび事前に記録されたビデオは、制御システムのＨＭＩを介して、制御システムのＧＵＩでロード、表示、プレビュー、続いて選択することができる。ＨＭＩは、マウス、タッチスクリーン、音声起動コマンドインターフェース、または他のＨＭＩ手段とすることができる。

関心フレームが選択されると、ユーザは、特定の点または領域を選択されたフレームの各々に画定することができる（ブロック５０８）。（図１および図２に示すような）点または領域の選択および画定は、（ブロック５０４で）ロードされた画像の所望の点または領域をクリックすることによって実行することができ、またはユーザは、フレームに関連する既知の座標を単に入力することができる。代替の実施形態では、座標リストを制御システムに提供することができ、点または領域は、介在するユーザなしで制御システムによって自動的に画定することができる。例えば、座標は、特定のフレームおよび関心点または領域に関連付けることができ、画像が選択されると、それらを画像の制御システムによってマークすることができる。

点および領域が画定されると、制御システムは、目視検査デバイスのアーティキュレーション経路を自動的に画定することができる（ブロック５１０）。例えば、所与の関心フレームの場合、制御システムは、２つ以上の点の間のフィッティング操作を実行することによって２つ以上の関心点に関連する経路を画定することができる。制御システムは、関心点の間の最小二乗フィット、または多項式フィットなどを含むフィッティング操作を実行することができる。あるいは、ユーザは、例えば、選択された画像の１つの関心点の間の線をトレースすることによって、ＨＭＩを介して経路を描画または画定することができる。

アーティキュレーション経路は、その画定に従って、テンプレートに記憶することができる（ブロック５１２）。一般に、アーティキュレーション経路は、制御システムに局所的にまたは遠隔で、制御システムに通信可能に結合されたサーバまたはデータベースにおいて、メモリに保存することができる。テンプレートは、ファイルであってもよく、既知のファイルシステムおよびデータ記憶の慣習に従って記憶することができる。テンプレートは、画定された経路に沿ってアーティキュレートするように目視検査デバイスの配置を行う座標のセットなど、アーティキュレーション経路に関連する情報を含むことができる。代替的にまたは追加的に、アーティキュレーション経路に沿って作動する目視検査デバイス（ブロック５１４）のサーボモータに対応するサーボ設定のセットを、テンプレートに含めることができる。

テンプレートは、構成データ（例えば、目視検査デバイスのズーム設定）をさらに含むことができる。検査テンプレートはまた、ＣＡＤモデル、シリアル番号、履歴検査データなどのような、監視される資産に固有の注釈およびデータを含むことができる。テンプレートは、監視される資産に固有のものとすることができる。資産に対する固有性は、ファイル名に含めることができ、またはファイルに、資産に関連する識別子を含むことによって含めることができる。

制御システムは、目視検査デバイスの電気機械式アクチュエータを作動させて、画定されたアーティキュレーション経路に従って目視検査デバイスを配置および構成するためのコマンドを発行することができる（ブロック５１４）。これは、座標またはサーボ設定を、目視検査デバイスを作動させるように構成された作動命令に変換または関連付けることによって行うことができる。さらに、取り消しコマンドが制御システムによって受信されると（決定ブロック５１６）、制御システムは、以前にとられたアーティキュレーション経路に沿って目視検査デバイスのアーティキュレーションを逆転させることができ、方法５００は、ブロック５１４に戻ることができる。取り消しコマンドが受信されない場合、方法５００は、ブロック５１８で終了することができる。

方法５００が開始ブロック５２０で始まると、事前にプログラムされたテンプレートが既に存在し、ロードされたテンプレートに画定された経路に従ってアーティキュレーションを行わせるために制御システムのメモリにロードすることができる（ブロック５２２ ）。いくつかの実施形態では、検査テンプレートをロードすることは、テンプレートのデータを制御システムで実施されるＭＤＩアプリケーションでロードすることを含むことができる。次に、アーティキュレーションは、前述のようにブロック５１４に進行し、方法５００は、ブロック５１８で終了することができる。

当業者であれば、方法５００は、本開示を通じて説明された教示の範囲から逸脱することなく、部分的または全体的に実施可能なコンピュータ化された方法であり得ることを認識するであろう。さらに、方法５００は、複数の資産について順次または並列で（部分的または全体的に）実施することができ、それによって複数の資産の正確で標準化された監視が可能になる。

図６は、実施形態による、コントローラ６００（またはシステム）を示す。コントローラ６００は、特定の構造を有するプロセッサ６０２を含むことができる。特定の構造は、メモリ６０４に記憶された命令および／または記憶媒体６１８からプロセッサ６０２によってフェッチ可能な命令６２０によってプロセッサ６０２に付与することができる。記憶媒体６１８は、図示のようにコントローラ６００と共に位置されてもよく、またはコントローラ６００に遠隔で通信可能に結合されてもよい。そのような通信は、暗号化することができる。

コントローラ６００は、スタンドアロンのプログラム可能なシステム、またはより大きなシステムに含まれるプログラム可能なモジュールであってもよい。例えば、コントローラ６００は、先に説明した制御システム３０８に含めることができる。

コントローラ６００は、情報をフェッチ、デコード、実施、記憶、解析、配布、評価、および／または分類するように構成された１つまたは複数のハードウェアおよび／またはソフトウェア構成要素を含むことができる。さらに、コントローラ６００は、複数の目視検査デバイスおよびそれらの関連する電気機械式作動システムとインターフェースするように構成された入力／出力（Ｉ／Ｏ）モジュール６１４を含む。

プロセッサ６０２は、１つまたは複数の処理デバイスまたはコア（図示せず）を含むことができる。いくつかの実施形態では、プロセッサ６０２は、各々が１つまたは複数のコアを有する複数のプロセッサであってもよい。プロセッサ６０２は、メモリ６０４から、すなわちメモリモジュール６１２、６１０、６０８、または６０６の１つからフェッチされた命令を実施することができる。あるいは、命令は、記憶媒体６１８から、またはコントローラ６００に接続された遠隔デバイスから、通信インターフェース６１６を介してフェッチすることができる（例えば、図４参照）。

一般性を失うことなく、記憶媒体６１８および／またはメモリ６０４は、揮発性または不揮発性、磁気、半導体、テープ、光、取り外し可能、取り外し不可能、読み取り専用、ランダムアクセス、または任意のタイプの非一時的コンピュータ可読コンピュータ媒体を含むことができる。記憶媒体６１８および／またはメモリ６０４は、プロセッサ６０２によって使用可能なプログラムおよび／または他の情報を含むことができる。さらに、記憶媒体６１８は、コントローラ６００の操作中に処理、記録、または収集されたデータをログするように構成することができる。データは、データ記憶の実践と一致する様々な方法で、時間スタンプ、位置スタンプ、カタログ化、インデックス、暗号化、および／または編成することができる。

一例として、メモリモジュール６０６は、目視検査デバイス制御モジュールであってもよく、プロセッサ６０２によって実施されると、プロセッサ６０２に、ある特定の操作を実行させて目視検査デバイスを制御させる命令を含むことができる。操作は、検査テンプレートを生成し、続いて検査テンプレートをメモリ６０４にロードすることを含むことができる。操作は、データに基づいてアーティキュレーション経路を生成することと、アーティキュレーション経路に従って目視検査デバイスの電気機械式システムを作動させることとをさらに含むことができる。一般に、操作は、図１〜図５の文脈で先に説明した任意の作業、操作、および／またはステップを含むことができる。

当業者であれば、本開示の範囲および精神から逸脱することなく、上述の実施形態の様々な適応および変更を構成することができることを理解するであろう。例えば、実施形態は、産業資産を検査する文脈で説明されているが、本明細書で特徴付けられる教示は、目視検査デバイスを有する航空車両に適応させて拡張することができる。具体的には、本明細書で特徴付けられる実施形態は、航空車両の目視検査デバイスによって取得されたビデオまたは静止画像に基づいて、繰り返し可能かつ再現可能な飛行経路を提供するために使用することができる。一般に、本開示の教示は、ビジョンシステムを含むドローンまたは組み込みシステムに適用される。

したがって、添付の特許請求の範囲内において、本明細書で特徴付けられる教示は、本明細書に具体的に記載されたもの以外にも実施することができることを理解されたい。

１００ シーン
１０２ フレーム
１０４ 画素
１０６ 点
１０８ 点の近傍
１１０ 点
１１２ 点の近傍
１１４ 経路
１１６ 時間軸
２００ シーン
２０２ フレーム
２０４ 時間軸
２０６ 点の近傍
２０８ 点の近傍
２１０ 点の近傍
２１２ 点の近傍
２１４ 点
２１６ 点
２１８ 点
２２０ 点
２２２ 経路
３００ システム
３０２ 目視検査デバイス
３０４ 電気機械式アクチュエータ
３０６ 線
３０８ 制御システム
３１０ フレーム
４００ システム
４０２ ネットワーク
４０４ オペレータ
４０６ オペレータ
４０８ サーバ
４１０ コンピューティングデバイス
４１２ コンピューティングデバイス
４１４ 制御システム
４１６ 制御システム
４１８ 制御システム
４２０ 目視検査デバイス
４２２ 目視検査デバイス
５００ 方法
６００ コントローラ
６０２ プロセッサ
６０４ メモリ
６０６ メモリモジュール／目視検査デバイス制御モジュール
６０８ メモリモジュール
６１０ メモリモジュール
６１２ メモリモジュール
６１４ 入力／出力（Ｉ／Ｏ）モジュール
６１６ 通信インターフェース
６１８ 記憶媒体
６２０ 命令

Claims (21)

1. 目視検査デバイス（３０２、４２０、４２２）をアーティキュレートさせるためのコンピュータ化された方法（５００）であって、
   検査テンプレートを前記目視検査デバイス（３０２、４２０、４２２）に関連する制御システム（３０８、４１４、４１６、４１８）によって受信することであって、前記検査テンプレートは、前記目視検査デバイス（３０２、４２０、４２２）によって視認可能なシーン（１００、２００）の少なくとも１つの関心点（１０６、１１０、２１４、２１６、２１８、２２０）に関連するデータを含むことと、
   前記制御システム（３０８、４１４、４１６、４１８）によって、前記データに基づいてアーティキュレーション経路（１１４、２２２）を提供することと、
   前記アーティキュレーション経路（１１４、２２２）に従って前記目視検査デバイス（３０２、４２０、４２２）の電気機械式システム（３０４）を作動させ、前記目視検査デバイス（３０２、４２０、４２２）を配置することと
   を含む、方法（５００）。
2. 前記アーティキュレーション経路（１１４、２２２）に従って前記目視検査デバイス（３０２、４２０、４２２）を前記作動させて配置することの後、静止画像およびビデオの１つを取得することをさらに含む、請求項１に記載の方法（５００）。
3. 前記データが、前記シーン（１００、２００）の特定の関心点（１０６、１１０、２１４、２１６、２１８、２２０）で以前に記録された画像に関連する場所、目視検査デバイス構成、および時間情報を含む、請求項１に記載の方法（５００）。
4. 前記検査テンプレートをメニューダイレクテッド検査（ＭＤＩ）アプリケーションに組み込むことをさらに含む、請求項１に記載の方法（５００）。
5. 前記検査テンプレートをロードし、前記目視検査デバイス（３０２、４２０、４２２）に付随する機器の動作をトリガすることをさらに含む、請求項１に記載の方法（５００）。
6. 前記検査テンプレートが、前記目視検査デバイスを基準点にナビゲートすることに関連する命令（６２０）をさらに含む、請求項１に記載の方法（５００）。
7. 前記目視検査デバイス（３０２、４２０、４２２）が、パンチルトズームカメラおよびビデオスコープの１つである、請求項６に記載の方法（５００）。
8. 取り消しコマンドを前記制御システム（３０８、４１４、４１６、４１８）によって受信することをさらに含み、前記目視検査デバイス（３０２、４２０、４２２）を前記アーティキュレーション経路（１１４、２２２）に従って第２の場所から第１の場所に配置することをさらに含む、請求項１に記載の方法（５００）。
9. 目視検査デバイス（３０２、４２０、４２２）をアーティキュレートさせるためのシステム（３００、４００）であって、
   プロセッサ（６０２）と
   前記プロセッサ（６０２）によって実施されると、前記プロセッサ（６０２）に、
   検査テンプレートを前記目視検査デバイス（３０２、４２０、４２２）に関連する制御システム（３０８、４１４、４１６、４１８）によって受信することであって、前記検査テンプレートは、前記目視検査デバイス（３０２、４２０、４２２）が視認可能なシーン（１００、２００）の少なくとも１つの関心点（１０６、１１０、２１４、２１６、２１８、２２０）に関連するデータを含むこと、
   前記制御システム（３０８、４１４、４１６、４１８）によって、前記データに基づいてアーティキュレーション経路（１１４、２２２）を提供すること、および
   前記アーティキュレーション経路（１１４、２２２）に従って前記目視検査デバイス（３０２、４２０、４２２）の電気機械式システム（３０４）を作動させること
   を含む操作を実行させる命令（６２０）を含むメモリ（６０４）と
   を備える、システム（３００、４００）。
10. 前記操作が、前記作動させることの後に静止画像およびビデオの１つを取得することをさらに含む、請求項９に記載のシステム（３００、４００）。
11. 前記データが、前記シーン（１００、２００）の特定の関心点（１０６、１１０、２１４、２１６、２１８、２２０）で以前に記録された画像に関連する場所、目視検査デバイス構成、および時間情報を含む、請求項９に記載のシステム（３００、４００）。
12. 前記目視検査デバイス（３０２、４２０、４２２）が、パンチルトズームカメラおよびビデオスコープの１つである、請求項９に記載のシステム（３００、４００）。
13. 前記操作が、前記検査テンプレートをロードし、前記電気機械式システム（３０４）を少なくとも２つの異なる時間で作動させることをさらに含む、請求項９に記載のシステム（３００、４００）。
14. 前記検査テンプレートが、前記目視検査デバイス（３０２、４２０、４２２）を第１の検査点に手動でナビゲートすることに関連する命令（６２０）をさらに含む、請求項９に記載のシステム（３００、４００）。
15. 目視検査デバイス（３０２、４２０、４２２）およびその関連する制御システム（３０８、４１４、４１６、４１８）と共に使用するための非一時的コンピュータ可読記憶媒体（６１８）であって、プロセッサ（６０２）によって実施されると、前記プロセッサ（６０２）に、
    検査テンプレートを前記制御システム（３０８、４１４、４１６、４１８）によって受信することであって、前記検査テンプレートは、前記目視検査デバイス（３０２、４２０、４２２）が視認可能なシーン（１００、２００）の少なくとも１つの関心点（１０６、１１０、２１４、２１６、２１８、２２０）に関連するデータを含むことと、
    前記制御システム（３０８、４１４、４１６、４１８）によって、前記データに基づいてアーティキュレーション経路（１１４、２２２）を提供することと、
    前記アーティキュレーション経路（１１４、２２２）に従って前記目視検査デバイス（３０２、４２０、４２２）の電気機械式システム（３０４）を作動させることと、
    を含む操作を実行させる命令（６２０）を含む、非一時的コンピュータ可読記憶媒体（６１８）。
16. 前記操作が、前記作動させることの後に静止画像およびビデオの１つを取得することをさらに含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体（６１８）。
17. 前記データが、前記シーン（１００、２００）の特定の関心点（１０６、１１０、２１４、２１６、２１８、２２０）で以前に記録された画像に関連する場所、目視検査デバイス構成、および時間情報を含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体（６１８）。
18. 前記操作が、前記検査テンプレートをメニューダイレクテッド検査（ＭＤＩ）アプリケーションに組み込むことをさらに含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体（６１８）。
19. 前記操作が、前記検査テンプレートをロードし、前記電気機械式アクチュエータ（３０４）を少なくとも２つの異なる時間で作動させることをさらに含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体（６１８）。
20. 前記検査テンプレートが、前記ビデオスコープを基準点にナビゲートすることに関連する命令（６２０）をさらに含む、請求項１５に記載の非一時的コンピュータ可読記憶媒体（６１８）。
21. 目視検査デバイス（３０２、４２０、４２２）およびその制御システム（３０８、４１４、４１６、４１８）と共に使用するコンピュータ化された方法（５００）であって、
    前記制御システム（３０８、４１４、４１６、４１８）によって、前記目視検査デバイスによって視認可能なシーン（１００、２００）の少なくとも１つの画像に基づいて、前記目視検査デバイス（３０２、４２０、４２２）のアーティキュレーション経路（１１４、２２２）に関連するデータを含む検査テンプレートを生成することを含む、方法（５００）。