JP2019518942A - デジタル画像とモデルに基づくフィルタ技術を用いた電気機械量の推定 - Google Patents

Abstract

電気機械機器および／または構成要素から１つまたは複数の以下の量を推定する方法であって、方法は、電気機械機器またはその一部の写実的数値モデルの作成と、少なくとも１つが物理的電気機械機器の外面を少なくとも１つの２次元画像で可視化するための撮像デバイスである物理的センサの出力を組み合わせるための測定ステップと、所望 の電気機械量の推定値を提供するために写実的数値モデルと測定ステップとを組み合わせる推定ステップとを含み、推定ステップは、少なくとも、電気機械機器の（少なくとも１つの）２次元画像またはその一部と写実的数値モデルによって生成された画像との間の類似性メトリックの使用に基づいている、方法。
【選択図】図１

Description

本発明は、一般に電気機械量のモデルに基づく推定の分野に関する。より具体的には、本発明は、デジタル画像と写実的電気機械数値モデルを活用したモデルに基づくフィルタ技術を用いた電気機械量の推定に関する。

近年、直接測定することが困難もしくは不可能な情報を推測（推定）するために、実験的測定と電気機械的あるいはメカトロ機器および／または部品の数値表現（モデル）を組み合わせたいくつかの方法が提案されている。

単一の非変形体（例えば、姿勢推定のためのもの）から集中パラメータシステムモデルに渡る複雑さのレベルを（減少された）線形および非線形の有限要素モデルおよび柔軟多体へと高めるための様々な方法が提示され、調整された。これらの技術は、学術的および産業的環境の両方において首尾よく適用されている。それらのすべてが基本的なコア機能を共有している：それらは、（物理的オブジェクト／システム上の物理センサを介して計測される）実測量と（数値モデル評価から得られる）予測量との間の差をある（重み付けされた）意味で最小限に抑えながら、モデルに埋め込まれた知識を利用してモデル変数（モデル状態、入力、パラメータ、またはそれらの任意の組み合わせ）のセットを推定する。

モデルと測定値との連結は、逆アルゴリズムまたは推定アルゴリズムによって達成される。一般的な最適化アルゴリズムは、モデルが測定値に最もよく整合するように、特定のモデル変数を調節するために使用することができる。カルマンフィルタリング（Ｋａｌｍａｎ ｆｉｌｔｅｒｉｎｇ）や移動水平推定などの特定の手法を用いて、数値モデルと結果得られた推定の測定精度との間の最適なトレードオフを得ることができる。

異なる測定値が、異なる用途に使用される。多くの場合、１つまたは複数のモデル変数に直接リンクできる個別のセンサ（加速度計、歪みゲージ、マイクロフォンなど）が使用される。関心のあるシーンから高密度な空間データを収集する独自の能力に起因して、（デジタルビデオフレーム、ビデオおよびカメラ画像のような）フィールド測定値の使用に対して、最近関心が高まっている。

現状の技術の方法では、全てのフィールドセンサ（例えば、カメラセンサ）から捕捉された情報の全てが利用されているとは言い難い。いくつかの方法は、はるかに精度の低い処理およびモデル情報で済む剛体の姿勢推定のためにのみ情報を抽出することに重点を置いてきた。後者は、例えば、国際特許出願ＷＯ２０１４／０５５３５５、米国特許出願ＵＳ２００９／０２９７０２０および英国特許出願ＧＢ２５０４８２２に記載されている。一般的に、視覚的測定ツールとしてのそれらの使用は、個別の測定点として使用できる比較的少数のデータポイントを得るために、ある種のミドルウェアによって補完されてきた（例えば、国際特許出願ＷＯ２０１２／０４０７００９および米国特許第９４１２０４０号に記載されているような、姿勢推定のための点群生成、位置測定のための特徴追跡）；または間接的に測定された量を取り出す（その具体例が、画像情報が構造上の推定ひずみ測定値で変換されるデジタル画像相関である）。結果として、カメラからのフィールド測定値は、推定フレームワーク内で完全かつ直接的に利用されたことはない。

このことは、上記の既存手法にいくつかの制限をもたらしている：
個別のセンサに依存する場合：
・異なる量を推定するために異なるタイプのセンサが必要となる；
・十分な精度を提供するために、実行不可能なほど多数のセンサが必要になることがある；
・個別のセンサは干渉する傾向がある（センサの存在は測定中の量を摂動させる）；
フィールドセンサに依存する場合：
・個別の測定点を生成するために情報が操作されることが多い。従って、利用可能なモデル情報が利用可能なセンサ情報に最適に整合しないので、利用可能なデータの大部分が失われる。
・精度を向上させるために物理的システム／物体に関する貴重な知識を活用することができない他の方法論（例えば、ＤＩＣ）によってフルフィールド量を抽出するために情報が処理されることが多い。
・純粋なフィールド測定手法は、検討中の仕組みについて多少の準備を要することがある。
・３Ｄ電気機械的機器および／または部品の場合、利用可能な方法は、対象となる電気機械的機器および／または部品の各側に少なくとも１つのステレオリグを必要とし、現実的な構造に多額の費用がかかることに直ちにつながる。これらの方法はまた、構造の可視部分についての情報のみを提供し、不可視の量（例えば、内部ひずみ）についての詳細は提供しない。
・より高価な撮像技術を使用する方法（コンピュータ断層撮影法ＣＴＩ、磁気共鳴映像法ＭＲＩ、単光子放出型コンピュータ断層撮影法ＳＰＥＣＴ、陽電子放出型断層撮影法ＰＥＴなど）を使用することができるが、制御された環境が必要であり、また例えば、それらの通常動作時は、電気機械的機器および構成要素には直接適用できない。さらに、前述の技術は、電気機械的用途には必要でない内部非可視部分を含むシステムの３Ｄ画像を可能にし、該方法のコストを劇的に増加させる。加えて、これらの方法の大半は、静的または準静的画像取得にのみ使用でき、測定装置によって発生する磁場の乱れにより、不可能ではないにしても、電気機械的用途へのそれら方法の使用は困難である。

国際特許出願ＷＯ２０１４／１２７３２１において、ＣＴＩ、ＭＲＩ、ＳＰＥＣＴまたはＰＥＴなどの高価で侵襲性の医療機器からの画像は、手術中の人体の器官の位置を評価し、不可能ではないにしても術中に精度の低い手段で見ることの難しい繊細な部位の正確な位置を外科医が把握するために使用される。このような３Ｄ医療画像を数値モデルと組み合わせて使用することで、手術中に変形した人体の器官の３Ｄモデルを作成し、精度の低い術中画像に重ね合わせ最適化問題を解決する。これにより、医師は、患者の器官の数値的に作成されたより詳細なモデルを見ることができる。この手法は非常に興味深いものだが、電気機械的用途で必要とされる計算効率と合わせて推定量の精度とダイナミックレンジに達する能力が欠けている。さらに、それら独自の運用環境で動作する電気機械的機器および／または部品にそのような方法は適用できない。

そのため、新規かつ改良されたモデルに基づく感知方法が必要とされている。

本発明の実施形態の目的は、デジタル画像およびモデルベースのフィルタリング技術による電気機械量の推定を提供することである。上記の目的は、本発明による方法および装置によって達成される。

本発明の実施形態の利点は、これらが低コストの画像、すなわちビデオおよび／または写真カメラ画像のような低コストの画像技術から生じることができることである。可視部分の２Ｄ画像を使用できることは、本発明の実施形態の利点である。したがって、実施形態は、内部画像あるいは、例えば、ＣＴＩ、ＭＲＩ、ＳＰＥＣＴまたはＰＥＴといった３Ｄ装置から得られるような大型または高価な画像を必要としないという利点がある。本発明の実施形態の利点は、例えば、機械などの電気機械的システムの表面量だけでなく内部量も推測するためにモデルベースのフィルタリングを使用することである。

本発明による実施形態の利点は、推定量および／または画像情報の時間履歴が利用されることである。後者は、電磁的用途において重要な一時的な動的運動をカバーすることを可能にする。本発明の実施形態の利点は、視覚に基づく手法が、例えばカルマンベースのフィルタ（Ｋａｌｍａｎ−ｂａｓｅｄ ｆｉｌｔｅｒ）および／または移動水平推定器などの動的推定器と併用されることである。

本発明による実施形態の利点は、要求されるレベルの精度を得ることを可能にする高忠実度モデルが使用されることである。必要に応じて、高度なモデル次数低減スキームを採用することで、大きな計算負担を回避できる。

第１の態様では、本発明は、物理的オブジェクトを感知する方法であって、方法は、物理的オブジェクトの写実的仮想オブジェクトを提供するステップと、測定ステップを実行するステップであって、測定ステップは、物理的オブジェクトを記録し、少なくとも１つの２次元画像を含む物理的オブジェクトの物理的フィールド測定値を取得するステップと、推定ステップを実行するステップとを含み、推定ステップは、写実的仮想オブジェクトに外部励起を適用して、写実的仮想フィールド測定値を作成し、写実的仮想フィールド測定値を物理的フィールド測定値と比較して、物理的オブジェクトを感知する。

方法は、少なくとも１つの２次元画像の時間履歴を使用すること含むことができる。

物理的オブジェクトの感知には、例えば、電気機械的機器または構成要素からの以下の電気機械量の１つまたは複数といった、物理的オブジェクトの以下の量の１つまたは複数を推定することを含むことができる：
・状態：位置、速度、加速度、ひずみ、ひずみ速度、電流などを含むがこれに限定されない；
・入力：機械力、機械的トルク、機械的圧力、電圧を含むが、これに限定されない；
・パラメータ：密度、ヤング率、ポアソン比、材料パラメータ、物理的寸法、抵抗、静電容量を含むが、これに限定されない。

方法は、物理的オブジェクトの該量の推定の時間履歴を提供することを含むことができる。

物理的オブジェクトは、電気機械的機器および／または部品であってもよい。

写実的仮想オブジェクトを提供することは、物理的オブジェクトの写実的数値モデルを作成することを含むことができる。

測定ステップを実行することは、少なくとも１つが物理的オブジェクトの外面を少なくとも１つの２次元画像で可視化するための撮像デバイスである物理的センサの出力を組み合わせることを含むことができる。

推定ステップを実行することは、所望の量の１つまたは複数の推定値を提供するために写実的仮想フィールド測定値を物理的フィールド測定値と組み合わせることを含んでもよく、推定ステップは、少なくとも、物理的オブジェクトの少なくとも１つの２次元画像またはその一部と、写実的仮想オブジェクトによって生成された画像との間の類似性メトリックの使用に基づいている。

推定ステップを実行することは、所望の電気機械量の推定値を提供するために写実的数値モデルおよび測定ステップを組み合わせることを含んでもよく、推定ステップは、少なくとも、電気機械的機器の少なくとも１つの２次元画像またはその一部と、写実的数値モデルによって生成された画像との間の類似性メトリックの使用に基づいている。

物理的オブジェクトの写実的仮想オブジェクトの物理的挙動は、システムの離散近似として得られる静的または動的モデルによって表すことができる。

本発明の実施形態の利点は、一般に電気機械的機器および／または部品の２Ｄ画像を捕捉する画像またはセンサが、局所および分布フィールドを表すことができる数値モデルと組み合わされることである。測定された情報のポテンシャルを最大限に活用して、カメラの画像とビデオを推定フレームワークに組み合わせるより効果的な方法が提供される。

好適な実施形態では、写実的電気機械数値モデルの物理的挙動は、常微分、偏微分または微分代数方程式によって表されるシステムの離散近似として得られる静的または動的モデルによって表され、例えば：集中パラメータモデル、有限要素モデル、計算流体力学モデル、柔軟多体モデル、またはそれらの組み合わせが挙げられるが、これらに限定するものではない。

好ましい実施形態では、写実的電気機械数値モデルは、１つまたは複数の線形および非線形モデル次数低減技術の使用によって計算上効率的にされる。高い精度は、カメラ画像および／またはビデオと比較される電気機械的モデルの高次元記述、または少なくともその一部分の記述によって保証され得る。このような計算コストが高いモデルの計算精度を維持するためにモデル次数低減が必要である一方で、定量的結果を得るためには高い精度が必要である。モデルが時間領域で解決されるので、これは許容可能な計算負荷に達するために必要である。１つまたは複数の線形または非線形モデル次数低減技術は、コンポーネントモード合成、クルイロフ（Ｋｒｙｌｏｖ）に基づく方法、適切な直交分解、動的モード分解、平衡切捨て、離散経験的補間法（ＤＥＩＭ）、エネルギー節約型サンプリングおよび重み付けのうちの１つまたは複数であり得る。

これらの技術は、本質的に、画像精度とモデル精度との間の最適なトレードオフ（いくつかの定義された意味において）を提供する電気機械的推定量の動的効果および時間履歴を処理することを可能にする。好ましい実施形態では、推定は、デジタル画像と写実的電気機械数値モデルの両方を組み合わせた動的フィルタリング技術から得られる。これらの技術には、カルマンフィルタに基づく技術（Ｋａｌｍａｎ ｆｉｌｔｅｒ−ｂａｓｅｄ ｔｅｃｈｎｉｑｕｅｓ）、移動水平推定技術（Ｍｏｖｉｎｇ Ｈｏｒｉｚｏｎ Ｅｓｔｉｍａｔｉｏｎ ｔｅｃｈｎｉｑｕｅｓ）、ルーエンバーガー観測器（Ｌｕｅｎｂｅｒｇｅｒ ｏｂｓｅｒｖｅｒ）などが含まれるが、これらに限定されない。

好ましい実施形態では、推定器は、推定電気機械量の確率的誤差範囲の評価を可能にする。

モデルは時間領域で解決することができ；
推定は、ビデオ、画像および写実的数値モデルの両方を組み合わせた動的フィルタリング技術から得ることができる。

推定ステップは、物理的オブジェクトの推定量の確率的誤差範囲の評価を可能にすることができる。

方法は、写実的仮想オブジェクトへの既知の入力として、物理的オブジェクトの量のサブセットを測定し使用することを含むことができる。

方法は、推定ステップ中にビデオおよびカメラ画像に加えてさらなる電気機械量を測定および使用することを含むことができる。

好ましい実施形態では、電気機械量のサブセットが知られている。これらの既知の量は、推定アルゴリズム内の残りの推定量の精度を改善するために使用される。

好ましい実施形態では、電気機械量のサブセットが測定される。これらの測定量は、推定アルゴリズム内の推定量の精度を改善するために使用される。そのような測定には、ひずみゲージ、加速度計、ファイバブラッグ格子ひずみセンサ、ジャイロスコープ、電圧センサ、電流センサ、温度センサ、マイクロフォンなどが含まれるが、これらに限定されない。

好ましい実施形態では、写実的電気機械数値モデルを提供することは、物理的電気機械機器および／または部品の数値モデルを作成し、少なくとも１つの画像でモデルのジオメトリをテクスチャ加工することを含む。

好ましい実施形態では、電気機械的機器の物理的フィールド測定値は変形された物理的フィールドである。

第２の態様では、本発明は、本発明の実施形態による方法を実行するように適合された処理システムを含む装置を提供する。

第３の態様では、本発明は、物理的オブジェクトの特徴付けるためのシステムに関し、システムは、物理的オブジェクトの量を測定するための少なくとも１つの手段と、物理的オブジェクトのフィールドを測定するための少なくとも１つの手段の出力を受信し、上記の方法を実行するように適合されたプロセッサとを備える。

１つの態様において、本発明はまた、電気機械量を推定するためのシステムを提供し、システムが：
・物理的電気機械機器のデジタル画像を取得するための少なくとも１つの手段と；
・物理電気機械的システムの画像およびビデオを得るための少なくとも１つの手段の出力を受信するように適合され、好ましい実施形態で提示された方法を実行するように適合されたプロセッサと、を含む。

１つまたは複数の異なる視点および構成から可視化することができ、物理的電気機械機器および／または部品に視覚的に類似するように、写実的電気機械数値モデルを作成することは、実施形態の利点であり：一言で表すならば、それは物理的電気機械機器および／または部品との写真整合性である。

電気機械数値モデルは、その可視化を可能にする任意のスクリーンまたはデバイス上にレンダリングすることができる。

本発明の実施形態による方法は、異なる技術を含むいくつかのステップを含む。本発明の実施形態の利点は、高精度で高い計算効率を有する最適な方法が提供されることである。

計算効率は、以下のように可能にすることができる：本発明の説明でさらに詳細に説明するように、数値モデル効率を使用することにより、２Ｄまたは３Ｄモデルを使用して写実的電気機械数値モデルを作成することができる。そのような数値モデルを得ることに特化した技術としては（以下に限定されないが）：線形および非線形有限要素、有限体積、有限差分、多体および柔軟多体モデル、アイソジオメトリックモデル、または代数的、常微分、偏微分および微分代数方程式のシステムを離散化できる任意のモデリング方法が挙げられる。これら記載された技術は、物理的電気機械機器の正確な数値記述につながるが、しばしば非常に多数の自由度（数百万まで）および２Ｄおよび３Ｄ分布フィールド（位置、加速度、ひずみなど）の表現を得るために解くべき方程式となる。この方程式の解（例えば、運動方程式、推定方程式など）の解法に必要な計算上の負担は、桁違いに大きくなり得る。過去数十年間に、より高速で正確な解決策を可能にするいくつかの技術が、線形および非線形モデル次数低減（ＭＯＲ）の名称で開発されてきた。これらの技術の応用は、それ自体が研究の分野であり、モデルの準備中に実行できる非自明なステップである。ＭＯＲ技術を本発明で使用して計算上の負担を大幅に軽減し、本発明の推定ステップ中の実現可能な計算時間をもたらすことができる。ＭＯＲ技法は、本発明の実施を成功させるためには必要ではないが、精度および計算速度がモデラーによって選択されるトレードオフを表す拡張性のある方法を達成する手法である。特に、（以下に限定されないが）：モード削除法、区分モード合成法、クルイロフ（Ｋｒｙｌｏｖ）空間縮小、平衡切捨て、適切な直交分解、エネルギー節約型サンプリングおよび重み付け、経験的および離散経験的補間法（ＤＥＩＭ）、グローバルモデルパラメータ化、一般化コンポーネントモード合成、軌道区分的線形モデル縮小、ＭａｎｉＭｏｒ、適切な一般化分解、パラメトリックモデル次数低減技術、ハイパー低減技術、または自由度および／または方程式の元の数を減らすことによって数値モデルによって課される計算負荷を軽減するのに適した他の任意の方法を使用することができる。これらの技法は、自由度の数を低下させるという利点を有するだけでなく、ソルバの観点から結果として生じる利点によって目下の問題の数値剛性を下げ、他の有益な利点（許容されるより大きな時間ステップ、改善された安定性など）を示すことができる。ＭＯＲ技術を使用する場合は、特定の問題に応じて適切な方法を選択することが最も重要である；ＭＯＲは独自の技術であり、正確な精度を損なうことなく最適な計算性能を得るには依然として強力な工学的判断が必要である。

本発明では、効率的なレンダリングも活用することができるが、必須のステップではない。写実的電気機械数値モデルの画像を取得するプロセスとして、最新のＧＰＵアーキテクチャをプログラム可能なパイプラインで使用することで、効率的なレンダリング技術によってそれを可能にすることができる。低減された次数モデルとの組み合わせは、本発明に有利であり、写実的電気機械数値モデルのデジタル画像を迅速に生成することができる。より一般的には、シミュレートされたフィールドの量を効率的に計算するための大規模並列加速器の使用は、例えば、その成功のために制御された（医学的）環境に依存する国際特許出願ＷＯ２０１４／１２７３２１に記載されているような他の方法とは逆に、本発明の工業的応用の潜在的な分野を高めるＭＯＲスキーム内での実施は自明な技術ステップではない。

電気機械量の推定は、１つまたは複数の推定技術によって可能にすることができる。カルマンベースのフィルタリング（Ｋａｌｍａｎ−ｂａｓｅｄ ｆｉｌｔｅｒｉｎｇ）、移動水平推定（Ｍｏｖｉｎｇ Ｈｏｒｉｚｏｎ Ｅｓｔｉｍａｔｉｏｎ）および／またはルーエンバーガー観測器（Ｌｕｅｎｂｅｒｇｅｒ ｏｂｓｅｒｖｅｒ）などの（ただしこれに限定されない）時間領域推定器の使用を可能にすることは、本発明の利点である。推定器は、カメラで測定されたおよび／または写実的電気機械数値モデルで作成されたビデオおよび画像を含む推定量のフルタイム履歴に関する情報を組み込んだ電気機械的機器および／または部品の動的過渡数値モデルの使用を可能にすることができる。

いくつかの実施形態では、推定器は、物理的な電気機械量と推定された電気機械量との間の不整合の確率的誤差測定を読み出すことを可能にすることができる。

取得されたビデオまたは写真カメラ画像の品質は、推定手法および類似性測定とともに、画素サイズよりも１桁から３桁小さい精度に達することを可能にする。

１つの態様では、本発明はまた、電気機械的機器または構成要素から、以下の電気機械量の１つまたは複数を推定する方法を提供する：
・状態：位置、速度、加速度、ひずみ、ひずみ速度、電流などを含むがこれに限定されない；
・入力：機械力、機械的トルク、機械的圧力、電圧を含むが、これに限定されない；
・パラメータ：密度、ヤング率、ポアソン比、材料パラメータ、物理的寸法、抵抗、静電容量を含むが、これに限定されない。

方法は以下を含む：
・電気機械的機器またはその一部の写実的数値モデルの作成、
・少なくとも１つが、物理的電気機械機器の外面の外観または１つまたは複数の２Ｄ画像内のその一部を捕捉することを可能にする撮像装置である物理的センサを組み合わせることを可能にする測定ステップ、
・所望の電気機械量の推定値を提供するために、写実的数値モデルと測定ステップとを組み合わせる推定ステップ、
・推定ステップは、電気機械的機器の少なくとも該１つまたは複数の２Ｄ画像またはその一部と、写実的数値モデルによって生成された画像との間の類似性メトリックの使用に主に基づくが、それだけに基づくわけではない。

１つの態様において、本発明は、物理的オブジェクトを感知する方法に関し、方法は、物理的オブジェクトの写実的仮想オブジェクトを提供するステップと、作動ステップを実行するステップを含み、作動ステップは測定ステップを含み、測定ステップは物理的オブジェクトを記録し、物理的オブジェクトの物理的フィールド測定値を取得するステップと、推定ステップとを含み、推定ステップは、写実的仮想オブジェクトに外部励起を適用して、写実的仮想フィールド測定値を作成し、写実的仮想フィールド測定値を物理的フィールド測定値と比較して、物理的オブジェクトを感知する。

写実的仮想フィールド測定値を物理的フィールド測定値と比較することは、写実的仮想フィールド測定値を物理的フィールド測定値と整合させることと、該整合をもたらす励起値を取り出すこととを含むことができる。

写実的仮想フィールド測定値と物理的フィールド測定値とを比較することは、物理的フィールド測定値と写実的仮想フィールド測定値との類似性の尺度を表すコスト関数を最小化することを含むことができる。

外部励起は既知であっても推定されていてもよい。

物理的オブジェクトの写実的仮想オブジェクトを提供することは、物理的オブジェクトのモデルまたは仮想オブジェクトを作成すること、および物理的オブジェクトの少なくとも１つの画像を用いてモデルをテクスチャ加工することを含むことができる。

物理的オブジェクトのモデルを作成するステップは、モデル作成ステップとモデル登録ステップとを含むことができる。

モデル登録ステップは、物理的オブジェクトおよびモデルの位置決めおよび方向付けを含むことができる。

モデルは数値モデルであってもよい。

モデルは、２次元または３次元モデルであってもよい。

少なくとも１つの画像でモデルをテクスチャ加工することは、物理的オブジェクトのモデルまたは仮想オブジェクトが物理的オブジェクトの少なくとも１つの画像と整合するように画像に基づくレンダリング方法を使用することを含むことができる。

少なくとも１つの画像は、測定ステップの間に記録中に取得されてもよい。

ここで、少なくとも１つの画像は、写真またはビデオ撮像手段、磁気に基づく撮像手段、放射線撮像手段、ソリッドステートまたは走査光検出知撮像手段および／またはサーモグラフィ撮像手段によって得ることができる。

物理的オブジェクトの物理的フィールド測定値は、静的または動的励起における物理的オブジェクトを測定することによって得ることができる。

物理的オブジェクトの物理的フィールド測定値は、分布したおよび／または変形した物理的フィールドであり得る。

本発明はまた、処理システムを含む装置に関し、処理システムは上記の方法を実行するように適合される。

本発明はさらに、物理的オブジェクトを感知するためのシステムであって、システムは、
− 物理的オブジェクトのフィールドを測定するための少なくとも１つの手段と、
− 物理的オブジェクトのフィールドを測定するための少なくとも１つの手段の出力を受信するように適合され、上述の方法を実行するように適合された処理と、を含む。

本発明の特定の好ましい態様は、添付の独立請求項および従属請求項に記載されている。従属請求項からの特徴は、請求項に適切なだけでなく明確に述べられるように、独立請求項の特徴、および他の従属請求項の特徴と組み合わせ可能である。同様に、様々な態様の任意選択のおよび／または標準的な特徴は、必要に応じて組み合わせることができ、単に請求項に明示的に記載されるものではない。本発明のこれらおよび他の態様は、以下に記載される実施形態を参照して明らかになる。

本発明の実施形態による方法を示す。 本発明の実施形態による方法を示す。 本発明の実施形態によるモデルの作成を示す。 本発明の実施形態によるモデル登録ステップを示す。 本発明の実施形態による写実的（電気）機械的数値モデルの作成を示す。 本発明の実施形態による物理（電気）機械的機器および／または部品の画像を示す。 本発明の実施形態による推定ステップまたは段階を示す。 本発明の特定の実施形態による方法の想定される作業フローを示す。 本発明の実施形態による想定されるハードウェア−ソフトウェアシステムを示す。 本発明の実施形態による方法の概要を示す。

図面は概略的なものに過ぎず、限定的ではない。図面において、要素のいくつかのサイズは、説明のために誇張されており、縮尺通りに描かれていない場合がある。請求項中の参照記号は、請求項の範囲を限定するものと解釈すべきでない

異なる図面において、同一の参照記号は同一または類似の要素を示す。

本発明は、特定の実施形態に関して、および特定の図面を参照して説明されるが、本発明はそれに限定されず、請求項によってのみ限定される。記載された図面は概略的なものに過ぎず、限定的ではない。図面において、要素のいくつかのサイズは、説明のために誇張されており、縮尺通りに描かれていない場合がある。寸法および相対的な寸法は、本発明の実施のための実際の低減に対応していない。

さらに、明細書および特許請求の範囲における第１、第２などの用語は、類似の要素を区別するために使用され、必ずしも時間的、空間的、順位付け、またはその他の方法で順序を記述するために使用されるものではない。そのように使用される用語は、適切な状況下で交換可能であり、本明細書に記載された本発明の実施形態は、本明細書に記載または図示されている以外の順序で動作可能であることを理解されたい。さらに、明細書本文および特許請求の範囲における用語「上」、「下」などは、説明目的で使用され、必ずしも相対的な位置を説明するためではない。そのように使用される用語は、適切な状況下で交換可能であり、本明細書に記載された本発明の実施形態は、本明細書に記載または図示されている以外の方向で動作可能であることを理解されたい。

特許請求の範囲で使用される用語「含む（ｃｏｍｐｒｉｓｉｎｇ）」は、その後に列挙される手段に限定されるものとして解釈されるべきではなく、また、他の要素またはステップを排除するものではないことに留意されたい。したがって、記載された特徴、整数、ステップまたは構成要素の存在を特定するものとして解釈されるが、１つまたは複数の他の特徴、整数、ステップまたは構成要素、またはそれらのグループの存在または追加を排除するものではない。したがって、「手段ＡおよびＢを含む装置」という表現の範囲は、構成要素ＡおよびＢのみからなる装置に限定されるべきではない。これは、本発明に関して、デバイスの関連する構成要素は、ＡおよびＢのみであることを意味する。本明細書を通して、「一実施形態」または「実施形態」は、実施形態に関連して説明される特定の特徴、構造または特性が本発明の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書の様々な箇所における「一実施形態では」または「実施形態で」という表現の出現は、必ずしもすべてが同じ実施形態を指しているわけではないが、指していてもよい。さらに、特定の特徴、構造または特性は、１つまたは複数の実施形態において、本開示から当業者に明らかであるように、任意の適切な方法で組み合わせることができる。

同様に、本発明の例示的な実施形態の説明では、本開示を合理化し、様々な発明的側面のうちの１つまたは複数に対する理解を助ける目的のために、本発明の様々な特徴が、単一の実施形態、図、またはその説明でグループ化されることがあることを理解されたい。しかしながら、この開示の方法は、特許請求された発明が各請求項に明示的に記載されているより多くの特徴を必要とするという意図を反映するものと解釈されるべきではない。むしろ、以下の請求項が反映するように、本発明の態様は、単一の前述に開示された実施形態のすべての特徴よりも少ないものである。したがって、詳細な説明に続く特許請求の範囲は、各請求項が本発明の分離された実施形態としてそれ自身存在しつつ、この詳細な説明内に明示的に組み込まれる。

さらに、本明細書で説明されるいくつかの実施形態は、他の実施形態に含まれるいくつかの特徴を含み、他の特徴を含まないが、異なる実施形態の特徴の組み合わせは、本発明の範囲内であり、当業者に理解されるように異なる実施形態を形成する。例えば、以下の特許請求の範囲において、特許請求された実施形態のいずれも、任意の組み合わせで使用することができる。

本明細書で提供される説明では、多くの具体的な詳細が述べられている。しかし、本発明の実施形態は、これらの具体的な詳細なしに実施され得ることが理解される。その他としては、周知の方法、構造および技術は、この説明の理解を不明瞭にしないために詳細に示されていない。

第１の態様では、図１に示されるように、本発明は、物理的電気機械機器および／または部品を感知する方法を提供し、方法は、物理的電気機械機器および／または部品の写実的電気機械数値モデルを提供し、推定ステップを実行するステップを含む。推定ステップは、測定および推定ステップを含み、測定ステップは、物理的電気機械機器および／または部品を記録し、物理的電気機械機器および／または部品の１つまたは複数の画像またはビデオを取得するステップを含み、推定ステップは、写実的電気機械数値モデルの時間シミュレーションを実行して、電気機械数値モデルのシミュレートされた写実的画像を作成し、シミュレートされた画像および／またはビデオを物理的電気機械機器の画像およびまたはビデオと比較して、物理的電気機械機器および／または部品を推定アルゴリズム内で「感知する」ステップを含む。さらなる実施形態では、図２に示すように、物理的電気機械機器および／または部品の写実的電気機械数値モデルを提供することは、物理的電気機械機器および／または部品の数値モデルを作成し、物理的電気機械機器および／または部品の少なくとも１つの画像で数値モデルをテクスチャ加工することによって、較正ステップにおいて可能にすることができる。結果として、本発明の実施形態は、物理的システムおよび／または物体の数値モデルを拡張するためのワークフローおよび方法論を説明する。より具体的には、例えば、物理的電気機械機器および／または部品の画像および／またはビデオといったフィールド測定値を用いて数値モデルを拡張する。この拡張は、物理的電気機械機器および／または部品の画像および／またはビデオを用いて数値モデルをテクスチャ加工することによって得られる。

物理的電気機械機器および／または部品の画像またはビデオは、例えば、デジタル写真／ビデオカメラといった画像捕捉専用の任意の取得ハードウェアから得ることができる。本発明の実施形態によれば、画像またはビデオは２次元画像または動画である。

本発明の実施形態では、取得ハードウェア（例えば、写真およびビデオカメラ）およびソフトウェアによって撮像される電気機械的機器および／または部品の外観に（その部分が）類似するように、写実的電気機械数値モデルが作成される。この類似性を「写真整合性」と呼ぶ。作成された写実的電気機械数値モデルは、異なる条件（例えば、静止、運動、変形状態、温度）の下でその写実的可視化をそのまま使用することを可能にし、そのような写実的電気機械数値モデルの画像および／またはビデオを得る。

写実的電気機械数値モデルは、本発明の実施形態のユーザにとって関心のある電気機械的推定量の（一部の）可視化によって拡張されてもよい。

現在の最先端の推定手法では、フィールドセンサから得られたデータは、仮想オブジェクト内で直接見つけることができる変数に変換される（例えば、カメラ画像は限られた数の点の動きに変換され、その後機械的モデル内の同じ点の動きと比較することができる）。しかし、本発明の実施形態では、物理的電気機械機器および／または部品として視覚的に挙動するように、写実的電気機械数値モデルが作成される。このように、写実的電気機械数値モデルの画像は、例えば、その作業環境において、電気機械的機器および／または部品の画像と直接比較することができる。

この比較は、デジタル画像相関（ＤＩＣ）の分野に関する方法、画素強度の比較、動き推定の手段、特徴抽出または他の適切な手段によって行うことができる。推定技術は、その後、例えば、カルマンフィルタ（Ｋａｌｍａｎ ｆｉｌｔｅｒ）、移動水平推定（ＭＨＥ）またはルーエンバーガー観測器（Ｌｕｅｎｂｅｒｇｅｒ ｏｂｓｅｒｖｅｒ）を用いて適用することができる。このステップは、「分布フィールド」（例えば、変位、速度、応力、ひずみ、加速度、温度など）、「局所測定値」（例えば、変位、速度、機械的および熱的応力／歪み、加速度、温度など）、「システム状態」などの、未知入力または内部負荷または各種の「入力」（例えば、力、トルク、熱源、電圧など）および／または「パラメータ」（幾何学的寸法、剛性、質量、密度、材料特性など）といった、時間によって変化する可能性がある、未知の電気機械量の推定を達成するために好ましい。分布フィールド、未知の励起、局所測定値、システムの状態およびパラメータは、これ以降および以前に推定電気機械量として言及されている。

上記で定義された変数の正確な推定値の達成は、各ステップの１つまたは複数と関連している。

本発明の実施形態は、以下のステップまたは態様：準備ステップおよび推定ステップ、の１つまたは複数を含む数値／実験プロセスを提供する。それにより準備ステップは、モデルの定義および作成ステップと、電気機械数値モデルの写実的「拡張」を含むことができる。推定ステップは、測定段階および推定段階、より具体的には写実的モデルベースの推定を含むことができる。

一般に示されているように、本発明の実施形態による方法は、２つの主な段階に分割することができる。準備段階は、電気機械数値モデルが準備され、登録され、本発明の実施形態による写実的電気機械数値モデルに変換されるステップを含むことができる。しかしながら、例えば、写実的電気機械数値モデルのような準備段階と同じ結果につながる当該技術分野において知られている他の代替技術もまた、他の手段によって利用可能である場合に推定段階への入力として直接使用することができる。本発明のいくつかの実施形態によれば、写実的電気機械数値モデルのシミュレーションの計算負荷は、モデル次数低減技術によって低減される。

実施形態による推定段階は、電気機械的機器および／または部品のデジタル画像またはビデオが、他の任意のセンサの時系列と一緒に取得される測定段階と、所望の変数の値が評価される適切な推定段階とを含む。推定段階は、推定をする上で写実的電気機械数値モデルを有利に使用する。本発明の実施形態による画像またはビデオは、２次元画像またはビデオを含む。

本発明の実施形態では、準備段階またはステップを提供することができる。該較正段階またはステップは、（１）モデル定義ステップ、（２）モデル登録ステップ、および（３）写実的モデル作成、を含むことができる。

本発明の実施形態によるモデル作成ステップは、作成ステップを含むことができ、数値的方法を使用して、変数が推定されるべき物理的電気機械機器および／または部品の数値表現を作成する。特に、物理的電気機械機器および／または部品の２Ｄまたは３Ｄ表現（例えば、現実的な可視化または写真整合性）を可能にする方法が使用される。図３Ａ〜３Ｃは、本発明の実施形態によるモデルの定義および作成を示す。最初のステップとして、例えば、点群、ＣＡＤなどによってモデルのジオメトリが作成される。その後、例えば、有限要素モデル（ＦＥＭ）、柔軟多体モデルなどのようなモデルの離散化が実行される。

図３Ａおよび３Ｂは、（電気）機械部品の構造ＦＥＭ、例えば単純な梁構造を示す。より具体的には、図３Ａは梁のＦＥＭモデルの上面図を示し、図３ＢはＬ字形梁のＦＥＭモデルを示す。図３Ｃは、車両サスペンションの詳細な柔軟多体モデルを示す。実施形態では、電気機械的機器および／または部品の完全または部分的な形状再構成がモデルに反映される。本発明は、これらに限定されないが、選択された方法が、例えば、位置、加速度、速度、機械的および熱的歪み、応力、温度などの分布変数を表すことができることが好ましい。数値モデルおよびモデリング方法には：（ａ）（線形および非線形）有限要素、有限体積、有限差分、多体および柔軟多体モデル、アイソジオメトリックモデルなど；（２）可能な選択肢として、代数的、常微分、偏微分、および微分代数方程式の系を離散化することを可能にするモデリング方法；（３）さらなる選択肢として、電気機械的機器および／または部品の連続表現を可能にするモデリング方法、が挙げられるが、これらに限定されない。

典型的な例は、すべての機械類、車両、エネルギー生産、電気機械的モデルなどに見られる機構部品の構造的および熱的有限要素モデルおよび機構の柔軟多体システムである。これらの３Ｄモデルは、ＣＡＤ設計図面または電気機械的機器および／または部品の３Ｄスキャンに基づいていてもよい。一般に、分布フィールドを表現することができる２Ｄおよび３Ｄ数値モデルは、計算コストが高い。この場合、線形および非線形のモデル次数低減（「ＭＯＲ」）のような技術は、わずかな精度の損失で計算速度を向上させるための好ましい選択である。

いくつかのリサーチツールと市販ツールを利用して、モデル定義と作成を実行することができる。理想としては、電気機械的数値モデルは、例えば、静的および動的特性または他の任意の特性および挙動に関して、物理的電気機械機器および／または部品の挙動に適合するように注意深く更新されるべきである。

写実的電気機械数値モデルを作成した後、本発明の実施形態による次のステップで、モデル登録を行うことができる。モデル登録は、以下のステップの少なくとも１つを含むことができる：形状再構成ステップ、モデルのジオメトリを更新するステップ、および当技術分野で知られているいくつかの方法の１つに従って、仮想機械および電気機械的機器および／または部品の配置を位置決めおよび方向を変更するステップを含む。

物理的電気機械機器に「粒状性」または「コントラスト」をより多く加えることによって物理的電気機械機器および／または部品の画像と、写実的電気機械数値モデルの画像との比較精度を高めるために、様々な方法を使用することができる。その方法とは、例えば、スプレー塗料、ステッカー、またはそのジオメトリを正確に追跡するために使用できる任意の手段を用いたマーカーまたは高コントラストパターンの適用であり得る（が、これに限定されない）。この最後のステップは必ずしも必要ではなく、物理的電気機械機器および／または部品（表面）の自然な特徴は、精度が許す限り使用することができる。

本発明のさらなる実施形態では、モデル登録のステップは、電気機械的機器および／または部品の同様の（幾何学的な）特性とぴったり整合するように、共通の選択された基準座標系に対して、仮想オブジェクトの空間におけるジオメトリ、位置、方向を修正することを含む。このステップは、空間内での正確な位置合わせおよび位置決めを可能にする最適化ルーチンによって達成することができる。特に、基準配置内の２つ以上の点を使用して、空間内での数値モデルのジオメトリと物理的なシステム／構成要素のジオメトリとの直接的な対応を作成することができる。これらの点は基準点と呼ばれ、数値モデルを可能な限り正確に方向付けして物理的なシステム／構成要素と位置合わせをするために使用される。後者の手法は、使用可能な一つの可能性に過ぎず、一般的な枠組みはこれに限定されない。数値モデルのジオメトリと物理的なシステム／構成要素との間の適切な位置合わせおよび幾何学的対応を可能にする任意の方法を使用することができる。

図４Ａ〜Ｃは、本発明の実施形態によるモデル登録を示し、図４Ａは、クランプされた（電気）機械的機器および／または部品の画像、より具体的には、スペックルパターンで強調された片持ち梁の画像を示す。図４Ｂは、モデル再構成、より具体的には（電気）機械機器および／または部品の点群再構成を示す。点群が得られる３Ｄ形状再構成の結果が提供される。最後に、図４Ｃは、片持ち梁の更新された有限要素（ＦＥ）モデルを示し、それは指向性ＦＥモデルであり、物理（電気）機械機器および／または部品と同様に配置されるように、数値モデルが更新され、その方向が変更される。より具体的には、数値ＦＥモデルの表面は、点群に整合し、図４Ａに示された物体のように配向される。上記を可能にするために、動作追跡画像取得ソフトウェア、例えば画像およびビデオ取得、ブロブ追跡、特徴検出などを使用することができる。

少なくとも１つのフィールド測定装置が使用されてもよく、これらの装置としては（本発明では、写真およびビデオカメラの使用が好適であるが、本発明の枠組みにおいて依然として他の手段が使用される可能性があり、これらの他の手段は、設備の価格を増減させ、その産業上の適用性を制限または拡大し、その精度を向上または低下させる可能性がある）：（ａ）写真またはビデオカメラであって、画像の品質は、好ましくは比較的高く、ノイズのないものであり、さらに静止画像を使用することができ、複数の画像を平均化することで低コストのカメラの使用を改善することができ、所望の精度に応じて、カメラは、ウェブカメラなどの低忠実度メディアから、高忠実度および高速度メガピクセルカメラまでの範囲であり得る、写真またはカメラが挙げられるが、これらに限定されるものではない。本発明の実施形態によれば、少なくとも２Ｄ画像またはビデオが使用される。画像およびビデオは、グレースケールおよび／またはカラー（例えば、８ビット以上）の両方で取得することができ、（ｂ）磁気撮像手段、例えば、ＭＲＩスキャナといったこれらのスキャナは、調査対象物の磁気応答に基づいて撮像を行う。これらのスキャナは、完全な３Ｄ情報を構築するために、しばしば断層撮影法と組み合わされる。この最後のステップは、本件で説明した推定目的には必要ではないが：（ｃ）例えばＸ線撮像のような放射線画像撮影手段であって、これらの装置はＸ線撮影原理に基づいて対象物のフィールド撮像を行い、対象物内の情報を得るのに特に適している放射線画像撮影手段；（ｄ）センサに対する多数の点の距離の情報のフィールドを提供する、例えばライダー（ＬｉＤａｒ）のような固体状態または走査光検出および測距装置；（ｅ）（写真カメラのような可視範囲ではなく）赤外線範囲内の光を捕捉することによって温度を検出することができ、光源がない場合にも使用することができるサーモグラフィ撮像手段またはカメラ、が挙げられる。

さらなる実施形態では、カメラからターゲットＰＣへのデータの転送は、例えばＣａｍｅｒａＬｉｎｋ、ＵＳＢ３、ＧｉＧｅ、ＣｏａＸＰｒｅｓｓなど、転送されるデータの速度および量に応じて任意のタイプのプロトコルで実行することができる。このデータ転送は、用途に応じてリアルタイム、オンライン、オフラインで生じてよい。さらなる実施形態では、フレーム取込み器が使用されてもよい：大量のデータが取得される可能性がある場合、カメラとＲＡＭメモリ、ハードディスクまたはＳＳＤなどの記憶媒体、またはこの目的のために使用することができる任意のタイプのメモリとの間の十分な高速接続を可能にするために、フレーム取込み器が必要となることがある。

本発明のさらなる実施形態では、準備ステップは、写実的電気機械数値モデルを作成し可視化するステップをさらに含むことができる。この手順は、仮想測定フィールドが、電気機械的機器および／または部品上の（一部の）測定されたフィールドと非常に整合／類似するように、あるいは言い換えれば、数値モデルは写真整合性を有するように、数値モデルのレンダリング画像を作成することを可能にする。結果として作成されるモデルは、「写実的電気機械数値モデル」と称することができる。この態様は、任意の画像に基づくレンダリング手順（例えば、表示依存のテクスチャマッピング）または同じ結果に達することを可能にする任意の手順によって行うことができる。

例えば、任意の以前のステップで記憶された物理的電気機械機器および／または部品の画像を使用することができ、また、（例えば、三角形と四角形からなる）写実的電気機械数値モデルの再構成された表面の各部分は、その特定の表面パッチを視覚的に覆う画像の全部または一部を組み合わせることによって、特定のテクスチャを割り当てられる。その組み合わせは、例えば補間技術を適用することによって得ることができる。補間は、例えば、選択された表面とカメラとの間の距離のメトリックに比例する重みを選択することによって実行することができる。テクスチャを組み合わせる、あるいは、テクスチャを補間するための他の方法を適用することができる。この補間は１の分割（Ｐａｒｔｉｔｉｏｎ ｏｆ Ｕｎｉｔｙ）の定理に従ってもよい。最後に、１つまたは複数の異なる視点および構成から可視化することができ、電気機械的機器および／または部品に視覚的に類似するように、言い換えれば、物理的電気機械機器および／または部品と写真整合性を有するように、写実的電気機械数値モデルを作成する。電気機械数値モデルまたは仮想オブジェクトに対して写真整合性を有する画像は、「レンダリングからテクスチャまで」行う技術またはスクリーンまたは装置一般に再現される画像の記憶を可能にする他の任意の技術といった技術によって得ることができる。写実的電気機械数値モデル作成ステップは、画像に基づくモデリングおよびレンダリングの分野において、最先端技術で利用可能な任意の技術によって実行することができる。

図５Ａ〜５Ｃは、本発明の実施形態による写実的電気機械数値モデルまたは仮想オブジェクト作成ステップを示す。画像に基づくモデリングおよびレンダリング（例えば、表示依存のテクスチャマッピングによって行われるもの）によって、写実的電気機械数値モデルまたは仮想オブジェクトが作成される。図５Ａは、物理的電気機械機器および／または部品、例えばクランプされた梁の画像を示し、物理的電気機械機器および／または部品はスペックルパターンで強調される。この画像は次に、テクスチャ加工された仮想オブジェクトを作成するために使用される。図５Ｂは、梁が離散化され、画像（図５Ａの画像内のスペックル処理された梁）によって提供されるスペックルパターンに重ね合わさるＦＥモデル表面（三角形を含む）のズーム部分を示す。図５Ｂでは、ＦＥメッシュの三角形にテクスチャが割り当てられている。最後に、図５Ｃは、本発明の実施形態による写実的電気機械数値モデルまたは仮想オブジェクトを示し、より具体的には、この図は、図５Ａに示される物理的電気機械的機器および／または部品に非常に似ているか、または写真整合性を有する梁のレンダリングされたＦＥモデルを示す。本発明の実施形態は、作動ステップを含み、作動ステップは、測定および推定ステップを含む。好ましい実施形態では、測定段階またはステップは、単一または一連のビデオ、スナップショットまたは画像を通して物理的電気機械機器および／または部品を記録することを含む。これらは：（ａ）物理的環境における非稼働時の物理的電気機械機器および／または部品；（ｂ）静的、定常状態、過渡状態などの任意のタイプの内部または外部励起の影響を受ける物理的電気機械機器および／または部品、であってもよいが、これらに限定されない。物理的電気機械機器および／または部品は、試験装置に配置することができ、「変形した分布フィールド」につながる内部または外部励起（ゼロ励起を含む）を受ける可能性がある。これらは、（ａ）および（ｂ）時点で捕捉された（変形されたまたは変形されていない）分布フィールドとは異なることがある。好ましい実施形態では、静的状態、定常状態、過渡状態などの任意のタイプの内部または外部励起の影響を受ける物理的電気機械機器および／または部品である。物理的電気機械機器および／または部品は、作業環境に配置することができ、「変形した分布フィールド」につながる内部または外部励起（ゼロ励起を含む）を受ける可能性がある。これらは、（ａ）および（ｂ）時点で捕捉された（変形されたまたは変形されていない）分布フィールドとは異なることがある。

好ましい実施形態では、分散されたまたは変形された分布フィールドが作成され、記録および／または画像に適した任意の状況が取られ得る（例えば、物理的電気機械機器および／または部品を見ることができる）。

前述のシナリオの１つに続いて、一連のビデオ録画または画像（１つまたは複数）が捕捉される。

測定ステップを可能にするために使用することができる潜在的なハードウェアおよび／またはソフトウェアは、以下のものであってもよい：
・動作追跡および画像取得ソフトウェア：例えば、画像およびビデオの取得、ブロブ追跡、特徴検出などであり、これらはリサーチコードでもコマーシャルコードであってもよい。
・写真またはビデオカメラ：所望の精度に応じて、ウェブカメラなどの低忠実度メディアから、高忠実度および高速メガピクセルカメラまで様々なカメラであってよく、画像とビデオは、グレースケールとカラーの両方で取得できる。
・センサ取得システム：測定段階では、視覚的測定値以外の他の測定値、例えば加速度、速度、位置、ひずみ、温度などを補うことができ、標準的な測定手順に続いて、専用のデータ収集システム（ＤＡＱ）をこの目的に使用できる。
・カメラからターゲットＰＣへのデータ転送は、転送されるデータの速度と量に応じて、任意のタイプのプロトコル、例えばＣａｍｅｒａｌｉｎｋ、ＵＳＢ３、ＧｉＧｅ、ＣｏａＸＰｒｅｓｓなどで実行できる。
・フレーム取込み器：潜在的に大量のデータを取得する場合、カメラと、例えば、ＲＡＭメモリ、ハードディスクまたはＳＳＤ、またはこの目的のために使用可能な任意のタイプのメモリなどの記憶媒体との間の十分な高速接続を可能にするために、フレーム取込み器が必要となることがある。

図６にまとめて提供された画像は、異なる負荷条件（例えば、外部（静的）励起）下で取得された片持ち梁の物理フィールド測定値（画像）および表示のいくつかの例を示す。

本発明の実施形態では、本方法は推定ステップを含み、より具体的には、写実的電気機械数値モデルに基づく推定ステップを含む。さらなる実施形態では、写実的電気機械数値モデルを使用して、写真整合性を有する画像またはビデオまたはスナップショットが作成され、「写実的フィールド測定値」または写真整合性を有する電気機械数値モデルの画像が得られる。実際には、分散されたまたは変形された分布フィールドは、分布フィールド測定値（または写実的仮想測定値−例えば、写真整合性を有する電気機械数値モデルの画像）の、例えば（これらに限定されないが）物理的電気機械機器および／または部品の画像と写実的電気機械数値モデルの画像との間の差異につながる画素強度といった変動（局所的または全体的）を引き起こす。写実的電気機械数値モデルの画像は、種々の手段によって物理的電気機械機器および／または部品の画像と比較することができる。これらの画像が不整合を示す場合、写実的電気機械数値モデルは、不整合がある意味で最小化されるまで、以下に説明する技術の１つ（または同じ目標に達する他の技術）によって更新または変更できる。更新は、写実的電気機械数値モデルの励起、パラメータまたはシステム状態を変化させるか、または乱すことによって達成することができる。より簡単に言うと、写実的電気機械数値モデルの画像と物理的電気機械機器および／または部品の画像との間の不整合が完全に除去または最小化されると、仮想オブジェクトの励起、パラメータまたは状態は、物理的電気機械機器および／または部品の励起、パラメータまたは状態に近似し、上記の推定を提供する。好ましくは、しかし必ずしもそうではないが、マッチング手法は、数値モデル上の仮想フィールド測定値の不確実性と物理的電気機械機器および／または部品上のフィールド測定値の不確実性との間の最適なトレードオフを使用し、これは、例えばカルマンベースのフィルタおよび／または移動水平推定器に関連する技術によって達成することができる。

特に、更新の間、物理的電気機械機器および／または部品と同様に写真整合性を有するビデオまたは画像をもたらす写実的電気機械数値モデルを励起することによって、分布フィールドまたは変形分布フィールドが生成される。写実的電気機械数値モデルから得られた画像は、物理的電気機械機器および／または部品に関する情報を推測するために利用される。本発明の実施形態は、主に分布フィールド測定値（例えば、これに限定されないが、画素強度）の変動を含む分散されたおよび変形された分布フィールドの画像を使用し、このステップを時間効率的かつ正確な方法で実行可能にすることによって、当技術分野で公知の既存の手順を有利に克服する。フィールド測定装置（例えば、写真およびビデオカメラ）の使用は、フォースセル、加速度計、ひずみゲージなどの一般的な個別センサの搭載よりも侵襲性が低いという利点がある。さらに、本発明の実施形態は、潜在的に単一のフィールドセンサによって捕捉された（２Ｄ）画像を使用して、関心のある完全な３Ｄフィールドの情報を推測することを有利に可能にする。これは利用可能な他の技術との明確な差別化であり、コスト、較正、使いやすさ、移植性に関連する問題を解決し、より高い生産性を実現する。

本発明の実施形態では、推定（推定ステップの間）は、オンラインまたはオフラインの方式で行うことができる。ここでオンラインとは、推定が並列タスクとして実行されることを意味するが、物理的電気機械機器および／または部品が解析中である限り、再帰非停止プロセスとしての画像取得と必ずしも同期する必要はない。ここでオフラインとは、限定された組の画像を記憶し、後の推定処理のために後の段階で別の物理的位置に移植する可能性があるという事実を指す。この場合、推定手順は後処理ステップになる。

以下は、典型的には、本発明の実施形態による方法の想定される応用例（ただしこれに限定されない）である：
・モデルの更新：この応用例では、物理的電気機械機器および／または部品に対していくつかの特定のテストが実行され、１つまたは複数の表示またはセンサから画像が捕捉される。試験中（既知でない可能性がある）既知の励起は、物理的電気機械機器および／または部品が、例えばモデル較正のために使用される基準状態に対してその物理的状態を変化させ、分布フィールドまたは変形された分布フィールドを生成し、捕捉された物理的フィールド測定値（または画像／ビデオ）の変動をもたらす。一例として、動きおよび／または変形の影響を受ける機械的構成要素について検討することができる。これらの動きおよび変形は、他の基準構成に対して、取り込まれた画像の画素強度の（潜在的にはｎｕｌｌ）変化を引き起こす。物理的電気機械機器および／または部品による影響を受ける分散されたまたは変形された分布フィールドの近似を作成するために、物理的電気機械機器および／または部品に適用されたのと同じ既知の励起で写実的電気機械数値モデルを励起することができる。写実的フィールド測定値は、数値モデル（例えば、写実的電気機械数値モデルの画像）上でシミュレートされる。数値モデルの写実的フィールド測定値と物理的フィールド測定値が所望の精度レベルまで整合しない場合、写実的数値モデルのパラメータは、整合が達成されるまで更新される。整合は、最適化技術、ＤＩＣ技術、特徴抽出などの組み合わせ（しかし、それだけではない）により得ることができる。一実施形態では、画素強度は、任意の適切な最適化法によって最小化され目的関数として使用される相関または類似性メトリックを作成するために使用される。例として、動きおよび／または変形の影響を受ける物理的電気機械機器および／または部品が考慮される。写実的電気機械数値モデルが変形されると、物理的電気機械機器および／または部品の外観に似ている適用テクスチャがそれと共に変形する。次いで、数値モデル上の写実的フィールド測定値は、「テクスチャへのレンダリング」行う技術のような既知の技術によりシミュレートすることができる。計算は、例えば、ＣＰＵまたはＧＰＵの両方で実行できる。写実的電気機械数値モデルのパラメータは、数値モデル上の写実的フィールド測定値と物理的フィールド測定値の整合が満足できるまで更新することができる（例えば、写実的電気機械数値モデルの画像が物理的電気機械機器および／または部品の画像に類似することを意味する、お互いに可能な限り類似した画素強度分布を提示する）。例えば、パラメータを更新することによって、満足できる整合を達成することができる。ＤＩＣ技術は、通常は人間の目には見えない動きまたは変形が潜在的に検出されるように、副画素レベルでの精度で画素強度変動を追跡することを可能にする。考えられるアプリケーションの例は次のとおりです（ただしこれに限定されません）。：（ａ）（産業）機構（例えば、ロボットマニピュレータ、連続生産と自動化に携わる産業機械−例えば、織機、レーザーカッター、自動車製造チェーンなど）、サスペンションシステムなどの運動特性の更新；（ｂ）作業環境（例えば、クレーン、建物、車両、車両部品、ロボットマニピュレータ、連続生産および自動化に携わる産業機械、風力タービンなど）におけるコンポーネントの材料パラメータの更新、が挙げられる。
・入力−状態−パラメータ推定：特に活発な研究分野は、メカトロニクスシステム、メカニカルシステム、一般的なマルチフィジカルシステムの入力、状態、パラメータの推定を扱っている。特に、例えば位置、速度、加速度、歪み、温度などから得られた局所測定値を結合するためのフレームワークとして、カルマンベースのフィルタリング（Ｋａｌｍａｎ ｂａｓｅｄ ｆｉｌｔｅｒｉｎｇ）および移動水平推定（ＭＨＥ）の分野がしばしば用いられる。更新された写実的電気機械数値モデルが利用可能である場合、物理的電気機械機器および／または部品のいくつかのフィールド測定値は、実際の動作状態の間、または例えば専用の試験装置での試験の下で捕捉することができる。数値モデル上の仮想フィールド測定値（例えば、画像および／またはビデオ）が物理的電気機械機器および／または部品上の画像および／またはビデオにぴったり整合するまで、写実的電気機械数値モデルに励起を適用することができる。特に、写実的電気機械数値モデルが変形され、適用されたテクスチャがそれと共に変形すると、例えばＣＰＵまたはＧＰＵ上で実行される「テクスチャへのレンダリング」のような既知の技術により画像をシミュレートすることができる。

一実施形態において、適用された静的励起は既知であるが、物理的電気機械機器および／または部品の状態の推定、ならびに／あるいは物理的電気機械機器および／または部品のパラメータの時間発展の推定に関心が寄せられている。これは、目的（例えば、非線形最小二乗オプティマイザ、レーベンバーグ・マーカート（Ｌｅｕｖｅｎｂｅｒｑ Ｍａｒｑｕａｒｄｔ）法、内点、遺伝的または進化的戦略など）に適した利用可能な局所的または全体的最適化法の助けを借りて得ることができる。この推定の副次的で関連する副産物として、写実的電気機械数値モデルは、オブジェクトの正確に推定された２Ｄおよび／または３Ｄの変形した分布フィールドを読み出すことを可能にする。第２実施形態において、適用された動的励起は既知であるが、物理的電気機械機器および／または部品の状態の推定、ならびに／あるいは物理的電気機械機器および／または部品のパラメータの時間発展の推定に関心が寄せられている。これは、以下の技術のうちの１つ（ただしこれに限定されない）を用いて得ることができる：（１）画像が測定値として含まれ、写実的フィールド測定値が測定式を表す（線形または非線形の）カルマンベース（Ｋａｌｍａｎ−ｂａｓｅｄ）の手法を使用する。数値モデル上の写実的フィールド測定値は、例えば、加速度計、位置センサ、歪みゲージなどの１つまたは複数のタイプの代替センサと潜在的に組み合わせることができる。カルマンベースの技術（Ｋａｌｍａｎ−ｂａｓｅｄ ｔｅｃｈｎｉｑｕｅｓ）には、線形カルマンフィルタ（Ｋａｌｍａｎ ｆｉｌｔｅｒ）／スムーザー／プレディクタ、非線形拡張またはシグマポイントカルマンフィルタ（Ｋａｌｍａｎ ｆｉｌｔｅｒ）、最小分散フィルタなど；（２）例えば、加速度計、位置センサ、歪みゲージなどの１つまたは複数のセンサが従来の設定において使用される（線形または非線形の）カルマンベース（Ｋａｌｍａｎ−ｂａｓｅｄ）の手法を使用すること、が含まれる（が、これらに限定されない）。推定された状態／パラメータが更新された後、視覚的測定値を使用して、写実的フィールド測定値と物理的フィールド測定値との改善された整合を得ることができる。この２ステップアプローチは、カルマン予測（Ｋａｌｍａｎ ｐｒｅｄｉｃｔｉｏｎ）および視覚的測定値（例えば、画像および／またはビデオ）の整合が同時に達成されるまで繰り返し実行され得る（カルマンベースの技術（Ｋａｌｍａｎ−ｂａｓｅｄ ｔｅｃｈｎｉｑｕｅｓ）の非網羅的リストについてはポイント１を参照）；（３）写実的フィールド測定値が測定式として使用される、移動水平推定（ＭＨＥ）に基づく技術；および／または（４）改善された状態および／またはパラメータ（例えば、勾配に基づくフィルタ、非勾配に基づくフィルタ、粒子フィルタおよび確率統計的手法など）の推定を得るために測定値および数値モデルを組み合わせることを可能にする他の任意（例えば、最適化ベースまたはフィルタベース）の方法。

この推定の副次的で関連する副産物として、写実的電気機械数値モデルは、正確に推定された、例えば位置およびひずみフィールドなどの変形した分布フィールドを読み出すことを可能にする。

第３の実施形態では、適用された励起は知られておらず、励起そのものの推定、および潜在的に分析されるオブジェクトの状態およびパラメータの推定に関心が寄せられている。これは、以下の技術のうちの１つ（ただしこれに限定されない）を用いて得ることができる：（１）画像が測定値として含まれ、数値モデル上の写実的フィールド測定値が測定式を表す（線形または非線形の）カルマンベース（Ｋａｌｍａｎ−ｂａｓｅｄ）の手法を使用する。数値モデル上の視覚的フィールド測定値は、例えば、加速度計、位置センサ、歪みゲージなどの１つまたは複数のタイプの代替センサと潜在的に組み合わせることができる。カルマンベースの技術（Ｋａｌｍａｎ−ｂａｓｅｄ ｔｅｃｈｎｉｑｕｅｓ）には、線形カルマンフィルタ（Ｋａｌｍａｎ ｆｉｌｔｅｒ）／スムーザー／プレディクタ、非線形拡張またはシグマポイントカルマンフィルタ（Ｋａｌｍａｎ ｆｉｌｔｅｒ）、最小分散フィルタなど；（２）例えば、加速度計、位置センサ、歪みゲージなどの１つまたは複数のセンサが従来の設定において使用される（線形または非線形の）カルマンベース（Ｋａｌｍａｎ−ｂａｓｅｄ）の手法を使用すること、が含まれる（が、これらに限定されない）。推定された状態／パラメータが更新された後、視覚的測定値を使用して、数値モデル上の写実的フィールド測定値と物理的オブジェクト上の視覚的フィールド測定値との改善された整合を得ることができる。この２ステップアプローチは、カルマン予測（Ｋａｌｍａｎ ｐｒｅｄｉｃｔｉｏｎ）および視覚的測定値（例えば、画像および／またはビデオ）の整合が同時に達成されるまで繰り返し実行され得る（カルマンベースの技術（Ｋａｌｍａｎ−ｂａｓｅｄ ｔｅｃｈｎｉｑｕｅｓ）の非網羅的リストについては先述のポイントを参照）；（３）数値モデル上の写実的フィールド測定値が測定式として使用される、移動水平推定（ＭＨＥ）に基づく技術；（４）改善された励起および／または状態および／またはパラメータ（例えば、勾配に基づくフィルタ、非勾配に基づくフィルタ、粒子フィルタおよび確率統計的手法など）の推定を得るために測定値および数値モデルを組み合わせることを可能にする他の任意（例えば、最適化ベースまたはフィルタベース）の方法。この推定の副次的で関連する２つの副産物として、写実的電気機械数値モデルは、正確に推定された、変形した分布フィールドを読み出すことを可能にする。

推定段階で使用できる潜在的なハードウェアおよびソフトウェアは、以下をものがある：
・モデリング環境：リサーチまたは市販ソフトウェアを使用して、静的および動的シミュレーション（例えば、有限要素、有限体積、有限差分ソフトウェア、（柔軟）多体ソフトウェア）を実行することができる。
・画像／フィールドマッチングソフトウェア：画像マッチングは、任意のまたは何らかの形態の画像相関およびマッチングを実行することを可能にする（入手可能であれば、リサーチまたは市販の）アドホック専用ソフトウェアで行うことができる（例えば、単一画素または画素のサブセットの画素強度を使用して、写実的モデルと物理システム／構成要素の間の画像マッチングを実行するために使用されるソフトウェア、ＤＩＣソフトウェアなど）。
・最適化および推定ソフトウェア：カルマンフィルタベースのライブラリ（Ｋａｌｍａｎ ｆｉｌｔｅｒｓ ｂａｓｅｄ ｌｉｂｒａｒｉｅｓ）、ＭＨＥベースのライブラリ、ルーエンバーガー観測器（Ｌｕｅｎｂｅｒｇｅｒ ｏｂｓｅｒｖｅｒ）のライブラリ、例えば、これらに限定されないが、内点法、レーベンバーグ・マーカート（Ｌｅｕｖｅｎｂｅｒｑ−Ｍａｒｑｕａｒｄｔ）法、線形および非線形最小二乗などのような最適化アルゴリズム（の採用）により、状態入力およびパラメータ推定を実行できる。これらはリサーチコードでもコマーシャルコードであってもよい。

図７Ａ〜７Ｄは、本発明の実施形態による推定ステップを要約している。図７Ａは、写実的電気機械数値モデル（写実的な梁）に外部励起を適用することによって実現される写実的画像を示している。より具体的には、本発明の実施形態で使用される数値モデル上の変形された写実的フィールド測定値の形跡を提供する。図７Ｂは、物理的フィールド測定値（実際の梁の画像）と数値モデル（写実的梁モデルを使用して作成された画像）上の写実的フィールド測定値との減算を表す３つの画像を提供する。各図は、写実的電気機械数値モデルに適用された異なる励起を表している。右端の図は類似度が高いことを示している（ほとんど黒で、２つの画像の差が小さいことを示している）。物理的フィールド測定値と写実的フィールド測定値の整合がここに示されており、右側の図は最初の２つの場合と比較してより類似性を示しているため、励起がうまく捕捉されたことを示している。図７Ｃは、横軸が写実的電気機械数値モデルに適用される負荷を表し、コスト関数は物理的フィールド測定値（実際の画像）と（写実的電気機械数値モデルから得られた）写実的フィールド測定値との間の類似性の尺度を表すコスト関数を示すグラフを示す。このように、単一の外部励起対コスト関数（画像整合類似度）が提供される。実際の片持ち梁に適用された正確な負荷の位置の周りには、最小値が明確に見出される。図７Ｄは、水平面が写実的電気機械数値モデルに適用される２つの外部負荷の振幅を表し、コスト関数は物理的フィールド測定値（実際の画像）と数値上の（写実的電気機械数値モデルから得られた）写実的フィールド測定値との間の類似性の尺度を表すグラフを示す。このように、コスト関数（画像整合類似度）対複数の外部励起が提供される。実際の片持ち梁に適用された正確な負荷の位置の周りには、最小値が明確に見出される。ある方向は、最小値が存在するが、それほど顕著ではないので、他の方向よりも明らかに「剛性」である。図８は、測定および推定ステップを含む動作段階が図示され組み合わされた、作業フローの詳細な説明を示す。さまざまなステップ／特徴は下の表に示す。グラフの左の部分は、推定段階（グラフの右側部分に示されている）に対して前に、または同時に開始することができる測定段階を示す。このフローチャートは、個別センサを含む、より標準的な推定ワークフローとの潜在的な組み合わせを示している。太線で強調表示されたボックスは、本発明の実施形態で提案された新規部品を強調する。図９は、本発明による方法の実施形態を実施するために使用することができる本発明の実施形態によるハードウェア−ソフトウェアシステムを示す。図１０は、本発明の実施形態による方法の概要を示す。前述の説明は、本発明の特定の実施形態を詳述するものである。しかしながら、上述のことがどのように詳細に記載されているとしても、本発明は多くの方法で実施され得ることが理解されるであろう。本開示の特定の特徴または態様を説明する際に特定の用語を使用することは、用語が本明細書において、その用語が関連する本開示の特徴または態様の特定の特徴を含むことに限定されるように再定義されていることを暗示するものではないことに留意されたい。

上記の詳細な説明は、様々な実施形態に適用される本発明の新規な特徴を示し、説明し、指摘したが、本発明から逸脱することなく、図示されたデバイスまたはプロセスの形態および詳細における様々な省略、置換、および変更が、当業者によってなされ得ることが理解されるであろう。

Claims (23)

1. 物理的オブジェクトを感知する方法であって、
   前記方法は、
   −前記物理的オブジェクトの写実的仮想オブジェクトを提供する工程と、
   −測定ステップを実行する工程であって、前記測定ステップが前記物理的オブジェクトを記録することおよび少なくとも１つの２次元画像を含む前記物理的オブジェクトの物理的フィールド測定値を取得することを含む工程と、
   −推定ステップを実行する工程であって、前記推定ステップが写実的仮想オブジェクトに外部励起を適用して写実的仮想フィールド測定値を作成し、前記写実的仮想フィールド測定値を前記物理的フィールド測定値と比較して、前記物理的オブジェクトを感知することを含む工程と
   を含む方法。
2. 前記方法は、前記少なくとも１つの２次元画像の時間履歴を使用することを含む、請求項１に記載の方法。
3. 物理的オブジェクトの感知は、前記物理的オブジェクトの以下の量：
   ・状態：位置、速度、加速度、ひずみ、ひずみ速度、電流を含むがこれに限定されない、
   ・入力：機械力、機械的トルク、機械的圧力、電圧を含むがこれに限定されない、
   ・パラメータ：密度、ヤング率、ポアソン比、材料パラメータ、物理的寸法、抵抗、静電容量を含むがこれに限定されない、
   の１つまたは複数を推定する工程を含む、先行する請求項のいずれかに記載の方法。
4. 前記方法が、前記物理的オブジェクトの前記量の推定の時間履歴を提供する工程を含む、請求項３記載の方法。
5. 前記物理的オブジェクトは電気機械機器および／または構成要素である、先行する請求項のいずれかに記載の方法。
6. 写実的仮想オブジェクトを提供する工程が、前記物理的オブジェクトの写実的数値モデルの作成を含む、先行する請求項のいずれかに記載の方法。
7. 測定ステップを実行する工程が、少なくとも１つが前記物理的オブジェクトの外面を少なくとも１つの２次元画像で可視化するための撮像デバイスである物理的センサの出力を組み合わせることを含む、先行する請求項のいずれかに記載の方法。
8. 推定ステップを実行する工程が、１つまたは複数の所望の量の推定値を提供するために前記写実的仮想フィールド測定値を前記物理的フィールド測定値と組み合わせることを含み、前記推定ステップは、少なくとも、前記物理的オブジェクトまたはその一部の少なくとも１つの２次元画像と、前記写実的仮想オブジェクトによって生成された画像との間の類似性メトリックの使用に基づいている、先行する請求項のいずれかに記載の方法。
9. 推定ステップを実行する工程は、所望の電気機械量の推定値を提供するために前記写実的数値モデルおよび測定ステップを組み合わせることを含み、前記推定ステップは、少なくとも、前記電気機械的機器またはその一部の少なくとも１つの２次元画像と、前記写実的数値モデルによって生成された画像との間の類似性メトリックの使用に基づいている、請求項５および６に従属する限りでの先行する請求項のいずれかに記載の方法。
10. 前記物理的オブジェクトの前記写実的仮想オブジェクトの物理的挙動は、システムの離散近似として得られる静的または動的モデルによって表される、先行する請求項のいずれかに記載の方法。
11. 前記システムの離散近似が、常微分、偏微分または微分代数方程式、有限要素モデル、計算流体力学モデル、柔軟多体モデル、の１つまたはそれらの組み合わせによって表される、請求項１０に記載の方法。
12. 前記物理的オブジェクトの前記写実的仮想オブジェクトが、１つまたは複数の線形および非線形モデル次数低減技術を使用する、先行する請求項のいずれかに記載の方法。
13. 前記１つまたは複数の線形または非線形モデル次数低減技術は、コンポーネントモード合成、クルイロフ（Ｋｒｙｌｏｖ）に基づく方法、適切な直交分解、動的モード分解、平衡切捨て、離散経験的補間法、エネルギー節約型サンプリングおよび重み付けのうちの１つまたは複数である、請求項１２に記載の方法。
14. 前記モデルが時間領域で解決される、先行する請求項のいずれかに記載の方法。
15. 前記推定は、ビデオ、画像および前記写実的数値モデルの両方を組み合わせた動的フィルタリング技術から得る、先行する請求項のいずれかに記載の方法。
16. 前記動的フィルタリング技術が、カルマンベースの技術（Ｋａｌｍａｎ−ｂａｓｅｄ ｔｅｃｈｎｉｑｕｅｓ）、移動水平推定（Ｍｏｖｉｎｇ Ｈｏｒｉｚｏｎ Ｅｓｔｉｍａｔｉｏｎ）またはルーエンバーガー観測器（Ｌｕｅｎｂｅｒｇｅｒ ｏｂｓｅｒｖｅｒ）のうちの１つまたは複数を含む、請求項１５に記載の方法。
17. 前記推定ステップは、前記物理的オブジェクトの推定量の確率的誤差範囲の評価を可能にする、請求項３に従属する限りでの先行する請求項のいずれかに記載の方法。
18. 前記方法が、前記写実的仮想オブジェクトへの既知の入力として、前記物理的オブジェクトの量のサブセットを測定および使用することを含む、請求項３に従属する限りでの先行する請求項のいずれかに記載の方法。
19. 前記方法が、前記推定ステップ中にビデオおよびカメラ画像に加えてさらなる電気機械量を測定および使用することを含む、先行する請求項のいずれかに記載の方法。
20. 写実的仮想オブジェクトを提供する工程は、前記物理的オブジェクトの数値モデルを作成することと、少なくとも１つの画像で前記モデルのジオメトリをテクスチャ加工することとを含む、先行する請求項のいずれかに記載の方法。
21. 前記物理的オブジェクトの物理的フィールド測定値は変形された物理的フィールドである、先行する請求項のいずれかに記載の方法。
22. 処理システムを含む装置であって、前記処理システムが請求項１から２１のいずれかに記載の方法を実行するようにプログラムされた、装置。
23. 物理的オブジェクトを特徴付けるためのシステムであって、前記システムが、
    ・前記物理的オブジェクトの量を測定するための少なくとも１つの手段と、
    ・前記物理的オブジェクトのフィールドを測定するための前記少なくとも１つの手段の出力を受信するように適合され、また請求項１から２１のいずれかに記載の方法を実行するように適合されたプロセッサと
    を備えるシステム。