JP7360470B2 - 血管造影撮像システムの時間的較正 - Google Patents

Description

［関連出願の相互参照］
この出願は、２０１９年３月８日に出願された米国仮出願第６２／８１５，４７６号の優先権を主張しており、その内容は参照によりその全体が本明細書に組み込まれている。

この分野は、タイムスタンプを生成する血管造影または他のＸ線撮像システム、特に外部信号との同期を可能にするために１秒未満の精度で正確なタイムスタンプを生成する血管造影または他のＸ線撮像システムに向けられている。

血管造影取得装置の製造業者は、血管造影画像に正確なタイムスタンプを含める必要性を予見していなかった。血管造影画像にメタデータとして保存されたタイムスタンプは、数秒から数分の範囲の誤差を示す。現在の血管造影撮像システムには、システムのタイムスタンプを再較正するためのアプリケーションプログラミングインターフェイスのような機構が含まれていない。

血管造影画像の共通のファイル形式としてＤＩＣＯＭ規格を用い、一連の血管造影画像の各画像は、ＤＩＣＯＭメタデータを有するヘッダを含んでいる。ＤＩＣＯＭメタデータはタイムスタンプの情報を保存するためのタグを含んでいるが、保存されたタイムスタンプは正しくないと判断されており、対応する血管造影画像が取得される正しい時刻を示していない。

しかも、既存の血管造影装置は、心臓信号のような外部信号と同期するためのハードウェア入力ポートを含まない。さらに、このような装置は、外部心臓信号および血管造影画像の統合された記憶のための内部データベースまたはファイル構造を有していない。

コンピュータ断層撮影およびＭＲＩを用いて取得された心電図同期画像は、コンピュータ断層撮影またはＭＲＩデータのタイミングと外部信号との事後関連付けを提供するが、この装置は、コンピュータ断層撮影またはＭＲＩハードウェアの内部クロックと外部信号の同期を可能にする設計仕様を含むように製造されている。しかしながら、これらのタイプのシステムは、内部クロックを同期するためのハードウェアまたはソフトウェアがない血管造影システムでは機能しない。

したがって、内部クロックとの同期を欠く血管造影および他のＸ線の撮像システムで正確なタイムスタンプを取得するための技術が必要である。

現在の技術は、時間標準（例えば、世界または国際時間標準、国立標準技術研究所（ＮＩＳＴ）の時間標準、またはその他の適切な時間標準）に同期されていない内部クロックを備えた血管造影撮像システムのようなＸ線撮像システムにおいて１秒未満の精度で正確なタイムスタンプを生成するためのシステム、方法、およびコンピュータ可読媒体に向けられており、このことが撮像システムによって取得された画像を外部信号に同期させることを可能にしている。

複数の可動放射線不透過マーカが、放射線発生器と放射線検出器アレイとの間に配置されている。各複数の放射線不透過マーカは、それぞれの周波数で移動される。放射線不透過マーカが移動している間、一連のＸ線画像が取得され、各画像は、複数の可動放射線不透過マーカによって投影された動的に生成された透かしを含み、各放射線不透過マーカの位置が透かし上に示されている。一連の画像は、透かしの各複数のマークの回転位置を測定するように処理される。マークの測定された回転位置および複数の放射線不透過マーカのそれぞれの周波数に基づいて、タイムスタンプが決定される。

いくつかの態様では、透かしは、１秒未満の精度でタイムスタンプを符号化する。いくつかの態様では、各複数の放射線不透過マーカは、時間標準に同期されたコントローラによって決定される速度で回転する。

いくつかの態様では、メタデータのタイムスタンプは、透かしによって符号化されたタイムスタンプに基づいて修正される。

いくつかの態様では、各複数のステッピングモータは、関連する放射線不透過マーカを同じ周波数で回転させるように、異なる特定の周波数で回転する。いくつかの態様では、少なくとも２つの放射線不透過マーカが、１秒未満の精度を得るために用いられる。

いくつかの態様では、本明細書で提供されるように生成されたタイムスタンプは、心拍数よりも速い速度で取得された血管造影画像からの心臓周波数現象の時空間的再構成のための技術において、画像を外部信号と同期させるために使用されてもよい（２０１８年１１月１３日に発行され、参照によりその全体が本明細書に組み込まれている米国特許第１０，１２３，７６１号を参照のこと）。

要約は、本開示の実施形態の重要なまたは本質的な特徴を特定することを意図するものではなく、また、本開示の範囲を限定するために使用することを意図するものでもないことを理解されたい。本開示の他の特徴は、以下の説明から容易に理解できるであろう。

一般に、様々な図における同様の参照番号は、同様のコンポーネントを示すために利用されている。

本明細書で提供される技術に従って、Ｘ線画像の動的透かしに基づいて、正確なタイムスタンプを生成するための血管造影システムを示す。

本明細書で提供される技術に従って、画像処理技術を用いて動的に透かしを入れられたＸ線画像を処理するためのフローチャートである。

本明細書で提供される技術に従って、画像処理技術と組み合わせた機械学習を用いて動的に透かしを入れられたＸ線画像を処理するためのフローチャートである。

本明細書で提供される技術に従って、処理された動的に透かしを入れられたＸ線画像に基づいてメタデータのタイムスタンプを修正することによりタイムスタンプを生成するためのフローチャートである。

本明細書で提供される技術に従って、処理された動的に透かしを入れられたＸ線画像からタイムスタンプを生成するためのフローチャートである。

本明細書で提供される技術に従って、Ｘ線画像の動的透かしに基づいて１秒未満の精度でタイムスタンプを生成するための操作の上級のフローチャートである。

本明細書で提供される技術に従って、透かしを含む血管造影画像を保存および分析するために血管造影システムと共に使用され得るコンピュータシステムまたは情報処理装置のブロック図である。

本明細書で提供される技術による、異なるタイプのダイヤルの例を示す。 本明細書で提供される技術による、異なるタイプのダイヤルの例を示す。

血管造影撮像システムは、Ｘ線発生器、Ｘ線検出器アレイを含むハードウェア、およびＸ線検出器アレイによって捕捉されたデータを画像に変換する電子ハードウェアおよびソフトウェアを備えている。血管造影図を取得するために、化学造影剤の塊が患者の血管内に注射され、一連のＸ線またはＸ線の時系列が得られる。血管系の解剖学的構造の二次元投影は、Ｘ線の通過を遮断する化学造影剤がＸ線投影経路で血管系を通過するときに捕捉される。

化学造影剤の塊の通過タイミングが、医療情報を提供する場合がある。例えば、塊の通過の比較的早い段階で取得された画像は、動脈の解剖学的構造を反映する可能性が高く、比較的遅く取得された画像は、静脈の解剖学的構造を反映する可能性が高くなる。取得時間に従って順番に配列されたこれらの画像の集約は、血管造影図を含む。

各画像は、Ｘ線信号検出器アレイによって生成された信号が、デジタル化された画像に集約される瞬間に対応するタイムスタンプを有している。このタイムスタンプは、メタデータに保存されていてもよい。Ｘ線およびその他の医療用画像の一般的な画像ファイル形式は、ＤＩＣＯＭ規格を用いている。この規格は、Ｘ線画像の取得の瞬間を示すために、メタデータとして含まれるタイムスタンプタグを提供する。

しかしながら、血管造影撮像システムは通常、内部クロックの較正を許可しないクローズドシステムである。その結果、画像メタデータから抽出されたＸ線画像のタイムスタンプは、計算目的で画像を他の時系列データと同期させるような他のアプリケーションでは多くの場合不十分である。

いくつかの場合には、タイムスタンプの誤差の測定が、最大２０分以上の誤差を明らかにする。さらに、ＤＩＣＯＭ規格は、血管造影画像を外部信号（例えば、心臓信号）と正確に同期させるのに十分な時間分解能（例えば、１秒未満の分解能）を提供しない。

現在の技術は、透かしを形成するために用いられるＮＩＳＴ時間標準に同期された複数の放射線不透過マーカに基づいて正確なタイムスタンプを生成するためのものであり、この透かしは複数の放射線不透過マーカによって投影されている。いくつかの態様では、ＤＩＣＯＭタイムスタンプは、放射線不透過マーカによって提供された情報に基づいて、修正プロセスを受ける。他の態様では、タイムスタンプは、ＤＩＣＯＭタイムスタンプを利用せずに、放射線不透過マーカによって提供される情報からのみ生成される。

正確なタイムスタンプを用いて、血管造影データは、指パルスオキシメータまたは心電図によって生成される心臓信号のような外部信号と同期させ得る。いくつかの実施形態では、心臓信号をウェーブレットアルゴリズム（ｗａｖｅｌｅｔ ａｌｇｏｒｉｔｈｍ）（場合によっては相互相関された）と組み合わせて、例えば上記の参照により本明細書に組み込まれる米国特許第１０，１２３，７６１号に開示されているように、一連の血管造影画像から個々の移動血管脈波の時空間的再構成を生成し得る。さらに、ウェーブレットアルゴリズムを用いた外部信号は、一連の血管造影画像の信号対雑音比を向上させる。

以下に説明するように、血管造影図のピクセルに挿入するために、装置、方法、およびコンピュータ可読媒体が提供されており、動的に生成された透かしは、タイムスタンプに変換され得る情報を（例えば、自動ソフトウェアによって）符号化する。

図１を参照すると、本明細書で提供される技術に従って、Ｘ線画像の動的透かしに基づいて正確なタイムスタンプを生成するためのシステム／装置が示されている。この例では、Ｘ線源３およびＸ線検出器アレイ１０は、その内部クロックを直接較正するか、またそうでなければ正確なタイムスタンプを有する画像を生成する能力を提供しない血管造影撮像システムの一部である。

このシステムは、コンピュータ（図７にコンピュータシステム８０で示されている）、コントローラ１およびモータ１１（例えば、ステッピングモータなど）、放射線不透過ダイヤル２、Ｘ線源３、およびＸ線検出器アレイ１０を含んでいる。この例では、Ｘ線検出器１０は、放射線不透過ダイヤル２へのＸ線の投影から埋め込まれた時間的透かし４を示している。この例では、放射線不透過マーカはダイヤルの形態をしている。

操作中、このシステムは較正された一連の画像５を生成し、これらは、画像内の透かし６を画像のタイムスタンプ修正７に変換するための処理を受け得る。タイムスタンプ修正７は、メタデータを修正するための誤差信号、またはメタデータを置き換えるためのタイムスタンプを含んでいてもよい。これらのコンポーネントについては、以下でさらに説明される。

コンピュータは、スタンドアロンコンピュータ、サーバー、タブレット、ラップトップなどを含む、任意の適切なコンピュータシステムを含み得る。例えば、コンピュータは、Ｘ線源３とＸ線検出器アレイ１０との間の視界内になく、一連のＸ線画像を生成するために使用される小型の携帯型コンピュータを含んでいてもよい。

コンピュータは、特定の周波数での放射線不透過マーカの回転または移動を制御するモータを回転させるように構成されていてもよい。例えば、ポータブルコンピュータは、モータを制御するためにパイソンライブラリを用いてプログラムされたコントローラに取付けられていてもよい。パイソンライブラリは、各モータを所定のプログラムされた速度で回転させるようにプログラムされている。

図１に示されるような放射線不透過参照マーカシステムにおいて、複数の可動放射線不透過マーカ（例えば、ダイヤル２）が、そのＸ線画像上の相対位置がＸ線画像取得タイムスタンプを符号化するように提供されている。いくつかの態様では、放射線不透過参照マーカシステムは、放射線不透過マーカの回転を制御可能な任意のシステムを含んでいる。例として、可動放射線不透過マーカは、コントローラによって時間標準に同期されたダイヤルの形態であってもよい。放射線不透過マーカの動きは、任意の適切な座標系（例えば、角度座標系、ｘ－ｙ座標系など）を参照してもよい。放射線不透過参照システムに対する放射線不透過マーカの相対位置は、Ｘ線画像上の動的透かしとして投影される。例えば、放射線不透過マーカは、画像内の対応するマークとして（透かしの一部として）投影されていてもよい。

一実施形態では、図８Ａに示されるように、可動放射線不透過マーカは、円形フレーム８１０の中心の周りを回転する針８２０の形態であってもよい。この態様では、ダイヤルのフレームは固定されており、針の回転はコントローラによって制御されている。適切な時間分解能を達成するために、複数のダイヤルがこのように実装されていてもよい。

別の実施形態では、図８Ｂに示されるように、可動放射線不透過マーカは、ダイヤル自体の面を含んでいてもよく、面の中心または他のある点の周りを回転するように構成されていてもよい。この実施形態では、放射線不透過マーカ８４０は、回転面８３０（例えば、目盛りの形状、または他の適切な形状など）上に配置されている。

いずれの場合も、１つまたは複数のモータを用いてダイヤルの可動放射線不透過マーカを（例えば、可動針または可動面を回転することによって）回転してもよい。一例では、ダイヤルの形状の放射線不透過マーカの回転は、別個のモータによって駆動される。他の例では、単一のモータが、異なる回転周波数をもたらす歯車を介して複数のダイヤルに結合されていてもよい。一態様では、モータは、ダイヤルに直接接続されていてもよい。別の態様では、モータは、１つまたは複数の接続コンポーネントを介してダイヤルに接続されていてもよい。

したがって、装置は、全体を通して提供されるような様々な形態を含むダイヤルの回転に関して説明されているが、タイミングは、放射線不透過マーカによって符号化されていることが理解されよう。それゆえ、本実施形態は、例えば、コントローラによって制御される可動放射線不透過マーカが時間情報を符号化する任意の適切な形態を包含する。放射線不透過マーカは、ダイヤルの形態を含んでいてもよい。

コントローラによって制御されるモータは、一連のＸ線画像が取得されている間、特定の周波数で回転するように、ダイヤル２をクリックまたはスムーズな掃引または任意の他の適切な方法で移動させるように制御することができる。ダイヤルは、Ｘ線源３とＸ線検出器アレイ１０との間の視界内に配置されている。いくつかの態様では、ダイヤルは、金属製の取り付けブラケット内に配置され、回転可能なシャフトに取付けられた金属製の針を有していてもよい。金属製の針は放射線不透過であり、Ｘ線画像中に例えばマークとして表示される。他の態様では、ダイヤルの面は回転してもよく、放射線不透過マーカがダイヤルの面にパターンで配置されていてもよく、そのパターンは、面の回転に基づいてタイミング情報を符号化することを可能にする。他の態様では、放射線不透過マーカは、他のタイプの放射線不透過材料で作成され、または放射線不透過材料で覆われ、または放射線不透過塗料でコーティングされていてもよい。Ｘ線管３からＸ線検出器アレイ１０に伝わるＸ線に対応するピクセルは、画像の検出器アレイ１０中に透かしを形成するように、不透明化される。本明細書で提供される技術は、ダイヤル（例えば、金属または放射線不透過マーカ）をモータに直接取り付けること、ならびに１つまたは複数の接続装置を介してモータにダイヤルを接続することを含む。

モータとそれぞれのダイヤルがプログラムされた速度で回転すると、一連の血管造影画像が得られる。場合によっては、画像は、一連の血管造影画像で通常使用されるのと同じ持続時間と画像フレームレートで取得される。ダイヤル上の放射線不透過マーカはＸ線に対して不透明であり、Ｘ線源の経路内のダイヤルで画像が収集されると、放射線不透過マーカの位置に対応するマークを含む透かしが画像上に形成される。

したがって、透かしは、１つまたは複数のダイヤル／回転可能な放射線不透過マーカのような装置によって生成され、各放射線不透過マーカは、特定の周波数で回転し、コントローラに直接または間接的に同期される。いくつかの態様では、コントローラは、（例えば、ＮＩＳＴ同期されたコントローラによって）ＮＩＳＴタイムスタンプ標準に同期されていてもよい。しかしながら、現在の技術は、任意の適切な時間標準への同期のために用いられてもよい。放射線不透過マーカからの透かしは、血管造影図のピクセルに埋め込まれ、画像メタデータ内のタイムスタンプと比較され得る形式に変換されていてもよい。このことは、一連の画像のメタデータ（例えば、ＤＩＣＯＭタイムスタンプ）に適用され得る、または画像メタデータとは独立してタイムスタンプに変換され得る、タイムスタンプ修正を決定するために用いられてもよい。

任意の適切な数の放射線不透過マーカまたはダイヤルを使用することができ、各複数のダイヤルは、時間情報を符号化する透かしを生成するために、放射線不透過マーカを任意の適切な周波数で回転させる。特に、放射線不透過マーカのダイヤルの数および回転の周波数は、指定された分解能でタイムスタンプを符号化するように構成されていてもよい。時間、分、秒、そして１秒未満の分解能を提供するために、指定された周波数（発振の期間）でより多くのモータとダイヤルが使用されてもよい。分および秒の分解能を提供するために、指定された周波数で少なくとも２つのモータが使用されてもよい。

非限定的な例として、Ｘ線源とＸ線検出器アレイの間の視界内にない小型のポータブルコンピュータ（例えば、Raspberry Pi 3, https：//www.raspberrypi.org, Linux operating system）が、デジタルステッピングモータを駆動するハードウェアユニット（例えば、PiPlates Motorplate-R1.0 https://pi-plates.com/motorrl/）に取付けられている。２つのステッピングモータのセット（例えば、Polulu part number SY20STH30-0604A https://www.pololu.com/product/1204）は、Ｘ線源とＸ線検出器アレイの間の視界内に配置されている。ステッピングモータは金属製の取り付けブラケット内に配置され、タイミング針として機能する金属製の針がシャフトに取り付けられている。

ステッピングモータ制御ユニットは、ステッピングモータ（https://pi-plates.com/code/#Object_Oriented_MOTORplate_Demo_Using_Tkinter）を制御するためにパイソンライブラリを使用し、プログラムされた速度でステッピングモータのダイヤルを回すようにプログラムされている。ステッピングモータのダイヤルの１つは、１０秒ごとに１サイクルを完了するようにプログラムされており、もう１つは、１秒あたり１サイクルを完了するようにプログラムされている。金属製の針はＸ線に対して不透明であり、Ｘ線検出器アレイに影を落とし、画像上の２つのダイヤルの針の画像痕跡を可能にする。

いくつかの態様では、血管造影画像（透かしを含む）が、人間が血管造影で画像化されていないときに取得される。この場合、タイムスタンプ修正は、人間の臨床血管造影図のタイムスタンプのその後の修正のために、コンピュータメモリまたはコンピュータデータベースに保存されている。較正されたタイムスタンプのセットは、タイムスタンプ修正が１日または１週間以上の間に有意にドリフトしていないことを確認するために、人間の患者による血管造影検査の前および／または後に取得されてもよい。較正は、人間の臨床血管造影図の前および／または後に実行されてもよい。

他の態様では、血管造影の一連の画像は、人間のために血管造影画像が得られると同時に取得されるが、結果として得られる透かしが血管造影図に関連する情報を不明瞭にしないようにダイヤルの位置が配置されている。したがって、画像は、検査中の関連する人体のＸ線投影のラインの外にダイヤル装置を配置することによって、人間の臨床血管造影中に較正されてもよい。

それゆえ、このアプローチは血管造影撮像システムとは独立して機能する。一連の較正Ｘ線画像５は、図２または図３に記載されたプロセス（コンピュータで実行されるソフトウェアプログラムを含む）のようなさらなる分析のため、透かしを形成するために投影された放射線不透過マーカの位置（例えば、放射線不透過マーカに対応する一連のマークを含む）に基づいて、タイムスタンプの（例えば、画像処理技術または機械学習システムによる）生成のためにエクスポートされる。

図２および図３に提供された例は、回転するダイヤルの針を備えた移動不可能なフレームを含むダイヤルに関するものである。この例では、放射線不透過マーカはダイヤルの形状をしている。しかしながら、これらの技術は、本明細書で提供されるようなダイヤルの回転面のような他のダイヤル形態、または放射線不透過マーカがコントローラによって制御され、タイミングがＸ線画像上の複数の可動放射線不透過マーカにより投影される透かしによって符号化される任意の他の形式に拡張可能である。

図２は、本明細書で提供される技術に従って、タイムスタンプを取得するために画像処理技術を用いて動的に透かしを入れられたＸ線画像を処理するためのフローチャートである。透かしが識別されてもよいし、符号化されたタイムスタンプが、ダイヤルの針の投影位置およびダイヤルの針の回転周波数に基づいて復号化されてもよい。この例では、放射線不透過マーカはダイヤルの針を備えている。放射線不透過のダイヤルの針は、マーク／投影によってＸ線画像上に投影され、この場合、ダイヤルの針の形状を有している。

操作２１０において、一連のＸ線画像が取得され、各画像は、１つまたは複数の放射線不透過ダイヤルの針の投影によって生成された透かしを含む。透かしは、タイムスタンプに対応する情報を符号化する。この例では、透かしが画像の角の近く、または関連する医療情報を含まない領域に生成されるように、ダイヤルが配置されていてもよい。この例に示されているように、ダイヤルの境界線は、金属を適切に配置することにより、必要に応じて透かし内にあってもよい。

操作２２０において、各画像に対して、各ダイヤルの投影の中心を含む、画像内の透かしの位置が取得される。例えば、画像分析ソフトウェアは、円形の形状を見分け、見分けられた各円の中心を識別するように構成されていてもよい。他の態様では、透かしの位置（１つまたは複数の線）が画像分析ソフトウェアに提供されてもよい。画像の適切な方向を示すために参照マークが含まれていてもよい（例えば、参照マークが画像の右上隅に配置されたときに画像を分析して、画像全体が回転または転置されていないことを示すことができる）。いくつかの態様では、ダイヤルの投影は、所定のサイズで画像に現れることがあり、画像分析システムは、所定の半径の円を見分けるように構成されていてもよい。

操作２３０において、各ダイヤルに対して、形態学的解析が実行されて、各ダイヤルの針の投影に対応する線が抽出される。形態学的解析は、投影されたダイヤルの針に対応する線を識別するために用いられてもよい。いくつかの態様では、識別された線は、ベクトルとしてメモリに格納され得る。任意の適切な関数が抽出のために用いられてもよい。

操作２４０において、各ダイヤルの針の投影／マークの回転位置または向きは、抽出に基づいて決定される。例えば、ダイヤルの針の投影の回転位置は、ダイヤルの針の投影の現在の位置と、３６０°サイクルの回転の開始（０°）に対応することが知られている基準の位置との間の角度によって決定されてもよい。いくつかの態様では、ベクトルの向きはラジアンで計算されてもよい。

操作２５０において、タイムスタンプは、ダイヤルの針の回転周波数および各ダイヤルの針の投影の回転位置に基づいて決定される。例えば、回転位置（ラジアン）は、以下に示すように、既知の回転周波数と変換係数に基づいてタイムスタンプに変換されてもよい。

例えば、第１のダイヤルの針に対しては、１／１０Ｈｚ（１０秒ごとに１サイクル）で回転する場合、秒単位のタイミングは、以下に基づいて決定されてもよい。
１０×（ダイヤル１の位置１）／（２π）

第１のダイヤルの針に対しては、１Ｈｚ（１秒ごとに１サイクル）で回転する場合、秒単位のタイミングは、以下に基づいて決定されてもよい。
１×（ダイヤル２の位置２）／（２π）

秒単位の最後の時間は、次の２つの時間を組み合わせることにより決定されてもよい。
１０×（ダイヤル１の位置１）／（２π）＋１×（ダイヤル２の位置２）／（２π）

他の態様では、タイムスタンプは、ルックアップテーブルから取得された値に基づいて決定されてもよい（例えば、各ダイヤルの針の回転位置をタイムスタンプ値に関連付ける）、ルックアップテーブルは、ダイヤルの針に固有の周波数である。

一般に、任意の数のダイヤルを用いて、所望の時間分解能を達成することができる。例として、図２および図３は、２つのダイヤルを備えたシステムに言及している。しかしながら、その他の場合は、３、４、５、６、７、８、またはそれ以上のダイヤルが使用され得る。各ダイヤルは、所定の回転数で回転するように構成されていてもよい。一例として、第１のダイヤルは毎秒１０回転で回転するように構成され、第２のダイヤルは毎秒１回転で回転するように構成され、第３のダイヤルは１０秒あたり１回転で回転するように構成されていてもよい。このような構成により、分スケールと１分未満のスケールの両方で高い精度を得ることができる。

図３は、本明細書で提供される技術に従って、画像処理技術と組み合わせた機械学習を用いて、Ｘ線画像の動的タイムスタンプの透かしを処理するためのフローチャートである。画像内の透かしの識別（タイムスタンプの符号化）を自動化するために、機械学習方法が採用されていてもよい。一旦識別されると、符号化されたタイムスタンプは、ダイヤルの投影の位置およびダイヤルの回転周波数に基づいて復号化され得る。

操作３１０において、一連のＸ線画像が取得され、各画像は、複数のダイヤルの投影を含む透かしを含む。この例では、透かしが画像の角の近く、または関連する医療情報を含まない領域に生成されるように、ダイヤルを配置することができる。また、画像の適切な方向を示すために参照マークが含まれていてもよい（例えば、画像全体が回転または転置されていないことを示すために、参照マークが画像の右上隅に配置されたときに画像を分析してもよい）。操作３２０において、透かしの位置は、機械学習（ＭＬ）システムを用いて各画像内で識別される。操作３３０において、各ダイヤルの針の投影は、ハフ変換または線を検出するための他の適切な変換を用いて検出される。操作３４０において、各ダイヤルの針の投影（例えば、ハフ変換からの線）の回転位置が決定される。例えば、ダイヤルの針の投影の回転位置は、ダイヤルの針の投影の現在の位置と、３６０°サイクルの回転の開始（０°）に対応することが知られている基準位置との間の角度によって決定されてもよい。操作３５０において、タイムスタンプは、ダイヤルの投影の回転位置および各ダイヤルの針の回転周波数に基づいて決定される。他の態様では、タイムスタンプは、例えば、各ダイヤルの針の投影の回転位置をタイムスタンプ値に関連付けるルックアップテーブルから取得された値に基づいて決定されてもよく、ここでルックアップテーブルはダイヤルに固有の周波数である。

図４は、本明細書で提供される技術に従って、透かし入り画像に基づくメタデータのタイムスタンプの修正によりタイムスタンプを生成するためのフローチャートである。

一連の画像は、図１による血管造影研究から得ることができ、ここで、各画像は、動的に生成された透かしを含み、少なくとも１時間および１分を含むメタデータのタイムスタンプに対応するタグを含むヘッダに関連付けられている。この例では、タイムスタンプのメタデータ４１０は、ＤＩＣＯＭ形式で提供されていてもよく、既存の血管造影撮像システムによって画像のメタデータ内に埋め込まれている。ＤＩＣＯＭ形式は、各画像の取得の瞬間を示すメタデータタグ（タイムスタンプ）を含む。しかし、ＤＩＣＯＭタイムスタンプは不正確である。

修正されたＤＩＣＯＭタイムスタンプ画像４２０は、誤差を決定し、各ＤＩＣＯＭタイムスタンプ画像４１０のタイムスタンプを誤差によって修正することにより生成される。例えば、ＤＩＣＯＭメタデータのタイムスタンプは、一連の画像の１つの画像から抽出される。動的透かしのタイムスタンプとＤＩＣＯＭメタデータのタイムスタンプが比較され、それらの平均差または平均差（画像のセット全体）が血管造影検査のタイムスタンプ修正を決定するために用いられる。ＤＩＣＯＭタイムスタンプは、秒の分解能を有する修正されたＤＩＣＯＭタイムスタンプ画像４２０を生成するために、誤差によって修正されてもよい。

ＤＩＣＯＭタイムスタンプは秒の分解能を有しているが、１秒未満の分解能が必要である。１秒未満の分解能を含むようにタイムスタンプを更新するために、透かしが分析されて１秒未満のタイミング情報を取得してもよい。

したがって、修正されたタイムスタンプ４３０は、修正されたＤＩＣＯＭタイムスタンプ４２０を、透かしに投影された回転ダイヤル／放射線不透過マーカの位置に基づいて１秒未満のタイミングと組み合わせることによって生成される。タイムスタンプは、ＤＩＣＯＭタイムスタンプに基づいて提供されていない１秒未満の分解能を含むように更新される。

この修正は、人間の臨床血管造影図を用いてＤＩＣＯＭメタデータのタイムスタンプを修正する際に後続の使用のために保存されてもよい。誤差は、時間の関数としてのＤＩＣＯＭメタデータ内のドリフトを説明するために、人間の臨床血管造影図の前後に決定され得る（例えば、数日、数週間、または数ケ月に亘って）。いくつかの態様では、修正されたタイムスタンプ４３０は、ＤＩＣＯＭタイムスタンプと置き換え可能であり、他の態様では、修正されたタイムスタンプ４３０は、ＤＩＣＯＭタイムスタンプとは異なるタグで別々に保存されてもよい。

タイムスタンプの修正情報（例えば、平均誤差）は、計算可能で読み取り可能な形式で保存され、血管造影システムと同時に別個のハードウェアシステムによって同時に取得され得る心電図を含む生理学的信号のような他の関連するデータソースとその後の同期計算を可能にする。これらのアプローチは、血管造影装置にリアルタイムで接続されていないシステムからのデータを、血管造影装置によって生成されたデータに同期させるために使用され得る。したがって、このアプローチは、米国特許第１０，１２３，７６１号（「７６１特許」）に教示されているように、心臓周波数活動の時空間的描写を提供する再構成アルゴリズムを適用するために、外部信号（例えば、心臓信号）と血管造影画像との事後統合を提供する。

図５は、本明細書で提供される技術に従って、動的に透かしを入れられたＸ線画像からタイムスタンプを生成するためのフローチャートである。この例では、ＤＩＣＯＭタイムスタンプはメタデータ内に存在していてもよいが、それは利用されない。代わりに、複数の時間同期された放射線不透過マーカ／ダイヤルからの透かしのみが、タイムスタンプを生成するために用いられる。適切な数の放射線不透過マーカ／ダイヤルは、所定の周波数で回転して、所望のタイムスタンプの範囲と分解能（例えば、時間、分、秒、１秒未満など）を取得するようにプログラムされている。

画像５１０は、複数の放射線不透過マーカ／ダイヤルからのタイミング情報を符号化する透かしを用いて取得され、各放射線不透過マーカ／ダイヤルは、異なる周波数で回転する。透かしは、各放射線不透過マーカ／ダイヤルの回転位置が決定されるように処理される（例えば、図２または図３に従って）。各放射線不透過マーカ／ダイヤルの回転位置と回転周波数に基づいて、各放射線不透過マーカ／ダイヤルの時間が決定され、個々の時間が１秒未満の精度でタイムスタンプに組み立てられて時間同期ダイヤル５２０からタイムスタンプを生成する。

図６は、本明細書で提供される技術に従って、Ｘ線画像の動的タイムスタンプの透かしに基づいて１秒未満の精度でタイムスタンプを生成するための操作の上級のフローチャートである。

操作６１０において、複数の可動放射線不透過マーカが、放射線発生器と放射線検出器アレイとの間に配置されている。各複数の放射線不透過マーカは、各周波数で（例えば、コントローラによって）移動させられる。

操作６２０において、放射線不透過マーカが移動している間に、一連のＸ線画像が得られ、各画像は、複数の可動放射線不透過マーカによって投影された動的に生成された透かしを含み、各放射線不透過マーカの位置は、透かし上に（例えば、マークとして）表示される。透かしは、周波数と位置に基づいて復号化され得るタイムスタンプを符号化する。

操作６３０において、一連のＸ線画像は、画像上に投影された各複数のマークの回転位置を測定するために処理される。操作６４０において、マークの測定された回転位置および各複数の放射線不透過マーカのそれぞれの周波数に基づいて、タイムスタンプが１秒未満の精度で決定される。

本明細書で提供される技術の利点には、正確なタイムスタンプの生成が含まれ、これにより、外部信号を血管造影画像と同期させることができる。したがって、正確なタイムスタンプを生成することにより、外部の心臓または他の信号が取得した画像と同期させられて、取得した血管造影画像の信号対雑音比を高めることができる（例えば、７６１特許に開示されているように、一連の血管造影画像からの個々の移動血管脈波の時空間的再構成を生成する相互相関ウェーブレットアルゴリズムと組み合わせて）。

この同期は、事後関連付けプロセスの一部として実行されてもよい。必要に応じて、補間を用いて、画像のタイムスタンプと外部信号との同期を微調整してもよい。

図７は、本発明の実施形態で用いることができるコンピュータシステムまたは情報処理装置のブロック図である。一連の透かし入り血管造影画像を取得するために、図１～６，図８のシステムと共に用いることができるコンピュータシステムまたは情報処理装置８０が示されている。一旦取得されると、システムは、本明細書で提供される技術のいずれか１つまたは複数に従って、血管造影画像を処理して正確なタイムスタンプを生成できる。

図７は、本開示内の技術または本明細書で提供される実施形態のための特定の情報処理装置に従ってプログラムされた汎用コンピュータシステム８０の例示であり、開示された主題の範囲を限定することを意図するものではない。当業者は、本開示の範囲および同等物の範囲内にとどまるコンピュータシステム８０に対する他の変形、修正、および代替を認識するであろう。

一実施形態では、コンピュータシステム８０は、モニタ８２、コンピュータ８４（プロセッサ８６、バスサブシステム８８、メモリサブシステム９０、およびディスクサブシステム９２を含む）、ユーザ入力装置９４、ユーザ出力装置９６、および通信インターフェース９８を含む。モニタ８２は、情報の視覚的表現または表示を生成するように構成されたハードウェアおよび／またはソフトウェアエレメントを含むことができる。モニタ８２のいくつかの例は、テレビモニタ、ブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＤＣ）などのよく知られたディスプレイ装置を含み得る。いくつかの実施形態では、モニタ８２は、タッチスクリーン技術を組み込んだような入力インターフェースを提供し得る。

コンピュータ８４は、１つまたは複数の中央処理装置（ＣＰＵ）、メモリまたは記憶装置、グラフィックス処理装置（ＧＰＵ）、通信システム、インターフェースカードなどのよく知られたコンピュータコンポーネントを含み得る。図７に示されるように、コンピュータ８４は、バスサブシステム８８を介していくつかの周辺装置と通信する１つまたは複数のプロセッサ８６を含み得る。プロセッサ８６は、市販の中央処理装置などを含み得る。バスサブシステム８８は、コンピュータ８４の様々なコンポーネントおよびサブシステムを意図したように互いに通信させるための機構を含み得る。バスサブシステム８８は、単一のバスとして概略的に示されているが、バスサブシステムの代替の実施形態は、複数のバスサブシステムを利用可能である。プロセッサ８６と通信する周辺装置は、メモリサブシステム９０、ディスクサブシステム９２、ユーザ入力装置９４、ユーザ出力装置９６、通信インターフェース９８などを含み得る。

メモリサブシステム９０およびディスクサブシステム９２は、データを格納するように構成された物理記憶媒体の例である。メモリサブシステム９０は、プログラム実行中にプログラムコード，命令およびデータの揮発性ストレージ用のランダムアクセスメモリ（ＲＡＭ）や、固定プログラムコード，命令およびデータが格納される読み取り専用メモリ（ＲＯＭ）を含む、いくつかのメモリを含み得る。ディスクサブシステム９２は、プログラムおよびデータのための永続的（不揮発性）ストレージを提供するいくつかのファイルストレージシステムを含み得る。他のタイプの物理記憶媒体は、フロッピーディスク、リムーバブルハードディスク、ＣＤ－ＲＯＭ、ＤＶＤ、バーコードなどの光記憶媒体、フラッシュメモリなどの半導体メモリ、読み取り専用メモリ（ＲＯＭＳ）、バッテリバックアップ式揮発性メモリ、ネットワーク化された記憶装置などを含む。

メモリサブシステム９０およびディスクサブシステム９２は、本明細書で論じられる技術の機能または特徴を提供するプログラミングおよびデータ構成を格納するように構成され得る。プロセッサ８６によって実行されたときに機能を実行または提供するソフトウェアコードモジュールおよび／またはプロセッサ命令は、メモリサブシステム９０およびディスクサブシステム９２に格納されていてもよい。

ユーザ入力装置９４は、コンピュータシステム８０のコンポーネントによる処理のためにユーザからの入力を受信するように構成されたハードウェアおよび／またはソフトウェアエレメントを含むことができる。ユーザ入力装置は、コンピュータシステム８４に情報を入力するためのすべての可能なタイプの装置およびメカニズムを含むことができる。これらが、キーボード、キーパッド、タッチスクリーン、ディスプレイに組み込まれたタッチインターフェイス、マイクや音声認識システムのようなオーディオ入力装置、およびその他のタイプの入力装置を含んでいてもよい。様々な実施形態では、ユーザ入力装置９４は、コンピュータマウス、トラックボール、トラックパッド、ジョイスティック、ワイヤレスリモート、描画タブレット、音声コマンドシステム、アイトラッキングシステムなどとして具体化され得る。いくつかの実施形態では、ユーザ入力装置９４は、ユーザが、コマンド、動作、またはボタンのクリックなどのようなジェスチャを介してモニタ８２に表示され得るオブジェクト、アイコン、テキストなどを選択するか、さもなければ相互作用することを可能にするように構成されている。

ユーザ出力装置９６は、コンピュータシステム８０のコンポーネントからユーザに情報を出力するように構成されたハードウェアおよび／またはソフトウェアエレメントを含むことができる。ユーザ出力装置は、コンピュータ８４から情報を出力するためのすべての可能なタイプの装置およびメカニズムを含むことができる。これらは、ディスプレイ（例えば、モニタ８２）、プリンタ、タッチまたはフォースフィードバック装置、オーディオ出力装置などを含み得る。

通信インターフェース９８は、他の装置との一方向または双方向の通信を提供するように構成されたハードウェアおよび／またはソフトウェアエレメントを含み得る。例えば、通信インターフェース９８は、インターネット接続を介して、コンピュータ８４と他の通信ネットワークおよび装置との間のインターフェースを提供し得る。

図７は、本発明の実施形態を具体化することができるコンピュータシステムの代表例である。他の多くのハードウェアおよびソフトウェア構成が本発明での使用に適していることは、当業者には容易に明らかであろう。例えば、コンピュータは、デスクトップ、ポータブル、ラックマウント、またはタブレット構成であってもよい。さらに、コンピュータは、一連のネットワーク化されたコンピュータであってもよい。さらに他の実施形態では、上記の技術は、チップまたは補助処理ボード上に実装されていてもよい。

したがって、上記の目的は、前述の説明から明らかにされたものの中で、効率的に達成され、本発明の精神および範囲から逸脱することなく、上記構成で上記の方法を実施する際に一定の変更を行うことができることから、上述の説明に含まれ添付の図面に示された全ての事項は、例示であり限定的な意味ではないと解釈されるべきであることが意図される。

また、以下の特許請求の範囲は、本明細書に記載された本発明の包括的および特定の特徴のすべてをカバーすることを意図しており、本発明の範囲のすべての陳述が言語の問題として存在し得ることを理解されたい。

これらの実施形態は、好ましい実施形態に関して説明されており、明示的に記載されたものとは別に、均等物、代替物、および改変が可能であり、添付の特許請求の範囲の範囲内であることが認識される。

Claims (28)

1. 撮像機器の放射線発生器と放射線検出器アレイとの間に複数の可動放射線不透過マーカを配置し、
   各前記複数の放射線不透過マーカをそれぞれの周波数で移動させ、
   前記放射線不透過マーカが移動している間に一連のＸ線画像を取得し、各画像は、前記複数の可動放射線不透過マーカによって投影された動的に生成された透かしを含み、各前記放射線不透過マーカの位置が前記透かし上に示されており、
   前記透かしを復号化してタイムスタンプを生成し、
   前記透かしを復号化して生成された前記タイムスタンプを用いて、前記撮像機器で生成されたタイムスタンプを修正する、
   Ｘ線画像の動的タイムスタンプの透かしの方法。
2. 各前記複数の放射線不透過マーカをそれぞれの周波数で回転させ、
   前記一連の画像を処理して、各前記複数の放射線不透過マーカの回転位置を測定する、請求項１に記載の方法。
3. 前記透かしを復号化して前記タイムスタンプを生成する工程は、前記測定された回転位置と、各前記複数の放射線不透過マーカの前記それぞれの周波数とに基づいて前記タイムスタンプを決定する、請求項２に記載の方法。
4. 前記透かしは、１秒未満の精度で前記タイムスタンプを符号化する、請求項１に記載の方法。
5. 各前記放射線不透過マーカはダイヤルの形態であり、複数のダイヤルの各々は国際時間標準に同期したコントローラによって決定された速度で回転している、請求項１に記載の方法。
6. 放射線発生器と放射線検出器アレイとの間に複数の可動放射線不透過マーカを配置し、
   各前記複数の放射線不透過マーカをそれぞれの周波数で移動させ、
   前記放射線不透過マーカが移動している間に一連のＸ線画像を取得し、各画像は、前記複数の可動放射線不透過マーカによって投影された動的に生成された透かしを含み、各前記放射線不透過マーカの位置が前記透かし上に示されている、Ｘ線画像の動的タイムスタンプの透かしの方法であって、
   前記透かしを復号化して前記タイムスタンプを生成し、
   生成された前記タイムスタンプに基づいてメタデータのタイムスタンプを修正する方法。
7. 各前記放射線不透過マーカはダイヤルの形態であり、複数のダイヤルの各々は、複数のモータの各々に接続されており、
   前記ダイヤルの各々において、各前記ダイヤルに接続された各前記モータを、他の前記ダイヤルに接続された他の前記モータとは異なる、特定の前記周波数で回転させ、各前記ダイヤルを、前記ダイヤルが接続された前記モータと、同じ前記周波数で回転させる、ことをさらに含む、請求項１に記載の方法。
8. 各前記放射線不透過マーカがダイヤルの形態であり、異なる周波数で回転する少なくとも２つのダイヤルが１秒未満の精度を得るために用いられる、請求項１に記載の方法。
9. 前記放射線不透過マーカは回転するように構成されている、請求項１に記載の方法。
10. 各前記放射線不透過マーカは回転可能なダイヤルを含む、請求項１に記載の方法。
11. 前記複数の放射線不透過マーカに関連する前記それぞれの周波数は互いに異なる、請求項１に記載の方法。
12. 複数のモータと、
    前記複数のモータの操作に応答してそれぞれ選択的に回転するように構成された、前記複数のモータに直接または間接的に接続された放射線不透過マーカと、
    各前記複数のモータの動作を制御して各前記モータをそれぞれの周波数で回転させるように構成され、前記モータに接続された前記放射線不透過マーカをそれぞれの周波数で回転するように構成されたコントローラと、
    １つ以上のコンピュータプロセッサと、
    １つ以上のコンピュータ可読記憶媒体と、
    前記１つまたは複数のコンピュータプロセッサのうちの少なくとも１つによる実行のために前記１つまたは複数のコンピュータ可読記憶媒体に記憶されたプログラム命令と、を含み、
    前記プログラム命令が、撮像機器からの一連のＸ線画像を処理するための命令を含み、そこにおいて、各前記画像は、動的に生成された透かしを含み、前記動的に生成された透かしは、前記複数の可動放射線不透過マーカによって投影され、前記透かし上に各前記放射線不透過マーカの位置が示されており、
    前記プログラム命令は、
    前記透かしを復号化してタイムスタンプを生成させ、
    前記透かしを復号化して生成された前記タイムスタンプを用いて、前記撮像機器で生成されたタイムスタンプを修正させる命令をさらに含む、
    Ｘ線画像の動的タイムスタンプの透かしのためのシステム。
13. 各前記放射線不透過マーカは、Ｘ線源からＸ線検出アレイ上に移動するＸ線からピクセルを不透過化して、透かしのピクセルアレイ内に画像を形成する、請求項１２に記載のシステム。
14. 複数のモータと、
    前記複数のモータの操作に応答してそれぞれ選択的に回転するように構成された、モータに直接または間接的に接続された放射線不透過マーカと、
    各前記複数のモータの動作を制御して各前記モータをそれぞれの周波数で回転させるように構成され、前記モータに接続された前記放射線不透過マーカをそれぞれの周波数で回転するように構成されたコントローラと、
    １つ以上のコンピュータプロセッサと、
    １つ以上のコンピュータ可読記憶媒体と、
    前記１つまたは複数のコンピュータプロセッサのうちの少なくとも１つによる実行のために前記１つまたは複数のコンピュータ可読記憶媒体に記憶されたプログラム命令と、を含み、
    前記プログラム命令が、一連のＸ線画像を処理してタイムスタンプを生成するための命令を含み、そこにおいて、各前記画像は、前記タイムスタンプに対応する動的に生成された透かし符号化情報を含み、前記動的に生成された透かしは、前記複数の可動放射線不透過マーカによって投影される、Ｘ線画像の動的タイムスタンプの透かしのためのシステムであって、
    前記プログラム命令は、前記プロセッサが、
    前記透かしから生成された前記タイムスタンプを画像メタデータに含まれるタイムスタンプと比較し、
    前記透かしから生成された前記タイムスタンプに基づいて、人間の臨床血管造影中に取得された前記画像に関連付けられたメタデータのタイムスタンプを修正する、命令をさらに含むシステム。
15. 前記コントローラが国際時間標準に同期されている、請求項１２に記載のシステム。
16. 少なくとも２つの前記放射線不透過マーカが１秒未満の精度を得るために用いられている、請求項１２に記載のシステム。
17. 少なくとも３つの前記放射線不透過マーカが前記タイムスタンプを符号化するために用いられ、
    前記プログラム命令が、前記タイムスタンプを、前記画像に対応するメタデータのタイムスタンプを使用せずに、１秒未満の精度を有するタイムスタンプに変換する命令をさらに含む、請求項１２に記載のシステム。
18. プログラム命令が集合的に組み込まれた１つまたは複数のコンピュータ可読記憶媒体を含み、
    コンピュータによって実行可能な前記プログラム命令は、前記コンピュータに、撮像機器の放射線発生器と放射線検出器アレイとの間に配置された複数の可動放射線不透過マーカに対応する動的に生成された透かしを含む各一連のＸ線画像を取得させ、各前記放射線不透過マーカの回転位置がマークとして前記透かし上に投影され、各前記放射線不透過マーカがそれぞれの周波数に関連付けられ、
    前記透かしを復号化してタイムスタンプを生成させ、
    前記透かしを復号化して生成された前記タイムスタンプを用いて、前記撮像機器で生成されたタイムスタンプを修正させる、
    動的タイムスタンプの透かしに基づいてタイムスタンプを決定するためのコンピュータプログラム製品。
19. 前記プログラム命令は、前記コンピュータにさらに、各前記複数の放射線不透過マーカの回転位置を測定させ、前記透かしを復号化して生成された前記タイムスタンプは、前記測定された回転位置と、前記透かしの各前記複数の放射線不透過マーカの既知の周波数とに基づいている、請求項１８に記載のコンピュータプログラム製品。
20. 前記透かしを復号化して生成された前記タイムスタンプは、１秒未満の精度を有する、請求項１９に記載のコンピュータプログラム製品。
21. 前記透かしは、国際時間標準に従って回転するように構成された複数の放射線不透過マーカに対応する、請求項１８に記載のコンピュータプログラム製品。
22. プログラム命令が集合的に組み込まれた１つまたは複数のコンピュータ可読記憶媒体を含み、
    コンピュータによって実行可能な前記プログラム命令は、前記コンピュータに、放射線発生器と放射線検出器アレイとの間に配置された複数の可動放射線不透過マーカに対応する動的に生成された透かしを含む各一連のＸ線画像を取得させ、各前記放射線不透過マーカの回転位置がマークとして前記透かし上に投影され、各前記放射線不透過マーカがそれぞれの周波数に関連付けられ、
    各前記複数のマーカの回転位置を決定させる、
    動的タイムスタンプの透かしに基づいてタイムスタンプを決定するためのコンピュータプログラム製品であって、
    前記プログラム命令は、前記コンピュータにさらに、
    前記透かしを復号化してタイムスタンプを生成させ、
    前記復号化したタイムスタンプに基づいてメタデータのタイムスタンプを修正させる、コンピュータプログラム製品。
23. 各前記放射線不透過マーカは、前記放射線不透過マーカを所定の周波数で回転させるように構成されたモータによって回転される、請求項１８に記載のコンピュータプログラム製品。
24. 前記透かしを復号化して生成された前記タイムスタンプと前記撮像機器で生成された前記タイムスタンプを比較することに基づくタイムスタンプ修正の決定によって、前記撮像機器で生成された前記タイムスタンプを修正する、請求項１に記載の方法。
25. 前記タイムスタンプ修正は、前記透かしを復号化して生成された前記タイムスタンプと前記撮像機器で生成された前記タイムスタンプとの、画像のセット全体の平均差に基づく、請求項２４に記載の方法。
26. 前記修正されたタイムスタンプが、前記画像のセットを外部信号に同期させることに用いられる、請求項１に記載の方法。
27. 前記外部信号が心臓信号である、請求項２６に記載の方法。
28. 前記タイムスタンプ修正が、その後の前記撮像機器で生成された前記タイムスタンプの修正に用いられる、請求項２４に記載の方法。

Images