JP2020513871A - 表面組織追跡 - Google Patents

表面組織追跡 Download PDF

Info

Publication number
JP2020513871A
JP2020513871A JP2019530701A JP2019530701A JP2020513871A JP 2020513871 A JP2020513871 A JP 2020513871A JP 2019530701 A JP2019530701 A JP 2019530701A JP 2019530701 A JP2019530701 A JP 2019530701A JP 2020513871 A JP2020513871 A JP 2020513871A
Authority
JP
Japan
Prior art keywords
tracking
metric
tissue surface
module
time interval
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019530701A
Other languages
English (en)
Other versions
JP7069166B2 (ja
JP2020513871A5 (ja
Inventor
トゥッリオ アレッサンドラ ディ
トゥッリオ アレッサンドラ ディ
ヘーシュ フランシスクス ヘンドリクス ファン
ヘーシュ フランシスクス ヘンドリクス ファン
ツァイフェン シャン
ツァイフェン シャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of JP2020513871A publication Critical patent/JP2020513871A/ja
Publication of JP2020513871A5 publication Critical patent/JP2020513871A5/ja
Application granted granted Critical
Publication of JP7069166B2 publication Critical patent/JP7069166B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/442Evaluating skin mechanical properties, e.g. elasticity, hardness, texture, wrinkle assessment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/443Evaluating skin constituents, e.g. elastin, melanin, water
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/448Hair evaluation, e.g. for hair disorder diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4887Locating particular structures in or on the body
    • A61B5/489Blood vessels
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7221Determining signal validity, reliability or quality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/684Indicating the position of the sensor on the body
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal

Abstract

組織特徴の組織表面追跡が開示される。第1の表面撮像特徴が、第1の波長において、第1及び第2の時間間隔画像に基づいて追跡される。第2の表面撮像特徴が、第2の波長において、第1及び第2の時間間隔画像に基づいて追跡される。追跡ステップに基づいて、追跡測定基準が取得される。追跡ステップは組み合わされて、結合追跡測定基準が提供される。結合追跡測定基準は、組織表面ナビゲーション用途において使用される。

Description

本技術分野は、概して、表面組織追跡に関する。具体的には、表面撮像された特徴が追跡プロセスにおいて利用される。
国際特許公開WO2007/072356は、センサ位置を特定するために患者の皮膚上のテクスチャ又はパターンを検出する撮像手段と、局所的なテクスチャ又はパターンを記憶することによって、センサの必要な位置を学習する画像処理ユニットと、記憶されたパターンを参照することによって、センサ又はユーザを所望の位置に再配置するようにユーザを誘導する手段とを有する患者モニタリングセンサ又は治療デバイス用の位置決めシステムについて開示している。テクスチャ又はパターンは、ほくろのパターン又は様々な肌の色といった自然なパターンからなる。しかし、ほくろの最適な追跡は、様々な色の追跡とは異なる追跡上の考慮を必要とする。更に、先行技術のシステムでは最適に追従することができない追跡可能である様々な他の可能なバイオマーカーがある。
したがって、よりロバストな追跡システム及び方法を提供することが求められている。更に、多くの種類のナビゲーション用途に使用可能である自然組織の表面特徴の正確かつロバストな追跡を可能にする追跡技術を提供することが求められている。
したがって、組織特徴追跡の改良かつ容易にされた方法を提供する必要がある。
概して、本発明の実施形態は、2つ以上の追跡プロセスを使用してバイオマーカーを追跡することに関する。各追跡プロセスは、それぞれの追跡プロセスにおいて、異なるようにスペクトル的にフィルタリングされた画像を使用することによって、異なる種類のバイオマーカーに合わせられる。各追跡プロセスからの追跡結果は、表面組織ベースのナビゲーション用途で使用するための単一追跡結果にまとめられる。
本発明の目的は、独立請求項の主題によって解決される。更なる実施形態は従属請求項に組み込まれる。
本開示の一態様では、組織表面追跡システムが提供される。システムは、第1の時間間隔組織表面画像及び第2の時間間隔組織表面画像を受信するデータ受信モジュールを含む。各時間間隔組織表面画像は、第1及び第2の異なる波長における画像データを含む。システムは、第1の追跡モジュール及び第2の追跡モジュールを含む。第1の追跡モジュールは、第1の波長において、第1の時間間隔画像及び第2の時間間隔画像に基づいて、第1の組織表面撮像特徴を空間的に追跡して、少なくとも1つの第1の追跡測定基準を反応として出力する。第2の追跡モジュールは、第2の波長において、第1の時間間画像及び第2の時間間隔画像に基づいて、第2の組織表面撮像特徴を空間的に追跡して、少なくとも1つの第2の追跡測定基準を反応として出力する。組み合わせモジュールが、少なくとも1つの第1の追跡測定基準及び少なくとも1つの第2の追跡測定基準を組み合わせ、組織表面ナビゲーション用途における使用のための少なくとも1つの結合追跡測定基準を反応として出力する。第1の波長及び第2の波長は、異なる種類のバイオマーカーに合わせて調整される。つまり、第1の波長は、第2の波長よりも第1の種類のバイオマーカーの検出及び追跡に適しており、第2の波長は、第1の波長よりも第2の種類のバイオマーカーの検出及び追跡に適している。第1の種類のバイオマーカーと第2の種類のバイオマーカーとは異なる。
異なる波長の画像に作用する追跡モジュールを並行して実行することによって、異なる表面撮像特徴に重点を置いて、よりロバストな追跡システムを提供することができる。例えば皮膚状態の変化は、1つの追跡モジュール及び単一の撮像帯域では、組織特徴を成功裏にかつ正確に追跡することは難しい。異なる波長の画像が、異なる表面特徴に対してより適している。本願は、追跡モジュールを並列に実行し、出力された追跡測定基準を組み合わせてより信頼性の高いシステムを提供することにより、この問題に対処する。このようにして、追跡モジュールが作用するデータ源を、バイオマーカーの種類に対して最適化することができる。
組織表面画像は、皮膚画像であってよい。第1の組織表面画像及び第2の組織表面画像は、マルチスペクトルカメラによって取得されてよい。組織表面の撮像される特徴が、バイオマーカーであってよい。時間間隔があけられた時間間隔画像は、基準画像及び後続画像を含んでよい。追跡測定基準は、変位ベクトルといった時間間隔画像間の空間変位情報を含んでよい。
一実施形態では、第1の追跡モジュールは、第1の種類のバイオマーカーの追跡に合わせて調整される第1の追跡アルゴリズムを動作させ、第2の追跡モジュールは、第2の種類のバイオマーカーの追跡に合わせて調整される第2の追跡アルゴリズムを動作させる。好適には、第1の追跡アルゴリズム及び第2の追跡アルゴリズムは異なる。
例えば追跡モジュールは、特定のバイオマーカーを特定できるように最適化されるために、異なる画像フィルタを動作させ、異なるセグメンテーション手法、異なる分解能レベルを訓練させて異なる種類の特徴に重点を置くことができる。更なる実施形態では、追跡モジュールは、特定のバイオマーカーに合わせて調整され、撮像波長もまた、その種類のバイオマーカーを強調するために最適化される。
一実施形態では、システムは、第1の追跡モジュールの追跡性能の品質を評価して、少なくとも1つの第1の重み付け測定基準を反応として出力し、第2の追跡モジュールの追跡性能の品質を評価して、少なくとも1つの第2の重み付け測定基準を反応として出力する少なくとも1つの品質評価モジュールを含む。組み合わせモジュールは、少なくとも1つの第1の重み付け測定基準及び少なくとも1つの第2の重み付け測定基準に基づいて、少なくとも1つの第1の追跡測定基準及び少なくとも1つの第2の追跡測定基準を適応的に組み合わせる。一実施形態では、組み合わせモジュールは、少なくとも1つの第1の重み付け測定基準及び少なくとも1つの第2の重み付け測定基準に基づいて、少なくとも1つの第1の追跡測定基準及び少なくとも1つの第2の追跡測定基準の相対的重みが決定される重み付けアルゴリズムを使用して、少なくとも1つの第1の追跡測定基準及び少なくとも1つの第2の追跡測定基準を組み合わせる。このような特徴によれば、追跡測定基準の組み合わせは、組織の状態に応じて適応される。つまり、特定の追跡モジュールの性能は、位置及び被験者に依存する。追跡性能を継続的に評価することによって、追跡測定基準の組み合わせが各モジュールの相対的性能を考慮するように、追跡モジュールを異なるように動作させるための異なる重みを割り当てることができる。
一実施形態では、第1の追跡モジュールは、特徴ベースの追跡及び強度ベースの追跡の少なくとも一方を使用して、少なくとも1つの第1の追跡測定基準を決定し、第2の追跡モジュールは、特徴ベースの追跡及び強度ベースの追跡の少なくとも一方を使用して、少なくとも1つの第2の追跡測定基準を決定する。
一実施形態では、第1の追跡モジュール及び第2の追跡モジュールは、それぞれ異なる種類のバイオマーカーを追跡する。第1の種類のバイオマーカーは、表在性皮膚構造であってよく、第2の種類のバイオマーカーは、表面下の特徴であってよい。例えば第1の種類のバイオマーカーは、ほくろ、毛、そばかす、毛穴、吹き出物、メラニン色素、くぼみ、表面粗さの群から選択され、第2の種類のバイオマーカーは、静脈又は動脈を含んでよい。
システムは、異なるスペクトル帯域において第1の時間間隔画像及び第2の時間間隔画像を捕捉するカメラを含んでよい。異なるスペクトル帯域を使用することによって、異なる組織表面特徴を最適に検出することができる。
本開示のシステムは、結合追跡測定基準に基づく表面組織ナビゲーションを必要とするか又は利用することができる多数の用途で使用することができる。例えば画像誘導手術又は医療介入システムは、本システムを、術中撮像データ、術前撮像データ、又は、術中撮像データ及び術前撮像データの組み合わせを整合させるシステムとして組み込むことができる。システムは、皮膚モニタリングシステム又は皮膚診断システムに含まれることも可能である。例えば皮膚モニタリングシステムは、疑わしいと特定されたほくろといった罹患している可能性のある皮膚の特徴の変化をモニタリングする。更なる用途は、脱毛デバイス、散髪デバイス、整髪デバイス及び歯のクリーニングデバイスといった家庭用電気製品である。
本開示の別の態様において、組織表面追跡方法が提供される。方法は、第1の時間間隔組織表面画像及び第2の時間間隔組織表面画像を受信するステップを含む。各時間間隔組織表面画像は、第1及び第2の異なる波長における画像データを含む。方法は、第1の波長において、第1の時間間隔画像及び第2の時間間隔画像に基づいて、第1の表面撮像特徴を追跡して、少なくとも1つの第1の追跡測定基準を反応として出力するステップを含む。方法は、第2の波長において、第1の時間間隔画像及び第2の時間間隔画像に基づいて、第2の表面撮像特徴を追跡して、少なくとも1つの第2の追跡測定基準を反応として出力するステップを含む。方法は、少なくとも1つの第1の追跡測定基準及び少なくとも1つの第2の追跡測定基準を組み合わせ、少なくとも1つの結合追跡測定基準を反応として出力するステップを含む。方法は更に、前述の用途の何れか1つといった組織表面ナビゲーション用途に、結合追跡測定基準を使用するステップを含む。
実施形態では、方法は、コンピュータ可読命令を実行する少なくとも1つのプロセッサを介してコンピュータ実施される。画像は、カメラといった撮像デバイスを介して取得されてよい。方法は、統合追跡測定基準をナビゲーション制御の一部として使用するコンピュータ実施組織表面ナビゲーションアプリケーションを含むシステムに、結合追跡測定基準を出力するステップを含んでよい。
一実施形態では、方法は、第1の追跡モジュールの追跡性能の品質を評価して、少なくとも1つの第1の重み付け測定基準を反応として決定するステップと、第2の追跡モジュールの追跡性能の品質を評価して、少なくとも1つの第2の重み付け測定基準を反応として決定するステップとを含む。更なる実施形態では、少なくとも1つの第1の追跡測定基準と少なくとも1つの第2の追跡測定基準とを組み合わせるステップは、少なくとも1つの第1の重み付け測定基準と少なくとも1つの第2の重み付け測定基準とに基づいて、少なくとも1つの第1の追跡測定基準及び少なくとも1つの第2の追跡測定基準の相対重みが決定される重み付けアルゴリズムを使用するステップを含む。
一実施形態では、第1の表面撮像特徴を追跡するステップは、第1の種類の表面撮像特徴に関して最適化された第1の追跡アルゴリズムを動作させるステップを含み、第2の表面撮像特徴を追跡するステップは、第2の異なる種類の表面撮像特徴の追跡に関して最適化された第2の追跡アルゴリズムを動作させるステップを含む。
本開示の更に別の態様では、少なくとも1つのプロセッサによって実行されると、本明細書に説明されるシステム及び方法を実施するように適応されたコンピュータプログラム要素が提供される。
更に別の態様では、上記プログラム要素が記憶されたコンピュータ可読媒体が提供される。
本発明のこれら及び他の態様は、以下に記載される実施形態から明らかとなり、当該実施形態を参照して説明される。
例示的な実施形態は、次の図面と併せて以下に説明される。図面において、同じ参照符号は、同じ要素を示す。
図1は、本開示の例示的な実施形態による組織表面特徴を追跡するシステムの概略機能ブロック図であり、システム図は、例示的モジュール及びシステムモジュールによるデータ変換を示す。 図2は、例示的な実施形態による表面組織特徴を追跡する方法のステップを示すフローチャートである。 図3は、例示的な実施形態による追跡アルゴリズムのステップを示すフローチャートである。
以下の詳細な説明は、本質的に例示に過ぎず、用途及び使用を限定することを意図していない。更に、前述の技術分野、背景技術、発明の概要又は以下の詳細な説明に提示されている如何なる明示的又は黙示的理論によっても拘束されることを意図するものではない。
図1は、例示的なシステムによる組織表面追跡システム20の機能ブロック図である。図1は、処理モジュール、データの流れ及び追跡システム20の様々な処理モジュールによって行われるデータ内の変換を示す。
本明細書で使用する場合、モジュールとの用語は、特定用途向け集積回路(ASIC)、電子回路、1つ以上のソフトウェア若しくはファームウェアプログラムを実行するプロセッサ(共有、専用又はグループ)及びメモリ、組合せ論理回路、並びに/又は、説明する機能を提供する他の適切な構成要素を指す。具体的には、本明細書に説明されるモジュールは、少なくとも1つのプロセッサ、メモリ、及び、モジュールに関して本明細書に説明され、また更に、図2のフローチャートに関して説明される様々な機能及びプロセスを実現するために上記少なくとも1つのプロセッサによって実行可能である上記メモリに記憶されるコンピュータプログラム命令を含む。本明細書では、特定の機能について別々のモジュールが説明されているが、これは統合トポロジを排除するものではない。更に、図示されているモジュールは、更なるサブモジュールに分割されてもよい。モジュールは、本明細書に説明される特徴、プロセス及びシステムを実現するために、必要に応じて、例えばデータバスを介して互いに通信する。
図1は、異なるスペクトル帯域において複数の時間間隔があけられた画像22を捕捉する撮像デバイス10を示す。撮像デバイス10は、カメラといった光学撮像デバイスであってよい。撮像デバイス10は、組織表面(例えば皮膚)の関心領域の連続画像を捕捉する。撮像デバイス10は、マルチスペクトルで、異なる波長(異なる波長帯域を含む)において複数の画像を取得し、当該マルチスペクトル画像を、連続した時間間隔で(例えば撮像デバイス10の設定されたフレームレートに応じて)取得することができる。撮像デバイス10は、それぞれが特定の1つ以上の波長において異なる組織表面の可視的特徴を撮像するようにデザインされた複数のフィルタを含んでよい。フィルタは、物理フィルタ、又は、物理フィルタと少なくとも1つのプロセッサによって動かされる画像処理フィルタとの組み合わせによって実現されてよい。撮像デバイス10は、異なる波長において画像データ22を取得するために、例えば別々のカメラを介する撮像ピクセルの別々のアレイを含むことができる。
撮像デバイス10は、特定の解剖学的特徴に対して最適化されているそれぞれの波長において画像22を捕捉する。例えば赤外波長は、特に静脈を追跡するために使用することができ、紫外線波長は、特にほくろ及びそばかすを追跡するために使用することができる。つまり、特定の波長は、特定の表面組織バイオマーカーを強調することができる。実施形態では、撮像デバイスは、それぞれのバイオマーカーに最適な波長において画像22を捕捉することができる。ヒト組織は、視覚波長及び近赤外波長に対して部分的に透過性であり、メラニン色素及び毛といった表面特徴、並びに、静脈又は動脈といった表面下特徴を識別することを可能にする。紫外線に近い波長の光は、ほくろやそばかすといった表在性の肌特徴に最適である。
システム20の1つの例示的な実施態様では、撮像デバイス10によって、少なくとも3つの画像22a、22b、22cが取得される。撮像デバイス10は、画像22a、22b、22cのそれぞれを取得するために、450nm、680nm及び880nmの波長において画像22a、22b、22cを分離するフィルタといった異なる波長フィルタを利用してよい。これらの例示的な波長は、例えばほくろ又は他のメラニン色素特徴、しわといった表面の凸凹及び表面下の静脈にそれぞれ合わされる。
図1の例示的なシステムでは、時間間隔があけられた第1及び第2の組織表面画像22を受信するデータ受信モジュール12が示される。時間間隔があけられた各組織表面画像は、第1及び第2の異なる波長における画像データを含む。データ受信モジュール12は、異なる波長λ、λ、λにおける画像データ22a、22b、22cを受信する。画像データ22は、時間があけられた間隔で受信されるが、当該間隔の間に、画像コンテンツの変位が起きた可能性がある。本開示は、以下で更に説明されるように、追跡モジュール14を利用してこの動きを追跡する。
データ受信モジュール12は、画像データ22を受信する入力データインターフェースを含んでよい。入力データインターフェースは、インターネット又はイントラネットといった無線ネットワークを介して画像データ22を受信することを可能にするネットワーク構成要素であってよい。図1の例示的なシステムでは、画像データ22は、撮像デバイス10から受信される。データ受信モジュール12は更に、時間間隔があけられた画像データ22をそれぞれの追跡モジュール14a、14b、14cに提供するデータ出力インターフェースを含んでよい。各追跡モジュール14a、14b、14cは、異なる波長(異なる波長帯域を含む)λ、λ、λにおいてフィルタリングされた撮像データを受信する。データ受信モジュール12は、画像データ22の受信及び受信した画像データ22’のそれぞれの追跡モジュール14a、14b、14cへの出力を指示するプロセッサ及び実行可能なコンピュータプログラム命令を含んでよい。
図1の例示的なシステム20では、第1の追跡モジュール14a、第2の追跡モジュール14b及び第3追跡モジュール14cが設けられている。各追跡モジュール14は、データ受信モジュール12から受信した時間間隔があけられた画像データ22’に基づいて、例えばバイオマーカーである組織表面の撮像された特徴を空間的に追跡する。追跡モジュール14a、14b、14cは、それぞれ、追跡測定基準
Figure 2020513871
を出力する。追跡測定基準
Figure 2020513871
は、時間間隔があけられた画像22’における空間変位を表す。例えば追跡測定基準
Figure 2020513871
は、回転成分及び/又は2次元若しくは3次元直交座標空間における線形変位を含んでよい3次元における時間間隔があけられた画像における変位を規定する空間変位ベクトルを含んでよい。追跡モジュール14は、データ受信モジュール12から画像データ22’を受信する入力データインターフェースと、少なくとも1つの追跡測定基準
Figure 2020513871
と、以下に更に説明するように、任意選択的に、追跡品質、即ち、性能測定基準Q、Q、Qとを出力する出力データインターフェースとを含んでよい。追跡モジュール14は更に、少なくとも1つのプロセッサと、本明細書に説明される組織表面追跡アルゴリズムを実施するために少なくとも1つのプロセッサによって実行可能なコンピュータ可読命令とを含んでよい。更に、プロセッサ及びコンピュータ可読命令は、各追跡モジュール14a、14b、14cについて少なくとも1つの品質測定基準Qを決定するように動作する。
各追跡モジュール14a、14b、14cは、異なる追跡アルゴリズムを動作させる。図3を参照して、例示的な追跡アルゴリズムについて、以下に説明する。各追跡アルゴリズムは、異なる種類のバイオマーカーを追跡するように調整されている。組織表面撮像によって撮像可能である例示的なバイオマーカーには、ほくろ、毛、そばかす、吹き出物、メラニン色素、くぼみ、表面粗さ及び静脈が含まれる。例えば表面粗さに作用する追跡アルゴリズムは、各画像対の変位した画像強度間の最良の相関関係を探し出す。通常、各画像の画像パッチが正規化され、これらの正規化されたパッチ間の強度差が整合誤差として使用される。最小誤差を有するパッチ対が、最良の変位候補と考えられる。静脈に作用する例示的な追跡アルゴリズムは、(例えばスケール不変特徴変換SIFTアルゴリズムを適用することによって)最初に画像を特徴ベクトルに変換し、これらのベクトルそれぞれについて記述子を計算する。次に、整合する記述子間の変位を使用して、画像対間の変位が計算される。したがって、特定のバイオマーカーに合わされた強度ベースの追跡を使用する追跡モジュール14a、14b、14cもあれば、異なるバイオマーカーに合わされた特徴ベースの追跡を使用する追跡モジュール14a、14b、14cもある。更に、追跡モジュール14a、14b、14cは、求められている特定のバイオマーカーに対応する様々な基準画像(基準記述子)を特徴ベースの追跡において利用することができる。前述したように、画像データ22’はまた、画像データ22’内に特定のバイオマーカーを識別する能力を最大化するように、スペクトル的に選択されてもよい。したがって、追跡モジュール14の追跡アルゴリズムがバイオマーカーによって調整されるだけでなく、各追跡モジュール14によって受信された画像データ22’自体がそのバイオマーカーの識別を最適化するためにフィルタリングされる。様々な波長における画像データ22’について、複数の空間トラッカ14を並列に走らせることによって、表面組織における局所的な解剖学的差異(例えば毛、吹き出物及び静脈の存在及び量)に対してロバストである表面組織位置測定基準
Figure 2020513871
を取得することができる。
図3を参照して、各モジュール14a、14b、14cの例示的な追跡アルゴリズム50を一般的な詳細レベルで説明する。組織表面追跡アルゴリズム自体は当業者に知られており、本説明は、1つの例示的な実施態様を表すものである。追跡アルゴリズム50は、時間間隔があけられた基準画像データ及び後続画像データを受信する受信ステップ30、32を含む。基準画像データ及び後続画像データは、前述の時間間隔があけられた画像データ22’から取られたものである。ステップ36において、基準画像データと後続画像データとが比較されて、基準画像データ及び後続画像データ内のバイオマーカーのパターンが整合される又は突合せされる。比較ステップ36は、特徴ベースの追跡又は強度ベースの追跡を利用することができる。特徴ベースの追跡では、比較ステップ36において、後続画像データ及び基準画像データ内の表面組織特徴のパターンが特定され、突合せされる又は整合される。強度ベースの追跡では、比較ステップ36において比較される基準画像データ及び後続画像データ内に、画像パッチが規定され、これにより、基準画像データ及び後続画像データにおけるバイオマーカーの強度ベースのパターンが突合せされる又は整合される。強度ベースの方法と特徴ベースの方法との両方において、上述の追跡測定基準の一例としての相対的位置又は変位測定基準が比較ステップ36に基づいて決定される次のステップ40を実施することができる。具体的には、基準画像データと後続画像データとの間の特徴又は強度パターンの変位によって、ステップ38において、前述の変位ベクトル
Figure 2020513871
といった追跡測定基準を決定することが可能になる。比較される画像データは、有色でも単色でもよい。ステップ40において、追跡モジュール14によって実施される追跡アルゴリズムは、以下に説明するように、後続の処理のために出力される。
図1に戻り、各トラッカモジュール14a、14b、14cは、図3のステップ36に関して上述したような画像データ22’の対応分析に基づいて、前の(基準)画像データ22’と後続画像データ22’との間の変位測定基準
Figure 2020513871
を導出する。
引き続き図1を参照する。例示的なシステム20は、追跡測定基準
Figure 2020513871
を組み合わせて結合追跡測定基準
Figure 2020513871
を出力する組み合わせモジュール16を含む。結合追跡測定基準
Figure 2020513871
は、組織表面ナビゲーション用途において使用される。結合追跡測定基準
Figure 2020513871
の例示的な用途については後述する。結合追跡測定基準
Figure 2020513871
は、入力として追跡測定基準
Figure 2020513871
を取る平均化関数によって決定されてよい。例示的な平均化関数には、平均値関数、中央値関数及びモード関数が含まれる。したがって、結合追跡測定基準
Figure 2020513871
は、平均変位測定基準又は平均変位ベクトルであってよい。組合せモジュール16は、追跡モジュール14からの追跡測定基準
Figure 2020513871
と、任意選択的に、品質評価モジュール18からの重み付け測定基準Wとを受信する入力データインターフェースを含んでよい。品質評価モジュール18については、以下でより詳細に説明する。組み合わせモジュール16は、プロセッサと、プロセッサによって実行可能なコンピュータ可読命令とを含み、上述の通り、複数の入力追跡測定基準
Figure 2020513871
を組み合わせる機能を実施することができる。更に、組み合わせモジュール16は、結合追跡測定基準
Figure 2020513871
を皮膚表面ナビゲーションに基づく制御機能の一部として組み込む器具24に、結合追跡測定基準
Figure 2020513871
を提供する出力データインターフェースを含んでよい。機器24の例及びその制御機能については後述する。
実施形態によれば、組み合わせモジュール16は、各追跡モジュール14a、14b、14cの品質評価に基づいて適応的である平均化アルゴリズムを利用する。つまり、結合追跡測定基準
Figure 2020513871
における寄与の相対的重みが、各追跡モジュール14a、14b、14cの決定された性能品質に応じて適応される。具体的には、各追跡モジュール14a、14b、14cからの品質測定基準Q、Q、Qは、後述する品質評価モジュール18によってまとめられ、追跡測定基準
Figure 2020513871
を平均化する平均化アルゴリズムに適用されるべき重み付け測定基準W、W、Wが決定される。このようにして、異なる追跡モジュール(例えば異なる追跡アルゴリズム及び/又は異なる撮像波長)が、被験者、身体部等に依存して異なる品質レベルにおいて動作するという事実に従って結合追跡測定基準の決定を適応させる適応型表面組織追跡機能が提供される。したがって、位置に依存せず、ロバストな追跡ソリューションが可能になる。
図1の例示的なシステム20には、品質評価モジュール18が含まれる。品質評価モジュール18は、それぞれの追跡モジュール14a、14b、14cから受信した品質測定基準Q、Q、Qに基づいて追跡モジュール14の追跡性能品質を評価する。品質評価モジュール18は、品質測定基準を処理し、各追跡モジュール14a、14b、14cの重み付け係数W、W、Wを決定する。重み付け係数は、それぞれの追跡モジュール14a、14b、14cから受信され、追跡モジュールの性能品質を示す2つ以上の品質測定基準Q、Q、Qの組み合わせに基づいて決定される。品質測定基準Qは、各追跡モジュール14a、14b、14cによって、時間間隔があけられた画像データ22’内のバイオマーカーの数又は量を表すパラメータ、時間間隔があけられた画像データ22’間の整合又は位置合わせの数又は量を表すパラメータ、及び/又は、整合の品質、例えば時間間隔があけられた画像データ22’を比較する際の整合の近さ又は最小誤差を表すパラメータに基づいて決定されてよい。
図3に関して上で提供した追跡アルゴリズムの説明を参照する。特徴ベースの追跡の場合、静脈追跡に使用されるものと同様に、品質測定基準Qは、時間間隔があけられた画像データ22’内で特定される特徴(例えば静脈)の数及び/又は時間間隔があけられた画像データ22’内で整合した特徴の数、時間間隔があけられた画像データ22’内で特定される特徴間の整合誤差(例えば連続外観整合)及び/又は時間間隔があけられた画像データ22’内の整合特徴間の一致を表すパラメータ(例えば特定された特徴間の変位一致)によって決定することができる。強度ベースの追跡の場合、品質測定基準Qは、時間間隔があけられた画像データ22’内の規定された画像パッチの周波数成分(例えば詳細量)、時間間隔があけられた画像データ22’内のパッチ間の適合品質(例えば強度差)及び/又は時間間隔があけられた画像データ22’内のパッチ間の複数の対応の一致又は逆誤差の関数であってよい。
品質評価モジュール18は、追跡モジュール14から品質測定基準Qを受信する入力データインターフェースを含んでよい。品質評価モジュールは、様々な品質測定基準Qを評価し、品質測定基準Qに基づいて各追跡モジュール14に関連付けられる重み付け係数Wを決定するプロセッサ及び当該プロセッサによって実行可能なコンピュータ可読命令を含んでよい。品質評価モジュール18は、重み付け係数Wを組み合わせモジュール16に提供する出力データインターフェースを含んでよい。
図1の例示的なシステム20において、組み合わせモジュール16は、重み付け係数Wを平均化アルゴリズムに適用して、各追跡測定基準
Figure 2020513871
の結合追跡測定基準
Figure 2020513871
に対する相対寄与を設定する。例えば重み付き平均又は重み付き中央値が、組み合わせモジュール16によって、重み付け係数Wに基づいて実行され、最適波長及び追跡アルゴリズムの最適調整の両方に関して、画像データ22’内のバイオマーカーの品質に適応する結合追跡測定基準が提供される。
図1の例示的なシステム20において、結合追跡測定基準
Figure 2020513871
は器具24に出力される。器具24は、画像誘導手術若しくは医療介入システム、術中データ及び/若しくは画像データ位置合わせシステム、皮膚モニタリング若しくは皮膚診断システム、又は、脱毛デバイス、散髪デバイス、整髪デバイス及び歯のクリーニングデバイスといった家電製品であってよい。
実施形態では、器具24は制御モジュール26を含む。或いは、制御モジュール26は外部に設けられてもよい。制御モジュール26は、結合追跡測定基準
Figure 2020513871
に基づいて、器具24の少なくとも1つの制御機能を決定する。つまり、器具24の動作は、少なくとも部分的に表面組織ナビゲーションに依存してよい。表面組織ナビゲーションは、当業者に知られているスキームに従って結合追跡測定基準
Figure 2020513871
を使用して実施することができる。
1つの実施例では、器具24は、CT撮像データ又はMRI撮像データといった術前撮像データ及び術中撮像データを位置合わせする器具である。或いは又は更に、器具24は、MRI画像又はCT画像といった連続的な術中画像又は連続的な術前画像を位置合わせするためのものである。このような器具24は、患者の侵襲的撮像のための撮像マシンを含んでよい。術前画像データ及び術中画像データは、撮像デバイス10からの撮像データ22と同時に取得される。撮像デバイス10は、侵襲的撮像マシンと既知の関係を有する。したがって、バイオマーカーは、本明細書に説明される方法及びシステムに従って撮像データ22から追跡することができ、術前撮像データ及び術中撮像データの位置合わせが可能にされる。このような位置合わせは、少なくとも部分的に結合追跡測定基準
Figure 2020513871
に基づいて制御モジュール26内で実施することができ、位置合わせされた術前画像及び術中画像の表示をレンダリングすることができる。
別の実施例では、器具24は、医療デバイスを誘導する器具を含む。本明細書に説明されるシステム及び方法に従って追跡された表面組織バイオマーカーを参照して正確な誘導を確立することができる。制御モジュール26は、医療デバイスの誘導器具内に含まれて、少なくとも部分的に結合追跡測定基準
Figure 2020513871
に基づいて、ナビゲーション制御機能を確立することができる。
更に別の実施例では、本明細書に説明されるシステム及び方法に従って、毛又は皮膚処置デバイス(例えば散髪デバイス)が、バイオマーカーの追跡に基づいて表面組織をナビゲートすることができる。制御モジュール26は、毛又は皮膚処置デバイス内に含まれて、少なくとも部分的に結合追跡測定基準
Figure 2020513871
に基づいて、少なくとも1つの毛又は皮膚処置制御機能を確立することができる。
更なる実施例では、器具24は、疾患の可能性のある皮膚の特徴を経時的にモニタリングする器具である。例えば癌性が疑われるほくろが経時的にモニタリングされる。本明細書に説明されるシステム及び方法に従って追跡されたバイオマーカーを参照して、皮膚の特徴を特定しモニタリングすることができる。例えば形状、位置、大きさ及び/又は色の変化がモニタリングされる。制御モジュール26は、当該モニタリング器具内に含まれて、少なくとも部分的に結合追跡測定基準
Figure 2020513871
に基づいて(皮膚特徴特定、皮膚特徴測定、皮膚特徴変化決定といった)少なくとも1つのモニタリング機能を確立することができる。
患者処置を行うために少なくとも部分的に表面組織ナビゲーションに基づいて制御される他のシステム及び器具も、本明細書に説明される表面組織追跡システム及び方法を利用することができる。
図2のフローチャートによって、本開示による組織表面追跡方法60が示される。実施形態において、当該方法は、プロセッサによって実行されるコンピュータ可読命令によってコンピュータ実施される。実施形態において、当該方法は、図1に関して説明したシステム20によって実施される。
ステップ62において、データ受信モジュール12を介して画像データ22が受信される。画像データ22は、時間間隔があけられたマルチスペクトルデータを含む。画像データ22は、画像データ22が異なる波長又はスペクトル帯域で取得されるように異なるフィルタを動作させるマルチスペクトルカメラ10によって取得されてよい。異なる波長における時間間隔があけられた画像データ22’は、それぞれ異なる追跡プロセスに提供される。
ステップ64において、追跡モジュール14を介して追跡プロセスが行われ、表面撮像された特徴、例えば表面組織バイオマーカーが追跡される。それぞれの追跡プロセスは、特定の波長にフィルタリングされた時間間隔があけられた画像データ22’に対して行われる。具体的には、基準画像と後続の画像との相関分析に基づいて、基準画像から後続の画像へのバイオマーカーの空間的追跡が行われる。追跡プロセスは、それぞれ特定のバイオマーカーの種類に合わせて調整され、受信された画像データもそのバイオマーカーの種類に合わせて調整される。ステップ64の追跡プロセスは、追跡モジュール14のそれぞれについて追跡測定基準Xを生成する。
ステップ66において、追跡モジュール14と品質評価モジュール18との組み合わせを介して品質評価プロセスが行われ、組み合わせモジュール16によって使用される重み付け測定基準Wが生成される。実施形態において、品質評価プロセスは、追跡モジュール14のそれぞれを介して少なくとも1つの品質測定基準Qを決定するサブプロセスを含む。少なくとも1つの品質測定基準Qは、追跡モジュール14による追跡性能品質を表す。重み付け測定基準又は係数Wは、品質測定基準Qに基づいて決定することができる。
ステップ68では、ステップ64で得られた追跡測定基準Xの品質適応組み合わせが、ステップ66で得られた重み付け測定基準Wに基づいて行われ、結合追跡測定基準
Figure 2020513871
が決定される。品質適応組合せは、重み付き平均又は重み付き中央値といった加重平均アルゴリズムを含んでよい。様々な追跡アルゴリズム及び撮像データの様々な波長が、表面組織の状態に応じて異なる動作をする。本明細書に説明されるシステム及び方法は、結合追跡測定基準
Figure 2020513871
を決定する際に、より良好に動作する追跡プロセスを優先させることができる。更に、図3の方法60のプロセスは、表面組織の状態が変化するにつれて継続的な最適化を可能にするために、繰り返し行われる。
ステップ70において、結合追跡測定基準
Figure 2020513871
は、表面組織ナビゲーションを動作させる患者の処置、治療又は診断の用途において、例えば患者処置、治療又は診断システムの制御入力として、使用されるか又は当該使用のために出力される。CT撮像データ又はMRI撮像データの整合、罹患皮膚特徴モニタリング、医療デバイスナビゲーション、毛又は皮膚治療用途といった上記用途の幾つかの例が前述されている。
当然のことながら、表面組織は、被験者上の位置及び被験者毎にかなり異なる。例えば異なる被験者及び異なる表面位置は、様々な量の毛、吹き出物及び静脈を有する。皮膚の場合、表面組織の外観は、非常に滑らか(即ち、色の変化、毛又はしわがない)から非常に細かい(即ち、メラニン斑点、毛及び表面粗さ並びに毛穴がある)まで様々である。この多様性は、体上の位置に依存するだけでなく(例えばほくろ/そばかすは背中でより多く見られ、血管は腕でより多く見られる)、被験者、人種、年齢及び性別にも依存する。本開示は、異なる波長を対象にした画像に作用する並列追跡モジュールを動作させるので、組織状態におけるこのような可変性に対してよりロバストなソリューションを提供し、これにより、様々な組織特徴を追跡のために強調することを可能にする。更に、追跡モジュール自体を、異なる組織特徴の追跡を最適化するように異なるようにアルゴリズム的に調整することができる。更にまた、追跡結果の組み合わせは追跡性能に応じて適応されるので、出力結果は、組織の状態に関係なく滑らかになる。
本発明の別の例示的な実施形態では、適切な処理システム上で、前述の実施形態のうちの1つによる方法の方法ステップを実行するように適合されていることを特徴とするコンピュータプログラム又はコンピュータプログラム要素が提供される。
したがって、コンピュータプログラム要素は、コンピュータユニットに記憶されていてもよい。当該コンピュータユニットはまた、本発明の一実施形態の一部であってよい。当該コンピュータユニットは、上記方法のステップを行うか又はステップの実行を誘導する。更に、コンピュータユニットは、上記装置の構成要素を動作させる。コンピュータユニットは、自動的に動作するか及び/又はユーザの命令を実行する。コンピュータプログラムが、データプロセッサの作業メモリにロードされてよい。したがって、データプロセッサは、本発明の方法を実行する能力を備えている。
本発明のこの例示的な実施形態は、最初から本発明を使用するコンピュータプログラムと、アップデートによって、既存のプログラムを、本発明を使用するプログラムに変えるコンピュータプログラムとの両方を対象とする。
更に、コンピュータプログラム要素は、上記方法の例示的な実施形態の手順を満たすすべての必要なステップを提供することができる。
本発明の更なる例示的な実施形態によれば、CD−ROMといったコンピュータ可読媒体が提示される。コンピュータ可読媒体に、コンピュータプログラム要素が記憶され、コンピュータプログラム要素は上記セクションに説明されている。
コンピュータプログラムは、他のハードウェアと共に又は他のハードウェアの一部として供給される光学記憶媒体又は固体媒体といった適切な媒体上に記憶される及び/又は分散配置されるが、インターネット又は他の有線若しくは無線通信システムを介した形態といった他の形態で分配されてもよい。
しかし、コンピュータプログラムは、ワールドワイドウェブといったネットワークを介して提示され、当該ネットワークからデータプロセッサの作業メモリにダウンロードされてもよい。本発明の更なる例示的な実施形態によれば、ダウンロード用にコンピュータプログラム要素を利用可能にする媒体が提供され、当該コンピュータプログラム要素は、本発明の上記実施形態のうちの1つによる方法を行うように構成される。
なお、本発明の実施形態は、様々な主題を参照して説明されている。具体的には、方法タイプのクレームを参照して説明される実施形態もあれば、デバイスタイプのクレームを参照して説明される実施形態もある。しかし、当業者であれば、上記及び下記の説明から、特に明記されない限り、1つのタイプの主題に属する特徴の任意の組み合わせに加えて、様々な主題に関連する特徴の任意の組み合わせも、本願によって開示されていると見なされると理解できるであろう。しかし、すべての特徴は、特徴の単なる足し合わせ以上の相乗効果を提供する限り、組み合わされることが可能である。
少なくとも1つの例示的な実施形態が、上記詳細な説明において提示されたが、当然ながら、多数の変形実施態様が存在する。また、1つ以上の例示的な実施形態は、例示に過ぎず、開示の範囲、適用可能性又は構成を如何様にも限定することを意図していない。むしろ、上記詳細な説明は、当業者に1つ以上の例示的な実施形態を実施するための便利なロードマップを提供する。当然ながら、請求項及びその法的等価物に記載される開示の範囲から逸脱することなく、要素の機能及び配置において様々な変更を行ってよい。
請求項において、「含む」との用語は、他の要素又はステップを排除するものではなく、また、「a」又は「an」との不定冠詞も、複数形を排除するものではない。単一のプロセッサ又は他のユニットが、請求項に引用される幾つかのアイテムの機能を果たしてもよい。特定の手段が相互に異なる従属請求項に記載されることだけで、これらの手段の組み合わせを有利に使用することができないことを示すものではない。請求項における任意の参照符号は、範囲を限定するものと解釈されるべきではない。

Claims (15)

  1. 第1及び第2の異なる波長における画像データをそれぞれ含む第1の時間間隔組織表面画像及び第2の時間間隔組織表面画像を受信するデータ受信モジュールと、
    第1の追跡モジュール及び第2の追跡モジュールと、
    組み合わせモジュールと、
    を含み、
    前記第1の追跡モジュールは、前記第1の波長において、前記第1の時間間隔組織表面画像及び前記第2の時間間隔組織表面画像に基づいて、第1の組織表面撮像特徴を空間的に追跡して、少なくとも1つの第1の追跡測定基準を反応として出力し、
    前記第2の追跡モジュールは、前記第2の波長において、前記第1の時間間隔組織表面画像及び前記第2の時間間隔組織表面画像に基づいて、第2の組織表面撮像特徴を空間的に追跡して、少なくとも1つの第2の追跡測定基準を反応として出力し、
    前記組み合わせモジュールは、前記少なくとも1つの第1の追跡測定基準及び前記少なくとも1つの第2の追跡測定基準を組み合わせ、組織表面ナビゲーション用途における使用のための少なくとも1つの結合追跡測定基準を反応として出力し、
    前記第1の波長及び前記第2の波長は、異なる種類のバイオマーカーに合わせて調整される、組織表面追跡システム。
  2. 前記第1の追跡モジュールは、第1の種類のバイオマーカーの追跡に合わせて調整される第1の追跡アルゴリズムを動作させ、前記第2の追跡モジュールは、第2の種類のバイオマーカーの追跡に合わせて調整される第2の追跡アルゴリズムを動作させる、請求項1に記載のシステム。
  3. 前記第1の追跡モジュールの追跡性能の品質を評価して、少なくとも1つの第1の重み付け測定基準を反応として出力し、前記第2の追跡モジュールの追跡性能の品質を評価して、少なくとも1つの第2の重み付け測定基準を反応として出力する少なくとも1つの品質評価モジュールを含み、前記組み合わせモジュールは、前記少なくとも1つの第1の重み付け測定基準及び前記少なくとも1つの第2の重み付け測定基準に基づいて、前記少なくとも1つの第1の追跡測定基準及び前記少なくとも1つの第2の追跡測定基準を適応的に組み合わせる、請求項1又は2に記載のシステム。
  4. 前記組み合わせモジュールは、前記少なくとも1つの第1の重み付け測定基準及び前記少なくとも1つの第2の重み付け測定基準に基づいて、前記少なくとも1つの第1の追跡測定基準及び前記少なくとも1つの第2の追跡測定基準の相対的重みが決定される重み付けアルゴリズムを使用して、前記少なくとも1つの第1の追跡測定基準及び前記少なくとも1つの第2の追跡測定基準を組み合わせる、請求項3に記載のシステム。
  5. 前記第1の追跡モジュールは、特徴ベースの追跡及び強度ベースの追跡の少なくとも一方を使用して、前記少なくとも1つの第1の追跡測定基準を決定し、前記第2の追跡モジュールは、特徴ベースの追跡及び強度ベースの追跡の少なくとも一方を使用して、前記少なくとも1つの第2の追跡測定基準を決定する、請求項1乃至3の何れか一項に記載のシステム。
  6. 前記第1の波長は、前記第1の種類のバイオマーカーとしての表在性皮膚特徴に合わせて調整され、前記第2の波長は、前記第2の種類のバイオマーカーとしての表面下特徴に合わせて調整される、請求項1乃至5の何れか一項に記載のシステム。
  7. 前記第1の種類のバイオマーカーは、ほくろ、毛、そばかす、毛穴、吹き出物、メラニン色素、くぼみ、表面粗さの群のうちの少なくとも1つを含む、請求項6に記載のシステム。
  8. 前記第2の種類のバイオマーカーは、静脈又は動脈を含む、請求項6又は7に記載のシステム。
  9. 異なるスペクトル帯域において前記第1の時間間隔組織表面画像及び前記第2の時間間隔組織表面画像を捕捉するカメラを含む、請求項1乃至8の何れか一項に記載のシステム。
  10. 請求項1乃至9の何れか一項に記載のシステムを含む、画像誘導手術若しくは医療介入システム、又は、術中撮像データ、術前撮像データ若しくは術中撮像データ及び術前撮像データの組み合わせを整合させるシステム。
  11. 請求項1乃至10の何れか一項に記載のシステムを含む、皮膚モニタリング又は皮膚診断システム。
  12. 請求項1乃至11の何れか一項に記載のシステムを含み、脱毛デバイス、散髪デバイス、整髪デバイス及び歯のクリーニングデバイスの群から選択される、家庭用電気製品。
  13. 異なる種類のバイオマーカーに合わせて調整されている第1及び第2の異なる波長における画像データをそれぞれ含む第1の時間間隔組織表面画像及び第2の時間間隔組織表面画像を受信するステップと、
    前記第1の波長において、前記第1の時間間隔組織表面画像及び前記第2の時間間隔組織表面画像に基づいて、第1の表面撮像特徴として、第1の種類のバイオマーカーを追跡して、少なくとも1つの第1の追跡測定基準を反応として提供するステップと、
    前記第2の波長において、前記第1の時間間隔組織表面画像及び前記第2の時間間隔組織表面画像に基づいて、第2の表面撮像特徴をとして、第2の種類のバイオマーカーを追跡して、少なくとも1つの第2の追跡測定基準を反応として提供するステップと、
    前記少なくとも1つの第1の追跡測定基準及び前記少なくとも1つの第2の追跡測定基準を組み合わせ、少なくとも1つの結合追跡測定基準を反応として提供するステップと、
    前記結合追跡測定基準を、組織表面ナビゲーション用途に使用するステップと、
    を含む、組織表面追跡方法。
  14. 請求項1乃至6の何れか一項に記載のシステムを実現するため、又は、少なくとも1つのプロセッサによって実行されると、請求項13に記載の方法のステップを行うための、コンピュータプログラム。
  15. 請求項14に記載のコンピュータプログラムが記憶された、コンピュータ可読媒体。
JP2019530701A 2016-12-08 2017-12-08 表面組織追跡 Active JP7069166B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16202834.4 2016-12-08
EP16202834 2016-12-08
PCT/EP2017/082013 WO2018104518A1 (en) 2016-12-08 2017-12-08 Surface tissue tracking

Publications (3)

Publication Number Publication Date
JP2020513871A true JP2020513871A (ja) 2020-05-21
JP2020513871A5 JP2020513871A5 (ja) 2021-01-21
JP7069166B2 JP7069166B2 (ja) 2022-05-17

Family

ID=57570125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019530701A Active JP7069166B2 (ja) 2016-12-08 2017-12-08 表面組織追跡

Country Status (5)

Country Link
US (2) US11071459B2 (ja)
EP (1) EP3551049B1 (ja)
JP (1) JP7069166B2 (ja)
CN (1) CN110072435B (ja)
WO (1) WO2018104518A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111587365B (zh) * 2018-01-11 2023-11-03 澳大利亚眼科研究中心有限公司 用于量化组织的生物标志物的方法和系统
US11515033B2 (en) * 2020-04-22 2022-11-29 GE Precision Healthcare LLC Augmented inspector interface with targeted, context-driven algorithms

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011509154A (ja) * 2008-01-07 2011-03-24 マイスキン、インク. スペクトル畳み込みに基づく光と物質の相互作用の解析システムおよび方法
JP2013509629A (ja) * 2009-10-29 2013-03-14 ガルデルマ・リサーチ・アンド・デヴェロップメント ハイパースペクトル画像を解析するための方法および装置
JP2013141605A (ja) * 2012-01-10 2013-07-22 Cnoga Holdings Ltd カラー画像から化粧品および栄養食品のレジメンを提供するウェブサイト
JP2013212247A (ja) * 2012-04-02 2013-10-17 Sharp Corp 皮膚測定システム
JP2015205222A (ja) * 2015-08-20 2015-11-19 花王株式会社 体表評価方法および体表評価装置
JP2016505317A (ja) * 2012-12-21 2016-02-25 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 遠隔検出された電磁放射線から生理学的情報を抽出するシステム及び方法
JP2016030214A (ja) * 2014-07-25 2016-03-07 クリスティ デジタル システムズ ユーエスエイ インコーポレイテッド マルチスペクトル医用撮像装置及びその方法
US20160171684A1 (en) * 2014-12-15 2016-06-16 Koninklijke Philips N.V. Device, System and Method for Skin Detection

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3777415B2 (ja) * 1997-09-01 2006-05-24 アークレイ株式会社 測定部位の位置決め法およびその治具
GR1004180B (el) * 2000-03-28 2003-03-11 ����������� ����� ��������� (����) Μεθοδος και συστημα χαρακτηρισμου και χαρτογραφησης αλλοιωσεων των ιστων
WO2007072356A2 (en) * 2005-12-21 2007-06-28 Koninkijke Philips Electronics N.V. Positioning system for patient monitoring sensors
KR20140124868A (ko) * 2006-07-19 2014-10-27 루미다임 인크. 스펙트럼 생체인식 센서
US20100185064A1 (en) * 2007-01-05 2010-07-22 Jadran Bandic Skin analysis methods
US20110026768A1 (en) 2009-07-28 2011-02-03 Sujai Chari Tracking a Spatial Target
CN201806692U (zh) * 2009-12-31 2011-04-27 中国人民解放军空军总医院 一种用于诊断恶性黑素细胞肿瘤的多光谱皮肤镜图像自动分析仪器
CN101862205A (zh) * 2010-05-25 2010-10-20 中国人民解放军第四军医大学 一种结合术前影像的术中组织跟踪方法
US8872909B2 (en) * 2010-06-10 2014-10-28 The Hong Kong Polytechnic University Method and apparatus for personal identification using finger imaging
US20120194662A1 (en) 2011-01-28 2012-08-02 The Hong Kong Polytechnic University Method and system for multispectral palmprint verification
TWI519277B (zh) * 2011-03-15 2016-02-01 明達醫學科技股份有限公司 皮膚光學診斷裝置及其運作方法
EP2793697A4 (en) * 2011-12-21 2015-08-19 Catherine M Shachaf SYSTEM FOR IMAGING LESIONS ALIGNING FABRIC SURFACES
KR101385980B1 (ko) * 2012-06-20 2014-04-29 한국전기연구원 피부 형광 측정 장치
AU2014231470B2 (en) * 2013-03-15 2018-03-01 Synaptive Medical Inc. System and method for detecting tissue and fiber tract deformation
WO2015135058A1 (en) * 2014-03-14 2015-09-17 Synaptive Medical (Barbados) Inc. Methods and systems for intraoperatively confirming location of tissue structures
CN103356170B (zh) * 2013-05-24 2015-02-18 天津大学 用于带异质体组织光学参数重建的快速蒙特卡罗成像方法
US20160019421A1 (en) * 2014-07-15 2016-01-21 Qualcomm Incorporated Multispectral eye analysis for identity authentication
US20160324442A1 (en) * 2015-05-08 2016-11-10 Proteus Digital Health, Inc. Loose wearable receiver systems

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011509154A (ja) * 2008-01-07 2011-03-24 マイスキン、インク. スペクトル畳み込みに基づく光と物質の相互作用の解析システムおよび方法
JP2013509629A (ja) * 2009-10-29 2013-03-14 ガルデルマ・リサーチ・アンド・デヴェロップメント ハイパースペクトル画像を解析するための方法および装置
JP2013141605A (ja) * 2012-01-10 2013-07-22 Cnoga Holdings Ltd カラー画像から化粧品および栄養食品のレジメンを提供するウェブサイト
JP2013212247A (ja) * 2012-04-02 2013-10-17 Sharp Corp 皮膚測定システム
JP2016505317A (ja) * 2012-12-21 2016-02-25 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 遠隔検出された電磁放射線から生理学的情報を抽出するシステム及び方法
JP2016030214A (ja) * 2014-07-25 2016-03-07 クリスティ デジタル システムズ ユーエスエイ インコーポレイテッド マルチスペクトル医用撮像装置及びその方法
US20160171684A1 (en) * 2014-12-15 2016-06-16 Koninklijke Philips N.V. Device, System and Method for Skin Detection
JP2015205222A (ja) * 2015-08-20 2015-11-19 花王株式会社 体表評価方法および体表評価装置

Also Published As

Publication number Publication date
US20190365235A1 (en) 2019-12-05
WO2018104518A1 (en) 2018-06-14
CN110072435A (zh) 2019-07-30
JP7069166B2 (ja) 2022-05-17
US11071459B2 (en) 2021-07-27
US11571130B2 (en) 2023-02-07
EP3551049A1 (en) 2019-10-16
US20210345882A1 (en) 2021-11-11
EP3551049B1 (en) 2021-02-17
CN110072435B (zh) 2022-07-19

Similar Documents

Publication Publication Date Title
US20220054089A1 (en) Device, system and method for generating a photoplethysmographic image carrying vital sign information of a subject
US11771381B2 (en) Device, system and method for measuring and processing physiological signals of a subject
Fan et al. Robust blood pressure estimation using an RGB camera
Tasli et al. Remote PPG based vital sign measurement using adaptive facial regions
JP5980720B2 (ja) 呼吸速度推定のためのビデオプロセッシング
EP3664704B1 (en) Device, system and method for determining a physiological parameter of a subject
JP6108486B2 (ja) 生体の測定読み出しを得る及び処理するデバイス及び方法
EP3664690A1 (en) Device, system and method for determining a physiological parameter of a subject
US11354818B2 (en) Medical imaging system, method and computer program product
US11571130B2 (en) Surface tissue tracking
KR101652641B1 (ko) Ecg 신호를 이용한 영상 정합 장치 및 그 방법
KR20130143434A (ko) 고강도 집속 초음파의 초점을 결정하는 방법 및 장치
WO2015129909A1 (en) Apparatus, method, and program for processing image
CN115379791A (zh) 用于处理激光散斑信号的系统和方法
WO2018002347A1 (en) Registering tomographic imaging and endoscopic imaging
Akbari et al. A novel method for artery detection in laparoscopic surgery
CN109475314B (zh) 使用照相机和脉冲血氧计的高分辨率血液灌注成像
EP4230118A1 (en) A system and method for tissue analysis using remote ppg
Ando et al. Simultaneous evaluation of wall motion and blood perfusion of a beating heart using stereoscopic fluorescence camera system
WO2023156470A1 (en) A system and method for tissue analysis using remote ppg

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211228

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220502

R150 Certificate of patent or registration of utility model

Ref document number: 7069166

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150