JP2021511901A - 創傷の撮像および分析 - Google Patents

創傷の撮像および分析 Download PDF

Info

Publication number
JP2021511901A
JP2021511901A JP2020541966A JP2020541966A JP2021511901A JP 2021511901 A JP2021511901 A JP 2021511901A JP 2020541966 A JP2020541966 A JP 2020541966A JP 2020541966 A JP2020541966 A JP 2020541966A JP 2021511901 A JP2021511901 A JP 2021511901A
Authority
JP
Japan
Prior art keywords
wound
image
interest
images
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020541966A
Other languages
English (en)
Other versions
JP7556784B2 (ja
Inventor
ダコスタ,ラルフ
ミーニー,トッド・イー
デインズ,トッド
バーミー,ギャレット・アール
ティーン,リース
ダナム,ダニエル・シィ
アブハリ,カムヤー
マクファデン,スティーブン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Moleculight Inc
Original Assignee
Moleculight Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Moleculight Inc filed Critical Moleculight Inc
Publication of JP2021511901A publication Critical patent/JP2021511901A/ja
Priority to JP2024083438A priority Critical patent/JP2024125298A/ja
Application granted granted Critical
Publication of JP7556784B2 publication Critical patent/JP7556784B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/445Evaluating skin irritation or skin trauma, e.g. rash, eczema, wound, bed sore
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/12Edge-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • G06T7/41Analysis of texture based on statistical description of texture
    • G06T7/44Analysis of texture based on statistical description of texture using image operators, e.g. filters, edge density metrics or local histograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/564Depth or shape recovery from multiple images from contours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B10/00Other methods or instruments for diagnosis, e.g. instruments for taking a cell sample, for biopsy, for vaccination diagnosis; Sex determination; Ovulation-period determination; Throat striking implements
    • A61B10/02Instruments for taking cell samples or for biopsy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Dermatology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Geometry (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本明細書でさらに説明する特定の撮像装置およびシステムの場合、創傷の創傷特性は、既知の波長または波長範囲の励起光にさらされると固有の分光的特徴を有する蛍光を発する。そこから取込まれた画像には画素分析が施され、印を付けられた既知の創傷のサイズおよび特性を有する複数の訓練画像が使用されて訓練データを生成し、訓練データはその後、リアルタイムに試験画像から創傷特性を識別するために使用される。創傷のサイズ、境界、細菌の存在、および他の特性が定量化され、かつ、創傷に関連するドキュメンテーションと共に、創傷の原画像へのオーバーレイとして図表によって表され得る。

Description

本出願は、2018年2月2日に出願された米国仮特許出願第62/625,611号に基づく優先権を主張し、その内容全体を引用により本明細書に援用する。
背景
技術分野
蛍光ベースの撮像およびモニタリングのための装置および方法が開示される。特に、これらの装置および方法は、人間および動物の両方の用途について、創傷の診断および創傷ケア管理などにおける生化学的物質ならびに/または生物学的および非生物学的物質のモニタリングに適し得る。
背景
創傷ケアは、臨床における大きな課題である。治癒しつつある創傷および慢性の治癒していない創傷は、炎症、壊死、滲出物の生成、出血、増殖、結合組織の再構築、ならびに一般的な懸念である、細菌の存在、成長、および感染など多くの生物組織の変化と関連する。創傷の感染の割合は、臨床的に明らかではなく、特に老齢人口での創傷ケアに関連する人的、感情的、および経済的な負担を増加させる要因である。たとえば、緑膿菌および黄色ブドウ球菌は、病院の現場で蔓延している菌属であり、細菌感染の一般的な原因である。現在、創傷の診断の臨床的な基準診断法には、感染の典型的な兆候および症状について、白色光の照明の下で傷口を直接目視検査することが含まれる。これは、臨床検査の場合にスワブ培養または組織生検標本と組み合わされることが多い。
しかしながら、これらの結果は時間や費用がかかることが多く、徹底的な生物学的結果をもたらす。これによって、治療のタイミングおよび効果が影響を受ける場合がある。定性的で主観的な視覚的診断では、傷口の全体的な図が提供されるだけで、その背後にある、組織および細胞レベルで発生している生物学的、生化学的、および分子変化についての情報は提供されない。さらに、細菌は肉眼では見えないため、創傷サンプリングは最善に次ぐものであり、傷口での細菌の成長の変化を適切に追跡できない。これによって、治療および最適な抗菌治療のタイミングのよい選択が妨げられることがある。生物学的および分子的な情報を利用して、傷口のそのような肉眼で発見できない変化の早期診断を改善する比較的簡単で補足的な方法が、臨床の創傷管理において望ましい。リスクの高い創傷(たとえば、臨床的に重要な細菌の存在または「負荷」を含む)を早期に認識することによって、より早期の治療につながり、治療的介入が導かれ、経時的に治療反応がモニタリングされて、特に慢性的な創傷による罹病率と死亡率との両方が大幅に減少する。
要約
本開示は、スペクトル波長の特徴ならびに創傷特性およびそれらの変化を示す他の情報をリアルタイムに識別し、識別された情報を分析し、結果を創傷モニタリング装置またはシステムのユーザに出力する装置、システム、およびコンピュータによって実行される方法を提示することによって、上記のように特定された問題を解決する。創傷特性には、創傷のサイズ、創傷の境界、創傷の深さ、創傷の温度、組織および細胞創傷成分の変化、血管新生、壊死、および創傷内の細菌の存在が含まれる。他の識別される特性には、がん組織(たとえば、乳がん手術の場合の乳腺腫瘤摘出)などの切除した組織特性が含まれる。切除した組織の使用の際に、これらの装置および方法は、たとえば組織成分、腫瘍のサイズ、腫瘍の縁、腫瘍の境界、および組織の血管新生などの特性を識別するために用いることができる。
ある例示的な実施形態では、本開示は、創傷の分析のためにコンピュータによって実現される方法を提供する。コンピュータによって実現される方法は、コンピュータ可読媒体に格納され、プロセッサによって実行されて動作を行う論理命令を含む。動作は、複数の画素を含む創傷の画像を受信することと、少なくとも画素値のヒストグラムに基づく彩度マスクを複数の画素に適用することに基づいて、画像内の少なくとも1つの関心領域を求めることと、少なくとも1つの関心領域の1つ以上の輪郭を求めることと、画像にオーバーレイされた1つ以上の輪郭を含む出力画像を生成することとを含む。関心領域は、1つ以上の創傷特性を含む。
他の例示的な実施形態では、本開示は、撮像装置と、撮像装置に連結されたプロセッサと、プロセッサに連結されたメモリとを備えるシステムを提供する。メモリは、プロセッサによって実行されると、プロセッサに動作を行わせるコンピュータ可読命令を格納するように構成可能である。動作は、撮像装置を用いて、複数の画素を含む創傷の画像を取得することと、画素値のヒストグラムに基づく彩度マスクを複数の画素に適用することと、彩度マスクを適用することに基づいて、画像上の少なくとも1つの関心領域を識別する二値マスクを生成することと、少なくとも1つの関心領域の1つ以上の輪郭を検出して、関心領域を画定することと、1つ以上の輪郭を画像にオーバーレイして、少なくとも1つの関心領域を識別する合成画像を形成することと、合成画像をリアルタイムに撮像装置のユーザに出力することとを含み、さらに、生フォーマットまたは圧縮フォーマットで画像を保存することを含む。
さらに他の例示的な実施形態では、本開示は、プロセッサによって実行されて、動作を行うコンピュータ可読コードを格納する有形の非一時的コンピュータ可読媒体を提供する。動作は、複数の赤、緑、および青(RGB)画像を取得することと、コンピュータインターフェースを利用して、細菌の存在、創傷の境界、コラーゲンの増殖、および創傷のサイズのうち少なくとも1つを含む、複数の画像の各々の上の既知の関心領域に印を付けることと、複数のRGB画像の各々を、代替的な色空間に変換することとを含む。色空間の例としては、CIELAB色空間、色相・彩度・明度(HSV)、色相・彩度・輝度(HSL)、色相・彩度・明度(HSD)、明度・彩度・色相(LCH)、CMYK、円筒変換、明度および彩度/クロミナンス、YCbCr(https://en.wikipedia.org/wiki/YCbCr)、LUV(https://en.wikipedia.org/wiki/CIELUV)、XYZ(https://en.wikipedia.org/wiki/CIE_1931_color_space)、YUV(https://en.wikipedia.org/wiki/YUV)、マンセル表色系、ナチュラルカラーシステム(NCS)、パントンマッチングシステム(PMS)、RAL、航空宇宙材料仕様−((US)連邦規格595Cに取って代わる)規格595A、(US)連邦規格595C(Archive.org)、英国標準カラー(BS)381C、BS2660、BS5252およびBS4800、LMS色空間(長波長、中波長、短波長)、目の網膜の錐状体の応答関数に基づく知覚色空間、ならびにコンピュータビジョン用途で使用されるrg色度空間が挙げられるが、これらに限定されるわけではない。画像の代替的な色空間への変換に続いて、動作は、既知の関心領域の各々に固有の分光的特徴を識別する値のヒストグラムを、複数のRGB画像の各々について代替的な色空間において求めることと、複数のRGB画像の各々について代替的な色空間における値のヒストグラムに基づいて、合成ヒストグラムを生成することとを含む。1つ以上の固有の分光的特徴に基づいて、創傷撮像装置を用いて、リアルタイムに少なくとも1つの創傷画像から未知の関心領域を識別するために、合成ヒストグラムが用いられる。
さらに他の例示的な実施形態では、本開示は、プロセッサと、プロセッサに連結されたメモリとを備えるシステムを提供する。メモリは、プロセッサによって実行されると、プロセッサに動作を行わせるコンピュータ可読命令を格納するように構成可能である。動作は、複数の画素を含む創傷の画像を受信することと、画素値のヒストグラムに基づく彩度マスクを複数の画像に適用し、画像上の少なくとも1つの関心領域を識別することと、少なくとも1つの関心領域の周囲の1つ以上の輪郭を検出することと、1つ以上の輪郭を画像にオーバーレイして、少なくとも1つの関心領域を識別する合成画像を形成することと、プロセッサに連結された表示デバイス上で合成画像を出力することとを含み、さらに、画像を生フォーマットまたは圧縮フォーマットで保存することを含む。
さらに他の目的および利点が、後に続く説明で部分的に説明され、説明から部分的に明らかになる、または、本開示の教示を実践することによって理解されるであろう。本開示のこれらの目的および利点は、添付の請求項で特に指摘される要素および組合せによって、理解され実現されるであろう。なお、前述の一般的な説明と後に続く詳細な説明との両方は例示的で説明的なものにすぎず、請求される主題を制限するものではない。本明細書において組み入れられ本明細書の一部を構成する添付の図面は、本開示の例示的な実施形態を示し、説明と併せて、本開示の原則を説明するものである。
本開示の教示の少なくとも一部の特徴および利点が、これらと一致する、後に続く例示的な実施形態の詳細な説明から明らかになり、これらの説明は、添付の図面を参照して考慮されるべきである。
創傷の撮像および分析のための例示的な方法を示す図である。 創傷の撮像、分析、ならびに創傷撮像分析およびドキュメンテーションの出力のための例示的な装置の模式図である。 創傷の撮像、分析、ならびに創傷撮像分析およびドキュメンテーションの出力のための例示的な装置の模式図である。 創傷の撮像、分析、ならびに創傷撮像分析およびドキュメンテーションの出力のための例示的な装置の模式図である。 創傷の撮像、分析、および創傷のドキュメンテーションの出力のための例示的なシステムを示す図である。 訓練画像についての例示的なヒストグラムを示す図である。 訓練画像についての例示的なヒストグラムを示す図である。 訓練画像についての例示的なヒストグラムを示す図である。 訓練画像についての例示的なヒストグラムを示す図である。 複数の訓練画像についての例示的な合成ヒストグラムを示す図である。 複数の訓練画像についての例示的な合成ヒストグラムを示す図である。 複数の訓練画像についての例示的な合成ヒストグラムを示す図である。 複数の訓練画像についての例示的な合成ヒストグラムを示す図である。 彩度マスキングのための例示的な方法を示す図である。 輪郭検出のための例示的な方法を示す図である。 画像修復、分析、および創傷のドキュメンテーションの出力のための例示的な方法を示す図である。 創傷撮像および分析動作の例示的な出力画像を示す図である。 創傷撮像および分析動作の例示的な出力画像を示す図である。 創傷画像の色分析のための例示的な方法を示す図である。 例示的な出力画像および例示的なユーザインターフェースを介した創傷画像のドキュメンテーションを示す図である。 ユーザー定義の境界ならびにそれに基づいて定められた前景領域および後景領域を有する創傷の例示的な画像を示す図である。 ユーザー定義の境界ならびにそれに基づいて求められた前景領域および後景領域を有する創傷の例示的な画像を示す図である。 ユーザー定義の境界ならびにそれに基づいて求められた前景領域および後景領域を有する創傷の例示的な画像を示す図である。 創傷画像においてステッカーを識別するための例示的な方法を示す図である。 創傷画像を示す図である。
以下の詳細な説明は例示的で説明的な実施形態を参照するが、それらの多くの代替、修正、および変形が当業者にとって明らかである。したがって、請求される主題は幅広く捉えられることが意図されている。
詳細な説明
ここで、さまざまな例示的な実施形態が詳細に参照され、それらの例が添付の図面に示される。これらのさまざまな例示的な実施形態は、本開示を制限するよう意図されたものではない。それとは反対に、本開示は、例示的な実施形態の代替、修正、および均等物を包含するよう意図されている。図面および説明では、類似の要素には類似の参照番号が付される。なお、個別に説明された特徴は、技術的に都合のよい態様で相互に組み合わせることが可能であり、本開示のさらに別の実施形態を開示可能である。
本開示は、分光的特徴ならびに創傷特性およびそれらの変化を示す他の情報をリアルタイムに識別し、識別された情報について分析を行い、創傷モニタリング装置またはシステムのユーザまたはオペレータに結果を出力する装置、システム、およびコンピュータによって実施される方法を提供する。創傷特性は、たとえば、創傷のサイズ、創傷の境界、創傷の深さ、組織および細胞の創傷の成分の変化、血管新生、壊死、創傷の温度および創傷の温度の変化、ならびに細菌の存在、分布、および負荷を含み得る。本明細書では創傷との使用について説明するが、本明細書で開示される装置および方法は、がん組織(たとえば、乳がん手術の場合の乳腺腫瘤摘出)などの切除した組織特性を識別するために用いることもできる。切除した組織との使用では、これらの装置および方法は、たとえば組織成分、腫瘍のサイズ、腫瘍の縁、腫瘍の境界、および組織の血管新生などの特性を識別するために用いることができる。
本明細書で説明する例示的な創傷モニタリング装置には、特定の励起光源およびそれに取り付けられた光学バンドパスフィルタを有するハンドヘルド/携帯光デジタル撮像装置が含まれる。本明細書でさらに説明する撮像装置およびシステムを用いて、励起光にさらされることによる創傷の成分の蛍光が撮像され分析され得る。たとえば、励起光にさらされると、たとえば緑膿菌によって引き起こされるまたはこれを含む細菌が存在する創傷において、緑膿菌が固有の分光的特徴、すなわち、既知のピークを有する1つ以上の波長帯域で蛍光を発する。励起光は、既知の波長、またはたとえば405nmのピークなど既知のピークを有する波長範囲の光を含み得る。このデータの取込みおよび分析によって、細菌の存在一般が識別され、特定の種類の細菌の存在も識別される。細菌の存在および創傷のさらに別の特徴を特定し、類型に分類し、定量化するために、これらの装置およびシステムが訓練される。
創傷のサイズならびに細菌の存在および/または負荷で印を付けられた複数の訓練画像からのスペクトル情報および創傷のサイズの情報は、訓練データを生成するために用いられる。訓練データがピクセル単位で順番に新しい創傷の画像のリアルタイム分析に適用されて、創傷特性が識別可能になる。創傷の境界、細菌の存在、および他の創傷特性は定量化可能であり、創傷およびその周囲の健全な組織の白色画像へのオーバレイとして図表によって表現可能である。さらに、特定の種類の細菌(たとえば緑膿菌)および/もしくは他の創傷特性は、識別、定量化、ならびに強調表示することが可能である、または、他の態様では、創傷の画像もしくは経時的に取得された創傷の複数の画像に表示もしくはオーバーレイすることが可能である。がん組織(たとえば、乳がん手術の場合の乳腺腫瘤摘出)などの切除した組織特性、組織成分、腫瘍のサイズ、腫瘍の縁、腫瘍の境界、および組織の血管新生などの他の特性を識別可能である。本開示の目的で、「リアルタイム」動作とは、創傷撮像装置またはシステムを利用して同期間に発生するほぼ瞬時のプロセスのことをいう。たとえば、本明細書で説明する装置またはシステムを用いて患者の創傷画像を取得するユーザに、同じ装置のディスプレイまたは撮像装置に通信可能に連結されたディスプレイで分析結果が提供される。創傷の分析結果は、さらに別のステップを行う必要がなく、処理時間を待つ必要がなく、またはほぼリアルタイムで、すなわちユーザの指令で、リアルタイムに出力可能である。さらに、創傷の分析結果は、将来のアクアセスのためにデジタル方式で保存すること、または臨床ドキュメンテーション手続きの一部として印刷することが可能である。本開示の目的で、「画像」という用語は、生の画素データもしくは情報を含む創傷の表示、または本明細書で説明するカメラなどの光センサにおいて受信される入力のことをいう場合がある。さらに、本明細書で説明する分析は、映像フレームを含む、経時的にまたは立て続けに取込まれた一連の画像に対して行うことが可能である。これらのおよびさらに別の操作について、以下で図1〜図13で示される実施形態に関してさらに説明する。
図1は、創傷の撮像および分析のための例示的な方法を示す図である。装置およびシステムを含む図1の方法を行うための構成要素について、図2〜図3を参照してさらに説明する。しかしながら、図1に記載された動作は、任意の装置またはシステムによって行い得るが、本開示を考慮して、調整が必要なことが当業者に明らかである。動作101において、印を付けられた既知の関心領域を有する訓練画像に基づいて、ヒストグラムが生成される。このステップは、臨床創傷画像または臨床組織標本(たとえば、切除した組織または病理組織標本)のデータベースの収集または取得を含む。画像は、創傷のリアルタイム撮像について用いられる同じ装置/システム構成要素を用いて、または少なくとも、励起(または照射)光の種類および周波数、フィルタなどの一般的な撮像条件を用いて取得されていてもよい。さらに、本開示の目的で、創傷画像または映像フレームは、組織表面を取り囲む1つ以上の創傷およびそれらの特性を示す。たとえば、創傷は、切り傷、やけど、すり傷、外科的切開、外科的空洞、潰瘍などの、有機体の表面の傷または損傷を含み得る。創傷は、血液、結合組織、脂肪組織、神経、筋肉、骨などを含む、皮膚の下の領域を露出させる。そのため、分析可能な創傷の例示的な特性には、創傷のサイズ、(外科的空洞の深さおよび/または体積を含む)創傷の深さおよび/または体積、創傷の縁(境界)、異なる種類の細菌および他の有機体の存在および量、結合組織の量、たとえば、内在蛍光(自家蛍光発光)および創傷の成分を検出するように意図された外因性の造影剤からの蛍光によって、白色光を吸収、散乱、反射し、および/または蛍光を放射する態様に基づいて検出される結合組織、たとえば、コラーゲンおよびエラスチン、滲出物、血液、骨などの量が含まれる。分析可能な切除した組織標本の例示的な特性には、腫瘍(FL腫瘍によって感知/可視化可能な腫瘍が、部分的に埋込まれ、表面に露出され、完全に切開されたまたは区分された腫瘍)のサイズ、創傷の腫瘍の縁(境界)、たとえば、内在蛍光(自家蛍光)および腫瘍を含む組織成分を検出するように意図された外因性の造影剤からの蛍光によって白色光を吸収、散乱、反射する、および/または蛍光を放出する態様に基づいて検出される結合組織、コラーゲンおよびエラスチン、浸出物、および血液の量が含まれる。本明細書で開示される方法および装置を使用可能にするように腫瘍に蛍光を発光させるための方法の例が、2018年2月3日に出願され、「Devices, Systems, and Methods for Tumor Visualization and Removal(腫瘍の可視化および切除のための装置、システムおよび方法)」と題された米国仮特許出願第62/625,983号で知られており、その内容全体を引用により本明細書に援用する。
それによって、訓練画像には、医療専門家/臨床医/科学者/技術者などの、これらの特性に関して予備知識を有する専門家によって、特定の関心領域で印が付けられる。関心領域は、創傷の境界/縁などの一般的な領域、特定の種類の細菌もしくは他の有機体の存在、創傷内もしくは創傷の関心領域内の細菌/有機体の量もしくは「負荷」、または関心のある他の創傷特性を含むと分かっている領域などの特定の領域を示し得る。細菌の存在、コロニー、および/またはそれらの負荷の予備知識は、特定の細菌の菌株について肯定的な結果を有するスワブおよび/または組織生検分析に基づき得る。それゆえ、関心領域の各種類の画像は、対象の特性または既知の細菌の種類の存在および量もしくは濃度を含む情報に応じて取得すること、および個別に分類することが可能である。
動作101を続けると、その後、「印を付けられた」画像の画素情報が処理および分析されて、ヒストグラムが生成される。行われている分析の種類(細菌の負荷に対する創傷のサイズまたは他の対象の情報およびその経時的な変化)に応じて、ヒストグラムは白色光および/または蛍光データ、RGB色データ、および他の画素ベースの画像情報/値を含み得る。例示的なヒストグラムについてさらに、図4A〜図4Dおよび図5A〜図5Dを参照して説明する。一般にヒストグラムは、画素の分光的特徴に基づいて、画素データを対象にし、関心領域(複数可)の外側の画素データとは対照的に、画素データが所定の関心領域(複数可)内にあると分類する。さらに、ヒストグラムを強化するように、訓練(印を付けられた)画像は、異なる照明条件で、同じ創傷だが異なる彩度/色相/強度値の複数の画像を含み得る。そのような複数の訓練画像を用いて、訓練画像ごとにヒストグラムの組合せに基づいて第1の合成ヒストグラムを生成可能である。第1の合成ヒストグラムによって、特定の特性について関心領域を非関心領域と区別し、対象の特性に応じて領域を分類することができる。第2の合成ヒストグラムを、複数の第1の合成ヒストグラムに基づいて生成可能である。第2の合成ヒストグラムは、試験画像の複数の異なる対象の特性、または複数の試験画像にまたがる類似の対象の特性を検出するために用いられ得る。
各ヒストグラムは、関心領域の予備知識が入手できない新しい画像のリアルタイム処理で連続して用いられる複数のパラメータを含む。パラメータは、スプレッドシート、ルックアップテーブル、または従来技術で公知の他の構造として格納されてもよい。本明細書でさらに説明するように、最終的に、リアルタイム処理動作には、強調表示された関心領域、ならびにとりわけ、細菌の負荷または創傷のサイズなどの定量化された生物学的および/または非生物学的データを含む処理画像の出力が含まれる。
一般に訓練動作101に続く任意の時点の動作102において、試験画像がリアルタイム分析のためにスキャンされる。試験画像は、本明細書で説明する分析モジュールに連結された撮像ハードウェアを用いてリアルタイムに取得可能である。代替的にまたはさらに、試験画像は、当該撮像ハードウェアから取得され、開示される動作を行うコンピュータに送信されてもよい。代替的にまたはさらに、試験画像は、データベースまたはネットワークなどの外部ソースから取得されてもよい。一般に、試験画像は、まずRGBカメラまたはセンサを用いて取得されて、RGBのRAW画像が生じる。さまざまなフォーマットで画像を取得するための他のシステムも可能である。たとえば、短波長光(たとえば、紫外線波長または可視短波長)によって励起されると、または単一光によって照射されると、組織(たとえば、コラーゲンおよびエラスチン、代謝補酵素、タンパク質などの結合組織)の最も内在的な生物学的成分が、たとえば紫外線波長、可視波長、近赤外線波長、および赤外線波長範囲において、さらに長い波長の蛍光を生じる。組織自家蛍光撮像によって、正常組織と病変組織との間の、本明細書において生物学的に関連する情報および変化をリアルタイムにかつ経時的に取得する特有の手段が提供される。生物学的に関連する情報には、たとえば、細菌の存在、細菌の存在の変化、組織組成の変化、および正常組織状態と病変組織状態との区別を可能にし得る他の要素が含まれる。これは部分的に、バルク組織および細胞レベルで発生する内生的に異なる軽い組織の相互作用(たとえば、光の吸収および散乱)、組織形態の変化、および組織の血中濃度の変化に基づく。組織では、血液が主な光吸収組織成分(すなわち、発光団)である。この種類の技術は、空洞器官(たとえば、消化管、口腔、肺、膀胱)または露出組織表面(たとえば、皮膚)における疾患の撮像に適している。そのため、自家蛍光撮像装置は、創傷の豊富な生物学的情報を検出し利用して現在の限界を乗り越え臨床ケアおよび管理を改善するための、迅速な創傷の非侵襲性および非接触リアルタイム撮像に便利な場合がある。例示的な撮像装置およびシステムについて、図2および図3を参照してさらに説明する。特に外科的空洞、空洞器官、および切除した組織標本と使用可能な例示的な装置が、2018年2月3日に出願され「Devices, Systems, and Methods for Tumor Visualization and Removal(腫瘍可視化および除去のための装置、システム、および方法)」と題された米国仮特許出願第62/625,983号において開示されており、その内容全体を引用により本明細書に援用する。
動作103において、彩度マスキングが動作102で取得された画像に対して行われる。彩度マスキングによって、領域の分光的特徴に基づいて、関心領域として定義された領域内または関心領域外に画像の各画素があるかどうかを識別可能である。分光的特徴は、訓練動作101の間に生成された合成ヒストグラムからの訓練画像画素の代替的な色空間値に基づいてもよい。それゆえ、彩度マスキングは、画素単位で行うことが可能であり、近辺の他の画素も関心領域内にある場合は画素が関心領域である確率が高くなるという一般仮定に依拠する。彩度マスキング動作の出力は、「ブロブ」または画素の比較的均質な領域を識別する二値マスクである。ブロブのなかには対象のものもあるが、そうでないものもある。そのため、彩度マスキング動作103の一部として、散在する異常画素をフィルタリングすること(エロージョン:erosion)および画素のクラスタへと偏らせること(ダイレーション:dilation)など、さらに別のフィルタリング動作が行われる。彩度マスキング動作について、図6を参照してさらに詳細に説明する。
動作104において、動作103で生成されたマスクに対して輪郭検出が行われる。輪郭検出は、マスクにおいて検出されたブロブの各々を囲む包絡線を探すために適用される。これにより、関心領域の次の列挙、および、この列挙に基づく関心領域の分類が可能になる。輪郭検出には、特定の領域閾値を下回るブロブの廃棄、またはサイズについて上位2〜3つの選択などのさらに別のフィルタリングも適用される。輪郭検出のための1つの例示的な方法について、図7を参照してさらに詳細に説明する。輪郭検出のための他の例示的な方法について、図12A〜図12Cを参照してさらに詳細に説明する。
動作105において、動作104で検出された輪郭に対して修復および分析が行われる。修復および分析はさらに、不自然な関心領域の輪郭または包絡線の部分などの特定の問題を識別できるように、訓練動作101中に収集された画素データのデータベースに基づいてもよい。これは、創傷、細菌の存在などの特定の生物学的な特徴が人工的な縁を有さず、凹形状ではなく凸形状であるいう一般仮定に基づき得る。そのため、修復および分析によって、彩度マスクの性能および輪郭検出の特徴が評価され、それに不足があれば修正される。この方法は、創傷の原画像にオーバーレイされた輪郭および他の生物学的情報を含み得る1つ以上の画像の出力で終わる。たとえば、1枚の出力画像が、複数の色分けされたオーバレイを含み得る。経時的に撮られた複数の画像をオーバーレイして、同じ場所に配置された特徴を探すために、画像を整列させ、距離を識別し、かつ、画像を新しい方向に向けるために、位置合わせアルゴリズムおよびマーカーまたはステッカーが用いられる。
一般に、上述の動作シーケンスは本明細書で説明するハードウェアを用いて出願人によって行われた特定の実験に基づくが、特に異なるハードウェアが用いられる場合、これらの動作の他のシーケンスが、本開示に鑑みて当業者によって考えられ得る。異なるハードウェアの使用は、装置に向けられた光の波長を遮断または除去するために使用される励起光またはフィルタの波長の変更といった、簡単な変更を含み得る。そのような変更には、当業者によって理解され予想されるように、訓練処理における類似の変更が必要であろう。
図2A〜図2Cは、創傷撮像および分析のための例示的な装置の異なる視点を示す図である。図2Aを参照すると、創傷撮像および分析のための例示的な装置についての模式図が示されている。この装置は、患者の創傷などの、対象物体10または対象面を撮像するために位置決めされて示されている。図示された例では、装置は、デジタルカメラ、ビデオレコーダ、カムコーダ、デジタルカメラが内蔵された携帯電話、デジタルカメラを有する「スマート」フォン、携帯情報端末(PDA)、デジタルカメラを有するラップトップ/PC、またはウェブカメラなどの、デジタル画像取得デバイス1を有する。デジタル画像取得デバイス1は、対象物体10に向くように並べることが可能なレンズ2を有し、物体10または表面から発する光信号を検出可能である。この装置は、1つ以上の光学フィルタ4を収容し得る光学フィルタホルダ3を有する。各々の光学フィルタ4は、異なる個別のスペクトル帯域幅を有してもよく、バンドパスまたはロングパスフィルタでもよい。これらの光学フィルタ4は、光の波長に基づいて特定の光信号を選択的に検出するようにデジタルカメラレンズから選択して移動させてもよい。デジタル撮像検出装置は、たとえば少なくともISO800感度、さらに好ましくはISO3200感度を有するデジタルカメラでもよく、1つ以上の光放射フィルタ、または他の同様に効果的な(たとえば、小型化された)機械化分光フィルタリング機構(たとえば、音響光学可変フィルタまたは液晶可変フィルタ)と組合わされてもよい。
この装置は、励起光もしくは照明、たとえば、400〜450nmの波長ピークを有する単色光もしくは白色光、または1つもしくは複数の波長(たとえば、紫外線領域/可視領域/近赤外領域/赤外領域の波長)の他の組合せを生成して、光信号(たとえば蛍光)を引き出すために物体10を照射する光源5を含み得る。たとえば、励起光光源/照明光源は、約405nm(たとえば、+/−5nm)で発光する青色または紫色LEDアレイでもよく、約405nmに集められたさらに別のバンドパスフィルタと結合されて、それ自体の光学フィルタを有する撮像検出器に光を漏らさないようにLEDアレイ出力から光のサイドスペクトルバンドを除去/最小化し得る。光源5はさらに、レーザーダイオードおよび/またはさまざまな幾何学形状で配置されたフィルタ照明を含み得る。この装置は、熱を放散し照明光源5を冷却する方法または装置6(たとえば、ヒートシンクまたは冷却ファン)を含み得る。この装置は、撮像されている物体10を照射するために使用される光源5からの光の望ましくない波長を取り除くシステムまたはデバイス7(たとえば、光バンドパスフィルタ)を含み得る。
この装置は、撮像装置と物体10との間の距離の計測および判断を行うレンジファインダまたは他の手段(たとえば、平行光線を発するコンパクトな小型のレーザーダイオードの使用)などのシステムまたはデバイス8を含み得る。たとえば、この装置は、装置と物体10との間に一定距離を維持するための三角測量装置の一部として、2つのレーザーダイオードなど、2つの光源を使用可能である。他の光源も可能である。この装置はまた、超音波計測器、または定規などの物理的な計測器を用いて、維持すべき一定距離を判断し得る。この装置は、励起光源5、8を位置決めして異なる距離について物体10に当たる光の照射角度を変更するように、励起光源5、8の操作および方向づけを可能にする構造9(たとえば、ピボット)も含み得る。
対象物体10には、一度にまたは経時的に撮られるべき物体の複数の画像がその後分析のために位置合わせされるように、印11が付けられてもよい。位置合わせは時空間的位置合わせでもよい、すなわち、画像は、特定の特性の変化または成長を追跡できるように、経時的に互いに関係付けられてもよく、かつ、印のサイズと関連付けられていてもよい。印11はたとえば、光源5によって照射され物体10の画像内で検出可能になると複数の別個の光信号を生成可能な異なる色の外因性の蛍光染料の使用を含み得る。このため、異なる色およびそれらの間の距離を位置合わせすることによって、同じ関心領域の(たとえば、経時的に撮られた)複数の画像の方向づけが可能になる。装置自体はさらに、撮像パラメータの制御、画像の可視化、画像データおよびユーザ情報の格納、画像および/もしくは関連データの転送、ならびに/または適切な画像の分析(たとえば、検出およびまたは診断アルゴリズム)を含む、ユーザに装置を制御させるようなソフトウェアをさらに含んでもよい。
デジタル画像取得デバイス1はさらに、ヘッドマウントディスプレー用のインターフェース12、外付けプリンタ用のインターフェース13、タブレットコンピュータ、ラップトップコンピュータ、デスクトップコンピュータまたは他のコンピュータデバイス用のインターフェース14、デバイスの、離れた場所または別のデバイスへの撮像データの有線または無線転送を可能にするためのインターフェース15、全地球測位システム(GPS)デバイス用のインターフェース16、予備のメモリの使用を可能にするデバイス用のインターフェース17、およびマイクロホン用のインターフェース18のうち1つ以上を含み得る。装置は、AC/DC電源、コンパクトな蓄電池群、または再充電可能なバッテリーパックなどの電源19を含み得る。代替的に、デバイスは、外部電源に接続するために適合可能である。デバイスは、すべての構成要素を1つのエンティティに収容する筐体20を有し得る。筐体20には、その内部に任意のデジタル撮像装置を固定する手段が備えられてもよい。筐体20は、ハンドヘルドに、コンパクトに、および/または持ち運び可能に設計されてもよい。筐体20は、1つ以上のエンクロージャでもよい。
図2Bを参照すると、例示的な創傷撮像および分析装置200の異なる図が示されている。装置200はたとえば、MolecuLight(登録商標)によって開発されたMolecuLight i:X(登録商標)装置でもよい。装置200によって、臨床医は、リアルタイムにだが診療現場に限定されることなく、皮膚および創傷における細菌の存在および分布を迅速に、安全に、および容易に可視化できる。装置200は非接触型であり、白色光および/または蛍光撮像について撮像造影剤を必要としない。装置200は、高解像度のカラーLCDディスプレイと、一体化された光学およびマイクロ電子部品ならびに内部バッテリ電源を有するタッチ式スクリーン208とから構成されるハンドヘルド携帯医療装置として描かれている。装置200はさらに、デバイスをオンおよびオフするための電源ボタン201と、ディスプレイスクリーン208をオンおよびオフするためのディスプレイスクリーン電源ボタン202と、全体的な装置の性能を示すシステム状態LED203と、装置充電を示すバッテリ状態LED204と、対象にされているまたは撮像されている創傷からの最適距離を示すレンジファインダLEDシステム205と、蛍光モード撮像に最適な照明環境を示すための周囲光状態LED206と、装置200が長期間使用された後に温かくなると熱を放散するためのヒートシンク207と、装置200の画像および映像取込み機能へのアクセスを提供するためのホームボタン209と、充電およびデータ転送のためのポート210とを含む。ポート210は、USB、またはMolecuLight i:X(登録商標)接続ケーブルなどの汎用または専用ケーブルと共に使用可能である。
装置200はさらに、標準撮像モードと蛍光撮像モードとの間の切り替えを可能にするロッカースイッチ211を含む。たとえば、装置200は、標準撮像モードと蛍光撮像モードとの両方を用いて、(たとえば、JPGフォーマットの)リアルタイム画像、および(たとえば、MOVフォーマットの)映像を取込む。標準撮像モードは一般に、標準撮影のために、すなわち、標準白色光で照射された対象のRGB画像および映像を取込むために使用される。蛍光撮像モードは、既知のピーク波長を有する光で照射され光によって励起されている特定の対象から蛍光を生成するように意図された対象のRGB画像および映像を取込むために使用される。その結果、装置200はさらに、蛍光撮像モードの場合に対象を照射するための特定の波長または波長範囲を有するLED212と、画像および映像の取込みを可能にするカメラレンズ213と、創傷または周囲の皮膚からの最適距離を検出するためのレンジファインダセンサ214と、蛍光撮像モードに最適な照明条件を検出するための周囲光センサ215とを含む。さらに、装置200はユーザが装置を安全に把持できるような保持輪郭217と、標準または専用電源アダプタを用いて装置の充電を可能にする充電ポート218とを含む。
図2Cを参照すると、装置200は、患者の足200の創傷を撮像するために使用されていると図示されている。装置200上の特定の波長または波長範囲の2つの高効率LEDは、細菌および組織の高解像度、リアルタイム蛍光撮像のために創傷および周囲の健全な皮膚を照射し、ディスプレイ208に結果として生じる画像を描く。撮像は、細菌および組織が特定の波長の光照射の下で異なるレベルの赤および緑(すなわち、固有)蛍光発光波長を生成するという事実に依拠する。主に結合組織および脂肪組織から構成される健全な皮膚と異なり、細菌は、励起されて光照射の下で蛍光を発するポルフィリンと呼ばれる内因性分子によって主に生じる特異な色、たとえば赤または緑を生成する。装置200は、細菌と組織との両方から放出される蛍光を取込み、高解像度カラーLCDディスプレイ208上に合成画像を生成する。装置200のユーザは、容易におよび即座に、たとえばオーバレイ221によって描かれるような創傷の内部および周囲の細菌の存在および場所の可視化、ならびにデータのドキュメンテーションを行うことができる。
装置は、典型的な創傷ケア施設において使用され、患者のリアルタイム撮像を可能にする日々の創傷ケア診療に組込まれてもよい。装置は、白色光照射の下で撮像するために、および/または、薄暗い室内用照明の下で創傷の蛍光画像を撮るために使用されてもよい。装置は、遠隔治療/遠隔医療インフラストラクチャにおいて使用されてもよく、たとえば、患者の創傷の蛍光画像は、無線/WiFi(登録商標)インターネット接続を用いて他の病院におけるスマートフォンといった、無線通信デバイスを介して、eメールで創傷ケアの専門家に送信可能である。このデバイスを用いて、高解像度白色光および/または蛍光画像が、特殊臨床創傷ケアおよび管理センターにおける臨床専門医、微生物学者などに即座に相談するために、離れた創傷ケア現場から創傷ケア専門医へeメール添付として送られてもよい。例示的な創傷撮像装置、それらの特徴、構造、および使用については、2015年5月26日に発行され「Device and Method for Wound Imaging and Monitoring(創傷の撮像およびモニタリングのためのデバイスおよび方法)」と題された米国特許出願第9,042,967号にさらに詳細に説明されており、その内容全体を引用により本明細書に援用する。
図3は、創傷の撮像および分析のための例示的なシステムを示す図である。このシステムは、コンピュータ303と通信するプロセッサ301によって実行される複数の処理モジュールまたは論理命令を格納するメモリ300を備える。コンピュータ303は、ネットワークまたは直接通信リンクを介して、メモリ300と通信可能である。たとえば、メモリ300およびプロセッサ301は、画像取得システム1と共に、図2A〜図2Cに示すような創傷撮像装置の一部でもよい。他の実施形態では、メモリ300およびプロセッサ301は、コンピュータ303に直接連結される。一般に、プロセッサ301およびメモリ300に加えて、コンピュータ303は、キーボード、マウス、スタイラス、およびディスプレイ/タッチスクリーンなどのユーザ入出力デバイスを含み得る。以下で説明するように、プロセッサ301は、メモリ300に格納された論理命令を実行して、画像分析動作を行い、その結果、ユーザが動作しているコンピュータ303に対して定量的/図による結果が出力される。
画像取得1は、カメラまたは光センサ、光源または励起源、および適切な光学フィルタまたはフィルタ機構を含む、図2A〜図2Cを参照して説明された画像構成要素のうちいずれかを含む。他の励起波長および放射波長は、異なるデバイス、および検出された異なる画素署名と使用可能である。一般に、画像取得1は、たとえば、図2A〜図2Cの装置を用いることによってリアルタイムに創傷の画像または画像データを提供して、患者の創傷の画像または(複数の画像フレームを含む)映像を取得する。画像および関連データは、モジュール310〜350によって受信され、データベース350に格納されてもよい。
データベース305はさらに、医療専門家/臨床医/科学者/技術者などの、これらの関心領域に関する予備知識を有する専門家によって特定の関心領域で印を付けられた画像からの訓練画像データを含む。訓練画像データは、既知の細菌の存在、既知の創傷サイズの画像、既知のコラーゲン値の画像などを含む、対象の特性に応じて分類可能である。訓練画像データは、蛍光データ、RGB色データ、ならびに既知の創傷の境界および細菌の存在を有する訓練画像の他の画素値を示すヒストグラムを含み得る。例示的なヒストグラムについてさらに、図4A〜図4Dおよび図5A〜図5Dを参照して説明する。
彩度マスキングモジュール310は、画像取得1から取得された画像に対して行われる。彩度マスキングによって、画像内の各画素が関心領域と定義された色空間領域内にあるか、または関心領域外にあるかを識別可能である。そのような判断では、訓練動作中に生成された合成ヒストグラムからの画素値、すなわち、データベース305に格納された画像データが使用される。彩度マスキング動作の出力は、「ブロブ」または画素の比較的同質の領域を識別する二値マスクである。彩度マスキング動作について、図6を参照してさらに詳細に説明する。
特徴輪郭検出モジュール320は、彩度マスキングモジュール310によって生成されたマスクに対して行われる。輪郭検出は、マスク内で検出されたブロブの各々を囲む包絡線を探すために適用される。これによって、関心領域の次の列挙、および当該列挙に基づく関心領域の分類が可能になる。また、輪郭検出では、サイズに関して特定の面積閾値を下回るブロブを破棄する、または上位2〜3個を選ぶなどといった、さらに別のフィルタリングも施される。輪郭検出について、図7および図12A〜図12Cを参照してさらに詳細に説明する。
画像修復および分析モジュール330は、輪郭に対して行われ、画像データ305に基づいていてもよい。画像データ305は、輪郭の不自然な部分の識別、および以前のモジュールの不足の修正などの、訓練中に発生した特定の問題を含み得る。修復および分析動作についてさらに、図8を参照して説明する。
色分析およびオーバーレイモジュール340は、ユーザ定義の閾値に基づく色の強度と共に、創傷または細菌の存在の原画像にオーバーレイされた生物学的情報の合成画像を生成する。たとえば、1枚の出力画像は、複数の色修正されたオーバーレイを含み得る。いくつかの実施形態では、赤色蛍光の強度(または1つ以上の特定の波長ピークを有する蛍光、すなわち分光的特徴)が定量化され、所与の創傷領域内の細菌の存在を示すために使用可能である。いくつかの実施形態では、これは、特定の波長の強度が閾値に合うかどうかを判断することを含み、それによって、細菌の存在の判断がトリガされる。同様に、異なる強度が異なるレベルの細菌の存在と関連付けられてもよく、これによって、より高い閾値を用いて重篤な感染症の判断がトリガされてもよい。色分析についてさらに、図10を参照して説明する。
さらに別の分析モジュール350は、創傷領域の割合を求めて正規化すること、創傷の進行を追跡すること、経時的に撮られた複数の画像を比較すること、マーカーおよび/またはステッカーを位置合わせして同じ場所に配置された特徴を探し画像を再び方向づけることなどの動作を含む。いくつかの実施形態では、励起/放射マップは、緑膿菌などの特定の細菌または他の対象特性について、データベース305に格納され得る。このマップではたとえば、対象特性によって蛍光を引き出す励起波長範囲、および対象特性の検出のために使用される放射波長の範囲を定義可能である。対象特性の情報は、画像取得1に連結されたデバイスのコンピュータ303のユーザによって、または画像取得1によって提供された画像データの一部として入力されてもよい。それゆえ、さらに別の分析には、データベース305からの正しいフィルタおよび画素情報、すなわちヒストグラムを検索すること、または対象特性を撮像するために理想的な特定の構成でデバイスを組立てるよう撮像装置のオペレータに指示することを含み得る。そのような励起および放射情報は、以下の表1に示すように、多数の種類の対象特性に使用可能である。
Figure 2021511901
対象特性はさらに、創傷の照射部分および創傷の周囲の領域に存在する細菌、真菌類、酵母菌、および他の微生物のうち少なくとも1つの存在、創傷の照射部分および創傷の周囲の領域に存在する場合、細菌、真菌類、酵母菌、および他の微生物のうち少なくとも1つの位置、個体数、量、分布、定着、混入、臨界的定着、侵入、および程度のうち少なくとも1つ、ならびに、創傷の照射部分および創傷の周囲の領域に存在する創傷の感染および/または治癒を示すコラーゲン、エラスチン、結合組織、血液、骨、浸出物、間質組織、肉芽組織、および他の組織、細胞、分子、および体液のうち少なくとも1つの存在、位置、分布、および程度のうち少なくとも1つを含み得る。いくつかの実施形態では、緑膿菌に加えて、細菌の存在は、黄色ブドウ球菌、大腸菌、エンテロコッカス属菌(すなわち、エンテロコッカス属内の種)、プロテウス属菌、肺炎桿菌、コアグラーゼ陰性ブドウ球菌、β溶血性連鎖球菌(B群)、およびエンテロバクター属菌について検出される。これらの細菌はすべて、405nmの波長ピークを有する光の下で励起されると600〜660nmの蛍光を発して、さらに別の撮像ハードウェアまたは分光フィルタリングを必要としない。識別される他の特性には、がん組織(たとえば、乳がん手術の場合の乳腺腫瘤摘出)などの切除した組織の特性が含まれる。切除した組織を用いる際に、装置および方法は、たとえば、組織成分、腫瘍のサイズ、腫瘍の縁、腫瘍の境界、および組織の血管新生などの特性を識別するために用いることができる。
いくつかの実施形態では、かなり多くの画素数は、特定の色または色の組合せの彩度を示し得る。これによって、RGBから代替的な色空間への変換でエラーが生じる場合がある。たとえば、緑のチャネルの彩度が高い場合、すなわち、放射によって値が最大値255よりも大きくなると、色相は、他の態様では低彩度色についての色相値の狭帯域であるものから変換する間に、不自然にシフトする。その結果、さらに別の撮像ステップで、彩度値が低い画素を廃棄する場合がある。いくつかの実施形態では、これは、異なる光強度で連続画像を迅速に取得すること、および対象特性または関心のある色の検出を改善するために最小限の彩度の画像を選択することによって、解決可能である。他の実施形態では、飽和によって消失した情報はそれでもなお、特定の種類の関心領域について特別な特徴を判断する際に便利な場合がある。すなわち、特定の種類の創傷または細菌について飽和が発生していることを記録して、この特定の種類の創傷または細菌を対象にした次の判定において使用する場合がある。
上述のように、モジュールは、プロセッサ301によって実行される論理を含む。本明細書および本開示にわたって使用されるような「論理」は、プロセッサの動作に作用するように適用可能な命令信号および/またはデータの形態を有する情報のことをいう。ソフトウェアは、そのような論理の一例である。プロセッサの例としては、コンピュータプロセッサ(処理ユニット)、マイクロプロセッサ、デジタル信号プロセッサ、コントローラおよびマイクロコントローラなどが挙げられる。論理は、例示的な実施形態では、ランダムアクセスメモリ(RAM)、読取り専用メモリ(ROM)、消去可能/電気的に消去可能なプログラム可能な読取り専用メモリ(EPROM/EEPROM)、フラッシュメモリなどでもよいメモリ300などのコンピュータ可読媒体に格納された信号で形成可能である。論理はまた、デジタルおよび/またはアナログハードウェア回路、たとえば、論理AND、OR、XOR、NAND、NOR、および他の論理演算を含むハードウェア回路を含み得る。論理は、ソフトウェアとハードウェアとの組合せで構成可能である。ネットワーク上で、論理は、サーバまたはサーバの複合体上でプログラム可能である。特定の論理ユニットは、ネットワーク上の1つの論理位置に限定されない。さらに、モジュールを、特定の順序で実行する必要はない。実行が必要な場合、各モジュールは他のモジュールを呼出し得る。
図4A〜図4Dは、訓練画像についての例示的なヒストグラムを示す図である。本明細書で説明するように、ヒストグラムは、標準的な創傷の形状について、例示的な色相彩度およびカラープロファイルを識別するために用いられる。たとえば、既知の創傷および細菌の負荷からの蛍光放射および/または白色光の反射の画像は、既知の情報、RGB(赤、緑、青)からHSV(色相、彩度、明度)へ変換された当該画像の画素値、または上述のような他の代替的な色空間で印が付けられてもよく、関心領域内外の画素の2次元ヒストグラムを生成可能である。さらに、細菌に対する創傷のサイズについてのヒストグラムの異なるセットを、別々にまたは並行して生成可能である。図4Aは、1つの訓練画像の関心領域内の画素についてのヒストグラムを示す図であり、図4Bは、関心領域外の画素についてのヒストグラムを示す図である。図示されたヒストグラムは、x軸上に0〜255の彩度値およびy軸上に0〜179の色相値でプロットされている。これらの範囲は例示に過ぎず、撮像器具の感度および/または分析されている画像の種類に応じて変わり得る。
さらに、図4Aおよび図4Bのヒストグラムは、カラースケールによって示される各色相および彩度「区間(bin)」の個体密度を有する、上から見下ろした図で示されている。区間は、彩度値および色相値の固有の組合せにすぎない。オレンジおよび黄色で描かれる区間は、多くの画素個体数を含む。同じ個体密度スケールを用いてROI内およびROI外の画素のヒストグラムをプロットするために、ROIヒストグラム内からの各区間周波数に、ROIヒストグラム外からの最大区間周波数値が乗算される。このプロセスは、データ正規化と呼ばれる。図4Cおよび図4Dは、異なる視点から同じヒストグラム(それぞれ、AOI内およびAOI外)を示す図である。これらのヒストグラムから、関心領域外の画素に対して、関心領域内の画素が密にグループ化された範囲の色相値および彩度値を有することが明らかである。
本明細書でさらに説明するように、識別された関心領域を有する画像の好適なサンプルが処理された後で、合成ヒストグラムを生成可能である。図5A〜図5Dは、図4A〜図4Dのヒストグラムに対応する複数の訓練画像について例示的な合成ヒストグラムを示す図である。この合成ヒストグラムは、本明細書で説明するような好適な第1のパス彩度マスクを生成するために使用される。さらに、上記で識別された画像彩度などの境界外の挙動は、ヒストグラムによって可視化可能であり、リアルタイム画像分析手順を、これらの影響を最小限にするために開発可能である。
図6は、彩度マスキングのための例示的な方法を示す図である。この方法は、図2および図3に記載された構成要素によって、または任意の好適な手段によって行ってもよい。彩度マスキングは、動作601において、ローパス空間フィルタを用いて望ましくないデータを除去することから始まり、これによって、ノイズおよび統計上意味のない異常画素が除去される。動作602において、画像はRGB(赤/緑/青)色空間から代替的な色空間に変換されて、ヒストグラムの次の生成を容易にする。創傷が白色光で励起されていようと、または創傷が特定の波長もしくはそれらの範囲の白色光で励起されていようと、色空間変換ではカメラで検知されたRGB入力画像が用いられる。動作603において、以前の訓練動作からの所定の閾値に基づいて、二値画像マスクが生成される。すなわち、現在の画像の代替的な色空間値に閾値が適用されて、二値マスクが生成される。その後、動作604において、空間フィルタが二値色マスクに適用されて、異常値などの望ましくない画素およびまばらなセグメントを除去する効果を有する。これは、関心のある画素が関心のある他の画素に囲まれる傾向にあるという理論に基づく。しかしながら、エロージョンによって実際に関心領域内にある画素が取り除かれる場合があるため、動作605が行われて、動作604でエロージョンの悪影響のうち一部を打消し、かつ、エロージョンの後に残った小さなクラスターを再結合する効果を有するダイレーション空間フィルタを適用する。
図7は、図6の彩度マスキング動作に続いて行われる輪郭検出のための例示的な方法を示す図である。この方法は、図2および図3で説明された構成要素によって、または任意の好適な手段によって行うことができる。この方法は、ローパスフィルタを用いる動作701で始まり、その処理段階では、マスク内の細部の一部が取り除かれて、ぼけを誘発する。ぼけは後の動作702、すなわちハイパス縁検出フィルタ(Cannyフィルタ)と組合わされて、彩度マスキング動作で識別された領域の縁が探される。その後、動作703において、連続して閉じた縁が輪郭検出を用いて検出される。連続して閉じた縁は、関心領域内外の画素間の境界を画定する。これにより、さまざまなサイズの多数の閉輪郭が生じる。その後、輪郭はステップ704で分析されて、最も大きな面積を取囲む輪郭、すなわち、より重要な情報を保持すると思われる輪郭が探される。たとえば、閉輪郭は、本明細書で説明するように面積順で配置されてもよく、最も大きな2〜3の面積を取り囲む輪郭が関心領域を画定するとして選択可能である。この方法によって、最も重要な関心領域のうち1つ以上が出力される。
または、輪郭が凸形状になるまで輪郭のエロージョンを行うことになって、有益な情報を喪失する場合がある。たとえば、エロージョンが発生すると、創傷の境界が浸食されることがあり、凹状の輪郭になる。創傷の実際の形状は多くの凹状領域を有してきわめて不規則になり得るため、画像修復動作によって、不自然と考えられる特定の極端な凹状特徴が識別される。これはさらに、細菌の存在に適用されてもよい。エロージョンは細菌を有する領域の一部である画素を破棄可能であるため、異常な輪郭になる。さらに、輪郭検出のための他の例示的な方法について、図12A〜図12Cを参照してさらに詳細に説明する。
図8は、画像修復および分析のための例示的な方法を示す図である。この方法は、図2および図3で説明された構成要素によって、または任意の好適な手段によって行うことが可能である。方法は動作801で始まり、凹状輪郭が検出され、創傷の凸包が求められる。輪郭は分析されて、(関心領域を取囲む)閉輪郭の形状が実際は比較的凸状であることが保証される。輪郭が凹状である特徴を示す場合、これは、輪郭検出の一部に誤りがあったかもしれないということを表す場合がある。この概念は、検出されている生物学的特徴の多くが典型的に凸形状であるという理論に基づく。この情報を、訓練情報に基づいてシステムにプログラム可能である。その結果、802において、誤りのある凹状の特徴を凸包により近づけることによって形状を修正可能であり、図9Bに示すような創傷の境界についてより全体的な凸形状を提供可能である。最後に、803、804、および805において、最終的な分析によって、元データ上に図表によるオーバーレイが提供されて関心領域が強調表示され、細菌の負荷または創傷のサイズなどの関心のあるメトリックの最終的な定量化が行われ、オーバーレイを有する合成画像が出力される。
図9A〜図9Bは、創傷撮像および分析動作の例示的な出力画像を示す図である。これらの図は、検出され白色の境界で印を付けられた創傷の境界と、創傷の周囲のシアン色のオーバーレイで示される創傷の凸包とを示す。各画像の上部に示された創傷面積の算出は、創傷内の画素数のカウントである。対象のマーカー(既知のサイズ、形状、色および/もしくはパターンのステッカー、または既知の画像、記号、またはその上のモチーフ)が患者に取付けられて、既知の対象の画素数と検出された創傷の画素数との単比を用いて、実際の創傷面積を算出することが可能になる。図9Aは、元の創傷の境界の計測から生じる白い外形を示す図である。図8に示すように、シアン色のオーバーレイは創傷の周囲の凸包を表し、これは中間の計算値として使用される。その後画像は、白い輪郭のベクトル点と凸包とを比較することによって得られるような重要な凹状特徴を検出することによって修復される。重要な凹状特徴が検出される場合、凸状領域内の創傷の境界のベクトル点は、凸包のベクトル点に置き換えられる。図9Bは、結果として得られる再整形された創傷の境界を示す図である。
本明細書で説明するように、これらの動作は、創傷のサイズ、細菌の負荷、細菌の種類(複数可)および存在、ならびに/または感染といった、多数の対象の特性情報およびその変化を求めるために用いられる。創傷画像は1つの創傷のみを含むことが典型的であるが同じ(または異なる)画像が細菌の存在/成長/程度/コロニーの複数の領域を含み得るという事実にもかかわらず、説明されたモジュールは、創傷のサイズ、深さ、および細菌の検出の両方に適用可能である。たとえば、検出された創傷の境界は、隣接した外周、すなわち、1つの接続線でもよく、シュードモナス細菌は、創傷の境界の内部および周囲のさまざまな島として存在してもよい。それゆえ、エロージョン動作は、創傷の外周および細菌の存在する外周の両方に適用してもよい。たとえば、輪郭を求めると、関心領域の外周に印を付ける動作が複数の関心領域について繰返され、最後に、異なる用途に関して調節可能な最終的なフィルタについて領域のサイズにしたがって分類されてもよい。
さらに別の色および強度判定動作を、創傷画像に対してさらに行ってもよい。たとえば、細菌のなかには、本明細書で説明する装置およびシステムで照射され撮像されると赤色蛍光信号を生じるものがある。取込まれた画像内の蛍光信号(複数可)を分析するために、細菌負荷定量化動作を用いて、細菌の蛍光信号の識別および定量化が可能になる。赤色蛍光について本明細書で説明されたが、説明されたこれらの方法および分析を、蛍光の他の色または空間波長を分析するために使用可能であり、細菌の負荷または所与の蛍光波長と関連付けられた他のパラメータが識別される。
図10は、創傷画像のスペクトル分析のための例示的な方法を示す図である。方法は1001で、創傷サイズ入力の任意の入力と共に蛍光画像を受信することで始まる。創傷サイズ入力は、創傷のサイズの関数として色情報を処理することによって、創傷の進行を判定する際に便利な場合がある。いずれの場合でも、画像は、赤、緑および青色のチャネルが合わされて広い色アレイを生成する加色モデルに基づくRGB(赤、緑、青)色画像であり得る。デジタル画像内の各画素は、個々のRGBカラーチャネルの強度に対応する3つの8ビット値(0〜255)を有し、0は無色を表し、255はRGBトゥルーカラーを表す。赤である画像内の領域を識別し、視覚表示として画像マスクを生成するために、境界は3つのカラーチャネルをすべて組込む必要がある。これは、RGBチャネル上の閾値を定義し、これらの閾値を用いて蛍光の赤とみなされるものとみなされないものとの境界を生成することによって完成する。
動作1002において(事前に設定された)デフォルト値またはユーザによる入力のどちらかを用いて、境界関数についての閾値が定義される。境界関数は、受付けられた赤色を残りの色から分離するRGBカラーキューブに接する境界を示す。この境界は、RGB赤(255、0、0)を中心とするが、RGB赤から境界までの距離は、全ての方向で等しいわけではない。赤色のチャネルにより大きな重点を置くために、青色または緑色のチャネルと比べて赤色のチャネルに沿ってより大きな距離が受付けられる。すなわち、閾値によって、カラーチャネルが結果として生じるマスクにおいて受付けられるように、受付けられた強度が識別される。その結果、赤色蛍光の検出の場合、赤チャネルについて最小閾値が設定され、緑および青カラーチャネルについて最大閾値が設定される。さらに、各カラーチャネルについての別の閾値が、画素が赤色かどうかを判断する際に赤チャネルにより重点を置くために存在する必要がある。さまざまな変数が画像の色(輝度、彩度、色相)に影響を及ぼし得るため、これらの閾値はまた、最適なマスクが画像について生成されるように、ユーザによって調節可能である。結果として生じる境界関数は、最小赤色強度、最大緑色強度および最大青色強度を表す3つの初期条件(ユーザ定義の閾値)によって定義される3次元の二次(3D quadratic)関数である。さらに、色閾値の他の組合せを、特定の色のマスクを生成するために定義可能である。
動作1003〜1007では、個別の画素が選択され、画素が境界条件または動作1002で定義された閾値を満たすかどうかが判断される。分析されていない画素が存在し続ける限り、1004の判断に基づいて、画素は「区画」され続ける、すなわち、含まれ続ける(ステップ1006)、または赤色蛍光信号出力から除外され続ける(ステップ1007)。最終的に、画素がなくなると、任意のRGBヒストグラム、蛍光信号データ、および定義された創傷のサイズと共に、マスクされた画像が出力される。たとえば、各RGBチャネルの強度に基づいて生成されたヒストグラムを用いて、図4および図5に示すような任意の閾値レベルを選択するようにユーザを視覚的に案内することが可能である。すなわち、この動作は反復プロセスでもよく、ユーザに、閾値が満たされるまで出力を見ながらリアルタイムに閾値を調節させる。
さらに、RGBヒストグラムと同様に、個々のRGBカラーチャネルは、さらに別の画像分析について有益な情報を提供可能である。カラーチャネルは、同じ色画像のグレースケース画像によって表現され、RGB色のうち1つのみによって構成される。暗い領域(黒)はチャネル内で強度が低いことを表し、明るい領域(白)はチャネル内で強度が高いこと表す。これらのグレースケース画像は、画像を表示するときに関心のある1つのカラーチャネルのみを出力することによって生成される。
創傷のサイズを明確に画定することによって、図3を参照してさらに説明されたようなさらに別の動作が可能になる。たとえば、これによって、創傷のサイズのパーセンテージとして、赤または他の蛍光信号(複数可)の面積を算出可能である。創傷のサイズは、たとえばユーザがユーザインターフェースを介して創傷の外周を選択することによって、1001において入力として定義可能である。出力は創傷のサイズのパーセンテージとして正規化されてもよく、治癒過程を追跡するために使用可能である。たとえば、細菌の負荷/赤色蛍光の変化をある期間にわたってモニタリング可能であり、創傷の単位面積あたりの画素の変化率のパーセンテージとして求めることが可能である。さらに、細菌の負荷(または赤み)は創傷のサイズを超えていることもあり、これによって、創傷のサイズを固定計測値として用いることが可能になり、赤みの相対量の変化を判断して、細菌の負荷の成長を示すことが可能である。創傷のサイズに加えて、画像サイズのパーセンテージといった他の定量も使用可能である。
さらに、赤色蛍光信号の強度は、細菌の負荷を定量化するために使用可能である。強度はまた、創傷内または手術野内の対象の他の蛍光を発する要素/化合物/成分を定量化するために使用可能である。一連の画像について閾値および撮像条件が同じであるとすると、各画像のヒストグラム値は、経時的に比較可能であり、細菌の負荷に直接関連する赤みの強度の変化を追跡する。そのため、出力1008は、信号の最小強度、最大強度、および平均強度だけでなく、視覚表示についての分布のヒストグラムも含み得る。
本明細書で説明するように、出力は、関心領域を強調表示する、および/または、RAW画像/開始画像にオーバーレイされた印を付けられた画像を介して治療の効果を判断するために使用可能である。図11は、創傷画像の色分析についての例示的なユーザインターフェース(GUI)を示す図である。GUIは、図10で説明する細菌負荷定量化動作の入力および出力を明示する。「原画像」は、ユーザが創傷の外周を画定し負荷定量化動作を行うために使用される。赤色画素のマスクは、「マスクされた画像」にオーバーレイされて表示される。「赤色蛍光信号強度」で表示されるメトリックは、マスクに含まれる画素から算出される。マスクに含まれる画素は、細菌によって覆われる創傷のサイズのパーセンテージを算出するために使用される。さらに、ルックアップテーブル(LUT)が、相対的な蛍光強度を示すように、マスクされた画素に色をオーバーレイするために使用可能である。図11は、画像上のLUTの例示的な適用を示す図であり、LUTで識別される強度は、図11の右側にグレースケールで表示される。
さらに、上述のように、時空間的位置合わせを行って複数の画像を互いに関連付けて、特定の特性の変化または成長の追跡などの、特定の創傷、特性、または患者についてより詳細な分析を提供可能である。たとえば、白色光センサ、蛍光センサ、および熱センサが備えられた装置を用いて、同じ対象の創傷または特性から各種類の同時画像を取得可能である。ある実施形態では、同じ創傷の白色光反射画像、蛍光画像、および熱画像にそれら自体の分析を行うことができ、入力として使用されて、3つの画像すべてとそれらにオーバーレイされた分析とを有する合成画像を生成できる。この組合せまたは超合成出力画像は、特定の創傷のさらに別の分析または診断を判断するために使用可能である。たとえば、広く細菌が存在する、すなわち、細菌の負荷が大きい創傷(またはその領域)、および高温または「ホットスポット」の描写は、標準的な治療法ガイドラインと組合わせて使用される場合も含めて、感染していると判断されることがある。すなわち、同じ創傷の異なる種類の画像からの分析データは、同時に、すなわち1つの分析後の超合成画像において見ることが可能であって、白色光画像、蛍光画像、または熱画像を個別に見ることからは得られない、または即座に明らかにならないであろう創傷についてのさらに別の情報を求めることが可能である。
同じ創傷または患者についてある期間にわたって生成された超合成画像を見ることによって、たとえば、位置合わせマーカー/ステッカーまたは同一場所に配置された特徴を使用することによって、さらに深い分析を行い得る。さらに、たとえば複数のセンサを有する撮像装置を用いて同時に取得され空間的に同じ場所に配置された画像は、経時的な特定の創傷の細菌負荷の変化を追跡するのに便利な場合がある。細菌の全負荷および周囲の表面温度に対する創傷の温度の変化を、同じ創傷について経時的に判断可能である。細菌の負荷の変化と温度の変化との関係の観察は、感染の判断をトリガするために使用可能である。たとえば、温度上昇の前に細菌の負荷が増加すると分かっているので、さまざまな状況で感染の発生またはリスクを予想するために、関係を判断し使用することができる。
これらの動作は赤色蛍光について説明されたが、創傷の治癒、血液、骨などの測定値を提供可能なコラーゲンの増殖などの、他の対象特性を判断するために他の色を用い得る。腫瘍のような病変組織の特性を含む、コラーゲン、エラスチンおよび他の蛍光化合物の濃度などの対象特性を判断することも可能である。
他の実施形態では、スペクトル分析の結果を用いて、たとえば、図11の緑色の組織内の茶色または黒色の組織の斑点を参照して、目に見えない組織から生活組織を区別することができる。本明細書で説明する多数の動作は、異なる態様で組合わされて、たとえば、創傷サイズの判断および出力を行い、次に、創傷サイズの境界内の細菌の存在または他の特性の判断または定量化を行い得る。
さらに、これらの動作は、2つの同時に取得され長手方向に変位された2次元画像を含む3次元立体画像に適用可能である。これは、これら2つの立体画像の各々に対応する2つのヒストグラムを生成し、連続して取得された2つの立体画像の各々に対して行われた上述の分析を行うことによって、可能になる。いくつかの実施形態では、2次元画像についてのヒストグラムを、出力に実質的に影響を及ぼすことなく、立体(すなわち3次元)画像の対を処理するために使用可能である。
例示的な実施形態では、おおよその創傷の境界に対応するユーザ入力を受信し、それに基づいて動作を行って境界を識別しその測定値を得ることによって、(たとえば図7、図8、および図9A〜図9Bに示すような)創傷の境界の検出および測定が容易になり得る。創傷の境界の識別および測定を行うためのそのような例示的な実施形態を、図7に示す輪郭検出に代えてまたはこれに加えて行ってもよく、これらの例示的な実施形態について、図12〜図13を参照して以下で説明する。一般に、ユーザが入力デバイスを介して創傷の画像にわたる創傷のおおよその境界を画定できるようなユーザインターフェースが設けられる。境界は、任意の形状を含んでもよく、画像で示される創傷の形状に正確に対応していなくてもよい。ユーザは任意に、上述のように関心領域をさらに示し得る。撮像装置によって、またはユーザインターフェースが提供されるコンピュータによってその後実行される動作には、後景としておおよそのユーザ定義の境界外の画素のラベリングを行うこと、および前景として境界内の画素のラベリングを行うことが含まれる。他の画素は、後景または前景としてラベリングされてもよい。たとえば、ユーザ定義の境界外の画素には明白な後景(BG)をラベリングすることができ、ユーザ定義の境界内の画素は、可能な後景(PBG)、可能な前景(PFG)、および明白な前景(FG)を含む3つのカテゴリーに分類可能である。境界は、反復最小化による画像セグメンテーション、境界マッティング、前景推定、およびグラブカット(GrabCut)法(https://cvg.ethz.ch/teaching/cvl/2012/grabcut-siggraph04.pdf)で行われる動作を含む他の動作を含む処理技術の組合せを用いて識別される。
図12A〜図12Cは、ユーザ定義の境界ならびにそれに基づいて求められる前景領域および後景領域を有する創傷の例示的な画像を示す図である。たとえば、図12Aは、創傷1220の例示的な画像1200を示す図である。画像1200は、本明細書で説明するような創傷のリアルタイム撮像に使用される同じデバイス/システム構成要素を用いて、または少なくとも励起(または照射)光の種類および周波数、フィルタなどの通常の撮像条件を用いて取得されていてもよい。画像1200は、本明細書で説明する分析モジュールに連結された撮像ハードウェアを用いてリアルタイムに取得されてもよい。代替的にまたはさらに、画像1200は、撮像ハードウェアから取得され、開示された動作を行うコンピュータに送信されてもよい、またはデータベースもしくはネットークなどの外部源から取得されてもよい。一般に、画像1200は、まずRGBカメラまたはセンサを用いて取得されて、RGBのRAW画像が生成される。さまざまなフォーマットで画像を取得するための他のシステムが可能である。さらに、画像1200は、組織表面を取り囲む1つ以上の創傷1220およびそれらの特性を示す。たとえば、創傷1220は、切り傷、やけど、すり傷、外科的切開、潰瘍などの有機体の表面の外傷または損傷を含み得る。創傷は、血液、結合組織、筋肉、骨などを含む皮膚の下の領域を露出させ得る。例示的な実施形態では、創傷1220は外科的空洞を含み得る。
図12Bは、タッチベース入力を受信するためのユーザインターフェースが設けられるデバイスのユーザによって提供されるユーザ定義の境界1222を示す図である。たとえば、ユーザ定義の境界1222は、蛍光データ、RGBカラーデータ、ならびに他の画素値および細菌の存在などの創傷1220の他の特性と共に、訓練画像データの一部として含まれるように提供され得る。代替的にまたはさらに、ユーザ定義の境界1222は、患者の創傷のリアルタイム撮像中に提供されていてもよく、上述のMolecuLight(登録商標)によって開発されたMolecuLight i:X(登録商標)装置などの創傷撮像および解析装置のタッチ式スクリーンを介して入力されてもよい。いずれの場合でも、本明細書で説明するように、ユーザ定義の境界1222は創傷1220の形状をたどる必要はなく、単に創傷1220を含む画像1200の領域の近似でもよい。
図12Cは、画像1200およびユーザ定義の境界1222の分析に基づいて判断される前景領域および後景領域を示す図である。図12Cに示すように、ユーザ定義の境界1222外の画素は、明白な後景1224をラベリング可能であり、ユーザ定義の境界1222内の画素は、可能な後景1226、可能な前景1228、および明白な前景1230を含む3つのセグメントに分けられてもよい。これらの領域は、反復最小化による画像セグメンテーション、境界マッティング、前景推定、および上記のオープンソースグラブカットアルゴリズムに記載された他の方法を含む処理技術の組合せを用いて検出可能であり、ユーザ定義の境界1222は不規則または不完全になる。さらに、調整機構をユーザインターフェースを介して提供可能であり、これによって、ユーザは、セグメント1224、1226、1228、1230の各々の厚さまたは位置を調節できる。たとえば、セグメンテーション変数を調節するためにスライダが設けられてもよく、これによって、所望のまたは正確なレベルに到達するまで、セグメント1224、1226、1228、1230が拡大または縮小する。そのため、そのような境界検出を容易にすることによって、関心領域の検出、関心のあるメトリックの定量化といった、上述の他の動作が向上する。
さらに別の例示的な実施形態では、上述のセグメンテーションによって求められた創傷の境界の寸法を、求められた境界に対して行われる動作のシーケンスによって求めることが可能である。たとえば、創傷の長さを求めるために、まず、求められた創傷の境界の周囲に境界ボックスが描かれる。次に、1つ以上の交点が創傷の境界と境界ボックスとの間で求められる。1つ以上の交点は、長さの端点に対応する。各交点または端点の間の距離が計測され、距離の最大値が創傷の長さであると判断される。その後、幅について、長さを規定する2つの交点に基づいて垂直斜面が求められ、垂直斜面に沿った輪郭点が第1の端点から最後の端点まで反復される。各反復において、垂直線が引かれ、ビット単位の動作が各垂直線および創傷の境界について行われる。その結果生じる複数の線は、1つ以上の線探索技術で求められ、各ラインの幅はベクトルとして求められ、最大値が複数のベクトルの中から探索される。最大値は創傷の幅に対応する。さらに、創傷の面積は、グリーンの定理などの線積分技術を用いて計算可能である。さらに、長さ、幅、および面積の値は画像自体に基づいて画素単位で求められるが、創傷の周囲に配設された2つのステッカーを検出すること、および画素のミリメートルに対する割合を計算することに基づく物理値(たとえば、mm、mm)に変換可能である。
本明細書で説明するように、患者の体に配設されたマーカーまたはステッカーを用いて、カメラの視野を方向付け、位置合わせを容易にし、同じ場所に配置された特徴を発見し、画像を整列させ、距離を識別し、かつ、画像を再び方向付けることができる。たとえば、画像は2つの別個のマーカーまたはステッカーを創傷の両端に配設した後に取得され、取得された画像はステッカーおよびそれらの直径(すなわち、画素単位で計測された直径を物理長で除算することによって得られるステッカーごとの画素/mm比率)を検出するために処理され、創傷についての画素/mm比率が、2つのステッカーの画素/mm比率の平均であると求められる。さらに例示的な実施形態では、ステッカーの色、ステッカーのサイズ、ステッカーの形状、ステッカー上の画像または印、および異なるステッカーの組合せを用いて、異なる種類の創傷もしくは患者を示すこと、またはたとえば自動ファイル関連付けおよび特定のステッカーを含む画像の格納といった、それらの異なる種類の位置合わせおよび分析をトリガすることが可能である。例示的な実施形態では、既知のサイズ、形状、色、および/またはパターンのステッカー、または既知の画像、印、またはモチーフが用いられる。
しかしながら、同じ撮像装置が用いられる場合であっても照明は変わり得るため、ステッカーまたはマーカーの色のみに依拠すると予測できない結果が生じることがある。そのため、形状、真円度、伸び率、面積などのさらに別の特性を利用して、ステッカーを画像または視野内の他の物体から区別可能である。一般に、これらの特性は、ステッカーが画像に表示される態様によって決まり得る。そのため、本明細書で説明する動作には、既知の画像のデータセットを利用して、これらの特性が分析される態様を調整または訓練することが含まれる。例示的な実施形態では、ステッカーのさまざまな種類および形状が相互にセグメント化され、ステッカーの各セグメントの特性が計測され訓練アルゴリズムに入力される。上述の創傷画像のための訓練データセットと同様に、そのようなマニュアルのセグメンテーションによって、ステッカーをそれらの後景から慎重に隔離することによって、グラウンドトゥルースの生成が容易になる。その後、データセットの性能を客観的に判断することができる。さらに、これらの動作はリアルタイムで、すなわち、上述の撮像装置を用いた創傷の可視化および分析中に行うことが可能であり、これによって、撮像装置の効果を改善するリアルタイムフィードバックを提供することができ、かつ、創傷のサイズおよび面積を求めることができる。
図13Aは、例示的な実施形態に係る、創傷画像内のステッカーを識別するための方法を示す図である。装置およびシステムを含む図13Aの方法を行うための構成要素についてさらに、図2〜図3を参照して説明する。しかしながら、図13Aに示される動作は任意の装置またはシステムによって行われてもよく、必要な調整は、本開示を考慮して当業者にとって明らかである。動作1301において、創傷の画像が受信される。画像は、本明細書で説明するような創傷のリアルタイム撮像に用いられる同じ装置/システム構成要素を用いて、または、少なくとも励起(または照射)光の種類および周波数、フィルタなどの共通の撮像条件を用いて取得されていてもよい。画像は、本明細書で説明する分析モジュールに連結された撮像ハードウェアを用いてリアルタイムに取得可能である。代替的にまたはさらに、画像が該撮像ハードウェアから取得され、開示された動作を行うコンピュータに、またはデータベースもしくはネットワークなどの外部ソースから送信されてもよい。さらに、画像は、組織表面を取り囲む1つ以上の創傷、およびそれらの特性を示す。たとえば、創傷は、切り傷、やけど、すり傷、外科的切開、潰瘍などの、有機体の表面の外傷または損傷を含み得る。創傷は、血液、結合組織、筋肉、骨などを含む皮膚の下の領域を露出させる。例示的な実施形態では、創傷は外科的空洞を含み得る。
1302において、最小閾値以上および最大閾値未満の複数の閾値を有する閾値処理、および近傍の閾値間で行われる距離閾値ステップを適用することによって、画像は1つ以上の二値画像に変換される。例示的な実施形態では、二値画像は、図6を参照して上述されたような彩度マスキング動作を用いて生成可能である。さらに、1303において、さらに別の二値画像が1302で生成された二値画像に追加され、これらのさらに別の二値画像は、ステッカーの色を用いた閾値処理動作に基づく。1304において、エロージョンおよびダイレーション動作が、ノイズを除去するために行われる。図6で説明された動作と同様に、このステップには、空間フィルタを二値画像に適用して異常値およびまばらなセグメントなどの望ましくない画素を取り除くことと、ダイレーション空間フィルタを適用してエロージョンの悪影響を打ち消し、エロージョンの後に残った小さなクラスターを再結合させることとを含む。
1305において、二値画像は、複数の基準を用いてフィルタリングされて、後景からブロブ形状の物体が抽出される。すなわち、ステッカーは、検出されたブロブをそれらの形状に基づいて取り除くことによって、正確に識別される。それゆえ、フィルタリング動作には、3次モーメントまでをすべて計算することと、その後、正確かつ確実にステッカーを検出するように調整された複数の基準に基づいて、戻されたブロブのフィルタリングを複数回行うことが含まれる。例示的な実施形態では、複数の基準には、面積、真円度、最小慣性の最大慣性に対する比率、凸性、緻密度、二値色、および/または楕円率が含まれる。たとえば、抽出されたブロックは、最小値以上最大値未満の面積、(たとえば、アーク長式を用いて計算された)最小値と最大値との間の真円度、(伸び率の測定値を提供する)最小値と最大値との間の最小慣性の最大慣性に対する比率、最小値と最大値との間のブロブの凸包(すなわち、凸性)の面積で除算されたブロブの面積、最小値と最大値との間の緻密度を有することが求められる場合がある。さらに、各二値画像の強度は、ブロブの中心でブロブの色値と比較されてもよく、異なる値が除去される(これは二値画像であるため、カラーフィルタリングプロセスは、上述のようなRGB/CIELAB/HSV色空間値に基づいて画像をフィルタリングすることとは異なる)。最終的に、第1のモーメントによって計測される面積が、楕円の面積と比較され、最大値より大きな値を有するブロブが除去される。
その後、1306において、連結成分が各二値画像から抽出され、それらの中心が算出される。1307において、複数の二値画像からの中心がそれらの座標に基づいてグループ化され、近接する中心が、1つのブロブに対応する1つのグループを形成する。これは、ブロブパラメータ間の最小距離、またはオープンソースOpenCV simpleblobdetector(https://docs.opencv.org/3.3.1/d0/d7a/classcv_1_1SimpleBlobDetector.html)などの他の技術を用いて求めることが可能である。これらのパラメータの各々は、所望の結果に応じてオペレータによって調整可能である。たとえば、これらのパラメータは、ステッカーを他のブロブ形状の物体から効果的に分離するために調整可能である。1つ以上の標準化画像は、1つの画像からすべてのパラメータの計測を可能にするように生成され得る。そのような画像はパラメータ調整画像と呼ばれることがあり、パラメータ調整画像内のステッカーは、相互にセグメント化され、強度、真円度、慣性、面積、凸性、楕円率、緻密度、および最小距離が、上述の特定された技術を用いて計測される。これらの測定値の最小値および最大値は、格納可能であり、次の画像内のステッカーを検出するために最適値として使用可能である。さらに、格納された調整済みパラメータは、グラウンドトゥルースデータベースがより大きくなると、連続して調節可能である。
この方法の結果によって、ブロブごとに2次元点(すなわち、輪郭)のセットが提供される。さらに、輪郭のセットは、マージされて原画像に表示することができる。マージされた輪郭の各々は、1つのステッカーの境界を示し、ブロブごとに2次元点のセットであることを考慮して、それらの間の距離が指定された精度以下になるように、曲線をより頂点の少ない他の曲線で近似することで最終的な輪郭を近似することによって求めることができる。各ブロブの最終的な中心が求められ、輪郭をループしそれらの周囲の楕円に適合するようにループ動作が行われて、楕円が内接される回転矩形が戻される。さらに、各ブロブの長軸および短軸が取得され格納される。最終的に、前のステップで計算された回転矩形を用いて、楕円および矩形が各ステッカーの周囲に描かれる。図13Bは、上述のように求められた境界1322と、創傷画像1300に表示された長軸1331および短軸1332とを含む、創傷1320の画像1300を示す図である。
たとえば一連の画像(すなわち、フレーム)を含む映像のリアルタイム処理および可視化を実現するために、各フレームは、格納バッファから検索されリアルタイムに処理されてもよい。たとえば、第1フレーム全体が、ステッカーを位置付けするために、および計算リソースの消費を減らすために処理されてもよく、小さな関心領域が第1のフレームで検出された各ステッカーの周囲で画定されてもよく、かつ、次のフレームが、フレーム全体を処理するのではなく画定された関心領域に基づいて処理されてもよい。
上述のように、確認データセットを用いて、上述のステッカー検出法の性能を評価してもよい。たとえば、ステッカーを検出するための確認プロセスは、検出法を定量的に評価するために使用されるグラウンドトゥルースを生成するために画像を相互にセグメント化することを含み得る。ダイスメトリック、面積、およびハウスドルフ距離などのメトリックは、セグメンテーションの精度を確認する際に便利なことがある。ダイス係数は、二値画像間の空間的な重なりの度合いを計測するために求められ、その値は、次の式に基づいて0(重なりなし)および1(完全一致)の範囲であり得る。
Figure 2021511901
式中、TP、FP、およびFNはそれぞれ、真陽性、偽陽性、および偽陰性を表す。セグメント化された領域が1とラベル付けされ、後景が0とラベル付けされる場合、真陽性とは、セグメント化された画像およびグラウンドトゥルース画像の両方で値1を有する画素の総数を意味し、偽陽性とは、セグメント化された画像では1として表示されるがグラウンドトゥルースでは0と表示される画素の総数を意味し、偽陰性とは、セグメントされた画像では0と表示されるがグラウンドトゥルースでは1と表示される画素の総数を意味する。
さらに、領域類似(AS)動作は、次の式を利用する。
Figure 2021511901
式中、完全なセグメンテーションについてAS=1であり、不十分なセグメンテーションについてAS〜0である。
さらに、AおよびBの2つの有限点セット間の平均ハウスドルフ距離(AHD)が、次の式によって定義可能である。
Figure 2021511901
ソーベル縁検出動作は、グラウンドトゥルース画像と自動セグメンテーション画像との両方においてステッカーの縁上の点としてAおよびBのセットを定義するために使用可能である。
それゆえ、上述の方法によて、ステッカー色、ステッカー形状、およびステッカーサイズの組合せを用いることによってステッカー検出が容易になって、創傷画像内の創傷のサイズおよび向きの判断が容易になる。さらに、外科用カメラなどのカメラを、ステッカーに基づいて解剖学的部位と位置合わせ可能である。外科用カメラに組込まれたジャイロスコープおよび自己指向型のソフトウェアを用いて、カメラの視野を手術野と位置合わせすること、外科的空洞または創傷の特徴を空間的に識別すること、および外科医またはそのようなカメラの他のオペレータに提供されるリアルタイムビューを向上させることが可能である。さらに、これらの方法の各々は、毎秒約27フレームで実行されるように調整可能であり、外科医/オペレータのためにリアルタイムフィードバックを提供する。例示的な実施形態では、これらの方法は毎秒最小27フレームに調整可能であり、毎秒27フレームを上回るフレームレートも可能である。
本開示の例示的な実施形態の上記の開示は、例示および説明の目的で提示されたものであり、網羅的なものであること、または本開示を開示された厳密な形態に制限することを意図したものではない。本明細書で説明する実施形態の変更例および修正例は、上記の開示を考慮して当業者に明らかになるであろう。本開示の範囲は、添付の請求項およびそれらの均等物のみによって定められる。
さらに、本開示の代表的な実施形態を説明する際に、本明細書は、特定のステップのシーケンスとして本開示の方法および/またはプロセスを提示していたかもしれない。しかしながら、方法またはプロセスが本明細書で説明された特定のステップの順序に依拠しない範囲で、方法またはプロセスは、説明された特定のステップのシーケンスに制限されるべきではない。当業者であれば、他のステップのシーケンスが可能であると理解するであろう。それゆえ、本明細書で説明されたステップの特定の順序は、請求項を制限すると理解されるべきではない。さらに、本開示の方法および/またはプロセスに向けられた請求項は、記載された順序でそれらのステップを行うと制限されるべきではなく、当業者であれば、シーケンスが変更可能であり、依然として本開示の精神および範囲内であると容易に理解できるであろう。
さまざまな修正例および変形例が本開示の教示の範囲から逸脱することなく本開示の装置および方法に対して行うことができることが、当業者に明らかであろう。本明細書および本明細書で開示された教示の実践を考慮して、本開示の他の実施形態が当業者にとって明らかであろう。明細書および本明細書で説明された実施形態は例示に過ぎないと考えられることが意図されている。
本明細書および添付の請求項の目的で、他の態様で示されていない限り、本明細書および請求項で使用される量、パーセンテージ、または割合、および他の数値は、そのように既に修飾されていない範囲で、すべての例で「約」という用語で修飾されると理解されるべきである。したがって、反対のことが示されていない限り、後の明細書および添付の請求項で説明された数値パラメータは、得ようとしている所望の特性に応じて変化し得る近似値である。少なくとも、請求項の範囲と同等のドクトリンの適用を制限することがないように、各数値パラメータは少なくとも、報告された有効桁数の数字を考慮して、一般的な切り上げ技術を適用することによって、解釈されるべきである。
本開示の教示の広い範囲を説明する数値範囲およびパラメータは近似値であるにもかかわらず、特定の例で説明された数値は、可能な限り正確に報告されている。しかしながら、いかなる数値も本質的に、それぞれの試験計測で見つかる標準偏差から必然的に生じる特定のエラーを含む。さらに、本明細書で開示された範囲はすべて、本明細書に含まれる任意およびすべての部分的な範囲を包含すると理解されるべきである。

Claims (46)

  1. 創傷の分析のためにコンピュータによって実現される方法であって、前記コンピュータによって実現される方法は、コンピュータ可読媒体に格納され、プロセッサによって実行されて動作を行う論理命令を含み、前記動作は、
    複数の画素を含む創傷の画像を受信することと、
    少なくとも画素値のヒストグラムに基づく彩度マスクを前記複数の画素に適用することに基づいて、前記画像内の少なくとも1つの関心領域を求めることと、
    前記少なくとも1つの関心領域の1つ以上の輪郭を求めることと、
    前記画像にオーバーレイされた前記1つ以上の輪郭を含む出力画像を生成することとを含み、
    前記関心領域は、1つ以上の創傷特性を含む、方法。
  2. 前記1つ以上の創傷特性は、創傷の境界、創傷のサイズ、創傷の深さ、細菌の存在、細菌の負荷、創傷の温度、結合組織の存在、血液の存在、骨の存在、組織もしくは細胞の創傷成分の変化、血管新生、または壊死を含む、請求項1に記載の方法。
  3. 1つ以上の創傷の複数の訓練画像に基づいて、前記画素値のヒストグラムを生成することをさらに含み、前記複数の訓練画像の各々は少なくとも1つの既知の関心領域を含み、前記画素値のヒストグラムは、前記創傷特性の1つ以上について固有の分光的特徴を識別する、請求項1または2に記載の方法。
  4. 前記少なくとも1つの既知の関心領域は、少なくとも部分的に、前記複数の訓練画像のそれぞれの訓練画像内の前記創傷のスワブまたは組織生検分析に基づく、請求項3に記載の方法。
  5. 前記少なくとも1つの既知の関心領域に基づいて、前記複数の訓練画像を分類することをさらに含む、請求項3または4に記載の方法。
  6. 前記ヒストグラムは、前記複数の訓練画像に対応する複数の既知の関心領域に基づく合成ヒストグラムを含む、請求項3、4、または5のいずれか1項に記載の方法。
  7. 前記1つ以上の輪郭を凹形状から凸形状に修復することをさらに含む、請求項1〜3のいずれか1項に記載の方法。
  8. 創傷撮像装置を用いて、前記創傷の前記画像を取得することをさらに含む、請求項1〜3のいずれか1項に記載の方法。
  9. 前記創傷の前記画像を取得することはさらに、ハンドヘルド創傷撮像および分析装置の一部を形成するモバイル通信装置の撮像装置を用いることを含む、請求項1〜3のいずれか1項に記載の方法。
  10. 前記創傷の前記画像を受信することは、画像データを、前記モバイル通信装置の前記撮像装置から前記ハンドヘルド創傷撮像および分析装置のプロセッサに転送することを含む、請求項9に記載の方法。
  11. 前記創傷の一部を励起するように構成された前記ハンドヘルド創傷撮像および分析装置の励起光源で前記創傷を照射することをさらに含む、請求項9に記載の方法。
  12. 前記創傷を照射することは、励起光源で前記創傷を照射することを含む、請求項11に記載の方法。
  13. 前記創傷を照射することはさらに、約405nmの波長を有する励起光源で前記創傷を照射することを含む、請求項12に記載の方法。
  14. 前記画像内のマーカーを検出することと、検出された前記マーカーに基づいて前記画像を位置合わせすることとをさらに含む、請求項1に記載の方法。
  15. 前記マーカーを検出することはさらに、1つ以上の閾値の適用に基づいて、前記画像を1つ以上の二値画像に変換することと、1つ以上の既知のマーカーの色の閾値化に基づいて、1つ以上のさらに別の二値画像を生成し追加することと、エロージョン動作およびダイレーション動作を用いてノイズを除去することと、複数の形状ベースの基準を用いて前記画像をフィルタリングすることと、各二値画像から連結成分を抽出することと、各連結成分の中心座標を算出することと、前記中心座標に基づいて前記二値画像をグループ化することとを含む、請求項14に記載の方法。
  16. 前記複数の形状ベースの基準は、面積、真円度、最小慣性の最大慣性に対する割合、凸性、稠密度、二値色、および/または楕円率のうち1つ以上を含む、請求項15に記載の方法。
  17. 前記画像を位置合わせすることはさらに、前記画像を1つ以上の標準化画像と位置合わせすることを含み、前記1つ以上の標準化画像は、相互にセグメント化され、かつ、既知の強度、真円度、慣性、面積、凸性、楕円率、稠密度、および最小距離を有するステッカーを含む、請求項14に記載の方法。
  18. 前記画像は、リアルタイム映像の複数のフレームのうち1つを含み、前記方法はさらに、全体として前記リアルタイム映像の第1のフレームを処理することによって前記マーカーを識別することと、各マーカーの周囲の関心領域を自動的に画定することと、前記複数のフレームから次の各フレームの前記関心領域内の前記マーカーのみを識別することとを含む、請求項14または17に記載の方法。
  19. おおよその創傷の境界を示す入力を受信することと、前記入力に基づいて実際の創傷の境界を求めることとをさらに含む、請求項1または2に記載の方法。
  20. 前記実際の創傷の境界を求めることは、後景画素として前記おおよその創傷の境界外の画素の識別およびラベル付けを行うことと、可能性のある後景画素、可能性のある前景画素、または明白な前景画素のうち1つとして、前記おおよその創傷の境界内の画素の識別およびラベル付けを行うこととを含む、請求項19に記載の方法。
  21. 前記画素の識別は、反復最小化を含むセグメンテーションに基づく、請求項20に記載の方法。
  22. システムであって、
    撮像装置と、
    前記撮像装置に連結されたプロセッサと、
    前記プロセッサに連結されたメモリとを備え、前記メモリは、前記プロセッサによって実行されると、前記プロセッサに動作を行わせるコンピュータ可読命令を格納するように構成され、前記動作は、
    前記撮像装置を用いて、複数の画素を含む創傷の画像を取得することと、
    画素値のヒストグラムに基づく彩度マスクを前記複数の画素に適用することと、
    前記彩度マスクを適用することに基づいて、前記画像上の少なくとも1つの関心領域を識別する二値マスクを生成することと、
    前記少なくとも1つの関心領域の1つ以上の輪郭を検出して、関心領域を画定することと、
    前記1つ以上の輪郭を前記画像にオーバーレイして、前記少なくとも1つの関心領域を識別する合成画像を形成することと、
    前記合成画像をリアルタイムに前記撮像装置のユーザに出力することとを含む、システム。
  23. 前記コンピュータ可読命令はさらに、前記プロセッサに、前記画像内の1つ以上の色の存在を判断することを含む動作を任意の組合せで行わせるように構成されている、請求項22に記載のシステム。
  24. 前記1つ以上の色の存在を判断することはさらに、複数のユーザ定義の閾値によって前記画像を処理することと、色マスクを生成することとを含む、請求項23に記載のシステム。
  25. 前記色マスクは、前記色の組合せと関連付けられた1つ以上の対象特性の存在を示す、請求項24に記載のシステム。
  26. 前記1つ以上の対象特性は、細菌の存在、細菌のコロニー、創傷のサイズ、創傷の境界、およびコラーゲンの増殖のうち1つ以上を含む、請求項25に記載のシステム。
  27. 前記画素値のヒストグラムを格納するデータベースをさらに備える、請求項22〜26のいずれか1項に記載のシステム。
  28. 前記撮像装置は、モバイル通信装置の撮像装置である、請求項22〜26のいずれか1項に記載のシステム。
  29. 前記モバイル通信装置および前記プロセッサは、前記システムの筐体内に収容される、請求項28に記載のシステム。
  30. 前記撮像装置は、ネットワークを介して前記モバイル通信装置に通信可能に連結される、請求項22〜26のいずれか1項に記載のシステム。
  31. プロセッサによって実行されて、動作を行うコンピュータ可読コードを格納する有形の非一時的コンピュータ可読媒体であって、前記動作は、
    複数の赤、緑、および青(RGB)画像を取得することと、
    コンピュータインターフェースを利用して、細菌の存在、創傷の境界、コラーゲンの増殖、および創傷のサイズのうち少なくとも1つを含む、前記複数の画像の各々の上の既知の関心領域に印を付けることと、
    前記複数のRGB画像の各々を、色相・彩度・明度(HSV)色空間に変換することと、
    前記既知の関心領域の各々に固有の分光的特徴を識別するHSV値のヒストグラムを、前記複数のRGB画像の各々について求めることと、
    前記複数のRGB画像の各々に関する前記HSV値のヒストグラムに基づいて、合成ヒストグラムを生成することとを含み、
    前記合成ヒストグラムは、1つ以上の固有の分光的特徴に基づいて、創傷撮像装置を用いて、リアルタイムに少なくとも1つの創傷画像から未知の関心領域を識別するために用いられる、コンピュータ可読媒体。
  32. 前記プロセッサはさらに、少なくとも1つの既知の関心領域を含む1つ以上の創傷の複数の訓練画像に基づいて、前記画素値のヒストグラムを生成することを含む動作を行う、請求項31に記載のコンピュータ可読媒体。
  33. 前記ヒストグラムは、前記少なくとも1つの既知の関心領域外の画素に関する画素値の第1のセットと、前記少なくとも1つの既知の関心領域内の画素に関する画素値の第2のセットとを含む、請求項32に記載のコンピュータ可読媒体。
  34. 前記少なくとも1つの既知の関心領域は少なくとも部分的に、前記複数の訓練画像のそれぞれの訓練画像内の前記創傷のスワブ分析に基づく、請求項32または33に記載のコンピュータ可読媒体。
  35. 前記プロセッサはさらに、前記少なくとも1つの既知の関心領域に基づいて前記複数の訓練画像を分類することを含む動作を行う、請求項33または34に記載のコンピュータ可読媒体。
  36. 前記ヒストグラムは、前記複数の訓練画像に対応する複数の既知の関心領域に基づく合成ヒストグラムを含む、請求項32に記載のコンピュータ可読媒体。
  37. システムであって、
    プロセッサと、
    前記プロセッサに連結されたメモリとを備え、前記メモリは、前記プロセッサによって実行されると、前記プロセッサに動作を行わせるコンピュータ可読命令を格納するように構成され、前記動作は、
    複数の画素を含む創傷または組織標本の画像を受信することと、
    画素値のヒストグラムに基づく彩度マスクを前記複数の画像に適用し、前記画像上の前記少なくとも1つの関心領域を識別することと、
    前記少なくとも1つの関心領域の周囲の1つ以上の輪郭を検出することと、
    前記1つ以上の輪郭を前記画像にオーバーレイして、前記少なくとも1つの関心領域を識別する合成画像を形成することと、
    前記プロセッサに連結された表示デバイス上で前記合成画像を出力することとを含む、システム。
  38. 前記創傷または組織標本の前記画像は、第1の撮像装置を用いて取得される、請求項37に記載のシステム。
  39. 前記画素値のヒストグラムは、前記第1の撮像装置と実質的に同等の第2の撮像装置を用いて取得された複数の試験画像に基づく、請求項38に記載のシステム。
  40. 前記第2の撮像装置は前記第1の撮像装置と同じ撮像要素を含む、請求項39に記載のシステム。
  41. 前記関心領域は、創傷のサイズ、創傷の境界、創傷の深さ、創傷の温度、組織および細胞の創傷成分の変化、血管新生、壊死、および細菌の存在を含む1つ以上の創傷特性を含む、請求項37に記載のシステム。
  42. 前記関心領域は、組織成分、腫瘍のサイズ、腫瘍の縁、腫瘍の境界、および組織の血管新生を含む1つ以上の組織特性を含む、請求項37に記載のシステム。
  43. 創傷の分析のためにコンピュータによって実現される方法であって、前記コンピュータによって実現される方法は、コンピュータ可読媒体に格納され、プロセッサによって実行されて動作を行う論理命令を含み、前記動作は、
    複数の画素を含む創傷の画像を受信することと、
    前記画像内のマーカーを検出することと、
    検出された前記マーカーに基づいて前記画像を位置合わせすることとを含み、
    前記画像内の前記マーカーを検出することは、
    1つ以上の閾値の適用に基づいて、前記画像を1つ以上の二値画像に変換することと、
    1つ以上の既知のマーカーの色の閾値化に基づいて、1つ以上のさらに別の二値画像の生成および追加を行うことと、
    エロージョン動作およびダイレーション動作を用いてノイズを除去することと、
    複数の形状ベースの基準を用いて前記画像をフィルタリングすることと、
    各二値画像から連結成分を抽出することと、
    各連結成分の中心座標を算出することと、
    前記中心座標に基づいて前記二値画像のグループ化を行うこととを含む、方法。
  44. 前記複数の形状ベースの基準は、面積、真円度、最小慣性の最大慣性に対する割合、凸性、稠密度、二値色、および/または楕円率のうち1つ以上を含む、請求項43に記載の方法。
  45. 前記画像を位置合わせすることはさらに、前記画像を1つ以上の標準化画像と位置合わせすることを含み、前記1つ以上の標準化画像は、相互にセグメント化され、かつ、既知の強度、真円度、慣性、面積、凸性、楕円率、稠密度、および最小距離を有するステッカーを含む、請求項43に記載の方法。
  46. 前記画像は、リアルタイム映像の複数のフレームのうち1つを含み、前記方法はさらに、全体として前記リアルタイム映像の第1のフレームを処理することによって前記マーカーを識別することと、各マーカーの周囲の関心領域を自動的に画定することと、前記複数のフレームから次の各フレームの前記関心領域内の前記マーカーのみを識別することとを含む、請求項43、44、または45のいずれか1項に記載の方法。
JP2020541966A 2018-02-02 2019-01-15 創傷の撮像および分析 Active JP7556784B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024083438A JP2024125298A (ja) 2018-02-02 2024-05-22 創傷の撮像および分析

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862625611P 2018-02-02 2018-02-02
US62/625,611 2018-02-02
PCT/CA2019/000002 WO2019148265A1 (en) 2018-02-02 2019-01-15 Wound imaging and analysis

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024083438A Division JP2024125298A (ja) 2018-02-02 2024-05-22 創傷の撮像および分析

Publications (2)

Publication Number Publication Date
JP2021511901A true JP2021511901A (ja) 2021-05-13
JP7556784B2 JP7556784B2 (ja) 2024-09-26

Family

ID=67479093

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020541966A Active JP7556784B2 (ja) 2018-02-02 2019-01-15 創傷の撮像および分析
JP2024083438A Pending JP2024125298A (ja) 2018-02-02 2024-05-22 創傷の撮像および分析

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024083438A Pending JP2024125298A (ja) 2018-02-02 2024-05-22 創傷の撮像および分析

Country Status (9)

Country Link
US (2) US11727560B2 (ja)
EP (1) EP3747022A4 (ja)
JP (2) JP7556784B2 (ja)
CN (1) CN112005312B (ja)
AU (1) AU2019214330A1 (ja)
BR (1) BR112020015435A2 (ja)
CA (1) CA3089345A1 (ja)
MX (1) MX2020008160A (ja)
WO (1) WO2019148265A1 (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9179844B2 (en) 2011-11-28 2015-11-10 Aranz Healthcare Limited Handheld skin measuring or monitoring device
US10013527B2 (en) 2016-05-02 2018-07-03 Aranz Healthcare Limited Automatically assessing an anatomical surface feature and securely managing information related to the same
US11116407B2 (en) 2016-11-17 2021-09-14 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
EP3606410B1 (en) 2017-04-04 2022-11-02 Aranz Healthcare Limited Anatomical surface assessment methods, devices and systems
JP7224963B2 (ja) 2019-03-01 2023-02-20 ソニー・オリンパスメディカルソリューションズ株式会社 医療用制御装置及び医療用観察システム
US11308618B2 (en) 2019-04-14 2022-04-19 Holovisions LLC Healthy-Selfie(TM): a portable phone-moving device for telemedicine imaging using a mobile phone
US12014500B2 (en) 2019-04-14 2024-06-18 Holovisions LLC Healthy-Selfie(TM): methods for remote medical imaging using a conventional smart phone or augmented reality eyewear
US12039726B2 (en) 2019-05-20 2024-07-16 Aranz Healthcare Limited Automated or partially automated anatomical surface assessment methods, devices and systems
US20220020166A1 (en) * 2019-09-27 2022-01-20 Asensus Surgical Us, Inc. Method and System for Providing Real Time Surgical Site Measurements
CN110689548B (zh) * 2019-09-29 2023-01-17 浪潮电子信息产业股份有限公司 一种医学图像分割方法、装置、设备及可读存储介质
CN110970119B (zh) * 2019-12-18 2024-03-08 四川大学华西医院 一种压力性损伤识别和鉴别的掌上工具
JP7545156B2 (ja) 2020-07-03 2024-09-04 川上産業株式会社 診断システム、診断プログラム、及び診断装置
WO2022040030A1 (en) * 2020-08-17 2022-02-24 Thrive Bioscience, Inc. Cell segmentation image processing methods
US20220117546A1 (en) * 2020-10-19 2022-04-21 Woundmatrix, Inc. Wound measurement
CN112716452A (zh) * 2020-12-27 2021-04-30 孙炳伟 伤口创面的红外监测方法、装置及存储介质
US11496676B2 (en) * 2021-01-04 2022-11-08 Healthy.Io Ltd Providing guidance for wound image capturing
CN112890805B (zh) * 2021-01-14 2023-06-02 四川大学华西医院 一种自动寻找伤口并识别伤口状态的仪器
BR112023015956A2 (pt) 2021-02-09 2023-10-24 Adiuvo Diagnostics Private Ltd Dispositivo para examinar um alvo, sistema para examinar um alvo, dispositivo para treinar um modelo de análise para analisar imagens de alvos com base em fluorescência, método para examinar um alvo e método para treinar um modelo de análise para analisar imagens com base em fluorescência de alvos
BE1027625B1 (fr) 2021-02-25 2022-05-04 Iot D Dispositif multifonctionnel et système multifonctionnel pour la surveillance ergonomique et à distance d'une affection cutanée médicale ou cosmétique
CN113393420B (zh) * 2021-05-07 2023-07-25 温州医科大学 一种基于红外热成像技术的伤口智能评估方法
CN113283322A (zh) * 2021-05-14 2021-08-20 柳城牧原农牧有限公司 一种牲畜外伤检测方法、装置、设备和存储介质
CN113208852B (zh) * 2021-05-21 2023-03-28 黎雯 一种伤口护理装置
WO2023288101A1 (en) * 2021-07-16 2023-01-19 Mindset Medical, Inc. Intelligent medical assessment and communication system with artificial intelligence
US11758263B2 (en) 2021-08-24 2023-09-12 Moleculight, Inc. Systems, devices, and methods for imaging and measurement using a stereoscopic camera system
CN116368524A (zh) * 2021-08-30 2023-06-30 京东方科技集团股份有限公司 显示控制方法及装置、计算机可读存储介质、显示设备
CN113780200A (zh) * 2021-09-15 2021-12-10 安徽理工大学 基于计算机视觉的路面多种病害面积检测及定位方法
CN114081536B (zh) * 2021-10-21 2023-09-26 深圳市罗湖医院集团 鼻咽拭子采样方法、装置、电子设备及存储介质
US20230165469A1 (en) * 2021-11-24 2023-06-01 Moleculight Inc. Systems, devices, and methods for image interpretation
GB2613347A (en) * 2021-11-30 2023-06-07 Streamlined Forensic Reporting Ltd System for wound analysis
US11944508B1 (en) * 2022-01-13 2024-04-02 Altair Innovations, LLC Augmented reality surgical assistance system
US11471696B1 (en) * 2022-02-01 2022-10-18 The Florida International University Board Of Trustees Handheld devices for wound assessment using multi-modal imaging
CN114563378B (zh) * 2022-03-03 2022-07-29 生态环境部卫星环境应用中心 湖库蓝藻水华空间分布定量描述方法、装置、介质和设备
CN115019181B (zh) * 2022-07-28 2023-02-07 北京卫星信息工程研究所 遥感图像旋转目标检测方法、电子设备及存储介质
CN116269749B (zh) * 2023-03-06 2023-10-10 东莞市东部中心医院 一种改良保留性神经的腹腔镜下膀胱癌手术系统
CN116740768B (zh) * 2023-08-11 2023-10-20 南京诺源医疗器械有限公司 基于鼻颅镜的导航可视化方法、系统、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064835A (ja) * 2012-09-27 2014-04-17 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2017504370A (ja) * 2013-12-03 2017-02-09 チルドレンズ ナショナル メディカル センターChildren’S National Medical Center 創傷アセスメントおよびマネジメントのための方法およびシステム
JP2017524935A (ja) * 2014-07-24 2017-08-31 ユニバーシティー ヘルス ネットワーク 診断目的のためのデータの収集および解析

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002308394B2 (en) * 2001-05-18 2006-11-23 Polartechnics Limited Boundary finding in dermatological examination
US20040114800A1 (en) 2002-09-12 2004-06-17 Baylor College Of Medicine System and method for image segmentation
US20050136549A1 (en) * 2003-10-30 2005-06-23 Bioimagene, Inc. Method and system for automatically determining diagnostic saliency of digital images
JP2011521237A (ja) * 2008-05-20 2011-07-21 ユニバーシティー ヘルス ネットワーク 螢光に基づく画像化およびモニタリング用装置ならびにその方法
WO2015116823A1 (en) * 2014-01-29 2015-08-06 The Johns Hopkins University System and method for wound imaging and debridement
SG10201405182WA (en) * 2014-08-25 2016-03-30 Univ Singapore Technology & Design Method and system
CN107106020A (zh) * 2014-10-29 2017-08-29 组织分析股份有限公司 用于分析并且传输与哺乳动物皮损病有关的数据、图像和视频的系统与方法
US9717417B2 (en) * 2014-10-29 2017-08-01 Spectral Md, Inc. Reflective mode multi-spectral time-resolved optical imaging methods and apparatuses for tissue classification
CA2965564C (en) * 2014-11-10 2024-01-02 Ventana Medical Systems, Inc. Classifying nuclei in histology images

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014064835A (ja) * 2012-09-27 2014-04-17 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP2017504370A (ja) * 2013-12-03 2017-02-09 チルドレンズ ナショナル メディカル センターChildren’S National Medical Center 創傷アセスメントおよびマネジメントのための方法およびシステム
JP2017524935A (ja) * 2014-07-24 2017-08-31 ユニバーシティー ヘルス ネットワーク 診断目的のためのデータの収集および解析

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
K. SUNDEEP KUMAR ET AL.: "Wound Image Analysis Using Contour Evolution", I.J. IMAGE, GRAPHICS AND SIGNAL PROCESSING, vol. 6, no. 6, JPN6022055082, May 2014 (2014-05-01), pages 36 - 42, XP055726019, ISSN: 0005104263, DOI: 10.5815/ijigsp.2014.06.05 *

Also Published As

Publication number Publication date
US20200364862A1 (en) 2020-11-19
BR112020015435A2 (pt) 2020-12-08
EP3747022A1 (en) 2020-12-09
JP7556784B2 (ja) 2024-09-26
CN112005312B (zh) 2024-09-24
US20230394660A1 (en) 2023-12-07
WO2019148265A1 (en) 2019-08-08
EP3747022A4 (en) 2021-11-10
CA3089345A1 (en) 2019-08-08
CN112005312A (zh) 2020-11-27
MX2020008160A (es) 2020-11-24
US11727560B2 (en) 2023-08-15
JP2024125298A (ja) 2024-09-18
AU2019214330A1 (en) 2020-08-20

Similar Documents

Publication Publication Date Title
JP7556784B2 (ja) 創傷の撮像および分析
US10368795B2 (en) Acne imaging methods and apparatus
US20210042915A1 (en) Automated monitoring of medical imaging procedures
JP6434016B2 (ja) 皮膚疾患の光学検出のためのシステム及び方法
Chantharaphaichi et al. Automatic acne detection for medical treatment
JP6920931B2 (ja) 医療画像処理装置、内視鏡装置、診断支援装置、及び、医療業務支援装置
CN104537373B (zh) 舌下络脉诊断用多光谱舌下图像特征提取方法
JP2003513735A (ja) 皮膚状態を検査し、記録し、解析するシステムおよび方法
JP7542585B2 (ja) 画像処理装置、内視鏡システム及び画像処理装置の作動方法
Delpueyo et al. Multispectral imaging system based on light-emitting diodes for the detection of melanomas and basal cell carcinomas: a pilot study
US20220095998A1 (en) Hyperspectral imaging in automated digital dermoscopy screening for melanoma
JP2015500722A (ja) 皮膚ゾーンにおける皮膚症状を検出して数量化する方法および装置
US20230363697A1 (en) Acne severity grading methods and apparatuses
US20240362781A1 (en) Fluorescence-based detection of problematic cellular entities
US20240065540A1 (en) Apparatus and method for detecting cervical cancer
US20240027417A1 (en) System and method for assessing biological tissue
Udrea et al. Real-time acquisition of quality verified nonstandardized color images for skin lesions risk assessment—A preliminary study
Li Hyperspectral imaging technology used in tongue diagnosis
Rimskaya et al. Development Of A Mobile Application For An Independent Express Assessment Of Pigmented Skin Lesions
CN113631076B (zh) 内窥镜用处理器装置、医疗图像处理装置及其工作方法以及计算机可读介质
Finkšt et al. Autofluorescence bronchoscopy image processing in the selected colour spaces
Li et al. Computerized image analysis for acetic acid induced intraepithelial lesions
Mukku et al. A Specular Reflection Removal Technique in Cervigrams
EP4415608A1 (en) System and method for assessing biological tissue
Suter et al. Classification of pulmonary airway disease based on mucosal color analysis

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230609

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231006

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240522

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240912

R150 Certificate of patent or registration of utility model

Ref document number: 7556784

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150