JP2022165915A - 異常を動的に認識し訂正するための白内障手術のａｉベースの映像解析 - Google Patents

異常を動的に認識し訂正するための白内障手術のａｉベースの映像解析 Download PDF

Info

Publication number
JP2022165915A
JP2022165915A JP2022051166A JP2022051166A JP2022165915A JP 2022165915 A JP2022165915 A JP 2022165915A JP 2022051166 A JP2022051166 A JP 2022051166A JP 2022051166 A JP2022051166 A JP 2022051166A JP 2022165915 A JP2022165915 A JP 2022165915A
Authority
JP
Japan
Prior art keywords
machine learning
cataract surgery
learning system
intraocular lens
surgery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022051166A
Other languages
English (en)
Other versions
JP7402262B2 (ja
Inventor
マッツ，ホルガ―
Holger Matz
ザウアー，シュテファン
Saur Stefan
ブルヴィンケル，ヘンドリック
Burwinkel Hendrik
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Meditec AG
Original Assignee
Carl Zeiss Meditec AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Meditec AG filed Critical Carl Zeiss Meditec AG
Publication of JP2022165915A publication Critical patent/JP2022165915A/ja
Application granted granted Critical
Publication of JP7402262B2 publication Critical patent/JP7402262B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/14—Eye parts, e.g. lenses, corneal implants; Implanting instruments specially adapted therefor; Artificial eyes
    • A61F2/16—Intraocular lenses
    • A61F2/1613—Intraocular lenses having special lens configurations, e.g. multipart lenses; having particular optical properties, e.g. pseudo-accommodative lenses, lenses having aberration corrections, diffractive lenses, lenses for variably absorbing electromagnetic radiation, lenses having variable focus
    • A61F2/1624—Intraocular lenses having special lens configurations, e.g. multipart lenses; having particular optical properties, e.g. pseudo-accommodative lenses, lenses having aberration corrections, diffractive lenses, lenses for variably absorbing electromagnetic radiation, lenses having variable focus having adjustable focus; power activated variable focus means, e.g. mechanically or electrically by the ciliary muscle or from the outside
    • A61F2/1627—Intraocular lenses having special lens configurations, e.g. multipart lenses; having particular optical properties, e.g. pseudo-accommodative lenses, lenses having aberration corrections, diffractive lenses, lenses for variably absorbing electromagnetic radiation, lenses having variable focus having adjustable focus; power activated variable focus means, e.g. mechanically or electrically by the ciliary muscle or from the outside for changing index of refraction, e.g. by external means or by tilting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A61B3/145—Arrangements specially adapted for eye photography by video means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/14—Eye parts, e.g. lenses, corneal implants; Implanting instruments specially adapted therefor; Artificial eyes
    • A61F2/16—Intraocular lenses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F2/00—Filters implantable into blood vessels; Prostheses, i.e. artificial substitutes or replacements for parts of the body; Appliances for connecting them with the body; Devices providing patency to, or preventing collapsing of, tubular structures of the body, e.g. stents
    • A61F2/02—Prostheses implantable into the body
    • A61F2/14—Eye parts, e.g. lenses, corneal implants; Implanting instruments specially adapted therefor; Artificial eyes
    • A61F2/16—Intraocular lenses
    • A61F2/1613—Intraocular lenses having special lens configurations, e.g. multipart lenses; having particular optical properties, e.g. pseudo-accommodative lenses, lenses having aberration corrections, diffractive lenses, lenses for variably absorbing electromagnetic radiation, lenses having variable focus
    • A61F2/1616—Pseudo-accommodative, e.g. multifocal or enabling monovision
    • A61F2/1618—Multifocal lenses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A61F9/00736—Instruments for removal of intra-ocular material or intra-ocular injection, e.g. cataract instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Vascular Medicine (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Transplantation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Cardiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Urology & Nephrology (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Prostheses (AREA)

Abstract

【課題】 異常を動的に認識し訂正するための白内障手術のＡＩベースの映像解析を提供する。【解決手段】 眼科手術中のプランパラメータからの逸脱を認識するためのコンピュータによって実装される方法を記載し、この方法は白内障手術の映像シーケンスを提供するステップであって、映像シーケンスは画像記録機器によって記録されている、提供するステップと、白内障手術後の実際の屈折値を予測するための機械学習モデルを形成するために、提供された映像シーケンス、更にはそれぞれの事例において白内障手術中に挿入される眼内レンズの計画された屈折力、及び訓練入力データとしての白内障手術後の目標屈折値、及び白内障手術後の実際の屈折値形式の関連する予測結果を使用して機械学習システムを訓練するステップと、訓練される機械学習システムのパラメータ値を永続的に記憶するステップとを含む。【選択図】 図１

Description

本発明は手術の動的解析に関し、具体的には眼科手術中にプランパラメータからの逸脱を認識するためのコンピュータによって実装される方法、対応するシステム、及びその方法を実行するための対応するコンピュータプログラム製品に関する。
近年、例えば（加齢に伴う）屈折異常の場合又は白内障の場合に目の生物学的レンズを人工眼内レンズ（ＩＯＬ）で置換することが眼科学の分野で一層普及している。このプロセスにおいて、生物学的レンズが低侵襲治療によって水晶体嚢から分離され、除去される。次いで、白内障の場合は不透明になっているレンズが人工レンズインプラントによって置換される。このプロセスにおいて、空いている水晶体嚢の中にこの人工レンズインプラント又は眼内レンズが挿入される。眼内レンズの正しい位置の知識及び所要の屈折力は互いに依存する。
典型的には、手術の準備の一環としてその手術に向けての準備段階においてプランパラメータを決定することが試みられる。例として、かかるパラメータは術後の目の中のＩＯＬの位置及び求められている実効屈折値を含む。しかし、白内障手術のために最初に行ったパラメータ、例えばＩＯＬの位置及び／又は屈折力、水晶体圧、ｐｈａｃｏ時間等の選択は複雑化が発生することで白内障手術中に患者にとってもはや最良の選択ではなくなる可能性がある。ＩＯＬ屈折力の具体例では、そのような事例は例えば嚢切開の差異又は切開の結果としてその屈折に関して変更されている角膜によって生じ得る。その結果、患者にとって術後に「不快な驚き」（所謂「屈折誤差」）があり得る。
この脈絡において、従来技術は既に文献を有している：（非特許文献１）。そこに記載されている研究は、機械学習技法を使用して新たな眼内レンズに関する屈折力計算の精度を発展させ評価することに関連する。白内障手術を受けた患者のデータがベースとして使用される。
従ってそのような術後の予期せぬ効果を最小限に抑え或いは完全に防ぐために、可能な限り最適な手術結果を得る目的で手術中に生じる追加データを使用することが望ましい。
ＧＯＮＺＡＬＥＺ，Ｄａｖｉｄ Ｃａｒｍｏｎａ；ＢＡＵＴＩＳＴＡ，Ｃａｒｌｏｓ Ｐａｌｏｍｉｎｏ．Ａｃｃｕｒａｃｙ ｏｆ ａ ｎｅｗ ｉｎｔｒａｏｃｕｌａｒ ｌｅｎｓ ｐｏｗｅｒ ｃａｌｃｕｌａｔｉｏｎ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ．Ｅｙｅ，２０２１，Ｖｏｌ．３５，Ｎｏ．２，ｐｐ．５１７－５２２．ＤＯＩ：ｈｔｔｐｓ：／／ｄｏｉ．ｏｒｇ／１０．１０３８／ｓ４１４３３－０２０－０８８３－３
この目的は、独立請求項による、本明細書で提案する方法、対応するシステム、及び関連するコンピュータプログラム製品によって実現される。個々の従属請求項によって更なる実施形態を記載する。
本発明の一態様によれば、眼科手術中のプランパラメータ又はプランパラメータ値からの逸脱を認識するためのコンピュータによって実装される方法が提示される。この方法は、白内障手術の映像シーケンスを提供するステップであって、映像シーケンスは画像記録機器によって記録されている、提供するステップと、白内障手術後の実際の屈折値を予測するための機械学習モデルを形成するために、提供された映像シーケンス、更にはそれぞれの事例において白内障手術中に挿入される眼内レンズの計画された屈折力、及び訓練入力データとしての白内障手術後の目標屈折値、及び白内障手術後の実際の屈折値形式の関連する予測結果を使用して機械学習システムを訓練するステップとを含む。
更にこの方法は、訓練される機械学習システムのパラメータ値を永続的に記憶するステップを含む。
本発明の別の態様によれば、眼科手術中のプランパラメータ又はプランパラメータ値からの逸脱を認識するための手術支援システムが提示される。この手術支援システムは、プログラムコードを記憶するメモリと、メモリに接続される１つ又は複数のプロセッサであって、プログラムコードを実行するとき以下のユニット、つまり白内障手術の映像シーケンスを提供するための映像シーケンス記憶機器であって、映像シーケンスは画像記録機器によって記録されている、映像シーケンス記憶機器、白内障手術後の実際の屈折値を予測するための機械学習モデルを形成するために、提供された映像シーケンス、更にはそれぞれの事例において白内障手術中に挿入される眼内レンズの計画された屈折力、及び訓練入力データとしての白内障手術後の目標屈折値、及び白内障手術後の実際の屈折値形式の関連する予測結果を使用して機械学習システムを訓練するための訓練制御システム、及び訓練される機械学習システムのパラメータ値を永続的に記憶するためのパラメータ値メモリを制御するように手術支援システムを促す、１つ又は複数のプロセッサとを含む。
更に実施形態は、コンピュータ又は他の任意の命令実行システムによって使用するための又はそれらに関連するプログラムコードを含むコンピュータ使用可能媒体又はコンピュータ可読媒体からアクセス可能なコンピュータプログラム製品に関係し得る。この説明の脈絡では、コンピュータ使用可能媒体又はコンピュータ可読媒体はプログラムコードを記憶し、伝達し、伝送し、又は搬送するのに適した任意の機器とすることができる。
眼科手術中のプランパラメータからの逸脱を認識するためのコンピュータによって実装される方法は、関連するシステムにもしかるべく当てはまり得る複数の利点及び技術的効果を有する：
手術中に生じるデジタル画像のシーケンス、即ち映像シーケンス形式の動的データを使用することは手術の成功に著しく貢献し得る。医師は、最適に準備された白内障手術の場合でさえ入手可能でなかった更なる情報を手術中に得ることができる。
このようにして白内障手術中の不確実性又は予期せず生じる複雑化を回避することができる。このことは、患者にとってもはや最良の選択ではないことが手術中に分かった元々考えられていたパラメータ値からの逸脱を補償する。従って患者は術後の「不快な驚き」（「屈折誤差」）を免れる。
術前又は術中のＯＣＴデータは、ＩＯＬパラメータの選択に影響を及ぼす更なる入力パラメータであり得る。その結果、予測のための多様なデータ（即ち映像、ＯＣＴ等）の使用が可能になる。更に、結果として水晶体超音波吸引装置のパラメータ値も同様にＭＬモデルのための入力として使用することができる。
更に医師は、挿入されるＩＯＬの種類を変更する推薦に関連する指示を手術が行われている間に直接得ることができる。更に、標準の手術手続きからの逸脱が現在ある領域を映像ストリーム（即ち映像シーケンス）内で直接強調表示することができる。更に、適応された屈折力を有する異なるレンズを手術中に選択するために、計画された屈折力から逸脱する場合があるＩＯＬの所要の屈折力を医師に示すことが可能である。挿入されるＩＯＬのレンズの種類にも同じことが任意選択的に当てはまる。
方法及び対応するシステムの両方に関して有効性を有し得る更なる例示的実施形態を以下に示す。
本方法の有利な実施形態によれば、機械学習システムを訓練して機械学習モデルを形成するために、訓練される機械学習システム用の追加の入力データを使用することができ、追加の入力データは手術する目に関する眼科手術前の眼科測定データ及び挿入される眼内レンズの形状で構成されるグループから選択される少なくとも１つの項目を含む。加えて、訓練用の入力データとして更なるプランパラメータを使用することができる。原則的に、より多くのデータが使用され入手可能であればあるほど、得ることができる結果がより使用可能になり現実に近づくこともここでは当てはまる。例として、眼科測定データはＡ走査又はＢ走査によって得ることができ、又はｅｎ ｆａｃｅ ＯＣＴデータとすることもできる。
本方法の別の有利な実施形態によれば、機械学習システムは再帰型ニューラルネットワークであり得る。こうして構成されるニューラルネットワークは、例えば映像シーケンスのデジタルフレームの場合のように経時変化する入力データを解析するのに特に適している。
本方法の発展した実施形態によれば、機械学習システムは３Ｄ畳み込みニューラルネットワークであり得る。この種のニューラルネットワークは、例えばデジタル画像のシーケンス（映像シーケンス）形式の生データの使用に特に適しており、複数の隣接フレーム内に動き情報が符号化されている状態で３Ｄ畳み込みを行うとき空間次元及び時間次元の両方を考慮することができる。
本方法の更に有利な実施形態によれば、後者は現在の白内障手術中に画像記録機器によって映像シーケンスを記録するステップと、訓練される機械学習システムを使用して現在の白内障手術後の実際の屈折値を動的に予測するステップとを更に含み得る。この事例では、現在の白内障手術の記録された映像シーケンスを訓練される機械学習システムに入力データとして継続的及び動的に供給することができる。加えて、挿入される眼内レンズの現在の目標屈折値及び現在の計画された屈折力は、訓練される機械学習システムのための更なる入力データとして使用することができる。
この段階では、医師を支援するために既に訓練されている機械学習システムを白内障手術中に実際に使用することができる。本方法のこのコンポーネントは、上記で更に説明した第１の態様による方法と別個だと理解することもできる。接続要素は機械学習システムのモデルによって表され、かかるモデルは機械学習モデルをベースとして使用しながらその実際の訓練から（空間及び時間の点で）独立して自律的に使用可能である。このことは、その後の推論段階よりも著しく多くの計算能力を必要とし得る訓練により強力なコンピュータシステムを使用できる点でも有利である。これを使用し、基礎を成す手術支援システムの訓練及び実際の使用を論理的にも物理的にも互いに分けることができる。
更に、ここでは機械学習システムの入力データとして目の更なる眼科パラメータ値も使用することができる。機械学習システムの訓練段階中にかかるパラメータ値も使用することが有利である。
更に、本方法のこの段階の画像記録機器は訓練段階中の画像記録機器と異なり得ることに言及しておく。これは訓練段階及び手術段階、即ち推論段階が時間及び空間の両方において分けられ得ることに基づく。
本方法の補足的な実施形態によれば、現在の白内障手術後の実際の屈折値を動的に予測するために、訓練される機械学習システムに更なる追加の入力データを使用することができ、更なる追加の入力データは以下のグループ、つまり眼科手術前の手術される目の眼科測定データ及び挿入される眼内レンズの形状から選択される少なくとも１つの項目を含む。理想的には、これらの追加のパラメータの値は訓練中の入力データとしても使用され、それによりかかるパラメータの値の影響を機械学習モデルにおいて考慮に入れることができる。これは追加の入力データとしての指定のプランパラメータ、並びに任意の更なるプランパラメータ及びその値の両方に当てはまる。
更に、手術支援システムにより、本方法は予測／推薦（説明可能なＡＩ）に関する根拠の指示を手術中に、例えば医師の視野内の直接表示、テキストによる記述、予測信頼度の明記、及び所与の標準から現在の手術の経過がどの程度逸脱しているのかの明記等によって可能にすることができる。
本方法の補足的な発展した実施形態によれば、後者は更に挿入される眼内レンズの計画された屈折力及び現在の白内障手術後の予測される実際の屈折値から屈折逸脱値を決定するステップ、及び白内障手術中に挿入される眼内レンズの新たな屈折力を動的に決定するステップで構成されるグループから選択される少なくとも１つの方法ステップを追加で含むことができる。
更に、挿入される眼内レンズの計画された屈折力、標的屈折値、屈折逸脱値、挿入される眼内レンズの新たな屈折力、及び挿入される眼内レンズの形状で構成されるグループから選択される少なくとも１つの値を簡潔に可視化し、それにより医師が自らの作業を行うのを支援することが可能である。
屈折逸脱値がゼロに等しい場合、挿入される眼内レンズの新たな屈折力（能力）は計画された屈折力から逸脱する。このようにして、異なる屈折力を有する異なるレンズを選択するよう手術中に医師に知らせることが可能である。これは挿入される眼内レンズの種類にも当てはまる。これらの全ての値は例えば外科用顕微鏡又は手術モニタの視野内にオーバレイすることができ、又は異なるやり方で別々に表示することができる。
本方法の別の簡潔な実施形態によれば、学習モデルを形成するための訓練中に及び／又は実際の屈折値の動的予測中に、白内障手術の種類を追加の入力値として使用することができる。適切な例示的実施形態では、白内障手術の種類は、他の種類に加えて、水晶体超音波吸引の種類、Ｙａｍａｎｅ ｔｅｃｈｎｉｑｕｅが使用されるかどうか、それが前眼房眼内レンズの挿入に関係するかどうか、又はそれが溝内の眼内レンズの固定に関係するかどうかに関係し得る。白内障手術の種類に応じて映像シーケンスから特定のパターンを取得することができ、それらのパターンは手術の現在の経過の特異性、例えば異常を示し、又はそれにより相応に逸脱した予測が機械学習システムによって実装される。
本方法の別の簡潔な実施形態によれば、機械学習システムは予め訓練することができる。このことは実際の訓練時間を短縮できる点で有利である。任意選択的に、より少ない訓練データが必要とされる可能性もある。事前訓練用のデータは機械によって生成されてもよく、及び／又は物理的モデルに基づき得る。実際の臨床的な眼科データを用いた実際の好ましくは短縮された訓練中、既に事前訓練されている機械学習モデルの微調整だけが依然として必要である。
本方法の更なる実施形態によれば、挿入される眼内レンズは、挿入される球面レンズ、トーリックレンズ、又は多焦点の眼内レンズであり得る。このことは、挿入される計画された眼内レンズ及び機械学習システム又はそのモデルによる予測の両方に関係し得る。
本方法の更に発展した実施形態によれば、訓練される機械学習システムは説明型の機械学習システム（説明型の人工知能）とすることができる。予測（推論）プロセス又はその一部が可視化される結果、予測が基づく入力値、又はどの入力値が予測値に対して最も影響したのかを（例えば記録される映像シーケンス内でさえ）観察者（例えば医師）に表示することができる。この目的を達成するために使用される可能な方法は例えばクラス活性化マッピングであり、クラス活性化マッピングでは判断にとって重要な領域を強調表示することができるヒートマップの一種が、異常と一連の正常な事象とをフレームごとに区別するために画像内で使用される。
本発明の例示的実施形態を様々な実装カテゴリに関して記載する場合があることを指摘しておく。一部の例示的実施形態はとりわけ方法に関して記載するのに対し、他の例示的実施形態は対応する機器の脈絡で記載する場合がある。それにもかかわらず、方法の特徴の可能な組み合わせ、更には特徴の可能な組み合わせを明らかにし、それらを上記の及び以下の説明に由来する対応するシステムと、たとえそれらが異なる請求項のカテゴリに属していても別段の定めがない限り組み合わせることが当業者にとって可能である。
上記で既に説明した態様及び本発明の更なる態様が、記載する例示的実施形態から及び図面に関して記載する追加の更なる特定の改良からとりわけ明らかになる。
本発明の好ましい例示的実施形態を例として及び以下の図面に関して記載する。
眼科手術中のプランパラメータからの逸脱を認識するためのコンピュータによって実装される方法の例示的実施形態のフローチャート様の表現を示す。 目の様々な生体測定パラメータと共に目を示す。 基礎を成す提案する方法又は関連するシステムの本質的な機能コンポーネントの概略的構造を示す。 機械学習システムを動作させるためのコンポーネントを有する図を示す。 本発明による手術支援システムの図を示す。 図５によるシステムを全て又は部分的に追加で含み得るコンピュータシステムの図を示す。
この説明の文脈では慣習、用語、及び／又は表現は下記の通り理解すべきである：
「眼内レンズ」という用語は、生来の生物学的レンズを置換するために手術によって患者の目に挿入することができる人工レンズを表す。
「機械学習システム」という用語は典型的には方法にも割り当てられるシステムを表し、前述のシステムは例から学習する。この目的を達成するために、既に事前に設定されている出力値（分類システムの場合は出力クラス）を予測するために注釈付きの訓練データ（即ちメタデータも含む）が機械学習システムに供給される。出力クラスが十分な精度、即ち事前に決定された誤り率で正しく出力される場合、その機械学習システムは訓練されていると見なされる。様々な機械学習システムが知られている。それらの機械学習システムは、ニューラルネットワーク、畳み込みニューラルネットワーク（ＣＮＮ）、或いは再帰型ニューラルネットワーク（ＲＮＮ）を含む。
原則として、「機械学習」という用語は人工知能分野の基本用語又は基本機能であり、「学習する」能力をコンピュータシステムに与えるために例えば統計的方法が使用される。例として、この場合は特定のタスクの範囲内の一定の挙動パターンが最適化される。使用される方法は、データを解析する能力をその目的用の明確な手続きプログラミングを必要とすることなしに訓練される機械学習システムに与える。典型的には、例えばＮＮ（ニューラルネットワーク）又はＣＮＮ（畳み込みニューラルネットワーク）が、人工ニューロンとして機能するノードのネットワーク及び人工ニューロン間の人工的な接続（所謂リンク）を形成するための機械学習用のシステムの例であり、人工的なリンクにはパラメータ（例えばリンクのための重み付けパラメータ）が指定され得る。活性化関数がノード内で活性状態にあり得る。ニューラルネットワークの訓練中、所望の結果を生成するためにリンクの重み付けパラメータ値が入力信号に基づいて自動的に適合する。本明細書が該当するように教師付き学習の場合、所望の出力値（所望のクラス）、この場合は例えば白内障手術後の実際の屈折値の予測を生成するために、入力値（訓練データ）として供給される映像シーケンス形式のデジタル画像及び他の入力データ（概して（入力）データ）が注釈形式の所望の出力データ（即ち所謂グラウンドトゥルースデータ）によって補完される。非常に広く考えると、出力データに対する入力データのマッピングが学習される。
「ニューラルネットワーク」という用語は、計算操作（活性化関数）を実行するための１つ又は複数の入力及び１つ又は複数の出力を有する電子的に実現されるノードで作られるネットワークを表す。ニューラルネットワークでは被選択ノードが接続、所謂リンク又は辺によって相互接続される。接続は前のノードの出力値に影響を与えることができる一定の属性、例えば重み付けパラメータ値を有することができる。
ニューラルネットワークは典型的には複数の層によって構築される。少なくとも入力層、隠れ層、及び出力層が存在する。簡単な例では、画像データ（例えば映像シーケンスのフレーム）を入力層に供給することができ、出力層は画像データに関する分類結果又は更なる入力パラメータ値を有することができる。但し典型的なニューラルネットワークは多数の隠れ層を有する。ノードがリンクによってどのように接続されるのかは、個々のニューラルネットワークの種類によって決まる。この例では、ニューラル学習システムの予測値は白内障手術後の挿入ＩＯＬを有する目の実際の屈折値とすることができる。
「再帰型ニューラルネットワーク」という用語は、フィードフォワードネットワークとは対照的に或る層のニューロン（即ちノード）の同じ又は前の層のニューロンに対するリンクによって区別されるニューラルネットワークを表す。これは脳内の、とりわけ新皮質内の神経回路網の相互接続の好ましい方法である。人工ニューラルネットワークでは、データ内の時間符号化された、即ち動的な情報を発見するためにモデルニューロンの再帰型接続が頻繁に使用される。かかる再帰型ニューラルネットワークの例はエルマンネットワーク、ジョーダンネットワーク、ホップフィールドネットワーク、及び全結合ニューラルネットワークを含む。これらの再帰型ニューラルネットワークは目を記録する際の動的挙動を調べる、とりわけ目の遠近調節挙動を考慮に入れるためにも適している。
とりわけ目の「パラメータ値」という用語は、患者の目の幾何学的値若しくは生体測定値又は眼科データを表す。目のパラメータ値の例については図２に基づいて以下でより詳細に説明する。
「走査結果」という用語は、患者の目のＯＣＴ（光コヒーレンス断層撮影法）検査の結果を表す例えばデジタル画像／記録に基づくデジタルデータを表す。
「光コヒーレンス断層撮影法」（ＯＣＴと略記する）という用語は、マイクロメータの解像度で散乱体（例えば生物組織）の二次元記録又は三次元記録（２Ｄ又は３Ｄ）を得るための眼科学の既知の撮像方法を表す。このプロセスでは、光源、ビームスプリッタ、及び例えばデジタル画像センサ形式のセンサが基本的に使用される。眼科学では、ＯＣＴは個々のレチナール層の反射挙動の空間的差異を検出するために使用され、形態構造を高解像度で表すことができる。
「Ａ走査」という用語（軸方向奥行き走査とも呼ばれる）は、患者の目の走査の一次元の結果を表し、かかる結果は目の中の構造の幾何学的寸法及び位置に関する情報を与える。
「Ｂ走査」という用語は、目を通る断面を得るための上述の複数のＡ走査の横方向のオーバレイを表す。そのようにして生成される目の複数の層を組み合わせることにより、ボリュームの表示も生成可能である。
この事例の「ｅｎ ｆａｃｅ ＯＣＴ」という用語は、上述のＡ走査又はＢ走査を使用する縦断面像とは対照的に目の横断面像を作成するための方法を表す。
この事例の例えば走査による「デジタル画像」という用語は、物理的に存在する物体、例としてこの事例では目の網膜の画像表現、又はかかる物体からピクセルデータ形式で一定量のデータを生成した結果を表す。より広くは、「デジタル画像」は二次元の信号行列だと理解することができる。ＣＮＮの層のための入力ベクトルを生成するために、行列の個々のベクトルは互いにアジョイン（ａｄｊｏｉｎ）することもできる。デジタル画像は映像シーケンス、即ち映像ストリームの個々のフレームとすることもできる。
「訓練データ」という用語は、機械学習システムを訓練するために使用可能なデータを表す。この事例では、機械学習システム用のこれらの訓練データは手術の映像シーケンス、及び任意選択的に過去の成功したレンズ交換手術の白内障手術後の目の更なるパラメータ値、例えば眼科データ及び関連する屈折力値又は実際の屈折値である。
「眼内レンズの屈折力」という用語はＩＯＬの屈折率を表す。
とりわけ例えばニューラルネットワーク等の機械学習システムの「ハイパパラメータ」という用語は、機械学習システムのアーキテクチャを特に表す。これはネットワークの基本構造、即ちネットワークのアーキテクチャ又はトポロジ、及び機械学習システムの訓練によって変更されない更なる内部パラメータ、即ち具体的には層の数、層ごとのノードの数、及びノードごとの利用される活性化関数を含み得る。この種のハイパパラメータはモデルハイパパラメータと呼ばれる。別の種類のハイパパラメータはアルゴリズムハイパパラメータであり、アルゴリズムハイパパラメータは本質的に訓練挙動自体に、つまり例えば訓練バッチサイズ及び任意選択的にＭＬシステムの予測挙動に対する影響を（訓練の完了後に）有することなしに学習速度への影響を有する逆伝播関数の種類にも関係する。
より明確にすると：それとは対照的に機械学習システムのパラメータ値、つまり例えば或る層内のノードに対する別の層内のノードのリンクのための加重値は訓練中に適応される。
図面の詳細な説明を以下に示す。この事例では図中の詳細及び情報の全てが概略的に示されていることが理解されよう。最初に示すのは、挿入される眼内レンズの屈折力を決定するための本発明によるコンピュータによって実装される方法の或る例示的実施形態のブロック図である。更なる例示的実施形態又は対応するシステムの例示的実施形態を以下に記載する。
図１は、眼科手術中のプランパラメータからの逸脱を認識するための本発明によるコンピュータによって実装される方法１００の例示的実施形態のフローチャート様の表現を示す。方法１００は、白内障手術、即ち目の生物学的レンズを人工レンズで置換するためのちょうど行われた手術の映像シーケンスを提供するステップ１０２と、白内障手術後の実際の屈折値を予測するための機械学習モデルを形成するために、提供された映像シーケンス、更にはそれぞれの事例において白内障手術中に挿入される眼内レンズの計画された屈折力、及び訓練入力データとしての白内障手術後の目標屈折値、及び白内障手術後の実際の屈折値形式の関連する予測結果、即ち予測を使用して機械学習システムを訓練するステップ１０４とを含む。白内障手術後の実際の測定可能な屈折値は、学習モデルを形成するための機械学習システムの本明細書で示す教師付き訓練の訓練段階中の注釈、ラベル、又はグラウンドトゥルースと見なされる。この事例では、映像シーケンスが画像記録機器によって記録される。画像記録機器は拡大光学系及び画像センサによってフレームを記録し記憶する外科用顕微鏡とすることができ、前述のフレームのシーケンスが映像シーケンスをもたらす。或いは拡大は純粋に電子－アルゴリズム式に実装することもできる。
更に方法１００は、訓練される機械学習システムのパラメータ値及び任意選択的にハイパパラメータ値を永続的に記憶するステップ（１０６）を含む。パラメータ値、ニューラルネットワークのノードの活性化関数、及び機械学習システムの実際の構造を表す更なるハイパパラメータ値を記憶することは、訓練されるニューラルネットワーク又は実際の機械学習モデルが、訓練時のハードウェアと比較してことによると異なるハードウェア上で予測操作（予測）のために後に使用されることを可能にする。
図２は、目の様々な生体測定パラメータ又は眼科パラメータと共に目２００を示す。具体的には以下のパラメータ、つまり眼軸長２０２（ＡＬ）、前眼房の奥行き２０４（ＡＣＤ）、角膜曲率測定値２０６（Ｋ、半径）、レンズの屈折力（能力）、レンズの厚さ２０８（ＬＴ）、角膜中央部の厚さ２１０（ＣＣＴ）、水平角膜径２１２（ＷＴＷ）、瞳孔の大きさ２１４（ＰＳ）、後眼房の奥行き２１６（ＰＣＤ）、網膜の厚さ２１８（ＲＴ）が示されている。この図面はとりわけ白内障手術の分類のための背景情報として役立つ。
図３は、提案する方法の実装に有用な本質的な機能ブロックの概略的構造３００を示す。中央にあるのは訓練される機械学習システム３１０であり、機械学習システム３１０は訓練される機械学習システムのパラメータ値及び任意選択的にハイパパラメータ値によって表され得る学習モデルを生成するために教師付き学習によって訓練される。挿入される眼内レンズの計画された屈折力３０４（又は計画された屈折力の値）及び白内障手術後の目標屈折値３０６の（映像カメラによって記録される映像シーケンス３０２形式の）記録済みデジタル画像のシーケンスが訓練入力値として使用される。更に、機械学習システムを訓練するために所与の入力データ、即ちグラウンドトゥルースデータ、注釈、又はラベルに関する期待目標値、具体的には術後の実際の測定屈折力値３０８が利用可能にされる。
この段階の結果は、白内障手術後の実際の屈折値を予測するための訓練された機械学習システム又は関連する機械学習モデル３１２である。
図４は、訓練される機械学習システム３１２を動作させるためのコンポーネントを有する図４００を示す。この場合もやはり、訓練される機械学習システム３１２への入力データとして映像シーケンス４０２が手術中に供給される。更に、挿入される眼内レンズの計画された屈折力、及び白内障手術後の目標屈折値４０６が更なるパラメータ値として使用される。更なるパラメータ値、例えば目の眼科データが機械学習システム３１２の訓練中に使用された場合、対応する追加の入力データもここでは訓練される機械学習システム３１２に使用されるべきである。
その結果、医師は少なくとも術後の予測目標屈折値及び術後のプラン屈折値並びにこの点に関する偏差値で構成される予測データを例えば可視化された形式４０８で得る。更に、挿入される眼内レンズの種類に関する推薦及び計画されたＩＯＬの種類を医師に示すことができる。このようにしてＩＯＬの挿入後に患者への予期せぬ効果がないように、医師は手術中に追加の重要な指示を動的に得る。
図５は、提案する方法１００による機械学習システム５１０の訓練を支援する、手術支援システム５００のコンポーネントの好ましい例示的実施形態を完全を期すために示す。
眼科手術中のプランパラメータ値からの逸脱を認識するための手術支援システム５００は、プログラムコードを記憶する少なくとも１つのメモリ５０４と、メモリ５０４に接続される１つ又は複数のプロセッサ５０２であって、プログラムコードを実行するとき以下のユニット、つまり白内障手術の映像シーケンスを提供するための映像シーケンス記憶機器５０６であって、映像シーケンスは画像記録機器によって記録されている、映像シーケンス記憶機器５０６、白内障手術後の実際の屈折値を予測するための機械学習モデルを形成するために、提供された映像シーケンス、更にはそれぞれの事例において白内障手術中に挿入される眼内レンズの計画された屈折力、及び訓練入力データとしての白内障手術後の目標屈折値、及び白内障手術後の実際の屈折値形式の関連する予測結果を使用して機械学習システム５１０を訓練するための訓練制御システム５０８、及び訓練される機械学習システムのパラメータ値及び任意選択的にハイパパラメータ値を永続的に記憶するためのパラメータ値メモリ５１２を制御するように手術支援システム５００を促す、１つ又は複数のプロセッサ５０２とを含む。
モジュール及びユニット、具体的にはプロセッサ５０２、メモリ５０４、映像シーケンス記憶機器５０６、訓練制御システム５０８、（３１２に対応する）機械学習システム５１０、及びパラメータ値メモリ５１２は信号又はデータを交換するために電気信号線によって又はシステム内部バスシステム５１４によって接続され得ることを明示的に言及する。映像シーケンス記憶ユニット５０６及びパラメータ値メモリ５１２は同一の記憶システムを使用することができる。加えて、屈折力を出力し、表示し、或いは更に処理し又は転送するためにディスプレイユニット（不図示）もシステム内部バスシステム５１４に接続され得る。
実用的な手術用途では、手術支援システムの僅かに異なる設計が有利である（不図示）。この目的を達成するために、機械学習システムの予測値を医師に表示するためにプロセッサ、プログラムコード用のメモリ、訓練される機械学習システム３１２、及びディスプレイユニットが有用である。
図６は、屈折力を決定するためのシステムの少なくとも一部を有し得るコンピュータシステムのブロック図を示す。本明細書で提案する概念の実施形態は、原則的にプログラムコードを記憶し及び／又は実行するためにコンピュータ内で使用されるプラットフォームに関係なく、事実上如何なる種類のコンピュータとも一緒に使用することができる。図６は、本明細書で提案する方法によるプログラムコードを実行するのに適しているが予測システムを全て又は部分的に含むこともできるコンピュータシステム６００を例として示す。
コンピュータシステム６００は複数の汎用機能を有する。コンピュータシステムはこの事例ではタブレットコンピュータ、ラップトップ／ノートブックコンピュータ、別の携帯型又はモバイル電子装置、マイクロプロセッサシステム、マイクロプロセッサベースのシステム、スマートフォン、特別に構成された専用機能を有するコンピュータシステム、或いは顕微鏡システムの構成要素とすることができる。コンピュータシステム６００は、本明細書で提案する概念の機能を実装するために実行され得る例えばプログラムモジュール等のコンピュータシステム実行可能命令を実行するように構成され得る。このために、プログラムモジュールは特定のタスク又は特定の抽象データ型を実装するためのルーチン、プログラム、オブジェクト、コンポーネント、ロジック、データ構造等を含み得る。
コンピュータシステムのコンポーネントは、１つ又は複数のプロセッサ又は処理ユニット６０２、記憶システム６０４、及び記憶システム６０４を含む様々なシステムコンポーネントをプロセッサ６０２に接続するバスシステム６０６を有し得る。コンピュータシステム６００は、典型的にはコンピュータシステム６００によってアクセス可能な複数の揮発性又は不揮発性記憶媒体を有する。記憶システム６０４は、プロセッサ６０２によって実行されるように例えばＲＡＭ（ランダムアクセスメモリ）６０８等の中に記憶媒体のデータ及び／又は命令（コマンド）を揮発的な形で記憶することができる。それらのデータ及び命令は本明細書で提案する概念の１つ又は複数の機能又はステップを実行する。記憶システム６０４の更なるコンポーネントは、プログラムモジュール及びデータ（参照番号６１６）更にはワークフローを記憶することができる永続メモリ（ＲＯＭ）６１０及び長期メモリ６１２であり得る。
コンピュータシステムは通信のための幾つかの専用機器（キーボード６１８、マウス／ポインティングデバイス（不図示）、画面６２０等）を有する。それらの専用機器はタッチセンスディスプレイ内に組み込むこともできる。別々に設けられるＩ／Ｏコントローラ６１４は外部装置とのスムーズなデータ交換を確実にする。ローカル又はグローバルネットワーク（例えばインターネットを介したＬＡＮ、ＷＡＮ）による通信のためにネットワークアダプタ６２２を利用することができる。ネットワークアダプタは、バスシステム６０６を介してコンピュータシステム６００の他のコンポーネントによってアクセスされ得る。この事例では、不図示だが他の機器もコンピュータシステム６００に接続され得ることが理解されよう。
手術支援システム５００（図５参照）の少なくとも一部もバスシステム６０６に接続され得る。手術支援システム５００及びコンピュータシステム６００は、任意選択的にメモリ及び／又はプロセッサを一緒に使用することができる。
本発明の様々な例示的実施形態の説明は、理解の助けとなるように示してきたが、本発明の概念をそれらの例示的実施形態に直接制限する働きはしない。更なる修正形態及び改変形態を当業者自身で立案されよう。本明細書で使用した用語は、例示的実施形態の基本原理を最もよく説明するように及び当業者にとってかかる基本原理を容易に利用できるようにするために選択した。
本明細書で提案した原理はシステムとして、方法として、その組み合わせとして、及び／又はコンピュータプログラム製品としても具体化することができる。この場合のコンピュータプログラム製品は、本発明の様々な態様を実行するようにプロセッサ又は制御システムを促すためのコンピュータ可読プログラム命令を含む１つ（又は複数）のコンピュータ可読記憶媒体を有し得る。
転送媒体として電子的、磁気的、光学的、電磁的、若しくは赤外線媒体又は半導体システム、例えばＳＳＤ（ソリッドステートメモリとしてのソリッドステート装置／ドライブ）、ＲＡＭ（ランダムアクセスメモリ）及び／又はＲＯＭ（読取専用メモリ）、ＥＥＰＲＯＭ（電気的消去可能ＲＯＭ）、又はその任意の組み合わせが使用される。伝播電磁波、導波管内の電磁波、又は他の伝送媒体（例えば光ケーブル内の光パルス）若しくは電線内で伝送される電気信号も転送媒体として検討される。
コンピュータ可読記憶媒体は、命令実行装置による使用のために命令を保持し又は記憶する実装機器であり得る。本明細書に記載したコンピュータ可読プログラム命令は、ケーブルによる接続又はモバイル無線ネットワークを介してサービスプロバイダから、例えば（スマートフォン）アプリケーションとして対応するコンピュータシステム上にダウンロードされてもよい。
本明細書に記載した発明の手術を行うためのコンピュータ可読プログラム命令は、例えばＣ＋＋、Ｊａｖａ等によって、又は例えばプログラミング言語「Ｃ」等の従来の手続き型プログラミング言語若しくは同様のプログラミング言語によって書かれる機械依存の又は機械非依存の命令、マイクロコード、ファームウェア、状態定義データ、又は任意のソースコード若しくはオブジェクトコードであり得る。コンピュータ可読プログラム命令はコンピュータシステムによって完全に実行され得る。一部の例示的実施形態では、本発明の態様に従って電子回路を構成し又はカスタマイズするために、コンピュータシステムは例えばコンピュータ可読プログラム命令の状態情報を使用することによってコンピュータ可読プログラム命令を実行するプログラム可能論理回路、書換可能ゲートアレイ（ＦＰＧＡ）、又はプログラム可能論理アレイ（ＰＬＡ）等の電子回路とすることもできる。
本明細書で提案した発明は、本発明の例示的実施形態による方法、機器（システム）、及びコンピュータプログラム製品のフローチャート及び／又はブロック図に関して更に示した。フローチャート及び／又はブロック図の事実上如何なるブロックもコンピュータ可読プログラム命令として設計され得ることを指摘しておく。
プロセッサ又はコンピュータ又は他のプログラム可能データ処理機器によって実行される命令がフローチャート及び／又はブロック図の中に示す機能又は手続きを実装するための手段を生成するように機械を作成するために、コンピュータ可読プログラム命令は別様にプログラム可能な汎用コンピュータ、専用コンピュータ、又はデータ処理システムに提供され得る。従ってこれらのコンピュータ可読プログラム命令はコンピュータ可読記憶媒体上に記憶することもできる。
この意味で、図示のフローチャート又はブロック図の中の如何なるブロックも特定の論理機能を実装するための幾つかの実行可能命令を表す命令のモジュール、セグメント、又は一部分を表し得る。一部の例示的実施形態では、個々のブロック内に示す機能が別の順序で、ことによると更には並列に実行され得る。
図示の構造、材料、シーケンス、及び添付の特許請求の範囲の中の関連機能を有する手段及び／又はステップの全ての等価物は、特許請求の範囲によって表す構造、材料、又はシーケンスの全てを当てはめることを意図する。
１００ 眼科手術中のプランパラメータからの逸脱を認識するための方法
１０２ １００の方法ステップ
１０４ １００の方法ステップ
１０６ １００の方法ステップ
２００ 目のパラメータ
２０２ 眼軸長
２０４ 前眼房の厚さ
２０６ 角膜曲率測定値
２０８ レンズの厚さ
２１０ 角膜中央部の厚さ
２１２ 水平角膜径
２１４ 瞳孔の大きさ
２１６ 後眼房の奥行き
２１８ 網膜の厚さ
３００ 方法を実装するための機能ブロック
３０２ カメラからの映像シーケンス
３０４ 計画された屈折力の値
３０６ 白内障手術後の目標屈折値
３０８ 術後の実際の測定屈折力値
３１０ 訓練中の機械学習システム
３１２ 学習モデルを有する訓練される機械学習システム
４００ 機械学習システムの活性状態の動作のためのコンポーネント
４０２ 映像シーケンス
４０４ 挿入される眼内レンズの計画された屈折力
４０６ 目標屈折値
４０８ 予測データの出力（可視化）
５００ 手術支援システム
５０２ プロセッサ
５０４ メモリ
５０６ 映像シーケンス記憶機器
５０８ 訓練制御システム
５１０ 機械学習システム
５１２ パラメータ値メモリ
５１４ バスシステム
６００ コンピュータシステム
６１０ プロセッサ
６０４ 記憶システム
６０６ バスシステム
６０８ ＲＡＭ
６１０ ＲＯＭ
６１２ 長期メモリ
６１４ Ｉ／Ｏコントローラ
６１５ プログラムモジュール、潜在的データ
６１８ キーボード
６２０ 画面
６２２ ネットワークアダプタ

Claims (14)

  1. 眼科手術中のプランパラメータ値からの逸脱を認識するためのコンピュータによって実装される方法（１００）であって、
    白内障手術の映像シーケンスを提供するステップ（１０２）であって、前記映像シーケンスは画像記録機器によって記録されている、提供するステップ（１０２）と、
    前記白内障手術後の実際の屈折値を予測するための機械学習モデル（３１２）を形成するために、
    提供された前記映像シーケンス（３０２）、
    更にはそれぞれの事例において白内障手術中に挿入される眼内レンズの計画された屈折力（３０４）、及び
    訓練入力データとしての前記白内障手術後の目標屈折値（３０６）、
    及び前記白内障手術後の前記実際の屈折値（３０８）形式の関連する予測結果
    を使用して機械学習システム（３１０）を訓練するステップ（１０４）と、
    前記訓練される機械学習システムのパラメータ値を永続的に記憶するステップ（１０６）と
    を含む、方法（１００）。
  2. 前記機械学習システム（３１０）を訓練（１０４）して前記機械学習モデルを形成するために、訓練される前記機械学習システム（３１０）用の追加の入力データを使用し、前記追加の入力データは手術する目に関する前記眼科手術前の眼科測定データ及び挿入される前記眼内レンズの形状で構成されるグループから選択される少なくとも１つの項目を含む、請求項１に記載の方法（１００）。
  3. 前記機械学習システム（３１０、３１２）が再帰型ニューラルネットワークである、請求項１又は２に記載の方法（１００）。
  4. 前記機械学習システム（３１０、３１２）が３Ｄ畳み込みニューラルネットワークである、請求項１又は２に記載の方法（１００）。
  5. －現在の白内障手術中に画像記録機器によって映像シーケンス（４０２）を記録するステップと、
    －前記訓練される機械学習システム（３１２）を使用して前記現在の白内障手術後の前記実際の屈折値を動的に予測するステップであって、前記現在の白内障手術の前記記録された映像シーケンス（４０２）は前記訓練される機械学習システム（３１２）に入力データとして継続的及び動的に供給され、挿入される眼内レンズの現在の目標屈折値（４０６）及び現在の計画された屈折力（４０４）は、前記訓練される機械学習システム（３１２）のための更なる入力データとして使用される、予測するステップと
    を追加で含む、請求項１～４の何れか一項に記載の方法（１００）。
  6. 前記現在の白内障手術後の前記実際の屈折値を前記動的に予測するために、前記訓練される機械学習システム（３１２）に追加の入力データが使用され、前記追加の入力データは以下のグループ、つまり前記眼科手術前の手術される目の眼科測定データ及び前記挿入される眼内レンズの形状から選択される少なくとも１つの項目を含む、請求項５に記載の方法（１００）。
  7. －前記挿入される眼内レンズの前記計画された屈折力及び前記現在の白内障手術後の前記予測される実際の屈折値から屈折逸脱値を決定するステップ、及び白内障手術中に挿入される前記眼内レンズの新たな屈折力を動的に決定するステップで構成されるグループから選択される少なくとも１つの方法ステップと、
    －前記挿入される眼内レンズの前記計画された屈折力、
    前記目標屈折値、
    前記屈折逸脱値、
    前記挿入される眼内レンズの前記新たな屈折力、及び前記挿入される眼内レンズの形状
    で構成されるグループから選択される少なくとも１つの値を可視化するステップ（４０８）と
    を追加で含む、請求項５又は６に記載の方法（１００）。
  8. 学習モデルを形成するための前記訓練中に及び／又は前記実際の屈折値の前記動的予測中に白内障手術の種類が追加の入力値として使用される、請求項１～７の何れか一項に記載の方法（１００）。
  9. 前記白内障手術の種類が、水晶体超音波吸引に基づき、Ｙａｍａｎｅ ｔｅｃｈｎｉｑｕｅを使用し、前眼房眼内レンズの挿入に関係し、又は溝内の前記眼内レンズの固定に関係する、請求項８に記載の方法（１００）。
  10. 前記機械学習システムが予め訓練される、請求項１～９の何れか一項に記載の方法（１００）。
  11. 前記挿入される眼内レンズが、挿入される球面レンズ、トーリックレンズ、又は多焦点の眼内レンズである、請求項１～１０の何れか一項に記載の方法（１００）。
  12. 前記訓練される機械学習システムが説明型の機械学習システムである、請求項１～１１の何れか一項に記載の方法（１００）。
  13. 眼科手術中のプランパラメータ値からの逸脱を認識するための手術支援システム（５００）であって、
    －プログラムコードを記憶するメモリ（５０４）と、前記メモリに接続される１つ又は複数のプロセッサ（５０２）であって、前記プログラムコードを実行するとき以下のユニット、つまり
    －白内障手術の映像シーケンス（３０２）を提供するための映像シーケンス記憶機器（５０６）であって、前記映像シーケンス（３０２）は画像記録機器によって記録されている、映像シーケンス記憶機器（５０６）、
    －前記白内障手術後の実際の屈折値を予測するための機械学習モデル（３１２）を形成するために、提供された前記映像シーケンス（３０２）、更にはそれぞれの事例において白内障手術中に挿入される眼内レンズの計画された屈折力（３０４）、及び訓練入力データとしての前記白内障手術後の目標屈折値（３０６）、及び前記白内障手術後の実際の屈折値（３０８）形式の関連する予測結果を使用して機械学習システム（３１０）を訓練するための訓練制御システム（５０８）、及び
    －前記訓練される機械学習システム（３１２）のパラメータ値を永続的に記憶するためのパラメータ値メモリ
    を制御するように前記手術支援システムを促す、１つ又は複数のプロセッサ（５０２）と
    を含む、システム（５００）。
  14. 眼科手術中のプランパラメータからの逸脱を認識するためのコンピュータプログラム製品であって、前記コンピュータプログラム製品はプログラム命令が記憶されたコンピュータ可読記憶媒体を有し、前記プログラム命令は１つ若しくは複数のコンピュータ（６００）又は制御ユニットによって実行可能であり、請求項１～１２の一項による方法を実行するように前記１つ若しくは複数のコンピュータ（６００）又は制御ユニットを促す、コンピュータプログラム製品。
JP2022051166A 2021-04-20 2022-03-28 機器の作動方法、システム、およびコンピュータプログラム製品 Active JP7402262B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021109945.5A DE102021109945B4 (de) 2021-04-20 2021-04-20 Ki-basierte videoanalyse der kataraktchirurgie zur dynamischen anomalieerkennung und korrektur
DE102021109945.5 2021-04-20

Publications (2)

Publication Number Publication Date
JP2022165915A true JP2022165915A (ja) 2022-11-01
JP7402262B2 JP7402262B2 (ja) 2023-12-20

Family

ID=83447218

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022051166A Active JP7402262B2 (ja) 2021-04-20 2022-03-28 機器の作動方法、システム、およびコンピュータプログラム製品

Country Status (4)

Country Link
US (1) US20220331093A1 (ja)
JP (1) JP7402262B2 (ja)
CN (1) CN115223071A (ja)
DE (1) DE102021109945B4 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022128197B3 (de) 2022-10-25 2024-02-08 Carl Zeiss Meditec Ag Interpolationsbasierte Reverse Inference eines refraktiven Ergebnisses von AI-Basierter IOL-Bestimmung
US20240311221A1 (en) * 2023-03-13 2024-09-19 Adobe Inc. Detection and interpretation of log anomalies

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170290502A1 (en) * 2016-04-08 2017-10-12 Clarity Medical Systems, Inc. Obtaining and Displaying Histogram and/or Confidence of Intra-Operative Refraction and/or IOL Power Recommendation
JP2020046893A (ja) * 2018-09-19 2020-03-26 尚紀 北村 手術支援システム及び仮想手術支援システム
CN111616800A (zh) * 2020-06-09 2020-09-04 电子科技大学 眼科手术导航系统
JP2021507428A (ja) * 2017-10-13 2021-02-22 エーアイ テクノロジーズ インコーポレイテッド 眼科疾病及び障害の深層学習に基づく診断及び紹介
JP2021509299A (ja) * 2018-01-05 2021-03-25 アルコン インコーポレイティド 眼内レンズを選択するためのシステム及び方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170290502A1 (en) * 2016-04-08 2017-10-12 Clarity Medical Systems, Inc. Obtaining and Displaying Histogram and/or Confidence of Intra-Operative Refraction and/or IOL Power Recommendation
JP2021507428A (ja) * 2017-10-13 2021-02-22 エーアイ テクノロジーズ インコーポレイテッド 眼科疾病及び障害の深層学習に基づく診断及び紹介
JP2021509299A (ja) * 2018-01-05 2021-03-25 アルコン インコーポレイティド 眼内レンズを選択するためのシステム及び方法
JP2020046893A (ja) * 2018-09-19 2020-03-26 尚紀 北村 手術支援システム及び仮想手術支援システム
CN111616800A (zh) * 2020-06-09 2020-09-04 电子科技大学 眼科手术导航系统

Also Published As

Publication number Publication date
DE102021109945A1 (de) 2022-10-20
US20220331093A1 (en) 2022-10-20
CN115223071A (zh) 2022-10-21
DE102021109945B4 (de) 2022-11-24
JP7402262B2 (ja) 2023-12-20

Similar Documents

Publication Publication Date Title
CN112384125B (zh) 用于眼内透镜选择的系统和方法
JP7402262B2 (ja) 機器の作動方法、システム、およびコンピュータプログラム製品
US20230057389A1 (en) Physically motivated machine learning system for an optimized intraocular lens calculation
US20230078161A1 (en) Machine learning-supported pipeline for dimensioning an intraocular lens
US20180296320A1 (en) Forecasting cataract surgery effectiveness
US20240120094A1 (en) Theory-motivated domain control for ophthalmological machine-learning-based prediction method
US20210286996A1 (en) Machine Learning System for Identifying a State of a Surgery, and Assistance Function
US20230084284A1 (en) Machine-learning-based determining of refractive power for measures for correcting eyesight from oct images
JP7534301B2 (ja) 正視域予測を使用した眼内レンズ選択のためのシステム及び方法
Patra et al. Diabetic Retinopathy Detection using an Improved ResNet50-InceptionV3 Structure
JP2024514199A (ja) 白内障手術用眼内レンズ（ｉｏｌ）のパラメータを特定する方法及びシステム
US20230057686A1 (en) Machine-learning based iol position determination
JP2023535674A (ja) 白内障除去のためのシステム及び方法
KR20210107295A (ko) 녹내장 수술 결과 진단 장치 및 그 판단 방법
Wang Intelligent planning for refractive surgeries: a modelling and visualisation-based approach
Sheikh Diabetic reinopathy classification using deep learning
US20230148859A1 (en) Prediction of iol power
US20240081640A1 (en) Prediction of iol power
US20240197173A1 (en) Ophthalmic Microscope System and corresponding System, Method and Computer Program
EP4145456A1 (en) Prediction of a change related to a macular fluid
Li Artificial Intelligence-Based Clinical Decision-Making System for Cataract Surgery
Ruiz-Calvo et al. Automatic segmentation and quantification<? TeX\break?> of OCT images before and after cataract surgery<? TeX\break?> using deep learning
Narain et al. Classification of Retinal Images Using Self-Created Penta-Convolutional Neural Network
Thakur et al. Artificial Intelligence and Cataract
JP2024539307A (ja) 硝子体疾患重症度測定のためのシステム及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220523

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231208

R150 Certificate of patent or registration of utility model

Ref document number: 7402262

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150