JP2019508072A - 医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法 - Google Patents
医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法 Download PDFInfo
- Publication number
- JP2019508072A JP2019508072A JP2017564130A JP2017564130A JP2019508072A JP 2019508072 A JP2019508072 A JP 2019508072A JP 2017564130 A JP2017564130 A JP 2017564130A JP 2017564130 A JP2017564130 A JP 2017564130A JP 2019508072 A JP2019508072 A JP 2019508072A
- Authority
- JP
- Japan
- Prior art keywords
- imaging system
- anatomical
- target
- deep learning
- learning network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000002059 diagnostic imaging Methods 0.000 title claims abstract description 19
- 210000003484 anatomy Anatomy 0.000 claims abstract description 89
- 238000013135 deep learning Methods 0.000 claims abstract description 61
- 238000012549 training Methods 0.000 claims abstract description 35
- 230000002123 temporal effect Effects 0.000 claims abstract description 17
- 238000013507 mapping Methods 0.000 claims abstract description 15
- 238000003384 imaging method Methods 0.000 claims description 87
- 210000005036 nerve Anatomy 0.000 claims description 82
- 239000000523 sample Substances 0.000 claims description 27
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 210000001519 tissue Anatomy 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 20
- 210000003461 brachial plexus Anatomy 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000002591 computed tomography Methods 0.000 claims description 12
- 210000003205 muscle Anatomy 0.000 claims description 12
- 230000000306 recurrent effect Effects 0.000 claims description 12
- 238000012285 ultrasound imaging Methods 0.000 claims description 10
- 238000010200 validation analysis Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 5
- 210000000115 thoracic cavity Anatomy 0.000 claims description 5
- 210000003099 femoral nerve Anatomy 0.000 claims description 3
- 210000001937 intercostal nerve Anatomy 0.000 claims description 3
- 210000003497 sciatic nerve Anatomy 0.000 claims description 3
- 210000001032 spinal nerve Anatomy 0.000 claims description 3
- 230000003187 abdominal effect Effects 0.000 claims description 2
- 230000006835 compression Effects 0.000 claims description 2
- 238000007906 compression Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000002604 ultrasonography Methods 0.000 description 19
- 238000001514 detection method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000003444 anaesthetic effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000001537 neural effect Effects 0.000 description 3
- 206010002091 Anaesthesia Diseases 0.000 description 2
- 230000037005 anaesthesia Effects 0.000 description 2
- 210000004731 jugular vein Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000001356 surgical procedure Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000223782 Ciliophora Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000036592 analgesia Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 229940035674 anesthetics Drugs 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000001099 axilla Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 210000004889 cervical nerve Anatomy 0.000 description 1
- 210000003679 cervix uteri Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000003685 cricoid cartilage Anatomy 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 239000003193 general anesthetic agent Substances 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000002690 local anesthesia Methods 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000036407 pain Effects 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 210000001698 popliteal fossa Anatomy 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000003448 thoracic nerve Anatomy 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/0841—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2063—Acoustic tracking systems, e.g. using ultrasound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
- A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
- A61B8/0833—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures
- A61B8/085—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving detecting or locating foreign bodies or organic structures for locating body or organic structures, e.g. tumours, calculi, blood vessels, nodules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Theoretical Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- General Physics & Mathematics (AREA)
- High Energy & Nuclear Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Pulmonology (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Optics & Photonics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Evolutionary Computation (AREA)
- Robotics (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
Description
本願は、2016年12月2日出願の米国仮特許出願第62/429,150号に基づく優先権を主張する。該出願は、全文を引用することを以て本明細書の一部となす。
Claims (29)
- 医用の撮像システムを介して医療処置中に標的の解剖学的対象物を位置特定するためにユーザにナビゲーション方向を提供する方法であって、
前記標的の解剖学的対象物を取り囲む解剖学的領域を選択するステップと、
前記標的の解剖学的対象物を取り囲む解剖学的領域から複数のリアルタイム2次元画像を生成し、前記複数のリアルタイム2次元画像をコントローラに提供するステップと、
前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練するステップと、
前記ディープラーニングネットワークを介して、前記解剖学的領域内の特定されたシーンのそれぞれの相対的な空間的位置および相対的な時間的位置に基づいて、前記標的の解剖学的対象物を取り囲む解剖学的領域からの複数のリアルタイム2次元画像のそれぞれを自動的にマッピングするステップと、
前記特定されたシーンのそれぞれの前記相対的な空間的位置および前記相対的な時間的位置に基づいて、前記医療処置中に前記標的の解剖学的対象物を位置特定するためにユーザに方向を提供するステップとを含む方法。 - 請求項1に記載の方法であって、
前記医療処置は神経ブロックであり、前記標的の解剖学的対象物は標的神経であることを特徴とする方法。 - 請求項2に記載の方法であって、
前記神経ブロックは、首の斜角筋間の腕神経叢ブロック、鎖骨上神経ブロック、鎖骨下神経ブロック、腋窩神経ブロック、大腿神経ブロック、坐骨神経ブロック、内転筋管神経ブロック、膝窩神経ブロック、伏在神経ブロック、腸骨筋膜下神経ブロック、胸郭腰椎神経ブロック、横隔膜腹部平面(TAP)神経ブロック、肋間神経ブロック、または胸部脊椎神経ブロックのいずれかであることを特徴とする方法。 - 請求項1に記載の方法であって、
前記ディープラーニングネットワークは、1つ以上のコンボリューショナルニューラルネットワーク、または1つ以上のリカレントニューラルネットワークの少なくとも1つを含むことを特徴とする方法。 - 請求項1に記載の方法であって、
グランドトゥルースデータを介して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練するステップをさらに含むことを特徴とする方法。 - 請求項5に記載の方法であって、
前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練する前記ステップが、
複数の患者のそれぞれからの前記標的の解剖学的対象物を取り囲む前記解剖学的領域からの前記シーンの複数の画像のデータセットをスキャンして収集するステップと、
前記グランドトゥルースデータを作成するためにユーザ入力に基づいて画像のデータセットに注釈付けするステップと、
前記画像のデータセットおよび前記グランドトゥルースデータを、訓練データセットおよび妥当性検証データセットに分割するステップと、
前記ディープラーニングネットワークを訓練するために前記訓練データセットを利用するステップとを含むことを特徴とする方法。 - 請求項6に記載の方法であって、
前記ディープラーニングネットワークを訓練するために前記訓練データセットを利用する前記ステップが、
前記ディープラーニングネットワークの出力と前記グランドトゥルースデータとの間の誤差を最小にするようにコスト関数を最適化するステップを含むことを特徴とする方法。 - 請求項7に記載の方法であって、
誤差を最小にするように前記コスト関数を前記最適化するステップが、
前記グランドトゥルースデータの部分を反復処理し、前記ディープラーニングネットワークの出力と前記グランドトゥルースデータとの間の誤差に基づいて前記ディープラーニングネットワークの1つ以上のパラメータを調整する確率的勾配降下(SGD)アルゴリズムを利用するステップを含むことを特徴とする方法。 - 請求項8に記載の方法であって、
前記コスト関数を最適化した後、リアルタイムで前記ディープラーニングネットワークを利用して妥当性検証データの予測を自動的に提供し、前記予測を前記グランドトゥルースデータと比較するステップを含むことを特徴とする方法。 - 請求項6に記載の方法であって、
前記グランドトゥルースデータを作成するためにユーザ入力に基づいて画像のデータセットに注釈付けする前記ステップが、
前記標的の解剖学的対象物、追加の解剖学的対象物、ランドマーク、組織、またはそれらの組み合わせを、データセットの各画像内で手動で特定し注釈付けするステップをさらに含むことを特徴とする方法。 - 請求項1に記載の方法であって、
オフラインで前記ディープラーニングネットワークを最初に訓練して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出して特定するステップをさらに含むことを特徴とする方法。 - 請求項1に記載の方法であって、
オンラインで前記ディープラーニングネットワークを継続的に訓練して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出して特定するステップをさらに含むことを特徴とする方法。 - 請求項1に記載の方法であって、
前記方向は、プローブが関心対象の解剖学的領域をスキャンするときに、前記撮像システムのユーザディスプレイを介して注釈付きの形態でユーザに提供され、前記撮像システムは複数のリアルタイム2次元画像を同時に生成することを特徴とする方法。 - 請求項1に記載の方法であって、
前記方向は、プローブが関心対象の解剖学的領域をスキャンするときに、音声形式でユーザに提供され、前記撮像システムは複数のリアルタイム2次元画像を同時に生成することを特徴とする方法。 - 請求項1に記載の方法であって、
前記医用の撮像システムは、超音波撮像システム、コンピュータ断層撮影(CT)撮像システム、磁気共鳴(MR)撮像システム、または蛍光透視撮像システムを含むことを特徴とする方法。 - 医療処置において使用するための医用の撮像システムであって、
1つ以上の操作を実行するように構成された少なくとも1つのコントローラと、
複数のリアルタイム2次元画像をユーザに表示するように構成されたユーザディスプレイとを含み、
前記1つ以上の操作は、
標的の解剖学的対象物を取り囲む解剖学的領域から複数のリアルタイム2次元画像を受け取ることと、
前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練することと、
前記ディープラーニングネットワークを介して、前記解剖学的領域内の特定されたシーンのそれぞれの相対的な空間的位置および相対的な時間的位置に基づいて、前記標的の解剖学的対象物を取り囲む解剖学的領域からの複数のリアルタイム2次元画像のそれぞれを自動的にマッピングすることと、
前記特定されたシーンのそれぞれの前記相対的な空間的位置および前記相対的な時間的位置に基づいて、前記医療処置中に前記標的の解剖学的対象物を位置特定するためにユーザに方向を提供することとを含むことを特徴とする撮像システム。 - 請求項16に記載の方法であって、
前記医療処置は神経ブロックであり、前記標的の解剖学的対象物は標的神経であることを特徴とする方法。 - 請求項16に記載の撮像システムであって、
前記ディープラーニングネットワークは、1つ以上のコンボリューショナルニューラルネットワーク、または1つ以上のリカレントニューラルネットワークの少なくとも1つを含むことを特徴とする撮像システム。 - 請求項16に記載の撮像システムであって、
前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練することが、グランドトゥルースデータを介して達成されることを特徴とする撮像システム。 - 請求項19に記載の撮像システムであって、
前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出し特定するディープラーニングネットワークを開発し、訓練することが、
複数の患者のそれぞれからの前記標的の解剖学的対象物を取り囲む前記解剖学的領域からの前記シーンの複数の画像のデータセットをスキャンして収集することと、
前記グランドトゥルースデータを作成するためにユーザ入力に基づいて画像のデータセットに注釈付けすることと、
前記画像のデータセットおよび前記グランドトゥルースデータを、訓練データセットおよび妥当性検証データセットに分割することと、
前記ディープラーニングネットワークを訓練するために前記訓練データセットを利用することとを含むことを特徴とする撮像システム。 - 請求項20に記載の撮像システムであって、
前記グランドトゥルースデータを作成するためにユーザ入力に基づいて画像のデータセットに注釈付けすることが、
前記標的の解剖学的対象物、追加の解剖学的対象物、ランドマーク、組織、またはそれらの組み合わせを、データセットの各画像内で手動で特定し注釈付けすることをさらに含むことを特徴とする撮像システム。 - 請求項16に記載の撮像システムであって、
前記コントローラが、オフラインで前記ディープラーニングネットワークを最初に訓練して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出して特定するように構成されることを特徴とする撮像システム。 - 請求項16に記載の撮像システムであって、
前記コントローラが、オンラインで前記ディープラーニングネットワークを継続的に訓練して、前記標的の解剖学的対象物を取り囲む解剖学的領域からのシーンを自動的に検出して特定するように構成されることを特徴とする撮像システム。 - 請求項16に記載の撮像システムであって、
前記コントローラが、プローブが関心対象の解剖学的領域をスキャンするときに、前記方向を、ユーザディスプレイを介して注釈付きの形態でユーザに提供し、前記撮像システムは複数のリアルタイム2次元画像を同時に生成することを特徴とする撮像システム。 - 請求項16に記載の撮像システムであって、
前記コントローラが、プローブが関心対象の解剖学的領域をスキャンするときに、前記方向を、音声形式でユーザに提供し、前記撮像システムは複数のリアルタイム2次元画像を同時に生成することを特徴とする撮像システム。 - 請求項16に記載の撮像システムであって、
前記撮像システムは、コンピュータ断層撮影(CT)撮像システム、磁気共鳴(MR)撮像システム、または蛍光透視撮像システムを含むことを特徴とする撮像システム。 - 請求項16に記載の撮像システムであって、
前記撮像システムは、医用の他の撮像システムによってインストールされホストされるソフトウェアパッケージとして構成され、前記撮像システムは、ホストの医用の撮像システムから画像を受け取り、前記ホストの医用の撮像システムによって分配される出力を提供可能に構成されることを特徴とする撮像システム。 - 請求項16に記載の撮像システムであって、
前記ディープラーニングネットワークは、限られた計算能力しか利用可能でない場合等に、メモリ使用を低減し、実行時間を加速するために、量子化された重み、バイナリ化された重み、および他の圧縮方法を使用することを特徴とする撮像システム。 - 請求項16に記載の撮像システムであって、
前記撮像システムは、異なる設定、仕様、および画像品質を有する異なる医用の撮像システムで動作することができるように、変換、等化、および正規化技術を使用することを特徴とする撮像システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662429150P | 2016-12-02 | 2016-12-02 | |
US62/429,150 | 2016-12-02 | ||
PCT/US2017/039928 WO2018101985A1 (en) | 2016-12-02 | 2017-06-29 | System and method for navigation to a target anatomical object in medical imaging-based procedures |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019508072A true JP2019508072A (ja) | 2019-03-28 |
JP6796085B2 JP6796085B2 (ja) | 2020-12-02 |
Family
ID=59363227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017564130A Active JP6796085B2 (ja) | 2016-12-02 | 2017-06-29 | 医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法 |
Country Status (10)
Country | Link |
---|---|
US (1) | US10657671B2 (ja) |
EP (1) | EP3549103B1 (ja) |
JP (1) | JP6796085B2 (ja) |
KR (2) | KR101886990B1 (ja) |
CN (1) | CN109074665B (ja) |
BR (1) | BR112018000197A2 (ja) |
CA (1) | CA2989159C (ja) |
MX (1) | MX2017017142A (ja) |
RU (1) | RU2017142603A (ja) |
WO (1) | WO2018101985A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021058232A (ja) * | 2019-10-02 | 2021-04-15 | コニカミノルタ株式会社 | 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置 |
WO2022080184A1 (ja) | 2020-10-16 | 2022-04-21 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の表示方法 |
JP2022526575A (ja) * | 2019-04-02 | 2022-05-25 | コーニンクレッカ フィリップス エヌ ヴェ | 超音波撮像におけるセグメンテーション及びビューガイダンス並びに関連するデバイス、システム及び方法 |
JP2022528491A (ja) * | 2019-04-17 | 2022-06-13 | 日本電気株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
Families Citing this family (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11164679B2 (en) | 2017-06-20 | 2021-11-02 | Advinow, Inc. | Systems and methods for intelligent patient interface exam station |
US11348688B2 (en) | 2018-03-06 | 2022-05-31 | Advinow, Inc. | Systems and methods for audio medical instrument patient measurements |
US10939806B2 (en) * | 2018-03-06 | 2021-03-09 | Advinow, Inc. | Systems and methods for optical medical instrument patient measurements |
US20210240931A1 (en) * | 2018-04-30 | 2021-08-05 | Koninklijke Philips N.V. | Visual question answering using on-image annotations |
US20200016396A1 (en) * | 2018-07-11 | 2020-01-16 | Synchron Australia Pty Limited | Systems and methods for improving placement of devices for neural stimulation |
JP7134017B2 (ja) | 2018-08-14 | 2022-09-09 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
KR102179045B1 (ko) * | 2018-10-18 | 2020-11-16 | 한국외국어대학교 연구산학협력단 | 3차원 영상에서의 강화 학습 기반 랜드마크 위치 검출 모델 학습 방법 |
WO2020089416A1 (en) * | 2018-11-01 | 2020-05-07 | Koninklijke Philips N.V. | Identifying an interventional device in medical images |
CN109589145A (zh) * | 2018-12-28 | 2019-04-09 | 吴莹 | 一种智能化肾穿刺控制系统 |
KR102659494B1 (ko) | 2019-01-21 | 2024-04-23 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
US10970542B2 (en) * | 2019-02-22 | 2021-04-06 | Here Global B.V. | Scalable three dimensional object segmentation |
US11707255B2 (en) * | 2019-04-02 | 2023-07-25 | Siemens Medical Solutions Usa, Inc. | Image-based probe positioning |
US20210045716A1 (en) * | 2019-08-13 | 2021-02-18 | GE Precision Healthcare LLC | Method and system for providing interaction with a visual artificial intelligence ultrasound image segmentation module |
US20210059758A1 (en) * | 2019-08-30 | 2021-03-04 | Avent, Inc. | System and Method for Identification, Labeling, and Tracking of a Medical Instrument |
US11024027B2 (en) * | 2019-09-13 | 2021-06-01 | Siemens Healthcare Gmbh | Manipulable object synthesis in 3D medical images with structured image decomposition |
CN112825619A (zh) * | 2019-09-20 | 2021-05-21 | 博医来股份公司 | 使用数字重建放射影像训练机器学习算法 |
US20210177295A1 (en) * | 2019-12-11 | 2021-06-17 | GE Precision Healthcare LLC | Systems and methods for generating diagnostic scan parameters from calibration images |
WO2021121600A1 (en) * | 2019-12-19 | 2021-06-24 | Brainlab Ag | Medical image analysis using machine learning and an anatomical vector |
WO2021145876A1 (en) * | 2020-01-16 | 2021-07-22 | Visa International Service Association | System and computer-implemented method for character recognition in payment card |
EP3862969A1 (en) * | 2020-02-07 | 2021-08-11 | Siemens Healthcare GmbH | Orientation detection in medical image data |
EP3881793A1 (en) * | 2020-03-17 | 2021-09-22 | CHU de NICE | Surgical instrument and computer-implemented method for determining the position and orientation of such surgical instrument |
CN111488985B (zh) * | 2020-04-08 | 2023-11-14 | 华南理工大学 | 深度神经网络模型压缩训练方法、装置、设备、介质 |
US20210334955A1 (en) * | 2020-04-24 | 2021-10-28 | Nvidia Corporation | Image annotation using one or more neural networks |
CN112001224A (zh) * | 2020-07-02 | 2020-11-27 | 北京奥维视讯科技有限责任公司 | 基于卷积神经网络的视频采集方法和视频采集系统 |
CN111839730B (zh) * | 2020-07-07 | 2022-02-11 | 厦门大学附属翔安医院 | 一种用于引导肿瘤切除的光声成像手术导航平台 |
DE102020212086A1 (de) * | 2020-09-25 | 2022-03-31 | Siemens Healthcare Gmbh | Ermitteln der Qualität einer Positionierung eines in einen Patientenkörper eingeführten Objekts |
CN112766314B (zh) * | 2020-12-31 | 2024-05-28 | 上海联影智能医疗科技有限公司 | 解剖结构的识别方法、电子设备及存储介质 |
EP4280996A1 (en) * | 2021-01-21 | 2023-11-29 | Epidutech Ltd. | Method for tracking a medical tool during a medical procedure using deep learning |
EP4059435A1 (en) * | 2021-03-15 | 2022-09-21 | Koninklijke Philips N.V. | Patient preparation for medical imaging |
JP2022179368A (ja) * | 2021-05-19 | 2022-12-02 | エヌビディア コーポレーション | 機械学習を用いたスーパビジョンの拡張 |
CN114052795B (zh) * | 2021-10-28 | 2023-11-07 | 南京航空航天大学 | 一种结合超声自主扫描的病灶成像及防误扎治疗系统 |
WO2023152530A2 (en) * | 2021-12-10 | 2023-08-17 | Mofaip, Llp | Multidimensional anatomic mapping, descriptions, visualizations, and translations |
CN114840110B (zh) * | 2022-03-17 | 2023-06-20 | 杭州未名信科科技有限公司 | 一种基于混合现实的穿刺导航交互辅助方法及装置 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08153194A (ja) * | 1994-11-29 | 1996-06-11 | Hitachi Medical Corp | 画像処理装置 |
JP2003296737A (ja) * | 2002-03-15 | 2003-10-17 | Microsoft Corp | パターン認識を容易にするシステムおよび方法 |
JP2003533785A (ja) * | 2000-05-09 | 2003-11-11 | シーメンス アクチエンゲゼルシヤフト | 画像中の物体を求めるための方法および装置 |
JP2005199403A (ja) * | 2004-01-16 | 2005-07-28 | Sony Corp | 情動認識装置及び方法、ロボット装置の情動認識方法、ロボット装置の学習方法、並びにロボット装置 |
JP2008017997A (ja) * | 2006-07-12 | 2008-01-31 | Hitachi Medical Corp | 手術支援ナビゲーションシステム |
JP2010017556A (ja) * | 2008-07-11 | 2010-01-28 | General Electric Co <Ge> | 対象物に対して超音波プローブを可視化するためのシステムおよび方法 |
JP2011500217A (ja) * | 2007-10-19 | 2011-01-06 | ボストン サイエンティフィック サイムド,インコーポレイテッド | 分類器出力及び画像中の信頼性測度の表示 |
JP2014213202A (ja) * | 2013-04-22 | 2014-11-17 | 株式会社東芝 | 医用画像処理装置、医用画像処理方法および医用画像処理プログラム |
WO2015092582A1 (en) * | 2013-12-20 | 2015-06-25 | Koninklijke Philips N.V. | Automatic ultrasound beam steering and needle artifact suppression |
JP2015523874A (ja) * | 2012-05-31 | 2015-08-20 | コーニンクレッカ フィリップス エヌ ヴェ | 定量的評価のための方法、システム及び記憶媒体 |
JP2016190032A (ja) * | 2015-03-30 | 2016-11-10 | シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッドSiemens Medical Solutions USA,Inc. | 超音波イメージングにおける3次元関心ボリューム |
Family Cites Families (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7876934B2 (en) | 2004-11-08 | 2011-01-25 | Siemens Medical Solutions Usa, Inc. | Method of database-guided segmentation of anatomical structures having complex appearances |
WO2008087629A2 (en) | 2007-01-16 | 2008-07-24 | Simbionix Ltd. | Preoperative surgical simulation |
US8073220B2 (en) | 2009-04-20 | 2011-12-06 | Siemens Aktiengesellschaft | Methods and systems for fully automatic segmentation of medical images |
WO2011087807A2 (en) * | 2009-12-22 | 2011-07-21 | Health Discovery Corporation | System and method for remote melanoma screening |
US20110182493A1 (en) | 2010-01-25 | 2011-07-28 | Martin Huber | Method and a system for image annotation |
US20110188715A1 (en) | 2010-02-01 | 2011-08-04 | Microsoft Corporation | Automatic Identification of Image Features |
KR101883258B1 (ko) | 2010-08-13 | 2018-07-31 | 스미스 앤드 네퓨, 인크. | 해부학적 계측점의 검출 방법 |
EP2617012B1 (en) | 2010-09-16 | 2015-06-17 | Mor Research Applications Ltd. | Method and system for analyzing images |
US8867802B2 (en) | 2011-04-19 | 2014-10-21 | Microsoft Corporation | Automatic organ localization |
US20130249917A1 (en) * | 2012-03-26 | 2013-09-26 | Microsoft Corporation | Profile data visualization |
IN2014MN02601A (ja) | 2012-06-04 | 2015-07-24 | Tel Hashomer Medical Res Infrastructure & Services Ltd | |
EP2690596B1 (en) | 2012-07-24 | 2018-08-15 | Agfa Healthcare | Method, apparatus and system for automated spine labeling |
US9256962B2 (en) | 2013-01-23 | 2016-02-09 | Orca Health Inc. | Personalizing medical conditions with augmented reality |
CN105051783A (zh) | 2013-03-15 | 2015-11-11 | S·利特尔 | 通过与其它个体的影像进行比较来评价电磁影像 |
US10176579B2 (en) | 2013-03-15 | 2019-01-08 | Ventana Medical Systems, Inc. | Tissue object-based machine learning system for automated scoring of digital whole slides |
US11278353B2 (en) * | 2016-03-16 | 2022-03-22 | Synaptive Medical Inc. | Trajectory alignment system and methods |
US9129362B2 (en) | 2013-05-22 | 2015-09-08 | Siemens Aktiengesellschaft | Semantic navigation and lesion mapping from digital breast tomosynthesis |
US9471987B2 (en) * | 2013-08-09 | 2016-10-18 | Siemens Healthcare Gmbh | Automatic planning for medical imaging |
US9235781B2 (en) * | 2013-08-09 | 2016-01-12 | Kabushiki Kaisha Toshiba | Method of, and apparatus for, landmark location |
DE102013218437A1 (de) | 2013-09-13 | 2015-03-19 | Siemens Aktiengesellschaft | Verfahren zur automatischen oder halb-automatischen Segmentierung und Vorrichtung |
US9700219B2 (en) | 2013-10-17 | 2017-07-11 | Siemens Healthcare Gmbh | Method and system for machine learning based assessment of fractional flow reserve |
US9730643B2 (en) | 2013-10-17 | 2017-08-15 | Siemens Healthcare Gmbh | Method and system for anatomical object detection using marginal space deep neural networks |
US20150164605A1 (en) | 2013-12-13 | 2015-06-18 | General Electric Company | Methods and systems for interventional imaging |
WO2015104607A1 (en) | 2014-01-07 | 2015-07-16 | Koninklijke Philips N.V. | Ultrasound imaging modes for automated real time quantification and analysis |
WO2015109254A2 (en) | 2014-01-17 | 2015-07-23 | Morpheus Medical, Inc. | Apparatus, methods and articles for four dimensional (4d) flow magnetic resonance imaging |
KR20150108701A (ko) | 2014-03-18 | 2015-09-30 | 삼성전자주식회사 | 의료 영상 내 해부학적 요소 시각화 시스템 및 방법 |
US9990743B2 (en) * | 2014-03-27 | 2018-06-05 | Riverain Technologies Llc | Suppression of vascular structures in images |
US11232319B2 (en) | 2014-05-16 | 2022-01-25 | The Trustees Of The University Of Pennsylvania | Applications of automatic anatomy recognition in medical tomographic imagery based on fuzzy anatomy models |
KR101908520B1 (ko) | 2014-06-09 | 2018-10-16 | 지멘스 메디컬 솔루션즈 유에스에이, 인크. | 메디컬 이미징에서 공간 및 시간 제약들을 이용하는 랜드마크 검출 |
GB2528249B (en) | 2014-07-11 | 2019-03-06 | Siemens Medical Solutions Usa Inc | Automatic background region selection for lesion delineation in medical images |
KR101579740B1 (ko) | 2014-09-01 | 2015-12-23 | 삼성메디슨 주식회사 | 초음파 진단장치, 그에 따른 초음파 진단 방법 및 그에 따른 컴퓨터 판독 가능한 저장매체 |
US9779505B2 (en) | 2014-09-30 | 2017-10-03 | Toshiba Medical Systems Corporation | Medical data processing apparatus and method |
US10068340B2 (en) | 2014-11-03 | 2018-09-04 | Algotec Systems Ltd. | Method for segmentation of the head-neck arteries, brain and skull in medical images |
US9633306B2 (en) | 2015-05-07 | 2017-04-25 | Siemens Healthcare Gmbh | Method and system for approximating deep neural networks for anatomical object detection |
EP3295374B8 (en) * | 2015-05-11 | 2023-10-18 | Siemens Healthcare GmbH | Method and system for landmark detection in medical images using deep neural networks |
CN105139454B (zh) * | 2015-08-06 | 2018-01-19 | 北京工业大学 | 一种三维ct图像中肝脏三维感兴趣区域的自动提取方法 |
US10413366B2 (en) * | 2016-03-16 | 2019-09-17 | Synaptive Medical (Bardbados) Inc. | Trajectory guidance alignment system and methods |
-
2017
- 2017-06-29 RU RU2017142603A patent/RU2017142603A/ru not_active Application Discontinuation
- 2017-06-29 US US15/736,129 patent/US10657671B2/en active Active
- 2017-06-29 BR BR112018000197A patent/BR112018000197A2/pt not_active IP Right Cessation
- 2017-06-29 KR KR1020177035042A patent/KR101886990B1/ko active IP Right Grant
- 2017-06-29 CN CN201780002386.1A patent/CN109074665B/zh active Active
- 2017-06-29 MX MX2017017142A patent/MX2017017142A/es unknown
- 2017-06-29 EP EP17740527.1A patent/EP3549103B1/en active Active
- 2017-06-29 KR KR1020187012260A patent/KR101949114B1/ko active IP Right Grant
- 2017-06-29 JP JP2017564130A patent/JP6796085B2/ja active Active
- 2017-06-29 CA CA2989159A patent/CA2989159C/en active Active
- 2017-06-29 WO PCT/US2017/039928 patent/WO2018101985A1/en active Application Filing
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08153194A (ja) * | 1994-11-29 | 1996-06-11 | Hitachi Medical Corp | 画像処理装置 |
JP2003533785A (ja) * | 2000-05-09 | 2003-11-11 | シーメンス アクチエンゲゼルシヤフト | 画像中の物体を求めるための方法および装置 |
JP2003296737A (ja) * | 2002-03-15 | 2003-10-17 | Microsoft Corp | パターン認識を容易にするシステムおよび方法 |
JP2005199403A (ja) * | 2004-01-16 | 2005-07-28 | Sony Corp | 情動認識装置及び方法、ロボット装置の情動認識方法、ロボット装置の学習方法、並びにロボット装置 |
JP2008017997A (ja) * | 2006-07-12 | 2008-01-31 | Hitachi Medical Corp | 手術支援ナビゲーションシステム |
JP2011500217A (ja) * | 2007-10-19 | 2011-01-06 | ボストン サイエンティフィック サイムド,インコーポレイテッド | 分類器出力及び画像中の信頼性測度の表示 |
JP2010017556A (ja) * | 2008-07-11 | 2010-01-28 | General Electric Co <Ge> | 対象物に対して超音波プローブを可視化するためのシステムおよび方法 |
JP2015523874A (ja) * | 2012-05-31 | 2015-08-20 | コーニンクレッカ フィリップス エヌ ヴェ | 定量的評価のための方法、システム及び記憶媒体 |
JP2014213202A (ja) * | 2013-04-22 | 2014-11-17 | 株式会社東芝 | 医用画像処理装置、医用画像処理方法および医用画像処理プログラム |
WO2015092582A1 (en) * | 2013-12-20 | 2015-06-25 | Koninklijke Philips N.V. | Automatic ultrasound beam steering and needle artifact suppression |
JP2016190032A (ja) * | 2015-03-30 | 2016-11-10 | シーメンス メディカル ソリューションズ ユーエスエー インコーポレイテッドSiemens Medical Solutions USA,Inc. | 超音波イメージングにおける3次元関心ボリューム |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022526575A (ja) * | 2019-04-02 | 2022-05-25 | コーニンクレッカ フィリップス エヌ ヴェ | 超音波撮像におけるセグメンテーション及びビューガイダンス並びに関連するデバイス、システム及び方法 |
JP7462672B2 (ja) | 2019-04-02 | 2024-04-05 | コーニンクレッカ フィリップス エヌ ヴェ | 超音波撮像におけるセグメンテーション及びビューガイダンス並びに関連するデバイス、システム及び方法 |
JP2022528491A (ja) * | 2019-04-17 | 2022-06-13 | 日本電気株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP7279817B2 (ja) | 2019-04-17 | 2023-05-23 | 日本電気株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2021058232A (ja) * | 2019-10-02 | 2021-04-15 | コニカミノルタ株式会社 | 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置 |
US11842808B2 (en) | 2019-10-02 | 2023-12-12 | Konica Minolta, Inc. | Ultrasound diagnostic imaging training apparatus, ultrasound diagnostic imaging apparatus, identification model training method, non-transitory recording medium storing computer readable training program, and ultrasound diagnostic apparatus |
JP7427902B2 (ja) | 2019-10-02 | 2024-02-06 | コニカミノルタ株式会社 | 超音波画像診断用訓練装置、超音波画像診断装置、識別モデルの訓練方法、プログラム及び超音波診断装置 |
WO2022080184A1 (ja) | 2020-10-16 | 2022-04-21 | 富士フイルム株式会社 | 超音波診断装置および超音波診断装置の表示方法 |
Also Published As
Publication number | Publication date |
---|---|
RU2017142603A (ru) | 2019-08-07 |
EP3549103A1 (en) | 2019-10-09 |
BR112018000197A2 (pt) | 2018-09-11 |
CA2989159C (en) | 2021-12-28 |
KR101886990B1 (ko) | 2018-08-08 |
CN109074665B (zh) | 2022-01-11 |
MX2017017142A (es) | 2018-11-09 |
KR101949114B1 (ko) | 2019-02-15 |
JP6796085B2 (ja) | 2020-12-02 |
RU2017142603A3 (ja) | 2019-08-07 |
US10657671B2 (en) | 2020-05-19 |
EP3549103B1 (en) | 2021-08-04 |
KR20180116226A (ko) | 2018-10-24 |
CN109074665A (zh) | 2018-12-21 |
US20190355149A1 (en) | 2019-11-21 |
WO2018101985A1 (en) | 2018-06-07 |
CA2989159A1 (en) | 2018-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6796085B2 (ja) | 医用撮像に基づく処置における標的の解剖学的対象物へのナビゲーションのためのシステムおよび方法 | |
US20230044419A1 (en) | Optimizing checkpoint locations along an insertion trajectory of a medical instrument using data analysis | |
WO2021011668A1 (en) | Augmented reality system and method for tele-proctoring a surgical procedure | |
CN113966204B (zh) | 为医疗介入自动规划轨迹的方法 | |
AU2018214141B2 (en) | System and method for navigation to a target anatomical object in medical imaging-based procedures | |
US20200029941A1 (en) | Articulating Arm for Analyzing Anatomical Objects Using Deep Learning Networks | |
US20210059758A1 (en) | System and Method for Identification, Labeling, and Tracking of a Medical Instrument | |
US11766234B2 (en) | System and method for identifying and navigating anatomical objects using deep learning networks | |
US20210322101A1 (en) | Automated pre-operative assessment of implant placement in human bone | |
EP3877988A1 (en) | System and method for optical tracking | |
US20230363821A1 (en) | Virtual simulator for planning and executing robotic steering of a medical instrument | |
Zagzoog | Feasibility of Skull Base Neuronavigation Using Optical Topographic Imaging Toward Guidance of Human and Robotic Drill Operators | |
WO2022254436A1 (en) | Closed-loop steering of a medical instrument toward a moving target |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A524 | Written submission of copy of amendment under article 19 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A525 Effective date: 20171208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171208 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20171211 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20181203 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181211 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190225 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190319 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190717 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20190717 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20190724 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20190730 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20190823 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20190827 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200107 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200407 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20200414 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200828 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20200923 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20201027 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20201027 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201113 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6796085 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |