JP2015529489A - 手術用システムにおける効率的且つインタラクティブな出血検出 - Google Patents
手術用システムにおける効率的且つインタラクティブな出血検出 Download PDFInfo
- Publication number
- JP2015529489A JP2015529489A JP2015524363A JP2015524363A JP2015529489A JP 2015529489 A JP2015529489 A JP 2015529489A JP 2015524363 A JP2015524363 A JP 2015524363A JP 2015524363 A JP2015524363 A JP 2015524363A JP 2015529489 A JP2015529489 A JP 2015529489A
- Authority
- JP
- Japan
- Prior art keywords
- blood
- region
- bleeding
- scene
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000740 bleeding effect Effects 0.000 title claims abstract description 195
- 238000001514 detection method Methods 0.000 title claims abstract description 178
- 230000002452 interceptive effect Effects 0.000 title description 5
- 239000008280 blood Substances 0.000 claims abstract description 323
- 210000004369 blood Anatomy 0.000 claims abstract description 323
- 238000000034 method Methods 0.000 claims description 199
- 230000033001 locomotion Effects 0.000 claims description 146
- 230000017531 blood circulation Effects 0.000 claims description 79
- 230000011218 segmentation Effects 0.000 claims description 16
- 238000012937 correction Methods 0.000 claims description 11
- 238000001356 surgical procedure Methods 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 5
- 230000002238 attenuated effect Effects 0.000 claims description 2
- 238000005206 flow analysis Methods 0.000 claims description 2
- 238000005406 washing Methods 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 61
- 230000026676 system process Effects 0.000 abstract description 2
- 230000008569 process Effects 0.000 description 161
- 238000005259 measurement Methods 0.000 description 32
- 238000012360 testing method Methods 0.000 description 25
- 230000006870 function Effects 0.000 description 20
- 238000012544 monitoring process Methods 0.000 description 17
- 238000009534 blood test Methods 0.000 description 15
- 238000007689 inspection Methods 0.000 description 13
- 238000005286 illumination Methods 0.000 description 12
- 230000000670 limiting effect Effects 0.000 description 11
- 230000008439 repair process Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 238000013500 data storage Methods 0.000 description 7
- 230000015572 biosynthetic process Effects 0.000 description 6
- 238000003786 synthesis reaction Methods 0.000 description 6
- 230000001052 transient effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000001444 catalytic combustion detection Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 238000002432 robotic surgery Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 230000002262 irrigation Effects 0.000 description 1
- 238000003973 irrigation Methods 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000008733 trauma Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00039—Operational features of endoscopes provided with input arrangements for the user
- A61B1/00042—Operational features of endoscopes provided with input arrangements for the user for mechanical operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00147—Holding or positioning arrangements
- A61B1/00149—Holding or positioning arrangements using articulated arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00163—Optical arrangements
- A61B1/00193—Optical arrangements adapted for stereoscopic vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/0661—Endoscope light sources
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/06—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements
- A61B1/07—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor with illuminating arrangements using light-conductive means, e.g. optical fibres
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02028—Determining haemodynamic parameters not otherwise provided for, e.g. cardiac contractility or left ventricular ejection fraction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/02042—Determining blood loss or bleeding, e.g. during a surgical procedure
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/026—Measuring blood flow
- A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
- A61B1/043—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances for fluorescence imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00115—Electrical control of surgical instruments with audible or visual output
- A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
- A61B2090/3614—Image-producing devices, e.g. surgical cameras using optical fibre
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Biophysics (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Cardiology (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Gynecology & Obstetrics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Hematology (AREA)
- Mechanical Engineering (AREA)
- Endoscopes (AREA)
- Image Analysis (AREA)
Abstract
Description
M(i,j)=MTissue(i,j)+MBlood(i,j)
として規定される。ただし、M(i,j)は、処理602からの位置(i,j)における全体の動きであり、MTissue(i,j)は、位置(i,j)におえる組織の動きであり、MBlood(i,j)は、位置(i,j)における血液の動きである。
MBlood(i,j)=M(i,j)-Mavg
である。
Claims (23)
- システムにより、手術部位の場面を含むフレームを受信するステップであり、前記フレームは、複数の位置を含み、それぞれの位置は、複数の色成分の画素を含むステップと、
前記システムにより、それぞれの位置の前記複数の色成分の画素が当該位置における血液を示す情報を含むか否かを検出するステップと、
前記システムにより、血液を示す情報を含むものとして検出された位置に基づいて、前記場面における血液の領域を決定するステップと、
前記システムにより、前記血液の領域が血液の初期の領域である場合、前記血液の領域を初期部位アイコンで識別するステップであり、前記初期部位アイコンは、前記場面における血液の初期の位置を識別するステップと
を有する方法。 - 前記識別するステップは、
前記システムにより、前記初期部位アイコンを前記場面と合成し、合成された画像を取得するステップを更に有する、請求項1に記載の方法。 - 前記合成された画像をディスプレイユニットに表示するステップを更に有する、請求項2に記載の方法。
- ユーザ入力に基づいて前記表示するステップを実行するか否かを決定するステップを更に有する、請求項3に記載の方法。
- 手術用システムの情報に基づいて前記表示するステップを実行するか否かを決定するステップを更に有する、請求項3に記載の方法。
- 前記初期部位アイコンは、矢印を有する、請求項1に記載の方法。
- 前記血液の領域を血液マーカーで識別するステップであり、前記血液マーカーは、前記初期部位アイコンと異なるステップを更に有する、請求項1に記載の方法。
- 前記検出するステップは、
比における第1の量がある位置における第1の色成分の画素値を使用して決定された値を含み、前記比における第2の量が前記位置における第2の色成分の画素値を使用して決定された値を含む際の比を生成するステップと、
前記比が血液指標閾値に対して所定の関係を有する場合、血液を示す情報を含むものとして前記位置を識別するステップと
を更に有する、請求項1に記載の方法。 - 前記所定の関係は、前記比が前記血液指標閾値より大きいことである、請求項8に記載の方法。
- 前記検出するステップは、
前記フレームの前記複数の位置について、前記比を生成するステップと、前記位置を識別するステップとを繰り返すステップを更に有する、請求項8に記載の方法。 - 前記システムにより、前記領域におけるシミュレーションされた血流を生成するステップと、
前記シミュレーションされた血流をディスプレイユニットに表示するステップと
を更に有する、請求項1に記載の方法。 - ユーザ入力に基づいて前記表示するステップを実行するか否かを決定するステップを更に有する、請求項11に記載の方法。
- 前記システムからの情報に基づいて前記表示するステップを実行するか否かを決定するステップを更に有する、請求項11に記載の方法。
- 出血検出ユニットにより、複数のフレームを使用したオプティカルフロー分析に基づいて、前記領域におけるそれぞれの位置の全体の動きを推定するステップを更に有する、請求項1に記載の方法。
- ある位置における平均の組織の動きを補うように前記位置における前記推定された全体の動きを補正することにより、前記位置における血流の推定を生成するステップを更に有する、請求項14に記載の方法。
- 前記複数の位置の前記推定された血流から、前記場面におけるシミュレーションされた血流を生成するステップを更に有する、請求項15に記載の方法。
- ディスプレイにおいて外科医に提示される場面が出血が前記手術部位で生じているときと基本的に同時に現れるように、フレームの系列のそれぞれのフレームで、前記受信するステップ、検出するステップ、決定するステップ及び識別するステップを実行するステップを更に有する、請求項1に記載の方法。
- 前記受信するステップ、検出するステップ、決定するステップ及び識別するステップを実行するステップは、画像取得ユニットにより取得された全てのフレーム未満のもので実行される、請求項17に記載の方法。
- 外科手術中に出血の警告をディスプレイユニットで受信するステップと、
手術器具の操作により、前記ディスプレイユニットに提示された血液の領域に対応する物理領域を洗浄するステップと、
前記ディスプレイユニットに提示された少なくとも1つの初期部位アイコンから、出血元の位置を決定するステップと、
手術用システムに搭載された手術器具の操作により、前記出血を弱めるように前記出血元を処置するステップと、
前記ディスプレイユニットに提示された情報から、前記処置が前記出血を弱めたか否かを決定するステップと
を有する方法。 - 手術部位の場面のデータのフレームを取得するように構成された画像取得システムであり、前記フレームは、複数の位置を含み、それぞれの位置は、複数の色成分の画素を含む画像取得システムと、
出血検出ユニットと
を有し、
前記出血検出ユニットは、
前記データのフレームを受信し、それぞれの位置の前記複数の色成分の画素が当該位置における血液を示す情報を含むか否かを検出し、血液を示す情報を含むものとして検出された位置に基づいて、前記場面における血液の領域を決定するように構成された領域分割モジュールと、
前記領域分割モジュールに結合され、前記場面における血液の初期の位置を識別する初期部位アイコンを生成し、前記初期部位アイコンを前記場面と合成し、合成された場面を生成するように構成された血液領域識別モジュールと、
前記出血検出ユニットに結合され、前記合成された場面を受信し、前記合成された場面を表示するように構成されたディスプレイユニットと
を有するシステム。 - 前記出血検出ユニットは、前記血液の領域における血流をシミュレーションする血流推定モジュールを更に有する、請求項20に記載のシステム。
- 前記血流推定モジュールは、前記領域においてそれぞれの位置における全体の動きを推定する動き推定モジュールを含む、請求項20に記載のシステム。
- 前記血流推定モジュールは、前記動き推定モジュールに結合され、それぞれの位置における前記全体の動きを補正し、当該位置における血液の動きを生成する動き補正モジュールを含む、請求項22に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261675484P | 2012-07-25 | 2012-07-25 | |
US61/675,484 | 2012-07-25 | ||
PCT/US2013/051492 WO2014018448A1 (en) | 2012-07-25 | 2013-07-22 | Efficient and interactive bleeding detection in a surgical system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018043429A Division JP6720238B2 (ja) | 2012-07-25 | 2018-03-09 | 出血検出ユニットを有する手術用システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015529489A true JP2015529489A (ja) | 2015-10-08 |
JP6307073B2 JP6307073B2 (ja) | 2018-04-04 |
Family
ID=49995514
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015524363A Active JP6307073B2 (ja) | 2012-07-25 | 2013-07-22 | 手術用システムにおける効率的且つインタラクティブな出血検出 |
JP2018043429A Active JP6720238B2 (ja) | 2012-07-25 | 2018-03-09 | 出血検出ユニットを有する手術用システム |
JP2020104180A Active JP7124011B2 (ja) | 2012-07-25 | 2020-06-17 | システム、及び出血検出システムの作動方法 |
JP2022127861A Active JP7444932B2 (ja) | 2012-07-25 | 2022-08-10 | システム及び出血検出システムのためのプログラム |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018043429A Active JP6720238B2 (ja) | 2012-07-25 | 2018-03-09 | 出血検出ユニットを有する手術用システム |
JP2020104180A Active JP7124011B2 (ja) | 2012-07-25 | 2020-06-17 | システム、及び出血検出システムの作動方法 |
JP2022127861A Active JP7444932B2 (ja) | 2012-07-25 | 2022-08-10 | システム及び出血検出システムのためのプログラム |
Country Status (6)
Country | Link |
---|---|
US (3) | US9877633B2 (ja) |
EP (3) | EP3603510B1 (ja) |
JP (4) | JP6307073B2 (ja) |
KR (2) | KR102163327B1 (ja) |
CN (2) | CN104487014B (ja) |
WO (1) | WO2014018448A1 (ja) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017199509A1 (ja) * | 2016-05-19 | 2017-11-23 | オリンパス株式会社 | 生体観察システム |
WO2019181432A1 (ja) * | 2018-03-20 | 2019-09-26 | ソニー株式会社 | 手術支援システム、情報処理装置、及びプログラム |
WO2019202827A1 (ja) * | 2018-04-17 | 2019-10-24 | ソニー株式会社 | 画像処理システム、画像処理装置、画像処理方法及びプログラム |
JP2021121095A (ja) * | 2020-01-30 | 2021-08-19 | アナウト株式会社 | コンピュータプログラム及び映像再生方法 |
JPWO2020054255A1 (ja) * | 2018-09-12 | 2021-08-30 | 富士フイルム株式会社 | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法 |
JP2022509001A (ja) * | 2018-10-03 | 2022-01-20 | シーエムアール サージカル リミテッド | 自動内視鏡ビデオ拡張 |
WO2022191129A1 (ja) | 2021-03-09 | 2022-09-15 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2022190740A1 (ja) | 2021-03-09 | 2022-09-15 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2022191128A1 (ja) | 2021-03-09 | 2022-09-15 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2024004013A1 (ja) * | 2022-06-28 | 2024-01-04 | 国立研究開発法人国立がん研究センター | プログラム、情報処理方法、及び情報処理装置 |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11771596B2 (en) | 2010-05-10 | 2023-10-03 | Ramot At Tel-Aviv University Ltd. | System and method for treating an eye |
CN103025282B (zh) | 2010-05-10 | 2015-03-11 | 特拉维夫大学拉玛特有限公司 | 通过将电磁能量引导到眼睛的角膜缘区域来治疗青光眼的系统 |
EP3603510B1 (en) | 2012-07-25 | 2023-03-08 | Intuitive Surgical Operations, Inc. | Efficient and interactive bleeding detection in a surgical system |
US9833165B2 (en) * | 2014-04-29 | 2017-12-05 | Biosense Webster (Israel) Ltd. | Checking for perforation of the epicardium using magnetic resonance imaging |
JP6323184B2 (ja) * | 2014-06-04 | 2018-05-16 | ソニー株式会社 | 画像処理装置、画像処理方法、並びにプログラム |
US9633276B2 (en) * | 2014-07-14 | 2017-04-25 | Sony Corporation | Blood detection system with real-time capability and method of operation thereof |
US20160259888A1 (en) * | 2015-03-02 | 2016-09-08 | Sony Corporation | Method and system for content management of video images of anatomical regions |
US10729307B2 (en) * | 2015-06-05 | 2020-08-04 | Sony Corporation | Image processing device, image processing method, and surgical system |
EP3130276B8 (en) * | 2015-08-12 | 2020-02-26 | TransEnterix Europe Sàrl | Endoscope with wide angle lens and adjustable view |
CN107920863B (zh) * | 2015-08-13 | 2021-12-31 | 西门子医疗有限公司 | 用于控制包括成像模态的系统的设备和方法 |
DE102016100566B4 (de) | 2016-01-14 | 2024-05-23 | Carl Zeiss Meditec Ag | Assistenzsystem für ein medizinisch optisches Beobachtungsgerät und Verfahren zum Verbessern der Sichtbarkeit einer Blutaustrittsstelle in einem mit einem medizinisch optischen Beobachtungsgerät gewonnenen Bild und medizinisch optisches Beobachtungsgerätesystem |
DE102016101468A1 (de) | 2016-01-27 | 2017-07-27 | Wobben Properties Gmbh | Verfahren zum Einspeisen elektrischer Leistung in ein elektrisches Versorgungsnetz |
CN105865564A (zh) * | 2016-03-25 | 2016-08-17 | 李文献 | 出血计量装置及出血计量方法 |
US10447906B2 (en) | 2016-05-02 | 2019-10-15 | Visionsense Ltd. | Dual path endoscope |
TWI616180B (zh) * | 2016-06-29 | 2018-03-01 | 國立成功大學 | 上消化道出血偵測裝置及方法 |
JP7067488B2 (ja) * | 2017-01-11 | 2022-05-16 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及び、プログラム |
US11642106B2 (en) * | 2017-08-14 | 2023-05-09 | Stryker Corporation | Internal bleeding detection, assessment and monitoring devices, systems and methods |
US10772508B2 (en) * | 2017-11-22 | 2020-09-15 | MediVisionTech Co., Ltd. | Method for determining upper gastrointestinal bleeding course |
US10772509B2 (en) * | 2017-11-22 | 2020-09-15 | MediVisionTech Co., Ltd. | Method for determining emptying of upper gastrointestinal tract |
US11026585B2 (en) * | 2018-06-05 | 2021-06-08 | Synaptive Medical Inc. | System and method for intraoperative video processing |
JP7454243B2 (ja) | 2018-07-02 | 2024-03-22 | ベルキン ヴィジョン リミテッド | 直接的選択的レーザ線維柱帯形成術のためのシステム |
CN113164013B (zh) * | 2018-12-05 | 2024-06-21 | 直观外科手术操作公司 | 图像引导外科手术中的近红外信息与彩色图像的组合 |
US11426255B2 (en) | 2019-02-21 | 2022-08-30 | Theator inc. | Complexity analysis and cataloging of surgical footage |
JP7200353B2 (ja) * | 2019-02-25 | 2023-01-06 | オリンパス株式会社 | 集中制御装置、設定方法および集中制御システム |
US11625834B2 (en) * | 2019-11-08 | 2023-04-11 | Sony Group Corporation | Surgical scene assessment based on computer vision |
CN111012525B (zh) * | 2020-01-20 | 2020-10-27 | 北京华腾创新科技有限公司 | 一种神经外科蛇形持镜臂 |
WO2021166208A1 (ja) * | 2020-02-21 | 2021-08-26 | オリンパス株式会社 | 画像処理システム、内視鏡システム及び画像処理方法 |
KR102386673B1 (ko) * | 2020-05-07 | 2022-04-18 | 고려대학교 산학협력단 | 오브젝트 검출 방법 및 장치 |
KR102378497B1 (ko) * | 2020-05-08 | 2022-03-30 | 고려대학교 산학협력단 | 오브젝트 크기 측정 방법 및 장치 |
EP4216793A1 (en) * | 2020-09-23 | 2023-08-02 | Wayne State University | Detecting, localizing, assessing, and visualizing bleeding in a surgical field |
KR102566890B1 (ko) * | 2020-12-11 | 2023-08-11 | 가천대학교 산학협력단 | 수술 부위 모니터링 방법 및 이를 이용한 디바이스 |
KR20230039932A (ko) | 2021-09-15 | 2023-03-22 | 안명천 | 출혈 감지 시스템 및 방법 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007330811A (ja) * | 2007-08-28 | 2007-12-27 | Olympus Corp | カプセル型医療装置 |
JP2008086605A (ja) * | 2006-10-03 | 2008-04-17 | Pentax Corp | 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム |
WO2008155861A1 (ja) * | 2007-06-21 | 2008-12-24 | Olympus Corporation | 画像表示装置および画像表示プログラム |
JP2011036372A (ja) * | 2009-08-10 | 2011-02-24 | Tohoku Otas Kk | 医療画像記録装置 |
JP4861540B2 (ja) * | 2010-05-10 | 2012-01-25 | オリンパスメディカルシステムズ株式会社 | 医療装置 |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4582067A (en) | 1983-02-14 | 1986-04-15 | Washington Research Foundation | Method for endoscopic blood flow detection by the use of ultrasonic energy |
US5170792A (en) * | 1989-11-27 | 1992-12-15 | Acoustic Imaging Technologies Corporation | Adaptive tissue velocity compensation for ultrasonic Doppler imaging |
US6331181B1 (en) | 1998-12-08 | 2001-12-18 | Intuitive Surgical, Inc. | Surgical robotic tools, data architecture, and use |
US6659939B2 (en) | 1998-11-20 | 2003-12-09 | Intuitive Surgical, Inc. | Cooperative minimally invasive telesurgical system |
US6454711B1 (en) | 1999-04-23 | 2002-09-24 | The Regents Of The University Of California | Microwave hemorrhagic stroke detector |
US20020177779A1 (en) * | 2001-03-14 | 2002-11-28 | Doron Adler | Method and system for detecting colorimetric abnormalities in vivo |
US8620410B2 (en) * | 2002-03-12 | 2013-12-31 | Beth Israel Deaconess Medical Center | Multi-channel medical imaging system |
EP1506471A2 (en) * | 2002-05-17 | 2005-02-16 | Sarnoff Corporation | Method and apparatus for determining optical flow |
WO2005037060A2 (en) * | 2003-10-03 | 2005-04-28 | University Of Washington | Transcutaneous localization of arterial bleeding by ultrasonic imaging |
WO2006055498A2 (en) * | 2004-11-15 | 2006-05-26 | Uab Research Foundation | Methods and systems of analyzing clinical parameters and methods of producing visual images |
US7545969B2 (en) | 2004-12-16 | 2009-06-09 | Alliant Techsystems Inc. | Method and system for wide-area ultraviolet detection of forensic evidence |
EP2415389B1 (en) | 2005-04-13 | 2016-05-04 | Olympus Corporation | Image processing apparatus and method for analysing mucosa, villi or feces |
JP4767591B2 (ja) | 2005-06-01 | 2011-09-07 | オリンパスメディカルシステムズ株式会社 | 内視鏡診断支援方法、内視鏡診断支援装置および内視鏡診断支援プログラム |
JP4912787B2 (ja) * | 2006-08-08 | 2012-04-11 | オリンパスメディカルシステムズ株式会社 | 医療用画像処理装置及び医療用画像処理装置の作動方法 |
JP5121204B2 (ja) | 2006-10-11 | 2013-01-16 | オリンパス株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム |
WO2008069062A1 (ja) * | 2006-12-01 | 2008-06-12 | Kyushu Tlo Company, Limited | 血流速度画像化装置 |
US7920731B2 (en) * | 2007-03-27 | 2011-04-05 | Siemens Medical Solutions Usa, Inc. | Bleeding detection using a blanket ultrasound device |
JP5683946B2 (ja) * | 2007-04-10 | 2015-03-11 | ユニヴァーシティー オブ サザン カリフォルニア | ドップラー光コヒーレンス・トモグラフィを用いた血流測定のための方法とシステム |
CN101238987A (zh) * | 2007-09-06 | 2008-08-13 | 深圳先进技术研究院 | 一种关于ct脑出血图像的处理方法 |
US8184880B2 (en) | 2008-12-31 | 2012-05-22 | Intuitive Surgical Operations, Inc. | Robust sparse image matching for robotic surgery |
US8831304B2 (en) | 2009-05-29 | 2014-09-09 | University of Pittsburgh—of the Commonwealth System of Higher Education | Blood vessel segmentation with three-dimensional spectral domain optical coherence tomography |
JP2011024628A (ja) * | 2009-07-21 | 2011-02-10 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP2011036371A (ja) * | 2009-08-10 | 2011-02-24 | Tohoku Otas Kk | 医療画像記録装置 |
US20120157820A1 (en) * | 2009-08-24 | 2012-06-21 | Zhou Zhang | Method and system for detecting disc haemorrhages |
US9066658B2 (en) * | 2010-03-23 | 2015-06-30 | Stryker Corporation | Method and system for video based image detection/identification analysis for fluid and visualization control |
JP2011200283A (ja) | 2010-03-24 | 2011-10-13 | Olympus Corp | 制御装置、内視鏡システム、プログラム及び制御方法 |
JP5555097B2 (ja) | 2010-08-24 | 2014-07-23 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、および画像処理プログラム |
EP3603510B1 (en) | 2012-07-25 | 2023-03-08 | Intuitive Surgical Operations, Inc. | Efficient and interactive bleeding detection in a surgical system |
-
2013
- 2013-07-22 EP EP19197625.7A patent/EP3603510B1/en active Active
- 2013-07-22 JP JP2015524363A patent/JP6307073B2/ja active Active
- 2013-07-22 WO PCT/US2013/051492 patent/WO2014018448A1/en active Application Filing
- 2013-07-22 EP EP13823451.3A patent/EP2877116B1/en active Active
- 2013-07-22 KR KR1020157002912A patent/KR102163327B1/ko active IP Right Grant
- 2013-07-22 CN CN201380039530.0A patent/CN104487014B/zh active Active
- 2013-07-22 EP EP23151747.5A patent/EP4186422A1/en active Pending
- 2013-07-22 KR KR1020207021315A patent/KR102201603B1/ko active IP Right Grant
- 2013-07-22 US US13/947,626 patent/US9877633B2/en active Active
- 2013-07-22 CN CN201710872989.9A patent/CN107485455B/zh active Active
-
2018
- 2018-01-05 US US15/863,651 patent/US10772482B2/en active Active
- 2018-03-09 JP JP2018043429A patent/JP6720238B2/ja active Active
-
2020
- 2020-06-17 JP JP2020104180A patent/JP7124011B2/ja active Active
- 2020-08-12 US US16/991,695 patent/US20200367720A1/en active Pending
-
2022
- 2022-08-10 JP JP2022127861A patent/JP7444932B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008086605A (ja) * | 2006-10-03 | 2008-04-17 | Pentax Corp | 内視鏡プロセッサ、自家蛍光画像表示プログラム、及び内視鏡システム |
WO2008155861A1 (ja) * | 2007-06-21 | 2008-12-24 | Olympus Corporation | 画像表示装置および画像表示プログラム |
JP2007330811A (ja) * | 2007-08-28 | 2007-12-27 | Olympus Corp | カプセル型医療装置 |
JP2011036372A (ja) * | 2009-08-10 | 2011-02-24 | Tohoku Otas Kk | 医療画像記録装置 |
JP4861540B2 (ja) * | 2010-05-10 | 2012-01-25 | オリンパスメディカルシステムズ株式会社 | 医療装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017199509A1 (ja) * | 2016-05-19 | 2017-11-23 | オリンパス株式会社 | 生体観察システム |
JPWO2017199509A1 (ja) * | 2016-05-19 | 2018-06-07 | オリンパス株式会社 | 生体観察システム |
WO2019181432A1 (ja) * | 2018-03-20 | 2019-09-26 | ソニー株式会社 | 手術支援システム、情報処理装置、及びプログラム |
JPWO2019181432A1 (ja) * | 2018-03-20 | 2021-04-01 | ソニー株式会社 | 手術支援システム、情報処理装置、及びプログラム |
WO2019202827A1 (ja) * | 2018-04-17 | 2019-10-24 | ソニー株式会社 | 画像処理システム、画像処理装置、画像処理方法及びプログラム |
JPWO2020054255A1 (ja) * | 2018-09-12 | 2021-08-30 | 富士フイルム株式会社 | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の操作方法 |
JP7162670B2 (ja) | 2018-09-12 | 2022-10-28 | 富士フイルム株式会社 | 内視鏡装置、内視鏡プロセッサ、及び内視鏡装置の作動方法 |
JP2022509001A (ja) * | 2018-10-03 | 2022-01-20 | シーエムアール サージカル リミテッド | 自動内視鏡ビデオ拡張 |
JP7145327B2 (ja) | 2018-10-03 | 2022-09-30 | シーエムアール サージカル リミテッド | 自動内視鏡ビデオ拡張 |
JP2021121095A (ja) * | 2020-01-30 | 2021-08-19 | アナウト株式会社 | コンピュータプログラム及び映像再生方法 |
WO2022191129A1 (ja) | 2021-03-09 | 2022-09-15 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2022190740A1 (ja) | 2021-03-09 | 2022-09-15 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2022191128A1 (ja) | 2021-03-09 | 2022-09-15 | 富士フイルム株式会社 | 内視鏡システム及びその作動方法 |
WO2024004013A1 (ja) * | 2022-06-28 | 2024-01-04 | 国立研究開発法人国立がん研究センター | プログラム、情報処理方法、及び情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
EP3603510B1 (en) | 2023-03-08 |
CN104487014A (zh) | 2015-04-01 |
KR20200091943A (ko) | 2020-07-31 |
KR102201603B1 (ko) | 2021-01-12 |
EP2877116B1 (en) | 2019-09-18 |
EP4186422A1 (en) | 2023-05-31 |
KR102163327B1 (ko) | 2020-10-08 |
JP6307073B2 (ja) | 2018-04-04 |
US9877633B2 (en) | 2018-01-30 |
JP7124011B2 (ja) | 2022-08-23 |
US10772482B2 (en) | 2020-09-15 |
WO2014018448A1 (en) | 2014-01-30 |
EP2877116A1 (en) | 2015-06-03 |
JP2020171716A (ja) | 2020-10-22 |
KR20150037982A (ko) | 2015-04-08 |
US20180125333A1 (en) | 2018-05-10 |
JP2022172134A (ja) | 2022-11-15 |
JP6720238B2 (ja) | 2020-07-08 |
EP3603510A1 (en) | 2020-02-05 |
CN104487014B (zh) | 2017-10-27 |
JP2018114303A (ja) | 2018-07-26 |
US20200367720A1 (en) | 2020-11-26 |
CN107485455B (zh) | 2020-04-03 |
CN107485455A (zh) | 2017-12-19 |
EP2877116A4 (en) | 2016-04-13 |
US20140031659A1 (en) | 2014-01-30 |
JP7444932B2 (ja) | 2024-03-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7124011B2 (ja) | システム、及び出血検出システムの作動方法 | |
JP6348078B2 (ja) | 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム | |
JP6103827B2 (ja) | 画像処理装置および立体画像観察システム | |
WO2015049962A1 (ja) | 内視鏡システム | |
JP6254053B2 (ja) | 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法 | |
KR101772187B1 (ko) | 이미지 데이터의 입체적 묘사를 위한 방법 및 디바이스 | |
JPWO2018168261A1 (ja) | 制御装置、制御方法、及びプログラム | |
US20170039707A1 (en) | Image processing apparatus | |
US11432707B2 (en) | Endoscope system, processor for endoscope and operation method for endoscope system for determining an erroneous estimation portion | |
WO2016076262A1 (ja) | 医療装置 | |
JP7441934B2 (ja) | 処理装置、内視鏡システム及び処理装置の作動方法 | |
US20230157526A1 (en) | Endoscope system | |
Clancy et al. | Stroboscopic illumination scheme for seamless 3D endoscopy | |
JP2013197652A (ja) | レンズ汚れを検知する方法と、この方法を用いた手術用カメラ | |
CN115696069A (zh) | 用于3d内窥镜成像系统的成像方法和3d内窥镜成像系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160630 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170213 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170221 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170519 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170808 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180309 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6307073 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |