JP2022511604A - インジケータシステム - Google Patents
インジケータシステム Download PDFInfo
- Publication number
- JP2022511604A JP2022511604A JP2021518657A JP2021518657A JP2022511604A JP 2022511604 A JP2022511604 A JP 2022511604A JP 2021518657 A JP2021518657 A JP 2021518657A JP 2021518657 A JP2021518657 A JP 2021518657A JP 2022511604 A JP2022511604 A JP 2022511604A
- Authority
- JP
- Japan
- Prior art keywords
- representation
- indicator
- surgical site
- processor
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 0 CCC1C*CC1 Chemical compound CCC1C*CC1 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
- A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
- A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
- A61B1/00002—Operational features of endoscopes
- A61B1/00043—Operational features of endoscopes provided with output arrangements
- A61B1/00045—Display arrangement
- A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
- A61B34/74—Manipulators with manual electric input means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/50—Supports for surgical instruments, e.g. articulated arms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
- A61B2017/00017—Electrical control of surgical instruments
- A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/102—Modelling of surgical devices, implants or prosthesis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2055—Optical tracking systems
- A61B2034/2057—Details of tracking cameras
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2074—Interface software
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/301—Surgical robots for introducing or steering flexible instruments inserted into the body, e.g. catheters or endoscopes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B2034/305—Details of wrist mechanisms at distal ends of robotic arms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/004—Annotating, labelling
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Optics & Photonics (AREA)
- Physiology (AREA)
- Human Computer Interaction (AREA)
- Cardiology (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Epidemiology (AREA)
- Pulmonology (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Urology & Nephrology (AREA)
- Endoscopes (AREA)
- Manipulator (AREA)
- Surgical Instruments (AREA)
Abstract
Description
外科的部位における患者の解剖学的構造の少なくとも一部分のビデオデータを内視鏡から受信するように構成された受信機と、
プロセッサであって、
受信されたビデオデータの画素領域内の時空間変化を検出することと、
検出された時空間変化に応答して、患者の解剖学的構造のパラメータを識別することと、
識別されたパラメータを示すか、または識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
生成された健康インジケータをアウトプットすることと、を行うように構成された、プロセッサと、を備える、インジケータシステムが提供される。
患者の体腔の内部の外科的部位にある内視鏡から、外科的部位における患者の解剖学的構造の少なくとも一部分のビデオデータを受信することと、
受信されたビデオデータの画素領域内の時空間変化を検出することと、
検出された時空間変化に応答して、患者の解剖学的構造のパラメータを識別することと、
識別されたパラメータを示すか、または識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
生成された健康インジケータをアウトプットすることと、を含む、方法が提供される。
外科用器具の取り付け、取り外し、操作および/または状態の変化と、
外科的部位の表現における画像認識のマッチングを示す画像認識信号と、
外科用ロボットシステムと関連付けられたエラーを示すエラー信号と、
時間信号と、
外科用ロボットシステムのユーザの変化を示す信号と、のうちの少なくとも1つに応じて、満たされていることを決定するように構成され得る。
拡張の数と、
複数の拡張間の距離と、
複数の拡張によって囲まれた面積と、
複数の拡張によって囲まれた体積と、のうちの少なくとも1つを決定することを含み得る。
拡張の数と、
複数の拡張を接続する線と、
複数の拡張によって囲まれた面積と、
複数の拡張によって囲まれた体積と、のうちの1つ以上を表示することを含み得る。
外科医が部位を見ることを可能にし、かつ外科医が外科的手技を実施することを可能にするように、外科的部位の表現をディスプレイ上に表示することができる。表現は、外科的部位に位置する内視鏡などの撮像デバイスからの画像フィードであり得るか、または画像フィードを含み得る。外科的部位の表現は、2Dまたは3D表現を含み得る。3D表現は、好適な処理によって2Dの元の表現から生成することができる。いくつかの実施例では、3D表現は、3Dモデル、例えば、身体または身体の一部分の3Dモデルを含み得る。例えば、外科的手技が腹腔内で行われる場合、3Dモデルは、かかる腹腔を表現し得る。3Dモデルは、いくつかの実施例では、患者に関連する物理的データなどのデータから少なくとも部分的に導出され得る。例えば、データは、MRIスキャンなどのスキャンからのデータを含み得る。3Dモデルは、外科的手技を受ける患者の知識に従って、例えば、その人物の生理学または病態生理学の知識に依存して、修正または選択され得る。いくつかの実施例では、表現は、部位のキャプチャされた画像フィードおよび3Dモデルなどのモデルの両方に基づく。
外科的部位の表現を拡張することにより、外科医などのユーザに対して、例えば、外科的部位の表示された表現の向き付けを支援し得る視覚的な支援の包括が可能になり得る。本明細書で考察される実施例では、「向き付ける」とは、好適には、表示された表現の向きを解明すること、またはその理解を得ることを指す。「向き付ける」は、表示された表現がどの向きにあるかを評価することを含み得る。本技術のアプローチにより、外科的手技をより迅速かつより正確に完了することが可能になり得る。拡張により、システムを使用してエンドエフェクタを制御する外科医と、エンドエフェクタまたは全般的にはロボットシステムの動作との間などで、強化されたヒューマンマシンインタラクションを提供することができる。本明細書で説明されるように、かかる拡張により、システムのユーザが、技術的なタスクをより繰り返し可能に、より確実に、かつ/またはより迅速に実施することなどを可能にすることができる。
以下では、拡張がユーザによってどのように指定され得るかの実施例を説明する。
上の実施例で説明されるように、拡張は、手技中に追加され得る。拡張は、追加的または代替的に、手技前または手技後に追加され得る。拡張は、手技が開始される前に、例えば、計画段階で追加され得る。手技が開始される前に、外科的部位の撮像デバイスからの「生の」画像フィードは存在しない。したがって、好ましくは、手技が開始される前に、拡張が、部位の3Dモデルなどのモデルに追加される。かかる3Dモデルは、いくつかの方式のうちの1つで生成され得る。例えば、3Dモデルは、MRIスキャンなどのスキャンから導出され得る。3Dモデルは、1つ以上の患者関連パラメータに従って選択され得る、ステレオタイプから導出され得る。3Dモデルは、2つ以上のステレオタイプから導出され得る。例えば、3Dモデルは、異なるステレオタイプの重み付けされた組み合わせから導出され得る。
拡張を、拡張の1つ以上のグループに追加することができる。複数の拡張を、拡張の特定のグループに追加することができる。拡張は、これらの拡張に共通する特性に従ってグループ化され得る。例えば、拡張は、
●拡張が追加される点にいるシステムのユーザ、
●拡張を追加するユーザ、
●行われている手技、
●行われている手技のタイプ、
●拡張されている特徴のタイプ(例えば、器官、血管、組織および/もしくは骨、損傷部および/もしくは患部)、
●拡張されている特徴(例えば、特定の器官または血管)、
●行為が所望される点(すなわち、切開点を含み得る「やること」リスト」)、
●時間(例えば、過去1時間または過去30分間に追加されたすべての拡張)、
などのうちの1つ以上に従ってグループ化され得る。
述べられるように、1つ以上の拡張を表現上にまたはその一部として提供して、表現の向き付けを支援することができる。かかるナビゲーション支援により、表示された表現の理解を強化し、ロボットシステムのユーザがロボットシステムを使用して手技を実施することができるスピードおよび/または精度を増加させることができる。
上記に紹介されるように、患者の内部の外科的部位で内視鏡によってキャプチャされるビデオデータの画素領域に対応するデータなどの画素データは、外科用ロボットシステムのユーザに追加のフィードバック源を提供し得るデータを導出するために分析され得る。内視鏡ビデオの分析は、蠕動運動などの解剖構造の移動、および/または組織灌流を識別または特徴付けるために使用され得る。分析は、好適には、解剖構造および/または組織灌流に関連する1つ以上のパラメータの導出を可能にする。導出されたパラメータは、フィードバックをシステムのユーザに提供し、システムのユーザビリティを強化するために使用され得る。
●患者の解剖学的構造または特定の解剖構造の少なくとも一部分を通る血流およびその灌流、
●血管(動脈、細動脈および静脈など)の存在、
●蠕動運動などの解剖構造の移動が挙げられる。
上記は、解剖構造などの患者の解剖学的構造を識別するために別個にまたは組み合わせて使用され得る。
●画素領域における画素によって表される解剖学的構造が、例えば、その解剖学的構造を分離して切除する手技中に脈管切除されたか否か、
●画素領域における画素によって表される解剖学的構造が、その解剖学的構造に対する潜在的な損傷、例えば、外科的手技中のその解剖学的構造の誤った取り扱いの評価を可能にするために十分な組織灌流(したがって、血流)を有するか否か、
●ステップもしくは手技の成功もしくは成功の可能性、またはステップもしくは手技後の将来の結果の可能性を判断する目的で、画素領域における画素によって表される解剖学的構造が外科的ステップまたは手技の間およびその後に適切な組織灌流(したがって、血流)を有するか否かを決定するために実施され得る。例えば、腸吻合(またはより一般的には、外科的吻合)、膣カフの閉鎖、再建形成外科手術などの間の別個の腸の端の再結合中およびその後に組織灌流を評価することができることが有用であると期待される。そのような状況における組織灌流の適切性を評価することは、組織の健康をより正確に監視することを可能にし得、したがって、組織死または他の合併症につながる可能性のある状況の検出を可能にし、組織死または他の合併症が発生する前に是正措置が講じられることを可能にする。重篤な合併症の例は、便が腹腔内への漏出につながり得る腸吻合の失敗であり、これは、生命を脅かす敗血症ショックを結果的にもたらし得る。したがって、そのような失敗を検出する能力は、救命にかかる潜在的な特徴である。
●尿管、またはその一部分、
●腸、またはその一部分が挙げられ得る。
●ディスプレイ上の境界ボックスであって、ディスプレイの中心であるか、または所望の量だけ所望の方向に中心からオフセットされ得る、境界ボックス。オフセット方向および/または距離は、事前に設定され得る。オフセット方向および/または距離は、ユーザ定義可能であり得る。
●ディスプレイ上の可動および/またはサイズ変更可能な境界ボックス。
●オペレータによって、例えば、インプットデバイスを操作することによって、描画される抽象領域。
●単一の焦点または複数の焦点。
●自動的に決定され得る(例えば、画像マッチング、画像認識などのビデオ処理によって)、解剖構造または他の特徴。解剖構造または他の特徴は、ビデオデータのフレームにわたって追跡され得る。
●1つ以上の器具先端の周囲の固定または可変サイズのゾーン。ゾーンのサイズは、ユーザによって選択可能であり得る。ゾーンのサイズは、行われている手技、手技のステージ、外科医の好みなどに依存して選択され得る。
境界ボックスは、多角形境界ボックスであり得る。
●画素領域内の検出された時空間変化の数、
これは、増幅された時空間変化が、別の検出された時空間変化を含む別の変化を不明瞭にする機会を低減し得る。複数の時空間変化が検出される場合、増幅率が適切に選択され得る。これは、より小さい増幅率を選択することを含み得る。これは、増幅された変化を別の検出された時空間変化から逸脱させる増幅率を選択することを含み得る。
●外科医の好み、
●手技であって、外科用ロボットシステムまたは手技のステージを使用して行われている、手技、
●患者の解剖学的構造または解剖構造、
●識別されたパラメータ、
●参照パラメータとの識別されたパラメータの比較。
時空間変化は、時空間差アルゴリズムを使用することによって、検出され得る。時空間差アルゴリズムは、手技中に複数回有効化および無効化され得る。インジケータシステムは、いくつかの動作モードのうちの1つで動作可能であり得る。好適には、動作モードは、以下を含む:
●灌流モード
灌流モードは、血流に対応するビデオの小さい変化を増幅するために使用され得る。例えば、灌流モードでは、インジケータシステムは、ビデオデータの赤色チャネルの小さい変化を検出し得る。したがって、灌流モードでは、インジケータシステムは、灌流の有無を決定するために好適である。インジケータシステムは、このモードでは、人間の心拍数の範囲の灌流を検出するためにフィルタを用いて較正され得る。したがって、好適には、インジケータシステムは、ビデオデータ、例えば、ビデオデータの赤色チャネルの時間分析を実施して、心拍数を識別するように構成される。インジケータシステムは、灌流モードでは、赤色および/または赤外線スペクトルフィルタを適用して、酸素化および脱酸素化ヘモグロビンの存在を検出し得る。
●蠕動モード
蠕動モードは、ビデオ内の小さい移動を増幅するために使用され得る。インジケータシステムは、蠕動モードでは、結腸蠕動および尿道蠕動運動を含む、対象となる典型的な移動を検出し得る。インジケータシステムは、対象となる移動、例えば、結腸蠕動運動または尿道蠕動運動の特徴である移動の振幅および/または移動の周波数を用いて移動を識別することによって、そのような蠕動運動を検出し得る。
●血管モード
血管モードは、脈動血流に起因する小さい移動を増幅するために使用され得る。インジケータシステムは、血管モードでは、対象となる周波数または対象となる周波数範囲内での移動を検出し得る。これは、インジケータシステムが血管を識別することを可能にし得る。インジケータシステムは、血管モードでは、赤色および/または赤外線スペクトルフィルタを適用して、酸素化および脱酸素化ヘモグロビンの存在を検出し得る。
●混合モード
混合モードは、他のモードのうちのいずれか2つ以上からの分析を含むハイブリッドモードである。
健康インジケータは、いくつかの異なるやり方のうちの1つのアウトプットである。本明細書の他の箇所で考察されるように、健康インジケータは、視覚的信号および/または聴覚的信号を含み得る。健康インジケータは、異なるやり方で検出された時空間変化を識別するために外科用ロボットシステムのユーザにアウトプットされ得る。
なお、本発明は、実施の態様として以下の内容を含む。
[態様1]
患者の解剖学的構造の少なくとも一部分の状態を示すための外科用ロボットシステムのためのインジケータシステムであって、前記外科用ロボットシステムが、ベースおよび前記ベースから延在するアームを有するロボットを含み、前記アームが、前記ベースから遠位にある前記アームの端に内視鏡を保持し、前記内視鏡が、前記患者の身体の内部の外科的部位を観察するために前記患者の体腔内への挿入のために構成されており、前記インジケータシステムが、
前記外科的部位における患者の解剖学的構造の少なくとも一部分のビデオデータを前記内視鏡から受信するように構成された受信機と、
プロセッサであって、
前記受信されたビデオデータの画素領域内の時空間変化を検出することと、
前記検出された時空間変化に応答して、前記患者の解剖学的構造のパラメータを識別することと、
前記識別されたパラメータを示すか、または前記識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
前記生成された健康インジケータをアウトプットすることと、を行うように構成された、プロセッサと、を備える、インジケータシステム。
[態様2]
前記プロセッサが、前記識別されたパラメータを前記患者の解剖学的構造の参照パラメータと比較することと、前記比較の結果に依存して前記健康インジケータを生成することと、を行うように構成されている、態様1に記載のインジケータシステム。
[態様3]
前記時空間変化が、
前記画素領域内の前記患者の解剖学的構造の少なくとも一部分の位置変化と、
前記画素領域内の前記患者の解剖学的構造の少なくとも一部分の密度変化と、
前記画素領域内の前記患者の解剖学的構造の少なくとも一部分の周波数スペクトルの変化と、のうちの1つ以上を含む、態様1または2に記載のインジケータシステム。
[態様4]
前記プロセッサが、前記内視鏡と前記患者の解剖学的構造の大部分との間、および/または前記患者の解剖学的構造の大部分と前記外科的部位の残りの部分との間の相対移動を識別することと、前記識別された相対移動に依存して前記時空間変化を検出することと、を行うように構成されている、態様1~3のいずれかに記載のインジケータシステム。
[態様5]
前記プロセッサが、前記時空間変化を増幅することと、前記増幅された時空間変化を使用して前記健康インジケータを生成することと、を行うように構成されている、態様1~4のいずれかに記載のインジケータシステム。
[態様6]
前記時空間変化が、第1の値と第2の値との間の変化を含む場合、前記プロセッサが、前記第1の値を第1の増幅率と乗算することによって、および前記第2の値を第2の増幅率と乗算することによって、前記時空間変化を増幅するように構成されている、態様5に記載のインジケータシステム。
[態様7]
前記第1の増幅率および前記第2の増幅率の一方または両方が、1を超える、態様6に記載のインジケータシステム。
[態様8]
前記第1の増幅率および前記第2の増幅率の一方または両方が、
前記画素領域内の検出された時空間変化の数と、
外科医の好みと、
手技であって、前記外科用ロボットシステムまたは前記手技のステージを使用して行われている、手技と、
前記患者の解剖学的構造と、
前記識別されたパラメータと、
前記参照パラメータとの前記識別されたパラメータの比較と、のうちの1つ以上に依存して選択される、態様5~7のいずれかに記載のインジケータシステム。
[態様9]
前記画素領域が、前記内視鏡の視野の少なくとも一部分を含む、態様1~8のいずれかに記載のインジケータシステム。
[態様10]
前記プロセッサが、受信されたユーザ選択信号および解剖構造識別信号のうちの1つ以上に応答して、前記画素領域を選択するように構成されている、態様1~9のいずれかに記載のインジケータシステム。
[態様11]
前記外科用ロボットシステムが、前記外科用ロボットシステムのアームを制御するためのインプットデバイスを有するコントローラを備え、前記コントローラが、前記外科用部位に関連するユーザインプットに応答して、前記ユーザ選択信号をアウトプットするように構成されている、態様10に記載のインジケータシステム。
[態様12]
前記プロセッサが、前記受信されたビデオデータ内で、1つ以上の解剖構造を識別することと、前記1つ以上の解剖構造を識別することに応答して、前記解剖構造識別信号をアウトプットすることと、を行うように構成されている、態様10または11に記載のインジケータシステム。
[態様13]
前記画素領域が、解剖構造の少なくとも一部分を含む、態様10~12のいずれかに記載のインジケータシステム。
[態様14]
前記時空間変化が、解剖構造の少なくとも一部分の蠕動運動を含む、態様1~13のいずれかに記載のインジケータシステム。
[態様15]
前記画素領域が、
尿管の少なくとも一部分の表現であって、前記時空間変化が、前記尿管の蠕動運動を含む、表現と、
腸の少なくとも一部分の表現であって、前記時空間変化が、前記腸の蠕動運動を含む、 表現と、のうちの1つ以上を含む、態様1~14のいずれかに記載のインジケータシステム。
[態様16]
前記時空間変化が、組織灌流または血流の尺度を表す、態様1~15のいずれかに記載のインジケータシステム。
[態様17]
前記プロセッサが、さらなるパラメータを使用して前記識別されたパラメータを較正するように構成されている、態様1~16のいずれかに記載のインジケータシステム。
[態様18]
前記パラメータおよびさらなるパラメータが、患者の心拍数および患者の呼吸速度の一方または両方に関連する、態様17に記載のインジケータシステム。
[態様19]
前記受信機が、前記患者の外側部分のさらなるビデオデータを受信するように構成されており、前記プロセッサが、
前記受信されたさらなるビデオデータの画素領域内のさらなる時空間変化を検出することと、
前記検出されたさらなる時空間変化に応答して、前記さらなるパラメータを識別することと、を行うように構成されている、態様17または18に記載のインジケータシステム。
[態様20]
前記生成された健康インジケータが、
視覚的インジケータであって、前記プロセッサが、ディスプレイ上に表示するために、前記生成された健康インジケータをアウトプットするように構成されている、視覚的インジケータと、
聴覚的インジケータであって、前記プロセッサが、スピーカを駆動するために、前記生成された健康インジケータをアウトプットするように構成されている、聴覚的インジケータと、
触覚的インジケータであって、前記プロセッサが、触覚的フィードバックを提供するためのモータを駆動するために、前記生成された健康インジケータをアウトプットするように構成されている、触覚的インジケータと、のうちの1つ以上を含む、態様1~19のいずれかに記載のインジケータシステム。
[態様21]
患者の解剖学的構造の少なくとも一部分の状態を示す方法であって、前記方法が、
患者の体腔の内部の外科的部位にある内視鏡から、前記外科的部位における患者の解剖学的構造の少なくとも一部分のビデオデータを受信することと、
前記受信されたビデオデータの画素領域内の時空間変化を検出することと、
前記検出された時空間変化に応答して、前記患者の解剖学的構造のパラメータを識別することと、
前記識別されたパラメータを示すか、または前記識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
前記生成された健康インジケータをアウトプットすることと、を含む、方法。
[態様22]
態様21に記載の方法を実施するように構成された外科用ロボットシステムのためのインジケータシステム。
[態様23]
コンピュータシステムで実行されると、前記コンピュータシステムに、態様21に記載の方法を実施させるコンピュータ可読命令を記憶している非一時的コンピュータ可読記憶媒体。
[態様24]
外科的手技が行われ得る外科的部位の表現を拡張するための外科用ロボットシステムで あって、前記システムが、
外科的部位の少なくとも一部分の表現の一部または全部を表示するように構成されたディスプレイと、
インプットデバイスを含むコントローラであって、それによって、前記インプットデバイスが、前記ディスプレイ上のインジケータを制御することができ、前記コントローラが、前記表現に関連するユーザインプットに応答して、拡張信号をアウトプットするように構成されている、コントローラと、
態様1~20または22のいずれかに記載のインジケータシステムと、を備え、
前記プロセッサが、前記拡張信号を受信することと、前記受信された拡張信号および前記生成された健康インジケータに応答して、前記外科的部位の前記表現を拡張することと、を行うように構成されている、システム。
[態様25]
前記外科的部位の前記表現が、前記受信されたビデオデータに依存して得られる、態様24に記載のシステム。
[態様26]
前記外科的部位の前記表現が、3D表現である、態様24または25に記載のシステム。
[態様27]
エンドエフェクタを有する外科用器具を有するロボットアームを備え、それによって、前記外科的部位の前記表現が、前記エンドエフェクタの表現を含み、前記インジケータが、前記エンドエフェクタの前記表現の一部分を含む、態様24~26のいずれかに記載のシステム。
[態様28]
前記拡張信号が、前記ディスプレイ上に表示される特徴を示す、態様24~27のいずれかに記載のシステム。
[態様29]
前記システムが、前記インジケータ位置に依存して前記拡張を前記外科的部位の前記表現と関連付けるように構成されている、態様24~28のいずれかに記載のシステム。
[態様30]
前記プロセッサが、前記ロボットシステムと関連付けられたジョイントデータに依存して前記外科的部位の前記表現を拡張するように構成されている、態様24~29のいずれかに記載のシステム。
[態様31]
前記プロセッサが、前記拡張を、前記ジョイントデータに依存して決定された前記外科的部位の前記表現内の場所と関連付けるように構成されている、態様30に記載のシステム。
[態様32]
前記プロセッサが、前記表現の画像処理に依存して前記外科的部位の前記表現を拡張するように構成されている、態様24~31のいずれかに記載のシステム。
[態様33]
第2のインプットデバイスを備え、前記プロセッサが、前記第2のインプットデバイスにおけるユーザインプットに依存して前記外科的部位の前記表現を拡張するように構成されている、態様24~32のいずれかに記載のシステム。
[態様34]
前記インプットデバイスおよび前記第2のインプットデバイスのうちの少なくとも1つが、音声コマンド、ジェスチャ、および前記それぞれのインプットデバイスとのタッチインタラクションのうちの1つ以上に応答する、態様24~33のいずれかに記載のシステム。
[態様35]
前記プロセッサは、拡張基準が満たされていることを決定することと、その決定に依存 して前記外科的部位の前記表現を拡張することと、を行うように構成されている、態様24~34のいずれかに記載のシステム。
[態様36]
前記プロセッサは、前記拡張基準が満たされていることを、
外科用器具の取り付け、取り外し、操作および/または状態の変化と、
前記外科的部位の前記表現における画像認識のマッチングを示す画像認識信号と、
前記外科用ロボットシステムと関連付けられたエラーを示すエラー信号と、
時間信号と、
前記外科用ロボットシステムのユーザの変化を示す信号と、
手技のステージまたは手技計画と、
手技計画からの逸脱と、のうちの少なくとも1つに依存して決定するように構成されている、態様35に記載の外科用ロボットシステム。
[態様37]
前記プロセッサが、ユーザインプットおよび画像認識信号のうちの少なくとも1つに依存して前記外科的部位の前記表現における前記拡張と関連付けられた特徴を特徴付けるように構成されている、態様24~36のいずれかに記載の外科用ロボットシステム。
[態様38]
前記プロセッサに結合されたメモリを備え、前記メモリが、前記外科的部位の前記表現および前記拡張のうちの少なくとも1つを記憶するように構成されている、態様24~37のいずれかに記載の外科用ロボットシステム。
[態様39]
外科的手技が行われ得る外科的部位の表現を拡張するための方法であって、
患者の体腔の内部の外科的部位にある内視鏡から、前記外科的部位における解剖構造のビデオデータを受信することと、
前記受信されたビデオデータの画素領域内の時空間変化を検出することと、
前記検出された時空間変化に応答して、前記解剖構造のパラメータを識別することと、
前記識別されたパラメータを示すか、または前記識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
前記外科的部位の少なくとも一部分の表現の一部または全部を表示することと、
前記ディスプレイ上のインジケータを制御することと、
前記表現に関連するユーザインプットを受信し、前記受信されたユーザインプットに応答して、拡張信号をアウトプットすることと、
前記拡張信号および前記生成された健康インジケータに応答して、前記外科的部位の前記表現を拡張することと、を含む、方法。
[態様40]
前記外科的部位の記憶された表現に依存して前記外科的部位の前記表現を生成することと、
前記受信されたビデオデータに依存して前記外科的部位の前記表現を生成することと、のうちの少なくとも1つを含む、態様39に記載の方法。
[態様41]
前記インジケータが、前記外科用ロボットシステムの撮像されたエンドエフェクタの一部分を含み、前記方法が、前記エンドエフェクタを制御することによって、前記ディスプレイ上の前記インジケータを制御することを含む、態様39または40に記載の方法。
[態様42]
ジョイントデータおよび前記表現の画像処理のうちの少なくとも1つに依存して前記外科的部位の前記表現を拡張することを含む、態様39~41のいずれかに記載の方法。
[態様43]
拡張基準が満たされていることを決定することと、その決定に依存して前記外科的部位の前記表現を拡張することと、を含む、態様39~42のいずれかに記載の方法。
[態様44]
前記拡張を、少なくとも1つの拡張グループと関連付けることを含む、態様39~43のいずれかに記載の方法。
[態様45]
前記拡張が属する前記拡張のグループに依存して前記拡張を表示することを含む、態様44に記載の方法。
[態様46]
前記外科的部位の前記表現が、複数の拡張を含む場合、
拡張の数と、
前記複数の拡張間の距離と、
前記複数の拡張によって囲まれた面積と、
前記複数の拡張によって囲まれた体積と、のうちの少なくとも1つを決定することを含む、態様39~45のいずれかに記載の方法。
[態様47]
前記ディスプレイおよび補助ディスプレイのうちの少なくとも1つに、
拡張の数と、
複数の拡張を接続する線と、
複数の拡張によって囲まれた面積と、
複数の拡張によって囲まれた体積と、のうちの1つ以上を表示することを含む、態様39~46のいずれかに記載の方法。
Claims (47)
- 患者の解剖学的構造の少なくとも一部分の状態を示すための外科用ロボットシステムのためのインジケータシステムであって、前記外科用ロボットシステムが、ベースおよび前記ベースから延在するアームを有するロボットを含み、前記アームが、前記ベースから遠位にある前記アームの端に内視鏡を保持し、前記内視鏡が、前記患者の身体の内部の外科的部位を観察するために前記患者の体腔内への挿入のために構成されており、前記インジケータシステムが、
前記外科的部位における患者の解剖学的構造の少なくとも一部分のビデオデータを前記内視鏡から受信するように構成された受信機と、
プロセッサであって、
前記受信されたビデオデータの画素領域内の時空間変化を検出することと、
前記検出された時空間変化に応答して、前記患者の解剖学的構造のパラメータを識別することと、
前記識別されたパラメータを示すか、または前記識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
前記生成された健康インジケータをアウトプットすることと、を行うように構成された、プロセッサと、を備える、インジケータシステム。 - 前記プロセッサが、前記識別されたパラメータを前記患者の解剖学的構造の参照パラメータと比較することと、前記比較の結果に依存して前記健康インジケータを生成することと、を行うように構成されている、請求項1に記載のインジケータシステム。
- 前記時空間変化が、
前記画素領域内の前記患者の解剖学的構造の少なくとも一部分の位置変化と、
前記画素領域内の前記患者の解剖学的構造の少なくとも一部分の密度変化と、
前記画素領域内の前記患者の解剖学的構造の少なくとも一部分の周波数スペクトルの変化と、のうちの1つ以上を含む、請求項1または2に記載のインジケータシステム。 - 前記プロセッサが、前記内視鏡と前記患者の解剖学的構造の大部分との間、および/または前記患者の解剖学的構造の大部分と前記外科的部位の残りの部分との間の相対移動を識別することと、前記識別された相対移動に依存して前記時空間変化を検出することと、を行うように構成されている、請求項1~3のいずれか一項に記載のインジケータシステム。
- 前記プロセッサが、前記時空間変化を増幅することと、前記増幅された時空間変化を使用して前記健康インジケータを生成することと、を行うように構成されている、請求項1~4のいずれか一項に記載のインジケータシステム。
- 前記時空間変化が、第1の値と第2の値との間の変化を含む場合、前記プロセッサが、前記第1の値を第1の増幅率と乗算することによって、および前記第2の値を第2の増幅率と乗算することによって、前記時空間変化を増幅するように構成されている、請求項5に記載のインジケータシステム。
- 前記第1の増幅率および前記第2の増幅率の一方または両方が、1を超える、請求項6に記載のインジケータシステム。
- 前記第1の増幅率および前記第2の増幅率の一方または両方が、
前記画素領域内の検出された時空間変化の数と、
外科医の好みと、
手技であって、前記外科用ロボットシステムまたは前記手技のステージを使用して行われている、手技と、
前記患者の解剖学的構造と、
前記識別されたパラメータと、
前記参照パラメータとの前記識別されたパラメータの比較と、のうちの1つ以上に依存して選択される、請求項5~7のいずれかに記載のインジケータシステム。 - 前記画素領域が、前記内視鏡の視野の少なくとも一部分を含む、請求項1~8のいずれか一項に記載のインジケータシステム。
- 前記プロセッサが、受信されたユーザ選択信号および解剖構造識別信号のうちの1つ以上に応答して、前記画素領域を選択するように構成されている、請求項1~9のいずれか一項に記載のインジケータシステム。
- 前記外科用ロボットシステムが、前記外科用ロボットシステムのアームを制御するためのインプットデバイスを有するコントローラを備え、前記コントローラが、前記外科用部位に関連するユーザインプットに応答して、前記ユーザ選択信号をアウトプットするように構成されている、請求項10に記載のインジケータシステム。
- 前記プロセッサが、前記受信されたビデオデータ内で、1つ以上の解剖構造を識別することと、前記1つ以上の解剖構造を識別することに応答して、前記解剖構造識別信号をアウトプットすることと、を行うように構成されている、請求項10または11に記載のインジケータシステム。
- 前記画素領域が、解剖構造の少なくとも一部分を含む、請求項10~12のいずれかに記載のインジケータシステム。
- 前記時空間変化が、解剖構造の少なくとも一部分の蠕動運動を含む、請求項1~13のいずれか一項に記載のインジケータシステム。
- 前記画素領域が、
尿管の少なくとも一部分の表現であって、前記時空間変化が、前記尿管の蠕動運動を含む、表現と、
腸の少なくとも一部分の表現であって、前記時空間変化が、前記腸の蠕動運動を含む、表現と、のうちの1つ以上を含む、請求項1~14のいずれか一項に記載のインジケータシステム。 - 前記時空間変化が、組織灌流または血流の尺度を表す、請求項1~15のいずれか一項に記載のインジケータシステム。
- 前記プロセッサが、さらなるパラメータを使用して前記識別されたパラメータを較正するように構成されている、請求項1~16のいずれか一項に記載のインジケータシステム。
- 前記パラメータおよびさらなるパラメータが、患者の心拍数および患者の呼吸速度の一方または両方に関連する、請求項17に記載のインジケータシステム。
- 前記受信機が、前記患者の外側部分のさらなるビデオデータを受信するように構成されており、前記プロセッサが、
前記受信されたさらなるビデオデータの画素領域内のさらなる時空間変化を検出することと、
前記検出されたさらなる時空間変化に応答して、前記さらなるパラメータを識別することと、を行うように構成されている、請求項17または18に記載のインジケータシステム。 - 前記生成された健康インジケータが、
視覚的インジケータであって、前記プロセッサが、ディスプレイ上に表示するために、前記生成された健康インジケータをアウトプットするように構成されている、視覚的インジケータと、
聴覚的インジケータであって、前記プロセッサが、スピーカを駆動するために、前記生成された健康インジケータをアウトプットするように構成されている、聴覚的インジケータと、
触覚的インジケータであって、前記プロセッサが、触覚的フィードバックを提供するためのモータを駆動するために、前記生成された健康インジケータをアウトプットするように構成されている、触覚的インジケータと、のうちの1つ以上を含む、請求項1~19のいずれか一項に記載のインジケータシステム。 - 患者の解剖学的構造の少なくとも一部分の状態を示す方法であって、前記方法が、
患者の体腔の内部の外科的部位にある内視鏡から、前記外科的部位における患者の解剖学的構造の少なくとも一部分のビデオデータを受信することと、
前記受信されたビデオデータの画素領域内の時空間変化を検出することと、
前記検出された時空間変化に応答して、前記患者の解剖学的構造のパラメータを識別することと、
前記識別されたパラメータを示すか、または前記識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
前記生成された健康インジケータをアウトプットすることと、を含む、方法。 - 請求項21に記載の方法を実施するように構成された外科用ロボットシステムのためのインジケータシステム。
- コンピュータシステムで実行されると、前記コンピュータシステムに、請求項21に記載の方法を実施させるコンピュータ可読命令を記憶している非一時的コンピュータ可読記憶媒体。
- 外科的手技が行われ得る外科的部位の表現を拡張するための外科用ロボットシステムであって、前記システムが、
外科的部位の少なくとも一部分の表現の一部または全部を表示するように構成されたディスプレイと、
インプットデバイスを含むコントローラであって、それによって、前記インプットデバイスが、前記ディスプレイ上のインジケータを制御することができ、前記コントローラが、前記表現に関連するユーザインプットに応答して、拡張信号をアウトプットするように構成されている、コントローラと、
請求項1~20または22のいずれかに記載のインジケータシステムと、を備え、
前記プロセッサが、前記拡張信号を受信することと、前記受信された拡張信号および前記生成された健康インジケータに応答して、前記外科的部位の前記表現を拡張することと、を行うように構成されている、システム。 - 前記外科的部位の前記表現が、前記受信されたビデオデータに依存して得られる、請求項24に記載のシステム。
- 前記外科的部位の前記表現が、3D表現である、請求項24または25に記載のシステム。
- エンドエフェクタを有する外科用器具を有するロボットアームを備え、それによって、前記外科的部位の前記表現が、前記エンドエフェクタの表現を含み、前記インジケータが、前記エンドエフェクタの前記表現の一部分を含む、請求項24~26のいずれかに記載のシステム。
- 前記拡張信号が、前記ディスプレイ上に表示される特徴を示す、請求項24~27のいずれかに記載のシステム。
- 前記システムが、前記インジケータ位置に依存して前記拡張を前記外科的部位の前記表現と関連付けるように構成されている、請求項24~28のいずれかに記載のシステム。
- 前記プロセッサが、前記ロボットシステムと関連付けられたジョイントデータに依存して前記外科的部位の前記表現を拡張するように構成されている、請求項24~29のいずれかに記載のシステム。
- 前記プロセッサが、前記拡張を、前記ジョイントデータに依存して決定された前記外科的部位の前記表現内の場所と関連付けるように構成されている、請求項30に記載のシステム。
- 前記プロセッサが、前記表現の画像処理に依存して前記外科的部位の前記表現を拡張するように構成されている、請求項24~31のいずれかに記載のシステム。
- 第2のインプットデバイスを備え、前記プロセッサが、前記第2のインプットデバイスにおけるユーザインプットに依存して前記外科的部位の前記表現を拡張するように構成されている、請求項24~32のいずれかに記載のシステム。
- 前記インプットデバイスおよび前記第2のインプットデバイスのうちの少なくとも1つが、音声コマンド、ジェスチャ、および前記それぞれのインプットデバイスとのタッチインタラクションのうちの1つ以上に応答する、請求項24~33のいずれかに記載のシステム。
- 前記プロセッサは、拡張基準が満たされていることを決定することと、その決定に依存して前記外科的部位の前記表現を拡張することと、を行うように構成されている、請求項24~34のいずれかに記載のシステム。
- 前記プロセッサは、前記拡張基準が満たされていることを、
外科用器具の取り付け、取り外し、操作および/または状態の変化と、
前記外科的部位の前記表現における画像認識のマッチングを示す画像認識信号と、
前記外科用ロボットシステムと関連付けられたエラーを示すエラー信号と、
時間信号と、
前記外科用ロボットシステムのユーザの変化を示す信号と、
手技のステージまたは手技計画と、
手技計画からの逸脱と、のうちの少なくとも1つに依存して決定するように構成されている、請求項35に記載の外科用ロボットシステム。 - 前記プロセッサが、ユーザインプットおよび画像認識信号のうちの少なくとも1つに依存して前記外科的部位の前記表現における前記拡張と関連付けられた特徴を特徴付けるように構成されている、請求項24~36のいずれかに記載の外科用ロボットシステム。
- 前記プロセッサに結合されたメモリを備え、前記メモリが、前記外科的部位の前記表現および前記拡張のうちの少なくとも1つを記憶するように構成されている、請求項24~37のいずれかに記載の外科用ロボットシステム。
- 外科的手技が行われ得る外科的部位の表現を拡張するための方法であって、
患者の体腔の内部の外科的部位にある内視鏡から、前記外科的部位における解剖構造のビデオデータを受信することと、
前記受信されたビデオデータの画素領域内の時空間変化を検出することと、
前記検出された時空間変化に応答して、前記解剖構造のパラメータを識別することと、
前記識別されたパラメータを示すか、または前記識別されたパラメータのプロファイルを示す、健康インジケータを生成することと、
前記外科的部位の少なくとも一部分の表現の一部または全部を表示することと、
前記ディスプレイ上のインジケータを制御することと、
前記表現に関連するユーザインプットを受信し、前記受信されたユーザインプットに応答して、拡張信号をアウトプットすることと、
前記拡張信号および前記生成された健康インジケータに応答して、前記外科的部位の前記表現を拡張することと、を含む、方法。 - 前記外科的部位の記憶された表現に依存して前記外科的部位の前記表現を生成することと、
前記受信されたビデオデータに依存して前記外科的部位の前記表現を生成することと、のうちの少なくとも1つを含む、請求項39に記載の方法。 - 前記インジケータが、前記外科用ロボットシステムの撮像されたエンドエフェクタの一部分を含み、前記方法が、前記エンドエフェクタを制御することによって、前記ディスプレイ上の前記インジケータを制御することを含む、請求項39または40に記載の方法。
- ジョイントデータおよび前記表現の画像処理のうちの少なくとも1つに依存して前記外科的部位の前記表現を拡張することを含む、請求項39~41のいずれかに記載の方法。
- 拡張基準が満たされていることを決定することと、その決定に依存して前記外科的部位の前記表現を拡張することと、を含む、請求項39~42のいずれかに記載の方法。
- 前記拡張を、少なくとも1つの拡張グループと関連付けることを含む、請求項39~43のいずれかに記載の方法。
- 前記拡張が属する前記拡張のグループに依存して前記拡張を表示することを含む、請求項44に記載の方法。
- 前記外科的部位の前記表現が、複数の拡張を含む場合、
拡張の数と、
前記複数の拡張間の距離と、
前記複数の拡張によって囲まれた面積と、
前記複数の拡張によって囲まれた体積と、のうちの少なくとも1つを決定することを含む、請求項39~45のいずれかに記載の方法。 - 前記ディスプレイおよび補助ディスプレイのうちの少なくとも1つに、
拡張の数と、
複数の拡張を接続する線と、
複数の拡張によって囲まれた面積と、
複数の拡張によって囲まれた体積と、のうちの1つ以上を表示することを含む、請求項39~46のいずれかに記載の方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022127239A JP7500667B2 (ja) | 2018-10-03 | 2022-08-09 | インジケータシステム |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB1816168.7A GB2577718B (en) | 2018-10-03 | 2018-10-03 | Feature identification |
GB1816168.7 | 2018-10-03 | ||
PCT/GB2019/052795 WO2020070504A1 (en) | 2018-10-03 | 2019-10-03 | Indicator system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022127239A Division JP7500667B2 (ja) | 2018-10-03 | 2022-08-09 | インジケータシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022511604A true JP2022511604A (ja) | 2022-02-01 |
JP7308936B2 JP7308936B2 (ja) | 2023-07-14 |
Family
ID=68242727
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021518657A Active JP7308936B2 (ja) | 2018-10-03 | 2019-10-03 | インジケータシステム |
Country Status (8)
Country | Link |
---|---|
US (2) | US20210315645A1 (ja) |
EP (2) | EP3860493A1 (ja) |
JP (1) | JP7308936B2 (ja) |
CN (2) | CN112804958A (ja) |
AU (2) | AU2019352792B2 (ja) |
BR (2) | BR112021006368A2 (ja) |
GB (1) | GB2577718B (ja) |
WO (2) | WO2020070502A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112770686A (zh) * | 2018-08-01 | 2021-05-07 | 钛隼生物科技股份有限公司 | 在手术中跟踪患者位置的方法和系统 |
WO2020033468A1 (en) | 2018-08-07 | 2020-02-13 | The Research Foundation For The State University Of New York | Feedback input apparatus and method for use thereof |
US11045075B2 (en) * | 2018-12-10 | 2021-06-29 | Covidien Lp | System and method for generating a three-dimensional model of a surgical site |
US11832996B2 (en) | 2019-12-30 | 2023-12-05 | Cilag Gmbh International | Analyzing surgical trends by a surgical system |
US11284963B2 (en) | 2019-12-30 | 2022-03-29 | Cilag Gmbh International | Method of using imaging devices in surgery |
US11776144B2 (en) | 2019-12-30 | 2023-10-03 | Cilag Gmbh International | System and method for determining, adjusting, and managing resection margin about a subject tissue |
US12002571B2 (en) | 2019-12-30 | 2024-06-04 | Cilag Gmbh International | Dynamic surgical visualization systems |
US11896442B2 (en) | 2019-12-30 | 2024-02-13 | Cilag Gmbh International | Surgical systems for proposing and corroborating organ portion removals |
EP4128263A1 (en) * | 2020-04-03 | 2023-02-08 | Smith & Nephew, Inc | User interface for digital markers in arthroscopy |
US11832909B2 (en) | 2021-03-31 | 2023-12-05 | Moon Surgical Sas | Co-manipulation surgical system having actuatable setup joints |
EP4312857A1 (en) | 2021-03-31 | 2024-02-07 | Moon Surgical SAS | Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery |
US11844583B2 (en) | 2021-03-31 | 2023-12-19 | Moon Surgical Sas | Co-manipulation surgical system having an instrument centering mode for automatic scope movements |
US11819302B2 (en) | 2021-03-31 | 2023-11-21 | Moon Surgical Sas | Co-manipulation surgical system having user guided stage control |
US11812938B2 (en) | 2021-03-31 | 2023-11-14 | Moon Surgical Sas | Co-manipulation surgical system having a coupling mechanism removeably attachable to surgical instruments |
WO2022226086A2 (en) * | 2021-04-21 | 2022-10-27 | The Cleveland Clinic Foundation | Robotic surgery |
CN114299072B (zh) * | 2022-03-11 | 2022-06-07 | 四川大学华西医院 | 一种基于人工智能的解剖变异识别提示方法及系统 |
US20240020092A1 (en) * | 2022-07-14 | 2024-01-18 | Edwards Lifesciences Corporation | Contactless control of physiological monitors |
CN115565652B (zh) * | 2022-09-14 | 2023-10-20 | 深圳市安保医疗感控科技股份有限公司 | 一种基于化学指示的复用医疗器械包灭菌管理方法及系统 |
US11986165B1 (en) | 2023-01-09 | 2024-05-21 | Moon Surgical Sas | Co-manipulation surgical system for use with surgical instruments for performing laparoscopic surgery while estimating hold force |
US11832910B1 (en) | 2023-01-09 | 2023-12-05 | Moon Surgical Sas | Co-manipulation surgical system having adaptive gravity compensation |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010005326A (ja) * | 2008-06-30 | 2010-01-14 | Toshiba Corp | イベント識別システム |
JP2014504896A (ja) * | 2010-11-16 | 2014-02-27 | セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド | アブレーション治療中の組織内損傷形成を表す情報を提示するためのシステムと方法 |
JP2017006337A (ja) * | 2015-06-19 | 2017-01-12 | ソニー株式会社 | 医療支援装置および方法、並びに、医療支援システム |
WO2017057574A1 (ja) * | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
WO2017057414A1 (ja) * | 2015-09-28 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
US20170161893A1 (en) * | 2014-07-25 | 2017-06-08 | Covidien Lp | Augmented surgical reality environment |
CN108537785A (zh) * | 2018-04-04 | 2018-09-14 | 北京大学人民医院 | 一种子宫超声微蠕动视频处理方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8340376B2 (en) * | 2008-03-12 | 2012-12-25 | Medtronic Navigation, Inc. | Diffusion tensor imaging confidence analysis |
US8864652B2 (en) * | 2008-06-27 | 2014-10-21 | Intuitive Surgical Operations, Inc. | Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip |
US9858475B2 (en) * | 2010-05-14 | 2018-01-02 | Intuitive Surgical Operations, Inc. | Method and system of hand segmentation and overlay using depth data |
JP5675227B2 (ja) * | 2010-08-31 | 2015-02-25 | 富士フイルム株式会社 | 内視鏡画像処理装置および作動方法、並びに、プログラム |
US9123155B2 (en) * | 2011-08-09 | 2015-09-01 | Covidien Lp | Apparatus and method for using augmented reality vision system in surgical procedures |
KR20140112207A (ko) * | 2013-03-13 | 2014-09-23 | 삼성전자주식회사 | 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템 |
CN110074863B (zh) * | 2014-07-25 | 2021-11-02 | 柯惠Lp公司 | 用于机器人手术系统的增强手术现实环境 |
US9547940B1 (en) * | 2014-09-12 | 2017-01-17 | University Of South Florida | Systems and methods for providing augmented reality in minimally invasive surgery |
US9622831B2 (en) * | 2015-05-20 | 2017-04-18 | Siemens Healthcare Gmbh | Method and apparatus to provide updated patient images during robotic surgery |
US10918445B2 (en) * | 2016-12-19 | 2021-02-16 | Ethicon Llc | Surgical system with augmented reality display |
US10058396B1 (en) * | 2018-04-24 | 2018-08-28 | Titan Medical Inc. | System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure |
CN109035414A (zh) * | 2018-06-20 | 2018-12-18 | 深圳大学 | 增强现实手术图像的生成方法、装置、设备及存储介质 |
GB2577719B (en) * | 2018-10-03 | 2023-04-26 | Cmr Surgical Ltd | Navigational aid |
US10939970B2 (en) * | 2019-05-22 | 2021-03-09 | Titan Medical Inc. | Robotic surgery system |
-
2018
- 2018-10-03 GB GB1816168.7A patent/GB2577718B/en active Active
-
2019
- 2019-10-03 BR BR112021006368A patent/BR112021006368A2/pt unknown
- 2019-10-03 US US17/282,712 patent/US20210315645A1/en active Pending
- 2019-10-03 EP EP19787375.5A patent/EP3860493A1/en active Pending
- 2019-10-03 CN CN201980065492.3A patent/CN112804958A/zh active Pending
- 2019-10-03 WO PCT/GB2019/052793 patent/WO2020070502A1/en active Application Filing
- 2019-10-03 JP JP2021518657A patent/JP7308936B2/ja active Active
- 2019-10-03 EP EP19787373.0A patent/EP3860492A1/en active Pending
- 2019-10-03 US US17/282,676 patent/US20210345893A1/en active Pending
- 2019-10-03 AU AU2019352792A patent/AU2019352792B2/en active Active
- 2019-10-03 WO PCT/GB2019/052795 patent/WO2020070504A1/en active Application Filing
- 2019-10-03 BR BR112021006363A patent/BR112021006363A2/pt unknown
- 2019-10-03 CN CN201980065507.6A patent/CN112839606A/zh active Pending
-
2022
- 2022-07-20 AU AU2022206752A patent/AU2022206752A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010005326A (ja) * | 2008-06-30 | 2010-01-14 | Toshiba Corp | イベント識別システム |
JP2014504896A (ja) * | 2010-11-16 | 2014-02-27 | セント・ジュード・メディカル・エイトリアル・フィブリレーション・ディヴィジョン・インコーポレーテッド | アブレーション治療中の組織内損傷形成を表す情報を提示するためのシステムと方法 |
US20170161893A1 (en) * | 2014-07-25 | 2017-06-08 | Covidien Lp | Augmented surgical reality environment |
JP2017006337A (ja) * | 2015-06-19 | 2017-01-12 | ソニー株式会社 | 医療支援装置および方法、並びに、医療支援システム |
WO2017057414A1 (ja) * | 2015-09-28 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
WO2017057574A1 (ja) * | 2015-09-29 | 2017-04-06 | 富士フイルム株式会社 | 画像処理装置、内視鏡システム、及び画像処理方法 |
CN108537785A (zh) * | 2018-04-04 | 2018-09-14 | 北京大学人民医院 | 一种子宫超声微蠕动视频处理方法 |
Also Published As
Publication number | Publication date |
---|---|
AU2022206752A1 (en) | 2022-08-18 |
JP7308936B2 (ja) | 2023-07-14 |
US20210345893A1 (en) | 2021-11-11 |
GB2577718B (en) | 2022-08-24 |
BR112021006368A2 (pt) | 2021-07-06 |
AU2019352792B2 (en) | 2022-08-11 |
AU2019352792A1 (en) | 2021-05-27 |
WO2020070502A1 (en) | 2020-04-09 |
WO2020070504A1 (en) | 2020-04-09 |
CN112839606A (zh) | 2021-05-25 |
CN112804958A (zh) | 2021-05-14 |
US20210315645A1 (en) | 2021-10-14 |
JP2022145863A (ja) | 2022-10-04 |
GB2577718A (en) | 2020-04-08 |
EP3860492A1 (en) | 2021-08-11 |
EP3860493A1 (en) | 2021-08-11 |
BR112021006363A2 (pt) | 2021-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7308936B2 (ja) | インジケータシステム | |
US20220331052A1 (en) | Cooperation among multiple display systems to provide a healthcare user customized information | |
JP7492506B2 (ja) | ナビゲーション支援 | |
CN110461269B (zh) | 用于机器人外科系统的多面板图形用户界面 | |
US9687301B2 (en) | Surgical robot system and control method thereof | |
US10977495B2 (en) | Automatic endoscope video augmentation | |
US20220370138A1 (en) | Methods For Surgical Simulation | |
EP4178473A1 (en) | System comprising a camera array deployable out of a channel of a tissue penetrating surgical device | |
JP7500667B2 (ja) | インジケータシステム | |
GB2608016A (en) | Feature identification | |
GB2611972A (en) | Feature identification | |
CN117479896A (zh) | 包括可在组织穿透外科装置的通道外展开的相机阵列的系统 | |
JP2024514884A (ja) | 外科用システムのためのオーバーレイ器具情報の適合及び調整可能性 | |
JP2024514640A (ja) | 画面上及び画面外で発生する混合された要素及びアクションを表示するレンダリングされた要素で直接視覚化される混合 | |
CN118160044A (zh) | 叠加数据和配置的定制 | |
WO2022219491A1 (en) | System and method for tracking a portion of the user as a proxy for non-monitored instrument | |
CN117480562A (zh) | 外科视野中选择性和可调节的混合现实叠加 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210419 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210419 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220809 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220810 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221101 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230606 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230704 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7308936 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |