JP2022164927A - 手術支援ロボットの遠隔支援方法、および遠隔支援システム - Google Patents
手術支援ロボットの遠隔支援方法、および遠隔支援システム Download PDFInfo
- Publication number
- JP2022164927A JP2022164927A JP2022140836A JP2022140836A JP2022164927A JP 2022164927 A JP2022164927 A JP 2022164927A JP 2022140836 A JP2022140836 A JP 2022140836A JP 2022140836 A JP2022140836 A JP 2022140836A JP 2022164927 A JP2022164927 A JP 2022164927A
- Authority
- JP
- Japan
- Prior art keywords
- image
- terminal device
- robot
- surgical
- server device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 79
- 238000001356 surgical procedure Methods 0.000 claims abstract description 44
- 230000006854 communication Effects 0.000 claims description 238
- 238000004891 communication Methods 0.000 claims description 238
- 238000004458 analytical method Methods 0.000 claims description 12
- 230000002159 abnormal effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 28
- 238000003860 storage Methods 0.000 description 28
- 230000005540 biological transmission Effects 0.000 description 26
- 238000009826 distribution Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000013500 data storage Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 13
- 238000007405 data analysis Methods 0.000 description 9
- 230000009471 action Effects 0.000 description 7
- 238000012905 input function Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 230000007175 bidirectional communication Effects 0.000 description 3
- 230000010485 coping Effects 0.000 description 3
- 239000012636 effector Substances 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000002357 laparoscopic surgery Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000002324 minimally invasive surgery Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/35—Surgical robots for telesurgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/30—Surgical robots
- A61B34/37—Master-slave robots
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/70—Manipulators specially adapted for use in surgery
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/25—User interfaces for surgical systems
- A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/361—Image-producing devices, e.g. surgical cameras
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45117—Medical, radio surgery manipulator
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Robotics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- General Business, Economics & Management (AREA)
- Business, Economics & Management (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Gynecology & Obstetrics (AREA)
- Computing Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Manipulator (AREA)
Abstract
Description
本発明の一実施形態について、図1~図10に基づいて説明すると以下のとおりである。
医療関連施設2内にはLAN(local area network)(以下では「施設内LAN」と称する)が配設されている。施設内LANは外部ネットワーク3と通信可能に接続されている。施設内LANには、手術支援ロボット20、端末装置25、ネットワークカメラ24、および通信制御装置261が通信可能に接続されている。なお、通信制御装置261はネットワークサービスシステム26を構成する主要装置である。
手術支援ロボット20は医療関連施設2の手術室(居室)内に設置される。手術支援ロボット20は、医療器具が取り付けられた患者側装置21、患者側装置21に取り付けられた医療器具を遠隔操作する遠隔操作装置22、および、医療器具の一つである内視鏡201bが撮影した画像を処理する画像処理装置23を備えるとともに、患者側装置21、遠隔操作装置22、および画像処理装置23と、通信制御装置261との通信を仲介するシステム連携装置27を備えている。
(2)遠隔操作装置22に入力された動作指令に関する情報
(3)遠隔操作装置22に取り付けられた各種センサの出力値
(4)患者側装置21に取り付けられた各種センサの出力値
(5)患者側装置21の各駆動部の軸値および電流値
(6)内視鏡201bにて撮影した画像
(7)画像処理装置23で処理した画像
(8)システム起動時に行われる動作チェックの結果
(9)搭載されているソフトウェアのバージョン情報
(10)オペレーションモード(術式/部位)
(11)ステータスを示す情報(発光部の点灯状況)
(12)消耗品に関する情報、およびその動作回数
(13)患者側装置21および遠隔操作装置22を移動させるための電動アシスト機器の充電に関する情報
上記(1)~(13)は例示であり、稼働情報がこれらに限られるものではない。
ネットワークサービスシステム26は、医療関連施設2内の装置に対して各種ネットワークサービスを提供する。そのために、ネットワークサービスシステム26には各種のAPIが用意されている。
ネットワークカメラ24が撮影した画像や内視鏡201bが撮影した画像を通信制御装置261を介して配信する場合において、人物を特定できる情報(人物の顔など)(以下では「特定可能情報」と称する)が映っている場合には、個人情報保護の観点から、特定可能情報をマスクする画像処理(モザイクをかける等により視覚的に不明瞭化する処理)を施すことが望ましい。そこで、データ加工部264は、配信する画像に特定可能情報が映っているか否かを検査し、特定可能情報が映っている場合は、画像に対して特定可能情報をマスクする画像処理を施す。
通信制御装置261を介してサーバ装置40に配信する映像のデータサイズが、施設内LANの回線速度に対して大きいほど映像配信に時間を要し、遅延の原因となる。そこで、データ加工部264は、配信する映像の秒間コマ数(フレームレート)を小さくするように調整する(つまりフレームを間引く)。具体的には、秒間コマ数を6コマとする。なお、データ加工部264は、施設内LANおよび外部ネットワーク3の通信負荷を監視し、通信負荷に応じて映像の秒間コマ数を小さくするように調整してもよい。
ネットワークカメラ24が撮影した映像を通信制御装置261を介してサーバ装置40へ配信する場合において、施設内LANに通信負荷がかかると、施設内LANに接続する各種医療システムの動作に影響を与えるおそれがある。そこで、データ加工部264は、配信する映像に写る人の動きを解析する。そして、データ送信部265によるサーバ装置40への送信対象は、解析結果として得られるテキストデータのみとする。これにより、映像を配信する場合と比べて施設内LANの通信負荷を軽減することができる。ここで「人の動きの解析」とは、例えば、通信制御装置261に搭載されたAI(artificial intelligence)が解析対象である映像に映る人の動きを骨格(棒状のモデル)に置き換え、その関節の動きを数値化することなどを指す。
データ加工部264は、例えば、手術支援ロボット20から1秒間隔で取得する各種センサの出力値などのテキストデータを、1時間単位の平均値や1日単位の平均値などに集約してもよい。これにより、データ送信部265によるサーバ装置40への送信において、1回当たりの送信量および送信頻度が低減されるため、外部ネットワーク3の通信負荷を軽減することができる。
端末装置25は、手術支援ロボット20が設置された居室で医療スタッフMが使用するコンピュータ端末である。端末装置25の典型例は、パーソナルコンピュータ(personal computer)、タブレット端末、スマートフォン等である。端末装置25は、他装置との通信機能、キーボード等のデータ入力機能、モニタ等のデータ表示機能、マイク等の音声入力機能、スピーカ等の音声出力機能等の、コンピュータ端末が通常備える機能を有している。
ネットワークカメラ24は、手術支援ロボット20が設置される居室に設置され、居室の状況を映像または静止画像で撮影する撮影装置である。映像は音声付きであることが好ましい。撮影対象は、居室内全体であってもよいし、患者側装置21であってもよいし、特定の医療スタッフMであってもよい。ネットワークカメラ24は、外部からの指示に従ってチルトおよびズームを任意に調整可能であることが好ましい。
コールセンタ4は、医療関連施設2と異なる施設であり、医療関連施設2に対する遠隔支援業務を行うための施設である。コールセンタ4内にはLAN(以下では「コールセンタ内LAN」と称する)が配設されている。コールセンタ内LANは外部ネットワーク3と通信可能に接続されている。コールセンタ内LANには、サーバ装置40、記憶装置41、および端末装置42が通信可能に接続されている。
サーバ装置40はコンピュータであり、コンピュータが通常有する機能を具備している。サーバ装置40はコールセンタ内LANに通信可能に接続されている。図8に示すとおり、サーバ装置40は、CPUである制御部400を備えており、制御部400で動作するソフトウェアにて実現される機能として、データ格納部401、通信制御部402、データ提供部403、およびデータ解析部404を含んでいる。
データ格納部401は、手術支援ロボット20、ネットワークカメラ24、端末装置25、および端末装置42からサーバ装置40に送信されたデータを記憶装置41に格納する。データ格納部401が記憶装置41に格納するデータの典型例は次の(1)~(5)である。
(2)内視鏡201bが撮影した画像
(3)ネットワークカメラ24が撮影した画像
(4)端末装置25から受信しデータ(音声、画像、テキスト、およびグラフィック等の各種データ)
(5)端末装置42から受信したデータ(音声、画像、テキスト、およびグラフィック等の各種データ)
また、データ格納部401は、双方向通信が確立されている期間において、双方向通信が確立している装置からサーバ装置40に送信されたデータを、双方向通信のログとして記憶装置41に格納する。
(通信確立処理)
通信制御部402は、サーバ装置40と、サーバ装置40と通信可能に接続する装置との通信を制御するものであり、単方向通信および双方向通信を確立する処理を行う。
通信制御部402は、双方向通信が確立された装置からサーバ装置40に送信された各種データを、双方向通信が確立された相手先の装置に対して配信する。配信例を次の(配信例1)~(配信例7)に示す。
データ提供部403は、端末装置25からの要求に応じたデータを要求元の端末装置25に送信する。同様に、データ提供部403は、端末装置42からの要求に応じたデータを要求元の端末装置42に提供する。そのために、データ提供部403には各種のAPIが用意されている。端末装置25および端末装置42へ提供するデータの典型例は、記憶装置41に格納されたデータであり、特に、手術支援ロボット20の稼働情報、ネットワークカメラ24にて撮影された画像、内視鏡201bにて撮影された画像である。
データ解析部404は、端末装置25または端末装置42からの要求に応じて各種データの解析を行い、解析結果を要求元に送信する。そのために、データ提供部403には解析用の各種APIが用意されている。解析対象となるデータの典型例は、記憶装置41に格納されているデータ(典型的には、手術支援ロボット20の稼働情報)である。
端末装置42は、コールセンタ4のサービス員Sがコールセンタ4内で使用するコンピュータ端末である。端末装置42の典型例は、パーソナルコンピュータ、タブレット端末、スマートフォン等である。端末装置42は、コールセンタ4内LANを介してサーバ装置40と通信可能に接続される。
記憶装置41は各種データを記憶する装置であり、ハードディスク等の磁気ディスク等である。
図15~図17を参照しながら、端末装置42および端末装置25の各モニタの表示画面の一例について説明する。図15は端末装置42のモニタの表示画面の一例を示す模式図である。図16は端末装置25のモニタの表示画面の一例を示す模式図である。
患者側装置21には、タッチパネル207の他に、音声入出力装置や画像出力装置が設けられてもよい。これらにより、患者側装置21にて双方向通信の確立を要求する操作が可能であるとともに、双方向通信の確立後に、患者側装置21を使用する医療スタッフMと端末装置42を使用するサービス員Sとの間で双方向コミュニケーションおよびデータ共有が可能である。
上述した実施形態では、サーバ装置40がコールセンタ4に設置される構成例を説明したが、サーバ装置40の配置場所はこれに限られない。図18に示すとおり、本実施形態に係る医療関連施設2bは、サーバ装置40および記憶装置41が設置されている点が実施形態1の医療関連施設2と異なる。サーバ装置40および記憶装置41は、医療関連施設2bに配設されたLANと通信可能に接続されている。また、本実施形態に係るコールセンタ4bは、サーバ装置40および記憶装置41が設置されていない点が実施形態1のコールセンタ4と異なる。
上述した実施形態では、手術支援ロボット20が、複数の手術マニピュレータ201を有する1台の患者側装置21を備える構成例を示したが、手術支援ロボット20の構成はこれに限られない。例えば、患者側装置21に代えて複数の患者側装置を備え、当該複数の患者側装置のそれぞれが内視鏡や鉗子などの手術器具が取り付けられたマニピュレータを備える構成であってもよい。
上述した実施形態では、手術支援ロボット20および20bが、患者側装置21・211・212・213、遠隔操作装置22、および画像処理装置23を備える構成例を示したが、手術支援ロボット20の構成はこれに限られない。
医療スタッフMがサービス員Sによる支援を必要とするタイミングは、手術支援ロボット20が稼働している期間(つまり、手術中やトレーニング中)のみならず、手術支援ロボット20が稼働していない期間にも起こり得る。例えば、患者側装置21、遠隔操作装置22、および画像処理装置23が有線で接続される場合において、手術前の準備や手術後の片づけの際に、これらの配線に関してサービス員Sの支援を求めたい場合がある。したがって、手術支援ロボット20が稼働していない期間においても双方向通信を確立し、医療スタッフMとサービス員Sとの間で双方向コミュニケーションを行ってもよい。
双方向通信は、2つの装置間で行われる形態、および、複数の装置間で行われる形態がある。前者の典型例は、サービス員Sが1つの医療関連施設2を遠隔支援するケース(つまり、1対1の関係)において好適であり、この場合、1つの端末装置42と、手術支援ロボット20または端末装置42との間で双方向通信が行われる。後者の典型例は、手術支援ロボット20のトレーニングにおいて指導者が複数のトレーニング対象者をリモートトレーニングするケース(つまり、1対多の関係)において好適であり、この場合、1つの端末装置42と、複数の手術支援ロボット20との間で双方向通信が行われる。
サーバ装置40は、必ずしも実施形態1のようにコールセンタ4の施設内に設置される必要はなく、コールセンタ4の外部に設置され、外部ネットワーク3を介してコールセンタ4と通信接続されるように実現されてもよい。
上述した実施形態において通信制御装置261が有する機能の全てを、必ずしも通信制御装置261内に備える必要はない。例えば、内視鏡201bおよびネットワークカメラ24の少なくとも1つが撮影した画像に対して、人物を特定できる特定情報を視覚的に不明瞭化する画像処理をする機能、内視鏡201bおよびネットワークカメラ24の少なくとも1つが撮影した画像のフレームレートを調整する機能を、手術支援ロボット20またはサーバ装置40が有してもよい。
上述した実施形態では、双方向通信を要求するリクエストをサーバ装置40にて受信することによって、コールセンタ4から医療関連施設2への通信が可能になることを説明したが、無論、非常時には、双方向通信を要求するリクエストを送信せずとも、コールセンタ4から医療関連施設2へ通信可能であることはいうまでもない。
手術支援ロボット20・20b・20cの制御ブロック(特に、システム連携装置27)、通信制御装置261の制御ブロック(特に、制御部262)、およびサーバ装置40の制御ブロック(特に、制御部400)は、集積回路(ICチップ)等に形成された論理回路(ハードウェア)によって実現してもよいし、ソフトウェアによって実現してもよい。
本発明の一態様に係る手術支援ロボットの遠隔支援方法は、手術支援ロボットの稼働に関する稼働情報の少なくとも1つを、前記手術支援ロボットの遠隔支援業務を行うためのサーバ装置にて受信し、所定のイベントが検出されると、前記サーバ装置から前記手術支援ロボットおよび端末装置の少なくとも1つに対して、音声、画像、およびテキストの少なくとも1つを配信してもよい。
3 外部ネットワーク
4 コールセンタ
20、20b、20c 手術支援ロボット
21 患者側装置
22 遠隔操作装置
23 画像処理装置
24 ネットワークカメラ(カメラ)
25 端末装置(第1端末装置)
27 システム連携装置
40 サーバ装置
41 記憶装置
42 端末装置(第2端末装置)
201 手術マニピュレータ(第1マニピュレータ、第2マニピュレータ)
201b 内視鏡
206 コントローラ
211 第1患者側装置
212 第2患者側装置
223 天板
224 マニピュレータ
225 ロボット手術台
226 操作装置
261 通信制御装置
401 データ格納部
402 通信制御部
403 データ提供部
404 データ解析部
Claims (17)
- 手術支援ロボットおよび前記手術支援ロボットが設置された居室内を撮影するカメラの少なくとも1つが撮影した画像に対して、人物を特定できる特定情報を視覚的に不明瞭化する画像処理を施し、
前記画像処理が施された画像を前記手術支援ロボットの遠隔支援業務を行うためのサーバ装置に送信する、手術支援ロボットの遠隔支援方法。 - 前記画像に前記特定情報が映っているか否かを検査し、前記特定情報が映っている場合は、前記画像処理を施す、請求項1に記載の手術支援ロボットの遠隔支援方法。
- 所定のイベントが検出されると、前記サーバ装置と、前記手術支援ロボットおよび前記カメラが設置された施設で使用される第1端末装置の少なくとも1つとの間、および、前記サーバ装置と前記手術支援ロボットの遠隔支援業務を行うための第2端末装置との間に、双方向通信を確立する、請求項1または2に記載の手術支援ロボットの遠隔支援方法。
- 前記画像の画像解析または音声解析に基づく異常事態の検出に基づき、前記所定のイベントを検出する、請求項3に記載の手術支援ロボットの遠隔支援方法。
- 前記サーバ装置にて、ユーザの操作により前記手術支援ロボット、前記第1端末装置、および前記第2端末装置の少なくとも1つから送信された、双方向通信を要求するリクエストを受信することにより、前記所定のイベントを検出する、請求項3に記載の手術支援ロボットの遠隔支援方法。
- 前記双方向通信が確立したときに、前記サーバ装置にて受信した前記画像を、少なくとも前記第2端末装置に配信する、請求項3から5のいずれか1項に記載の手術支援ロボットの遠隔支援方法。
- 前記双方向通信が確立したときに、前記カメラにて撮影され前記サーバ装置にて受信した画像、および、前記手術支援ロボットに取り付けられた内視鏡にて撮影され前記サーバ装置にて受信した画像の両方を、少なくとも前記第2端末装置に配信する、請求項3から5のいずれか1項に記載の手術支援ロボットの遠隔支援方法。
- 前記双方向通信が確立した前記第2端末装置に前記画像を配信している場合において、当該第2端末装置にて当該画像に重畳表示させるデータが入力されたとき、当該データを前記手術支援ロボットおよび前記第1端末装置の少なくとも1つへ配信する、請求項3から7のいずれか1項に記載の手術支援ロボットの遠隔支援方法。
- 手術支援ロボットの遠隔支援業務を行うためのサーバ装置と、
前記手術支援ロボットおよび前記手術支援ロボットが設置された居室内を撮影するカメラの少なくとも1つが撮影した画像を前記サーバ装置に送信するとともに前記サーバ装置からの情報を受信するために前記サーバ装置と通信する通信制御装置と、を備え、
前記通信制御装置は、前記画像に対して、人物を特定できる特定情報を視覚的に不明瞭化する画像処理を施し、前記画像処理が施された画像を前記サーバ装置に送信するように構成されている、遠隔支援システム。 - 前記通信制御装置は、前記画像に前記特定情報が映っているか否かを検査し、前記特定情報が映っている場合は、前記画像処理を施すように構成されている、請求項9に記載の遠隔支援システム。
- 前記サーバ装置は、所定のイベントが検出されると、前記手術支援ロボットおよび前記カメラが設置された施設で使用される第1端末装置の少なくとも1つと、前記手術支援ロボットの遠隔支援業務を行うための第2端末装置との間に、双方向通信を確立する処理を行う、請求項9または10に記載の遠隔支援システム。
- 前記サーバ装置は、前記画像の画像解析または音声解析に基づく異常事態の検出に基づき、前記所定のイベントを検出するように構成されている、請求項11に記載の遠隔支援システム。
- 前記サーバ装置にて、ユーザの操作により前記手術支援ロボット、前記第1端末装置、および前記第2端末装置の少なくとも1つから送信された、双方向通信を要求するリクエストを受信することにより、前記所定のイベントを検出する、ように構成されている、請求項11に記載の遠隔支援システム。
- 前記サーバ装置は、前記双方向通信が確立したときに、前記サーバ装置にて受信した前記画像を、少なくとも前記第2端末装置に配信するように構成されている、請求項11から13のいずれか1項に記載の遠隔支援システム。
- 前記サーバ装置は、前記双方向通信が確立したときに、前記カメラにて撮影され前記サーバ装置にて受信した画像、および、前記手術支援ロボットに取り付けられた内視鏡にて撮影され前記サーバ装置にて受信した画像の両方を、少なくとも前記第2端末装置に配信するように構成されている、請求項11から13のいずれか1項に記載の遠隔支援システム。
- 前記サーバ装置は、前記双方向通信が確立した前記第2端末装置に前記画像を配信している場合において、当該第2端末装置にて当該画像に重畳表示させるデータが入力されたとき、当該データを前記手術支援ロボットおよび前記第1端末装置の少なくとも1つへ配信するように構成されている、請求項11から15のいずれか1項に記載の遠隔支援システム。
- 前記第1端末装置および前記第2端末装置は、パーソナルコンピュータ、タブレット端末、およびスマートフォンのいずれかである、請求項11から16のいずれか1項に記載の遠隔支援システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022140836A JP7437468B2 (ja) | 2018-10-06 | 2022-09-05 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
JP2024018793A JP2024036696A (ja) | 2018-10-06 | 2024-02-09 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018190527A JP7325173B2 (ja) | 2018-10-06 | 2018-10-06 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
JP2022140836A JP7437468B2 (ja) | 2018-10-06 | 2022-09-05 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018190527A Division JP7325173B2 (ja) | 2018-10-06 | 2018-10-06 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024018793A Division JP2024036696A (ja) | 2018-10-06 | 2024-02-09 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022164927A true JP2022164927A (ja) | 2022-10-27 |
JP7437468B2 JP7437468B2 (ja) | 2024-02-22 |
Family
ID=68289778
Family Applications (5)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018190527A Active JP7325173B2 (ja) | 2018-10-06 | 2018-10-06 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
JP2022140835A Active JP7437467B2 (ja) | 2018-10-06 | 2022-09-05 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
JP2022140836A Active JP7437468B2 (ja) | 2018-10-06 | 2022-09-05 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
JP2024018793A Pending JP2024036696A (ja) | 2018-10-06 | 2024-02-09 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
JP2024018792A Pending JP2024036695A (ja) | 2018-10-06 | 2024-02-09 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018190527A Active JP7325173B2 (ja) | 2018-10-06 | 2018-10-06 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
JP2022140835A Active JP7437467B2 (ja) | 2018-10-06 | 2022-09-05 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2024018793A Pending JP2024036696A (ja) | 2018-10-06 | 2024-02-09 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
JP2024018792A Pending JP2024036695A (ja) | 2018-10-06 | 2024-02-09 | 手術支援ロボットの遠隔支援方法、および遠隔支援システム |
Country Status (4)
Country | Link |
---|---|
US (2) | US11596485B2 (ja) |
EP (1) | EP3636199A1 (ja) |
JP (5) | JP7325173B2 (ja) |
CN (1) | CN111000634A (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2585691B (en) * | 2019-07-11 | 2024-03-20 | Cmr Surgical Ltd | Anonymising robotic data |
JP7335794B2 (ja) * | 2019-11-20 | 2023-08-30 | シュナイダーエレクトリックホールディングス株式会社 | 情報処理装置及び設定装置 |
US11619935B2 (en) * | 2020-07-17 | 2023-04-04 | Blue Ocean Robotics Aps | Methods of controlling a mobile robot device from one or more remote user devices |
JP7054563B1 (ja) | 2021-01-07 | 2022-04-14 | 根上 昌子 | 医師協同診療システム |
US20220401179A1 (en) * | 2021-06-22 | 2022-12-22 | Olympus Corporation | Surgical support system, surgical support method, and information storage medium |
CN114533280A (zh) * | 2022-02-11 | 2022-05-27 | 青岛大学附属医院 | 一种小型手术机器人的主手控制系统 |
WO2023166981A1 (ja) * | 2022-03-03 | 2023-09-07 | ソニーグループ株式会社 | 情報処理装置、情報処理端末、情報処理方法、およびプログラム |
CN115568952A (zh) * | 2022-09-27 | 2023-01-06 | 北京长木谷医疗科技有限公司 | 骨科手术机器人的智能检测系统、方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010029511A (ja) * | 2008-07-30 | 2010-02-12 | Exscion:Kk | 手術映像送信装置および同方法、手術映像再生装置ならびに手術映像送信再生システム |
US20140267658A1 (en) * | 2013-03-15 | 2014-09-18 | Arthrex, Inc. | Surgical Imaging System And Method For Processing Surgical Images |
WO2016149794A1 (en) * | 2015-03-26 | 2016-09-29 | Surgical Safety Technologies Inc. | Operating room black-box device, system, method and computer readable medium |
JP2017104456A (ja) * | 2015-12-11 | 2017-06-15 | シスメックス株式会社 | 医療用ロボットシステム、データ解析装置、および、医療用ロボットの監視方法 |
Family Cites Families (59)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5038089A (en) * | 1988-03-23 | 1991-08-06 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Synchronized computational architecture for generalized bilateral control of robot arms |
JP3173042B2 (ja) * | 1991-05-21 | 2001-06-04 | ソニー株式会社 | ロボットの数値制御装置 |
US5624398A (en) * | 1996-02-08 | 1997-04-29 | Symbiosis Corporation | Endoscopic robotic surgical tools and methods |
US5838428A (en) * | 1997-02-28 | 1998-11-17 | United States Of America As Represented By The Secretary Of The Navy | System and method for high resolution range imaging with split light source and pattern mask |
US6852107B2 (en) * | 2002-01-16 | 2005-02-08 | Computer Motion, Inc. | Minimally invasive surgical training using robotics and tele-collaboration |
US6659939B2 (en) * | 1998-11-20 | 2003-12-09 | Intuitive Surgical, Inc. | Cooperative minimally invasive telesurgical system |
DE10027196B4 (de) * | 1999-05-31 | 2007-03-08 | Pentax Corp. | Video-Stereoskopmikroskop |
JP2002058017A (ja) | 2000-08-10 | 2002-02-22 | Nidek Co Ltd | 映像配信装置 |
JP2002092183A (ja) | 2000-09-14 | 2002-03-29 | Olympus Optical Co Ltd | 医療機器管理システム |
JP2002207832A (ja) * | 2000-12-28 | 2002-07-26 | Atsushi Takahashi | インターネット技術指導教育配信システム、及び通信網を利用した指導システム |
JP2003022326A (ja) * | 2001-07-09 | 2003-01-24 | Fujitsu Ltd | 仮想待合室プログラム |
CA2491522C (en) * | 2002-07-01 | 2014-12-09 | E G Technology Inc. | Efficient compression and transport of video over a network |
US7756322B2 (en) * | 2003-08-18 | 2010-07-13 | Honda Motor Co., Ltd. | Picture taking mobile robot |
JP2005117621A (ja) * | 2003-09-16 | 2005-04-28 | Honda Motor Co Ltd | 画像配信システム |
JP2005111080A (ja) * | 2003-10-09 | 2005-04-28 | Olympus Corp | 手術支援システム |
JP2005118232A (ja) | 2003-10-15 | 2005-05-12 | Olympus Corp | 手術支援システム |
JP2005135344A (ja) | 2003-10-31 | 2005-05-26 | Toshiba Corp | 医療情報システム |
JP2006071359A (ja) | 2004-08-31 | 2006-03-16 | Sysmex Corp | 遠隔管理方法、遠隔管理システム、状態報告装置、および管理装置 |
US20060087746A1 (en) * | 2004-10-22 | 2006-04-27 | Kenneth Lipow | Remote augmented motor-sensory interface for surgery |
US7626569B2 (en) * | 2004-10-25 | 2009-12-01 | Graphics Properties Holdings, Inc. | Movable audio/video communication interface system |
US7152261B2 (en) * | 2005-02-22 | 2006-12-26 | Jackson Roger P | Modular multi-articulated patient support system |
JP4382003B2 (ja) * | 2005-03-23 | 2009-12-09 | 川崎重工業株式会社 | ロボット制御装置およびロボット制御方法 |
JP2007007040A (ja) | 2005-06-29 | 2007-01-18 | Hitachi Medical Corp | 手術支援システム |
KR101332210B1 (ko) * | 2005-06-30 | 2013-11-25 | 인튜어티브 서지컬 인코포레이티드 | 멀티암 로보트 원격 외과수술에서 툴 상태에 대한 인디케이터와 통신 |
US20070167702A1 (en) | 2005-12-30 | 2007-07-19 | Intuitive Surgical Inc. | Medical robotic system providing three-dimensional telestration |
US7835823B2 (en) * | 2006-01-05 | 2010-11-16 | Intuitive Surgical Operations, Inc. | Method for tracking and reporting usage events to determine when preventive maintenance is due for a medical robotic system |
WO2008140011A1 (ja) * | 2007-05-09 | 2008-11-20 | Nec Corporation | 遠隔操作システム、サーバ、被遠隔操作装置、遠隔操作サービス提供方法 |
US8400094B2 (en) * | 2007-12-21 | 2013-03-19 | Intuitive Surgical Operations, Inc. | Robotic surgical system with patient support |
US20090173846A1 (en) * | 2008-01-09 | 2009-07-09 | Allan Katz | Medical boom |
US8167793B2 (en) * | 2008-04-26 | 2012-05-01 | Intuitive Surgical Operations, Inc. | Augmented stereoscopic visualization for a surgical robot using time duplexing |
CN102098967A (zh) * | 2008-08-14 | 2011-06-15 | 韩商未来股份有限公司 | 服务器和客户端类型的手术机器人系统 |
WO2010057304A1 (en) * | 2008-11-21 | 2010-05-27 | London Health Sciences Centre Research Inc. | Hands-free pointer system |
JP5493471B2 (ja) | 2009-05-27 | 2014-05-14 | ソニー株式会社 | 情報処理装置および方法 |
EP2521507B1 (en) * | 2010-01-08 | 2015-01-14 | Koninklijke Philips N.V. | Uncalibrated visual servoing using real-time velocity optimization |
US9672332B2 (en) * | 2010-02-18 | 2017-06-06 | Nokia Technologies Oy | Method and apparatus for preventing unauthorized use of media items |
US20110306873A1 (en) * | 2010-05-07 | 2011-12-15 | Krishna Shenai | System for performing highly accurate surgery |
US9264664B2 (en) * | 2010-12-03 | 2016-02-16 | Intouch Technologies, Inc. | Systems and methods for dynamic bandwidth allocation |
US8374421B1 (en) * | 2011-10-18 | 2013-02-12 | Google Inc. | Methods and systems for extracting still frames from a compressed video |
US20130253940A1 (en) * | 2012-03-20 | 2013-09-26 | Zilla Collections Llc | System and method for diagnosis involving crowdsourcing |
EP4284001A3 (en) | 2012-08-15 | 2024-01-17 | Intuitive Surgical Operations, Inc. | Methods and systems for optimizing video streaming |
KR102015311B1 (ko) * | 2012-11-30 | 2019-08-28 | 삼성전자주식회사 | 청소 로봇 및 그 제어 방법 |
JP6077297B2 (ja) * | 2012-12-25 | 2017-02-08 | 川崎重工業株式会社 | 手術ロボット |
JP6021653B2 (ja) * | 2013-01-18 | 2016-11-09 | 東芝メディカルシステムズ株式会社 | 医用画像情報システムおよび医用画像サーバ |
JP5753865B2 (ja) * | 2013-02-28 | 2015-07-22 | 東芝テック株式会社 | アシストロボットおよびその制御プログラム |
JP6252004B2 (ja) * | 2013-07-16 | 2017-12-27 | セイコーエプソン株式会社 | 情報処理装置、情報処理方法、および、情報処理システム |
KR101527176B1 (ko) * | 2013-12-09 | 2015-06-09 | (주)미래컴퍼니 | 수술 로봇 장치 및 수술 로봇 장치의 제어 방법 |
AU2015227341B2 (en) * | 2014-03-04 | 2019-07-18 | Black Diamond Video, Inc | Converter device and system including converter device |
JP2015192788A (ja) * | 2014-03-31 | 2015-11-05 | 富士フイルム株式会社 | 検査レポート作成支援システム、医用画像診断装置、検査レポート作成支援方法、及びプログラム |
US10939962B1 (en) * | 2015-04-02 | 2021-03-09 | Mazor Robotics Ltd. | Cranial insertion placement verification |
JP6109454B1 (ja) * | 2015-05-21 | 2017-04-05 | オリンパス株式会社 | 医療用マニピュレータシステム |
CN105138815B (zh) * | 2015-07-22 | 2017-11-03 | 北京航空航天大学 | 一种智能手术室 |
KR20180068336A (ko) * | 2015-11-12 | 2018-06-21 | 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 | 훈련 또는 보조 기능들을 갖는 수술 시스템 |
EP3399936B1 (en) * | 2016-01-06 | 2020-12-09 | Boston Scientific Scimed, Inc. | Methods for planning medical procedures |
JP2017192043A (ja) | 2016-04-13 | 2017-10-19 | キヤノン株式会社 | 医療用画像管理システム、表示システム、表示装置 |
CN106096301A (zh) * | 2016-06-22 | 2016-11-09 | 扬州立兴科技发展合伙企业(有限合伙) | 一种远程音视频手术协助系统 |
US10360531B1 (en) * | 2016-12-19 | 2019-07-23 | Amazon Technologies, Inc. | Robot implemented item manipulation |
WO2018150489A1 (ja) * | 2017-02-15 | 2018-08-23 | 株式会社メディカロイド | 手術器具の動作方法、ロボット手術システム、及びカメラ座標とロボットに関する座標との関係の推定プログラム |
CN111226288B (zh) * | 2017-10-17 | 2022-03-29 | 威里利生命科学有限责任公司 | 用于对外科手术视频分段的系统和方法 |
US11202570B2 (en) * | 2017-12-28 | 2021-12-21 | Cilag Gmbh International | Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems |
-
2018
- 2018-10-06 JP JP2018190527A patent/JP7325173B2/ja active Active
-
2019
- 2019-09-26 CN CN201910916739.XA patent/CN111000634A/zh active Pending
- 2019-10-04 US US16/592,819 patent/US11596485B2/en active Active
- 2019-10-04 EP EP19201434.8A patent/EP3636199A1/en active Pending
-
2022
- 2022-09-05 JP JP2022140835A patent/JP7437467B2/ja active Active
- 2022-09-05 JP JP2022140836A patent/JP7437468B2/ja active Active
-
2023
- 2023-02-08 US US18/166,066 patent/US20230181271A1/en active Pending
-
2024
- 2024-02-09 JP JP2024018793A patent/JP2024036696A/ja active Pending
- 2024-02-09 JP JP2024018792A patent/JP2024036695A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010029511A (ja) * | 2008-07-30 | 2010-02-12 | Exscion:Kk | 手術映像送信装置および同方法、手術映像再生装置ならびに手術映像送信再生システム |
US20140267658A1 (en) * | 2013-03-15 | 2014-09-18 | Arthrex, Inc. | Surgical Imaging System And Method For Processing Surgical Images |
WO2016149794A1 (en) * | 2015-03-26 | 2016-09-29 | Surgical Safety Technologies Inc. | Operating room black-box device, system, method and computer readable medium |
JP2017104456A (ja) * | 2015-12-11 | 2017-06-15 | シスメックス株式会社 | 医療用ロボットシステム、データ解析装置、および、医療用ロボットの監視方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200107891A1 (en) | 2020-04-09 |
US20230181271A1 (en) | 2023-06-15 |
CN111000634A (zh) | 2020-04-14 |
JP7325173B2 (ja) | 2023-08-14 |
JP2024036696A (ja) | 2024-03-15 |
US11596485B2 (en) | 2023-03-07 |
JP2020060880A (ja) | 2020-04-16 |
EP3636199A1 (en) | 2020-04-15 |
JP2024036695A (ja) | 2024-03-15 |
JP7437467B2 (ja) | 2024-02-22 |
JP7437468B2 (ja) | 2024-02-22 |
JP2022164926A (ja) | 2022-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7325173B2 (ja) | 手術支援ロボットの遠隔支援方法、および遠隔支援システム | |
US11798683B2 (en) | Remote presence system including a cart that supports a robot face and an overhead camera | |
US10871889B2 (en) | Tele-presence system with a user interface that displays different communication links | |
AU2003234910B2 (en) | Medical cockpit system | |
US20060259193A1 (en) | Telerobotic system with a dual application screen presentation | |
KR20120026038A (ko) | 소프트웨어 모듈성, 프로젝터 및 레이저 포인터를 가진 원격-존재 로보트 시스템 | |
CN113545856B (zh) | 基于5g通讯的远程骨科手术系统 | |
KR101869831B1 (ko) | 스마트폰을 이용한 원격진료 시스템 | |
JP2004081264A (ja) | 遠隔医療システム及び制御モダリティーの遠隔操作装置 | |
WO2022091945A1 (ja) | 眼科システム、眼科装置遠隔操作方法、眼科装置遠隔操作プログラム | |
US20220068506A1 (en) | Tele-collaboration during robotic surgical procedures | |
JP2020043521A (ja) | 遠隔制御サーバおよび遠隔制御システム | |
Gómez-de-Gabriel et al. | Technologies for a telesurgery laboratory implementation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221003 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230529 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230801 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230817 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240209 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7437468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |