JP2005110878A - Operation supporting system - Google Patents

Operation supporting system Download PDF

Info

Publication number
JP2005110878A
JP2005110878A JP2003347644A JP2003347644A JP2005110878A JP 2005110878 A JP2005110878 A JP 2005110878A JP 2003347644 A JP2003347644 A JP 2003347644A JP 2003347644 A JP2003347644 A JP 2003347644A JP 2005110878 A JP2005110878 A JP 2005110878A
Authority
JP
Japan
Prior art keywords
image
function
display
thumbnail
screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003347644A
Other languages
Japanese (ja)
Inventor
Akinobu Uchikubo
明伸 内久保
Original Assignee
Olympus Corp
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, オリンパス株式会社 filed Critical Olympus Corp
Priority to JP2003347644A priority Critical patent/JP2005110878A/en
Publication of JP2005110878A publication Critical patent/JP2005110878A/en
Application status is Pending legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an operation supporting system capable of easily and appropriately recognizing live images and relating images and executing appropriate supporting.
SOLUTION: The supporting device 104 of a conference room 103 is provided with functions such as an integrated image generating function 151, a full screen display / normal area display switching function 152, a thumbnail source image displaying function 153, a relation / live switching function 154, a thumbnail multi-display switching function 155, a moving image reproducing function 156, a linked information retrieving function 157, a thumbnail image generating function 158, and a data communication function 159. Also, a supporting monitor of the supporting device 104 is provided with a pointing device such as a mouse or a touch panel and a GUI is constructed.
COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、画像を参照して手術をリアルタイムに支援する手術支援システム関する。 The present invention is a surgical assist system relating to aid surgery refers to the image in real time.

通常、手術は手術室の術者が患者に対して手術を行うが、例えば手術室の術者に高度な熟練を要する手術の場合には、その手術に詳しい遠隔地(院内においても手術室とは離れた位置に設置させた例えばカンファレンス室)にいる支援者(遠隔支援術者)に回線で接続して、手術中に遠隔支援による手術方針に対するアドバイスを受け手術室の術者が手術を行うようにすることにより、手術室の患者に対して、より適切な手術を行うことができるように支援するシステムが考えられ、このような遠隔支援システムが例えば特開2002−306509号公報等に提案されている。 Normally, surgery is the surgeon in the operating room to perform surgery on a patient, for example in the case of surgery requiring advanced skill to the operator of the operating room, the operating room even more remote location (hospital to the surgery It is connected by lines to support who are e.g. conference room) was installed at a remote location (remote support surgeon), surgeon in the operating room advice for surgery policy by remote assistance perform surgery during surgery by way proposed for patients in the operating room, better surgical assist system to be capable of performing is considered, such a remote support system, for example, Japanese 2002-306509 Patent Laid It is.

このような支援システムにおいては、支援側では、手技のライブ画像と共に、患者のCT画像やMR画像等の関連画像を参照して支援を行う。 In such a support system, with the assistance side, along with live images of the procedure, provide assistance with reference to the related images such as the patient's CT image or MR image. また、このような支援システムにおいては、手術室での手技画像が記録される。 Further, in such a support system, the technique image in the operating room is recorded. 例えば内視鏡装置を用いて患部を観察したり、処置をした際の内視鏡画像が院内サーバ等に記録され、支援システムが構築されている院内のカンファレンス室の支援装置で術後に該内視鏡画像を再生し、手技についての事後の指導等が行われる。 To observe the affected area using an endoscope apparatus for example, an endoscopic image at the time of the treatment are recorded in the hospital server or the like, said postoperatively in support device conference room hospital that support system is built Play the endoscopic image, guidance post for procedure is performed.
特開2002−306509号公報 JP 2002-306509 JP

しかしながら、従来の支援システムにおいては、ライブ画像と関連画像を1つのモニタに表示すると画像の視認に支障が出るために、画像を参照する場合には必要以上に大きなモニタあるいは複数のモニタを用いる必要があるといった問題がある。 However, in the conventional support system, when displaying the associated image and a live image to a single monitor for they affect viewing of the image, necessary to use a large monitor or multiple monitors unnecessarily when referencing the image there is a problem there.

本発明は、上記事情に鑑みてなされたものであり、簡単且つ適切にライブ画像と関連画像を認識し適正な支援を行うことのできる手術支援システムを提供することを目的としている。 The present invention has been made in view of the above circumstances, and its object is to provide a surgical support system capable of easily and properly recognize the live image and associated image proper support.

本発明の手術支援システムは、手技中のライブ画像及び手技前に撮影された手技に関連する複数の関連画像を入手する画像データ入手手段と、前記ライブ画像及び前記複数の関連画像の複数のサムネイル画像からなる統合画面を生成する統合画面生成手段と、前記ライブ画像あるいは前記関連画像を前記統合画面の表示域全域に表示させる全域表示指示手段とを備えて構成される。 Operation aid system of the present invention includes an image data acquisition means for obtaining a plurality of related images related to the procedure that is taken before the live image and procedures during the procedure, a plurality of thumbnails of the live image and the plurality of related images and integrated screen generating means for generating an integrated screen including images constructed by a whole display instruction unit for displaying the live image or the related image on the display area entire area of ​​the integrated screen.

本発明によれば、簡単且つ適切にライブ画像と関連画像を認識し適正な支援を行うことができるという効果がある。 According to the present invention, there is an effect that it is possible to easily and properly recognize the live image and associated image proper support.

以下、図面を参照しながら本発明の実施例について述べる。 Hereinafter will be described an embodiment of the present invention with reference to the drawings.

図1ないし図21は本発明の実施例1に係わり、図1は手術支援システムの構成を示す構成図、図2は図1の手術室の表示装置及びカンファレンス室内視鏡画像モニタに表示されるライブの内視鏡画像を示す図、図3は図1の支援装置の機能構成を示すブロック図、図4は図3の統合画面生成機能、リンク情報検索機能、サムネイル画像生成機能及びデータ通信機能の作用を説明するフローチャート、図5は図3のリンク情報検索機能による検索に用いられるリンク先ディレクトリを示す図、図6は図5のリンク先ディレクトリ内のIPアドレスの構成の一例を示す図、図7は図6のIPアドレスに用いられる都道府県番号を示す図、図8は図4の処理で生成される統合画面を示す図、図9は図3のフルスクリーン表示/通常エリア表示切替 1 to 21 relates to a first embodiment of the present invention, FIG. 1 is a configuration diagram showing a configuration of the operation support system, Figure 2 is displayed on the display device and Conference room endoscopic image monitor in the operating room of FIG. 1 shows an endoscopic image of a live, FIG. 3 is a block diagram showing the functional configuration of the support device of Figure 1, Figure 4 is integrated screen generating function of FIG. 3, the link information retrieval function, a thumbnail image generating function and a data communication function flowchart illustrating the operation of FIG. 5 showing a destination directory for use in the search by the link information retrieval function of FIG. 3, FIG. 6 is a diagram showing an example of a configuration of an IP address in the destination directory in FIG. 5, Figure 7 shows a prefecture number used IP address of Figure 6, Figure 8 shows an integrated screen generated in the process of FIG. 4, FIG. 9 full screen display / normal area display switching of FIG. 3 能、サムネイル原画像表示機能、関連・ライブ切替機能、サムネイルマルチ表示切替機能、動画再生機能、データ通信機能による統合画面の作用を説明するフローチャート、図10は図9の処理を説明する統合画面の第1の図、図11は図9の処理を説明する統合画面の第2の図、図12は図9の処理を説明する統合画面の第3の図、図13は図9の処理を説明する統合画面の第4の図、図14は図9の処理を説明する統合画面の第5の図、図15は図9の処理を説明する統合画面の第6の図、図16は図9の処理を説明する統合画面の第7の図、図17は図9の処理を説明する統合画面の第8の図、図18は図9の処理を説明する統合画面の第9の図、図19は図9の処理を説明する統合画面の第10の図、図20は図9の処理を説明す Ability thumbnail original image display function, associated live switching function, thumbnail multi-display switching function, video playback function, flowchart illustrating the operation of the integrated screen by the data communication function, Figure 10 is the integrated screen to explain the processing of Fig 9 first diagram, Figure 11 is a second figure, Figure 12 is a third figure 13 processing integrated screen explaining the 9 of integrated screen to explain the processing of Fig. 9 describes the process of Figure 9 fourth diagram of an integrated screen, FIG. 14 is a fifth diagram integrated screen for explaining the processing of FIG. 9, FIG. 15 is a sixth diagram of integrated screen for explaining the processing of FIG. 9, FIG. 16 9 7 view of integrated screen describing the process, Figure 17 is an eighth diagram integrated screen for explaining the processing of FIG. 9, FIG. 18 is a ninth diagram integrated screen for explaining the processing of FIG. 9, FIG. 19 Figure 10 of the integrated screen for explaining the processing of FIG. 9, FIG. 20 describes the process of Figure 9 統合画面の第11の図、図21は図9の処理を説明する統合画面の第12の図である。 Figure 11 of the integrated screen, FIG. 21 is a twelfth diagram of integrated screen for explaining the processing of FIG.

図1に示すように、本実施例で採用する手術支援システムは、手術室100、CT検査室101、MR検査室102、カンファレンス室103等の拠点を有する病院に設置され、手術室100等で発生する各種医療情報を得る第1のコントローラ1と、前記手術室100とは遠隔地点に設置され、前記第1のコントローラ1で得られた各種医療処置情報を集積する手術部サーバ2と、前記手術部サーバ2とは別の拠点に設置され、前記手術部サーバ2で得られた医療処置情報とオーダリング情報を結合する患者情報蓄積手段としての院内サーバ3と、手術室100での手技を支援する手術室100とは遠隔地点に設置されたカンファレンス室103に設けられている支援装置104とを有して構成され、前記第1のコントローラ1、CT検査 As shown in FIG. 1, operation support system employed in the present embodiment, operating room 100, CT laboratory 101, MR laboratory 102, is installed in a hospital having a base, such as conference room 103, in the operating room 100, etc. a first controller 1 to obtain various kinds of medical information generated, wherein the operating room 100 is installed in a remote location, and the surgical unit server 2 for stacking various kinds of medical procedures information obtained by the first controller 1, the the surgical site server 2 is at a different location, the hospital server 3 as a patient information storage means for coupling medical procedure information and ordering information obtained by the operation unit server 2, support the procedure in the operating room 100 the operating room 100 which is configured to have a support device 104 provided in the conference room 103 installed in a remote location, the first controller 1, CT examination 101のCT検査装置、MR検査室102のMR検査装置、支援装置104と前記手術部サーバ2との間及び前記手術部サーバ2と前記院内サーバ3との間は、それぞれ第1、第2の通信回線4,5で接続される。 101 CT examination apparatus, MR examination apparatus MR examination room 102, between the hospital server 3 and between the surgical site server 2 of the support device 104 and the surgical unit server 2, first, the second, respectively It is connected via a communication line 4 and 5.

なお、前記各通信回線4,5は、公衆回線、専用回線、LAN(構内通信網)等のどのような通信回線でもよい。 Incidentally, each of the communication lines 4 and 5, a public line, a dedicated line may be any communication line such as LAN (Local Area Network). 又、前記院内サーバ3は、前記手術部サーバ2と同一拠点に配置されていても良い。 Also, the hospital server 3, may be disposed on the surgical unit server 2 and the same base.

第2のコントローラ14は、患者の体腔内等の被検部位を撮像し内視鏡画像を含む映像信号を得る内視鏡装置11と、この内視鏡装置11で得られた映像信号を描出する表示装置12と、例えば電気メス装置、気腹装置、超音波手術装置等の手術装置13とを備え、前記手術装置13を制御したり、内視鏡装置11からの内視鏡画像データや前記手術装置13による測定情報等の手術装置情報を得る。 The second controller 14, rendering the endoscope device 11 for obtaining a video signal including a captured endoscopic image a test site a body cavity or the like of a patient, a video signal obtained by the endoscope apparatus 11 a display device 12 which, for example, an electric knife device, a pneumoperitoneum device, a surgical device 13 such as an ultrasonic surgical device, to control the surgical device 13, Ya endoscopic image data from the endoscope device 11 obtaining surgical device information, such as measurement information by the surgical device 13.

この第2のコントローラ14には、前記手術装置13に対する制御指示等を前記第2のコントローラ14へ入力するためのタッチパネル15等の手術装置制御入力手段が接続されている。 This second controller 14, the surgical device control input means such as a touch panel 15 for inputting a control instruction and the like for the surgical device 13 to the second controller 14 are connected.

前記第2のコントローラ14から与えられる内視鏡画像データ、手術装置情報及び生体モニタリング装置19から得られる患者情報は、通信回線を介して第1のコントローラ1に集積され、他の拠点に設定されている手術部サーバ2へ通信回線4を介して伝送される。 Endoscopic image data supplied from the second controller 14, patient information obtained from the surgical device information and biological monitoring device 19 is integrated in the first controller 1 via a communication line, it is set to another site and to have surgery unit server 2 is transmitted via the communication line 4.

また、前記内視鏡装置11から得られた映像信号と、手術室100内の風景を撮像する室内カメラ20から得た映像信号は、第1のコントローラ1を介して信号伝送装置17に入力され、通信回線6を介して外部に伝送される。 The video signal obtained from the room camera 20 for capturing a video signal obtained, a view of the operating room 100 from the endoscope apparatus 11 is input to the signal transmission apparatus 17 via the first controller 1 , it is transmitted to the outside via the communication line 6.

また、手術室には第1のコントローラ1が得た手術装置情報、及び手術部サーバ2から得た患者情報、カンファレンス室103の支援装置104より得られた支援画像である統合画像データや、前記信号伝送装置17が他拠点から受信した情報を表示する表示装置18等が配設されている。 The surgical device information first controller 1 is obtained in the operating room, and the patient information obtained from the operation unit server 2, and the integrated image data is a support image obtained from support apparatus 104 of the conference room 103, the the signal transmission device 17 is a display device 18 for displaying the information received from the remotely located site is provided.

第1のコントローラ1には、入力装置1aが接続されている。 The first controller 1, the input device 1a is connected. この入力装置1aは、キーボード、磁気カードリーダ、光カードリーダ、ICカードリーダ、RF−ID(ICタグ)リーダ等であり、この入力装置1aを用いて患者に関するカルテナンバー(IDナンバー)及び氏名等の患者情報や手技名、術者ID等の手技情報を入力する。 The input device 1a, a keyboard, a magnetic card reader, an optical card reader, IC card reader, an RF-ID (IC tag) reader or the like, medical record number (ID number) about a patient using the input device 1a and name, etc. the input of patient information and procedure name, the procedure information such as the operator ID. この場合、患者情報、手技情報を第1のコントローラ1から第2のコントローラ14へ送信するようにする。 In this case, to send patient information, the procedure information from the first controller 1 to the second controller 14.

なお、入力装置1aは第2のコントローラ14に接続されていてもよい。 The input device 1a may be connected to the second controller 14. 入力装置1aを第2のコントローラ14に接続した場合、患者情報、手技情報を第2のコントローラ14から第1のコントローラ1へ送信するようにする。 When connected the input device 1a to the second controller 14, so as to transmit the patient information, the procedure information from the second controller 14 to the first controller 1.

手術部サーバ2は、通信回線5を介して、院内サーバ3、及びWEBサーバ21と接続されている。 Surgical unit server 2 via the communication line 5 is connected to the hospital server 3, and WEB server 21. 尚、前記WEBサーバ21はインターネットを介して病院外とも接続されており、患者が院外の別の医療機関で検査を受けている場合には、その検査画像データ(MR、CT、X線画像等)は、該医療機関内の院外サーバ201,202等に蓄積されるが、WEBサーバ21がインターネットを介して院外サーバ201,202にアクセスすることにより、手術部サーバ2を介して支援装置104及び第1のコントローラ1に院外サーバ201,202に蓄積されている検査画像データをダウンロード出来るようになっている。 Note that the WEB server 21 is also connected to the hospital outside via the Internet, if the patient is undergoing examination on another medical institution outside the hospital, the inspection image data (MR, CT, X-ray images, etc. ) is stored in the hospital server 201, 202, etc. in the medical institution, by WEB server 21 accesses the out-of-hospital server 201 and 202 via the Internet, support device via the surgical site server 2 104 and It has become able to download the test image data stored in the hospital server 201 and 202 in the first controller 1.

院内サーバ3には、病院の患者登録端末22からの患者登録情報と、当該患者に関連する術前画像等の検査画像(MR、CT、X線画像等)及び手技に関連する手術画像(内視鏡静止画像、内視鏡動画像)が蓄積されている。 The hospital server 3, a patient registration information from hospital patient registration terminal 22, the inspection images of the preoperative image or the like associated with the patient (MR, CT, X-ray image, etc.) surgical image (inner related and procedure endoscopic still image, the endoscope moving image) are accumulated. 以下、これら検査画像、手術画像を総称して医療画像と呼ぶ。 Hereinafter referred to as medical images are collectively these inspection images, the surgical image.

そして、手術前に手術部サーバ2は、手術を行う患者の氏名や生年月日、診療記録などの登録情報及び患者に係わる医療情報を、前記院内サーバ3から通信回線5を介して読み出し格納することができるようになっている。 The surgical unit server 2 before surgery, the name and date of birth patients undergoing surgery, medical information relating to the registration information and the patient such as medical records, reading stored via the communication line 5 from the hospital server 3 thereby making it possible. 該医療情報は、院内サーバ3より得られた医療画像データ及び、院外サーバ201,202のIPアドレス及び医療画像データファイルを格納しているフォルダ名(リンク情報)等を含む。 The medical information includes and medical image data obtained from the hospital server 3, the folder name that contains the IP address and medical image data files outside the hospital server 201 (link information), and the like.

カンファレンス室103に設けられている支援装置104は、手術室100の内視鏡装置11で得られた内視鏡画像を表示する内視鏡画像モニタ111と、支援装置104が生成した支援画像である統合画面(後述)を表示する支援モニタ112とを備えており、第2のコントローラ14及び第1のコントローラ1、手術室通信回線4を介することで、内視鏡画像モニタ111に内視鏡装置11が撮像しているライブの内視鏡画像を表示すると共に、該ライブの内視鏡画像、手術部サーバ2に格納されている患者に係わる医療画像、WEBサーバ21を介してダウンロードされる院外サーバ201,202に蓄積されている医療画像を複数のウインドウで構成する統合画面として支援モニタ112に表示するようになっている。 And support apparatus 104 provided in the conference room 103 includes an endoscope image monitor 111 for displaying an endoscopic image obtained by the endoscope apparatus 11 of the operating room 100, with the assistance image support apparatus 104 has generated and a support monitor 112 to display a certain integrated screen (described later), by passing through the second controller 14 and the first controller 1, the operating room communication line 4, the endoscope to an endoscope image monitor 111 with the apparatus 11 for displaying an endoscopic image of a live being imaged, are downloaded via the medical image, WEB server 21 according to the patient stored the live endoscopic image, the surgical site server 2 so as to display the help monitor 112 as an integrated screen constituting the medical image stored in the hospital server 201 with multiple windows.

図2に示すように、手術室100の表示装置12及びカンファレンス室103の内視鏡画像モニタ111には、ライブの内視鏡画像(以下、内視鏡ライブ画像)がフルスクリーンである表示エリア121に表示される。 2, the display area on the endoscopic image monitor 111 of the display device 12 and the conference room 103 of the operating room 100, live endoscopic image (hereinafter, endoscope live image) is full-screen It is displayed in the 121.

カンファレンス室103の支援装置104は、図3に示すように、統合画像生成手段としての統合画面生成機能151、全域表示指示手段としてのフルスクリーン表示/通常エリア表示切替機能152、サムネイル原画像表示機能153、関連・ライブ切替機能154、サムネイルマルチ表示切替機能155、動画再生機能156、リンク情報検索機能157、サムネイル画像生成機能158、画像データ入手手段としてのデータ通信機能159等の機能を備え、また支援モニタ112にはマウスあるいはタッチパネル等のポインティングデバイス(図示せず)が設けられGUIを構築しており、各種データをデータ記憶部150に格納しリード・ライトすることで、上記各機能が支援モニタ112のGUIに基づく処理を行うようになって Support apparatus of conference room 103 104, as shown in FIG. 3, integrated screen generating function 151 as an integrated image generating means, a full-screen display / normal area display switching function 152, a thumbnail original image display function as a whole display instruction unit 153, associated live switching function 154, a thumbnail multi-display switching function 155, video playback function 156, link information retrieval function 157, the thumbnail image generating function 158, a function of data communication function 159 or the like as an image data acquisition means and support the monitor 112 (not shown) pointing device such as a mouse or a touch panel has built a GUI provided, stores various data in the data storage unit 150 by read-write, each function assistance monitoring so as to perform processing based on the 112 GUI of る。 That. なお、上記の各機能の処理の詳細は後述する。 The details of the process in each of the above functions will be described later.

このように構成された本実施例の作用について説明する。 The operation of this embodiment having such a configuration will be described. 図4に示すように、支援装置104は、データ通信機能159によりステップS1において手術部サーバ2より手術を行う患者の氏名や生年月日、診療記録などの登録情報及び患者に係わる医療画像情報等からなる患者情報を取得する。 As shown in FIG. 4, support apparatus 104, data communication function 159 by the patient perform surgery from surgical unit server 2 in step S1 name, date of birth, according to the registration information and the patient such as medical records medical image information, etc. to get the patient information consisting of.

次に、ステップS2においてリンク情報検索機能157により医療画像情報より患者に関連する関連画像のリンク先のリンク情報を検索する。 Then, to search the linked link information of the related image related to the patient from the medical image information by the link information retrieval function 157 in step S2. 関連画像のリンク先のリンク情報の検索は、図5に示すような構造のリンク先ディレクトリを手術部サーバ2より読み込むことで行われる。 Search destination of the link information of the related image is performed by reading from the operation unit server 2 the linked directory structure as shown in FIG. そして、ステップS3においてリンク先ディレクトリより院内サーバ3及び(第1)院外サーバ201,(第2)院外サーバ202のIPアドレスを取得し、ステップS4において院内サーバ3及び院外サーバ201,202にアクセスしてフォルダ名を指定することで関連画像データを手術部サーバ2を介して院内サーバ3及び院外サーバ201,202よりダウンロードする。 The hospital server 3 and the (first) from the destination directory in step S3 hospital server 201, obtains the IP address of the (second) hospital server 202 accesses the hospital server 3 and hospital server 201 and 202 in the step S4 downloaded from hospital server 3 and hospital server 201 and 202 via the operation unit server 2 the related image data by specifying a folder name Te. なお、リンク先ディレクトリで指定されるIPアドレスの構造の一例を図6に、またIPアドレスに用いられる都道府県番号の一例を図7に示す。 Incidentally, shown in FIG. 6 an example of the structure of an IP address specified by the destination directory, also an example of a prefecture number used IP address in FIG.

関連画像データのダウンロードが終了すると、ステップS5においてサムネイル画像生成機能158により関連画像データからサムネイル画像を生成する。 When downloading of image data ends, it generates a thumbnail image from the related image data by the thumbnail image generating function 158 in step S5.

具体的には、関連画像データは複数種類の医療画像ファイル(内視鏡動画像ファイル、内視鏡静止画像ファイル、CT静止画像ファイル、MR静止画像ファイル等)から構成されており、各医療画像ファイルには、静止画像のように1枚の画像ファイルからなるものと、動画ファイルのように複数のフレーム画像からなるものがある。 Specifically, the related image data is composed of a plurality of types of medical image file (endoscope moving picture file, an endoscopic still image file, CT still image file, MR still image file, etc.), each medical image the file and consist of one image file as the still image, there is comprised of a plurality of frame images as moving image files.

そこで、サムネイル画像生成機能158は、関連画像データ、すなわち医療画像ファイルを示す「サムネイル画像」及び各医療関連画像ファイルデータの所定のフレーム画像を示すサムネイルである「関連サムネイル画像」を生成する。 Therefore, the thumbnail image generating function 158, associated image data, i.e., to produce a "related thumbnail image" is a thumbnail indicating "thumbnail image" and a predetermined frame image of the medical image file data indicating the medical image file.

なお、本実施例では、例えば「サムネイル画像」は複数の「関連サムネイル画像」のうちの最初の医療関連画像ファイルデータのサムネイルと一致させている。 In the present embodiment, for example, "thumbnail image" is first to match the thumbnail healthcare image file data of a plurality of "related thumbnail image".

このようにしてサムネイルが生成されると、統合画面生成機能151によって、ステップS6において図8に示すような統合画面160を生成し支援モニタ112に表示する。 When thumbnails in this way are generated by integrated screen generating function 151 to generate an integrated screen 160 as shown in FIG. 8 to display the help monitor 112 in step S6. そして、ステップS7において、データ通信機能159によりリンク先IPアドレス及び画像フォルダ名よりなる上記リンク情報(リンク先ディレクトリ)を第1のコントローラ1に送信し処理を終了する。 Then, in step S7, and it ends the sending the link information composed of link destination IP address and the image folder name (destination directory) to the first controller 1 processes the data communication function 159.

なお、第1のコントローラ1では、リンク先IPアドレス及び画像フォルダ名よりなるリンク情報(リンク先ディレクトリ)を受信すると、リンク先IPアドレスにアクセスし、上記のステップS4〜S6と同等な処理を行い、サムネイル等を有する統合画面160を生成し表示装置18に表示する。 Incidentally, in the first controller 1 receives the link information composed of link destination IP address and the image folder name (destination directory), accesses the link destination IP address, it performs the same processing as the above steps S4~S6 on the display device 18 to generate an integrated screen 160 having a thumbnail or the like.

統合画面160は、図8に示すように、内視鏡ライブ画像等を通常表示で表示する画像表示エリア161と、関連画像データの各医療画像ファイルを示す複数の「サムネイル画像」を表示するサムネイル画像表示エリア162と、関連画像データ内の各医療関連画像ファイルデータのサムネイルである複数の「関連サムネイル画像」を表示する関連サムネイル画像表示エリア163と、各種キーSWからなるキーエリア164とを有して構成され、キーエリア164には、少なくとも関連・ライブ切替SW165、マルチ切替SW166、拡大SW167が設けられている。 Integrated screen 160, as shown in FIG. 8, and displays an image display area 161 for displaying an endoscopic live image or the like in a conventional display, a plurality of indicating each medical image file of image data of the "thumbnail image" thumbnail Yes an image display area 162, and the associated thumbnail image display area 163 for displaying the "Related thumbnail image" plurality of a thumbnail of each medical image file data in the associated image data, and a key area 164 consisting of various keys SW is constituted by, in the key area 164 is at least associated live switching SW165, multi switch SW166, enlarged SW167 is provided.

次に、上記統合画面160における作用について説明する。 Next, a description will be given of the operation in the integrated screen 160. 図9に示すように、ステップS11において統合画面160が支援モニタ112に表示されると、ステップS12において支援モニタ112のGUIによりカーソル168が拡大SW167を選択したかどうか判断し、拡大SW167が選択されると、ステップS13においてフルスクリーン表示/通常エリア表示切替機能152により図10に示すように画像表示エリア161に表示されている画像を拡大表示するためのフルスクリーン表示エリア169からなるフレーム構造の統合画面160aを生成し該統合画面160aを支援モニタ112に表示すると共に、ステップS14においてデータ通信機能159により統合画面160aの画面フレーム情報を第1のコントローラ1に送信する。 As shown in FIG. 9, the integrated screen 160 is displayed on the help monitor 112 in step S11, it is determined whether the cursor 168 has selected the enlarged SW167 by GUI support monitor 112 in step S12, enlargement SW167 is selected that the integration of the frame structure comprising a full-screen display area 169 to enlarge the image displayed on the image display area 161 as shown in FIG. 10 by a full screen display / normal area display switching function 152 in step S13 and it displays the help monitor 112 the integrated screen 160a generates a screen 160a, the data communication function 159 in step S14 transmits the screen frame information integrated screen 160a in the first controller 1. ここでは内視鏡ライブ画像がフルスクリーン表示される。 Here the endoscopic live image is full screen display.

なお、第1のコントローラ1では送信されてきた画面フレーム情報に基づき統合画面160aを生成し表示装置18に表示する。 Incidentally, it displayed on the display device 18 generates the integrated screen 160a based on the first controller 1 screen frame information has the been transmitted. したがって、支援モニタ112の表示と表示装置18の表示とが一致することになる。 Therefore, the display of the display and the display device 18 of assistance monitor 112 matches. ここで、統合画面160aでは、拡大SW167が縮小SW167aに代わる。 Here, in the integrated screen 160a, enlarged SW167 replaces the reduction SW167a.

そして、ステップS15において支援モニタ112のGUIによりカーソル168が統合画面160aの縮小SW167aを選択を待ち、縮小SW167aが選択されるとステップS16において図8に示したようなフレーム構造の統合画面160に戻して表示すると共に、ステップS17においてデータ通信機能159により統合画面160の画面フレーム情報を第1のコントローラ1に送信する。 Then, the cursor 168 by the GUI support monitor 112 waits for a selected reduction SW167a the integrated screen 160a in step S15, the reduced SW167a is selected back in step S16 the integrated screen 160 of the frame structure as shown in FIG. 8 and displays Te, the data communication function 159 in step S17 transmits the screen frame information integrated screen 160 to the first controller 1.

なお、第1のコントローラ1では送信されてきた画面フレーム情報に基づき統合画面160に戻し表示装置18に表示する。 Incidentally, it displayed on the display device 18 returns to the integrated screen 160 based on the screen frame information transmitted in the first controller 1. したがって、支援モニタ112の表示と表示装置18の表示とが一致することになる。 Therefore, the display of the display and the display device 18 of assistance monitor 112 matches.

そしてステップS18において統合画面表示の終了(支援終了)の指示を待ち、指示があれば処理を終了し、指示が無ければステップS12に戻る。 Then wait for the instruction to end the integrated screen display (support terminated) in step S18, the process ends if there is an instruction, unless otherwise indicated returns to step S12.

ステップS12で拡大SW167が選択されない場合は、ステップS19において支援モニタ112のGUIによりカーソル168がサムネイル画像表示エリア162のいずれかの「サムネイル画像」を選択したかどうか判断し、「サムネイル画像」が選択されると、ステップS20においてサムネイル原画像表示機能153により画像表示エリア161 の画像を選択した「サムネイル画像」の原画像とした統合画面160を生成すると共に、画像表示エリア161 の画像を選択した「サムネイル画像」の原画像とした画面フレーム情報を第1のコントローラ1に送信する。 If the enlargement SW167 is not selected in step S12, the cursor 168 by the GUI support monitor 112 in step S19, it is determined whether the selected "thumbnail image" of any of the thumbnail image display area 162, "thumbnail image" is selected Once, it generates an integrated screen 160 that is the original image of the "thumbnail image" which selects the image in the image display area 161 by the thumbnail original image display function 153 in step S20, and selects the image in the image display area 161 " transmits screen frame information with the original image of the thumbnail image "in the first controller 1.

なお、第1のコントローラ1では送信されてきた画面フレーム情報に基づき統合画面160に生成し表示装置18に表示する。 Incidentally, it displayed on the display device 18 generates the integrated screen 160 based on the first controller 1 screen frame information has the been transmitted. したがって、支援モニタ112の表示と表示装置18の表示とが一致することになる。 Therefore, the display of the display and the display device 18 of assistance monitor 112 matches.

例えば図11に示すようにサムネイル画像表示エリア162の 画像をCT静止画ファイル1サムネイル画像171を選択すると、図12に示すように、サムネイル原画像表示機能153により画像表示エリア161 の画像をCT静止画ファイル1サムネイル画像171の原画像とする。 For example an image of a thumbnail image display area 162 as shown in FIG. 11 Selecting CT still image file 1 thumbnail image 171, as shown in FIG. 12, CT still image of the image display area 161 by the thumbnail original image display function 153 the original image of the image file 1 thumbnail image 171. なお、本実施例では、上述したように「サムネイル画像」は複数の「関連サムネイル画像」のうちの最初の医療関連画像ファイルデータのサムネイルと一致させているので、図12における画像表示エリア161 の画像は、関連サムネイル画像表示エリア163のCT静止画ファイル1関連画像1サムネイル画像172の原画像となる。 In the present embodiment, "thumbnail image" as described above is because the first to match the thumbnail healthcare image file data of a plurality of "related thumbnail image" of the image display area 161 in FIG. 12 image, the original image of CT still image file 1 related image 1 thumbnail image 172 of the associated thumbnail image display area 163.

ここで、CT静止画ファイル1サムネイル画像171の枠及びCT静止画ファイル1関連画像1サムネイル画像172の枠を太枠表示することで、どのサムネイルの原画像なのかが認識可能としている。 Here, by the frame of the thick frame display of CT still image file 1 frame and CT still image file 1 related image 1 thumbnail image 172 of the thumbnail image 171, what thumbnail of the original image of the are can be recognized.

次に、ステップS22において支援モニタ112のGUIによりカーソル168が関連・ライブ切替SW165を選択したかどうか判断し、関連・ライブ切替SW165が選択されると、ステップS23において関連・ライブ切替機能154により内視鏡ライブ画像と選択した「サムネイル画像」の原画像とを切り替えて画像表示エリア161 の画像とした統合画面160にしステップS21に戻る。 Inner then determined whether the cursor 168 has selected a relevant live switching SW165 by GUI support monitor 112 in step S22, when the associated live switching SW165 is selected, the associated live switching function 154 in step S23 the viewing mirror live image as the selected integrated screen 160 by switching the original image of the "thumbnail image" as the image in the image display area 161 and returns to step S21. また、関連・ライブ切替SW165を選択されない場合にはステップS12に戻る。 When it is not selected the associated live switching SW165 returns to step S12.

なお、第1のコントローラ1では送信されてきた画面フレーム情報に基づき統合画面160に生成し表示装置18に表示する。 Incidentally, it displayed on the display device 18 generates the integrated screen 160 based on the first controller 1 screen frame information has the been transmitted. したがって、支援モニタ112の表示と表示装置18の表示とが一致することになる。 Therefore, the display of the display and the display device 18 of assistance monitor 112 matches.

この結果、例えば図12の状態の統合画面160で関連・ライブ切替SW165が選択されると、図8の状態の統合画面160に切り替わり、逆に図8の状態の統合画面160で関連・ライブ切替SW165が選択されると、図12の状態の統合画面160に切り替わることになる。 As a result, for example when the associated live switching SW165 is selected by the integrated screen 160 in the state of FIG. 12, it switches to integrated screen 160 in the state of FIG. 8, associated live switching integrated screen 160 in the state of FIG. 8 in the opposite When SW165 is selected, so that the switch to integrated screen 160 in the state of FIG. 12.

また、図12の状態の統合画面160でステップS22からステップS12に戻り、図13に示すように拡大SW167が選択されると、ステップS13の処理により図14に示すように選択した「サムネイル画像」の原画像がフルスクリーン表示されることになる。 The returns from step S22 in integrated screen 160 in the state of FIG. 12 in step S12, the enlargement SW167 is selected as shown in FIG. 13, were selected by the processing in step S13 as shown in FIG. 14, "thumbnail image" original image is to be full-screen display. また、図15に示すように、選択した「サムネイル画像」の原画像がフルスクリーン表示された状態で、関連・ライブ切替SW165が選択されると、ステップS23の処理により図10に示したように内視鏡ライブ画像をフルスクリーン表示する。 Further, as shown in FIG. 15, in a state where the original image is full screen of the selected "thumbnail image", the associated live switching SW165 is selected, as shown in FIG. 10 by the processing in step S23 endoscopic live image to full-screen display.

また、関連画像を動画像としてステップS19で「サムネイル画像」を選択する場合、動画像は連続した複数のシーン動画から構成されているため、例えば図16に示すように内視鏡動画ファイル1サムネイル画像175を選択すると、サムネイル原画像表示機能153により画像表示エリア161 の画像を内視鏡動画ファイル1サムネイル画像175の原画像とする。 Further, when selecting the "thumbnail image" in step S19 a related image as a moving image, since the moving image is composed of a plurality of scenes videos continuously, e.g. endoscopes video file 1 thumbnail as shown in FIG. 16 selecting an image 175, the image of the image display area 161 and the original image of the endoscope video file 1 thumbnail image 175 by the thumbnail original image display function 153. このとき関連サムネイル画像表示エリア163には動画像を構成する複数のシーン動画の先頭フレーム画像を「関連サムネイル画像」として表示する。 The associated thumbnail image display area 163 at this time to display the first frame image of the plurality of scenes videos that constitute a moving picture as "associated thumbnail image". この結果、本実施例では、画像表示エリア161 の画像は内視鏡動画ファイル1フレーム画像1となる。 As a result, in this embodiment, the image of the image display area 161 becomes the endoscope video files one frame image 1.

図16の状態の統合画面160では、画像表示エリア161 の下段に動画再生操作キーエリア180が表示される。 Integration screen 160 in the state of FIG. 16, video playback operation key area 180 is displayed on the lower image display area 161. この動画再生操作キーエリア180の再生ボタン181を選択すると、図17に示すように、動画再生機能156により内視鏡動画ファイル1の再生画像が画像表示エリア161に動画として表示される。 Selecting the play button 181 of the video reproduction operation key area 180, as shown in Figure 17, the reproduced image endoscopic video file 1 is displayed as a moving image display area 161 by the moving playback function 156.

また、図17の状態の統合画面160で図18に示すように拡大SW167が選択されると、ステップS13の処理により図19に示すように内視鏡動画ファイル1の再生画像がフルスクリーン表示されることになる。 Moreover, the enlargement SW167 is selected as shown in FIG. 18 with integrated screen 160 in the state of FIG. 17, the reproduced image endoscopic video file 1 as shown in FIG. 19 is a full-screen display by the processing of step S13 It becomes Rukoto. また、図19に示すように内視鏡動画ファイル1の再生画像がフルスクリーン表示された状態で、関連・ライブ切替SW165が選択されると、ステップS23の処理により図10に示したように内視鏡ライブ画像をフルスクリーン表示する。 Further, in the state where the reproduced image endoscopic video file 1 is full-screen displayed as shown in FIG. 19, when the associated live switching SW165 is selected, the inner as shown in FIG. 10 by the process of step S23 the visual mirror live image to full-screen display.

図9に戻り、ステップS19で「サムネイル画像」を選択されない場合は、ステップS24において支援モニタ112のGUIによりカーソル168がマルチ切替SW166を選択したかどうか判断し、マルチ切替SW166が選択されると、ステップS25においてサムネイルマルチ表示切替機能155によりサムネイル画像表示エリア162のサムネイル表示を変更した統合画面160を生成し、ステップS25においてこの統合画面160の画面フレーム情報を第1のコントローラ1に送信する。 Returning to Figure 9, if not selected the "thumbnail image" in the step S19, the cursor 168 by the GUI support monitor 112 in step S24, it is determined whether to select the multi-switch SW166, multi switching SW166 is selected, generating an integrated screen 160 to change the thumbnail display of the thumbnail image display area 162 by the thumbnail multi-display switching function 155 in step S25, it transmits the screen frame information of the integrated screen 160 to the first controller 1 at step S25.

なお、第1のコントローラ1では送信されてきた画面フレーム情報に基づき統合画面160に生成し表示装置18に表示する。 Incidentally, it displayed on the display device 18 generates the integrated screen 160 based on the first controller 1 screen frame information has the been transmitted. したがって、支援モニタ112の表示と表示装置18の表示とが一致することになる。 Therefore, the display of the display and the display device 18 of assistance monitor 112 matches.

例えば図20における統合画面160では、サムネイル画像表示エリア162のサムネイル表示は3列表示になっているが、この状態でマルチ切替SW166が選択されると、サムネイルマルチ表示切替機能155により図21に示すように、サムネイル画像表示エリア162のサムネイル表示を1列表示とした統合画面160を生成する。 Integration screen 160 in FIG. 20 for example, but the thumbnail display of the thumbnail image display area 162 is in the third column display, the multi-switch SW166 is selected in this state, shown in Figure 21 by the thumbnail multi-display switching function 155 as described above, to produce an integrated screen 160 that is one column display the thumbnail display of the thumbnail image display area 162.

このように本実施例では、拡大SW167を選択することで、画像表示エリア161に表示した画像をフルスクリーン表示することができるので、支援に必要な画像情報を容易かつ正確に得ることが可能となる。 Thus, in this embodiment, by selecting the expanded SW167, since the image displayed on the image display area 161 can be full-screen display, it is possible to obtain necessary image information to help easily and accurately and Become. またマルチ切替SW166を選択することで、サムネイル画像表示エリア162のサムネイル表示を拡大することができるので、画像表示エリア161に表示した例えば内視鏡ライブ画像とサムネイルとの参照が容易となり、支援に必要な画像情報を容易かつ正確に得ることできる。 Further, by selecting the multi-switch SW166, it is possible to enlarge a thumbnail display of the thumbnail image display area 162, the reference and the indicated example endoscopic live image and the thumbnail image display area 161 is facilitated, assistance the necessary image information can be obtained easily and accurately.

なお、本実施例では、カンファレンス室側で統合画像を操作し、手術室側に統合画像の画像フレーム情報を伝送することで、カンファレンス室側と手術室側とで統合画像を共有する構成としたが、手術室側で統合画像を操作し、カンファレンス室側に統合画像の画像フレーム情報を伝送して統合画像を共有するようにしてもよい。 In this embodiment, by operating the integrated image in conference room side, by transmitting the image frame information of the combined image to the operating room side, and configured to share an integrated image in conference room side and the operating room side but operate the integrated image in the operating room side, you may share an integrated image by transmitting the image frame information of the combined image to the conference room side.

カンファレンス室側で統合画像を操作し、手術室側に統合画像の画像フレーム情報を伝送する場合は、カンファレンス室側に指導医がいる場合に手術室の医師に支援を行う場合に適し、また、手術室側で統合画像を操作し、カンファレンス室側に統合画像の画像フレーム情報を伝送する場合は、カンファレンス室側に新任医や医学生がいる場合に手術室のサポート医師が手術室の進捗状況等を新任医や医学生に説明する際に適している。 Operating the integrated image in conference room side, when transmitting the image frame information of the combined image to the operating room side, suitable for performing the assistance to the physician in the operating room when there are guidance physician in conference room side, also, operating the integrated image in the operating room side, when transmitting the image frame information of the combined image to the conference room side, progress of the operating room support physician operating room when there are new physicians and medical students in conference room side It is suitable in describing the new physicians and medical students and the like.

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。 The present invention is not limited to the embodiments described above, within the range not changing the gist of the present invention, various changes and modifications are possible.

本発明の実施例1に係る手術支援システムの構成を示す構成図 Configuration diagram showing a configuration of the operation support system according to a first embodiment of the present invention 図1の手術室の表示装置及びカンファレンス室内視鏡画像モニタに表示されるライブの内視鏡画像を示す図 It shows an endoscopic image of a live displayed on the display device and Conference room endoscopic image monitor in the operating room of FIG. 1 図1の支援装置の機能構成を示すブロック図 Block diagram showing the functional configuration of the support device of Figure 1 図3の統合画面生成機能、リンク情報検索機能、サムネイル画像生成機能及びデータ通信機能の作用を説明するフローチャート Integrated screen generating function of FIG. 3, the link information search function, flowchart for explaining the operation of the thumbnail image generating function and a data communication function 図3のリンク情報検索機能による検索に用いられるリンク先ディレクトリを示す図 It shows a destination directory for use in the search by the link information retrieval function of FIG. 3 図5のリンク先ディレクトリ内のIPアドレスの構成の一例を示す図 Diagram illustrating an example of an IP address of the configuration of the destination directory 5 図6のIPアドレスに用いられる都道府県番号を示す図 It shows a prefecture number used IP address of FIG. 6 図4の処理で生成される統合画面を示す図 It shows an integrated screen generated in the process of FIG. 4 図3のフルスクリーン表示/通常エリア表示切替機能、サムネイル原画像表示機能、関連・ライブ切替機能、サムネイルマルチ表示切替機能、動画再生機能、データ通信機能による統合画面の作用を説明するフローチャート Full screen display / normal area display switching function of Figure 3, a flowchart illustrating the thumbnail original image display function, associated live switching function, thumbnail multi-display switching function, video playback function, the effect of the integrated screen by the data communication function 図9の処理を説明する統合画面の第1の図 First view of integrated screen to explain the processing of Fig 9 図9の処理を説明する統合画面の第2の図 Second view of integrated screen to explain the processing of Fig 9 図9の処理を説明する統合画面の第3の図 Third view of integrated screen to explain the processing of Fig 9 図9の処理を説明する統合画面の第4の図 Fourth diagram of integrated screen to explain the processing of Fig 9 図9の処理を説明する統合画面の第5の図 Figure 5 of the integrated screen to explain the processing of Fig 9 図9の処理を説明する統合画面の第6の図 Figure 6 of the integrated screen to explain the processing of Fig 9 図9の処理を説明する統合画面の第7の図 Figure 7 of the integrated screen to explain the processing of Fig 9 図9の処理を説明する統合画面の第8の図 Figure 8 of the integrated screen to explain the processing of Fig 9 図9の処理を説明する統合画面の第9の図 Figure 9 of the integrated screen to explain the processing of Fig 9 図9の処理を説明する統合画面の第10の図 Figure 10 of the integrated screen to explain the processing of Fig 9 図9の処理を説明する統合画面の第11の図 Figure 11 of the integrated screen to explain the processing of Fig 9 図9の処理を説明する統合画面の第12の図 Figure 12 of the integrated screen to explain the processing of Fig 9

符号の説明 DESCRIPTION OF SYMBOLS

1…第1のコントローラ1a…入力装置2…手術部サーバ3…院内サーバ4,5…通信回路11…内視鏡装置12…表示装置13…手術装置14…第2のコントローラ103…カンファレンス室104…支援装置150…データ記憶部151…統合画面生成機能152…フルスクリーン表示/通常エリア表示切替機能153…サムネイル原画像表示機能154…関連・ライブ切替機能155…サムネイルマルチ表示切替機能156…動画再生機能157…リンク情報検索機能158…サムネイル画像生成機能159…データ通信機能160…統合画面 代理人 弁理士 伊藤 進 1 ... first controller 1a ... input device 2 ... surgical site server 3 ... hospital server 4,5 ... communication circuit 11 ... endoscope device 12 ... a display device 13 ... a surgical device 14 ... second controller 103 ... conference room 104 ... support device 150 ... data storage unit 151 ... integrated screen generating function 152 ... full screen display / normal area display switching function 153 ... thumbnail original image display function 154 ... Related live switching function 155 ... thumbnail multi display switching function 156 ... video playback function 157 ... link information retrieval function 158 ... thumbnail image generating function 159 ... data communication function 160 ... integrated screen Attorney Attorney Susumu Ito

Claims (3)

  1. 手技中のライブ画像及び手技前に撮影された手技に関連する複数の関連画像を入手する画像データ入手手段と、 An image data acquisition means for obtaining a plurality of related images related to the live image and the procedures photographed procedure before during the procedure,
    前記ライブ画像及び前記複数の関連画像の複数のサムネイル画像からなる統合画面を生成する統合画面生成手段と、 And integrated screen generating means for generating the live image and integrated screen composed of a plurality of thumbnail images of the plurality of related images,
    前記ライブ画像あるいは前記関連画像を前記統合画面の表示域全域に表示させる全域表示指示手段と を備えたことを特徴とする手術支援システム。 Operation support system comprising the said live image or the entire display instruction unit for displaying the associated images on the display area entire area of ​​the integrated screen.
  2. 前記複数のサムネイル画像の前記統合画面での表示形態を変更する変更手段 を備えたことを特徴とする請求項1に記載の手術支援システム。 Operation support system of claim 1, further comprising a changing means for changing the display form in the integrated screen of the plurality of thumbnail images.
  3. 前記変更手段は、前記複数のサムネイル画像を拡大表示する表示形態に変更する ことを特徴とする請求項2に記載の手術支援システム。 The changing means, operation support system according to claim 2, characterized in that to change the display mode to enlarge the plurality of thumbnail images.
JP2003347644A 2003-10-06 2003-10-06 Operation supporting system Pending JP2005110878A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003347644A JP2005110878A (en) 2003-10-06 2003-10-06 Operation supporting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003347644A JP2005110878A (en) 2003-10-06 2003-10-06 Operation supporting system

Publications (1)

Publication Number Publication Date
JP2005110878A true JP2005110878A (en) 2005-04-28

Family

ID=34540085

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003347644A Pending JP2005110878A (en) 2003-10-06 2003-10-06 Operation supporting system

Country Status (1)

Country Link
JP (1) JP2005110878A (en)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009207610A (en) * 2008-03-03 2009-09-17 Fujinon Corp Image processor for endoscope, image processing method for endoscope and endoscope system
JP2011117991A (en) * 2009-11-30 2011-06-16 Sony Corp Information processing device, information processing method, and program for the same
JP2012055717A (en) * 2005-06-06 2012-03-22 Intuitive Surgical Inc Laparoscopic ultrasound robotic surgical system
JP2014004252A (en) * 2012-06-26 2014-01-16 Toshiba Corp Medical image display device
CN104042225A (en) * 2013-03-12 2014-09-17 牙科成像技术公司 X-ray system having a user interface with swipe and log viewing features
US9101397B2 (en) 1999-04-07 2015-08-11 Intuitive Surgical Operations, Inc. Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9333042B2 (en) 2007-06-13 2016-05-10 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9345387B2 (en) 2006-06-13 2016-05-24 Intuitive Surgical Operations, Inc. Preventing instrument/tissue collisions
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US9516996B2 (en) 2008-06-27 2016-12-13 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the position and orienting of its tip
JP2017021751A (en) * 2015-07-15 2017-01-26 オリンパス株式会社 Screen image generation device
US9622826B2 (en) 2010-02-12 2017-04-18 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US9717563B2 (en) 2008-06-27 2017-08-01 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxilary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9788909B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc Synthetic representation of a surgical instrument
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US9795446B2 (en) 2005-06-06 2017-10-24 Intuitive Surgical Operations, Inc. Systems and methods for interactive user interfaces for robotic minimally invasive surgical systems
US9956044B2 (en) 2009-08-15 2018-05-01 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
WO2018163644A1 (en) 2017-03-07 2018-09-13 ソニー株式会社 Information processing device, assist system, and information processing method
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9232984B2 (en) 1999-04-07 2016-01-12 Intuitive Surgical Operations, Inc. Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
US10271909B2 (en) 1999-04-07 2019-04-30 Intuitive Surgical Operations, Inc. Display of computer generated image of an out-of-view portion of a medical device adjacent a real-time image of an in-view portion of the medical device
US9101397B2 (en) 1999-04-07 2015-08-11 Intuitive Surgical Operations, Inc. Real-time generation of three-dimensional ultrasound image using a two-dimensional ultrasound transducer in a robotic system
JP2012055717A (en) * 2005-06-06 2012-03-22 Intuitive Surgical Inc Laparoscopic ultrasound robotic surgical system
US9795446B2 (en) 2005-06-06 2017-10-24 Intuitive Surgical Operations, Inc. Systems and methods for interactive user interfaces for robotic minimally invasive surgical systems
US9345387B2 (en) 2006-06-13 2016-05-24 Intuitive Surgical Operations, Inc. Preventing instrument/tissue collisions
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US9788909B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc Synthetic representation of a surgical instrument
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US10137575B2 (en) 2006-06-29 2018-11-27 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US9801690B2 (en) 2006-06-29 2017-10-31 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical instrument
US10188472B2 (en) 2007-06-13 2019-01-29 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9469034B2 (en) 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US9333042B2 (en) 2007-06-13 2016-05-10 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US9629520B2 (en) 2007-06-13 2017-04-25 Intuitive Surgical Operations, Inc. Method and system for moving an articulated instrument back towards an entry guide while automatically reconfiguring the articulated instrument for retraction into the entry guide
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US10271912B2 (en) 2007-06-13 2019-04-30 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9901408B2 (en) 2007-06-13 2018-02-27 Intuitive Surgical Operations, Inc. Preventing instrument/tissue collisions
JP2009207610A (en) * 2008-03-03 2009-09-17 Fujinon Corp Image processor for endoscope, image processing method for endoscope and endoscope system
US9516996B2 (en) 2008-06-27 2016-12-13 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the position and orienting of its tip
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US9717563B2 (en) 2008-06-27 2017-08-01 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxilary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US10282881B2 (en) 2009-03-31 2019-05-07 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US9956044B2 (en) 2009-08-15 2018-05-01 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US10271915B2 (en) 2009-08-15 2019-04-30 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US10078876B2 (en) 2009-11-30 2018-09-18 Sony Corporation Information processing apparatus, method, and computer-readable medium
JP2011117991A (en) * 2009-11-30 2011-06-16 Sony Corp Information processing device, information processing method, and program for the same
US9622826B2 (en) 2010-02-12 2017-04-18 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
JP2014004252A (en) * 2012-06-26 2014-01-16 Toshiba Corp Medical image display device
CN104042225A (en) * 2013-03-12 2014-09-17 牙科成像技术公司 X-ray system having a user interface with swipe and log viewing features
JP2017021751A (en) * 2015-07-15 2017-01-26 オリンパス株式会社 Screen image generation device
WO2018163644A1 (en) 2017-03-07 2018-09-13 ソニー株式会社 Information processing device, assist system, and information processing method

Similar Documents

Publication Publication Date Title
US7485115B2 (en) Remote operation support system and method
JP3041015B2 (en) Endoscopic image file system
CN100506155C (en) Medical image display apparatus
CN101669807B (en) Image display device, image display method and image display program
JP3791894B2 (en) The endoscopic image filing system
US20060259193A1 (en) Telerobotic system with a dual application screen presentation
JP4653557B2 (en) The medical image display apparatus and a medical image display method
JP5823535B2 (en) Medical system
US20120072024A1 (en) Telerobotic system with dual application screen presentation
US8384729B2 (en) Medical image display system, medical image display method, and medical image display program
JP4405172B2 (en) Medical Systems
JP2008102665A (en) Medical image radiography support system and program
JP2006218129A (en) Surgery supporting system
US20080122924A1 (en) Technique image recording control system, technique image recording control method and operation system
CA2526149A1 (en) System and method for managing an endoscopic lab
JP2005144183A (en) Method for preparing and/or providing devices for use in medical operation or surgery, computer software and computer system
CN1939235B (en) Integration and recording of live surgical image data
JP2002259006A (en) Method, device, and program for image display
JP2012523944A (en) Imaging system
EP1922977B1 (en) Image display device
US20050283138A1 (en) Operating room control system
JP2008119145A (en) Image display method and image display apparatus
JP5701685B2 (en) Medical information display apparatus and method operation, as well as medical information display program
US20030046109A1 (en) Medical information system for improving efficiency of clinical record creating operations
JP2008181527A (en) Medical information system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090707

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091110