JP2016202940A - Support system - Google Patents
Support system Download PDFInfo
- Publication number
- JP2016202940A JP2016202940A JP2016140252A JP2016140252A JP2016202940A JP 2016202940 A JP2016202940 A JP 2016202940A JP 2016140252 A JP2016140252 A JP 2016140252A JP 2016140252 A JP2016140252 A JP 2016140252A JP 2016202940 A JP2016202940 A JP 2016202940A
- Authority
- JP
- Japan
- Prior art keywords
- target image
- instructed
- instruction
- confirmed
- instructor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Ultra Sonic Daignosis Equipment (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
この発明は、対象物の画像を見ながら指示を行うための支援システムに関するものである。 The present invention relates to a support system for giving an instruction while viewing an image of an object.
前立腺癌の治療において、放射線を出す多数の小さなカプセル状の線源を前立腺内にひとつずつ挿入して埋め込み、前立腺の内部から放射線を照射する方法がある。このカプセルの埋め込みの際には、超音波エコー画像を見ながら行う。 In the treatment of prostate cancer, there is a method in which a large number of small capsule-like radiation sources that emit radiation are inserted into the prostate one by one and implanted, and radiation is irradiated from the inside of the prostate. When embedding the capsule, it is performed while viewing the ultrasonic echo image.
ただし、経験のない、あるいは少ない医師が、このカプセルの埋め込みを行うことは容易でない。このため、多くの施設ではこの治療の導入時に経験の豊富な医師が脇について指導をしながら埋め込みを行うことが行われている。しかし、経験豊富な医師が他施設まで出向いて指導を行うことは困難であり、特に、離島や交通不便な地域では顕著である。 However, it is not easy for an inexperienced or few doctors to implant the capsule. For this reason, in many institutions, experienced doctors perform implantation while giving guidance on the armpits when introducing this treatment. However, it is difficult for experienced doctors to visit other institutions for guidance, especially in remote islands and inconvenient areas.
このような問題は、前立腺癌の治療だけでなく、内視鏡手術などにおいても同様に生じており、対象物を見ながら手術などの技術指導などを行う場合一般に問題となっている。 Such a problem occurs not only in prostate cancer treatment but also in endoscopic surgery or the like, and is generally a problem when performing technical guidance such as surgery while looking at an object.
これを解決するため、たとえば医療分野において、特許文献１に示すように、遠隔地にいる指導者に対象物の画像を送信することによって、指導を受けることの可能なシステムが提案されている。このシステムは、内視鏡の画像を遠隔地にいる指導者に送信し、指導者がこの画像を見て指示を画像などで送り返すものである。 In order to solve this problem, for example, in the medical field, as shown in Patent Document 1, a system capable of receiving guidance by transmitting an image of an object to a leader in a remote place has been proposed. In this system, an endoscope image is transmitted to a leader at a remote location, and the leader sees this image and sends back an instruction as an image.
しかしながら、特許文献１の技術では、手術室において表示される対象物の画像と、指導者から返送される指示画像との間にタイムラグがある。このため、指導を受ける側は、現在表示されている対象物の画像について、指導者から特別な指示があるのかどうかが、直ちにわからないという問題があった。 However, in the technique of Patent Document 1, there is a time lag between the image of the object displayed in the operating room and the instruction image returned from the instructor. For this reason, there has been a problem that the side receiving the instruction cannot immediately know whether there is a special instruction from the instructor regarding the image of the currently displayed object.
そこで、この発明は、対象物の画像について、指導者からの指示があるのかどうかをタイムラグが極めて小さく知ることのできるシステムを提供することを目的とする。 Therefore, an object of the present invention is to provide a system that can know whether or not there is an instruction from an instructor about the image of an object with a very small time lag.
(1)(2)(3)(5)(7)この発明に係る支援システムは、被指示者のための被指示装置と、指示者のための指示装置とを備えた支援システムであって、
前記被指示装置は、画像を表示するための被指示装置表示部と、前記指示装置と通信を行うための被指示装置通信部と、対象画像を受け、前記被指示装置通信部を制御して、当該対象画像を指示者装置に転送する対象画像転送手段と、前記指示者装置から送信されたきた確認済対象画像を受けて、前記被指示装置表示部において表示する確認済対象画像表示手段とを備え、
前記指示者装置は、画像を表示するための指示装置表示部と、指示内容を入力するための指示装置入力部と、前記被指示装置と通信を行うための指示装置通信部と、前記被指示装置から送信されてきた対象画像を、指示装置表示部において表示する対象画像表示手段と、前記指示装置通信部を制御し、前記対象画像を確認済対象画像として前記被指示装置に送信する確認済対象画像送信手段とを備え、
前記確認済対象画像送信手段は、前記対象画像に対する前記指示内容が入力されると、前記対象画像に前記指示内容を反映した確認済対象画像を生成して前記被指示装置に送信することを特徴としている。
(1) (2) (3) (5) (7) A support system according to the present invention is a support system including an instructed device for an instructed person and an instructing device for the instructor. ,
The instructed device receives an instructed device display unit for displaying an image, an instructed device communication unit for communicating with the instructing device, a target image, and controls the instructed device communication unit. A target image transfer means for transferring the target image to the instructor apparatus; a confirmed target image display means for receiving the confirmed target image transmitted from the instructor apparatus and displaying the confirmed target image on the instructed apparatus display unit; With
The instructor device includes an instruction device display unit for displaying an image, an instruction device input unit for inputting instruction content, an instruction device communication unit for communicating with the instructed device, and the instructed device A target image display means for displaying a target image transmitted from the device on the pointing device display unit and a control unit that controls the pointing device communication unit, and confirms the target image as a confirmed target image to be transmitted to the pointed device. A target image transmission means,
When the instruction content for the target image is input, the confirmed target image transmission unit generates a confirmed target image reflecting the instruction content in the target image and transmits the generated image to the instructed device. It is said.
したがって、被指示装置には、指示者が確認済みの対象画像が表示され、指示の行き違いなどが生じにくい。 Therefore, a target image that has been confirmed by the instructor is displayed on the instructed device, and it is difficult for instructions to be mistaken.
(4)(6)(8)この発明に係る支援システムは、被指示装置が、被指示装置通信部を制御して、前記対象画像とともに被指示者の音声を送信する被指示装置音声送信手段と、受信した指示者の音声を出力する被指示者装置出力手段とを備え、指示装置が、受信した被指示者の音声を出力する指示装置音声出力手段と、前記指示装置通信部を制御して、指示者の音声を前記確認済対象画像とともに送信する指示装置音声送信手段を備えていることを特徴としている。 (4) (6) (8) In the support system according to the present invention, the instructed device transmits a voice of the instructed person together with the target image by the instructed device controlling the instructed device communication unit. And an instructionee device output means for outputting the received voice of the instructor, wherein the instruction device controls the instruction device voice output means for outputting the received voice of the indicated person, and the instruction device communication unit. And an instruction device voice transmission means for transmitting the voice of the instructor together with the confirmed target image.
したがって、画像とともに音声による指示を受けることができる。 Therefore, it is possible to receive a voice instruction together with the image.
(9)この発明に係る支援システムは、指示装置の対象画像表示手段が、所定のタイミングにて記録された確認済対象画像の一覧を表示することを特徴としている。 (9) The support system according to the present invention is characterized in that the target image display means of the pointing device displays a list of confirmed target images recorded at a predetermined timing.
したがって、過去の確認済対象画像を呼び出して指示用の画面として表示することが容易である。 Therefore, it is easy to call a past confirmed target image and display it as an instruction screen.
(10)この発明に係る支援システムは、確認済対象画像が、指示者の記録命令の入力または指示者による前記指示内容の入力により記録されることを特徴としている。 (10) The support system according to the present invention is characterized in that the confirmed target image is recorded by inputting a recording command of the instructor or inputting the instruction content by the instructor.
したがって、重要な画像をサムネイル用の画像として記録することができる。 Therefore, important images can be recorded as thumbnail images.
(11)この発明に係る支援システムは、被指示装置の対象画像転送手段が、前記対象画像に識別符号を付して送信し、指示装置の確認済対象画像送信手段が、前記確認済対象画像に代えて、当該確認済対象画像の識別符号と必要な指示内容を送信し、被指示装置の確認済対象画像表示手段が、識別符号に基づいて記録しておいた対象画像を取得し、必要な指示内容を反映して表示することを特徴としている。 (11) In the support system according to the present invention, the target image transfer unit of the indicated device transmits the target image with an identification code, and the confirmed target image transmission unit of the pointing device transmits the confirmed target image. Instead, the identification code of the confirmed target image and necessary instruction content are transmitted, and the confirmed target image display means of the instructed device acquires the target image recorded based on the identification code, and is necessary. It is characterized by displaying various instructions.
したがって、指示装置から被指示装置への送信データ量を低減させることができる。 Therefore, it is possible to reduce the amount of transmission data from the pointing device to the pointed device.
(12)この発明に係る支援方法は、被指示者のための被指示装置と、指示者のための指示装置とによる支援方法であって、
前記被指示装置が、対象画像を受け、被指示装置通信部を制御して、当該対象画像を指示者装置に転送し、前記指示者装置から送信されたきた確認済対象画像を受けて、被指示装置表示部において表示し、
前記指示者装置が、前記被指示装置から送信されてきた対象画像を、指示装置表示部において表示し、前記指示装置通信部を制御し、前記対象画像を確認済対象画像として前記被指示装置に送信する方法であって、前記指示装置は、前記対象画像に対する前記指示内容が入力されると、前記対象画像に前記指示内容を反映した確認済対象画像を生成して前記被指示装置に送信することを特徴としている。
(12) A support method according to the present invention is a support method by an instructed device for an instructee and an instructing device for an instructor,
The instructed device receives the target image, controls the instructed device communication unit, transfers the target image to the instructor device, receives the confirmed target image transmitted from the instructor device, Displayed on the indicator display,
The instructor device displays the target image transmitted from the instructed device on the instructing device display unit, controls the instructing device communication unit, and sets the target image as a confirmed target image to the instructed device. When the instruction content for the target image is input, the instruction device generates a confirmed target image that reflects the instruction content in the target image, and transmits the confirmed target image to the instruction target device. It is characterized by that.
したがって、被指示装置には、指示者が確認済みの対象画像が表示され、指示の行き違いなどが生じにくい。 Therefore, a target image that has been confirmed by the instructor is displayed on the instructed device, and it is difficult for instructions to be mistaken.
「対象画像転送手段」は、実施形態においては、ステップＳ３がこれに対応する。 In the embodiment, “target image transfer means” corresponds to step S3.
「確認済対象画像表示手段」は、実施形態においては、ステップＳ５がこれに対応する。 In the embodiment, “confirmed target image display means” corresponds to step S5.
「対象画像表示手段」は、実施形態においては、ステップＳ１２がこれに対応する。 In the embodiment, “target image display means” corresponds to step S12.
「確認済対象画像送信手段」は、実施形態においては、ステップＳ１７がこれに対応する。 In the embodiment, “confirmed target image transmission means” corresponds to step S17.
「プログラム」とは、ＣＰＵにより直接実行可能なプログラムだけでなく、ソース形式のプログラム、圧縮処理がされたプログラム、暗号化されたプログラム等を含む概念である。 The “program” is a concept that includes not only a program that can be directly executed by the CPU, but also a source format program, a compressed program, an encrypted program, and the like.
１．機能ブロック図
図１に、この発明の一実施形態による支援システムの機能ブロック図を示す。この支援システムは、ネットワークを介して通信可能に接続された被指示装置２と指示装置２０を備えている。被指示装置２の対象画像転送手段４は、エコー画像などの対象画像を受けて、これを被指示装置通信部６から送信するように制御する。このとき、送信対象である当該対象画像は、被指示装置表示部８において表示しない。
1. Functional Block Diagram FIG. 1 shows a functional block diagram of a support system according to an embodiment of the present invention. This support system includes an instructed device 2 and an instruction device 20 that are communicably connected via a network. The target image transfer means 4 of the instructed device 2 controls to receive a target image such as an echo image and transmit it from the instructed device communication unit 6. At this time, the target image to be transmitted is not displayed on the instructed device display unit 8.
指示装置２０の対象画像表示手段２６は、指示装置通信部２２によって受信した対象画像を、指示装置表示部２４において表示するように制御する。確認済対象画像送信手段２８は、前記指示装置表示部２４に表示された対象画像を、確認済対象画像として、指示装置通信部２２により送り返す。 The target image display unit 26 of the pointing device 20 controls the target device received by the pointing device communication unit 22 to be displayed on the pointing device display unit 24. The confirmed target image transmitting means 28 sends back the target image displayed on the pointing device display unit 24 as a confirmed target image by the pointing device communication unit 22.
確認済対象画像を受けた被指示装置２の確認済対象画像表示手段１０は、これを被指示装置表示部８に表示する。 Upon receiving the confirmed target image, the confirmed target image display means 10 of the pointed apparatus 2 displays this on the pointed apparatus display unit 8.
上記において、指示者は、指示装置表示部２４に表示された対象画像を見て、指示すべき内容があれば、指示装置入力部３０から入力を行う。このように、指示内容が入力された場合、確認済対象画像送信手段２８は、対象画像に指示内容による画像を加えて、確認済対象画像を生成して送り返す。 In the above, the instructor looks at the target image displayed on the instruction device display unit 24 and inputs from the instruction device input unit 30 if there is content to be instructed. As described above, when the instruction content is input, the confirmed target image transmission unit 28 adds the image according to the instruction content to the target image, and generates and transmits the confirmed target image.
このようにして、被指示装置表示部８において表示される確認済対象画像は、指示者による確認のために指示装置において表示された後のものとなる。したがって、被指示者は、被指示装置表示部８において表示される確認済対象画像を見ることで、当該画像に対しての指示者の指示内容の有無および指示内容を確認することができる。
In this way, the confirmed target image displayed on the instructed device display unit 8 is the one after being displayed on the pointing device for confirmation by the instructor. Therefore, the instructed person can confirm the presence / absence of the instruction content of the instructor for the image and the instruction content by viewing the confirmed target image displayed on the instructed device display unit 8.
２．システム構成と処理の概要
図２に、この発明の一実施形態による支援システムの構成を示す。ここでは、前立腺癌治療のために、エコー画像を見ながら、カプセル状の線源を埋め込む処置を行う場合を例にとって説明する。
2. Overview of System Configuration and Processing FIG. 2 shows the configuration of a support system according to an embodiment of the present invention. Here, a case where a treatment for embedding a capsule-like radiation source is performed while viewing an echo image for prostate cancer treatment will be described as an example.
超音波エコー装置４０、エコー画像処理装置４２、被指示装置２は、支援を受ける医師（被指示者）のいる手術室に設けられている。指示装置２０は、支援を行う医師（指示者）のいる部屋に設けられている。この実施形態では、エコー画像処理装置４２、被指示装置２、指示装置２０は、ＰＣによって構成している。 The ultrasonic echo device 40, the echo image processing device 42, and the indicated device 2 are provided in an operating room where a doctor (instructed person) receiving support is located. The instruction device 20 is provided in a room where a doctor (instructor) who performs support is located. In this embodiment, the echo image processing device 42, the pointed device 2, and the pointing device 20 are configured by a PC.
超音波エコー装置４０は、患部近傍の超音波エコーデータを出力する。超音波エコー装置４０には、ＬＡＮなどによって、エコー画像処理装置４２が接続されている。したがって、超音波エコーデータは、ＬＡＮを介してエコー画像処理装置４２に送信される。 The ultrasonic echo device 40 outputs ultrasonic echo data near the affected area. An echo image processing device 42 is connected to the ultrasonic echo device 40 via a LAN or the like. Accordingly, the ultrasonic echo data is transmitted to the echo image processing device 42 via the LAN.
エコー画像処理装置４２は、超音波エコーデータを受けて、超音波エコー画像を生成し表示する。なお、この実施形態では、ＰＣによってエコー画像処理装置４２を構成している。支援を受ける医師（被指示者）は、エコー画像処理装置４２を用いて、超音波エコー画像に書き込みなどを行うことができる。たとえば、マウス／キーボードを用いて、指示を受けたい部位を特定するように線を書き込むことができる。 The echo image processing device 42 receives the ultrasonic echo data and generates and displays an ultrasonic echo image. In this embodiment, the echo image processing device 42 is configured by a PC. A doctor (instructed person) receiving support can use the echo image processing device 42 to write on an ultrasonic echo image. For example, using a mouse / keyboard, a line can be written so as to specify a part for which an instruction is to be received.
エコー画像処理装置４２のディスプレイ出力（mini D.sub15ピン出力やDVI出力）は、コンバータ４４によってＵＳＢ信号に変換され、被指示装置２に与えられる。この実施形態では、既存のエコー画像処理装置４２に変更を加えることなく、被指示装置２を設置するようにしたので、コンバータ４４を設けている。コンバータ４４としては、たとえば、(株)アルゴ社製のコンバータキャプチャボックス(VGA2 USB-GIGAE-PCI-E)を用いることができる。 The display output (mini D.sub15 pin output or DVI output) of the echo image processing device 42 is converted into a USB signal by the converter 44 and given to the instructed device 2. In this embodiment, the indicated device 2 is installed without changing the existing echo image processing device 42, and therefore a converter 44 is provided. As the converter 44, for example, a converter capture box (VGA2 USB-GIGAE-PCI-E) manufactured by Argo Co., Ltd. can be used.
被指示装置２は、ＵＳＢ信号として受け取った超音波エコー画像を表示せず、暗号化したＪＰＥＧ信号として、インターネット４６を介して指示装置２０に送信する。指示装置２０は、受信した超音波エコー画像をディスプレイに表示する。 The instructed device 2 does not display the ultrasonic echo image received as the USB signal, but transmits it to the instructing device 20 through the Internet 46 as an encrypted JPEG signal. The instruction device 20 displays the received ultrasonic echo image on the display.
指示者は、表示された超音波エコー画像を見ながら、必要であればマウス／キーボードにて指示を入力する。たとえば、指示をする部位を赤丸で囲むなど。指示装置２０は、表示した超音波エコー画像を、インターネット４６を介して、確認済超音波エコー画像として被指示装置２に返信する。この際、指示者からの指示内容がある場合には、超音波エコー画像に指示内容を重ねて確認済超音波エコー画像を生成して送り返す。 The instructor inputs an instruction with a mouse / keyboard if necessary while viewing the displayed ultrasonic echo image. For example, the part to be instructed is surrounded by a red circle. The instruction device 20 returns the displayed ultrasonic echo image to the instructed device 2 as a confirmed ultrasonic echo image via the Internet 46. At this time, if there is an instruction content from the instructor, the instruction content is superimposed on the ultrasonic echo image, and a confirmed ultrasonic echo image is generated and sent back.
被指示装置２は、送信されてきた確認済超音波エコー画像をディスプレイにおいて表示する。
The directed device 2 displays the transmitted confirmed ultrasonic echo image on the display.
３．ハードウエア構成
図３に、被指示装置２のハードウエア構成を示す。ＣＰＵ５２には、メモリ５４、ディスプレイ５６、ＣＤ−ＲＯＭドライブ５８、ハードディスク６０、ＵＳＢポート６２、通信回路６４、マイク７２、スピーカ７４が接続されている。
3. Hardware Configuration FIG. 3 shows a hardware configuration of the instructed device 2. A memory 54, a display 56, a CD-ROM drive 58, a hard disk 60, a USB port 62, a communication circuit 64, a microphone 72, and a speaker 74 are connected to the CPU 52.
通信回路６４は、インターネットやＬＡＮに接続するためのものである。ＵＳＢポート６２には、コンバータ４４（図２参照）が接続される。ハードディスク６０には、WINDOWS（商標）などのオペレーティングシステム（ＯＳ）６８、被指示装置プログラム７０が記録されている。被指示装置プログラム７０は、ＯＳ６８と協働してその機能を発揮する。ＯＳ６８、被指示装置プログラム７０は、ＣＤ−ＲＯＭ６６に記録されていたものを、ＣＤ−ＲＯＭドライブ５８を介してハードディスク６０にインストールしたものである。 The communication circuit 64 is for connecting to the Internet or a LAN. A converter 44 (see FIG. 2) is connected to the USB port 62. In the hard disk 60, an operating system (OS) 68 such as WINDOWS (trademark) and an instructed device program 70 are recorded. The instructed device program 70 performs its function in cooperation with the OS 68. The OS 68 and the instructed device program 70 are those recorded on the CD-ROM 66 and installed on the hard disk 60 via the CD-ROM drive 58.
図４に、指示装置４のハードウエア構成を示す。ＣＰＵ８２には、メモリ８４、ディスプレイ８６、ＣＤ−ＲＯＭドライブ８８、ハードディスク９０、通信回路９２、キーボード／マウス９４、マイク１０２、スピーカ１０４が接続されている。 FIG. 4 shows a hardware configuration of the pointing device 4. A memory 84, a display 86, a CD-ROM drive 88, a hard disk 90, a communication circuit 92, a keyboard / mouse 94, a microphone 102, and a speaker 104 are connected to the CPU 82.
通信回路９２は、インターネットやＬＡＮに接続するためのものである。ハードディスク９０には、ＯＳ９８、指示装置プログラム１００が記録されている。指示装置プログラム１００は、ＯＳ９８と協働してその機能を発揮する。ＯＳ９８、指示装置プログラム１００は、ＣＤ−ＲＯＭ９６に記録されていたものを、ＣＤ−ＲＯＭドライブ８８を介してハードディスク９０にインストールしたものである。
The communication circuit 92 is for connecting to the Internet or a LAN. The hard disk 90 stores an OS 98 and an instruction device program 100. The pointing device program 100 performs its function in cooperation with the OS 98. The OS 98 and the instruction device program 100 are those recorded on the CD-ROM 96 and installed on the hard disk 90 via the CD-ROM drive 88.
４．支援処理のフローチャート
図５、図６に、被指示装置プログラム７０、指示装置プログラム１００のフローチャートを示す。
4). Flowchart of Support Processing FIGS. 5 and 6 show flowcharts of the directed device program 70 and the pointing device program 100. FIG.
被指示装置２のＣＰＵ５２は、コンバータ４４より送信されてくる超音波エコー画像を、ＵＳＢポート６２から取り込む（ステップＳ１）。この超音波エコー画像には、被指示者がエコー画像処理装置４２において書き加えた情報がある場合には、これも含まれている。被指示者は処置を行っているので、情報を書き加えることは少ないが、指示を受けたい箇所を明確にしたい場合などにこれを行うことがある。この実施形態では、ビデオ出力として超音波エコー画像を取得しているので、これをＪＰＥＧのパケットデータに変換し、暗号化した上で送信するようにしている。 The CPU 52 of the instructed device 2 takes in the ultrasonic echo image transmitted from the converter 44 from the USB port 62 (step S1). This ultrasonic echo image includes information written by the instructed person in the echo image processing device 42, if any. Since the person to be instructed is taking measures, it is rare to add information, but this may be done in cases such as when it is desired to clarify the location where the instruction is to be received. In this embodiment, since an ultrasonic echo image is acquired as a video output, it is converted into JPEG packet data, encrypted and transmitted.
また、被指示装置２のＣＰＵ５２は、マイク１０２によって取得した被指示者の音声を取得する（ステップＳ２）。続いて、ＣＰＵ５２は、通信回路９２を制御し、取得した超音波エコー画像および音声を、指示装置２０に送信する（ステップＳ３）。 Further, the CPU 52 of the commanded device 2 acquires the voice of the commanded person acquired by the microphone 102 (step S2). Subsequently, the CPU 52 controls the communication circuit 92 and transmits the acquired ultrasonic echo image and sound to the instruction device 20 (step S3).
指示装置２０のＣＰＵ８２は、被指示装置２から送られてくる超音波エコー画像および音声を受信する（ステップＳ１１）。続いて、ＣＰＵ８２は、ＪＰＥＧパケットデータによる超音波エコー画像をビデオ信号にして、ディスプレイ８６に表示する（ステップＳ１２）。また、受信した音声を、スピーカ１０４において再生する（ステップＳ１２）。 The CPU 82 of the pointing device 20 receives the ultrasonic echo image and sound sent from the pointed device 2 (step S11). Subsequently, the CPU 82 converts the ultrasonic echo image based on the JPEG packet data into a video signal and displays it on the display 86 (step S12). Also, the received sound is reproduced on the speaker 104 (step S12).
図７に、ディスプレイ８６に表示される超音波エコー画面を示す。指示者は、ディスプレイ８６に表示された超音波エコー画像を確認し、スピーカ１０４からの被指示者の音声を聞いて、必要であれば指示内容の書き込み（ステップＳ１３）、音声指示の入力を行う（ステップＳ１４）。 FIG. 7 shows an ultrasonic echo screen displayed on the display 86. The instructor confirms the ultrasonic echo image displayed on the display 86, listens to the sound of the instructed person from the speaker 104, writes the instruction content if necessary (step S13), and inputs the voice instruction. (Step S14).
指示内容の書き込みは、指示者がマウス９４を操作することにより、超音波エコー画像に線などを付加することによって行う。この実施形態では、図７の描画ボタン２００をクリックすることにより、マウス９４による描画を可能としている。また、ボタン２０２をクリックすることで、キーボード９４からの文字入力を可能としている。図８に、指示者が指示のための囲み線を表示した時の画面を示す。 The instruction content is written by adding a line or the like to the ultrasonic echo image by operating the mouse 94 by the instructor. In this embodiment, the drawing with the mouse 94 is enabled by clicking the drawing button 200 in FIG. In addition, the user can input characters from the keyboard 94 by clicking the button 202. FIG. 8 shows a screen when the instructor displays a surrounding line for instruction.
また、この実施形態では、ペイント消去設定ボタン２０４をクリックすることにより、描画した指示（ここでは囲み線）を消去するまでの時間を設定することができる（図９参照）。 Further, in this embodiment, by clicking the paint erasure setting button 204, it is possible to set the time until the drawn instruction (here, the surrounding line) is erased (see FIG. 9).
指示装置２０のＣＰＵ８２は、通信回路９２を制御して、ディスプレイ８６にて表示した超音波エコー画像と、マイク１０２によって取得した音声を、被指示装置２に送信する（ステップＳ１７）。 The CPU 82 of the instruction device 20 controls the communication circuit 92 to transmit the ultrasonic echo image displayed on the display 86 and the sound acquired by the microphone 102 to the instructed device 2 (step S17).
被指示装置２のＣＰＵ５２は、これを受信する（ステップＳ４）。さらに、ＣＰＵ５２は、受信した確認済超音波エコー画像をディスプレイ５６に表示する（ステップＳ５）。また、受信した音声を、スピーカ７４から出力する（ステップＳ５）。このようにして、被指示者は、指示者の指示を画面および音声にて得ることができる。 The CPU 52 of the instructed device 2 receives this (step S4). Further, the CPU 52 displays the received confirmed ultrasonic echo image on the display 56 (step S5). The received voice is output from the speaker 74 (step S5). In this way, the instructee can obtain the instruction of the instructor with the screen and sound.
被指示装置２のディスプレイ５６に表示された確認済超音波エコー画面を示す。ここでは、指示者からの指示（囲み線）が示されている。指示者からの指示がない場合には、超音波エコー画面がそのまま確認済超音波エコー画面として表示されることになる。 The confirmed ultrasonic echo screen displayed on the display 56 of the to-be-instructed apparatus 2 is shown. Here, an instruction (enclosed line) from the instructor is shown. When there is no instruction from the instructor, the ultrasonic echo screen is displayed as it is as a confirmed ultrasonic echo screen.
なお、この実施形態では、指示装置２において指示者が現在表示されている超音波エコー画面を、ハードディスク９０に記録できるようにしている。たとえば、図８に示す画面を記録する場合には、指示者はマウス９４を操作して画面キャプチャーボタン２０６をクリックする。これにより、記録の指示がＣＰＵ８２に与えられる（ステップＳ１６）。これを受けて、ＣＰＵ８２は、ハードディスク９０に超音波エコー画面をキャプチャして記録する（ステップＳ１７）。 In this embodiment, the ultrasound echo screen on which the instructor is currently displayed on the pointing device 2 can be recorded on the hard disk 90. For example, when the screen shown in FIG. 8 is recorded, the instructor operates the mouse 94 and clicks the screen capture button 206. Thereby, a recording instruction is given to the CPU 82 (step S16). In response, the CPU 82 captures and records an ultrasonic echo screen on the hard disk 90 (step S17).
このようにして記録された画面は、指示者の操作により、図１１のサムネイル領域２１２に示すように、サムネイル画像として表示することができる。指示者が、いずれかのサムネイル画像をマウス９４にてクリックすると、当該画像が被指示装置２に送信される。これを受けて、被指示装置２には、この選択された画像が表示されることになる。以上のようにして、過去の画像を用いて、指示者が指示を行うこともできるようになっている。 The screen recorded in this way can be displayed as a thumbnail image as shown in the thumbnail area 212 of FIG. 11 by the operation of the instructor. When the instructor clicks any thumbnail image with the mouse 94, the image is transmitted to the instructed device 2. In response to this, the selected image is displayed on the instructed device 2. As described above, the instructor can also give an instruction using the past image.
なお、指示者が指示内容を入力した画面を自動的に記録するようにしてもよい。
Note that the screen on which the instructor inputs the instruction content may be automatically recorded.
５．その他の実施形態
(1)なお、上記実施形態では既存の超音波エコー画像処理装置４２をそのまま用い、これに追加するようにして、支援システムを構築している。このため、ディスプレイへの出力を変換するコンバータ４４を用いている。このようにすることで、元の画像データのフォーマットに依存せず、汎用性の高いシステムを構築することができる。
5. Other embodiments
(1) In the above embodiment, the existing ultrasonic echo image processing apparatus 42 is used as it is, and the support system is constructed by adding to it. For this reason, a converter 44 for converting the output to the display is used. In this way, a highly versatile system can be constructed without depending on the format of the original image data.
しかし、他の実施形態として、超音波エコー画像処理装置４２から、超音波エコーデータを被指示者装置２に送信して処理を行うようにしてもよい。この場合には、コンバータ４４は不要である。 However, as another embodiment, processing may be performed by transmitting ultrasonic echo data from the ultrasonic echo image processing device 42 to the instructee device 2. In this case, the converter 44 is unnecessary.
(2)上記実施形態では、超音波エコー画像を対象として処理を行っている。しかし、内視鏡画像など他の医療用画像を対象画像として処理を行うようにしてもよい。また、医療画像以外の画像、たとえば、コンクリート建築物の外観を対象画像として、ひび割れの状態などから、その補修を支援するようなシステムとして構築することもできる。つまり、動画や静止画を遠隔地において指示者が見ながらリアルタイムに指示を出す必要のある場合一般に適用することができる。 (2) In the above embodiment, processing is performed on an ultrasonic echo image. However, other medical images such as endoscopic images may be processed as target images. In addition, an image other than a medical image, for example, an appearance of a concrete building can be used as a target image, and the system can be constructed as a system that supports the repair from the cracked state. In other words, the present invention can be generally applied when it is necessary to give an instruction in real time while an instructor watches a moving image or a still image at a remote place.
(3)上記実施形態では、エコー画像処理装置４２とは別に被指示装置２を設けている。しかし、エコー画像処理装置４２と被指示装置２を１台のＰＣによって実現するようにしてもよい。 (3) In the above embodiment, the instructed device 2 is provided separately from the echo image processing device 42. However, the echo image processing device 42 and the pointed device 2 may be realized by a single PC.
(4)上記実施形態では、被指示装置２から指示装置２０に対して対象画像を送信し、指示装置２０から被指示装置２に対して確認済対象画像を返信するようにしている。 (4) In the above embodiment, the target image is transmitted from the instructed device 2 to the instruction device 20, and the confirmed target image is returned from the instruction device 20 to the instructed device 2.
しかし、図１２に示すように、指示装置２０から被指示装置２に対しては、対象画像のフレームを示すＩＤと指示内容（存在する場合のみ）を送信するようにしてもよい。図１２に示す処理の手順は以下のとおりである。 However, as shown in FIG. 12, the instruction device 20 may transmit an ID indicating the frame of the target image and the instruction content (only when present) to the instructed device 2. The procedure of the process shown in FIG. 12 is as follows.
まず、被指示装置２は、受け取った対象画像の各フレームにＩＤを付して記録する（(1)参照）。これとともに、フレーム画像とＩＤを指示装置２０に送信する（(2)参照）。指示装置２０では、受信したフレーム画像を順番に表示する（(3)参照）。指示装置２０は、表示したフレーム画像のＩＤを送信する（(4)参照）。このとき、指示内容があれば、これも併せて送信する。ＩＤを受信した被指示装置２は、当該ＩＤに対応するフレーム画像を読み出して表示する（(5)参照）。このとき、指示内容が送信されてきていれば、これを合成して表示する。 First, the instructed device 2 records each frame of the received target image with an ID (see (1)). At the same time, the frame image and the ID are transmitted to the instruction device 20 (see (2)). The instruction device 20 displays the received frame images in order (see (3)). The instruction device 20 transmits the ID of the displayed frame image (see (4)). At this time, if there is an instruction content, this is also transmitted together. The instructed device 2 that has received the ID reads out and displays a frame image corresponding to the ID (see (5)). At this time, if the instruction content has been transmitted, it is synthesized and displayed.
この実施形態によれば、被指示装置２の処理負担は重くなるが、指示装置２０から被指示装置２への送信データが少なくて済む。 According to this embodiment, although the processing load of the commanded device 2 is heavy, transmission data from the commanding device 20 to the commanded device 2 is small.
(5)上記各実施形態では、指示内容は画像であるが、指示内容として文字のみ、文字と画像の組み合わせとしてもよい。 (5) In each of the above embodiments, the instruction content is an image, but the instruction content may be only a character or a combination of a character and an image.
(6)また、被指示装置２と指示装置２０のやりとりを記録しておき、学習用の教材として使用してもよい。
(6) Further, the exchange between the pointed device 2 and the pointing device 20 may be recorded and used as a learning material.
Claims (12)
前記被指示装置は、
画像を表示するための被指示装置表示部と、
前記指示装置と通信を行うための被指示装置通信部と、
対象画像を受け、前記被指示装置通信部を制御して、当該対象画像を指示者装置に転送する対象画像転送手段と、
前記指示者装置から送信されたきた確認済対象画像を受けて、前記被指示装置表示部において表示する確認済対象画像表示手段とを備え、
前記指示者装置は、
画像を表示するための指示装置表示部と、
指示内容を入力するための指示装置入力部と、
前記被指示装置と通信を行うための指示装置通信部と、
前記被指示装置から送信されてきた対象画像を、指示装置表示部において表示する対象画像表示手段と、
前記指示装置通信部を制御し、前記対象画像を確認済対象画像として前記被指示装置に送信する確認済対象画像送信手段とを備え、
前記確認済対象画像送信手段は、前記対象画像に対する前記指示内容が入力されると、前記対象画像に前記指示内容を反映した確認済対象画像を生成して前記被指示装置に送信することを特徴とする支援システム。 A support system including an instructed device for an instructed person and an instructing device for an instructor,
The instructed device is:
An instructed device display for displaying an image;
An instructed device communication unit for communicating with the indicating device;
A target image transfer means for receiving a target image, controlling the instructed device communication unit, and transferring the target image to the instructor device;
Receiving a confirmed target image transmitted from the instructor device, and displaying the confirmed target image on the indicated device display unit;
The instructor device is
An indicating device display for displaying an image;
An instruction device input unit for inputting instruction contents;
An instruction device communication unit for communicating with the instructed device;
Target image display means for displaying the target image transmitted from the pointed device on the pointing device display unit;
A confirmation target image transmission unit that controls the instruction device communication unit and transmits the target image as a confirmed target image to the instructed device;
When the instruction content for the target image is input, the confirmed target image transmission unit generates a confirmed target image reflecting the instruction content in the target image and transmits the generated image to the instructed device. Support system.
画像を表示するための被指示装置表示部と、
前記指示装置と通信を行うための被指示装置通信部と、
対象画像を受け、前記被指示装置通信部を制御して、当該対象画像を指示装置に転送する対象画像転送手段と、
前記指示者装置から送信されたきた確認済対象画像を受けて、前記被指示装置表示部において表示する確認済対象画像表示手段と、
を備えた被指示装置。 An instructed device for constructing a support system together with an instruction device connected by a communication path,
An instructed device display for displaying an image;
An instructed device communication unit for communicating with the indicating device;
A target image transfer means for receiving a target image, controlling the instructed device communication unit, and transferring the target image to the pointing device;
A confirmed target image display means for receiving the confirmed target image transmitted from the instructor device and displaying it on the indicated device display unit;
Instructed device comprising:
画像を表示するための指示装置表示部と、
指示内容を入力するための指示装置入力部と、
前記被指示装置と通信を行うための指示装置通信部と、
前記被指示装置から送信されてきた対象画像を、指示装置表示部において表示する対象画像表示手段と、
前記指示装置通信部を制御し、前記対象画像を確認済対象画像として前記被指示装置に送信する確認済対象画像送信手段とを備え、
前記確認済対象画像送信手段は、前記対象画像に対する前記指示内容が入力されると、前記対象画像に前記指示内容を反映した確認済対象画像を生成して前記被指示装置に送信することを特徴とする指示装置。 An instruction device for constructing a support system together with an instructed device connected by a communication path,
An indicating device display for displaying an image;
An instruction device input unit for inputting instruction contents;
An instruction device communication unit for communicating with the instructed device;
Target image display means for displaying the target image transmitted from the pointed device on the pointing device display unit;
A confirmation target image transmission unit that controls the instruction device communication unit and transmits the target image as a confirmed target image to the instructed device;
When the instruction content for the target image is input, the confirmed target image transmission unit generates a confirmed target image reflecting the instruction content in the target image and transmits the generated image to the instructed device. Indicating device.
前記被指示装置は、
前記被指示装置通信部を制御して、前記対象画像とともに被指示者の音声を送信する被指示装置音声送信手段と、
受信した指示者の音声を出力する被指示者装置出力手段とを備え、
前記指示装置は、
受信した被指示者の音声を出力する指示装置音声出力手段と、
前記指示装置通信部を制御して、指示者の音声を前記確認済対象画像とともに送信する指示装置音声送信手段を備えていることを特徴とするシステムまたは装置。 In the system and apparatus in any one of Claims 1-3,
The instructed device is:
An instructed device voice transmitting means for controlling the instructed device communication unit and transmitting the voice of the instructed person together with the target image;
An instructee device output means for outputting the voice of the received instructor,
The pointing device is
An instruction device voice output means for outputting the received voice of the instructee;
A system or apparatus comprising: an instruction device voice transmission unit that controls the instruction device communication unit to transmit the voice of the instructor together with the confirmed target image.
対象画像を受け、被指示装置通信部を制御して、当該対象画像を指示装置に転送する対象画像転送手段と、
前記指示装置から送信されたきた確認済対象画像を受けて、被指示装置表示部において表示する確認済対象画像表示手段と、
をコンピュータによって実現するための被指示装置プログラム。 An instructed device program for realizing, by a computer, an instructed device for constructing a support system together with an instructing device connected by a communication path,
A target image transfer means for receiving the target image, controlling the commanded device communication unit, and transferring the target image to the pointing device;
A confirmed target image display means for receiving the confirmed target image transmitted from the pointing device and displaying it on the pointed device display unit;
A commanded device program for realizing the above by a computer.
前記被指示装置通信部を制御して、前記対象画像とともに被指示者の音声を送信する被指示装置音声送信手段と、
受信した指示者の音声を出力する被指示者装置出力手段とを、さらに、コンピュータによって実現するための被指示装置プログラム。 In the directed device program of claim 5,
An instructed device voice transmitting means for controlling the instructed device communication unit and transmitting the voice of the instructed person together with the target image;
An instructed device program for realizing, by a computer, an instructed device output means for outputting the received instructor's voice.
前記被指示装置から送信されてきた対象画像を、指示装置表示部において表示する対象画像表示手段と、
前記対象画像を確認済対象画像として前記被指示装置に送信する確認済対象画像送信手段とをコンピュータによって実現するためのプログラムであって、
前記確認済対象画像送信手段は、前記対象画像に対する前記指示内容が入力されると、前記対象画像に前記指示内容を反映した確認済対象画像を生成して前記被指示装置に送信することを特徴とする指示装置プログラム。 An instruction device program for realizing, by a computer, an instruction device for constructing a support system together with an instructed device connected by a communication path,
Target image display means for displaying the target image transmitted from the pointed device on the pointing device display unit;
A program for realizing, by a computer, a confirmed target image transmitting means for transmitting the target image as a confirmed target image to the instructed device,
When the instruction content for the target image is input, the confirmed target image transmission unit generates a confirmed target image reflecting the instruction content in the target image and transmits the generated image to the instructed device. A pointing device program.
受信した被指示者の音声を出力する指示装置音声出力手段と、
前記指示装置通信部を制御して、指示者の音声を前記確認済対象画像とともに送信する指示装置音声送信手段とを、さらに、コンピュータによって実現するための指示装置プログラム。 The pointing device program according to claim 7,
An instruction device voice output means for outputting the received voice of the instructee;
An instruction device program for further realizing, by a computer, an instruction device voice transmission unit that controls the instruction device communication unit and transmits the voice of the instructor together with the confirmed target image.
前記指示装置の対象画像表示手段は、所定のタイミングにて記録された確認済対象画像の一覧を表示する事を特徴とするシステム、装置またはプログラム。 In the system, apparatus, or program of Claims 1-8,
The target image display means of the pointing device displays a list of confirmed target images recorded at a predetermined timing.
前記確認済対象画像は、指示者の記録命令の入力または指示者による前記指示内容の入力により記録されることを特徴とするシステム、装置またはプログラム。 The system, apparatus or program of claim 9,
The system, apparatus, or program characterized in that the confirmed target image is recorded by inputting a recording command of the instructor or inputting the instruction content by the instructor.
前記被指示装置の対象画像転送手段は、前記対象画像に識別符号を付して送信し、
前記指示装置の確認済対象画像送信手段は、前記確認済対象画像に代えて、当該確認済対象画像の識別符号と必要な指示内容を送信し、
前記被指示装置の確認済対象画像表示手段は、識別符号に基づいて記録しておいた対象画像を取得し、必要な指示内容を反映して表示することを特徴とするシステム、装置またはプログラム。 In the system, apparatus, or program in any one of Claims 1-10,
The target image transfer means of the indicated device transmits the target image with an identification code,
The confirmed target image transmitting means of the pointing device transmits the identification code of the confirmed target image and necessary instruction content instead of the confirmed target image,
The system, apparatus or program characterized in that the confirmed target image display means of the instructed apparatus acquires the target image recorded based on the identification code and reflects the necessary instruction content.
前記被指示装置が、
対象画像を受け、被指示装置通信部を制御して、当該対象画像を指示者装置に転送し、
前記指示者装置から送信されたきた確認済対象画像を受けて、被指示装置表示部において表示し、
前記指示者装置が、
前記被指示装置から送信されてきた対象画像を、指示装置表示部において表示し、
前記指示装置通信部を制御し、前記対象画像を確認済対象画像として前記被指示装置に送信する方法であって、
前記指示装置は、前記対象画像に対する前記指示内容が入力されると、前記対象画像に前記指示内容を反映した確認済対象画像を生成して前記被指示装置に送信することを特徴とする支援方法。
A support method by an instructed device for an instructed person and an instructing device for an instructor,
The instructed device is
Receiving the target image, controlling the instructed device communication unit, transferring the target image to the instructor device,
Receiving the confirmed target image transmitted from the instructor device, displaying on the instructed device display unit,
The instructor device is
The target image transmitted from the indicated device is displayed on the pointing device display unit,
A method of controlling the instruction device communication unit and transmitting the target image as a confirmed target image to the indicated device;
When the instruction content for the target image is input, the instruction device generates a confirmed target image that reflects the instruction content in the target image, and transmits the confirmed target image to the instruction target device. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016140252A JP6267754B2 (en) | 2016-07-15 | 2016-07-15 | Support system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016140252A JP6267754B2 (en) | 2016-07-15 | 2016-07-15 | Support system |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012086207A Division JP6073070B2 (en) | 2012-04-05 | 2012-04-05 | Support system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016202940A true JP2016202940A (en) | 2016-12-08 |
| JP6267754B2 JP6267754B2 (en) | 2018-01-24 |
Family
ID=57486325
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016140252A Active JP6267754B2 (en) | 2016-07-15 | 2016-07-15 | Support system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6267754B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019193778A (en) * | 2018-04-26 | 2019-11-07 | キヤノンメディカルシステムズ株式会社 | Ultrasonic diagnostic apparatus and medical information processing device |
| US11832990B2 (en) | 2018-04-26 | 2023-12-05 | Canon Medical Systems Corporation | Ultrasonic diagnostic apparatus, and medical data processing apparatus |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004147899A (en) * | 2002-10-31 | 2004-05-27 | Toshiba Corp | Treatment device, treatment system and method for controlling the system |
| JP2005111085A (en) * | 2003-10-09 | 2005-04-28 | Olympus Corp | Operation supporting system |
| JP2005143918A (en) * | 2003-11-17 | 2005-06-09 | Olympus Corp | Remote operation support system |
| US20070282195A1 (en) * | 2006-05-16 | 2007-12-06 | Masini Michael A | Display method and system for surgical procedures |
-
2016
- 2016-07-15 JP JP2016140252A patent/JP6267754B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004147899A (en) * | 2002-10-31 | 2004-05-27 | Toshiba Corp | Treatment device, treatment system and method for controlling the system |
| JP2005111085A (en) * | 2003-10-09 | 2005-04-28 | Olympus Corp | Operation supporting system |
| JP2005143918A (en) * | 2003-11-17 | 2005-06-09 | Olympus Corp | Remote operation support system |
| US20070282195A1 (en) * | 2006-05-16 | 2007-12-06 | Masini Michael A | Display method and system for surgical procedures |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019193778A (en) * | 2018-04-26 | 2019-11-07 | キヤノンメディカルシステムズ株式会社 | Ultrasonic diagnostic apparatus and medical information processing device |
| JP7269081B2 (en) | 2018-04-26 | 2023-05-08 | キヤノンメディカルシステムズ株式会社 | Ultrasound diagnostic equipment and medical information processing equipment |
| US11832990B2 (en) | 2018-04-26 | 2023-12-05 | Canon Medical Systems Corporation | Ultrasonic diagnostic apparatus, and medical data processing apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6267754B2 (en) | 2018-01-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200388363A1 (en) | Extended reality medical report generating system | |
| US10875182B2 (en) | Remote presence system mounted to operating room hardware | |
| KR100831798B1 (en) | Device for converting medical image data | |
| US11157842B2 (en) | System, equipment and method for performing and documenting in real-time a remotely assisted professional procedure | |
| JP5009618B2 (en) | Realize rapid remote access to CT scans to improve workflow and patient turnover | |
| CN107534704A (en) | Message processing device, information processing method and message handling program | |
| US20230033576A1 (en) | Systems and methods of establishing a communication session for live review of ultrasound scanning | |
| JP6267754B2 (en) | Support system | |
| JP2000222163A (en) | Data display system and data display control method in data display system | |
| JP2003135371A (en) | Endoscopic system | |
| US20230146057A1 (en) | Systems and methods for supporting medical procedures | |
| JP2017086360A (en) | Ultrasonic diagnostic system | |
| EP2211718B1 (en) | X-ray photographing apparatus for receiving and editing x-ray image | |
| JP6073070B2 (en) | Support system | |
| CN106488745B (en) | Portable ultrasound interface for ultrasound workstation | |
| KR20150117165A (en) | Internet based educational information providing system of surgical techniques and skills, and providing Method thereof | |
| JP2008029658A (en) | Remote control instruction system of medical image diagnostic apparatus, remote control instruction control apparatus, and remote control instruction method | |
| JP2007156214A (en) | Display system and setting method of display device | |
| JP2006141903A (en) | Ultrasonic diagnostic apparatus | |
| JPH1097404A (en) | Computer system | |
| JP5288815B2 (en) | Medical image display device and report display device | |
| US20200187915A1 (en) | Mobile information and control terminal for ultrasonic diagnostic systems and methods of using the same | |
| US20230308622A1 (en) | Display terminal, displaying method, and recording medium | |
| KR20170122140A (en) | Device and method for interconnecting ultrasonic image apparatus, smart terminal device linked therewith | |
| WO2024090228A1 (en) | Information processing device, information processing system, and information processing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170612 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170707 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171214 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6267754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |