JP2019103818A - Medical image display terminal and medical image display program - Google Patents

Medical image display terminal and medical image display program Download PDF

Info

Publication number
JP2019103818A
JP2019103818A JP2018244925A JP2018244925A JP2019103818A JP 2019103818 A JP2019103818 A JP 2019103818A JP 2018244925 A JP2018244925 A JP 2018244925A JP 2018244925 A JP2018244925 A JP 2018244925A JP 2019103818 A JP2019103818 A JP 2019103818A
Authority
JP
Japan
Prior art keywords
medical image
image display
display terminal
anatomical structure
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018244925A
Other languages
Japanese (ja)
Other versions
JP6902012B2 (en
Inventor
金吾 七戸
Kingo Shichinohe
金吾 七戸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nemoto Kyorindo Co Ltd
Original Assignee
Nemoto Kyorindo Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2014266230A external-priority patent/JP6462358B2/en
Application filed by Nemoto Kyorindo Co Ltd filed Critical Nemoto Kyorindo Co Ltd
Priority to JP2018244925A priority Critical patent/JP6902012B2/en
Publication of JP2019103818A publication Critical patent/JP2019103818A/en
Application granted granted Critical
Publication of JP6902012B2 publication Critical patent/JP6902012B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Processing Or Creating Images (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

To provide a medical image display terminal allowing an operator to simply and intuitively perform various types of image processing, medical image display program, and the like.SOLUTION: A medical image display terminal (101) includes a display (161), operation input devices (163 and 165), and a control section (150). The control section (150) is configured to display a medical image including at least one of anatomical structures (71, 73, and 75) on the display, identify a first point (P1) and a second point (P2) designated by an operator via the operation input device, and divide the anatomical structure into a plurality of sections using a line (L1) defined by the first and second points as a cut reference line.SELECTED DRAWING: Figure 4B

Description

本発明は、被検者を撮像して得た医用画像を表示するとともに種々の画像処理を簡便かつ直感的に行うことができる医用画像表示端末および医用画像表示プログラムを提供することにある。   An object of the present invention is to provide a medical image display terminal and a medical image display program capable of displaying a medical image obtained by imaging a subject and performing various image processing simply and intuitively.

現在、医用の画像診断装置として、CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置、超音波診断装置、血管造影(アンギオグラフィ)撮像装置等が知られている。   At present, CT (Computed Tomography) devices, MRI (Magnetic Resonance Imaging) devices, PET (Positron Emission Tomography) devices, ultrasound diagnostic devices, angiography imaging devices, etc. are known as medical diagnostic imaging devices. There is.

近年では、例えば、血管が複雑に絡みあう肝臓などの臓器に対する手術を行う前に造影CT検査を実施し、施術対象となる部位の透視撮像画像を用意し、それをワークステーション上で確認するなどして術前シミュレーションが行われることもある。こうしたシミュレーションは治療計画の検討に有用である。例えば特許文献1には、タブレット端末で肝臓等の臓器を表示して手術動作をシミュレーションする技術も開示されている。   In recent years, for example, a contrast-enhanced CT examination is performed before performing surgery on an organ such as a liver where blood vessels are complicatedly intermingled, a fluoroscopic image of a region to be treated is prepared, and it is confirmed on a workstation etc. Pre-operative simulation may also be performed. Such simulations are useful for considering treatment plans. For example, Patent Document 1 also discloses a technique for displaying an organ such as a liver on a tablet terminal to simulate a surgical operation.

特開2014−54358号公報JP 2014-54358 A

特許文献1の技術は、タブレット端末を利用するものであるので場所を選ばずどこでも持ち運んで術前シミュレーションをできるという点で有用であるが、例えば、医用画像に含まれる複数の解剖学的構造物の表示の切替えや、簡便な方法による切除操作などを行えるグラフィカル・ユーザ・インターフェースを備えるものが、より有用であり、実用に資する。   The technique of Patent Document 1 is useful in that it can be carried around anywhere and can be used for preoperative simulation because it uses a tablet terminal, but, for example, a plurality of anatomical structures included in a medical image Those equipped with a graphical user interface that can switch the display of the display and perform the cutting operation in a simple manner are more useful and useful for practical use.

本発明は、こうした問題点に着目してなされたものであって、その目的は、種々の画像処理を簡便かつ直感的に行うことができる医用画像表示端末および医用画像表示プログラムを提供することにある。   The present invention was made in view of such problems, and an object thereof is to provide a medical image display terminal and a medical image display program capable of performing various image processing simply and intuitively. is there.

上記課題を解決するための本発明の一形態の医用画像表示端末は下記の通りである:
ディスプレイと、操作入力装置と、制御部と、を備える医用画像表示端末であって、
前記制御部は、
前記ディスプレイに少なくとも1つの解剖学的構造物を含む医用画像を表示させることと、
操作者により、前記操作入力装置を介して指定された第1の点および第2の点を特定することと、
前記第1および第2の点によって規定される線を切断基準線として、前記解剖学的構造物を複数に分割することと、
を行うように構成されている、医用画像表示端末。
The medical image display terminal of one form of the present invention for solving the above-mentioned subject is as follows:
A medical image display terminal comprising a display, an operation input device, and a control unit,
The control unit
Displaying on said display a medical image comprising at least one anatomical structure;
Specifying a first point and a second point designated by the operator via the operation input device;
Dividing the anatomical structure into a plurality of lines, with a line defined by the first and second points as a cutting reference line;
A medical image display terminal that is configured to:

(用語の説明)
「解剖学的構造物」とは、被写体内で認識可能な対象物(例えば臓器、骨、血管等)のことをいい、脂肪や、腫瘍等の病変等をも含む。
「端末」とは、ネットワークに接続されまたはスダンドアロンで使用され、データ処理を行う情報処理装置をいう。該情報処理装置に任意の周辺装置を接続して構成してもよい。基本的にはタブレット端末やラップトップ型コンピュータのように各種機能が1つのデバイス内に設けられているものも好ましいが、場合によっては、その一部の機能を、例えば負荷に応じて、任意の単位で機能的または物理的に分散して構成することもできる。
「接続」とは、2つの要素が直接接続されている場合に加え、本発明の趣旨を逸脱しない範囲で、ある要素と他の要素とが何らかの中間要素を介して間接的に接続されている場合をも含む。
(Explanation of terms)
The "anatomic structure" refers to an object (for example, an organ, a bone, a blood vessel, etc.) that can be recognized in a subject, and also includes fat, a lesion such as a tumor, etc.
The “terminal” refers to an information processing apparatus connected to a network or used in a stand-alone and performing data processing. An arbitrary peripheral device may be connected to the information processing apparatus. Basically, it is preferable that various functions are provided in one device, such as a tablet terminal or a laptop computer, but in some cases, some of the functions are optional, for example, depending on the load. It can also be configured to be distributed functionally or physically in units.
In addition to the case where two elements are directly connected, “connection” means that one element and another element are indirectly connected via some intermediate element without departing from the spirit of the present invention. Including the case.

本発明によれば、種々の画像処理を簡便かつ直感的に行うことができる医用画像表示端末および医用画像表示プログラムを提供することができる。   According to the present invention, it is possible to provide a medical image display terminal and a medical image display program capable of performing various image processing simply and intuitively.

一実施形態の医用画像表示端末のブロック図の例を示す図である。It is a figure which shows the example of the block diagram of the medical image display terminal of one Embodiment. タブレット端末として構成された医用画像表示端末の外観模式図である。It is an external appearance schematic diagram of the medical image display terminal comprised as a tablet terminal. 病院システムの構成要素の一例を示す図である。It is a figure which shows an example of the component of a hospital system. 三次元医用画像の一例を示す図である。It is a figure which shows an example of a three-dimensional medical image. 三次元医用画像上の任意の対象に対して2点を指定する様子を説明するための図である。It is a figure for demonstrating a mode that 2 points | pieces are designated with respect to arbitrary objects on a three-dimensional medical image. 指定された点の一を微調整する様子を説明するための図である。It is a figure for demonstrating a mode that one of the designated points is finely adjusted. 肝臓を分割する例を示す図である。It is a figure which shows the example which divides | segments a liver. 分割した肝臓の一部にタッチする様子を説明するための図である。It is a figure for demonstrating a mode that the part of the divided | segmented liver is touched. 分割した肝臓の一部のみを非表示とした状態を示す図である。It is a figure which shows the state which made only a part of the divided | segmented liver undisplayed. 一例としての操作手順の流れを示すフローチャートである。It is a flowchart which shows the flow of the operation procedure as an example. 領域指定の手順を説明するための図である。It is a figure for demonstrating the procedure of area | region specification. 領域指定の手順(一例)を説明するための図である。It is a figure for demonstrating the procedure (an example) of area | region specification. 領域指定の手順(他の例)を説明するための図である。It is a figure for demonstrating the procedure (other example) of area | region specification. 領域指定された肝臓を示す図である。It is a figure which shows the area | region designated liver. 患者頭部の医用画像に対して所定の画像処理を行う一例を示す図である。It is a figure which shows an example which performs predetermined | prescribed image processing with respect to the medical image of a patient's head.

本発明の実施の形態を図面を参照して以下に説明する。   Embodiments of the present invention will be described below with reference to the drawings.

本実施形態の医用画像表示端末101(単に画像表示端末ともいう)は、図1、図2に示すような構成であり、一例として、タブレット端末や、または、タッチパネルディプレイを有するラップトップ型PC(ノート型PC)のような可搬型の端末で構成される。図2はタブレット端末の例を示している。この医用画像表示端末101は、市販の汎用タブレット端末等に本願発明の一形態に係る医用画像表示プログラムをインストールして構成されたものであってもよい。   The medical image display terminal 101 (also referred to simply as an image display terminal) according to this embodiment has a configuration as shown in FIGS. 1 and 2, and as an example, a tablet terminal or a laptop PC having a touch panel display. It consists of a portable terminal such as a (notebook type PC). FIG. 2 shows an example of a tablet terminal. The medical image display terminal 101 may be configured by installing a medical image display program according to an embodiment of the present invention on a commercially available general-purpose tablet terminal or the like.

図2に示すように、この例では、画像表示端末101は、薄型の筐体101aを有しそのうちの1つの面にタッチパネル式ディスプレイ161′が設けられている。こうした画像表示端末101は、例えば、図3に示すように、病院システムに接続されて使用されるものであってもよい。この例の病院システムは、ネットワーク30に接続された次のような機器を備えている:撮像装置1、薬液注入装置10、病院情報システムであるHIS(Hospital Information System)21、放射線科情報システムであるRIS(Radiology Information System)22、画像保存通信システムであるPACS(Picture Archiving and Communication Systems)23、ワークステーション24およびプリンタ25等。なお、これらのすべてが必須の構成要素というわけではなく、一部を省略することもできる。上記各要素は1つのみでもよいし複数でもよい。   As shown in FIG. 2, in this example, the image display terminal 101 has a thin housing 101a, and a touch panel display 161 'is provided on one of the surfaces. Such an image display terminal 101 may be used by being connected to a hospital system as shown in FIG. 3, for example. The hospital system of this example includes the following devices connected to the network 30: an imaging device 1, a drug solution injection device 10, a hospital information system HIS (Hospital Information System) 21, a radiology information system A certain RIS (Radiology Information System) 22, a picture archiving and communication system PACS (Picture Archiving and Communication Systems) 23, a workstation 24, a printer 25 and the like. Note that not all of these are essential components, and some of them may be omitted. Each of the above elements may be only one or more.

撮像装置1としては、CT装置、MR装置、アンギオグラフィ装置といった撮像装置が挙げられる。当然ながらその他の種類の撮像装置を利用してもよいし、同種のまたは異なる種類の複数台の撮像装置を利用するものであってもよい。薬液注入装置10としては、少なくとも造影剤を注入する造影剤注入装置であってもよく、具体的には、薬液が充填された容器(一例でシリンジ)から薬液を押し出す駆動機構と、その動作を制御する制御回路とを備えたものであってもよい。一例として、注入ヘッドとコンソールとを備えた造影剤注入装置を利用することができる。   Examples of the imaging apparatus 1 include imaging apparatuses such as a CT apparatus, an MR apparatus, and an angiography apparatus. Of course, other types of imaging devices may be used, or a plurality of imaging devices of the same type or different types may be used. The drug solution injection device 10 may be a contrast agent injection device for injecting at least a contrast agent, and more specifically, a drive mechanism for pushing out the drug solution from a container (a syringe in one example) filled with the drug solution and its operation It may be provided with a control circuit to control. As an example, a contrast agent injection device having an injection head and a console can be used.

再び図1を参照し、画像表示端末1は、ディスプレイ161、タッチパネル163、入力デバイス165、通信部167、インターフェース168と、スロット169と、制御部150と、記憶部159を備えている。なお、これのすべてが必須という訳ではなく、一部が省略されてもよい。   Referring back to FIG. 1, the image display terminal 1 includes a display 161, a touch panel 163, an input device 165, a communication unit 167, an interface 168, a slot 169, a control unit 150, and a storage unit 159. Note that not all of these are required, and some may be omitted.

ディスプレイ161としては、液晶パネルや有機ELパネル等のデバイスが挙げられる。タッチパネル163が一体的に設けられたタッチパネル式ディスプレイを利用することもできる。タッチパネルとしては、抵抗膜、静電容量、電磁誘導、表面弾性波、赤外線等の方式のものを用いることができる。具体的な一例として、静電容量方式等の複数の位置でのタッチであるマルチタッチを検出可能なものであってもよい。タッチ操作は、ユーザの指やタッチペン等を用いて行うことができる。タッチパネルは、該タッチパネルに対するタッチ操作の開始、タッチ位置の移動、タッチ操作の終了等を検出し、検出されたタッチの種類、および、座標情報を出力するものであってもよい。   Examples of the display 161 include devices such as a liquid crystal panel and an organic EL panel. A touch panel type display integrally provided with the touch panel 163 can also be used. As a touch panel, a touch panel of a resistive film, electrostatic capacity, electromagnetic induction, surface acoustic wave, infrared or the like can be used. As a specific example, a multi-touch that is a touch at a plurality of positions such as a capacitive type may be detected. The touch operation can be performed using a user's finger, a touch pen, or the like. The touch panel may detect the start of the touch operation on the touch panel, the movement of the touch position, the end of the touch operation, and the like, and output the type of the detected touch and coordinate information.

入力デバイス165としては、例えば、物理的なボタンやマイク等が挙げられる。また、非接触で操作者の入力を行うことができる「Leapセンサ」(Leap Motion社製)等の検出装置が入力デバイス165として設けられていてもよい。「Leapセンサ」は、操作者の指の動き等を非接触で認識できる入力デバイスであり、具体的には、赤外線照射部と赤外線カメラ等を有する。照射された赤外線が手に当たったときの反射光をカメラで撮影して画像解析を行うことで、三次元空間内での手ないし指の位置、動き、形状等をリアルタイムで検出するものである。このセンサは、タブレット端末やラップトップ型PCに有線または無線で接続さして使用する態様であってもよい。何ら限定されるものではないが、インターフェース168に有線接続されるようなものであってもよい。   Examples of the input device 165 include physical buttons and a microphone. In addition, a detection device such as “Leap sensor” (manufactured by Leap Motion Inc.) capable of non-contact input by the operator may be provided as the input device 165. The “Leap sensor” is an input device that can recognize the movement of the operator's finger and the like without contact, and specifically includes an infrared irradiation unit, an infrared camera, and the like. The position, movement, shape, etc. of the hand or finger in a three-dimensional space are detected in real time by performing image analysis by photographing the reflected light when the irradiated infrared light hits the hand with a camera and performing image analysis . This sensor may be connected to a tablet terminal or a laptop PC in a wired or wireless manner. The connection may be wired to the interface 168, without limitation.

通信部167は、外部のネットワークまたは機器と、有線方式または無線方式で通信を行えるようにするためのユニットである。通信部167は、データを外部に送出するためのトランスミッタおよびデータを外部から受信するレシーバ等を有するものであってもよい。インターフェース168は外部の種々の機器等を接続するためのものであり、図では1つのみ示されているが、当然ながら複数設けられていてもよい。   The communication unit 167 is a unit for enabling communication with an external network or device in a wired or wireless manner. The communication unit 167 may have a transmitter for transmitting data to the outside, a receiver for receiving data from the outside, and the like. The interface 168 is for connecting various external devices and the like, and although only one is shown in the figure, it is needless to say that a plurality of interfaces may be provided.

制御部150は、中央処理装置(CPU)およびメモリ等を有し、種々の演算処理を行う。なお、制御部150にて行われる各種処理については、(i)コンピュータプログラムにて実現してもよいし、(ii)ワイヤードロジックによるハードウェアとして実現してもよい。制御部150は、本実施形態では、所定の機能を実現する概念的な構成として、画像表示部155a、操作判定部155b、表示変更部155cとを有している。   The control unit 150 includes a central processing unit (CPU), a memory, and the like, and performs various arithmetic processing. The various processes performed by the control unit 150 may be realized by (i) a computer program or (ii) as hardware by wired logic. In the present embodiment, the control unit 150 includes an image display unit 155a, an operation determination unit 155b, and a display change unit 155c as a conceptual configuration for realizing a predetermined function.

画像表示部155aは、予め撮像された被検者の医用画像データを外部から取得し、それに基いて三次元医用画像を作成してそれをディスプレイ161に表示させるものであってもよい。または、外部で作成された三次元医用画像のデータを取得し、それをディスプレイ161に表示させるものであってもよい。   The image display unit 155a may acquire medical image data of a subject imaged in advance from the outside, create a three-dimensional medical image based thereon, and display the same on the display 161. Alternatively, data of an externally generated three-dimensional medical image may be acquired and displayed on the display 161.

画像表示部155aは、一例として、例えば肝臓や血管といった解剖学的構造部のそれぞれを独立のオブジェクトとして表示する。また、解剖学的構造部を自動的に認識してそれぞれを異なる色で表示するようなものであってもよい。   The image display unit 155a displays, as an example, an anatomical structure such as a liver or a blood vessel as an independent object. In addition, anatomical structures may be automatically recognized and displayed in different colors.

操作判定部155bは、タッチパネル163に対する入力操作や、入力デバイス165(特にはLeapモーションセンサ等)に対する入力操作を受け付ける。入力操作の種類としては、例えば、タッチ操作や所定のジェスチャ操作(長押し操作、スワイプ操作、ドラッグ操作、ピンチイン操作、ピンチアウト操作等)が挙げられる。操作判定部155bはこれらの入力を判定して受け付ける。   The operation determination unit 155 b receives an input operation on the touch panel 163 and an input operation on an input device 165 (in particular, a Leap motion sensor or the like). The type of input operation includes, for example, touch operation and predetermined gesture operation (long press operation, swipe operation, drag operation, pinch in operation, pinch out operation, etc.). The operation determination unit 155b determines and receives these inputs.

画像処理部155cは、例えば操作判定部155bが受け付けた操作に基づき、種々の画像処理を行う。例えば、
−三次元表示された画像の回転機能、平行移動機能、
−画像の拡大/縮小機能、画像の透過度変更機能、
−オブジェクトの表示/非表示の切替え機能、
−オブジェクトのカット(分割)機能、
−オブジェクトの領域指定機能、等
である。なお、これらの機能の具体的な内容については後述する一連の動作の中で詳しく説明する。
The image processing unit 155c performs various types of image processing based on, for example, the operation received by the operation determination unit 155b. For example,
-Rotation function, translation function of image displayed in 3D
-Image enlargement / reduction function, image transparency change function,
-The function of switching the display / non-display of an object,
-Object cutting (division) function,
-Object area specification function, etc. The specific contents of these functions will be described in detail in a series of operations described later.

再び図1全体を参照し、記憶部159は、ハードディスクドライブ(HDD:Hard Disk Drive)、ソリッドステートドライブ(SDD:Solid State Drive)、および/またはメモリなどで構成されたものであってもよく、OS(Operating System)のプログラムや、本発明の一形態に係る医用画像処理プログラム(アルゴリズムデータやグラフィカルユーザインターフェースデータ等を含む)が格納されていてもよい。また、各種処理に用いるその他のプログラムや、テーブル、データベース等を必要に応じ格納する。コンピュータプログラムは、制御部のメモリにロードされることによって実行され、CPUなどのハードウェアと協働し、これにより本実施形態のような機能を備えた制御部を構成するものであってもよい。   Referring back to FIG. 1 again, the storage unit 159 may be configured of a hard disk drive (HDD), a solid state drive (SDD), and / or a memory, etc. A program of an OS (Operating System) or a medical image processing program (including algorithm data, graphical user interface data, etc.) according to an aspect of the present invention may be stored. Also, other programs used for various processes, tables, databases, etc. are stored as necessary. The computer program may be executed by being loaded into the memory of the control unit, and may cooperate with hardware such as a CPU to thereby configure the control unit having the functions as in this embodiment. .

コンピュータプログラムは、任意のネットワークを介して必要時に外部機器からその全部または一部がダウンロードされるものであってもよい。コンピュータプログラムは、コンピュータ読み取り可能な記録媒体に格納してもよく、「記録媒体」とは、メモリーカード、USBメモリ、SDカード(登録商標)、フレキシブルディスク、光磁気ディスク、ROM、EPROM、EEPROM、CD−ROM、MO、DVD、および、Blu−ray(登録商標)Disc等の任意の「可搬の物理媒体」を含むものとする。コンピュータプログラムは、プログラム製品として構成することもできる。本実施形態の医用画像表示端末は、上記のような記憶媒体を読み込むためのスロット169が設けられていてもよい。   The computer program may be downloaded in whole or in part from an external device as needed via any network. The computer program may be stored in a computer readable recording medium, and the "recording medium" is a memory card, USB memory, SD card (registered trademark), flexible disk, magneto-optical disk, ROM, EPROM, EEPROM, It is intended to include any "portable physical media" such as CD-ROM, MO, DVD, and Blu-ray (registered trademark) Disc. The computer program can also be configured as a program product. The medical image display terminal of the present embodiment may be provided with a slot 169 for reading the storage medium as described above.

(動作)
続いて、本実施形態の医用画像表示端末での画像表示の動作例について説明する。図4A〜図4Cは、一例として、予め撮像された被検者の肝臓およびその周辺の画像を模式的に示している。なお、以下では操作者が指でタッチパネルを操作することを前提として説明するが、当然ながら、タッチペン等を利用しても構わない。また、タッチパネルでの入力を例として説明するが、当然ながらLeapモーションを利用した非接触の入力であってもよい。タッチパネルのような接触式の入力手段と、Leapモーションのような非接触式の入力手段は、両方の入力方式が備えられていてもよいし、いずれか一方のみが備えられていてもよい。
(Operation)
Subsequently, an operation example of image display in the medical image display terminal of the present embodiment will be described. FIG. 4A to FIG. 4C schematically show, as an example, images of the liver of the subject and their surroundings, which are captured in advance. Although the following description is based on the assumption that the operator operates the touch panel with a finger, it goes without saying that a touch pen or the like may be used. Although the input on the touch panel will be described as an example, it may be a non-contact input using a Leap motion as a matter of course. The contact-type input means such as a touch panel and the non-contact-type input means such as Leap motion may be provided with both input methods, or only one of them may be provided.

画像表示端末101は、操作者が、被検者の医用画像を表示させるための操作(例えばタッチパネル上で所定のアイコン等をタッチする)を行った場合に、一例として図4Aのような医用画像65を表示する。この医用画像は、一例として、被検者を撮像した画像データに基づいて作成された三次元画像であり、ここでは、肝臓71と血管73、75の解剖学的構造物が模式的に示されている。   When the operator performs an operation (for example, touches a predetermined icon or the like on the touch panel) to display a medical image of a subject, the image display terminal 101 is, for example, a medical image as illustrated in FIG. 4A. Display 65. This medical image is, as an example, a three-dimensional image created based on image data obtained by imaging a subject, and here, the anatomical structure of the liver 71 and the blood vessels 73 and 75 is schematically shown. ing.

なお、この医用画像65のデータは、画像表示端末101が、有線接続または無線接続された外部機器から読み込んだものであってもよい。画像表示端末101の記憶部159にこの画像データが格納されていてもよい。「外部機器」としては、所定のデータベースサーバ、PACS23、またはワークステーション24等が挙げられる。   The data of the medical image 65 may be read by the image display terminal 101 from an external device connected by wire or wirelessly. The image data may be stored in the storage unit 159 of the image display terminal 101. As the "external device", a predetermined database server, PACS 23, or workstation 24 etc. may be mentioned.

(各種機能について)
画像表示端末101は、肝臓71、血管73、75等のそれぞれの解剖学的構造物を、独立のオブジェクトとして(すなわちそれぞれを個別に選択したり、表示のオンオフを切替えたりできるように)表示する。それぞれのオブジェクトは、好ましくは異なる色で表示される。血管およびそれに類似する解剖学的構造物としては、例えば肝動脈、門脈、肝静脈、胆管のうち少なくとも1が表示されるようなものであってもよい。
(About various functions)
The image display terminal 101 displays the respective anatomical structures such as the liver 71 and the blood vessels 73 and 75 as independent objects (that is, each can be individually selected or the display can be switched on / off). . Each object is preferably displayed in a different color. For example, at least one of the hepatic artery, portal vein, hepatic vein, and bile duct may be displayed as the blood vessel and the anatomical structure similar thereto.

画像表示端末101(別の捉え方をすれば本実施形態の医用画像表示プログラム)がもつ基本的な画像処理機能としては例えば次のようなものがある:
−回転機能
−拡大/縮小機能
−表示透過度変更機能
−表示/非表示の切替え機能
−カット機能
−領域指定機能、等。
Examples of basic image processing functions possessed by the image display terminal 101 (or the medical image display program of the present embodiment in another way of understanding) include the following:
-Rotation function-Enlargement / reduction function-Display transparency change function-Display / non-display switching function-Cut function-Area specification function, etc.

以下、順に説明する。なお、これらの機能のすべてが備わっている必要はなく一部が省略されてもよい。   The following will be described in order. Note that not all of these functions need to be provided, and some of them may be omitted.

(回転機能)
画像表示端末101は、操作者が、画面上に触れてその指を移動させると、それに応じて、三次元の医用画像65の表示方向を変化させる。このような回転機能により、操作者は、任意の角度から所望の対象部位を観察することができる。
(Rotation function)
When the operator touches the screen and moves the finger, the image display terminal 101 changes the display direction of the three-dimensional medical image 65 accordingly. Such a rotation function allows the operator to observe a desired target site from any angle.

(拡大/縮小機能)
画像表示端末101は、操作者が、画面上の2点に触れ、その2点間の距離を離すようにまたは近づけるような操作(ピンチアウト操作、ピンチイン操作)をした場合、それに応じて、表示されている画像の拡大または表示を行う。このような機能により、操作者は例えば2本の指を画面上で動かすだけで簡単に画像の拡大、縮小を行って所望のサイズで確認を行うことができる。
(Zoom function)
When the operator touches two points on the screen and performs an operation (pinch-out operation, pinch-in operation) to make the distance between the two points separate or move closer, display is made accordingly. Enlarge or display the image that is being With such a function, the operator can easily perform enlargement / reduction of an image and perform confirmation in a desired size simply by moving two fingers on the screen, for example.

(表示透過度切替機能)
画像表示端末101は、操作者がいずれかの解剖学的構造物(例えば肝臓71)をタッチした場合に、その表示濃度を変更する。具体的には、通常の表示状態と、半透明状態との2つの状態の間で切替えが行われるようなもの、すなわち、一回タッチすると半透明状態となり、もう一度タップすると通常の表示状態に戻るようなものであってもよい。別の言い方をすれば、第1の透過度(一例で透過度0%)と第2の透過度(半透明)とが切り替わる構成である。他の態様としては、例えば透過度0%、30%、70%、100%(非表示)のように複数の段階に設定されており、タップする毎に順次表示濃度が切り替わるようになっていてもよい。この場合、透過度100%(つまり非表示の状態)はこのループから除外してもよい。当然ながら、透過度の具体的な数値は適宜変更可能であり、要するに、透過度が少なくとも複数段に設定されていて、それらが切り替わるようなっていればよい。
(Display transmittance switching function)
The image display terminal 101 changes the display density when the operator touches one of the anatomical structures (for example, the liver 71). Specifically, switching is performed between two states, a normal display state and a semi-transparent state, that is, one touch makes the screen semi-transparent, and tapping again returns to the normal display state It may be like that. In other words, the first transmittance (in one example, the transmittance of 0%) and the second transmittance (semitransparent) are switched. As another mode, for example, the transmittance is set to a plurality of stages such as 0%, 30%, 70%, 100% (not shown), and the display density is sequentially switched each time it is tapped. It is also good. In this case, 100% transparency (that is, the non-displayed state) may be excluded from this loop. As a matter of course, the specific numerical value of the degree of transmission can be changed as appropriate, that is, it is sufficient if the degree of transmission is set to at least a plurality of stages and they are switched.

このような表示透過度切替機能によれば、任意の解剖学的構造物をタッチするだけで表示透過度の切替え機能を発揮させることができる。したがって、透過度の切替を行うために何らかのアイコン等を別途選択したり、コマンドを選択したりする必要がある方式と比較して、簡便かつ直感的に操作を行うことができる。   According to such a display transmission switching function, the display transmission switching function can be exhibited simply by touching an arbitrary anatomical structure. Therefore, the operation can be performed simply and intuitively, as compared with a method in which it is necessary to separately select an icon or the like or to select a command in order to switch the transparency.

また、表示が上記のようにループ状に切り替わるようになっている場合も、元の表示状態に戻すのに例えば別途アイコン等を選択したりする必要がないという点で好ましい。さらに、こうしたループ状の表示切替えは、選択されたオブジェクトの表示色を変更するのみで実現できるので、画像処理の簡素化や少ないメモリでの演算処理が可能となる点でも好ましい。   Further, even when the display is switched to the loop as described above, it is preferable in that it is not necessary to select an icon or the like separately to return to the original display state. Furthermore, since such looped display switching can be realized only by changing the display color of the selected object, it is preferable from the viewpoint of simplification of image processing and operation processing with a small memory.

(表示/非表示切替え機能)
画像表示端末101は、操作者が、所定の解剖学的構造物に一定時間以上触れていた場合(一例)、その解剖学的構造物を「選択された状態」とする。「選択された状態」であることを示すために、その解剖学的構造物(例えば肝臓71)が初期状態とは異なる色で表示させたり、点滅表示させたりするようにしてもよい。
(Display / non-display switching function)
When the operator touches a predetermined anatomical structure for a certain period of time or more (one example), the image display terminal 101 sets the anatomical structure to the “selected state”. The anatomical structure (for example, the liver 71) may be displayed in a color different from the initial state or may be displayed in a blinking manner to indicate that the "selected state" is present.

画像表示端末101は、操作者が、選択された状態の解剖学的構造物(例えば肝臓71)に触れたままその指先(一例)を画面端の方に移動させた場合(スワイプ操作、ドラッグ操作等)、その解剖学的構造物を非表示とする。この例の場合、肝臓71が非表示となり、血管73、75の三次元画像のみが残ることとなる。   When the operator moves the fingertip (one example) toward the screen edge while touching the anatomical structure (for example, the liver 71) in the selected state (swipe operation, drag operation) Etc.), hide the anatomical structure. In the case of this example, the liver 71 is not displayed, and only the three-dimensional image of the blood vessels 73 and 75 remains.

このような機能は、操作者が所望の解剖学的構造物のみを見たい場合に有用である。また、本実施形態のように、解剖学的構造物を直接選択し、移動させるだけで非表示とすることができる方式によれば、例えば何らかのアイコンを選択するなどしてはじめて表示のオンオフを切り替えるモードとなるようなものに比べて、簡便かつ直感的に操作を行うことができる。   Such a feature is useful when the operator only wants to view the desired anatomical structure. Further, as in the present embodiment, according to the method in which the anatomical structure is directly selected and can be hidden only by moving it, for example, the display is switched on / off only by selecting an icon or the like. Operation can be performed more simply and intuitively than in a mode.

いったん非表示となった解剖学的構造物(例えば肝臓71)は、画面隅にサムネイル画像として表示されるようになっていてもよい。このサムネイル画像は、(i)画面上の常時表示されるものであってもよいし、または(ii)所定の操作の後に現れるものであってもよい。サムネイル画像としては、図4F(詳細後述)に例示されているようなものであってもよい。なお、この図は、後述する「カット機能」の説明のためのものであるが、サムネイル画像66に関してはカット機能を利用している場合以外にも応用可能であるので、これを参照して説明する。同図のサムネイル画像66は、小さいウィンドウ内に非表示状態となっている解剖学的構造物のイメージ画像を含むむのである。サムネイル画像66のサイズは、限定されるものではないが、画像の表示領域に対して面積比で例えば1/16以下程度のサイズであってもよい。   The anatomical structure (for example, the liver 71) that has been hidden once may be displayed as a thumbnail image at the corner of the screen. The thumbnail image may be (i) constantly displayed on the screen, or (ii) may appear after a predetermined operation. The thumbnail image may be one as illustrated in FIG. 4F (described in detail later). Although this figure is for the explanation of the "cut function" to be described later, the thumbnail image 66 can be applied to cases other than the case where the cut function is used. Do. The thumbnail image 66 in the same figure includes an image of an anatomical structure which is hidden in a small window. The size of the thumbnail image 66 is not limited, but may be, for example, about 1/16 or less in area ratio to the display area of the image.

隠れているサムネイル画像を表示させるための「所定の操作」としては、例えば、操作者が3本指または4本指で画面上に触れその指を上、下、左、右等の所定方向に移動させる操作であってもよい。画像表示端末101は、その操作が行われた場合に、非表示状態となっていたサムネイル画像66を画面の一部を表示する。   As the "predetermined operation" for displaying the thumbnail image which is hidden, for example, the operator touches the screen with three or four fingers on the screen in a predetermined direction such as up, down, left, right, etc. It may be an operation to move. When the operation is performed, the image display terminal 101 displays a part of the screen of the thumbnail image 66 which has been in the non-display state.

操作者がサムネイル画像66に触れ、それを画面中央側(一例)に向かってドラッグ操作、スワイプ操作またはフリック操作することで、非表示となっていた解剖学的構造物が再度表示されるようになっていてもよい。当然ながら、単にそれらのサムネイル画像66にタッチするだけで、非表示となっていた解剖学的構造物が再度表示されるような構成も可能である。   The operator touches the thumbnail image 66 and drags, swipes or flicks it toward the screen center side (an example) so that the anatomical structure which has been hidden is displayed again. It may be done. As a matter of course, a configuration is also possible in which an anatomical structure that has been hidden is displayed again simply by touching those thumbnail images 66.

(カット機能)
カット機能は次のように行なわれる。肝臓71をカットし、さらにその後その一部を非表示とする例について以下説明する。図5は一連の操作のフローチャートである。
(Cut function)
The cut function is performed as follows. An example in which the liver 71 is cut and then a part thereof is not displayed will be described below. FIG. 5 is a flowchart of a series of operations.

画像表示端末101は、まず、ステップS1として図4Aのような医用画像65を表示する。そして、画像表示端末101は、操作者が、図4Bに示すように、任意の解剖学的構造物(ここでは肝臓71)上の2点に触れた場合に、その状態、すなわち2点が触れられていることを判定する(ステップS2)。なお、タイミングとしては、2点が同時にまたは実質的同時に触れられるものであってもよい。   The image display terminal 101 first displays a medical image 65 as shown in FIG. 4A in step S1. Then, when the operator touches two points on an arbitrary anatomical structure (here, the liver 71) as shown in FIG. 4B, the image display terminal 101 touches the state, ie, two points. It is determined that it has been set (step S2). In addition, as timing, two points may be touched simultaneously or substantially simultaneously.

次いで、いわゆる長押しの場合に機能を発揮させるようにするために、画像表示端末101は、2点が触れられている状態が一定時間以上継続したか否かの判定を行う(ステップS3)。   Next, in order to exert the function in the case of so-called long press, the image display terminal 101 determines whether the state in which the two points are touched continues for a predetermined time or more (step S3).

画像表示端末101は、ステップS3で一定時間以上継続と判定した場合に、触れられていた2点P1、P2が指定されたことを所定の表示態様で画面上に表示する。「所定の表示態様」としてはどのようなものであってもよいが、例えば、(i)点P1、P2とそれらを結ぶ線L1の両方を表示する、または、(ii)点P1、P2のみもしくは線L1のみを表示するものであってもよい。点P1、P2に関しては、指定された位置がよく分かるように、単なる小さいドットではなく、図4Bのような少し大きめのグラフィカル画像(例えば、円形、矩形、多角形、星形などどのような形状であっても構わないが、ここでは円形を例示している)などの表示としてもよい。   The image display terminal 101 displays on the screen that the two points P1 and P2 being touched have been designated in a predetermined display mode when it is determined in step S3 that the operation is continued for a predetermined time or more. For example, (i) both points P1 and P2 and the line L1 connecting them are displayed, or (ii) only the points P1 and P2 are used. Alternatively, only the line L1 may be displayed. As for the points P1 and P2, they are not just small dots, but a slightly larger graphical image as shown in FIG. 4B (for example, a circle, rectangle, polygon, star, etc., for any shape). Although it does not matter, it is good also as displays, such as a circle illustrated here).

画像表示端末101は、操作者が画面から手を離した後も、図4Cのように指定された点P1、P2をそのまま表示させるものであってもよい。また、点P1、P2の位置の微調整を受け付けるように構成されていてもよい。このように微調整を受け付けるモードであることが分かるように、例えば、P1、P2の円形のグラフィカル画像および/または線L1が点滅表示するようになっていてもよい。図4Cでは、一例として、点P2が少し動かされて点P2′に微調整された状態を例示している。この微調整は、操作者が例えば指で点P1、P2のグラフィカル画像を動かすことで行なわれるものであってもよい。   The image display terminal 101 may display the points P1 and P2 designated as shown in FIG. 4C as they are even after the operator releases the screen. Further, the fine adjustment of the positions of the points P1 and P2 may be received. Thus, for example, the circular graphical image of P1 and P2 and / or the line L1 may be displayed to blink so that it is understood that this mode is for receiving the fine adjustment. In FIG. 4C, as an example, the state in which the point P2 is slightly moved and finely adjusted to the point P2 'is illustrated. This fine adjustment may be performed by the operator moving a graphical image of points P1 and P2, for example, with a finger.

このようにして点P1、P2の指定が終わった後、ステップS4において、例えば操作者が画面上の所定のアイコン(例えば「OK」入力用のアイコン)をタッチする。すると、カット機能により、図4Dに示すように点P1、P2を結ぶ線L1によって肝臓が切断される(ステップS5)。線L1を挟んで2つに分割された第1の部位71−1と第2の部位71−2は、それぞれ独立の解剖学的構造物として操作可能となる。なお、上記操作意外の方法として、例えば(i)アイコンをタッチするのではなく、画面上の所定のエリアをタッチすることにより、または、(ii)複数回タッチする(一例でダブルタップ)といった通用外の操作をすることにより、上記機能を実行するようにしてもよい。   Thus, after the designation of the points P1 and P2 is finished, in step S4, for example, the operator touches a predetermined icon (for example, an icon for “OK” input) on the screen. Then, by the cutting function, as shown in FIG. 4D, the liver is cut along a line L1 connecting the points P1 and P2 (step S5). The first portion 71-1 and the second portion 71-2 divided into two across the line L1 can be operated as independent anatomical structures. In addition, as a method of the above-mentioned operation unexpected, for example (i) not touching an icon, but by touching a predetermined area on the screen, or (ii) a plurality of times (double tap in one example) common practice The above function may be performed by performing an external operation.

したがって、例えば、第1の部位71−1をタッチした場合(ステップS6)であれば、上述した機能により、図4Eに示すようにその表示濃度が切り替わる。具体的には、第第1の部位71−1のみが半透明表示となる。もう一度タッチすることで元の表示に戻る。   Therefore, for example, when the first portion 71-1 is touched (step S6), the display density is switched as shown in FIG. 4E by the above-described function. Specifically, only the first portion 71-1 is semitransparent. Return to the original display by touching again.

また、例えば第1の部位71−1を長押しして画面周辺部側にスワイプ操作またはドラッグ操作等した場合には、その部位が非表示状態となり、第2の部位71−2と血管73、75のみが残る。   Further, for example, when the first part 71-1 is long-pressed and swipe operation or drag operation to the peripheral part side of the screen, the part becomes non-display state, and the second part 71-2 and the blood vessel 73, Only 75 remain.

非表示となった第1の部位71−1は、サムネイル画像66として画面の周辺部に表示されるか、または、既述のとおり、この時点では非表示であるが操作者による所定の操作(例えば3本指または4本指を画面上で同時移動させる操作)が行われた場合にサムネイル画像66が表示される状態となる。サムネイル画像66内の部位を元の表示に戻す操作に関しても、上述した通りである。   The first part 71-1 which is not displayed is displayed as a thumbnail image 66 at the periphery of the screen or, as described above, although it is not displayed at this time, a predetermined operation by the operator ( For example, when an operation of simultaneously moving three or four fingers on the screen is performed, the thumbnail image 66 is displayed. The operation for returning the part in the thumbnail image 66 to the original display is also as described above.

本実施形態のように、2点を長押しすることで分割機能を発揮させることができる構成によれば、例えば何らかのアイコン等が表示されてそれを選択することで当該機能を発揮させるものに比べて、簡便かつ直感的に操作を行うことができる。とりわけ、本願のように解剖学的構造物上での位置指定が必要な作業においては、片手で、しかもマウス等や専用のカットツール等を用いずにカットを行うことができるということは、ソフトウェアとして非常に使い易く医療現場において非常に実用的である。   As in the present embodiment, according to the configuration in which the split function can be exhibited by long-pressing two points, for example, an icon or the like is displayed and compared to the one that exhibits the function by selecting it. Operation can be performed simply and intuitively. In particular, in an operation requiring position specification on an anatomical structure as in the present application, it is possible to perform cutting with one hand and without using a mouse or a dedicated cutting tool. As it is very easy to use and very practical in medical practice.

(領域指定)
画像表示端末101は、操作者の次のような操作により解剖学的構造物の一部を領域指定する。図6Aは、図4Bを参照して説明した操作のように点P1、P2の2点に触れられた状態である(なお、操作者の指は画面上の2点に触れたままの状態であるが、図示は省略している)。
(Specify area)
The image display terminal 101 designates an area of a part of an anatomical structure by the following operation of the operator. FIG. 6A shows a state in which two points P1 and P2 are touched as in the operation described with reference to FIG. 4B (note that the operator's finger is still in contact with two points on the screen) Although there is no illustration).

この状態から、次いで、例えば図6Bに示すように、操作者が2本の指を移動させた場合(限定されるものではないが2本の指の同時移動)、画像表示端末101は、移動後の2点の点P1′、P2′の位置を特定し、それに基いて略四角形の領域を指定する。具体的には、移動前の2点P1、P2および移動後の2点P1′、P2′の4点で囲まれる四角形を領域指定する。   From this state, as shown in FIG. 6B, for example, when the operator moves two fingers (but not limited to simultaneous movement of two fingers), the image display terminal 101 moves The positions of the two subsequent points P1 'and P2' are specified, and a substantially rectangular area is specified based thereon. Specifically, a quadrangle surrounded by four points P1 and P2 before movement and two points P1 'and P2' after movement is designated as an area.

ここでも、上記同様、操作者が手を離しても画面上に指定された領域の略四角形が残り、かつ、それぞれの点P1、P2、P1′、P2′の位置を個別に動かして位置の微調整を行えるように、画像表示端末101が構成されていることも好ましい。指定された領域を確定する方式としては、例えば、操作者が、操作者が画面上の所定のアイコン(例えば「OK」入力用のアイコン)をタッチするようなものであってもよいし、または、そうではなく、一定の時間が経過した場合に、端末101が自動的にその領域を確定させるような方式であってもよい。なお、これに関しては、指定された領域の形状に関わらない共通的な事項である。「OK」入力用のアイコンを操作する等の入力以外に、(i)画面上の所定のエリアをタッチすることにより、または、(ii)複数回タッチする(一例でダブルタップ)といった通用外の操作をすることにより、本機能を実行するようにしてもよいことは、上記同様である。   Again, as in the above case, even if the operator releases the hand, a substantially square area of the designated area remains on the screen, and the positions of the respective points P1, P2, P1 'and P2' are moved individually to It is also preferable that the image display terminal 101 be configured to perform fine adjustment. As a method of determining the designated area, for example, the operator may touch the predetermined icon on the screen (for example, an icon for “OK” input), or Alternatively, the terminal 101 may automatically determine the area when a certain time has elapsed. Note that this is a common matter regardless of the shape of the designated area. Other than input such as operating an icon for "OK" input, (i) by touching a predetermined area on the screen, or (ii) multiple times of touch (in one example, double tap) As described above, this function may be executed by performing an operation.

図6Bのように4点P1、P2、P1′、P2′の位置が指定されている場合に、各位置を微調整できるように、点P1、P2、P1′、P2′の円形(一例)のグラフィカル画像やそれらを結ぶ線を点滅表示するようにしてもよい。   When positions of four points P1, P2, P1 'and P2' are designated as shown in FIG. 6B, a circle of points P1, P2, P1 'and P2' (one example) so that each position can be finely adjusted. The graphical images of and the lines connecting them may be displayed blinking.

領域指定された領域Sa1(図6B参照)は、その他の部位から分割され独立のオブジェクトとして操作可能となる。したがって領域のみの表示濃度を変更したり、表示のオンオフを切替えたりすることが可能となる。このような機能によれば、例えば当該領域Sa1のみ非表示にすることで、内側の血管73、75の観察や、血管73、75と肝臓71との関係を確認することが可能となる。   The area designated area Sa1 (see FIG. 6B) is divided from other parts and can be operated as an independent object. Therefore, it is possible to change the display density of only the area or to switch the display on / off. According to such a function, it is possible to observe the inner blood vessels 73 and 75 and confirm the relationship between the blood vessels 73 and 75 and the liver 71 by, for example, hiding only the region Sa1.

なお、領域指摘は必ずしも四角形で行われる必要はなく、三角形もしくは五角形以上の多角形形状が領域指定されるものであってもよい。また上記では2本の指を一例として同時移動させて四角形を領域指定する例を示したが、これに限らず、例えば、コンパスのように扇形を領域指定する操作(下記参照)を複数回行うことで四角形または多角形を領域指定するようなものであってもよい。   Note that the area indication does not necessarily have to be performed in a quadrangle, and a triangular or pentagonal polygon shape or the like may be area designated. Further, although the example of simultaneously moving two fingers as an example to specify the area of the quadrilateral has been described above, the present invention is not limited thereto. For example, an operation of specifying a sector like a compass (see below) is performed multiple times Therefore, it may be such that a rectangle or polygon is designated.

本実施形態では、一例で、略扇形の領域を指定できるようになっていてもよい。例えば、図6Cのように2点の点P1、P2に触れている状態から、操作者が一方の指(例えば親指、点P1)を回動中心として、コンパスのように、他方の指(例えば人差し指、点P2)を所定角度回転させた場合に、画像表示端末101がその動作を認識して、移動後の人指し指の点P2′を特定し、点P1、P2、点P2′の3点に基づき、扇形の領域を指定するものであってもよい。具体的には、点P1、P2を結ぶ線L1、点P1、P2′を結ぶ線L2、および二点P2、P2′を接続する円弧L3によって規定される扇形がその一例である。   In the present embodiment, as an example, a substantially fan-shaped area may be specified. For example, from the state in which two points P1 and P2 are touched as shown in FIG. 6C, the operator takes one finger (for example, thumb, point P1) as a rotation center and the other finger (for example, compass) When the index finger and the point P2 are rotated by a predetermined angle, the image display terminal 101 recognizes the movement, specifies the point P2 'of the index finger after movement, and sets three points P1, P2 and P2'. Based on this, a fan-shaped area may be specified. Specifically, a sector defined by a line L1 connecting points P1 and P2, a line L2 connecting points P1 and P2 ', and an arc L3 connecting two points P2 and P2' is an example.

指定された領域Sa2(図7参照)は、上記同様、肝臓71のその他の部位から分割され独立の解剖学的構造物として操作可能となる。こうして分割された独立のオブジェクトを半透明にしたり、完全に非表示にしたりできることは、上記説明と同様である。   The designated area Sa2 (see FIG. 7) is divided from the other part of the liver 71 and can be manipulated as an independent anatomical structure as described above. Similar to the above description, the independent object thus divided can be made translucent or completely hidden.

なお、以上では点P1、P2、点P2′の3点に基づき扇形の領域を指定することを述べたが、上記機能を利用すれば、例えば、円形を指定したり、または、半円を指定したりすることもできる。図6Cは、一例で、親指を回動中心として人指し指を回していく例であるが、これとは逆に、人差し指を回動中心として親指を回していくようにしても同様の領域指定が可能であることは言うまでもない。   In the above, the fan-shaped area is specified based on three points P1, P2 and P2 ', but if the above function is used, for example, a circle or a semicircle is specified. You can also FIG. 6C shows an example in which the index finger is turned with the thumb as the rotation center, but the same area specification is possible even if the thumb is rotated with the index finger as the rotation center. It goes without saying that

上記説明では、肝臓およびその周辺の医用画像を例に挙げたが、当然ながら、本発明において解剖学的構造物は特定のものに限定されない。例えば図8に示すように、被検者の頭部の医用画像を表示し、それに対して種々の画像処理を行うことができるようになっていてもよい。画像処理の例としては、上述したような各種機能はいずれも適用可能であるが、図8では一例として、頭蓋骨77に対して線L1によって囲まれる範囲が領域指定されるとともに、その領域が非表示または半透明表示とされることで、内部の血管78を見ることができる状態となっている。何ら限定されるものではないが、線L1によって囲まれる領域は例えば円形であってもよい。当然ながら矩形や扇形、その他の形状であっても構わない。   In the above description, medical images of the liver and its surroundings are taken as an example, but it goes without saying that the anatomical structure is not limited to a specific one in the present invention. For example, as shown in FIG. 8, a medical image of the head of a subject may be displayed, and various image processing may be performed on it. As an example of image processing, although any of the various functions as described above can be applied, as an example in FIG. 8, a range surrounded by the line L1 with respect to the skull 77 is designated as a region, and the region is not designated. With the display or the semi-transparent display, it is possible to view the blood vessel 78 inside. Although not limited in any way, the area surrounded by the line L1 may be, for example, circular. Naturally, it may be rectangular, fan-shaped, or any other shape.

以上、図面を参照して本発明の実施形態について説明したが、本発明はその趣旨を逸脱しない範囲で種々変更可能であり、上記例に限定されるものではない。   As mentioned above, although embodiment of this invention was described with reference to drawings, this invention can be variously changed in the range which does not deviate from the meaning, and is not limited to the said example.

(付記)
本明細書は下記の発明を開示する(なお、括弧中の符号は本発明を何ら限定するものではない):
1.ディスプレイ(161)と、操作入力装置(163、165)と、制御部(150)と、を備える医用画像表示端末(101)であって、
前記制御部(150)は、
前記ディスプレイに少なくとも1つの解剖学的構造物(71、73、75)を含む医用画像を表示させることと、
操作者により、前記操作入力装置を介して指定された第1の点(P1)および第2の点(P2)を特定することと、
前記第1および第2の点によって規定される線(L1)を切断基準線として、前記解剖学的構造物を複数に分割することと、
を行うように構成されている、医用画像表示端末。
(Supplementary note)
The present specification discloses the following invention (note that the reference numerals in parentheses do not limit the present invention in any way):
1. A medical image display terminal (101) comprising a display (161), an operation input device (163, 165), and a control unit (150),
The control unit (150)
Displaying on the display a medical image comprising at least one anatomical structure (71, 73, 75);
Specifying a first point (P1) and a second point (P2) designated by the operator via the operation input device;
Dividing the anatomical structure into a plurality of lines, with the line (L1) defined by the first and second points as a cutting reference line;
A medical image display terminal that is configured to:

2.前記制御部(150)は、
画面上の2点が長押しされたことを受け付け、前記解剖学的構造物を複数に分割する動作モードを開始するように構成されている。
2. The control unit (150)
It is configured to receive an operation of two points on the screen being pressed and to start an operation mode for dividing the anatomical structure into a plurality of parts.

3.前記制御部(150)は、
解剖学的構造物がタッチされたことを受け付け、
それに対応して、タッチされたその部位の画像の透過度を変更するように構成されている。
3. The control unit (150)
Accept that the anatomical structure was touched,
Correspondingly, it is configured to change the transparency of the image of the touched part.

4.デフォルトの透過度である第1の透過度と、それとは異なる第2〜第nの透過度(nは整数)が設定されており、
前記制御部(150))は、
解剖学的構造物がタッチされた場合に、前記第1〜第nの透過度による表示を順次切り代えていくように構成されている。
4. The first transmittance, which is the default transmittance, and the second to n-th transmittances (n is an integer) different therefrom are set.
The control unit (150)
When an anatomical structure is touched, the display based on the first to n-th transmissions is sequentially switched.

5.前記第1〜第nの透過度が少なくとも半透明状態であって、完全透過の状態を含まない。 5. The first to n-th transmissions are at least semitransparent and do not include a complete transmission.

6.前記制御部(150)は、
解剖学的構造物を、画面上の所定位置に移動させる操作することを受け、
それに対応して、当該解剖学的構造物を非表示とするように構成されている。
6. The control unit (150)
Receiving an operation of moving the anatomical structure to a predetermined position on the screen;
Correspondingly, the anatomical structure is configured to be hidden.

7.前記移動させる操作が、フリック操作、ドラッグ操作、またはスワイプ操作のいずれかである。 7. The operation to move is either a flick operation, a drag operation, or a swipe operation.

8.前記制御部(150)は、
一旦非表示とされた前記解剖学的構造物を、(i)画面上に直接サムネイル画像(66)で表示させる、または、(ii)所定の操作があったときに画面上にサムネイル画像(66)を出現させるように構成されている。
8. The control unit (150)
The anatomical structure which has once been hidden is (i) directly displayed as a thumbnail image (66) on the screen, or (ii) a thumbnail image (66) on the screen when a predetermined operation is performed. ) Is made to appear.

9.ディスプレイ(161)と、操作入力装置(163、165)と、制御部(150)とを備える医用画像表示端末(101)であって、
前記制御部(150)は、
前記ディスプレイに少なくとも1つの解剖学的構造物(71、73、75)を含む医用画像を表示させることと、
操作者が前記操作入力装置で同時に2箇所を指定することで入力された第1の点(P1)および第2の点(P2)を特定することと、
を行うように構成されている、医用画像表示端末。
9. A medical image display terminal (101) comprising a display (161), operation input devices (163, 165), and a control unit (150),
The control unit (150)
Displaying on the display a medical image comprising at least one anatomical structure (71, 73, 75);
Specifying the first point (P1) and the second point (P2) input by the operator simultaneously specifying two places on the operation input device;
A medical image display terminal that is configured to:

10.前記制御部は、さらに、
前記第1および第2の点(P1、P2)の少なくとも一方に、タッチ操作可能なグラフィカル画像を表示させ、
前記グラフィカル画像を移動させることでそれらの点(P1、P2)の位置を微調整するように構成されている。
10. The control unit is further configured to:
A graphical image capable of touch operation is displayed on at least one of the first and second points (P1, P2);
The position of the point (P1, P2) is configured to be finely adjusted by moving the graphical image.

11.前記制御部は、さらに、
前記第1の点(P1)および第2の点(P2)を特定した後、操作者がそれらの点(P1、P2)を移動させる操作を受け付けて、移動後の2点(P1′、P2′)を特定し、
特定した4点(P 1、P 2、P 1′、P 2′)によって規定される四角形の範囲を領域指定するように構成されている。
11. The control unit is further configured to:
After specifying the first point (P1) and the second point (P2), the operator receives an operation to move those points (P1, P2), and the two points (P1 ', P2) after the movement Identify '),
It is configured to designate a rectangular range defined by the identified four points (P 1, P 2, P 1 ′, P 2 ′).

なお、点(P1、P2)の上記移動は一例で「同時」に行なわれるものであってもよい。ここで「同時」とは、必ずしも完全に同時である必要はなく、若干の時間的なズレ(例えば1〜2sec以下)を伴ってはいるがほぼ同時であるような場合をも含む。別の例としては、上述したように、一例で、コンパスのように扇形を領域指定する操作を複数回行うことで四角形形または多角形を領域指定するようなものであってもよい。   In addition, the said movement of the point (P1, P2) may be performed "simultaneously" by an example. Here, "simultaneous" does not necessarily have to be completely simultaneous, but also includes cases in which there is a slight time lag (e.g., 1 to 2 seconds or less), but almost simultaneous. As another example, as described above, in one example, a rectangle or polygon may be designated by performing a plurality of operations of designating a sector as in a compass.

12.前記制御部は、さらに、
前記第1の点(P1)および第2の点(P2)を特定した後、操作者が、その2点のうち一方(P2)を、他方の点(例:P1)を中心として回転移動させる操作を受け付けて入力を受け付けて移動後の第2の点(P2′)を特定し、
特定した前記3つの点(P1、P2、2′)によって規定される三角形または扇形の範囲を領域指定するように構成されている。
12. The control unit is further configured to:
After specifying the first point (P1) and the second point (P2), the operator rotates one of the two points (P2) about the other point (eg, P1). Accept an operation, accept an input, and specify a second point (P2 ') after movement;
It is configured to designate a triangular or fan-shaped range defined by the identified three points (P1, P2, 2 ').

13.コンピュータに、
ディスプレイに少なくとも1つの解剖学的構造物(71、73、75)を含む医用画像を表示させる処理と、
操作者により、前記操作入力装置を介して指定された第1の点(P1)および第2の点(P2)を特定する処理と、
前記第1および第2の点によって規定される線(L1)を切断基準線として、前記解剖学的構造物を複数に分割する処理と、
を行わせる、医用画像表示プログラム。
13. On the computer
Displaying a medical image including at least one anatomical structure (71, 73, 75) on a display;
A process of specifying a first point (P1) and a second point (P2) designated by the operator via the operation input device;
A process of dividing the anatomical structure into a plurality of lines using a line (L1) defined by the first and second points as a cutting reference line;
A medical image display program that will

14.コンピュータに、
ディスプレイに少なくとも1つの解剖学的構造物(71、73、75)を含む医用画像を表示させるステップと、
操作者により、前記操作入力装置を介して指定された第1の点(P1)および第2の点(P2)を特定するステップと、
前記第1および第2の点によって規定される線(L1)を切断基準線として、前記解剖学的構造物を複数に分割するステップと、
を行わせる、医用画像表示方法。
14. On the computer
Displaying on the display a medical image comprising at least one anatomical structure (71, 73, 75);
Identifying a first point (P1) and a second point (P2) designated by the operator via the operation input device;
Dividing the anatomical structure into a plurality of lines using a line (L1) defined by the first and second points as a cutting reference line;
A method of medical image display that

なお、上記13.および14.はいずれも上記1.の発明内容に対応するものであるが、本明細書は、他にも、コンピュータプログラムに関する発明および医用画像表示方法に関する発明として、上記1.に従属する内容の発明や他の独立請求項に相当する内容の発明のカテゴリー表現を変更したものをも開示するものである。   In addition, said 13. And 14. Are all mentioned above 1. However, the present specification is not limited to the above-described 1. above as an invention relating to a computer program and a medical image display method. The present invention also discloses a modification of the category representation of the invention of the contents corresponding to the inventions of the contents dependent thereto and other independent claims.

1 撮像装置
10 薬液注入装置
71 肝臓
73、75 血管
101 医用画像表示端末
101a 筐体
150 制御部
155a 画像表示部
155b 操作判定部
155c 表示変更部
159 記憶部
161 ディスプレイ
161′ タッチパネル式ディスプレイ
163 タッチパネル
165 入力デバイス
167 通信部
168 インターフェース
169 スロット
Reference Signs List 1 imaging apparatus 10 drug solution injector 71 liver 73, 75 blood vessel 101 medical image display terminal 101a housing 150 control unit 155a image display unit 155b operation determination unit 155c display changing unit 159 storage unit 161 display 161 'touch panel display 163 touch panel 165 input Device 167 Communication unit 168 Interface 169 slot

Claims (13)

ディスプレイと、操作入力装置と、制御部と、を備える医用画像表示端末であって、
前記制御部は、
前記ディスプレイに少なくとも1つの解剖学的構造物を含む医用画像を表示させることと、
操作者により、前記操作入力装置を介して指定された第1の点および第2の点を特定することと、
前記第1および第2の点によって規定される線を切断基準線として、前記解剖学的構造物を複数に分割することと、
を行うように構成されている、医用画像表示端末。
A medical image display terminal comprising a display, an operation input device, and a control unit,
The control unit
Displaying on said display a medical image comprising at least one anatomical structure;
Specifying a first point and a second point designated by the operator via the operation input device;
Dividing the anatomical structure into a plurality of lines, with a line defined by the first and second points as a cutting reference line;
A medical image display terminal that is configured to:
前記制御部は、
画面上の2点が長押しされたことを受け付け、前記解剖学的構造物を複数に分割する動作モードを開始するように構成されている、請求項1に記載の医用画像表示端末。
The control unit
The medical image display terminal according to claim 1, wherein the medical image display terminal is configured to receive an extended pressing of two points on the screen and to start an operation mode for dividing the anatomical structure into a plurality of parts.
前記制御部は、
解剖学的構造物がタッチされたことを受け付け、
それに対応して、タッチされたその部位の画像の透過度を変更するように構成されている、請求項1または2に記載の医用画像表示端末。
The control unit
Accept that the anatomical structure was touched,
The medical image display terminal according to claim 1, wherein the medical image display terminal is configured to change the transparency of the image of the touched portion correspondingly.
デフォルトの透過度である第1の透過度と、それとは異なる第2〜第nの透過度(nは整数)が設定されており、
前記制御部は、
解剖学的構造物がタッチされた場合に、前記第1〜第nの透過度による表示を順次切り代えていくように構成されている、請求項3に記載に医用画像表示端末。
The first transmittance, which is the default transmittance, and the second to n-th transmittances (n is an integer) different therefrom are set.
The control unit
The medical image display terminal according to claim 3, wherein when the anatomical structure is touched, the display based on the first to n-th transmittances is sequentially switched.
前記第1〜第nの透過度が少なくとも半透明状態であって、完全透過の状態を含まない、請求甲4に記載の医用画像表示端末。   The medical image display terminal according to claim 4, wherein the first to n-th transmissions are at least semitransparent and do not include complete transmission. 前記制御部は、
解剖学的構造物を、画面上の所定位置に移動させる操作することを受け、
それに対応して、当該解剖学的構造物を非表示とするように構成されている、請求項1〜5のいずれか一項に記載に医用画像表示端末。
The control unit
Receiving an operation of moving the anatomical structure to a predetermined position on the screen;
The medical image display terminal according to any one of claims 1 to 5, which is configured to hide the anatomical structure correspondingly.
前記移動させる操作が、フリック操作、ドラッグ操作、またはスワイプ操作のいずれかである、請求項6に記載の医用画像表示端末。   The medical image display terminal according to claim 6, wherein the operation to move is any of a flick operation, a drag operation, or a swipe operation. 前記制御部は、
一旦非表示とされた前記解剖学的構造物を、(i)画面上に直接サムネイル画像で表示させる、または、(ii)所定の操作があったときに画面上にサムネイル画像を出現させるように構成されている、請求項6または7に記載に医用画像表示端末。
The control unit
The anatomical structure which has once been hidden is displayed as a thumbnail image directly on the screen (i), or (ii) a thumbnail image appears on the screen when a predetermined operation is performed. The medical image display terminal according to claim 6 or 7, which is configured.
ディスプレイと、操作入力装置と、制御部とを備える医用画像表示端末であって、
前記制御部は、
前記ディスプレイに少なくとも1つの解剖学的構造物を含む医用画像を表示させることと、
操作者が前記操作入力装置で同時に2箇所を指定することで入力された第1の点および第2の点を特定することと、
を行うように構成されている、医用画像表示端末。
A medical image display terminal comprising a display, an operation input device, and a control unit,
The control unit
Displaying on said display a medical image comprising at least one anatomical structure;
Specifying an input first point and a second point by the operator simultaneously specifying two places on the operation input device;
A medical image display terminal that is configured to:
前記制御部は、さらに、
前記第1および第2の点の少なくとも一方に、タッチ操作可能なグラフィカル画像を表示させ、
前記グラフィカル画像を移動させることでそれらの点の位置を微調整するように構成されている、請求項9に記載の医用画像表示端末。
The control unit is further configured to:
Displaying at least one of the first and second points a graphical image capable of touch operation;
The medical image display terminal according to claim 9, configured to finely adjust the positions of the points by moving the graphical image.
前記制御部は、さらに、
前記第1の点および第2の点を特定した後、操作者が、その2点のうち一方を、他方の点を中心として回転移動させる操作を受け付けて入力を受け付けて移動後の第2の点を特定し、
特定した前記3つの点によって規定される三角形または扇形の範囲を領域指定するように構成されている、請求項9に記載の画像表示端末。
The control unit is further configured to:
After specifying the first point and the second point, the operator receives an operation to rotationally move one of the two points centering on the other point, receives an input, and moves the second point after the movement Identify the points,
The image display terminal according to claim 9, configured to designate a range of a triangle or a sector defined by the identified three points.
コンピュータに、
ディスプレイに少なくとも1つの解剖学的構造物を含む医用画像を表示させる処理と、
操作者により、前記操作入力装置を介して指定された第1の点および第2の点を特定する処理と、
前記第1および第2の点によって規定される線を切断基準線として、前記解剖学的構造物を複数に分割する処理と、
を行わせる、医用画像表示プログラム。
On the computer
Displaying a medical image comprising at least one anatomical structure on a display;
A process of identifying a first point and a second point designated by the operator via the operation input device;
Dividing the anatomical structure into a plurality of lines, with the line defined by the first and second points as a cutting reference line;
A medical image display program that will
コンピュータに、
ディスプレイに少なくとも1つの解剖学的構造物を含む医用画像を表示させるステップと、
操作者により、前記操作入力装置を介して指定された第1の点および第2の点を特定するステップと、
前記第1および第2の点によって規定される線を切断基準線として、前記解剖学的構造物を複数に分割するステップと、
を行わせる、医用画像表示方法。
On the computer
Displaying a medical image comprising at least one anatomical structure on a display;
Identifying a first point and a second point designated by the operator via the operation input device;
Dividing the anatomical structure into a plurality of lines, with the line defined by the first and second points as a cutting reference line;
A method of medical image display that
JP2018244925A 2014-12-26 2018-12-27 Medical image display terminal and medical image display program Active JP6902012B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018244925A JP6902012B2 (en) 2014-12-26 2018-12-27 Medical image display terminal and medical image display program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014266230A JP6462358B2 (en) 2014-12-26 2014-12-26 Medical image display terminal and medical image display program
JP2018244925A JP6902012B2 (en) 2014-12-26 2018-12-27 Medical image display terminal and medical image display program

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014266230A Division JP6462358B2 (en) 2014-12-26 2014-12-26 Medical image display terminal and medical image display program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020154200A Division JP7107590B2 (en) 2020-09-15 2020-09-15 Medical image display terminal and medical image display program

Publications (2)

Publication Number Publication Date
JP2019103818A true JP2019103818A (en) 2019-06-27
JP6902012B2 JP6902012B2 (en) 2021-07-14

Family

ID=67062216

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018244925A Active JP6902012B2 (en) 2014-12-26 2018-12-27 Medical image display terminal and medical image display program

Country Status (1)

Country Link
JP (1) JP6902012B2 (en)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353255A (en) * 1999-06-11 2000-12-19 Ge Yokogawa Medical Systems Ltd Image displaying method and diagnostic imaging system
JP2007029341A (en) * 2005-07-26 2007-02-08 Hitachi Medical Corp Medical image display device
JP2007282656A (en) * 2006-04-12 2007-11-01 Toshiba Corp Medical image display
US20080103385A1 (en) * 2005-11-01 2008-05-01 Feng Ma Method and system for liver lobe segmentation and pre-operative surgical planning
WO2008050823A1 (en) * 2006-10-26 2008-05-02 Hitachi Medical Corporation Medical image display device
US20110175821A1 (en) * 2010-01-15 2011-07-21 Apple Inc. Virtual Drafting Tools
JP2011200625A (en) * 2010-03-05 2011-10-13 Fujifilm Corp Image diagnosis support apparatus, method and program
JP2012048602A (en) * 2010-08-30 2012-03-08 Fujifilm Corp Medical information display device and method, and program
WO2014034294A1 (en) * 2012-08-28 2014-03-06 株式会社日立メディコ Image display device and medical image capturing device
JP2014054358A (en) * 2012-09-12 2014-03-27 Fujifilm Corp Medical image display device, medical image display method and medical image display program
JP2014106980A (en) * 2012-11-27 2014-06-09 Samsung Electronics Co Ltd Apparatus and method for segmenting contour in image based on user interaction
JP2014160461A (en) * 2013-01-25 2014-09-04 Morpho Inc Image display device, image display method and program

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000353255A (en) * 1999-06-11 2000-12-19 Ge Yokogawa Medical Systems Ltd Image displaying method and diagnostic imaging system
JP2007029341A (en) * 2005-07-26 2007-02-08 Hitachi Medical Corp Medical image display device
US20080103385A1 (en) * 2005-11-01 2008-05-01 Feng Ma Method and system for liver lobe segmentation and pre-operative surgical planning
JP2007282656A (en) * 2006-04-12 2007-11-01 Toshiba Corp Medical image display
WO2008050823A1 (en) * 2006-10-26 2008-05-02 Hitachi Medical Corporation Medical image display device
US20110175821A1 (en) * 2010-01-15 2011-07-21 Apple Inc. Virtual Drafting Tools
JP2011200625A (en) * 2010-03-05 2011-10-13 Fujifilm Corp Image diagnosis support apparatus, method and program
JP2012048602A (en) * 2010-08-30 2012-03-08 Fujifilm Corp Medical information display device and method, and program
WO2014034294A1 (en) * 2012-08-28 2014-03-06 株式会社日立メディコ Image display device and medical image capturing device
JP2014054358A (en) * 2012-09-12 2014-03-27 Fujifilm Corp Medical image display device, medical image display method and medical image display program
JP2014106980A (en) * 2012-11-27 2014-06-09 Samsung Electronics Co Ltd Apparatus and method for segmenting contour in image based on user interaction
JP2014160461A (en) * 2013-01-25 2014-09-04 Morpho Inc Image display device, image display method and program

Also Published As

Publication number Publication date
JP6902012B2 (en) 2021-07-14

Similar Documents

Publication Publication Date Title
US10937544B2 (en) Medical imaging apparatus for displaying x-ray images of different types
US11096668B2 (en) Method and ultrasound apparatus for displaying an object
US9606584B1 (en) Systems and user interfaces for dynamic interaction with two- and three-dimensional medical image data using hand gestures
US10324602B2 (en) Display of 3D images
US9146674B2 (en) GUI controls with movable touch-control objects for alternate interactions
US11256334B2 (en) Method and system for interacting with medical information
EP3936991A1 (en) Apparatus for displaying data
US11169693B2 (en) Image navigation
KR20150022536A (en) Method and apparatus for providing user interface of medical diagnostic apparatus
US9292197B2 (en) Method, apparatus and computer program product for facilitating the manipulation of medical images
JP6462358B2 (en) Medical image display terminal and medical image display program
JP2024023303A (en) Medical image processing system, medical image processing method and medical image processing program
JP2009119000A (en) Auxiliary controller for processing medical image,image processing system, and method for processing medical image
JP6501525B2 (en) INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, AND PROGRAM
JP2023071677A (en) Medical image processing device and medical image processing program
CN108231162B (en) Method and apparatus for displaying medical images
JP6902012B2 (en) Medical image display terminal and medical image display program
JP7107590B2 (en) Medical image display terminal and medical image display program
JP7555560B2 (en) Medical image processing apparatus, control method for medical image processing apparatus, and medical image processing program
JP7279133B2 (en) Information processing device, information processing method and program
Oshiro et al. Novel imaging using a touchless display for computer-assisted hepato-biliary surgery
Jian et al. A preliminary study on multi-touch based medical image analysis and visualization system
Hsieh Touchless gesture recognition system for imaging controls in sterile environment

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200330

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200915

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200925

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200929

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20201127

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20201201

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20201208

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210420

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20210511

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20210608

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20210608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210618

R150 Certificate of patent or registration of utility model

Ref document number: 6902012

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250