JP2018110944A - 医用画像表示装置、表示制御装置および表示制御方法、プログラム - Google Patents

医用画像表示装置、表示制御装置および表示制御方法、プログラム Download PDF

Info

Publication number
JP2018110944A
JP2018110944A JP2018080157A JP2018080157A JP2018110944A JP 2018110944 A JP2018110944 A JP 2018110944A JP 2018080157 A JP2018080157 A JP 2018080157A JP 2018080157 A JP2018080157 A JP 2018080157A JP 2018110944 A JP2018110944 A JP 2018110944A
Authority
JP
Japan
Prior art keywords
display
medical image
image data
thumbnail
display control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018080157A
Other languages
English (en)
Other versions
JP6797858B2 (ja
Inventor
岳人 青山
Takehito Aoyama
岳人 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018080157A priority Critical patent/JP6797858B2/ja
Publication of JP2018110944A publication Critical patent/JP2018110944A/ja
Application granted granted Critical
Publication of JP6797858B2 publication Critical patent/JP6797858B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

【課題】簡易な操作で、任意の医用画像データを観察対象の領域に適した表示条件で表示することを可能にする。
【解決手段】医用画像データを表示するための表示制御装置は、医用画像データから得られる縮小画像を用いて、医用画像データを選択するためのサムネイルを生成する。サムネイルには、医用画像データから得られる解剖学的領域にしたがって部分領域が設定される。表示制御装置は、表示されているサムネイルを選択する指示に応じて、その指示により特定される部分領域に対応する表示条件を取得し、取得された表示条件を用いて医用画像データを表示手段に表示させる。
【選択図】図4

Description

本発明は、医用画像のための表示制御装置および表示制御方法、該表示制御装置を用いた医用画像表示装置、およびプログラムに関する。
医療現場では、X線CT(Computed Tomography)装置、MRI(Magnetic Resonance Imaging)装置、PET(Positron Emission Tomography)装置などの医用画像撮影装置により、医用画像が撮像されている。撮像により得られた医用画像データには、様々な画像処理が施され、病院内のデータサーバに一定期間保存される。医師の画像診断業務は、医用画像表示装置(ビューワ(Viewer)とも呼ばれる)を用いて目的の医用画像データを検索してモニタ上に表示させ、医用画像表示装置の様々な機能を用いることで行われる。
図13(A)は一般的な医用画像表示装置の画面構成図の一例である。サムネイル表示領域1101は、ある患者における過去および現在に撮像された、少なくとも一つの医用画像データをサムネイル表示する領域であり、サムネイル1103〜1107は各医用画像データから作成されたサムネイルである。メイン画像表示領域1102は、ユーザが読影対象としている画像を表示する領域である。メイン画像表示領域1102に画像を表示することにより、表示した画像に対して、画像全体の拡大・縮小機能、濃度値変換機能、表示位置の平行移動機能、図形描画機能、濃度値計測機能等の医用画像表示装置の様々な機能が使用可能となる。
またメイン画像表示領域1102は、複数の領域に分割することができ、分割した複数の領域のそれぞれに異なる画像を同時に表示することができる。図13におけるメイン画像表示領域1102は領域1108〜1111の4つの領域に分割されている。以下では、メイン画像表示領域の分割されたそれぞれの領域(例えば、領域1108〜1111)を単に表示領域と称する。ユーザは、読影対象または参考としたい医用画像データを、任意の表示領域に表示させ読影を行う。図13(B)は、任意の医用画像データを任意の表示領域に表示させる一般的な手法の一例である。任意のサムネイル(例えばサムネイル1103)を任意の表示領域(例えば表示領域1109)上にドラッグアンドドロップすることにより、該サムネイル(例えばサムネイル1103)に対応する医用画像データを任意の表示領域(例えば表示領域1109)に表示できる。
一方、医用画像データにおいては、例え同一画像中に表示された領域であっても解剖学的に分類された領域(解剖学的領域)に応じて最適な表示条件は異なるため、ユーザは観察対象の領域に応じて画像の表示条件を変更して表示し読影を行う。例えば、医用画像表示装置が有する既知の濃度値変換機能を用いて表示条件を変更する。ここで、濃度値変換機能とは、グレイスケールの各画素値を所定の規則に従って変換する機能である。一般に、CT画像は1画素当たり12bit階調(4,096階調)のHU(Hounsfield Unit)値で表現され、このHU値が画素値として保存されている。医師がCT画像を観察する際は、DICOM規格に規定されたWL(Window Level)とWW(Window Width)の2つの濃度変換パラメータを用いて、12bit階調の画素値(HU値)が8bit階調に変換され、ディスプレイに表示される。これにより、特定の臓器や組織のHU値の差(濃度差)が見やすくなる。CT画像以外(MRI画像、PET画像、超音波画像など)でも、画素値の差(濃度差)を見やすくするために上記と同様の濃度変換が行われている。より具体的には、同じ胸部領域のCT画像においては、肺野領域を詳細に観察したい場合はWLを−600、WWを1500に設定する。また、縦隔領域を詳細に観察したい場合にはWLを60、WWを400に設定する。骨領域を詳細に観察したい場合にはWLを500、WWを2500に設定する。
特許文献1は、3次元ボリュームデータの任意の領域を指定することによって、画像の表示条件を変更することが記載されている。この技術によれば指定した領域に対応した表示条件でのCT画像の表示を効率よく実行することができるため、ユーザの手間を削減することができる。
特開2011−217947号公報
しかしながら、特許文献1の技術を用いたとしても、目的のサムネイルをメイン画像表示領域にドラッグアンドドロップした後に表示条件を変更する必要があり、読影の際に手間がかかるという課題があった。なお、ここでいうドラッグアンドドロップとは、図13(B)で説明したように、サムネイル上にマウスポインタを移動してから画像を選択し、メイン画像表示領域上にマウスポインタを移動してからリリースするという操作を指す。
本発明は上記課題を鑑みてなされたものであり、簡易な操作で、任意の医用画像データを観察対象の領域に適した表示条件で表示することを可能にすることを目的とする。
上記の目的を達成するための本発明の一態様による表示制御装置は以下の構成を備える。すなわち、
医用画像データを表示するための表示制御装置であって、
医用画像データから得られる縮小画像を用いて、該医用画像データを選択するためのサムネイルを生成する生成手段と、
前記医用画像データから得られる解剖学的領域にしたがって、前記サムネイルに部分領域を設定する設定手段と、
表示されている前記サムネイルを選択する指示に応じて、前記指示により特定される部分領域に対応する表示条件を取得する取得手段と、
前記指示に応じて、前記取得手段により取得された表示条件を用いて前記医用画像データを表示手段に表示させる表示制御手段と、を備える。
本発明によれば、簡易な操作で、任意の医用画像データを観察対象の領域に適した表示条件で表示することが可能になる。
第1の実施形態に係る医用画像表示システムのブロック図。 第1の実施形態の全体処理を説明するフローチャート。 (A),(B)は、第1の実施形態に係る画面構成の例を示した図、(C)は部分領域と解剖学的領域の対応付けの管理を説明する図。 (A)〜(C)は、サムネイルの分割領域を選択した際の画面構成の例を示した図。 第1の実施形態の変形例1に係る画面構成の例を示した図。 第2の実施形態に係る医用画像表示システムのブロック図。 第2の実施形態の全体処理を説明するフローチャート。 (A),(B)は、第2の実施形態に係る画面構成の例を示した図。 第3の実施形態に係る医用画像表示システムのブロック図。 第3の実施形態の全体処理を説明するフローチャート。 サムネイルに対する方向情報の入力方法を説明する図。 (A),(B)は、方向情報の入力範囲と選択する表示領域の関係を説明する図。 (A)は、一般的な医用画像表示装置の画面構成の一例を示す図、(B)は、メイン画像表示領域に医用画像データを表示した例を示す図。
以下に、図面を参照しながら、本発明の実施形態のいくつかについて説明する。ただし、発明の範囲は図示例に限定されるものではない。
[第1の実施形態]
図1は、第1の実施形態に係わる医用画像表示システムの全体構成を示す図である。医用画像表示システムは、医用画像データを表示するための医用画像表示装置10と、医用画像データを格納するデータベース22とを含んでおり、これらの装置は互いに通信可能に接続されている。本実施形態においては、医用画像表示装置10とデータベース22との通信にはLAN(Local Area Network)21が用いられている。データベース22は、医用画像データなどの検査情報を管理しており、医用画像表示装置10は、データベース22で管理されている医用画像データをLAN21を介して取得し、表示する。
医用画像表示装置10は、その機能的な構成として、通信IF(Interface)31、ROM(Read Only Memory)32、RAM(Random Access Memory)33、記憶部34、操作部35、表示部36、制御部37を有する。通信IF31は、例えば、LANカード等で実現され、LAN21を介した外部装置(例えば、データベース22)と医用画像表示装置10との間の通信を司る。ROM32は、不揮発性のメモリ等で実現され、各種プログラム等を記憶する。RAM33は、揮発性のメモリ等で実現され、各種情報を一時的に記憶する。記憶部34は、例えば、HDD(Hard Disk Drive)等で実現され、各種情報を記憶する。操作部35は、例えば、キーボードやマウス等で実現され、ユーザからの指示を装置内に入力する。表示部36は、例えば、ディスプレイ等で実現され、各種情報をユーザ(例えば、医師)に向けて表示する。
制御部37は、医用画像データの表示を制御する表示制御装置の一例であり、例えば、CPU(Central Processing Unit)等で実現され、医用画像表示装置10における処理を統括制御する。制御部37は、その機能的な構成として、医用画像取得部41、画像領域取得部42、サムネイル作成部43、選択領域取得部44、表示処理部45を具備する。
医用画像取得部41は、通信IF31とLAN21を介してデータベース22から当該症例の医用画像データを取得し、画像領域取得部42、サムネイル作成部43及び表示処理部45へと出力する。画像領域取得部42は、医用画像取得部41から取得した医用画像データに対して後述する画像処理を行い、当該医用画像データ中の解剖学的に分類された領域(以下、解剖学的領域という)を決定し、その領域情報を取得してサムネイル作成部43へ出力する。
サムネイル作成部43は、医用画像取得部41で取得された当該症例の医用画像データの縮小画像と画像領域取得部42で取得された当該医用画像データ中の解剖学的領域の情報を用いて、当該症例のサムネイルを作成し表示処理部45へ出力する。選択領域取得部44は、表示部36に表示されているサムネイルに対して、ユーザが操作部35を介して選択した選択領域情報を取得し表示処理部45へ出力する。表示処理部45は、サムネイル作成部43で作成されたサムネイルを表示部36に表示する。また、表示処理部45は、選択領域取得部44で取得した選択領域情報に応じて、表示部36のメイン画像表示領域(たとえば、図3(A)のメイン画像表示領域102)に医用画像取得部41から取得した当該症例の医用画像データを表示する。
なお、制御部37が具備する、上述した各部の少なくとも一部は独立した装置として実現されてもよい。また、夫々が機能を実現するソフトウェアとして実現されてもよい。本実施形態では各部は夫々ソフトウェアにより実現されているものとする。
次に図2〜図4を用いて、本実施形態における制御部37による全体の処理手順を説明する。図2は、制御部37が実行する処理を示すフローチャートである。図3(A)及び図4(A)は後述の処理によって表示部36に表示される画面の例である。図3(B)及び図4(B)(C)は、図3(A)及び図4(A)で示されるサムネイル103をそれぞれ拡大して示したものである。
図3(A)及び図4(A)において、サムネイル表示領域101にはサムネイルが表示される。サムネイル103〜107は、サムネイル作成部43が作成したサムネイルの表示例である。メイン画像表示領域102は、選択されたサムネイルに対応する医用画像データを表示するための領域である。メイン画像表示領域102は、医用画像データを表示するための複数の表示領域に分割されている。本実施形態では、メイン画像表示領域102が4つの表示領域108〜111に分割されている。また、以下では、例として胸部領域のX線CT画像の医用画像データを対象として説明するが、もちろん本発明の対象となる医用画像データはこれに限定されるものではない。
図2に示すフローチャートのステップS200において、医用画像取得部41は通信IF31とLAN21を介してデータベース22から医用画像データを読み出す。ステップS201において、画像領域取得部42はステップS200において読み出した医用画像データから解剖学的領域を抽出し、その領域情報を取得する。解剖学的領域の抽出は、たとえば以下のように行われる。
まず、画像領域取得部42は、医用画像データに対して、平滑化フィルタを用いてノイズ除去を行う。次に、画像の画素値に対する所定の閾値(例えば、HU値:−200)を用いて二値化処理を行い体内領域と体外領域を分離する。さらに体内領域の内部において、別の閾値(例えば、HU値:300)を用いて骨領域とその他の領域に分離する。さらにその他の領域内において、別の閾値(例えばHU値:−500)を用いて肺野内領域と軟部領域に分離する。なお、解剖学的領域の抽出処理は、読み出した当該医用画像データから定められた領域を抽出できればよく、本手法に限定されない。例えば、グラフカット処理をはじめとする既知の臓器セグメンテーション処理を用いて解剖学的領域を抽出してもよい。また、抽出する領域は例えば、表1に示すように、DICOM(Digital Imaging and COmmunication in Medicine)ヘッダ等から得られる画像情報と抽出する領域の対応を予め設定しておき、当該医用画像データに含まれる画像情報に対応する抽出領域を抽出する。表1に示されるように、医用画像データの撮像に用いられたモダリティと撮像部位に基づいて、その医用画像データから抽出されるべき解剖学的領域が決定される。
Figure 2018110944
ステップS202において、サムネイル作成部43は、以下の処理によりサムネイルを作成する。まず、サムネイル作成部43は、ステップS200で読み出した医用画像データに対応する画像データ(以下、対応画像データ)を作成する。ここで、読み出した医用画像データが2次元医用画像データ(一枚のスライス画像)の場合は、対応画像データはそのスライス画像そのもの、またはその一部分を切り出した画像である。一方、読み出した医用画像データが3次元医用画像データ(複数枚のスライス画像)の場合、対応画像データは、その3次元医用画像データを代表するスライス画像、または予め決めた位置の(例えば先頭の)スライス画像である。あるいは、そのスライス画像の一部分を切り出した画像でもよい。ここで、3次元医用画像データを代表するスライス画像は、表1に示されるような医用画像データの画像情報に応じて予め定められる抽出領域の全てを含むスライス画像、または、最も多くの種類の抽出領域を含むスライス画像としてもよい。その後、サムネイル作成部43は、対応画像データから縮小画像を生成し、生成した縮小画像を用いてサムネイルを生成する。
次に、サムネイル作成部43は、ステップS201で抽出した解剖学的領域に応じてサムネイルから部分領域を抽出する。例えば、ステップS201で体外領域、肺野内領域、軟部領域、骨領域を取得した場合であって、対応画像データにそれらの領域が含まれる場合、サムネイル作成部43は縮小画像からそれら領域に対応する部分領域を抽出する。そして、抽出した部分領域が視認できるように、部分領域の境界を示す分割線(図3(B)の破線)を生成する。そして、縮小画像に分割線が描画またはオーバーレイ表示されたサムネイルを作成する。なお、図3(B)の分割線112は、体外領域と体内領域を分割し、分割線113は肺野内領域と軟部領域を分割し、分割線114は骨領域と軟部領域を分割している。こうして、サムネイル103において、分割線112〜114によって分割された部分領域122〜124が設定される。こうして、サムネイル作成部43は、たとえば図3(B)に示されるように部分領域122〜124を設定し、図3(C)に示されるように各部分領域と解剖学的領域の対応を管理する。
サムネイル作成部43は、ステップS200で読み出した医用画像データが複数ある場合には、上述の処理を全ての医用画像データに対して行い、全ての医用画像データに対してサムネイルを作成する。表示処理部45は、サムネイル作成部43で作成したサムネイルをサムネイル表示領域に並べて表示する。図3(A)の例では、サムネイル103〜107がサムネイル表示領域101に表示されている。
ステップS203において、選択領域取得部44は、ユーザが操作部35を用いて選択したサムネイルの部分領域を示す情報を取得する。例えば、ユーザが不図示のポインティングデバイス(たとえば、マウス)を用いてサムネイル103の部分領域123をクリックすると、選択領域取得部44は、クリックされた部分領域123を示す情報を取得する。本操作時の表示部36における画面例を図4(A)〜図4(C)に示す。矢印115は、ポインティングデバイスにより操作されるポインタ(例えばマウスポインタ)であり、操作部35によって示される入力の現在位置を表す。
ステップS204において、表示処理部45は、ステップS203で選択されたサムネイルに対応した医用画像データを、その選択時に特定されていた部分領域の解剖学的領域に適した表示条件でメイン画像表示領域102に表示する。図4(B)の例ではサムネイル103の部分領域123(肺野領域)が矢印115で選択されており、図4(A)に示すようにたとえば表示領域108にサムネイル103に対応した医用画像データが肺野内を観察するために適した表示条件で表示される。さらに、図4(C)には、矢印115によりサムネイル104が選択されるとともに軟部領域に対応する部分領域131が特定された様子が示されている。この場合、メイン画像表示領域102のうちの表示領域110にサムネイル104に対応した医用画像データが軟部領域内を観察するために適した表示条件で表示される。
ここで、選択されたサムネイルに対応した医用画像データを複数の表示領域(例えば,表示領域108〜111)のうちのどの表示領域に表示するかは、予め定めた法則に則って決定される。例えば、各表示領域の状態(現在、画像が表示されているか否か)を取得し、画像が表示されていない表示領域が存在する場合は、その表示領域に優先して医用画像データが表示される。また、全ての表示領域に画像が既に表示されている場合は、常に決められた表示領域(例えば、最も左上の表示領域)に表示するようにしてもよい。または、最も経時的に過去の時点に表示された画像が現在表示されている表示領域に医用画像データを表示するようにしてもよい。たとえば、表示領域108→表示領域109→表示領域110→表示領域111の順を繰り返すように新たな医用画像データを表示するための表示領域が決定されてもよい。または、ユーザによる操作が行われた記録が最も経時的に過去の時点である画像が現在表示されている表示領域に新たな医用画像データを表示するようにしてもよい。選択されたサムネイルに対応した医用画像データの表示先となる表示領域に既に別の医用画像データが表示されていた場合は、その別の医用画像データの表示を消去した後に、該対応した医用画像データが表示される。
ステップS205において、制御部37は、操作部35を介してユーザから読影終了の指示があったかどうかを判定する。読影終了の指示は、不図示の読影終了ボタンをユーザがクリックすることなどにより行われる。読影終了の指示があった場合は、図2の処理を終了する。読影終了の指示がなかった場合は、ステップS203に戻る。
以上のように、第1の実施形態に係る医用画像表示装置によれば、以下の効果を得られる。つまり、任意のサムネイルの任意の部分領域を選択することで、当該サムネイルに対応した医用画像データを、選択した部分領域に対応した表示条件でメイン画像表示領域に表示できる。従って、任意の医用画像データを選択する操作により、読影する際に適切な表示条件に合わせてメイン画像表示領域に医用画像データを表示することができるため、ユーザの手間が少ない医用画像表示装置及び医用画像表示方法を提供することができる。
(変形例1)
本実施形態では、ステップS204において選択したサムネイルの部分領域に対応して、画像の濃度値(HU値)を変更(階調変換)する例について説明した。しかし、変更される表示条件は濃度値に限られるものではない。例えば、画像全体の拡大・縮小機能、表示位置の平行移動機能、図形描画機能、濃度値計測機能などを表示条件として用いて、表示領域に医用画像データを表示するようにしてもよい。図5に、サムネイル103の左肺野内領域が選択された場合の表示例を示す。まず、サムネイル103に対応した医用画像データを、肺野に適した濃度値(例えば、WL:−600、WW:1500)を用いて階調変換し、表示部36が表示可能な階調に整合させる。さらに、左肺野が表示領域108の中央位置に表示されるように医用画像データの表示位置を平行移動する。さらに、左肺野を観察しやすいサイズに画像全体を拡大した状態とした医用画像データを表示領域108に表示する。そして、表示領域110に、既知の濃度値計測機能を用いて計算される左肺野内の濃度値のヒストグラムを表示する。
ここで、選択された領域に対応する表示条件は、例えば、表2に示すように、DICOMヘッダ等から得られる画像情報と選択されるサムネイル分割領域とによって予め設定しておく。表2に示されるように、医用画像データを撮像したモダリティとその撮像部位に応じて表示条件が決定される。そして、選択されたサムネイルに対応する医用画像データを、当該医用画像データの画像情報と選択された部分領域とに対応した表示条件でメイン画像表示領域に表示する。なお、表2中の拡大率Fitは対応する領域が最も大きく見えるサイズになる拡大率であり、表2中の平行移動の中央とは、対応する領域が表示領域の中央に表示されるように画像全体を平行移動する条件である。
Figure 2018110944
(変形例2)
本実施形態では、ステップS204において、選択されたサムネイルに対応する医用画像データが表示される表示領域は、予め定められた法則に則って選ばれるが、これに限られるものではない。たとえば、サムネイルをメイン画像表示領域内の任意の表示領域にドラッグアンドドロップすることで、医用画像データを表示する表示領域をユーザが指定できるようにしてもよい。より具体的には、任意のサムネイル上の任意の部分領域上にポインタ(矢印115)を移動してからドラッグを開始し、任意の表示領域上にポインタを移動してリリース(ドロップ)する。変形例2を実施することにより、任意のサムネイルに対応する医用画像データを任意の表示領域に適切な表示条件(ドラッグの開始時にポインタにより特定される部分領域が対応する解剖学的領域に適した表示条件)で表示させることができる。
以上のように、第1実施形態によれば、メイン画像表示領域に表示すべき医用画像データの指定とその際の表示条件の指定を同時に行うことができるため、医用画像データの表示に関わる手間を削減することができる。また、変形例2では、医用画像データの指定と表示条件の指定に加えて、表示領域の選択を簡易な操作で行うことができ、さらに操作性が向上する。
なお、上記実施形態ではメイン画像表示領域102を4つに均等に分割した例を示したが、分割数は4つに限られるものではないし、たとえば図12に示されるように各表示領域の大きさが均等でなくてもよい。また、メイン画像表示領域は分割されていなくてもよい。その場合、メイン画像表示領域には、最近に選択された医用画像データ(1枚の医用画像)が、サムネイルの選択時に特定された部分領域に対応した表示条件で表示されることになる。なお、上記実施形態では、分割線112〜114によりサムネイル内の部分領域を明示したが、これら分割線の描画あるいはオーバーレイ表示は省略されてもよい。但し、サムネイルに分割線112〜114を表示することにより、ユーザはより明瞭にサムネイル内の分割領域を認識できる。また、ここで説明した画像情報や表示条件はあくまで一例であり、本発明はこの例に限定されない。
[第2の実施形態]
第1の実施形態では、サムネイルにおいて医用画像データの解剖学的領域に対応する部分領域を設定した。第2の実施形態に係る医用画像表示装置では、さらに、メイン画像表示領域の分割条件にしたがってサムネイルを複数の分割領域へ分割する。そして、サムネイルの選択時に特定された分割領域に応じて、選択されたサムネイルに対応する医用画像データを適切な表示条件で任意の表示領域に表示することを可能にする。
図6に、第2の実施形態に係る医用画像表示装置10の構成例を示す。第1の実施形態に係る医用画像表示装置10の構成例(図1)と比べると、分割条件取得部46が追加されている。分割条件取得部46以外の図示された各構成は、図1における各構成部と同様である。分割条件取得部46は、表示部36に表示されているメイン画像表示領域における複数の表示領域への分割条件を取得し表示処理部45へ出力する。また、第1の実施形態と同様に、各部はソフトウェアにより実現されているものとする。
次に図7及び図8を用いて、第2の実施形態における制御部37による処理手順を説明する。図7は、制御部37が実行する処理を示すフローチャートである。図8(A)は、後述の処理によって表示部36に表示される画面の例である。図8(B)は、図8(A)で示されるサムネイル103の画像を拡大したものである。
ステップS700の処理は、第1の実施形態におけるステップS200の処理と同様である。ステップS701において、分割条件取得部46は表示部36に表示されているメイン画像表示領域の分割条件を取得する。例えば、メイン画像表示領域の分割数をl、行数nを、列数をmとすると、図8(A)に示したようなメイン画像表示領域102の分割状態の場合、(l、n、m)=(4、2、2)が取得される。ここで説明した分割条件の取得方法は、あくまで一例であり、本発明はこの例に限定されない。
ステップS702の処理は、第1の実施形態におけるステップS201の処理と同様である。ステップS703の処理では、第1の実施形態におけるステップS202の処理に加えて次の処理が行われる。サムネイル作成部43は、ステップS701で取得した分割条件に応じてサムネイルを分割する。例えば、ステップS701で(l、n、m)=(4、2、2)が取得された場合、サムネイル作成部43は、サムネイルも同様に(l、n、m)=(4、2、2)の条件で分割する。すなわち、メイン画像表示領域の複数の表示領域の配置にしたがって、サムネイルを構成する縮小画像を分割して複数の分割領域を形成し、複数の分割領域の各々とメイン画像表示領域の複数の表示領域の各々を対応付ける。たとえば、本例の場合、図8(B)に示されるように、分割領域116〜119が得られ、それぞれ表示領域108〜111に対応付けられる。続いて、分割した領域が視認できるような分割線(図8(B)のL10)を生成し、この分割線を縮小画像に描画あるいはオーバーレイ表示したサムネイルを作成する。
図8(B)のサムネイル103では、サムネイルを構成する縮小画像はステップS702で取得された解剖学的領域に応じて部分領域が抽出され、部分領域122〜124が得られる。さらに、サムネイル103を構成する縮小画像は、メイン画像表示領域102の分割条件にしたがって分割され、分割領域116〜119が得られる。こうして、図8(B)に示されるように、分割線112〜114と分割線L10が縮小画像に描画あるいはオーバーレイ表示されたサムネイル103が作成される。
ステップS704において、制御部37は、メイン画像表示領域の分割条件を取得し、分割条件の変更の有無を判定する。なお、メイン画像表示領域102の分割条件は、操作部35を介したユーザの指示により変更可能である。分割数の変更方法は、従来の医用画像ビューワが有する既知の技術により実現されるので説明を省略する。ステップS704において、分割条件の変更がないと判定された場合は、処理はステップS705に進み、分割条件の変更があったと判定された場合は、処理はステップS701に戻る。
ステップS705の処理は、第1の実施形態におけるステップS203の処理と同様である。但し、取得される選択領域情報は、以下の2つの領域情報となる。すなわち、
・解剖学的な領域の情報によって分割された第一領域情報(つまり、図8の例では部分領域122〜124のいずれか一つ)。
・メイン画像表示領域の分割条件で分割された第二領域情報(つまり、図8の例では分割領域116〜119のいずれか一つ)。
ステップS706において、表示処理部45は、ステップS705で選択されたサムネイルに対応した医用画像データを、ステップS705で選択された第一領域情報に対応した表示条件で、第二領域情報に対応した表示領域に表示する。図8(B)の例では、矢印115が、肺野内領域である部分領域123の分割領域119に属する部分を指示している。したがって、第一領域情報としてサムネイル103の部分領域123(肺野内領域)が選択され、第二領域情報として分割領域119(右下の領域)が得られる。その結果、図8(A)に示されるように、サムネイル103に対応した医用画像データが、肺野内を観察するために適した表示条件(例えば、WL:−600、WW:1500)で、表示領域111に表示される。ここで、表示領域111に既に別の画像データが表示されていた場合は、表示処理部45は、既に表示されていた画像データを表示領域111から消去した後、サムネイル103に対応した医用画像データを表示する。
ステップS707の処理は、第1の実施形態におけるステップS205の処理と同様の処理であり、読影終了の指示があったかどうかを判定する。読影終了の指示があった場合は図7の処理を終了し、読影終了の指示がなかった場合は処理はステップS704に戻る。
以上のように、第2の実施形態に係る医用画像表示装置によれば、以下の効果を得られる。つまり、任意のサムネイルの任意の部分領域と分割領域を選択することで、当該サムネイルに対応した医用画像データを、選択した部分領域に対応した表示条件で、かつ選択した分割領域に対応した表示領域に表示できる。従って、1回の選択操作で、任意の医用画像データを、読影する際に適切な表示条件で、任意の表示領域に表示させることができるため、ユーザの手間を減らすことができる。
なお、メイン画像表示領域の分割を示す分割線(たとえば図8(B)のL10)を省略してもよい。たとえば図8(A)に示すようにメイン画像表示領域102の分割の状態がそれほど複雑でなければ、分割線L10が省略されてもユーザは4つの表示領域108〜111とサムネイルを構成する縮小画像上の位置との対応を把握することができるからである。
[第3の実施形態]
第3の実施形態に係る医用画像表示装置は、サムネイルの選択において、サムネイルを構成する縮小画像の任意の部分領域を選択するとともに、方向情報を得る。第3実施形態では、選択されたサムネイルに対応する医用画像データを、選択された部分領域の解剖学的領域に適した表示条件で、メイン画像表示領域の複数の表示領域のうちの方向情報により特定される表示領域に表示する。
図9に、本実施形態に係る医用画像表示装置の構成例を示す。第2の実施形態に係る構成例(図6)と比べると、方向取得部47が追加されている。方向取得部47以外の各構成部は、図6における各構成部と同様である。方向取得部47は、表示部36に表示されているサムネイルに対して、ユーザが操作部35を介して入力した方向情報を取得し、表示処理部45へ出力する。たとえば、方向取得部47は、サムネイルがドラッグまたはフリックされた方向に基づいて方向情報を取得する。また、後述するように、分割条件取得部46は、メイン画像表示領域の各表示領域の中心位置も取得する。なお、第2の実施形態と同様に、各部はソフトウェアにより実現されているものとする。
次に図10及び図11を用いて、第3の実施形態における制御部37による全体の処理手順を説明する。図10は、制御部37が行う処理のフローチャートである。図11は、図3(B)に示したサムネイル103に対して、ユーザが方向情報を入力する方法を説明するための図である。矢印115は、たとえばマウスポインタであり、操作部35によって制御される位置情報を表す。R10は、矢印115が示す位置を中心Oとした円である。矢印115の真右方向を0°とした時、中心Oから0°、90°、180°、270°の方向に伸ばした直線と円R10とが交わる点を、それぞれ点A、B、C、Dとしている。
ステップS1000〜S1002の処理は、第1の実施形態におけるステップS200〜S202の処理と同様である。また、ステップS1003の処理は、第2の実施形態におけるステップS701の処理と同様である。ステップS1004の処理は、第1の実施形態におけるステップS203の処理と同様である。
ステップS1005において、ユーザは操作部35を介して、ステップS1004において選択したサムネイル分割領域に対して方向情報を入力する。例えば、不図示のポインティングデバイスを用いて図3(B)で示すサムネイル103の部分領域123を任意の方向にドラッグすることで方向情報を入力する。あるいは、表示部36がタッチパネル式のモニタである場合は、一般にフリックと呼ばれる操作方法を用いて、サムネイル103の部分領域123に対して方向情報を入力してもよい。例えば、図11において、サムネイル103をAの方向に指で弾く(フリックする)ことにより方向情報0°が入力される。また例えば、線分OCと線分ODのちょうど中間に示した線分L20に沿った方向に指で弾く(フリックする)することにより方向情報225°が入力される。
ステップS1006において、表示処理部45は、ステップS1003で取得したメイン画像表示領域の分割条件とステップS1005で取得した方向情報にしたがって、メイン画像表示領域の複数の表示領域のうちの一つを選択する。そして、表示処理部45は、選択したサムネイルに対応した医用画像データを、選択した表示領域に表示する。その際、ステップS1004で選択した部分領域に対応した表示条件で表示する。なお、選択した部分領域とは、たとえば、ドラッグまたはフリックの開始位置によって特定される、サムネイル内の部分領域である。また、表示条件は、第1の実施形態におけるステップS204や、第1の実施形態の変形例1で示した方法により決定される。
図3(B)に示されるサムネイル103の部分領域123に対してステップS1005で入力された方向情報が、図11で示される0°〜90°の範囲だった場合について説明する。この場合、方向情報は右上方向と解釈され、図3(A)のメイン画像表示領域102の右上に配置されている表示領域110に、サムネイル103に対応する医用画像データが、部分領域123に対応した表示条件で表示される。また、入力された方向情報が90°〜180°の範囲だった場合は、メイン画像表示領域102の表示領域108に、当該医用画像データが、部分領域123に対応した表示条件で表示される。また、入力された方向情報が180°〜270°の範囲だった場合は、メイン画像表示領域102の表示領域109に、当該医用画像データが、部分領域123に対応した表示条件で表示される。さらに、入力された方向情報が270°〜0°の範囲だった場合は、メイン画像表示領域102の表示領域111に、当該医用画像データが、部分領域123に対応した表示条件で表示される。
入力される方向情報の範囲と、それによって選択される表示領域の関係を、図12を用いてより詳細に述べる。図12(A)において、メイン画像表示領域102は、4つの表示領域(表示領域108〜111)に分割されている。但し、表示領域108〜111の大きさは全てが均一というものではなく、配置も図3(A)とは異なる。また、Oaはメイン画像表示領域102の中心を示し、Obは表示領域108の中心を示し、Ocは表示領域109の中心を示し、Odは表示領域110の中心を示し、Oeは表示領域111の中心を示す。図12(B)において、Oaを中心とする円をR20とする。Ob→Oa→Oeのなす角を等分する線分をL21、Ob→Oa→Ocのなす角を等分する線分をL22、Oc→Oa→Odのなす角を等分する線分をL23、Od→Oa→Oeのなす角を等分する線分をL24とする。また、線分L21とR20の交点をE、線分L22とR20の交点をF、線分L23とR20の交点をG、線分L24とR20の交点をHとする。ここで、入力される方向情報がE→Oa→Fのなす角の範囲である場合には、その範囲内にある中心Obを持つ表示領域108が選択される。同様に、入力される方向情報がF→Oa→Gのなす角の範囲である場合は、表示領域109が選択される。同様に、入力される方向情報がG→Oa→Hのなす角の範囲である場合は表示領域110が選択される。同様に、入力される方向情報がH→Oa→Eのなす角の範囲である場合は表示領域111が選択される。
このように、各表示領域の中心とメイン画像表示領域の中心によって作られる角度に応じて、方向情報の範囲を決定することで、当該方向情報の範囲に対応する表示領域を決定することができる。なお、メイン画像表示領域の分割条件が(l、n、m)=(9、3、3)のような場合、中央の表示領域は上述した方法では、選択する事ができない。このような場合は、サムネイルに対して方向情報を入力した操作とは別の操作を行うことにより選択すればよい。ここで、別の操作とは、タッチパネル上におけるピンチイン、ピンチアウト、ダブルタップ等の操作である。但し、これらの操作は一例であり、他の操作であってもよい。
ステップS1007の処理は、第一の実施形態におけるステップS205の処理と同様の処理であり、読影終了の指示があったかどうかを判定する。読影終了の指示があった場合は図10の処理を終了し、読影終了の指示がなかった場合は、処理はステップS1003に戻る。
以上のように、第3の実施形態に係る医用画像表示装置によれば、以下の効果を得られる。つまり、任意のサムネイルの任意の部分領域に対して方向情報を付与することで、当該サムネイルに対応した医用画像データを、入力した方向情報に応じて決定される表示領域に、方向情報が付与された部分領域に対応した表示条件で表示することができる。従って、少ない手間で、ユーザの意図した表示領域に、ユーザの意図した表示条件で画像を表示することができる医用画像表示装置及び医用画像表示方法を提供することができる。
以上のように、上記各実施形態によれば、サムネイルに表示されている縮小画像に解剖学的領域に応じた部分領域が設定され、部分領域には解剖学的領域に応じた表示条件が対応付けられる。サムネイルの選択操作により、設定された部分領域のうちの任意の部分領域も特定することができるので、ユーザはサムネイルの選択操作により表示する医用画像データとその表示条件を指定することができる。したがって、ユーザの少ない操作で、選択されたサムネイルに対応するデータを任意の表示条件でメイン画像表示領域に表示することができるという効果がある。
なお、上記各実施形態では、サムネイル表示領域とメイン画像表示領域が同一の表示画面に表示されているが、サムネイル表示領域とメイン画像表示領域が別々の表示器により表示されてもよい。また、サムネイルの部分領域に対応した表示条件の取得においては、図3(C)に示したような、部分領域と解剖学的部位の対応付けを管理し、解剖学的部位に基づいて部分領域に対応する表示条件を取得したが、これに限られるものではない。たとえば、各部分領域に表示条件を直接対応付けて管理し、特定された部分領域の表示条件を取得するようにしてもよい。その場合、図3(C)の解剖学的領域の欄が表示条件となる。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
10:画像表示装置、21:LAN、22:データベース、31:通信インターフェイス、32:ROM、33:RAM、34:記憶部、35:操作部、36:表示部、37:制御部、41:医用画像取得部、42:画像領域取得部、43:サムネイル作成部、44:選択領域取得部、45:表示処理部、46:分割条件取得部、47:方向取得部
発明の一態様による画像処理装置は、
3次元医用画像から解剖学的領域を抽出する抽出手段と、
前記3次元医用画像に含まれる複数の2次元画像から、前記2次元画像に含まれる前記解剖学的領域の数に基づいて代表画像を取得する取得手段と、
を備える。

Claims (16)

  1. 医用画像データを表示するための表示制御装置であって、
    医用画像データから得られる縮小画像を用いて、該医用画像データを選択するためのサムネイルを生成する生成手段と、
    前記医用画像データから得られる解剖学的領域にしたがって、前記サムネイルに部分領域を設定する設定手段と、
    表示されている前記サムネイルを選択する指示に応じて、前記指示により特定される部分領域に対応する表示条件を取得する取得手段と、
    前記指示に応じて、前記取得手段により取得された表示条件を用いて前記医用画像データを表示手段に表示させる表示制御手段と、を備えることを特徴とする表示制御装置。
  2. 前記表示条件は、前記指示により特定される部分領域に対応する解剖学的領域のための表示条件であることを特徴とする請求項1に記載の表示制御装置。
  3. 前記表示条件は、前記医用画像データを前記表示手段に表示するための階調変換の条件を含むことを特徴とする請求項1または2に記載の表示制御装置。
  4. 前記表示条件は、前記医用画像データを前記表示手段に表示する際の拡大率および表示する際の中央位置を指定するための情報の少なくとも何れかを含むことを特徴とする請求項1乃至3のいずれか1項に記載の表示制御装置。
  5. 前記表示制御手段は、前記指示に応じて、医用画像データを表示するための複数の表示領域のうちの一つに前記医用画像データを表示することを特徴とする請求項1乃至4のいずれか1項に記載の表示制御装置。
  6. 前記表示制御手段は、前記サムネイルが前記複数の表示領域のうちの一つの表示領域にドラッグアンドドロップされたことに応じて、ドラッグの開始時にポインタにより特定されていた部分領域に対応する表示条件を用いて前記医用画像データを前記一つの表示領域に表示させることを特徴とする請求項5に記載の表示制御装置。
  7. 前記表示制御手段は、
    前記複数の表示領域の配置にしたがって前記サムネイルを分割して得られる複数の分割領域と前記複数の表示領域を対応付け、
    前記複数の表示領域のうちの、前記指示により特定される分割領域に対応する表示領域に前記医用画像データを表示する、ことを特徴とする請求項5に記載の表示制御装置。
  8. 前記表示制御手段は、前記分割領域の境界を示す分割線を前記サムネイルに描画またはオーバーレイ表示することを特徴とする請求項7に記載の表示制御装置。
  9. 前記表示制御手段は、
    前記サムネイルがドラッグまたはフリックされた方向に基づいて前記複数の表示領域のうちの一つの表示領域を選択し、
    前記ドラッグまたはフリックの開始位置によって特定される部分領域に対応付けられた表示条件を用いて前記医用画像データを前記選択された表示領域に表示させることを特徴とする請求項5に記載の表示制御装置。
  10. 前記設定手段が取得する解剖学的な領域は、前記医用画像データを取得するのに用いられたモダリティと撮像部位に応じて決められることを特徴とする請求項1乃至9のいずれか1項に記載の表示制御装置。
  11. 前記表示制御手段は、前記部分領域の境界を示す分割線を前記サムネイルに描画またはオーバーレイ表示することを特徴とする請求項1乃至10のいずれか1項に記載の表示制御装置。
  12. 前記指示は、ポインティングデバイスにより操作されるポインタにより行われることを特徴とする請求項1乃至11のいずれか1項に記載の表示制御装置。
  13. 前記表示条件は、前記医用画像データを取得するために用いられたモダリティと部分領域に対応する解剖学的領域に基づいて決められることを特徴とする請求項1に記載の表示制御装置。
  14. 請求項1乃至13のいずれか1項に記載の表示制御装置と、
    前記サムネイルおよび前記医用画像データを表示するための表示手段と、を備えることを特徴とする医用画像表示装置。
  15. 医用画像表示装置の表示制御方法であって、
    医用画像データから得られる縮小画像を用いて、該医用画像データを選択するためのサムネイルを生成する生成工程と、
    前記医用画像データから得られる解剖学的領域にしたがって、前記サムネイルに部分領域を設定する設定工程と、
    表示されている前記サムネイルを選択する指示に応じて、前記指示により特定される部分領域に対応する表示条件を取得する取得工程と、
    前記指示に応じて、前記取得工程で取得された表示条件を用いて前記医用画像データを表示手段に表示させる表示制御工程と、を有することを特徴とする表示制御方法。
  16. 請求項15に記載された表示制御方法の各工程をコンピュータに実行させるためのプログラム。
JP2018080157A 2018-04-18 2018-04-18 医用画像表示装置、表示制御装置および表示制御方法、プログラム Active JP6797858B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018080157A JP6797858B2 (ja) 2018-04-18 2018-04-18 医用画像表示装置、表示制御装置および表示制御方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018080157A JP6797858B2 (ja) 2018-04-18 2018-04-18 医用画像表示装置、表示制御装置および表示制御方法、プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014120844A Division JP6327966B2 (ja) 2014-06-11 2014-06-11 医用画像表示装置、表示制御装置および表示制御方法、プログラム

Publications (2)

Publication Number Publication Date
JP2018110944A true JP2018110944A (ja) 2018-07-19
JP6797858B2 JP6797858B2 (ja) 2020-12-09

Family

ID=62911498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018080157A Active JP6797858B2 (ja) 2018-04-18 2018-04-18 医用画像表示装置、表示制御装置および表示制御方法、プログラム

Country Status (1)

Country Link
JP (1) JP6797858B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879689A (zh) * 2018-09-05 2020-03-13 富士施乐株式会社 信息处理装置、记录媒体及信息处理方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007125373A (ja) * 2005-09-30 2007-05-24 Given Imaging Ltd 生体内のフィーチャーを検出するためのシステム及び方法
JP2008199330A (ja) * 2007-02-14 2008-08-28 Canon Inc 動画像管理装置
JP2008200373A (ja) * 2007-02-22 2008-09-04 Fujifilm Corp 類似症例検索装置、方法、およびプログラム、ならびに、類似症例データベース登録装置、方法、およびプログラム
JP2008245737A (ja) * 2007-03-29 2008-10-16 Konica Minolta Medical & Graphic Inc 医用情報処理装置
JP2008541889A (ja) * 2005-06-02 2008-11-27 ザ メディパターン コーポレイション コンピュータ支援検出のシステムおよび方法
JP2011508616A (ja) * 2007-12-13 2011-03-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療画像データの組からデータを検索する方法
JP2011087105A (ja) * 2009-10-15 2011-04-28 Canon Inc 画像処理装置及びその制御方法、並びにプログラム及び媒体
JP2012020174A (ja) * 2011-10-17 2012-02-02 Toshiba Corp 医用画像診断装置及び医用画像処理装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008541889A (ja) * 2005-06-02 2008-11-27 ザ メディパターン コーポレイション コンピュータ支援検出のシステムおよび方法
JP2007125373A (ja) * 2005-09-30 2007-05-24 Given Imaging Ltd 生体内のフィーチャーを検出するためのシステム及び方法
JP2008199330A (ja) * 2007-02-14 2008-08-28 Canon Inc 動画像管理装置
JP2008200373A (ja) * 2007-02-22 2008-09-04 Fujifilm Corp 類似症例検索装置、方法、およびプログラム、ならびに、類似症例データベース登録装置、方法、およびプログラム
JP2008245737A (ja) * 2007-03-29 2008-10-16 Konica Minolta Medical & Graphic Inc 医用情報処理装置
JP2011508616A (ja) * 2007-12-13 2011-03-17 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 医療画像データの組からデータを検索する方法
JP2011087105A (ja) * 2009-10-15 2011-04-28 Canon Inc 画像処理装置及びその制御方法、並びにプログラム及び媒体
JP2012020174A (ja) * 2011-10-17 2012-02-02 Toshiba Corp 医用画像診断装置及び医用画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110879689A (zh) * 2018-09-05 2020-03-13 富士施乐株式会社 信息处理装置、记录媒体及信息处理方法
CN110879689B (zh) * 2018-09-05 2024-04-09 富士胶片商业创新有限公司 信息处理装置、记录媒体及信息处理方法

Also Published As

Publication number Publication date
JP6797858B2 (ja) 2020-12-09

Similar Documents

Publication Publication Date Title
US10222954B2 (en) Image display apparatus, display control apparatus and display control method using thumbnail images
JP6960612B2 (ja) 制御方法及びプログラム
JP6827706B2 (ja) 情報処理装置及びその方法、情報処理システム、コンピュータプログラム
JP6799115B2 (ja) 情報端末の制御方法及びプログラム
US11185228B2 (en) Control method of information terminal and computer-readable recording medium
JP6214887B2 (ja) レポート作成支援装置及びレポート閲覧装置
US10181187B2 (en) Information processing apparatus, method thereof, information processing system, and computer-readable storage medium that display a medical image with comment information
JP2015016067A (ja) 画像表示方法および装置並びにプログラム
JP6004875B2 (ja) 医用画像表示装置、医用画像表示方法及びプログラム
JP3989896B2 (ja) 医用画像処理装置、関心領域抽出方法、ならびに、プログラム
JP2005110974A (ja) 医用画像集合処理システム及び医用画像集合処理方法
JP6327966B2 (ja) 医用画像表示装置、表示制御装置および表示制御方法、プログラム
JP6440386B2 (ja) 情報処理装置及びプログラム
CN105302433B (zh) 医疗图像显示装置及其控制方法
US20180365827A1 (en) Creation of a decision support material indicating damage to an anatomical joint
JP6797858B2 (ja) 医用画像表示装置、表示制御装置および表示制御方法、プログラム
JP6572370B2 (ja) 医用画像表示装置およびその制御方法、プログラム
CA3062477A1 (en) Creation of a decision support material indicating damage to an anatomical joint
JP6068883B2 (ja) 画像処理装置及び領域抽出方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180517

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180517

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190326

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190524

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200106

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20200106

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200114

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20200117

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20200214

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20200221

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20200511

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20200615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200722

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20200918

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20201019

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20201019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201118

R151 Written notification of patent or utility model registration

Ref document number: 6797858

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151