JP2014039595A - 画像表示装置及びプログラム - Google Patents

画像表示装置及びプログラム Download PDF

Info

Publication number
JP2014039595A
JP2014039595A JP2012182323A JP2012182323A JP2014039595A JP 2014039595 A JP2014039595 A JP 2014039595A JP 2012182323 A JP2012182323 A JP 2012182323A JP 2012182323 A JP2012182323 A JP 2012182323A JP 2014039595 A JP2014039595 A JP 2014039595A
Authority
JP
Japan
Prior art keywords
image
display
displayed
area
input operation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012182323A
Other languages
English (en)
Other versions
JP5879231B2 (ja
Inventor
Yoshinori Itai
善則 板井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2012182323A priority Critical patent/JP5879231B2/ja
Priority to EP13831778.9A priority patent/EP2888993B1/en
Priority to PCT/JP2013/004630 priority patent/WO2014030303A1/ja
Publication of JP2014039595A publication Critical patent/JP2014039595A/ja
Priority to US14/624,949 priority patent/US9931083B2/en
Application granted granted Critical
Publication of JP5879231B2 publication Critical patent/JP5879231B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7425—Displaying combinations of multiple images regardless of image source, e.g. displaying a reference anatomical image with a live image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/467—Arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B6/469—Arrangements for interfacing with the operator or the patient characterised by special input means for selecting a region of interest [ROI]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
    • A61B5/748—Selection of a region of interest, e.g. using a graphics tablet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5261—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from different diagnostic modalities, e.g. ultrasound and X-ray
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/028—Multiple view windows (top-side-front-sagittal-orthogonal)

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Theoretical Computer Science (AREA)
  • Pulmonology (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

【課題】複数の画像群のそれぞれから取得した断層画像を並べて表示して観察する際に、断層画像が表示される複数の表示領域間での切換え表示の連動／非連動をより簡単に切り替えられるようにする。
【解決手段】断層画像が表示される少なくとも１つの表示領域に連動切換部分領域と非連動切換部分領域を設定し、その表示領域上において、断層画像の切替えを指示する入力操作を受け付け、その入力操作が非連動切換部分領域内で行われた場合には、その表示領域に表示する画像のみを同じ画像群内で連続する他の断層画像に切り換え、その入力操作が連動切換部分領域内で行われた場合には、その表示領域に表示する画像を同じ画像群内で連続する他の断層画像に切り換えるとともに、他の各表示領域に表示する画像を、それまで表示していた画像と同じ画像群内の、入力操作が行われた表示領域に表示される切換え後の断層画像に対応付けられている断層画像に切り換える。
【選択図】図３

Description

本発明は、連続する複数の断層画像からなる２以上の画像群であって、それらの画像群の間で断層画像同士が対応付けられている画像群のそれぞれから１枚ずつ断層画像を取得し、表示画面に並べて表示させる画像表示装置、及びそのような装置において用いられる画像表示プログラムに関するものである。
近年、ＣＴ装置、ＭＲＩ装置、超音波診断装置等の撮影装置により被検者のたとえば体軸に沿って連続する複数の断層画像を撮影し、それを用いて医療診断を行うことが増えてきている。
特許文献１では、患部の経時的変化を観察する際に、撮影装置により患部を含む所定範囲を撮影して得られた複数枚の断層画像からなる当日の画像群と同一患者の略同一の部位が撮影された過去の画像群をそれぞれ読み込み、それらの画像群の間で位置合わせを行うことにより略同一の断層位置が表されている当日の断層画像と過去の断層画像を対応付けし、互いに対応付けられた断層画像を表示画面に並べて表示させることが提案されている。また、特許文献２では、断層画像の切換えを指示するユーザによる入力操作により、あるいは自動で、その互いに対応付けられた断層画像が表示画面上にそれぞれ、同じタイミングで順次表示されるように、表示を切り換えることが提案されている。
特開２００５−１２４８９５号公報 特開２００８‐４３５２４号公報
ところで、このように複数の画像群のそれぞれから取得した断層画像を並べて表示させて比較観察を行う際には、たとえば断層画像同士の対応付けが正しいか否かを確認したい場合等、各表示領域に表示する画像を連動で切り換え表示するモードと、非連動で切り換え表示するモードとを切り替えつつ画像の切換え表示を操作し、比較観察を行うことが必要となる場合がある。
このとき、連動／非連動の切り替えは、たとえば連動／非連動の切り替え指示を受け付けるボタンを画像表示領域の外側に配置し、そのボタン上でのユーザ操作に応じて行えるようにすることができる。しかし、この方法では、その都度カーソルをボタンの位置まで移動させてクリックするといった煩雑な操作が必要となり、利便性に欠ける。なお、上述の各特許文献には、連動の切換え表示に関する記載があるものの、連動／非連動の切り替えに関する記載はない。
本発明は、上記事情に鑑み、複数の画像群のそれぞれから取得した断層画像を並べて表示して観察する際に、ユーザが、断層画像が表示される複数の表示領域間で切換え表示の連動／非連動をより簡単に切り替えることができる画像表示装置及びプログラムを提供することを目的とするものである。
本発明の画像表示装置は、連続する複数の断層画像からなる２以上の画像群であって、画像群の間で断層画像同士が対応付けられている画像群のそれぞれから１枚ずつ断層画像を取得し、表示画面に並べて表示させる表示制御手段と、該表示制御手段により断層画像が表示される複数の表示画面上の表示領域のうち少なくとも１つの表示領域上において、該表示領域に表示する断層画像の切換えを指示する入力操作を受け付ける入力操作受付手段とを備え、表示制御手段が、入力操作受付手段により入力操作を受け付ける少なくとも１つの表示領域に連動切換部分領域と非連動切換部分領域を設定し、操作受付手段により受け付けた入力操作が非連動切換部分領域内で行われた場合には、該入力操作が行われた表示領域に表示する画像のみを同じ画像群内で連続する他の断層画像に切り換え、操作受付手段により受け付けた入力操作が連動切換部分領域内で行われた場合には、該入力操作が行われた表示領域に表示する画像を同じ画像群内で連続する他の断層画像に切り換えるとともに、他の各表示領域に表示する画像を、それまで表示していた画像と同じ画像群内の、入力操作が行われた表示領域に表示される切換え後の断層画像に対応付けられている断層画像に切り換えるものであることを特徴とする。
本発明の画像表示プログラムは、コンピュータを、連続する複数の断層画像からなる２以上の画像群であって、画像群の間で断層画像同士が対応付けられている画像群のそれぞれから１枚ずつ断層画像を取得し、表示画面に並べて表示させる表示制御手段と、該表示制御手段により断層画像が表示される複数の表示画面上の表示領域のうち少なくとも１つの表示領域上において、該表示領域に表示する断層画像の切換えを指示する入力操作を受け付ける入力操作受付手段として機能させるための画像表示プログラムであって、表示制御手段が、入力操作受付手段により入力操作を受け付ける少なくとも１つの表示領域に連動切換部分領域と非連動切換部分領域を設定し、操作受付手段により受け付けた入力操作が非連動切換部分領域内で行われた場合には、該入力操作が行われた表示領域に表示する画像のみを同じ画像群内で連続する他の断層画像に切り換え、操作受付手段により受け付けた入力操作が連動切換部分領域内で行われた場合には、該入力操作が行われた表示領域に表示する画像を同じ画像群内で連続する他の断層画像に切り換えるとともに、他の各表示領域に表示する画像を、それまで表示していた画像と同じ画像群内の、入力操作が行われた表示領域に表示される切換え後の断層画像に対応付けられている断層画像に切り換えるものであることを特徴とする。
ここで、２以上の画像群は、いずれか１つの画像群の全ての断層画像が他の画像群の全ての断層画像と対応付けられているものであってもよいし、いずれか１つの画像群の一部の断層画像が他の画像群の一部または全部の断層画像と対応づけられているものであってもよい。このとき、たとえば被写体の略同一の断層位置が表されている断層画像同士を対応づけることができる。
また、１つの画像群の１枚の断層画像に対応づけられている他の画像群の断層画像は１枚であってもよいし、２枚以上であってもよい。
また、２以上の画像群のそれぞれから１枚ずつ取得し、表示画面に表示させる断層画像は１枚の断層画像であってもよいし、連続する２枚以上の断層画像で作られた１枚の断層画像であってもよい。
また、切換え後の断層画像に対応付けられている断層画像に切り換えるとは、切換え後の断層画像に対して対応付けられている同じ画像群内の断層画像が１枚である場合にはその断層画像に、切換え後の断層画像に対して対応付けられている同じ画像群内の断層画像が２枚以上である場合にはそのいずれか１つの断層画像、あるいはその２枚以上の断層画像を平均した画像等の、その２枚以上の断層画像で作られた１枚の断層画像に切り換えることをいう。
上記本発明の画像表示装置及び画像表示プログラムにおいて、表示制御手段は、非連動切換部分領域を設定しようとする表示領域に表示されている断層画像上の注目領域の少なくとも一部を含む領域を非連動切換部分領域として設定するものであってもよい。
また、表示制御手段は、非連動切換部分領域の境界を表示画面に表示させる機能を有するものであってもよい。
また、本発明の画像表示装置及びプログラムは、３以上の画像群のそれぞれから断層画像を取得し、表示画面に並べて表示させる際に、３以上の画像群それぞれに適用されるものであってもよいし、３以上の画像群のうち少なくとも２つに適用されるものであってもよい。
本発明の画像表示装置及び画像表示プログラムによれば、連続する複数の断層画像からなる２以上の画像群であって、画像群の間で断層画像同士が対応付けられている画像群のそれぞれから１枚ずつ断層画像を取得し、表示画面に並べて表示させる際に、断層画像が表示される少なくとも１つの表示領域に連動切換部分領域と非連動切換部分領域を設定し、その表示領域上において、該表示領域に表示する断層画像の切替えを指示する入力操作を受け付け、その入力操作が非連動切換部分領域内で行われた場合には、該入力操作が行われた表示領域に表示する画像のみを同じ画像群内で連続する他の断層画像に切り換え、その入力操作が連動切換部分領域内で行われた場合には、該入力操作が行われた表示領域に表示する画像を同じ画像群内で連続する他の断層画像に切り換えるとともに、他の各表示領域に表示する画像を、それまで表示していた画像と同じ画像群内の、入力操作が行われた表示領域に表示される切換え後の断層画像に対応付けられている断層画像に切り換えるようにしたので、ユーザは、断層画像が表示される複数の表示領域間での切換え表示の連動／非連動を、入力操作を行う位置を同じ表示領域内に設定されている連動切換部分領域と非連動切換部分領域のいずれか一方から他方へずらすだけで簡単に切り替えることができ、利便性が向上する。
また、通常、ユーザは、連動で切換え表示を行う際には、表示が切り換わる複数の断層画像全体を見渡すように視野範囲が広くなり、非連動で切換え表示を行う際には、切換えを行う断層画像の特に注目領域に集中するように視野範囲が狭くなる傾向があるので、上記本発明の画像表示装置及び画像表示プログラムにおいて、非連動切換部分領域を設定しようとする表示領域に表示されている断層画像上の注目領域の少なくとも一部を含む領域を非連動切換部分領域として設定するようにした場合、ユーザは、より直感的な操作で切換え表示の連動／非連動の切り替えることができ、利便性が向上する。
また、上記本発明の画像表示装置及び画像表示プログラムにおいて、非連動切換部分領域の境界を前記表示画面に表示させるようにした場合、ユーザは、非連動切換部分領域の範囲を認識しつつ、入力操作を行う位置を決定することができ、切換え表示の連動／非連動を切り替える操作をより正確に行うことができる。
画像処理システムの概略構成を示すブロック図 画像表示装置の機能を示す機能ブロック図 表示手段に表示する表示画面の一例を示す図
以下、図面を参照して、本発明の一実施形態について説明する。図１は、画像処理システムの概略構成を示すブロック図である。図１に示すように、このシステムでは、撮影装置１と、画像保管サーバ２と、画像表示装置３とが、ネットワーク９を経由して通信可能な状態で接続されている。
撮影装置１は、被写体を撮影して所定の方向に連続する複数の断層画像からなる画像群を取得するものであり、具体的には、ＣＴ装置やＭＲＩ装置、超音波診断装置等である。撮影装置１は、たとえば被検者の体軸に沿って連続する複数の断層画像を取得する。画像保管サーバ２は、撮影装置１により取得された画像群を画像データベースに保存・管理するコンピュータであり、大容量外部記憶装置やデータベース管理ソフトウェアを備えている。
画像表示装置３は、ユーザからの要求に応じて、撮影装置１や画像保管サーバ２から画像を取得し表示させるコンピュータ（スマートフォンやタブレットコンピュータを含む）であり、ＣＰＵ等が格納される装置本体４と、画像表示を行う表示手段５と、ユーザの入力操作を受け付ける操作手段６（入力操作受付手段）とが設けられている。
表示手段５は、表示機能のあるものであればよく、例えば液晶ディスプレイ、ＣＲＴ、タッチパネル、タッチスクリーン等が適宜用いられる。操作手段６は、ユーザの入力操作を受け付ける機能のあるものであればよく、例えばマウス、キーボード、タッチパッド等が適宜用いられる。タッチペンとタッチペンの操作を受け付けるディスプレイ、タッチパネル、タッチスクリーンなど、表示機能も備えるものはこれらが表示手段５と操作手段６を兼ねるものとして用いることができる。
装置本体４には、ＣＰＵ４ａ、ＲＡＭ４ｂ、ＲＯＭ４ｃ、およびＨＤＤ４ｄが互いにバスラインで接続して設けられている。ＣＰＵ４ａは、ＲＯＭ４ｃやＨＤＤ４ｄに記憶されているプログラムに従い、ＲＡＭ４ｂを一次記憶領域として、各種制御処理、および演算処理を実行する。ＨＤＤ４ｄには、本発明の画像表示プログラムを含む各種プログラムおよびデータが記憶されている。
図２は、画像表示装置３の機能を示す機能ブロック図である。図２に示すように、画像表示装置３の装置本体４は、ＨＤＤ４ｄに記憶されているプログラムによる情報処理をＣＰＵ４ａが実行することで、画像データ取得部４１、記憶手段４２、対応付け手段４３および表示制御手段４４として機能する。
画像データ取得手段４１は、ユーザからの要求に応じて、撮影装置１や画像保管サーバ２から画像データを取得する。たとえば比較観察対象の複数の画像群を特定して比較観察画面の表示を指示するユーザ入力を受けて、撮影装置１や画像保管サーバ２からその特定された複数の画像群の画像データを取得する。画像データ取得手段４１により取得された画像データは記憶手段４２に記憶される。
記憶手段４２は、ＨＤＤ４ｄに対してデータの記憶および読み出しを行う。記憶手段４２は、画像データ取得手段４１、対応付け手段４３および表示制御手段４４からアクセスされ、データの読み書きを行う。
対応付け手段４３は、記憶手段４２から比較観察対象の複数の画像群を読み出し、それらの画像群の間で位置合わせを行うことにより画像群間で略同一の断層位置を表す断層画像同士を対応付けする。具体的には、各画像群の各断層画像について略同一の断層位置を表す他の画像群内の断層画像を対応付けし、その対応関係を表す情報を取得する。ここで、対応関係を表す情報は、断層画像同士の対応関係そのものを表す情報であってもよいが、断層画像同士の対応関係を導きだすことができる情報であれば足りる。対応付け手段４３により取得された対応関係を表す情報は、記憶手段４２に記憶される。
対応付け手段４３は、たとえば記憶手段４２から比較観察対象の２つの画像群を読み出し、それぞれの画像群に含まれている複数の断層画像から３次元画像を生成し、生成された２つの３次元画像Ａ，Ｂに対して非剛体位置合わせ処理を行うことで、各々の３次元画像を他方の３次元画像に最も一致するように変形するための画像変形量ＷＡＢ（ｘａ）、ＷＢＡ（ｘｂ）を断層画像同士の対応関係を表す情報として取得することができる。ここで、ｘａは３次元画像Ａ上の画素を表し、ＷＡＢ(ｘａ)は３次元画像Ａを３次元画像Ｂに最も一致するように変形するための画素ｘａの変位量を表す。また、ｘｂは３次元画像Ｂ上の画素を表し、ＷＢＡ(ｘｂ)は３次元画像Ｂを３次元画像Ａに最も一致するように変形するための画素ｘｂの変位量を表す。これにより、３次元画像Ａを生成する各断層画像は、その断層画像の位置および画像変形量により特定される３次元画像Ｂの１または２以上の断層画像に対応付けられる。
表示制御手段４４は、比較観察対象の複数の画像群を特定して比較観察画面の表示を指示するユーザ入力を受けて、比較観察対象の複数の画像群それぞれから１枚ずつ断層画像を取得し、表示手段５の表示画面に並べて表示させる。
図３は、表示手段５に表示する表示画面５０の一例を示す図である。図３に示すように、表示画面５０には、それぞれの画像群に対応する表示領域が設けられ、その画像群から取得された断層画像が表示される。図示の例では、比較観察対象の２つの画像群のそれぞれから取得された断層画像を表示するため、２つの表示領域５０ａ、５０ｂが設けられている。
表示制御手段４４は、記憶手段２３に記憶されている対応関係を表す情報を参照して、複数の画像群から互いに略同一の断層位置を表す任意の断層画像を取得し、初期表示を行うことができる。たとえば、複数の画像群の中に基準と画像群を１つ設定し、ユーザが指定した位置、あるいはユーザまたはコンピュータ支援診断（CAD：computer-aided diagnosis）システムにより検出された病変の位置を含む断層画像を取得し、その画像群に対応する表示領域に表示させるとともに、その断層画像に対応付けられている他の各画像群の断層画像を取得し、それぞれ対応する表示領域に表示させることができる。
また、表示制御手段４４は、断層画像が表示されている複数の表示領域のうち少なくとも１つの表示領域上において、マウスのホイール操作、キー操作等の断層画像の切替えを指示する入力操作（以下、「ページング操作」という）を操作手段６により受け付けたことを受けて、その表示領域においてのみまたは全ての表示領域において画像の切換え表示を行う。
表示制御手段４４は、操作手段６により入力操作を受け付ける少なくとも１つの表示領域に連動切換部分領域と非連動切換部分領域を予め設定し、入力操作が非連動切換部分領域内で行われた場合には、その表示領域に表示する画像のみを同じ画像群内で連続する他の断層画像に切り換え、入力操作が連動切換部分領域内で行われた場合には、その表示領域に表示する画像を同じ画像群内で連続する他の断層画像に切り換えるとともに、他の各表示領域に表示する画像を、それまで表示していた画像と同じ画像群内の、入力操作が行われた表示領域に表示される切換え後の断層画像に対応付けられている断層画像に切り換える。
たとえば図３に示す表示画面５０において、２つの表示領域５０ａと５０ｂの両方においてそれぞれページング操作を受け付けるようにし、かつ、表示領域５０ｂには非連動切換部分領域５１と連動切換部分領域５２とを設定し、表示領域５０ｂ上において入力操作が行われた場合に、その入力操作が連動切換部分領域５２内で行われたか非連動切換部分領域５１内で行われたかを判定し、その判定結果に応じて一方の表示領域５０ｂにおいてのみ、あるいは表示領域５０ａと５０ｂの両方において表示の切換えを行えるようにすることができる。
具体的には、ユーザが表示領域５０ｂの非連動切換部分領域５１上にマウスのカーソル６１を移動させてページング操作を行ったことを受けて、表示領域５０ｂに表示する画像のみを同じ画像群内で連続する他の断層画像に切り換え、ユーザが表示領域５０ｂの連動切換部分領域５２上にマウスのカーソル６１を移動させてページング操作を行ったことを受けて、表示領域５０ｂに表示する画像を同じ画像群内で連続する他の断層画像に切り換えるとともに、表示領域５０ａに表示する画像を同じ画像群内の、表示領域５０ｂにおける切換え後の断層画像に対応付けられている断層画像に切り換える。また、ユーザが表示領域５０ａ上にマウスのカーソル６１を移動させてページング操作を行ったことを受けて、表示領域５０ａに表示する画像を同じ画像群内で連続する他の断層画像に切り換えるとともに、表示領域５０ｂに表示する画像を同じ画像群内の、表示領域５０ａにおける切換え後の断層画像に対応付けられている断層画像に切り換える。
表示制御手段４４は、連動切換部分領域と非連動切換部分領域をそれぞれ表示領域内において任意の位置及び大きさで設定することができる。連動切換部分領域と非連動切換部分領域は互いに隣接するように設定してもよいし、離れた位置に設定してもよい。また、連動切換部分領域と非連動切換部分領域はそれぞれ予め決められた表示領域内の固定の位置に設定してもよいし、ユーザが指定した位置、あるいはユーザまたはコンピュータ支援診断システムにより検出された病変の位置により定められる位置に設定してもよい。
たとえば、表示領域に表示されている断層画像上の注目領域の少なくとも一部を含む所定大きさの領域を非連動切換部分領域とすることができる。注目領域の全部およびその近傍の領域を含む領域を非連動切換部分領域とするのがより好ましい。非連動切換部分領域の大きさはその表示領域の１／６〜１／４程度とするのが好ましい。また、非連動切換部分領域以外の領域を連動切換部分領域とすることができる。このとき、表示制御手段４４は、非連動切換部分領域の境界を表示画面に表示／非表示させることができる。非連動切換部分領域の境界を表示させるか否かはユーザが任意に選択できるようにするとよい。
図３に示す例では、表示領域５０ｂに表示されている断層画像上の注目領域５３の位置を略中心とした矩形の領域を非連動切換部分領域５１として設定し、それ以外の領域を連動切換部分領域５２として設定し、非連動切換部分領域５１の境界５４を表示している。
上記の構成により、本実施形態の画像処理システムによれば、比較観察対象の連続する複数の断層画像からなる２以上の画像群のそれぞれから１枚ずつ断層画像を取得し、表示画面に並べて表示させる際に、断層画像が表示される少なくとも１つの表示領域に連動切換部分領域と非連動切換部分領域を設定し、その表示領域上において、該表示領域に表示する断層画像の切替えを指示する入力操作を受け付け、その入力操作が非連動切換部分領域内で行われた場合には、該入力操作が行われた表示領域に表示する画像のみを同じ画像群内で連続する他の断層画像に切り換え、その入力操作が連動切換部分領域内で行われた場合には、該入力操作が行われた表示領域に表示する画像を同じ画像群内で連続する他の断層画像に切り換えるとともに、他の各表示領域に表示する画像を、それまで表示していた画像と同じ画像群内の、入力操作が行われた表示領域に表示される切換え後の断層画像に対応付けられている断層画像に切り換えるようにしているので、ユーザは、断層画像が表示される複数の表示領域間での切換え表示の連動／非連動を、入力操作を行う位置を同じ表示領域内に設定されている連動切換部分領域と非連動切換部分領域のいずれか一方から他方へずらすという簡単な操作で切り替えつつ比較観察を行うことができる。
なお、上記実施形態では、比較観察対象の画像群が２つである場合を例示して説明を行ったが、３以上の画像群を比較観察する場合に、３つの画像群を比較観察する場合について上述した各種技術態様をそのまま適用することができる。
また、上記実施形態では、断層画像を表示する全表示領域においてページング操作を受け付けるようにした場合を例示して説明を行ったが、少なくとも１つの表示領域においてのみページング操作を受け付けるようにしてもよい。
また、上記実施形態では、１つの表示領域にのみ連動切換部分領域と非連動切換部分領域を設定している場合を例示して説明を行ったが、ページング操作を受け付ける領域が２以上ある場合、その一部または全部の領域にそれぞれ連動切換部分領域と非連動切換部分領域を設定するようにしてもよい。
また、上記実施形態では、画像表示装置４に対応付け手段４３を設け、画像表示装置４において断層画像同士の対応付け処理が行われるようにした場合について説明したが、その処理が他のコンピュータ等において既に実行され、その結果が参照可能な状態にある場合には、対応付け手段４３の構成は必ずしも必要ではない。
１ 撮影装置
２ 画像保管サーバ
３ 画像表示装置
４ 装置本体
５ 表示手段
６ 操作手段
４１ 画像データ取得手段
４２ 記憶手段
４３ 対応付け手段
４４ 表示制御手段
５０ 表示画面
５１ 非連動切換部分領域
５２ 非連動切換部分領域
５３ 注目領域
５４ 非連動切換部分領域の境界
６１ カーソル

Claims (6)

  1. 連続する複数の断層画像からなる２以上の画像群であって、画像群の間で断層画像同士が対応付けられている画像群のそれぞれから１枚ずつ断層画像を取得し、表示画面に並べて表示させる表示制御手段と、
    該表示制御手段により断層画像が表示される複数の前記表示画面上の表示領域のうち少なくとも１つの表示領域上において、該表示領域に表示する断層画像の切替えを指示する入力操作を受け付ける入力操作受付手段とを備え、
    前記表示制御手段が、前記入力操作受付手段により前記入力操作を受け付ける少なくとも１つの前記表示領域に連動切換部分領域と非連動切換部分領域を設定し、前記操作受付手段により受け付けた前記入力操作が前記非連動切換部分領域内で行われた場合には、該入力操作が行われた表示領域に表示する画像のみを同じ画像群内で連続する他の断層画像に切り換え、前記操作受付手段により受け付けた前記入力操作が前記連動切換部分領域内で行われた場合には、該入力操作が行われた表示領域に表示する画像を同じ画像群内で連続する他の断層画像に切り換えるとともに、他の各表示領域に表示する画像を、それまで表示していた画像と同じ画像群内の、前記入力操作が行われた表示領域に表示される切換え後の断層画像に対応付けられている断層画像に切り換えるものであることを特徴とする画像表示装置。
  2. 前記表示制御手段が、前記非連動切換部分領域を設定しようとする表示領域に表示されている断層画像上の注目領域の少なくとも一部を含む領域を前記非連動切換部分領域として設定するものであることを特徴とする請求項１記載の画像表示装置。
  3. 前記表示制御手段が、前記設定された非連動切換部分領域の境界を前記表示画面に表示させる機能を有するものであることを特徴とする請求項１または２記載の画像表示装置。
  4. コンピュータを、
    連続する複数の断層画像からなる２以上の画像群であって、画像群の間で断層画像同士が対応付けられている画像群のそれぞれから１枚ずつ断層画像を取得し、表示画面に並べて表示させる表示制御手段と、
    該表示制御手段により断層画像が表示される複数の前記表示画面上の表示領域のうち少なくとも１つの表示領域上において、該表示領域に表示する断層画像の切替えを指示する入力操作を受け付ける入力操作受付手段として機能させるための画像表示プログラムであって、
    前記表示制御手段が、前記入力操作受付手段により前記入力操作を受け付ける少なくとも１つの前記表示領域に連動切換部分領域と非連動切換部分領域を設定し、前記操作受付手段により受け付けた前記入力操作が前記非連動切換部分領域内で行われた場合には、該入力操作が行われた表示領域に表示する画像のみを同じ画像群内で連続する他の断層画像に切り換え、前記操作受付手段により受け付けた前記入力操作が前記連動切換部分領域内で行われた場合には、該入力操作が行われた表示領域に表示する画像を同じ画像群内で連続する他の断層画像に切り換えるとともに、他の各表示領域に表示する画像を、それまで表示していた画像と同じ画像群内の、前記入力操作が行われた表示領域に表示される切換え後の断層画像に対応付けられている断層画像に切り換えるものであることを特徴とする画像表示プログラム。
  5. 前記表示制御手段が、前記非連動切換部分領域を設定しようとする表示領域に表示されている断層画像上の注目領域の少なくとも一部を含む領域を前記非連動切換部分領域として設定するものであることを特徴とする請求項４記載の画像表示プログラム。
  6. 前記表示制御手段が、前記設定された非連動切換部分領域の境界を前記表示画面に表示させる機能を有するものであることを特徴とする請求項４または５記載の画像表示プログラム。
JP2012182323A 2012-08-21 2012-08-21 画像表示装置及びプログラム並びに画像表示装置の作動方法 Active JP5879231B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2012182323A JP5879231B2 (ja) 2012-08-21 2012-08-21 画像表示装置及びプログラム並びに画像表示装置の作動方法
EP13831778.9A EP2888993B1 (en) 2012-08-21 2013-07-31 Image display device and program
PCT/JP2013/004630 WO2014030303A1 (ja) 2012-08-21 2013-07-31 画像表示装置及びプログラム
US14/624,949 US9931083B2 (en) 2012-08-21 2015-02-18 Image display apparatus and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012182323A JP5879231B2 (ja) 2012-08-21 2012-08-21 画像表示装置及びプログラム並びに画像表示装置の作動方法

Publications (2)

Publication Number Publication Date
JP2014039595A true JP2014039595A (ja) 2014-03-06
JP5879231B2 JP5879231B2 (ja) 2016-03-08

Family

ID=50149635

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012182323A Active JP5879231B2 (ja) 2012-08-21 2012-08-21 画像表示装置及びプログラム並びに画像表示装置の作動方法

Country Status (4)

Country Link
US (1) US9931083B2 (ja)
EP (1) EP2888993B1 (ja)
JP (1) JP5879231B2 (ja)
WO (1) WO2014030303A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016016205A (ja) * 2014-07-10 2016-02-01 富士フイルム株式会社 医用画像計測装置および方法並びにプログラム
JP2017055934A (ja) * 2015-09-16 2017-03-23 株式会社日立製作所 磁気共鳴イメージング装置、医用画像表示装置、医用画像表示方法、及びプログラム
JP2019220036A (ja) * 2018-06-22 2019-12-26 コニカミノルタ株式会社 医用画像表示システム
JP2020031803A (ja) * 2018-08-29 2020-03-05 富士フイルム株式会社 画像診断支援装置、方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3150127B1 (en) 2014-05-28 2021-10-06 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Ultrasonic imaging method and system
JP2021078824A (ja) * 2019-11-20 2021-05-27 キヤノンメディカルシステムズ株式会社 Ｘ線診断装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001120541A (ja) * 1999-10-28 2001-05-08 Hitachi Medical Corp 医用画像表示装置
JP2005027978A (ja) * 2003-07-09 2005-02-03 Fujitsu Ltd 医療情報システム
JP2008090101A (ja) * 2006-10-04 2008-04-17 Photron Ltd 情報処理装置、その画像表示制御方法、及びその画像表示制御プログラム
JP2009005906A (ja) * 2007-06-28 2009-01-15 Toshiba Corp 医用画像観察システム、及び医用画像観察装置
JP2009072412A (ja) * 2007-09-21 2009-04-09 Fujifilm Corp 画像表示システム及び画像表示装置並びに画像表示方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4401140B2 (ja) 2003-10-24 2010-01-20 株式会社日立メディコ 画像診断支援装置
JP4818846B2 (ja) * 2006-08-16 2011-11-16 富士フイルム株式会社 医用画像処理装置及び医用画像処理プログラム
WO2008039389A1 (en) * 2006-09-22 2008-04-03 U-Systems, Inc. Thick-slice processing and display of information from a volumetric ultrasound scan of a chestwardly compressed breast
JP5572440B2 (ja) * 2009-09-15 2014-08-13 富士フイルム株式会社 診断支援システム、診断支援プログラムおよび診断支援方法
JP5846755B2 (ja) * 2010-05-14 2016-01-20 株式会社東芝 画像診断装置及び医用画像表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001120541A (ja) * 1999-10-28 2001-05-08 Hitachi Medical Corp 医用画像表示装置
JP2005027978A (ja) * 2003-07-09 2005-02-03 Fujitsu Ltd 医療情報システム
JP2008090101A (ja) * 2006-10-04 2008-04-17 Photron Ltd 情報処理装置、その画像表示制御方法、及びその画像表示制御プログラム
JP2009005906A (ja) * 2007-06-28 2009-01-15 Toshiba Corp 医用画像観察システム、及び医用画像観察装置
JP2009072412A (ja) * 2007-09-21 2009-04-09 Fujifilm Corp 画像表示システム及び画像表示装置並びに画像表示方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016016205A (ja) * 2014-07-10 2016-02-01 富士フイルム株式会社 医用画像計測装置および方法並びにプログラム
JP2017055934A (ja) * 2015-09-16 2017-03-23 株式会社日立製作所 磁気共鳴イメージング装置、医用画像表示装置、医用画像表示方法、及びプログラム
JP2019220036A (ja) * 2018-06-22 2019-12-26 コニカミノルタ株式会社 医用画像表示システム
JP7047624B2 (ja) 2018-06-22 2022-04-05 コニカミノルタ株式会社 医用画像表示システム
JP2020031803A (ja) * 2018-08-29 2020-03-05 富士フイルム株式会社 画像診断支援装置、方法及びプログラム

Also Published As

Publication number Publication date
EP2888993A4 (en) 2016-05-18
WO2014030303A1 (ja) 2014-02-27
US9931083B2 (en) 2018-04-03
JP5879231B2 (ja) 2016-03-08
US20150157280A1 (en) 2015-06-11
EP2888993B1 (en) 2017-04-26
EP2888993A1 (en) 2015-07-01

Similar Documents

Publication Publication Date Title
JP5879231B2 (ja) 画像表示装置及びプログラム並びに画像表示装置の作動方法
CN106569673B (zh) 多媒体病历报告的显示方法及多媒体病历报告的显示设备
US11538572B2 (en) Case display apparatus, case displaying method, and storage medium background to seamlessly present diagnostic images captured at different times for comparative reading
JP2020044418A (ja) 情報処理装置、情報処理方法およびプログラム
US10283088B2 (en) Method and apparatus for providing medical information
WO2014097615A1 (ja) タッチパネルを有するコンピュータ、その作動方法、及びプログラム
JP2015173856A (ja) 画像処理装置、およびプログラム
KR20150012880A (ko) 의료 진단 장치의 오류 이벤트 처리 방법, 장치 및 의료 정보 제공 방법, 장치
US10957441B2 (en) Apparatus for displaying image data on a display unit based on a touch input unit
US20140347389A1 (en) Medical image display apparatus
KR101716422B1 (ko) 의료 정보 제공 방법 및 장치
JP2016202721A (ja) 医用画像表示装置及びプログラム
JP2015084938A (ja) 制御装置、制御装置の動作方法およびプログラム
JP2014178458A (ja) 携帯型医療画像表示装置
JP2018175216A (ja) 医用画像表示装置及びプログラム
JP2011103095A (ja) 医用画像表示システム及びプログラム
US9597049B2 (en) Image display control device, operating method for same, and image display control program
JP2020081280A (ja) 画像表示制御システム、画像表示システム及び画像解析装置
JP2008245737A (ja) 医用情報処理装置
JP6491466B2 (ja) 画像処理装置、画像処理装置の制御方法およびプログラム
JPWO2019198128A1 (ja) 内視鏡業務支援システムおよび内視鏡業務支援方法
JP7080587B2 (ja) 情報処理装置、情報処理方法、情報処理システム及びプログラム
JP2016158828A (ja) 医用画像処理装置、方法、及びプログラム
JP6841136B2 (ja) 医用画像表示装置及びプログラム
JP5708483B2 (ja) 読影レポート作成支援装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160201

R150 Certificate of patent or registration of utility model

Ref document number: 5879231

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250