JP2014144215A - Imaging device, method of controlling the same and program - Google Patents

Imaging device, method of controlling the same and program Download PDF

Info

Publication number
JP2014144215A
JP2014144215A JP2013015912A JP2013015912A JP2014144215A JP 2014144215 A JP2014144215 A JP 2014144215A JP 2013015912 A JP2013015912 A JP 2013015912A JP 2013015912 A JP2013015912 A JP 2013015912A JP 2014144215 A JP2014144215 A JP 2014144215A
Authority
JP
Japan
Prior art keywords
imaging
subject
image data
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013015912A
Other languages
Japanese (ja)
Other versions
JP6202827B2 (en
Inventor
Taeko Yamazaki
妙子 山▲崎▼
Kenichi Abe
健一 阿部
Yosuke Igarashi
洋介 五十嵐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013015912A priority Critical patent/JP6202827B2/en
Publication of JP2014144215A publication Critical patent/JP2014144215A/en
Application granted granted Critical
Publication of JP6202827B2 publication Critical patent/JP6202827B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To feed back to a doctor on information based on the state of an affected part when a patient as a subject is imaged under imaging instructions from the doctor.SOLUTION: An imaging device 130 acquires imaging instructions including an imaged part of a subject, and displays on a display unit 135 the imaged part with information indicative of the subject. Then, the imaging device 130 accepts imaging commands with the imaged part and the information indicative of the subject being displayed on the display unit 135. Then, an imaging unit 134 of the imaging device 130 performs imaging processing of the subject according to the acceptance of the imaging commands. Then, the imaging device 130 adds the information based on the state of the affected part of the subject imaged by the imaging unit 134 to the image data generated by the imaging processing.

Description

本発明は、医師の撮影指示のもとに被写体である患者を撮影するための技術に関するものである。   The present invention relates to a technique for photographing a patient as a subject under a doctor's photographing instruction.

近年、病院等の医療機関において情報化が進み、患者の診断情報を管理する電子カルテを導入する機関が増えている。電子カルテ上では、患者の診断履歴情報、投薬情報、手術情報、患部画像データ及びX線画像データ等が一元管理され、データ(情報)の共有や再利用が簡単にできるようになってきている。また、近年のストレージの大容量化によって、患部等の画像データを大量に撮影して電子カルテに格納できるようになった。   In recent years, computerization has progressed in medical institutions such as hospitals, and an increasing number of institutions have introduced electronic medical records that manage patient diagnosis information. On the electronic medical record, patient diagnosis history information, medication information, surgery information, affected part image data, X-ray image data, etc. are centrally managed, and data (information) can be easily shared and reused. . In addition, with the recent increase in storage capacity, it has become possible to take a large amount of image data of affected areas and store it in an electronic medical record.

このような環境の中で、デジタルカメラを利用して患者を撮影し、撮影した画像データを診療の記録として電子カルテに格納するような利用法が頻繁に活用されている。特に、皮膚科、外科又は介護の現場では、患者の傷口、手術痕又は褥瘡(床ずれ)を定期的にデジタルカメラで撮影し、患部の経時変化を観察することが行われている。   In such an environment, a usage method is often used in which a patient is photographed using a digital camera and the photographed image data is stored in an electronic medical record as a medical record. In particular, in the field of dermatology, surgery, or nursing care, a patient's wound, surgical scar, or pressure ulcer (bed slip) is regularly photographed with a digital camera, and changes over time of the affected area are observed.

このようなデジタルカメラの利用シーンでは、必ずしも診察した医師が撮影するとは限らない。医師の指示のもとに、院内の撮影スタッフ或いは看護師、又は、院外の訪問看護師等が撮影する場合がある。この場合、医師が対象患者の名前及びID等の基本情報に加え、撮影部位及び撮影枚数等を含む撮影指示を発行し、撮影者が医師の指示を確認しながら撮影する必要がある。   In such a use scene of a digital camera, a doctor who has examined does not necessarily take a picture. Under the direction of a doctor, an in-hospital imaging staff or nurse or an out-of-hospital visiting nurse may take an image. In this case, it is necessary for the doctor to issue an imaging instruction including the imaging region and the number of images to be taken in addition to basic information such as the name and ID of the target patient, and the photographer needs to take an image while confirming the doctor's instruction.

このような利用シーンに対し、特許文献1には、医師の撮影オーダ発行の際に患者の3次元画像データを画面に表示し、医師が3次元画像データ上の撮影部位を直接指定することによりオーダが発行される技術が開示されている。   For such usage scenes, Patent Document 1 discloses that a 3D image data of a patient is displayed on a screen when a doctor's imaging order is issued, and a doctor directly designates an imaging region on the 3D image data. A technique for issuing an order is disclosed.

また、特許文献2には、デジタルカメラで撮影された患部の画像データを、通信ネットワークを経由して送信し、患部の画像データの内容によって、蓄積された皮膚疾患のデータから対応する疾患名を予測し、対処方法を出力する技術が開示されている。   Further, in Patent Document 2, image data of an affected area captured by a digital camera is transmitted via a communication network, and a corresponding disease name is obtained from accumulated skin disease data according to the content of the image data of the affected area. A technique for predicting and outputting a countermeasure is disclosed.

特開2001−60239号公報JP 2001-60239 A 特開2005−58398号公報JP 2005-58398 A

しかしながら、上記特許文献1では、医師の撮影オーダ発行についてのみ言及されており、撮影者が撮影オーダを確認しながらどのように撮影するのかについては言及されていない。また、訪問看護では、医師が撮影指示を出した時間と、撮影者である訪問看護師が現場で実際に患部を撮影する時間とにタイムラグがある。このため、医師により撮影指示が出された患部の急変や医師に指定された部位以外で発症が起きる可能性が高い。従って、撮影者は、その状況や緊急性を加味し、医師の指示以外での措置や患部情報を的確に医師へ申し送りしなければならない。しかしながら、上記特許文献2では、患部画像データと患者の主訴とから疾患名の予測をすることのみが言及されており、医師への患部情報のフィードバックについては言及されていない。   However, in the above-mentioned Patent Document 1, only the issue of a doctor's imaging order is mentioned, and it is not mentioned how the photographer performs imaging while confirming the imaging order. In home-visit nursing, there is a time lag between the time when the doctor gives a photographing instruction and the time when the home-visit nurse, who is the photographer, actually photographs the affected area at the site. For this reason, there is a high possibility that a sudden change in the affected area, for which an imaging instruction has been issued by the doctor, or an onset other than the part designated by the doctor. Therefore, the photographer must accurately send measures and diseased part information other than instructions from the doctor to the doctor in consideration of the situation and urgency. However, in the above-mentioned patent document 2, only the prediction of the disease name is mentioned from the affected part image data and the patient's chief complaint, and the feedback of the affected part information to the doctor is not mentioned.

そこで、本発明の目的は、医師の撮影指示のもとに被写体である患者を撮影する際、患部の状態に基づく情報を医師へフィードバックすることにある。   Accordingly, an object of the present invention is to feed back information based on the state of an affected area to a doctor when imaging a patient as a subject under a doctor's imaging instruction.

本発明の撮影装置は、被写体の撮影部位を含む撮影指示を取得する取得手段と、前記被写体を示す情報とともに前記撮影部位を表示する表示手段と、前記表示手段において前記被写体を示す情報及び前記撮影部位を表示した状態で、撮影命令を受け付ける受付手段と、前記受付手段により撮影命令が受け付けられることに応じて、前記被写体の撮影処理を行う撮影手段と、前記撮影手段により撮影された前記被写体の患部の状態に基づく情報を、前記撮影処理により生成される画像データに付与する付与手段とを有することを特徴とする。   The imaging apparatus of the present invention includes an acquisition unit that acquires an imaging instruction including an imaging region of a subject, a display unit that displays the imaging region together with information indicating the subject, information indicating the subject on the display unit, and the imaging In a state where the region is displayed, a receiving unit that receives a shooting command, a shooting unit that performs shooting processing of the subject in response to the receiving of a shooting command by the receiving unit, and an image of the subject shot by the shooting unit And an adding unit that adds information based on the state of the affected area to the image data generated by the imaging process.

本発明によれば、医師の撮影指示のもとに被写体である患者を撮影する際、患部の状態に基づく情報を医師へフィードバックすることが可能となる。   According to the present invention, it is possible to feed back information based on the state of an affected part to a doctor when photographing a patient as a subject under a doctor's photographing instruction.

本発明の実施形態に係る撮影処理システムの構成を示す図である。It is a figure which shows the structure of the imaging | photography processing system which concerns on embodiment of this invention. 本発明の実施形態に係る撮影処理システムにおける撮影処理を示すフローチャートである。It is a flowchart which shows the imaging | photography process in the imaging | photography processing system which concerns on embodiment of this invention. 医師により入力される撮影指示の一例を示す図である。It is a figure which shows an example of the imaging | photography instruction | indication input by a doctor. 図2のステップS102における撮影処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the imaging | photography process in step S102 of FIG. 図4のステップS1026で付与される撮影情報(メタデータ)の一例を示す図である。It is a figure which shows an example of the imaging | photography information (metadata) provided by step S1026 of FIG. 患部情報を入力するためのユーザインタフェースの一例を示す図である。It is a figure which shows an example of the user interface for inputting affected part information. 図4のステップS1022において選択される参照図の一例を示す図である。It is a figure which shows an example of the reference figure selected in step S1022 of FIG. 図4のステップS1022における参照図選択処理に使用されるテーブルを示す図である。It is a figure which shows the table used for the reference figure selection process in step S1022 of FIG. 撮影部位の撮影画面の例を示す図である。It is a figure which shows the example of the imaging | photography screen of an imaging | photography site | part. 図4のステップS1022における参照図選択処理の詳細を示すフローチャートである。5 is a flowchart showing details of reference diagram selection processing in step S1022 of FIG. 図4のステップS1023において撮影指示に含まれる全ての撮影部位が表示されるユーザインタフェースの一例を示す図である。It is a figure which shows an example of the user interface by which all the imaging | photography parts contained in an imaging | photography instruction | indication in step S1023 of FIG. 図4のステップS1024においてライブビュー画像データが表示されるユーザインタフェースの他の例を示す図である。It is a figure which shows the other example of the user interface by which live view image data is displayed in step S1024 of FIG. 閲覧優先度管理テーブルの例を示す図である。It is a figure which shows the example of a browsing priority management table. 患者名一覧及び患者の詳細情報の表示例を示す図である。It is a figure which shows the example of a display of a patient name list and the detailed information of a patient. 患者名一覧の表示例を示す図である。It is a figure which shows the example of a display of a patient name list.

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.

先ず、本発明の第1の実施形態について説明する。第1の実施形態では、訪問看護師や介護士等の撮影者が、医師による撮影指示に基づいて、撮影装置であるデジタルカメラを用いて被写体である撮影対象患者を撮影する場合を想定している。   First, a first embodiment of the present invention will be described. In the first embodiment, it is assumed that a photographer such as a visiting nurse or a caregiver photographs a patient to be photographed using a digital camera that is a photographing device based on a photographing instruction from a doctor. Yes.

図1は、本発明の第1の実施形態に係る撮影処理システムの構成を示す図である。図1に示すように、第1の実施形態に係る撮影処理システム100は、クライアント装置110、画像管理サーバ装置120、撮影装置130、有線ネットワーク140及び無線ネットワーク150を備える。ここで、クライアント装置110と画像管理サーバ装置120とは、有線ネットワーク140を介して接続されている。また、画像管理サーバ装置120と撮影装置130とは、無線ネットワーク150を介して接続されている。なお、クライアント装置110は、情報処理装置の例となる構成である。   FIG. 1 is a diagram showing a configuration of an imaging processing system according to the first embodiment of the present invention. As illustrated in FIG. 1, the imaging processing system 100 according to the first embodiment includes a client device 110, an image management server device 120, an imaging device 130, a wired network 140, and a wireless network 150. Here, the client device 110 and the image management server device 120 are connected via a wired network 140. The image management server device 120 and the imaging device 130 are connected via a wireless network 150. The client device 110 is a configuration that is an example of an information processing device.

クライアント装置110は、医師により利用される装置である。図1に示すように、クライアント装置110は、撮影指示入力部111、表示部112及び表示制御部113を備える。撮影指示入力部111は、医師による撮影指示を受け付ける。表示部112は、撮影画像データや患部情報を表示し、医師にこれらを閲覧させる。表示制御部113は、患者名の一覧表示や患者個人の画像データ表示順序を制御する。   The client device 110 is a device used by a doctor. As illustrated in FIG. 1, the client device 110 includes a shooting instruction input unit 111, a display unit 112, and a display control unit 113. The imaging instruction input unit 111 receives an imaging instruction from a doctor. The display unit 112 displays photographed image data and diseased part information, and allows a doctor to view them. The display control unit 113 controls the list display of patient names and the image data display order of individual patients.

画像管理サーバ装置120は、撮影画像データを管理する装置である。図1に示すように、画像管理サーバ装置120は、撮影指示格納部121、画像格納部122及び患部情報格納部123を備える。撮影指示格納部121は、クライアント装置110において受け付けられた医師による撮影指示を格納する。   The image management server device 120 is a device that manages captured image data. As shown in FIG. 1, the image management server device 120 includes a photographing instruction storage unit 121, an image storage unit 122, and an affected part information storage unit 123. The imaging instruction storage unit 121 stores an imaging instruction by a doctor accepted by the client device 110.

画像格納部122は、撮影装置130で撮影された撮影画像データを格納する。患部情報格納部123は、撮影装置130で入力された患部情報を格納する。撮影装置130は、被写体である撮影対象患者を撮影する汎用デジタルカメラである。   The image storage unit 122 stores photographed image data photographed by the photographing device 130. The affected area information storage unit 123 stores the affected area information input by the imaging apparatus 130. The imaging device 130 is a general-purpose digital camera that captures an imaging subject patient as a subject.

図1に示すように、撮影装置130は、記憶部131、入力部132、撮影指示並び換え部133、撮影部134、表示部135及び情報格納制御部136を備える。記憶部131は、各種の情報、各種のデータ及び各種のテーブル等を記憶する。入力部132は、撮影者が患部情報等の情報や各種の指示等を入力する。撮影指示並び換え部133は、クライアント装置110において受け付けられ、撮影指示格納部121にて格納されている医師による撮影指示の並び換えを行う。撮影部134は、レンズ等の光学系を介して結像された被写体の光学像を電子的な撮像画像データに変換する撮像センサを備える。表示部135は、撮影部134の撮像センサにより得られるライブビュー画像データ及び撮影画像データを表示する液晶表示画面を備える。情報格納制御部136は、撮影部134で撮影された撮影画像データを画像管理サーバ装置120の画像格納部122に格納させるとともに、入力部132で入力された患部情報を画像管理サーバ装置120の患部情報格納部123に格納する。   As illustrated in FIG. 1, the photographing apparatus 130 includes a storage unit 131, an input unit 132, a photographing instruction rearranging unit 133, a photographing unit 134, a display unit 135, and an information storage control unit 136. The storage unit 131 stores various information, various data, various tables, and the like. The input unit 132 allows the photographer to input information such as affected area information and various instructions. The imaging instruction rearrangement unit 133 is received by the client device 110 and rearranges the imaging instructions by the doctor stored in the imaging instruction storage unit 121. The imaging unit 134 includes an imaging sensor that converts an optical image of a subject formed through an optical system such as a lens into electronic captured image data. The display unit 135 includes a liquid crystal display screen that displays live view image data and captured image data obtained by the imaging sensor of the imaging unit 134. The information storage control unit 136 stores the captured image data captured by the imaging unit 134 in the image storage unit 122 of the image management server device 120 and the affected site information input by the input unit 132. The information is stored in the information storage unit 123.

図2は、本発明の第1の実施形態に係る撮影処理システム100における撮影処理を示すフローチャートである。なお、図2に示す処理は、医師がクライアント装置110に対して撮影指示を行うことにより開始される処理である。また、図2に示す処理は、撮影処理システム100における該当する装置内で、CPUがHDD等の記録媒体から必要なデータ及びプログラムを読み出して実行することにより、実現する処理である。   FIG. 2 is a flowchart showing a photographing process in the photographing processing system 100 according to the first embodiment of the present invention. Note that the process illustrated in FIG. 2 is a process that is started when a doctor instructs the client apparatus 110 to perform imaging. 2 is a process realized by the CPU reading and executing necessary data and programs from a recording medium such as an HDD in the corresponding apparatus in the imaging processing system 100.

ステップS101において、クライアント装置110の撮影指示入力部111は、医師による撮影指示を受け付ける。そして、クライアント装置110は、有線ネットワーク140を介して、当該撮影指示を画像管理サーバ装置120に対して送信する。画像管理サーバ装置120は、画像管理サーバ装置120から受信した撮影指示を撮影指示格納部121に格納する。   In step S101, the imaging instruction input unit 111 of the client apparatus 110 receives an imaging instruction from a doctor. Then, the client device 110 transmits the shooting instruction to the image management server device 120 via the wired network 140. The image management server device 120 stores the shooting instruction received from the image management server device 120 in the shooting instruction storage unit 121.

ステップS102において、撮影装置130は、無線ネットワーク150を介して、画像管理サーバ装置120の撮影指示格納部121から撮影指示を読み込む(ロードする)。そして、撮影装置130は、撮影指示の並び換えを行った後、並び換え後の撮影指示を表示部135に表示する。その後、表示部135に表示された撮影指示に従って撮影者が撮影操作を行うと、撮影装置130は、撮影対象患者の撮影処理を行うことにより、撮影対象患者の撮影画像データを生成する。また、撮影者は入力部132より撮影対象患者の患部情報を入力する。撮影装置130は、撮影対象患者の撮影画像データ及び患部情報を、無線ネットワーク150を介して画像管理サーバ装置120に対して送信する。画像管理サーバ装置120は、撮影対象患者の撮影画像データ及び患部情報を撮影装置130から受信すると、撮影画像データを画像格納部122に格納するとともに、患部情報を患部情報格納部123に格納する。   In step S <b> 102, the imaging apparatus 130 reads (loads) an imaging instruction from the imaging instruction storage unit 121 of the image management server apparatus 120 via the wireless network 150. Then, after rearranging the photographing instructions, the photographing apparatus 130 displays the rearranged photographing instructions on the display unit 135. Thereafter, when the photographer performs a photographing operation in accordance with the photographing instruction displayed on the display unit 135, the photographing apparatus 130 performs photographing processing on the photographing target patient to generate photographing image data of the photographing target patient. The photographer inputs the affected area information of the patient to be imaged from the input unit 132. The imaging device 130 transmits the captured image data and affected area information of the patient to be imaged to the image management server device 120 via the wireless network 150. When the image management server apparatus 120 receives the captured image data and the affected area information of the patient to be imaged from the imaging apparatus 130, the image management server apparatus 120 stores the captured image data in the image storage section 122 and stores the affected area information in the affected area information storage section 123.

ステップS103において、クライアント装置110は、画像管理サーバ装置120の画像格納部122に格納されている撮影画像データを取得するとともに、画像管理サーバ装置120の患部情報格納部123に格納されている患部情報を取得する。そして、クライアント装置110は、撮影画像データ及び患部情報を医師が閲覧できるように表示部112に表示する。   In step S <b> 103, the client device 110 acquires the captured image data stored in the image storage unit 122 of the image management server device 120, and the affected site information stored in the affected site information storage unit 123 of the image management server device 120. To get. Then, the client device 110 displays the captured image data and the affected part information on the display unit 112 so that the doctor can browse.

図3は、医師により入力される撮影指示の一例を示す図である。図3に示す例では、撮影指示300には、患者名、患者ID、年齢及び性別等の撮影対象患者の患者基本情報と、指示医名、撮影方法、撮影体位、撮影部位(撮影患部)及び注意事項等の撮影情報とが含まれる。図3に示す例では、単純に撮影部位を複数列挙しているが、各撮影部位に対して、撮影枚数、撮影角度、撮影理由及び注意事項等を詳細に設定するようにしてもよい。   FIG. 3 is a diagram illustrating an example of an imaging instruction input by a doctor. In the example shown in FIG. 3, the imaging instruction 300 includes patient basic information of an imaging target patient such as a patient name, patient ID, age, and sex, an instructing doctor name, an imaging method, an imaging position, an imaging site (imaging affected area), and And shooting information such as notes. In the example shown in FIG. 3, a plurality of imaging regions are simply listed, but the number of images, imaging angle, imaging reason, precautions, and the like may be set in detail for each imaging region.

図4は、図2のステップS102における撮影処理の詳細を示すフローチャートである。なお、図4に示す処理は、撮影装置130内においてCPUがROM等の記録媒体から必要なデータ及びプログラムを実行することにより、実現する処理である。   FIG. 4 is a flowchart showing details of the photographing process in step S102 of FIG. Note that the processing illustrated in FIG. 4 is realized by the CPU executing necessary data and programs from a recording medium such as a ROM in the photographing apparatus 130.

ステップS1021において、撮影装置130は、無線ネットワーク150を介して、画像管理サーバ装置120の撮影指示格納部121に格納されている撮影指示を例えば記憶部131にロードする。ここで、画像管理サーバ装置120と撮影装置130とは、Bluetooth(登録商標)に代表される短距離無線通信や赤外線通信等の無線ネットワーク150で接続されている。   In step S <b> 1021, the photographing apparatus 130 loads the photographing instruction stored in the photographing instruction storage unit 121 of the image management server apparatus 120, for example, into the storage unit 131 via the wireless network 150. Here, the image management server device 120 and the imaging device 130 are connected by a wireless network 150 such as short-range wireless communication or infrared communication represented by Bluetooth (registered trademark).

ステップS1022において、撮影装置130は、ステップS1021でロードした撮影指示に含まれる撮影部位に基づいて、記憶部131に格納されているシェーマ(人体部分図)から、参照図としてのシェーマを選択する。なお、本実施形態では、参照図選択処理を撮影装置130で行うようにしているが、画像管理サーバ装置120が撮影指示に含まれる撮影部位に基づいて参照図としてのシェーマを選択し、撮影装置130は、選択された参照図を撮影指示の一部として画像管理サーバ装置120からロードするようにしてもよい。   In step S1022, the imaging device 130 selects a schema as a reference diagram from the schema (human body partial view) stored in the storage unit 131 based on the imaging part included in the imaging instruction loaded in step S1021. In this embodiment, the reference diagram selection process is performed by the imaging device 130. However, the image management server device 120 selects a schema as a reference diagram based on the imaging region included in the imaging instruction, and the imaging device. 130 may load the selected reference diagram from the image management server device 120 as part of the shooting instruction.

ステップS1023において、撮影装置130は、撮影指示に含まれる撮影部位を表示部135に表示する。ここでは、例えば、ステップS1022で選択された参照図としてのシェーマ上に、撮影指示に含まれる撮影部位が重畳して表示される。   In step S1023, the imaging apparatus 130 displays the imaging part included in the imaging instruction on the display unit 135. Here, for example, the imaging region included in the imaging instruction is superimposed and displayed on the schema as the reference diagram selected in step S1022.

続いて、撮影者がステップS1022で表示された撮影部位から一つの撮影部位を選択すると、ステップS1024において、撮影装置130は、ステップS1021でロードした撮影指示を表示部135に表示する。ここでは、例えば、ライブビュー画像データに重畳して撮影指示が表示される。また、医師による撮影指示に含まれる撮影部位以外の部位に症例が見られる場合等、医師による撮影指示に含まれる撮影部位以外の部位を撮影する際、撮影者は、シェーマ上において撮影対象とする部位をクリックする。これにより、撮影装置130は、撮影対象の部位名を取得する。   Subsequently, when the photographer selects one imaging region from the imaging regions displayed in step S1022, the imaging device 130 displays the imaging instruction loaded in step S1021 on the display unit 135 in step S1024. Here, for example, a shooting instruction is displayed superimposed on the live view image data. In addition, when photographing a part other than the imaging part included in the imaging instruction by the doctor, such as when a case is seen in a part other than the imaging part included in the imaging instruction by the doctor, the photographer sets the imaging target on the schema. Click on the part. Thereby, the imaging device 130 acquires the name of the part to be imaged.

続いて、撮影者は撮影ボタンを押下する。これにより、ステップS1025において、撮影装置130の撮影部134は、レンズから取り込んだ被写体(撮影対象患者)の光学像を電子的な撮影画像データに変換する撮影処理を行う。ステップS1026において、撮影装置130(例えば、撮影部134)は、ステップS1025の撮影処理で得られた撮影画像データに対し、撮影情報をメタデータとして付与する。本ステップで付与される撮影情報としては、撮影日時や撮影場所のような撮影時に得られる情報に加えて、撮影対象患者の患者基本情報、撮影部位等の撮影指示、及び、入力部132から入力される患部の状態に関する情報(患部情報)等が挙げられる。このように撮影画像データに撮影情報を付与することにより、例えば後日、「右肘頭」のようなキーワードで撮影部位を指定して、撮影画像データを検索することが可能となる。   Subsequently, the photographer presses the shooting button. Thereby, in step S1025, the imaging unit 134 of the imaging device 130 performs imaging processing for converting an optical image of a subject (imaging target patient) captured from the lens into electronic captured image data. In step S1026, the imaging device 130 (for example, the imaging unit 134) adds imaging information as metadata to the captured image data obtained by the imaging process in step S1025. As the imaging information given in this step, in addition to information obtained at the time of imaging such as the imaging date and time and the imaging location, the patient basic information of the imaging target patient, the imaging instruction such as the imaging site, and the input from the input unit 132 are input. Information on the state of the affected area (affected area information) and the like. In this way, by adding the shooting information to the shot image data, it is possible to search the shot image data by designating the shooting site with a keyword such as “right elbow” at a later date.

図5は、図4のステップS1026で付与される撮影情報(メタデータ)の一例を示す図である。図5において、501は撮影情報(メタデータ)である。図5に示すように、撮影情報501は、「部位」502、「撮影指示」503、「前回の病歴」504、「前回の程度」505、及び、患部の状態に関する情報(「S(主訴)506」、「O(前回診察時との患部の差分)507」、「A1(疑わしい病名)508」、「A2(程度)509」、「P(治療方針)510」)から構成される。   FIG. 5 is a diagram illustrating an example of the shooting information (metadata) provided in step S1026 of FIG. In FIG. 5, reference numeral 501 denotes shooting information (metadata). As shown in FIG. 5, the imaging information 501 includes “part” 502, “imaging instruction” 503, “previous medical history” 504, “previous degree” 505, and information regarding the state of the affected area (“S (main complaint) 506 ”,“ O (difference of affected area from previous examination) 507 ”,“ A1 (suspicious disease name) 508 ”,“ A2 (degree) 509 ”,“ P (treatment policy) 510 ”).

「部位」502は、医師による撮影指示から抽出される撮影部位を示す情報である。「前回の病歴」504及び「前回の程度」505は、以前撮影して取得された撮影情報から流用される情報である。「撮影指示」503の要素である{有,無}や患部の状態に関する情報506〜510の各要素は、入力部132から適宜選択される情報である。なお、患部の状態に関する情報506〜510は、一般的なカルテ記載方式であるSOAP形式に準拠した入力分類とする。しかし、患者から得られる主訴、撮影者が客観的に見て得られた情報(撮影者所見)、想定される疾患名、治療方針等の患部に関する情報であれば、項目名は限定されない。   “Part” 502 is information indicating an imaging part extracted from an imaging instruction by a doctor. The “previous medical history” 504 and the “previous degree” 505 are information diverted from imaging information acquired by imaging before. Each element of the information 506 to 510 relating to {Yes, No} and the state of the affected part, which are elements of the “imaging instruction” 503, is information appropriately selected from the input unit 132. Note that the information 506 to 510 regarding the state of the affected area is input classification conforming to the SOAP format which is a general chart description method. However, the item name is not limited as long as it is information related to the affected part such as the main complaint obtained from the patient, information obtained by the photographer objectively (photographer findings), an assumed disease name, and a treatment policy.

図6は、患部情報を入力するためのユーザインタフェースの一例を示す図である。なお、当該インタフェースは、図1の入力部132に相当する構成である。図6に示すように、撮影装置130には、液晶表示画面601や選択ボタン602が設けられている。液晶表示画面601は、タッチパネル操作で入力したい患部情報を選択することが可能となっている。他にも、選択ボタン602を回転させることにより、液晶表示画面601上の患部情報の要素名も連動して回転し、選択ボタン602が押下されることにより、表示領域1203にある要素名を選択することが可能である。   FIG. 6 is a diagram illustrating an example of a user interface for inputting diseased part information. The interface has a configuration corresponding to the input unit 132 in FIG. As shown in FIG. 6, the photographing apparatus 130 is provided with a liquid crystal display screen 601 and a selection button 602. The liquid crystal display screen 601 can select affected area information to be input by a touch panel operation. In addition, when the selection button 602 is rotated, the element name of the affected area information on the liquid crystal display screen 601 is also rotated in conjunction with the selection, and when the selection button 602 is pressed, the element name in the display area 1203 is selected. Is possible.

なお、これらのユーザインタフェースにおける項目毎の要素の並びは、固定順のほかに、前回の撮影時に選択された要素を優先的に上位に表示するようにしてもよい。また、先に設定された項目の要素に基づいて、他の項目の要素の並びを適宜変えるようにしてもよい。例えば、主訴の項目506で“かゆみ”が選択された場合、疑わしい病名を選択する際の項目508の表示順の上位に、“虫さされ”及び“あせも”等を優先的に表示する方法が考えられる。   In addition, the arrangement of the elements for each item in these user interfaces may be preferentially displayed at the top of the elements selected at the previous shooting in addition to the fixed order. Further, the arrangement of the elements of other items may be changed as appropriate based on the elements of the items set in advance. For example, when “itch” is selected in the chief complaint item 506, there is a method of preferentially displaying “insect bites”, “ashe”, etc. at the top of the display order of the item 508 when selecting a suspicious disease name. Conceivable.

ステップS1027において、撮影装置130は、全ての撮影部位に対して撮影処理を終了したか否かを判定する。全ての撮影部位に対して撮影処理を終了していない場合、処理はステップS1023に戻る。そして、撮影装置130は、未だ撮影処理を終了していない撮影部位について、ステップS1023以降の処理を再度行う。一方、全ての撮影部位に対して撮影処理を終了した場合、処理はステップS1028に移行する。   In step S1027, the imaging apparatus 130 determines whether imaging processing has been completed for all imaging regions. If the imaging process has not been completed for all imaging regions, the process returns to step S1023. Then, the imaging apparatus 130 performs the processing subsequent to step S1023 again for the imaging region for which imaging processing has not yet been completed. On the other hand, if the imaging process has been completed for all imaging regions, the process proceeds to step S1028.

ステップS1028において、撮影装置130の情報格納制御部136は、ステップS1025の撮影処理で得られた撮影画像データを、撮影者による撮影順ではなく、図3に示す撮影指示に含まれる撮影部位の指示順で、画像管理サーバ装置120の画像格納部122に格納させる。   In step S1028, the information storage control unit 136 of the imaging apparatus 130 indicates the imaging part included in the imaging instruction shown in FIG. 3 instead of the imaging order by the operator, using the imaging image data obtained by the imaging process in step S1025. In order, the image data is stored in the image storage unit 122 of the image management server device 120.

図7は、図4のステップS1022において選択される参照図の一例を示す図である。撮影装置130には、複数のシェーマと呼ばれる部分人体図が保持されている。図7に示すように、シェーマには、「全身」701や「頭部」702のような人体上の表示範囲を示す分類名が付与されており、それぞれの分類名が人体を前面から見たシェーマ名と背面から見たシェーマ名とを保持している。ここでは、分類名として「全身」701及び「頭部」702だけを示しているが、その他にも、「右前腕」や「右手掌」等、想定される撮影シーンに応じて必要なシェーマが予め用意されている。   FIG. 7 is a diagram illustrating an example of a reference diagram selected in step S1022 of FIG. The imaging device 130 holds a partial human body diagram called a schema. As shown in FIG. 7, the schema is given classification names indicating the display range on the human body, such as “whole body” 701 and “head” 702, and each classification name is viewed from the front of the human body. It holds the schema name and the schema name seen from the back. Here, only “whole body” 701 and “head” 702 are shown as classification names, but other schemas such as “right forearm” and “right palm” are required depending on the assumed shooting scene. Prepared in advance.

図8は、図4のステップS1022における参照図選択処理に使用されるテーブルを示す図である。なお、図8に示すテーブルは、例えば、撮影装置130の記憶部131に記憶されている。   FIG. 8 is a diagram showing a table used for the reference diagram selection process in step S1022 of FIG. Note that the table shown in FIG. 8 is stored in the storage unit 131 of the photographing apparatus 130, for example.

分類名801は、図7に示す「全身」701や「頭部」702のように人体上の表示範囲を示している。また、図8のシェーマ名803に示すように、分類名801それぞれについて、人体の前面から見たシェーマ名と人体の背面から見たシェーマ名とが格納される。   The classification name 801 indicates a display range on the human body such as “whole body” 701 and “head” 702 shown in FIG. Further, as shown in a schema name 803 in FIG. 8, for each classification name 801, a schema name viewed from the front of the human body and a schema name viewed from the back of the human body are stored.

要素805は、シェーマ名803に該当するシェーマ上に表示される人体上の部位名を格納する。なお、この要素805に格納される部位は、必ずしも正確に人体構造上表示可能でなくてもよい。例えば、シェーマ名803の「全身前面」に含まれる要素「右肘頭」は、正確には「全身背面」に含まれるべきであるが、撮影時には、図9に示すように、人体の正面から肘を曲げて撮影されることになる。従って、撮影者に対する表示のわかりやすさを優先して、要素「右肘頭」は「全身前面」に配置されている。要素数804は、シェーマ名803に含まれる要素805の数であり、要素数802は、分類名801に含まれる要素805の数である。   The element 805 stores a part name on the human body displayed on the schema corresponding to the schema name 803. Note that the part stored in the element 805 does not necessarily have to be accurately displayed on the human body structure. For example, the element “right elbow” included in the “front of the whole body” of the schema name 803 should be included in the “back of the whole body” to be precise, but at the time of photographing, as shown in FIG. It will be taken with the elbows bent. Therefore, the element “right elbow” is arranged on the “front of the whole body” in order to give priority to easy understanding of the display for the photographer. The number of elements 804 is the number of elements 805 included in the schema name 803, and the number of elements 802 is the number of elements 805 included in the classification name 801.

図10は、図4のステップS1022における参照図選択処理の詳細を示すフローチャートである。なお、図10に示す処理は、撮影装置130内において、CPUがROM等から必要なデータ及びプログラムを実行することにより、実現する処理である。   FIG. 10 is a flowchart showing details of the reference diagram selection process in step S1022 of FIG. Note that the processing illustrated in FIG. 10 is realized by the CPU executing necessary data and programs from the ROM or the like in the photographing apparatus 130.

ステップS10221において、撮影装置130は、全ての撮影部位を含むシェーマ名803を図8に示すテーブルから検索する。なお、ここでいう全ての撮影部位とは、ステップS1021でロードされた撮影指示に含まれる全ての撮影部位を意味する。ステップS10222において、撮影装置130は、全ての撮影部位を含むシェーマ名803が存在するか否かを判定する。全ての撮影部位を要素805に含むシェーマ名803が存在する場合、処理はステップS10226に移行する。一方、全ての撮影部位を要素805に含むシェーマ名803が存在しない場合、処理はステップS10223に移行する。   In step S10221, the imaging apparatus 130 searches for a schema name 803 including all imaging parts from the table shown in FIG. In addition, all the imaging | photography site | parts here mean all the imaging | photography site | parts included in the imaging | photography instruction | indication loaded by step S1021. In step S10222, the imaging apparatus 130 determines whether there is a schema name 803 that includes all imaging regions. If there is a schema name 803 that includes all imaging regions in the element 805, the process proceeds to step S10226. On the other hand, if there is no schema name 803 that includes all imaging regions in the element 805, the process proceeds to step S10223.

ステップS10223において、撮影装置130は、全ての撮影部位を要素805に含む分類名801を取得する。ステップS10222にて、全ての撮影部位を要素805に含むシェーマ名803が存在しないと判定されたということは、人体の前面だけ又は背面だけのシェーマでは全ての撮影部位を表示することができないことを意味する。例えば、図3に示す撮影指示の撮影部位{右肘頭、左肘頭、右殿部、左膝蓋}について、図8に示すテーブルの要素805を検索すると、右殿部は、人体の背面を示すシェーマにしか存在せず、右肘頭及び左肘頭は、人体の前面を示すシェーマにしか存在しない。即ち、全ての撮影部位を含むシェーマは存在しない。従って、全身前面及び全身背面のシェーマのペアを持つ分類名801に対して検索範囲が広げられる。   In step S10223, the imaging apparatus 130 acquires a classification name 801 that includes all imaging regions in the element 805. If it is determined in step S10222 that there is no schema name 803 including all imaging parts in the element 805, it means that not all imaging parts can be displayed using only the front or back schema of the human body. means. For example, when the table element 805 shown in FIG. 8 is searched for the imaging part {right olecranon, left elbow, right gluteal area, left patella} of the imaging instruction shown in FIG. 3, the right gluteal area shows the back of the human body. The right elbow head and the left elbow head exist only in the schema showing the front of the human body. That is, there is no schema that includes all imaging regions. Therefore, the search range is expanded for the classification name 801 having a pair of schemas on the front of the whole body and the back of the whole body.

ステップS10224において、撮影装置130は、ステップS10223で取得した分類名801が複数存在した場合、図8に示す要素数802を参照して、最も小さい要素数を持つ分類名801を取得する。これは、全ての撮影指示を表示することができる最小のシェーマを取得することを意味する。図8の例では、図3に示す撮影指示に含まれる撮影部位{右肘頭、左肘頭、右殿部、左膝蓋}を全て含む分類名801は「全身」しか存在しないため、「全身」の分類名801が取得される。   In step S10224, when there are a plurality of classification names 801 acquired in step S10223, the imaging apparatus 130 refers to the number of elements 802 illustrated in FIG. 8 and acquires the classification name 801 having the smallest number of elements. This means that the minimum schema that can display all shooting instructions is acquired. In the example of FIG. 8, the classification name 801 including all of the imaging parts {right elbow head, left elbow head, right gluteal region, left patella} included in the imaging instruction shown in FIG. "Is acquired.

ステップS10225において、撮影装置130は、ステップS10224で取得した分類名801に含まれるシェーマを参照図として取得する。図8の例では、シェーマ名803が「全身前面」及び「全身背面」に該当するシェーマが参照図として取得される。   In step S10225, the imaging device 130 acquires the schema included in the classification name 801 acquired in step S10224 as a reference diagram. In the example of FIG. 8, schemas whose schema names 803 correspond to “front of whole body” and “back of whole body” are acquired as reference diagrams.

ステップS10226において、撮影装置130は、全ての撮影部位を要素805に含むシェーマ名803を取得する。例えば、撮影指示に含まれる撮影部位が{前頭,右頬}であった場合、撮影装置130は、図8に示す要素805を検索して、全ての撮影部位を要素805に含むシェーマ名「全身前面」とシェーマ名「頭部前面」とを取得する。   In step S10226, the imaging apparatus 130 acquires a schema name 803 that includes all imaging regions in the element 805. For example, when the imaging region included in the imaging instruction is {frontal, right cheek}, the imaging device 130 searches for the element 805 shown in FIG. 8 and the schema name “whole body” including all the imaging regions in the element 805. Get the “front” and schema name “front of head”.

ステップS10227において、撮影装置130は、ステップS10226で取得したシェーマ名803のうち、図8に示す要素数804が最も小さいシェーマ名803を取得する。上述した例では、シェーマ名「全身前面」の要素数804とシェーマ名「頭部前面」の要素数804とを比較し、要素数804が少ないシェーマ名「頭部前面」が取得される。   In step S10227, the imaging device 130 acquires the schema name 803 having the smallest number of elements 804 shown in FIG. 8 among the schema names 803 acquired in step S10226. In the example described above, the number of elements 804 of the schema name “front of the whole body” is compared with the number of elements 804 of the schema name “front of head”, and the schema name “front of head” having a smaller number of elements 804 is acquired.

ステップS10228において、撮影装置130は、ステップS10227で取得したシェーマ名803に該当するシェーマを取得する。これにより、撮影部位を全て含み、且つ、最も細部を表示可能なシェーマが参照図として取得される。   In step S10228, the imaging apparatus 130 acquires a schema corresponding to the schema name 803 acquired in step S10227. As a result, a schema that includes all the imaging regions and can display the most details is acquired as a reference diagram.

図11は、図4のステップS1023において撮影指示に含まれる全ての撮影部位が表示されるユーザインタフェースの一例を示す図である。図11の例では、撮影装置130には、液晶表示画面1101や撮影ボタン1102が設けられている。液晶表示画面1101では、タッチパネル操作が可能である。また、液晶表示画面1101には、以下の1103乃至1105の表示領域が設けられている。   FIG. 11 is a diagram showing an example of a user interface in which all the imaging parts included in the imaging instruction are displayed in step S1023 of FIG. In the example of FIG. 11, the photographing apparatus 130 is provided with a liquid crystal display screen 1101 and a photographing button 1102. On the liquid crystal display screen 1101, a touch panel operation is possible. The liquid crystal display screen 1101 is provided with the following display areas 1103 to 1105.

1103は、現在の画面が撮影部位を示す画面であることを表示するための表示領域である。1104は、図10に示す処理で取得された参照図(シェーマ)を表示するための領域である。例えば、図3に示す撮影指示に対し、図10に示す処理でシェーマ名「全身前面」に該当するシェーマとシェーマ名「全身背面」に該当するシェーマとが取得された場合、これらは参照図として表示領域1104に表示される。1105は、表示領域1104に表示されたシェーマ上に撮影部位を表示するための表示領域である。例えば、撮影装置130は、複数のシェーマセットを記憶部131に記憶させておくとともに、各シェーマセットに含まれる各シェーマ上の座標及び部位の組み合わせをインデックスとして記憶部131に記憶させておく。そして、撮影装置130は、記憶部131から該当するシェーマのインデックスを参照することにより、当該シェーマ上に撮影部位をマーキングする。これにより、表示領域1105が表示される。撮影者が表示領域1105(撮影部位名のテキスト又はマーキング部分)をタッチすると、撮影装置130は、図9に示すような、選択された撮影部位の撮影画面を表示する。   Reference numeral 1103 denotes a display area for displaying that the current screen is a screen showing the imaging region. Reference numeral 1104 denotes an area for displaying a reference diagram (schema) acquired by the processing shown in FIG. For example, when a schema corresponding to the schema name “front of the whole body” and a schema corresponding to the schema name “back of the whole body” are acquired in the process shown in FIG. 10 in response to the shooting instruction shown in FIG. It is displayed in the display area 1104. Reference numeral 1105 denotes a display area for displaying an imaging region on the schema displayed in the display area 1104. For example, the imaging device 130 stores a plurality of schema sets in the storage unit 131 and also stores, in the storage unit 131, a combination of coordinates and parts on each schema included in each schema set as an index. Then, the imaging apparatus 130 marks an imaging region on the schema by referring to the index of the corresponding schema from the storage unit 131. Thereby, the display area 1105 is displayed. When the photographer touches the display area 1105 (text or marking part of the imaging part name), the imaging apparatus 130 displays an imaging screen of the selected imaging part as shown in FIG.

図9は、図4のステップS1024においてライブビュー画像データが表示されるユーザインタフェースの一例を示す図である。図9において、撮影装置130には、液晶表示画面901や撮影ボタン902が設けられている。液晶表示画面901は、レンズを通して見える映像をライブビュー画像データとして表示しており、タッチパネル操作で入力が可能となっている。撮影者が撮影ボタン902を押下すると、撮影装置130は、レンズから取り込んだ被写体(撮影対象患者)の光学像を電子的な撮影画像データに変換する撮影処理を行う。   FIG. 9 is a diagram illustrating an example of a user interface on which live view image data is displayed in step S1024 of FIG. In FIG. 9, the photographing apparatus 130 is provided with a liquid crystal display screen 901 and a photographing button 902. The liquid crystal display screen 901 displays an image that can be seen through the lens as live view image data, and can be input by a touch panel operation. When the photographer presses the photographing button 902, the photographing apparatus 130 performs photographing processing for converting an optical image of a subject (a subject to be photographed) captured from the lens into electronic photographed image data.

液晶表示画面901には、以下の903乃至905の表示領域が設けられている。903は、撮影者が次に撮影すべき撮影部位を表示するための表示領域であり、図11における表示領域1105から選択された撮影部位が表示される。904は、表示領域903に示された撮影部位に対応する撮影指示を、図11の表示領域1104に表示されたシェーマ上に図示して表示するための表示領域である。なお、表示領域903及び904の何れか一方を表示するようにしてもよい。905は、全ての撮影部位のうち、現在、何番目の撮影部位に対応する撮影処理を行っているのかを表示するための表示領域である。撮影ボタン902が押下され、指示された撮影部位が撮影される度に、表示領域905に表示される撮影済み枚数がカウントアップされる。   The liquid crystal display screen 901 is provided with the following display areas 903 to 905. Reference numeral 903 denotes a display area for displaying the imaging part to be imaged next by the photographer, and the imaging part selected from the display area 1105 in FIG. 11 is displayed. Reference numeral 904 denotes a display area for displaying an imaging instruction corresponding to the imaging region shown in the display area 903 on the schema displayed in the display area 1104 in FIG. Note that either one of the display areas 903 and 904 may be displayed. Reference numeral 905 denotes a display area for displaying which imaging part corresponding to which imaging part is currently being performed among all the imaging parts. Each time the imaging button 902 is pressed and the designated imaging region is imaged, the number of images already displayed in the display area 905 is counted up.

図12は、図4のステップS1024においてライブビュー画像データが表示されるユーザインタフェースの他の例を示す図である。図12において、表示領域1201、撮影ボタン1202、表示領域1203及び表示領域1205は夫々、図9の表示領域901、撮影ボタン902、表示領域903及び表示領域905と同様である。   FIG. 12 is a diagram showing another example of a user interface on which live view image data is displayed in step S1024 of FIG. In FIG. 12, a display area 1201, a shooting button 1202, a display area 1203, and a display area 1205 are the same as the display area 901, the shooting button 902, the display area 903, and the display area 905 of FIG.

1204は、表示領域1203に表示される撮影部位と同様の撮影部位を持つ撮影画像データを表示するための表示領域である。表示領域1204において表示される撮影画像データは、図4のステップS1022の参照図取得処理において、画像管理サーバ装置120の画像格納部122から、表示領域1203に表示された撮影部位をキーワードとして検索され、その検索結果から選択するようにしてもよい。例えば、訪問看護のように定期的に同一人物を撮影する場合、同一患者の前回の撮影処理における同一撮影部位の撮影画像データを表示するようにしてもよい。   Reference numeral 1204 denotes a display area for displaying captured image data having an imaging part similar to the imaging part displayed in the display area 1203. The captured image data displayed in the display area 1204 is retrieved from the image storage unit 122 of the image management server apparatus 120 using the captured region displayed in the display area 1203 as a keyword in the reference diagram acquisition process in step S1022 of FIG. The search result may be selected. For example, when the same person is photographed regularly as in home-visit nursing, the photographed image data of the same photographing part in the previous photographing process of the same patient may be displayed.

以下、図2のステップS103における撮影画像データ表示処理について詳細に説明する。撮影画像データ表示処理時における表示部112の制御は、表示制御部113によって行われる。表示部112では、画像管理サーバ装置120の患部情報格納部123から取得された患部情報に基づき、患者名や患部を強調して撮影画像データを表示することにより、医師に対してこれらの優先的な閲覧を促す。また、表示制御部113は、画像管理サーバ装置120の患部情報格納部123から取得した患部情報に基づき、患者一覧を表示するための制御や、画像格納部122に格納された撮影画像データの表示順の制御を行う。   Hereinafter, the captured image data display process in step S103 of FIG. 2 will be described in detail. The display control unit 113 controls the display unit 112 during the captured image data display process. The display unit 112 emphasizes the patient name and the affected part based on the affected part information acquired from the affected part information storage unit 123 of the image management server device 120, and displays the captured image data, so that these are given priority to the doctor. Encourage proper browsing. In addition, the display control unit 113 performs control for displaying a patient list based on the affected part information acquired from the affected part information storage unit 123 of the image management server device 120, and displays captured image data stored in the image storage unit 122. Control the order.

さらに、表示制御部113は、撮影画像データに関連付けられた患部情報の閲覧優先度を管理するためのテーブルを備える。患者名一覧表示時や患者個人の詳細情報表示時の際には、この閲覧優先度のテーブルに基づいて、患者毎に撮影画像データに対する重み付けが行われる。なお、患者毎の閲覧優先度の重み付けには、過去数日以内に更新があった患部画像データの閲覧優先度の平均値又は合計値が用いられる。   Furthermore, the display control unit 113 includes a table for managing the viewing priority of the affected area information associated with the captured image data. When the patient name list is displayed or when the detailed information of the individual patient is displayed, weighting is performed on the captured image data for each patient based on the browsing priority table. In addition, for the weighting of the viewing priority for each patient, the average value or the total value of the viewing priorities of the affected part image data that has been updated within the past few days is used.

図13(a)は、上述した閲覧優先度を管理するためのテーブル(以下、閲覧優先度管理テーブルと称す)の一例を示している。このテーブルは、医師の撮影指示以外の部位に関して何らかの症状が発生した個所や、医師の撮影指示があったが患部の状態が急変した個所について、優先的に医師に閲覧を促す意図に基づいて設計されている。   FIG. 13A shows an example of a table for managing the browsing priority described above (hereinafter referred to as a browsing priority management table). This table is designed based on the intention to preferentially prompt the doctor to see where a symptom has occurred regarding a part other than the doctor's imaging instruction, or where the doctor's imaging instruction has occurred but the affected area has suddenly changed. Has been.

図14(a)は、図13(a)に示す閲覧優先度管理テーブルに基づき、表示部112に患者名一覧を表示した例を示している。患者名は、患者IDの昇順で表示されているが、これら表示されている患者のうち、閲覧優先度が最も高いと判断された患者ID“003”、患者名“木村太郎”にポップアップ表示1401が行われ、医師に他の患者よりも優先して閲覧するように促される。   FIG. 14A shows an example in which a patient name list is displayed on the display unit 112 based on the browsing priority management table shown in FIG. The patient names are displayed in ascending order of the patient IDs, and among these displayed patients, a pop-up display 1401 is displayed on the patient ID “003” and the patient name “Taro Kimura” determined to have the highest viewing priority. And the doctor is encouraged to view it prior to other patients.

図14(b)も同じく、図13(a)に示す閲覧優先度管理テーブルに基づき、表示部112に患者名一覧を表示させた他の例を示している。ここでは、各患者の閲覧優先度の昇順で患者名一覧が表示される。この例では、閲覧優先度が最も高いと判断された患者ID“003”、患者名“木村太郎”が患者名最上位の1402に表示され、医師に他の患者よりも優先して閲覧するように促される。また、各患者の名前の近傍に、その患者の最新の撮影日に撮影された患部画像データのうち、最も閲覧優先度の高い患部画像データをサムネイル画像データ1403として表示させてもよい。他にも、さらに規定の閲覧優先度を超えた患者は、他の患者と異なる色で表示させたり、表示する文字を大きくする等、医師の注意を引く表示に変更してもよい。   FIG. 14B also shows another example in which a patient name list is displayed on the display unit 112 based on the browsing priority management table shown in FIG. Here, the patient name list is displayed in ascending order of the viewing priority of each patient. In this example, the patient ID “003” and the patient name “Taro Kimura” determined to have the highest browsing priority are displayed on the top 1402 of the patient name so that the doctor browses with priority over other patients. Inspired by Further, the affected part image data having the highest viewing priority may be displayed as thumbnail image data 1403 in the vicinity of each patient's name, among the affected part image data taken on the latest photographing date of the patient. In addition, a patient who exceeds the prescribed browsing priority may be displayed in a different color from other patients, or may be changed to a display that draws the doctor's attention, such as increasing the displayed characters.

図14(c)は、表示部112に患者の詳細情報を表示させた例を示している。患者の詳細情報は、患者名一覧の表示画面から患者名を選択すると、遷移して表示される。1404には、その患者の最も閲覧優先度の高い撮影画像データが表示される。また、1405には、患者情報、及び、最も閲覧優先度の高い撮影画像データに関連付けられた患部情報が表示される。   FIG. 14C shows an example in which detailed information about a patient is displayed on the display unit 112. Detailed patient information is displayed by transition when a patient name is selected from a patient name list display screen. In 1404, captured image data having the highest viewing priority of the patient is displayed. Reference numeral 1405 displays patient information and diseased part information associated with captured image data having the highest browsing priority.

以上、本実施形態によれば、撮影装置130により撮影対象患者が撮影されると、医師の撮影指示の有無や患部の状態等の情報も併せて撮影画像データに付与される。そして、上述した閲覧優先度管理テーブルに基づいて、医師による撮影指示に含まれない撮影部位に関し、何らかの症状が発生した個所や、医師による撮影指示に含まれるが患部の状態が急変した撮影部位について、医師に対して優先的に閲覧を促すことができる。これにより、患部の状態を撮影者から医師に対して確実にフィードバックすることが可能となる。   As described above, according to the present embodiment, when an imaging target patient is imaged by the imaging device 130, information such as the presence / absence of an imaging instruction from a doctor and the state of an affected area is also added to the captured image data. Based on the browsing priority management table described above, with respect to an imaging region that is not included in the imaging instruction by the doctor, a location where some symptom has occurred, or an imaging region that is included in the imaging instruction by the doctor but the state of the affected area has suddenly changed , The doctor can be preferentially urged to browse. As a result, the state of the affected area can be reliably fed back from the photographer to the doctor.

次に、本発明の第2の実施形態について説明する。なお、以下では、第1の実施形態と同様の内容については説明を省略し、第1の実施形態の内容と異なる部分について説明を行うものとする。   Next, a second embodiment of the present invention will be described. In addition, below, description is abbreviate | omitted about the content similar to 1st Embodiment, and the part different from the content of 1st Embodiment shall be demonstrated.

第1の実施形態では、表示制御部113が備える閲覧優先度管理テーブルは、医師の撮影指示以外の部位に関して何らかの症状が発生した個所や、医師の撮影指示があったが患部の状態が急変した個所について、優先的に医師に閲覧を促す意図に基づいて設計されている。その他、患部の病名や医師の専門に応じて、撮影画像データの閲覧優先度を決定してもよい。例えば、高齢者介護では、床ずれは一度発症し、重症化すると完治が難しいため、発症初期段階での治療とその後の予防処置とが重要とされている。このため、図13(b)に示す閲覧優先度管理テーブルでは、疑わしき病名が床ずれである場合、医師の撮影指示外であれば、患部の状態が軽度であっても、閲覧優先度を高くする意図で設計されている。   In the first embodiment, the browsing priority management table provided in the display control unit 113 is a part where some symptom has occurred with respect to a part other than the doctor's imaging instruction, or the doctor's imaging instruction has been given, but the state of the affected area has suddenly changed. The location is designed based on the intention of prompting the doctor to view the site preferentially. In addition, the viewing priority of the captured image data may be determined according to the disease name of the affected part and the specialty of the doctor. For example, in elderly care, bedsores occur once and are difficult to cure once they become severe, and therefore treatment at an early stage of onset and subsequent preventive measures are important. For this reason, in the browsing priority management table shown in FIG. 13 (b), if the suspicious disease name is bed slippage, and if it is outside the doctor's imaging instruction, the browsing priority is increased even if the affected area is mild. Designed with intention.

また、医師の専門によっても医師に優先的に閲覧を促したい条件は変わってくる。例えば、リハビリテーションを専門とする医師は、患部の好転に合わせてリハビリテーションのプログラムの変更を指示する必要がある。このため、撮影者は患部の状態が好転したケースを優先し、医師に患部画像の閲覧を促したいケースが想定される。従って、医師毎に閲覧優先度管理テーブルを用意し、表示内容を変更してもよい。   In addition, the conditions for preferentially prompting the doctor to browse vary depending on the doctor's specialty. For example, a doctor who specializes in rehabilitation needs to instruct a change in the rehabilitation program in accordance with the improvement of the affected area. For this reason, it is assumed that the photographer gives priority to the case where the state of the affected area has improved and wants the doctor to browse the affected area image. Therefore, a browsing priority management table may be prepared for each doctor and the display content may be changed.

図15(a)は、好転を優先的に表示した意図で設計された閲覧優先度管理テーブルを使用し、医師Aの患者名表示状態において、表示された患者の患部の状態が悪化した旨を意図するポップアップを表示した例を示している。図15(b)は、悪化を優先的に表示したい意図で設計された閲覧優先度管理テーブルを使用し、医師Bの患者名一覧表示状態において、表示された患者の患部の状態が好転した旨を意図するポップアップを表示した例を示している。   FIG. 15A shows that the state of the affected area of the displayed patient has deteriorated in the patient name display state of the doctor A using the browsing priority management table designed with the intention of displaying the improvement preferentially. An example of displaying an intended pop-up is shown. FIG. 15 (b) uses the browsing priority management table designed with the intention of preferentially displaying the deterioration, and the state of the affected part of the displayed patient has improved in the patient name list display state of the doctor B. An example of displaying a popup intended for

図15(c)は、好転を優先的に表示したい意図で設計された閲覧優先度管理テーブルと、悪化を優先的に表示したい意図で設計された閲覧優先度管理テーブルとを同時に使用し、それぞれのテーブルで閲覧優先度が高いと判定された患者名の脇にポップアップを表示した例を示している。これにより、患部の病名や医師の専門に応じて、患部の状態を撮影者から医師へ確実にフィードバックすることができる。   FIG. 15 (c) uses a browsing priority management table designed with the intention of preferentially displaying the improvement and a browsing priority management table designed with the intention of displaying the deterioration preferentially. In this table, a pop-up is displayed beside a patient name determined to have a high browsing priority. Thereby, the state of the affected part can be reliably fed back from the photographer to the doctor according to the disease name of the affected part and the specialty of the doctor.

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

100:撮影処理システム、110:クライアント装置、111:撮影指示入力部、112:表示部、113:表示制御部、120:画像管理サーバ装置、121:撮影指示格納部、122:画像格納部、123:患部情報格納部、130:撮影装置、131:記憶部、132:入力部、133:撮影指示並び換え部、134:撮影部、135:表示部、136:情報格納制御部、140:有線ネットワーク、150:無線ネットワーク   100: photographing processing system, 110: client device, 111: photographing instruction input unit, 112: display unit, 113: display control unit, 120: image management server device, 121: photographing instruction storage unit, 122: image storage unit, 123 : Affected part information storage unit, 130: imaging device, 131: storage unit, 132: input unit, 133: imaging instruction rearranging unit, 134: imaging unit, 135: display unit, 136: information storage control unit, 140: wired network 150: Wireless network

Claims (9)

被写体の撮影部位を含む撮影指示を取得する取得手段と、
前記被写体を示す情報とともに前記撮影部位を表示する表示手段と、
前記表示手段において前記被写体を示す情報及び前記撮影部位を表示した状態で、撮影命令を受け付ける受付手段と、
前記受付手段により撮影命令が受け付けられることに応じて、前記被写体の撮影処理を行う撮影手段と、
前記撮影手段により撮影された前記被写体の患部の状態に基づく情報を、前記撮影処理により生成される画像データに付与する付与手段とを有することを特徴とする撮影装置。
Acquisition means for acquiring an imaging instruction including an imaging region of the subject;
Display means for displaying the imaging region together with information indicating the subject;
Receiving means for receiving an imaging command in a state in which the information indicating the subject and the imaging region are displayed on the display means;
Photographing means for performing photographing processing of the subject in response to acceptance of a photographing instruction by the accepting means;
An imaging apparatus comprising: an adding unit that adds information based on a state of an affected part of the subject imaged by the imaging unit to image data generated by the imaging process.
前記被写体は、人体であり、前記被写体の患部の状態に基づく情報は、患者の主訴、撮影者所見、前回診察時との患部の差分、患部の程度、及び、治療方法のうちの少なくとも何れか一つを含むことを特徴とする請求項1に記載の撮影装置。   The subject is a human body, and the information based on the state of the affected area of the subject includes at least one of a patient's chief complaint, a photographer's findings, a difference of the affected area from the previous examination, a degree of the affected area, and a treatment method The imaging device according to claim 1, comprising one. 前記表示手段は、前記被写体を示す情報として人体図を表示し、前記人体図上に前記撮影部位を表示することを特徴とする請求項1又は2に記載の撮影装置。   The imaging device according to claim 1, wherein the display unit displays a human body diagram as information indicating the subject, and displays the imaging region on the human body diagram. 前記表示手段は、前記撮影指示に含まれる、撮影枚数、撮影角度及び撮影体位のうちの少なくとも何れか一つを表示することを特徴とする請求項1乃至3の何れか1項に記載の撮影装置。   The photographing according to any one of claims 1 to 3, wherein the display means displays at least one of the number of photographing, a photographing angle, and a photographing posture included in the photographing instruction. apparatus. 請求項1乃至4の何れか1項に記載の撮影装置と、情報処理装置とを有する撮影処理システムであって、
前記情報処理装置は、
前記撮影指示を入力する入力手段と、
前記入力手段により入力された前記撮影指示を送信する送信手段と、
前記被写体の患部の状態に基づく情報が付与された前記画像データを受信する受信手段と、
前記被写体の患部の状態に基づく情報に応じた表示態様で、前記画像データ又は前記画像データに係る情報を表示部において表示させる表示制御手段とを有することを特徴とする撮影処理システム。
An imaging processing system comprising: the imaging device according to any one of claims 1 to 4; and an information processing device.
The information processing apparatus includes:
Input means for inputting the shooting instruction;
Transmitting means for transmitting the photographing instruction input by the input means;
Receiving means for receiving the image data provided with information based on the state of the affected area of the subject;
An imaging processing system comprising: display control means for causing the display unit to display the image data or information related to the image data in a display mode according to information based on the state of the affected area of the subject.
前記情報処理装置は、
前記被写体の患部の状態に基づく情報に応じた優先度を決定する決定手段を更に有し、
前記表示制御手段は、前記決定手段により決定された優先度に応じた表示態様で、前記画像データ又は前記画像データに係る情報を前記表示部において表示させることを特徴とする請求項5に記載の撮影処理システム。
The information processing apparatus includes:
A determination means for determining a priority according to information based on the state of the affected area of the subject;
6. The display control unit according to claim 5, wherein the display control unit displays the image data or information related to the image data on the display unit in a display mode according to the priority determined by the determination unit. Shooting processing system.
前記決定手段により決定された優先度に応じた表示態様には、ポップアップの表示の有無、サムネイル画像データの表示の有無、及び、前記画像データ又は前記画像データに係る情報の表示順序のうちの少なくとも何れか一つを含むことを特徴とする請求項6に記載の撮影処理システム。   The display mode according to the priority determined by the determining unit includes at least one of the presence / absence of pop-up display, the presence / absence of thumbnail image data, and the display order of the image data or information related to the image data. The imaging processing system according to claim 6, comprising any one of them. 撮影装置の制御方法であって、
被写体の撮影部位を含む撮影指示を取得する取得ステップと、
前記被写体を示す情報とともに前記撮影部位を表示する表示ステップと、
前記被写体を示す情報及び前記撮影部位を表示した状態で、撮影命令を受け付ける受付ステップと、
前記受付ステップにより撮影命令が受け付けられることに応じて、前記被写体の撮影処理を行う撮影ステップと、
前記撮影ステップにより撮影された前記被写体の患部の状態に基づく情報を、前記撮影処理により生成される画像データに付与する付与ステップとを有することを特徴とする撮影装置の制御方法。
A method for controlling an imaging apparatus,
An acquisition step of acquiring an imaging instruction including an imaging region of the subject;
A display step of displaying the imaging region together with information indicating the subject;
A reception step of receiving an imaging command in a state where the information indicating the subject and the imaging region are displayed;
A shooting step for performing shooting processing of the subject in response to a shooting command being received by the receiving step;
A method for controlling an imaging apparatus, comprising: an adding step for adding information based on a state of an affected part of the subject imaged in the imaging step to image data generated by the imaging process.
撮影装置を制御するコンピュータに実行させるためのプログラムであって、
被写体の撮影部位を含む撮影指示を取得する取得ステップと、
前記被写体を示す情報とともに前記撮影部位を表示する表示ステップと、
前記被写体を示す情報及び前記撮影部位を表示した状態で、撮影命令を受け付ける受付ステップと、
前記受付ステップにより撮影命令が受け付けられることに応じて、前記被写体の撮影処理を行う撮影ステップと、
前記撮影ステップにより撮影された前記被写体の患部の状態に基づく情報を、前記撮影処理により生成される画像データに付与する付与ステップとをコンピュータに実行さるためのプログラム。
A program for causing a computer that controls the photographing apparatus to execute the program,
An acquisition step of acquiring an imaging instruction including an imaging region of the subject;
A display step of displaying the imaging region together with information indicating the subject;
A reception step of receiving an imaging command in a state where the information indicating the subject and the imaging region are displayed;
A shooting step for performing shooting processing of the subject in response to a shooting command being received by the receiving step;
A program for causing a computer to execute an adding step of adding information based on the state of an affected area of the subject imaged in the imaging step to image data generated by the imaging process.
JP2013015912A 2013-01-30 2013-01-30 Imaging apparatus, control method thereof, and program Active JP6202827B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013015912A JP6202827B2 (en) 2013-01-30 2013-01-30 Imaging apparatus, control method thereof, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013015912A JP6202827B2 (en) 2013-01-30 2013-01-30 Imaging apparatus, control method thereof, and program

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017165622A Division JP2017205615A (en) 2017-08-30 2017-08-30 Photographing device, control method thereof, program, and photographing processing system

Publications (2)

Publication Number Publication Date
JP2014144215A true JP2014144215A (en) 2014-08-14
JP6202827B2 JP6202827B2 (en) 2017-09-27

Family

ID=51424967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013015912A Active JP6202827B2 (en) 2013-01-30 2013-01-30 Imaging apparatus, control method thereof, and program

Country Status (1)

Country Link
JP (1) JP6202827B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017049695A (en) * 2015-08-31 2017-03-09 キヤノン株式会社 Assistance system, assistance method, and program
JP2021144752A (en) * 2018-05-31 2021-09-24 キヤノン株式会社 Imaging device, control method of imaging device, and program
JP7180799B1 (en) 2022-01-06 2022-11-30 三菱マテリアル株式会社 Dental information processing device, dental information processing system, program, and dental information processing method
WO2023053257A1 (en) * 2021-09-29 2023-04-06 日本電気株式会社 Information processing system, information processing device, information processing method, and non-transitory computer-readable medium having program stored therein
JP7485233B2 (en) 2021-09-29 2024-05-16 日本電気株式会社 Information processing system, information processing device, information processing method, and program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017145930A1 (en) * 2016-02-22 2017-08-31 パナソニックメディカルソリューションズ株式会社 Information processing device for medical examination device

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006075416A (en) * 2004-09-10 2006-03-23 Konica Minolta Medical & Graphic Inc Medical image system
JP2007252609A (en) * 2006-03-23 2007-10-04 Toshiba Corp Diagnostic reading report display device
JP2010051544A (en) * 2008-08-28 2010-03-11 Aiphone Co Ltd Nursing support system
JP2012108761A (en) * 2010-11-18 2012-06-07 Toshiba Corp Ordering system, radiological information management system equipped with the ordering system, and medical information management system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006075416A (en) * 2004-09-10 2006-03-23 Konica Minolta Medical & Graphic Inc Medical image system
JP2007252609A (en) * 2006-03-23 2007-10-04 Toshiba Corp Diagnostic reading report display device
JP2010051544A (en) * 2008-08-28 2010-03-11 Aiphone Co Ltd Nursing support system
JP2012108761A (en) * 2010-11-18 2012-06-07 Toshiba Corp Ordering system, radiological information management system equipped with the ordering system, and medical information management system

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017049695A (en) * 2015-08-31 2017-03-09 キヤノン株式会社 Assistance system, assistance method, and program
JP2021144752A (en) * 2018-05-31 2021-09-24 キヤノン株式会社 Imaging device, control method of imaging device, and program
JP7322097B2 (en) 2018-05-31 2023-08-07 キヤノン株式会社 IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, PROGRAM AND RECORDING MEDIUM
WO2023053257A1 (en) * 2021-09-29 2023-04-06 日本電気株式会社 Information processing system, information processing device, information processing method, and non-transitory computer-readable medium having program stored therein
JP7485233B2 (en) 2021-09-29 2024-05-16 日本電気株式会社 Information processing system, information processing device, information processing method, and program
JP7180799B1 (en) 2022-01-06 2022-11-30 三菱マテリアル株式会社 Dental information processing device, dental information processing system, program, and dental information processing method
JP2023100476A (en) * 2022-01-06 2023-07-19 三菱マテリアル株式会社 Dental information processing apparatus, dental information processing system, program, and dental information processing method
JP7313603B1 (en) 2022-01-06 2023-07-25 三菱マテリアル株式会社 Dental information processing device, dental information processing system, program, and dental information processing method
JP2023107199A (en) * 2022-01-06 2023-08-02 三菱マテリアル株式会社 Dental information processing apparatus, dental information processing system, program and dental information processing method

Also Published As

Publication number Publication date
JP6202827B2 (en) 2017-09-27

Similar Documents

Publication Publication Date Title
JP6143433B2 (en) Medical image photographing apparatus and medical image display method
JP6202827B2 (en) Imaging apparatus, control method thereof, and program
US20220108804A1 (en) Medical support system, information terminal apparatus and patient image data acquisition method
US10642956B2 (en) Medical report generation apparatus, method for controlling medical report generation apparatus, medical image browsing apparatus, method for controlling medical image browsing apparatus, medical report generation system, and non-transitory computer readable medium
KR20130053587A (en) Medical device and medical image displaying method using the same
JP2009112802A (en) Image diagnosis support system and image diagnosis support program
US20130173439A1 (en) System and Method for Remote Veterinary Image Analysis and Consultation
JP6727776B2 (en) Support system, support method, program
US10645273B2 (en) Image capture apparatus, image capture processing system and method for processing image capture
JP2007052699A (en) Medical information processing system
JP2013228800A (en) Information processing apparatus, information processing method and program
JP6195336B2 (en) Imaging apparatus, authentication method, and program
JP2008073397A (en) Method and apparatus of selecting anatomical chart, and medical network system
JP6794495B2 (en) Shooting processing system, its control method and program
JP2017058799A (en) Medical practice support system, server device, and program
JP2017205615A (en) Photographing device, control method thereof, program, and photographing processing system
JP2017216005A (en) Imaging device, authentication method, and program
JP6338733B2 (en) Apparatus, control method therefor, program, and storage medium
JP2008287653A (en) Medical-use image management device and program
JP7353018B2 (en) Medical information processing device and medical information processing program
JP2009199161A (en) Medical image management system
JP2008293189A (en) Medical image management device and program
JP2010131034A (en) Medical image system
JP5512117B2 (en) Medical information system and medical diagnostic report display device
JP2012050785A (en) Medical information display system, medical information display device, and medical information display method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160128

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170829

R151 Written notification of patent or utility model registration

Ref document number: 6202827

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151