JP2021175454A

JP2021175454A - Medical image processing apparatus, method and program

Info

Publication number: JP2021175454A
Application number: JP2020081404A
Authority: JP
Inventors: 佳児中村; Yoshiji Nakamura; 瑞希武井; Mizuki Takei; 俊範平井; Toshinori Hirai; 美菜子東; Minako Azuma; 博中田; Hiroshi Nakada
Original assignee: University of Miyazaki NUC; Fujifilm Corp
Current assignee: University of Miyazaki NUC; Fujifilm Corp
Priority date: 2020-05-01
Filing date: 2020-05-01
Publication date: 2021-11-04

Abstract

To provide a medical image processing apparatus, method and program which can accurately identify an abnormal shadow of a fracture or the like regardless of the grade of the abnormal shadow.SOLUTION: The apparatus comprises at least one processor. The processor identifies a first abnormal shadow in a medical image of a subject. The processor identifies information on external force applied to the subject on the basis of the first abnormal shadow.SELECTED DRAWING: Figure 3

Description

本開示は、医用画像処理装置、方法およびプログラムに関するものである。 The present disclosure relates to medical image processing devices, methods and programs.

近年、ＣＴ(Computed Tomography)装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の医療機器の進歩により、より質の高い高解像度の医用画像を用いての画像診断が可能となってきている。とくに、ＣＴ画像およびＭＲＩ画像等を用いた画像診断により、病変の領域を精度よく特定することができるため、特定した結果に基づいて適切な治療が行われるようになってきている。 In recent years, advances in medical devices such as CT (Computed Tomography) devices and MRI (Magnetic Resonance Imaging) devices have made it possible to perform diagnostic imaging using higher quality high-resolution medical images. In particular, since the lesion region can be accurately identified by image diagnosis using CT images, MRI images, and the like, appropriate treatment has come to be performed based on the identified results.

また、ディープラーニング等により機械学習がなされた学習モデルを用いたＣＡＤ（Computer-Aided Diagnosis）により医用画像を解析して、医用画像に含まれる異常陰影候補等の関心構造物の形状、濃度、位置および大きさ等の性状を判別し、これらを解析結果として取得することも行われている。さらに、学習モデルを用いての、病変等の領域抽出および良悪性鑑別に関する研究も行われている。 In addition, medical images are analyzed by CAD (Computer-Aided Diagnosis) using a learning model that has been machine-learned by deep learning, etc., and the shape, density, and position of structures of interest such as abnormal shadow candidates included in the medical images. It is also practiced to discriminate properties such as size and size, and obtain these as analysis results. Furthermore, studies on region extraction of lesions and benign / malignant discrimination using a learning model are also being conducted.

ところで、交通事故等の救急患者に対しては、肋骨等の骨折の診断を迅速かつ精度よく行うことが必要である。例えば、肋骨が激しく骨折している場合、折れた肋骨が内臓を損傷している可能性が高いため、迅速な治療を行う必要がある。一方、ひび程度の骨折であっても、患者は痛みを感じるため、手術は必要でないにしろ、適切な治療が必要である。ここで、肋骨は湾曲していることから、ＣＴ画像のような３次元画像を用いて骨折の診断を行う場合、１本の肋骨が複数の断層画像に跨がって存在する。このため、肋骨の骨折の診断を行って骨折箇所を特定するためには、断層画像を何度も観察する必要がある。その結果、骨折を特定するための診断に時間を要し、かつ読影医の負担が大きい。さらに、ひび程度の骨折は画像上で周囲の画素値との差異が非常にわずかであるため、見落とされる可能性がある。 By the way, for emergency patients such as traffic accidents, it is necessary to quickly and accurately diagnose fractures such as ribs. For example, if the ribs are severely fractured, the broken ribs are likely to damage the internal organs and require prompt treatment. On the other hand, even if the fracture is cracked, the patient feels pain, so appropriate treatment is necessary even if surgery is not necessary. Here, since the ribs are curved, one rib exists across a plurality of tomographic images when diagnosing a fracture using a three-dimensional image such as a CT image. Therefore, in order to diagnose a rib fracture and identify the fracture location, it is necessary to observe the tomographic image many times. As a result, it takes time to make a diagnosis to identify the fracture, and the burden on the interpreter is heavy. Furthermore, fractures of the degree of cracks can be overlooked because the difference from the surrounding pixel values on the image is very small.

このため、骨折の程度に拘わらず、骨折を検出するための各種手法が提案されている。例えば、特許文献１には、複数の肋骨に関するボリュームデータから、複数の肋骨の芯線をそれぞれ抽出し、芯線の傾きに基づいて肋骨を含む表示範囲を決定して表示する手法が提案されている。特に、特許文献１においては、骨折領域を検出し、骨折領域を検出した方向からの表示画像を生成し、さらに表示画像上に骨折領域がずれている方向を示す矢印を付加することも行われている。 Therefore, various methods for detecting fractures have been proposed regardless of the degree of fractures. For example, Patent Document 1 proposes a method of extracting core wires of a plurality of ribs from volume data relating to a plurality of ribs, determining a display range including the ribs based on the inclination of the core wires, and displaying the core wires. In particular, in Patent Document 1, a fracture region is detected, a display image is generated from the direction in which the fracture region is detected, and an arrow indicating the direction in which the fracture region is displaced is added to the display image. ing.

一方、上述したＣＴ装置およびＭＲＩ装置の高性能化に伴い、読影を行う医用画像の数も増大している。しかしながら、読影医の数は医用画像の数に追いついていないため、読影医の読影業務の負担を軽減することが望まれている。 On the other hand, as the performance of the CT apparatus and the MRI apparatus described above has improved, the number of medical images to be interpreted has also increased. However, since the number of image interpreters has not kept up with the number of medical images, it is desired to reduce the burden of the image interpretation work of the image interpreters.

特開２０１９−１０３７５２号公報Japanese Unexamined Patent Publication No. 2019-103752

上記特許文献１に記載された手法は、読影医の負担を軽減できるものの、ＣＴ装置で取得された多数の画像を読影することは、なおも読影医の負担が大きい。一方、上述したように、ひび程度の骨折であっても、患者は痛みを感じるため、骨折の診断に際しては、骨折の程度に拘わらず、医用画像からすべての骨折を特定する必要がある。さらに、ＣＴ画像のような３次元画像を用いて骨折の診断を行う場合において、医師は、ある一か所の骨折を発見すると、その骨折の外力の方向および大きさに応じて、その近傍の肋骨にも骨折があることを疑い、読影する。このため、医師の読影を反映させた異常陰影の特定が望まれている。 Although the method described in Patent Document 1 can reduce the burden on the image interpreter, it is still a heavy burden on the image interpreter to interpret a large number of images acquired by the CT apparatus. On the other hand, as described above, even if the fracture is about the degree of crack, the patient feels pain. Therefore, when diagnosing the fracture, it is necessary to identify all the fractures from the medical image regardless of the degree of the fracture. Furthermore, when diagnosing a fracture using a three-dimensional image such as a CT image, when a doctor finds a fracture in one place, the doctor finds a fracture in the vicinity thereof according to the direction and magnitude of the external force of the fracture. Suspect that there is a fracture in the ribs and interpret it. Therefore, it is desired to identify an abnormal shadow that reflects the interpretation of a doctor.

本開示は上記事情に鑑みなされたものであり、読影の負担を軽減しつつ、骨折等の異常陰影の程度に拘わらず、異常陰影を精度よく特定できるようにすることを目的とする。 The present disclosure has been made in view of the above circumstances, and an object of the present disclosure is to reduce the burden of interpretation and to enable accurate identification of abnormal shadows regardless of the degree of abnormal shadows such as bone fractures.

本開示による医用画像処理装置は、少なくとも１つのプロセッサを備え、
プロセッサは、
被写体の医用画像における第１の異常陰影を特定し、
第１の異常陰影に基づいて、被写体に加わった外力に関する情報を特定するように構成される。 The medical image processing apparatus according to the present disclosure includes at least one processor.
The processor is
Identify the first anomalous shadow in the subject's medical image and
It is configured to identify information about the external force applied to the subject based on the first anomalous shadow.

「外力に関する情報」とは、例えば、外力が加わった位置、外力が加わった方向および外力が加わった大きさの少なくとも１つが挙げられるが、これらに限定されるものであってもよい。 The "information about the external force" includes, for example, at least one of the position where the external force is applied, the direction in which the external force is applied, and the magnitude in which the external force is applied, but may be limited thereto.

なお、本開示による医用画像処理装置においては、プロセッサは、外力に関する情報に基づいて、医用画像における第２の異常陰影を特定するように構成されるものではない。 In the medical image processing apparatus according to the present disclosure, the processor is not configured to identify the second abnormal shadow in the medical image based on the information regarding the external force.

また、本開示による医用画像処理装置においては、プロセッサは、第２の異常陰影の特定を、第１の異常陰影の特定とは異なる感度で行うように構成されるものであってもよい。 Further, in the medical image processing apparatus according to the present disclosure, the processor may be configured to identify the second abnormal shadow with a sensitivity different from that of the identification of the first abnormal shadow.

また、本開示による医用画像処理装置においては、プロセッサは、第２の異常陰影の特定を、第１の異常陰影の位置に応じて、第１の異常陰影の特定とは異なる感度で行うように構成されるものであってもよい。 Further, in the medical image processing apparatus according to the present disclosure, the processor identifies the second abnormal shadow with a sensitivity different from that of the identification of the first abnormal shadow according to the position of the first abnormal shadow. It may be configured.

また、本開示による医用画像処理装置においては、プロセッサは、第２の異常陰影の特定を、第１の異常陰影の特定よりも高い感度で行うように構成されるものであってもよい。 Further, in the medical image processing apparatus according to the present disclosure, the processor may be configured to identify the second abnormal shadow with higher sensitivity than the identification of the first abnormal shadow.

また、本開示による医用画像処理装置においては、プロセッサは、第２の異常陰影の特定を、第１の異常陰影の特定よりも低い感度で行うように構成されるものであってもよい。 Further, in the medical image processing apparatus according to the present disclosure, the processor may be configured to identify the second abnormal shadow with a lower sensitivity than the identification of the first abnormal shadow.

また、本開示による医用画像処理装置においては、プロセッサは、医用画像における第１の異常陰影の位置にも基づいて、第２の異常陰影を特定するように構成されるものであってもよい。 Further, in the medical image processing apparatus according to the present disclosure, the processor may be configured to identify the second abnormal shadow based on the position of the first abnormal shadow in the medical image.

「第１の異常陰影の位置にも基づいて、第２の異常陰影を特定する」とは、第１の異常陰影を含む予め定められた範囲の領域、第１の異常陰影を含む構造物（すなわち骨または臓器）の領域等において、第２の異常陰影特定することを意味する。 "Identifying the second abnormal shadow based on the position of the first abnormal shadow" means a region in a predetermined range including the first abnormal shadow, and a structure containing the first abnormal shadow ( That is, it means to identify the second abnormal shadow in the area of (bone or organ) or the like.

また、本開示による医用画像処理装置においては、プロセッサは、第１の異常陰影と同一疾患についての第２の異常陰影を特定するように構成されるものであってもよい。 Further, in the medical image processing apparatus according to the present disclosure, the processor may be configured to identify a second abnormal shadow for the same disease as the first abnormal shadow.

この場合、第１の異常陰影および第２の異常陰影は骨折の陰影であってもよい。 In this case, the first abnormal shadow and the second abnormal shadow may be the shadow of the fracture.

また、本開示による医用画像処理装置においては、プロセッサは、第１の異常陰影と異なる疾患についての第２の異常陰影を特定するように構成されるものであってもよい。 Further, in the medical image processing apparatus according to the present disclosure, the processor may be configured to identify a second abnormal shadow for a disease different from the first abnormal shadow.

この場合、第１の異常陰影は骨折の陰影であり、第２の異常陰影は骨折による臓器損傷の陰影であってもよい。 In this case, the first abnormal shadow may be the shadow of the fracture, and the second abnormal shadow may be the shadow of organ damage due to the fracture.

また、本開示による医用画像処理装置においては、プロセッサは、被写体に加わった外力の方向を外力に関する情報として特定するように構成されるものであってもよい。 Further, in the medical image processing apparatus according to the present disclosure, the processor may be configured to specify the direction of the external force applied to the subject as information on the external force.

また、本開示による医用画像処理装置においては、プロセッサは、医用画像および特定された外力の情報をディスプレイに表示するように構成されるものであってもよい。 Further, in the medical image processing apparatus according to the present disclosure, the processor may be configured to display the medical image and the information of the specified external force on the display.

本開示による医用画像処理方法は、被写体の医用画像における第１の異常陰影を特定し、
第１の異常陰影に基づいて、被写体に加わった外力に関する情報を特定する。 The medical image processing method according to the present disclosure identifies a first anomalous shadow in a subject's medical image.
Based on the first anomalous shadow, information about the external force applied to the subject is specified.

なお、本開示による医用画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。 In addition, it may be provided as a program for causing a computer to execute the medical image processing method according to the present disclosure.

本開示によれば、読影の負担を軽減しつつ、異常陰影を精度よく特定できる。 According to the present disclosure, it is possible to accurately identify abnormal shadows while reducing the burden of interpretation.

本開示の実施形態による医用画像処理装置を適用した医療情報システムの概略構成を示す図The figure which shows the schematic structure of the medical information system to which the medical image processing apparatus by embodiment of this disclosure is applied. 本実施形態による医用画像処理装置の概略構成を示す図The figure which shows the schematic structure of the medical image processing apparatus by this embodiment. 本実施形態による医用画像処理装置の機能構成図Functional configuration diagram of the medical image processing device according to this embodiment 骨折陰影が特定された断層画像を示す図Diagram showing tomographic images with identified fracture shadows 外力が加わった方向の特定を説明するための図Diagram to explain the identification of the direction in which the external force is applied 第２の異常陰影を特定する領域を説明するための図A diagram for explaining a region for identifying a second anomalous shadow. 第２の異常陰影を特定する領域を説明するための図A diagram for explaining a region for identifying a second anomalous shadow. 医用画像の表示画面を示す図The figure which shows the display screen of a medical image 本実施形態において行われる情報保存処理を示すフローチャートA flowchart showing the information storage process performed in the present embodiment. 第２の異常陰影の特定を説明するための図Diagram to illustrate the identification of the second anomalous shadow

以下、図面を参照して本開示の実施形態について説明する。まず、本実施形態による医用画像処理装置を適用した医療情報システム１の構成について説明する。図１は、医療情報システム１の概略構成を示す図である。図１に示す医療情報システム１は、公知のオーダリングシステムを用いた診療科の医師からの検査オーダに基づいて、被写体の検査対象部位の撮影、撮影により取得された医用画像の保管、読影医による医用画像の読影と読影レポートの作成、および依頼元の診療科の医師による読影レポートの閲覧と読影対象の医用画像の詳細観察とを行うためのシステムである。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. First, the configuration of the medical information system 1 to which the medical image processing apparatus according to the present embodiment is applied will be described. FIG. 1 is a diagram showing a schematic configuration of the medical information system 1. The medical information system 1 shown in FIG. 1 is based on an inspection order from a doctor in a clinical department using a known ordering system, photographs of a part to be inspected of a subject, storage of a medical image acquired by the imaging, and an interpretation doctor. It is a system for interpreting medical images and creating an interpretation report, and for viewing the interpretation report by the doctor of the requesting clinical department and observing the details of the medical image to be interpreted.

図１に示すように、医療情報システム１は、複数の撮影装置２、読影端末である複数の読影ＷＳ（WorkStation）３、診療ＷＳ４、画像サーバ５、画像データベース（以下、画像ＤＢ（DataBase）とする）６、レポートサーバ７およびレポートデータベース（以下レポートＤＢとする）８が、有線または無線のネットワーク１０を介して互いに通信可能な状態で接続されて構成されている。 As shown in FIG. 1, the medical information system 1 includes a plurality of imaging devices 2, a plurality of image interpretation WS (WorkStation) 3 which are image interpretation terminals, a medical care WS 4, an image server 5, and an image database (hereinafter, image DB (DataBase)). 6. The report server 7 and the report database (hereinafter referred to as the report DB) 8 are connected to each other via a wired or wireless network 10 so as to be able to communicate with each other.

各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされたコンピュータである。アプリケーションプログラムは、ＤＶＤ（Digital Versatile Disc）およびＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。または、ネットワーク１０に接続されたサーバコンピュータの記憶装置、若しくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じてコンピュータにダウンロードされ、インストールされる。 Each device is a computer in which an application program for functioning as a component of the medical information system 1 is installed. The application program is recorded and distributed on a recording medium such as a DVD (Digital Versatile Disc) and a CD-ROM (Compact Disc Read Only Memory), and is installed in a computer from the recording medium. Alternatively, it is stored in the storage device of the server computer connected to the network 10 or in the network storage in a state of being accessible from the outside, and is downloaded and installed in the computer upon request.

撮影装置２は、被写体の診断対象となる部位を撮影することにより、診断対象部位を表す医用画像を生成する装置（モダリティ）である。具体的には、単純Ｘ線撮影装置、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography)装置等である。撮影装置２により生成された医用画像は画像サーバ５に送信され、画像ＤＢ６に保存される。 The imaging device 2 is a device (modality) that generates a medical image representing a diagnosis target portion by photographing a portion of the subject to be diagnosed. Specifically, it is a simple X-ray imaging apparatus, a CT apparatus, an MRI apparatus, a PET (Positron Emission Tomography) apparatus, and the like. The medical image generated by the imaging device 2 is transmitted to the image server 5 and stored in the image DB 6.

読影ＷＳ３は、例えば放射線科の読影医が、医用画像の読影および読影レポートの作成等に利用するコンピュータであり、本実施形態による医用画像処理装置２０を内包する。読影ＷＳ３では、画像サーバ５に対する医用画像の閲覧要求、画像サーバ５から受信した医用画像に対する各種画像処理、医用画像の表示、および医用画像に関する所見文の入力受け付け等が行われる。また、読影ＷＳ３では、読影レポートの作成、レポートサーバ７に対する読影レポートの登録要求と閲覧要求、およびレポートサーバ７から受信した読影レポートの表示等が行われる。これらの処理は、読影ＷＳ３が各処理のためのソフトウェアプログラムを実行することにより行われる。 The image interpretation WS3 is a computer used by, for example, an image interpretation doctor in a radiology department to interpret a medical image and create an image interpretation report, and includes a medical image processing apparatus 20 according to the present embodiment. In the image interpretation WS3, a request for viewing a medical image to the image server 5, various image processing for the medical image received from the image server 5, a display of the medical image, an input acceptance of a finding sentence related to the medical image, and the like are performed. In addition, the interpretation WS3 creates an interpretation report, requests registration and viewing of the interpretation report to the report server 7, and displays the interpretation report received from the report server 7. These processes are performed by the interpretation WS3 executing a software program for each process.

診療ＷＳ４は、診療科の医師が、画像の詳細観察、読影レポートの閲覧、および電子カルテの作成等に利用するコンピュータであり、処理装置、ディスプレイ等の表示装置、並びにキーボードおよびマウス等の入力装置により構成される。診療ＷＳ４では、画像サーバ５に対する画像の閲覧要求、画像サーバ５から受信した画像の表示、レポートサーバ７に対する読影レポートの閲覧要求、およびレポートサーバ７から受信した読影レポートの表示が行われる。これらの処理は、診療ＷＳ４が各処理のためのソフトウェアプログラムを実行することにより行われる。 The clinical WS4 is a computer used by doctors in clinical departments for detailed observation of images, viewing of interpretation reports, creation of electronic medical records, etc., and is a processing device, a display device such as a display, and an input device such as a keyboard and a mouse. Consists of. In the medical treatment WS4, an image viewing request is made to the image server 5, an image received from the image server 5 is displayed, an image interpretation report viewing request is made to the report server 7, and an image interpretation report received from the report server 7 is displayed. These processes are performed by the medical treatment WS4 executing a software program for each process.

画像サーバ５は、汎用のコンピュータにデータベース管理システム（DataBase Management System: DBMS）の機能を提供するソフトウェアプログラムがインストールされたものである。また、画像サーバ５は画像ＤＢ６が構成されるストレージを備えている。このストレージは、画像サーバ５とデータバスとによって接続されたハードディスク装置であってもよいし、ネットワーク１０に接続されているＮＡＳ（Network Attached Storage）およびＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、画像サーバ５は、撮影装置２からの医用画像の登録要求を受け付けると、その医用画像をデータベース用のフォーマットに整えて画像ＤＢ６に登録する。 The image server 5 is a general-purpose computer in which a software program that provides a database management system (DBMS) function is installed. Further, the image server 5 includes a storage in which the image DB 6 is configured. This storage may be a hard disk device connected by the image server 5 and the data bus, or a disk device connected to NAS (Network Attached Storage) and SAN (Storage Area Network) connected to the network 10. It may be. When the image server 5 receives the medical image registration request from the imaging device 2, the image server 5 arranges the medical image in a database format and registers it in the image DB 6.

画像ＤＢ６には、撮影装置２において取得された医用画像の画像データと付帯情報とが登録される。付帯情報には、例えば、個々の医用画像を識別するための画像ＩＤ(identification)、被写体を識別するための患者ＩＤ、検査を識別するための検査ＩＤ、医用画像毎に割り振られるユニークなＩＤ（ＵＩＤ：unique identification）、医用画像が生成された検査日、検査時刻、医用画像を取得するための検査で使用された撮影装置の種類、患者氏名、年齢、性別等の患者情報、検査部位（撮影部位）、撮影情報（撮影プロトコル、撮影シーケンス、撮像手法、撮影条件、造影剤の使用等）、１回の検査で複数の医用画像を取得した場合のシリーズ番号あるいは採取番号等の情報が含まれる。 The image data and incidental information of the medical image acquired by the imaging device 2 are registered in the image DB 6. The incidental information includes, for example, an image ID (identification) for identifying an individual medical image, a patient ID for identifying a subject, an examination ID for identifying an examination, and a unique ID assigned to each medical image ( UID: unique identification), examination date when the medical image was generated, examination time, type of imaging device used in the examination to acquire the medical image, patient information such as patient name, age, gender, examination site (imaging) Includes information such as site), imaging information (imaging protocol, imaging sequence, imaging method, imaging conditions, use of contrast medium, etc.), series number or collection number when multiple medical images are acquired in one examination. ..

また、画像サーバ５は、読影ＷＳ３および診療ＷＳ４からの閲覧要求をネットワーク１０経由で受信すると、画像ＤＢ６に登録されている医用画像を検索し、検索された医用画像を要求元の読影ＷＳ３および診療ＷＳ４に送信する。 Further, when the image server 5 receives the viewing request from the image interpretation WS3 and the medical examination WS4 via the network 10, the image server 5 searches for the medical image registered in the image DB 6, and uses the searched medical image as the requesting image interpretation WS3 and the medical examination. Send to WS4.

レポートサーバ７には、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムが組み込まれる。レポートサーバ７は、読影ＷＳ３からの読影レポートの登録要求を受け付けると、その読影レポートをデータベース用のフォーマットに整えてレポートＤＢ８に登録する。 The report server 7 incorporates a software program that provides the functions of a database management system to a general-purpose computer. When the report server 7 receives the image interpretation report registration request from the image interpretation WS3, the report server 7 prepares the image interpretation report in a database format and registers the image interpretation report in the report DB 8.

レポートＤＢ８には、読影医が読影ＷＳ３を用いて作成した所見文を少なくとも含む読影レポートが登録される。読影レポートは、例えば、読影対象の医用画像、医用画像を識別する画像ＩＤ、読影を行った読影医を識別するための読影医ＩＤ、疾患名、疾患の位置情報、および医用画像にアクセスするための情報等の情報を含んでいてもよい。 In the report DB8, an interpretation report including at least the findings created by the interpretation doctor using the interpretation WS3 is registered. The interpretation report is for accessing, for example, a medical image to be interpreted, an image ID for identifying the medical image, an image interpreter ID for identifying the image interpreter who performed the image interpretation, a disease name, a disease location information, and a medical image. Information such as information on the above may be included.

また、レポートサーバ７は、読影ＷＳ３および診療ＷＳ４からの読影レポートの閲覧要求をネットワーク１０経由で受信すると、レポートＤＢ８に登録されている読影レポートを検索し、検索された読影レポートを要求元の読影ＷＳ３および診療ＷＳ４に送信する。 Further, when the report server 7 receives a viewing request for the interpretation report from the interpretation WS3 and the medical treatment WS4 via the network 10, the report server 7 searches for the interpretation report registered in the report DB 8 and uses the searched interpretation report as the requester's interpretation. It is transmitted to WS3 and medical treatment WS4.

なお、本実施形態においては、医用画像は、診断対象を肋骨とした複数の断層画像からなる３次元のＣＴ画像とし、ＣＴ画像を読影することにより、肋骨の骨折および骨折に伴う臓器の損傷等についての所見文を含む読影レポートを作成するものとする。なお、医用画像はＣＴ画像に限定されるものではなく、ＭＲＩ画像および単純Ｘ線撮影装置により取得された単純２次元画像等の任意の医用画像を用いることができる。 In the present embodiment, the medical image is a three-dimensional CT image composed of a plurality of tomographic images whose diagnosis target is a rib, and by interpreting the CT image, a fracture of the rib and damage to an organ associated with the fracture, etc. An interpretation report shall be prepared containing the findings regarding. The medical image is not limited to the CT image, and any medical image such as an MRI image and a simple two-dimensional image acquired by a simple X-ray imaging device can be used.

ネットワーク１０は、病院内の各種機器を接続する有線または無線のローカルエリアネットワークである。読影ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク１０は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。 The network 10 is a wired or wireless local area network for connecting various devices in the hospital. When the interpretation WS3 is installed in another hospital or clinic, the network 10 may be configured such that the local area networks of each hospital are connected to each other by the Internet or a dedicated line.

次いで、本実施形態による医用画像処理装置について説明する。図２は、本実施形態による医用画像処理装置のハードウェア構成を説明する。図２に示すように、医用画像処理装置２０は、ＣＰＵ（Central Processing Unit）１１、不揮発性のストレージ１３、および一時記憶領域としてのメモリ１６を含む。また、医用画像処理装置２０は、液晶ディスプレイ等のディスプレイ１４、キーボードとマウス等の入力デバイス１５、およびネットワーク１０に接続されるネットワークＩ／Ｆ（InterFace）１７を含む。ＣＰＵ１１、ストレージ１３、ディスプレイ１４、入力デバイス１５、メモリ１６およびネットワークＩ／Ｆ１７は、バス１８に接続される。なお、ＣＰＵ１１は、本開示におけるプロセッサの一例である。 Next, the medical image processing apparatus according to the present embodiment will be described. FIG. 2 describes the hardware configuration of the medical image processing apparatus according to the present embodiment. As shown in FIG. 2, the medical image processing device 20 includes a CPU (Central Processing Unit) 11, a non-volatile storage 13, and a memory 16 as a temporary storage area. Further, the medical image processing device 20 includes a display 14 such as a liquid crystal display, an input device 15 such as a keyboard and a mouse, and a network I / F (InterFace) 17 connected to the network 10. The CPU 11, the storage 13, the display 14, the input device 15, the memory 16, and the network I / F 17 are connected to the bus 18. The CPU 11 is an example of the processor in the present disclosure.

ストレージ１３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、およびフラッシュメモリ等によって実現される。記憶媒体としてのストレージ１３には、医用画像処理プログラム１２が記憶される。ＣＰＵ１１は、ストレージ１３から医用画像処理プログラム１２を読み出してメモリ１６に展開し、展開した医用画像処理プログラム１２を実行する。 The storage 13 is realized by an HDD (Hard Disk Drive), an SSD (Solid State Drive), a flash memory, or the like. The medical image processing program 12 is stored in the storage 13 as a storage medium. The CPU 11 reads the medical image processing program 12 from the storage 13 and expands it into the memory 16 to execute the expanded medical image processing program 12.

次いで、本実施形態による医用画像処理装置の機能的な構成を説明する。図３は、本実施形態による医用画像処理装置の機能的な構成を示す図である。図３に示すように医用画像処理装置２０は、画像取得部２１、第１の異常陰影特定部２２、外力特定部２３、第２の異常陰影特定部２４、表示制御部２５、読影レポート作成部２６および通信部２７を備える。そして、ＣＰＵ１１が、医用画像処理プログラム１２を実行することにより、ＣＰＵ１１は、画像取得部２１、第１の異常陰影特定部２２、外力特定部２３、第２の異常陰影特定部２４、表示制御部２５、読影レポート作成部２６および通信部２７として機能する。 Next, the functional configuration of the medical image processing apparatus according to the present embodiment will be described. FIG. 3 is a diagram showing a functional configuration of the medical image processing apparatus according to the present embodiment. As shown in FIG. 3, the medical image processing device 20 includes an image acquisition unit 21, a first abnormal shadow identification unit 22, an external force identification unit 23, a second abnormal shadow identification unit 24, a display control unit 25, and an image interpretation report creation unit. 26 and a communication unit 27 are provided. Then, when the CPU 11 executes the medical image processing program 12, the CPU 11 has an image acquisition unit 21, a first abnormal shadow identification unit 22, an external force identification unit 23, a second abnormal shadow identification unit 24, and a display control unit. 25, functions as an image interpretation report creation unit 26 and a communication unit 27.

画像取得部２１は、操作者である読影医による入力デバイス１５からの指示により、画像サーバ５から読影レポートを作成するための医用画像Ｇ０を取得する。医用画像Ｇ０は上述したように複数の断層画像からなる３次元のＣＴ画像である。 The image acquisition unit 21 acquires the medical image G0 for creating the image interpretation report from the image server 5 according to the instruction from the input device 15 by the image interpretation doctor who is the operator. The medical image G0 is a three-dimensional CT image composed of a plurality of tomographic images as described above.

第１の異常陰影特定部２２は、医用画像Ｇ０に含まれる肋骨における骨折の陰影を異常陰影として特定する。第１の異常陰影特定部２２は、公知のコンピュータ支援画像診断（すなわちＣＡＤ）のアルゴリズムを用いて、医用画像Ｇ０から骨折の陰影を第１の異常陰影として特定する。このために、第１の異常陰影特定部２２は、医用画像Ｇ０から骨折陰影を検出するように機械学習がなされた学習モデル２２Ａを有する。本実施形態においては、学習モデル２２Ａは、医用画像Ｇ０における各画素（ボクセル）が骨折陰影を表すものであるか否かを判別するように、教師データを用いてディープラーニング（深層学習）がなされた畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）からなる。 The first abnormal shadow identification unit 22 identifies the shadow of the fracture in the rib included in the medical image G0 as the abnormal shadow. The first abnormal shadow identification unit 22 identifies the shadow of the fracture as the first abnormal shadow from the medical image G0 by using a known computer-aided image diagnosis (that is, CAD) algorithm. For this purpose, the first abnormal shadow identification unit 22 has a learning model 22A in which machine learning is performed so as to detect a fracture shadow from the medical image G0. In the present embodiment, the learning model 22A is subjected to deep learning using teacher data so as to determine whether or not each pixel (voxel) in the medical image G0 represents a fracture shadow. It consists of a convolutional neural network (CNN).

学習モデル２２Ａは、骨折陰影を含む教師画像および教師画像における骨折陰影の位置を表す正解データからなる教師データ、並びに骨折陰影を含まない教師画像からなる教師データを多数用いてＣＮＮを学習することにより構築される。学習モデル２２Ａは、医用画像における各画素が骨折であることを表す確率（尤度）を導出し、その確率が予め定められたしきい値以上となる画素を骨折陰影の画素として検出するものとなる。なお、学習モデル２２Ａは、３次元の医用画像から骨折陰影を検出するものであってもよいが、医用画像Ｇ０を構成する複数の断層画像のそれぞれから骨折陰影を検出するものであってもよい。 The learning model 22A learns CNN by using a large number of teacher data consisting of a teacher image including a fracture shadow, correct answer data representing the position of the fracture shadow in the teacher image, and teacher data consisting of a teacher image not including the fracture shadow. Will be built. The learning model 22A derives a probability (likelihood) indicating that each pixel in the medical image is a fracture, and detects a pixel whose probability is equal to or higher than a predetermined threshold value as a pixel of a fracture shadow. Become. The learning model 22A may detect the fracture shadow from the three-dimensional medical image, but may also detect the fracture shadow from each of the plurality of tomographic images constituting the medical image G0. ..

図４は骨折陰影が特定された断層画像を示す図である。図４に示すように、断層画像Ｓｋにおいて、肋骨が完全に分離した完全骨折の骨折陰影４０が特定されている。なお、図示はしていないが、骨が完全に分離していない骨折が不全骨折である。 FIG. 4 is a diagram showing a tomographic image in which a fracture shadow is identified. As shown in FIG. 4, in the tomographic image Sk, a fracture shadow 40 of a complete fracture in which the ribs are completely separated is identified. Although not shown, a fracture in which the bone is not completely separated is an incomplete fracture.

なお、学習モデル２２Ａとしては、畳み込みニューラルネットワークの他、例えばサポートベクタマシン（ＳＶＭ(Support Vector Machine)）等の任意の学習モデルを用いることができる。 As the learning model 22A, in addition to the convolutional neural network, any learning model such as a support vector machine (SVM) can be used.

外力特定部２３は、医用画像Ｇ０において第１の異常陰影特定部２２が特定した第１の異常陰影、すなわち骨折陰影に基づいて、被写体に加わった外力に関する情報を特定する。外力に関する情報は、外力が加わった位置、外力が加わった方向および外力の大きさの少なくとも１つとする。本実施形態においては、外力が加わった位置、外力が加わった方向および外力の大きさを外力に関する情報として特定するものとする。 The external force specifying unit 23 specifies information regarding the external force applied to the subject based on the first abnormal shadow specified by the first abnormal shadow specifying unit 22 in the medical image G0, that is, the fracture shadow. The information regarding the external force shall be at least one of the position where the external force is applied, the direction in which the external force is applied, and the magnitude of the external force. In the present embodiment, the position where the external force is applied, the direction in which the external force is applied, and the magnitude of the external force are specified as information regarding the external force.

まず、外力が加わった位置は、医用画像Ｇ０における骨折陰影の位置である。本実施形態においては、骨折陰影の位置としては、例えば、骨折陰影を表す複数画素の重心位置とすればよいが、これに限定されるものではない。 First, the position where the external force is applied is the position of the fracture shadow in the medical image G0. In the present embodiment, the position of the fracture shadow may be, for example, the position of the center of gravity of a plurality of pixels representing the fracture shadow, but the position is not limited to this.

次に、外力が加わった方向の特定について説明する。図５は、外力が加わった方向の特定を説明するための図である。外力が加わった方向に関しては、外力特定部２３は、まず、医用画像Ｇ０を構成する各断層画像から被写体領域を検出し、被写体領域の重心位置Ｃ０を導出する。そして、外力が加わった位置から重心位置Ｃ０に向かう方向４１を、外力が加わった方向に特定する。具体的には、外力が加わった方向は、断層画像Ｓｋにおける外力が加わった位置の座標と重心位置Ｃ０の座標とから導出することができる。図５に示す断層画像は、視点が人体の足の側にあるため、図５に示すように導出された外力の方向は、人体の左斜め前方から右斜め後方に向かう方向となる。 Next, the identification of the direction in which the external force is applied will be described. FIG. 5 is a diagram for explaining the identification of the direction in which the external force is applied. Regarding the direction in which the external force is applied, the external force specifying unit 23 first detects the subject area from each tomographic image constituting the medical image G0, and derives the center of gravity position C0 of the subject area. Then, the direction 41 from the position where the external force is applied toward the center of gravity position C0 is specified in the direction where the external force is applied. Specifically, the direction in which the external force is applied can be derived from the coordinates of the position where the external force is applied and the coordinates of the center of gravity position C0 in the tomographic image Sk. In the tomographic image shown in FIG. 5, since the viewpoint is on the side of the foot of the human body, the direction of the external force derived as shown in FIG. 5 is the direction from the diagonally front left of the human body to the diagonally rear right of the human body.

なお、骨折箇所が複数ある場合には、断層画像毎に外力が加わった位置が異なる。このような場合には、１つの医用画像Ｇ０において、外力が加わった方向も複数特定されることとなる。 When there are a plurality of fracture points, the position where the external force is applied differs for each tomographic image. In such a case, a plurality of directions in which an external force is applied are also specified in one medical image G0.

外力が加わった大きさに関しては、外力特定部２３は、医用画像Ｇ０の全体または１つの断層画像における完全骨折および不全骨折の数に基づいて特定する。本実施形態においては、外力特定部２３は、例えば外力が加わった大きさを、大、中および小の３段階で特定する。具体的には、外力特定部２３は、完全骨折が３カ所以上の場合に外力の大きさを大に特定し、完全骨折が３個未満の場合に外力の大きさを中に特定し、不完全骨折のみであれば外力の大きさを小に特定する。 Regarding the magnitude to which the external force is applied, the external force identification unit 23 identifies based on the number of complete fractures and incomplete fractures in the entire medical image G0 or one tomographic image. In the present embodiment, the external force specifying unit 23 specifies, for example, the magnitude to which the external force is applied in three stages of large, medium, and small. Specifically, the external force specifying unit 23 largely specifies the magnitude of the external force when there are three or more complete fractures, and specifies the magnitude of the external force inside when there are less than three complete fractures. If there is only a complete fracture, specify the magnitude of the external force to be small.

第２の異常陰影特定部２４は、外力特定部２３が特定した外力に関する情報に基づいて、医用画像Ｇ０における第２の異常陰影を特定する。本実施形態においては、第２の異常陰影を第１の異常陰影と同一の骨折陰影とする。このために、第２の異常陰影特定部２４は、医用画像Ｇ０から骨折陰影を検出するように機械学習がなされた学習モデル２４Ａを有する。なお、学習モデル２４Ａは、学習モデル２２Ａと同様にＣＮＮを機械学習することにより構築されてなるが、骨折陰影の検出のためのしきい値が学習モデル２２Ａと異なるものとなるように設定されている。具体的には、学習モデル２４Ａは、学習モデル２２Ａよりも骨折陰影の検出のためのしきい値が低く設定されている。このため、学習モデル２４Ａの骨折陰影の検出の感度は、学習モデル２２Ａよりも高いものとなっている。 The second abnormal shadow specifying unit 24 identifies the second abnormal shadow in the medical image G0 based on the information regarding the external force specified by the external force specifying unit 23. In the present embodiment, the second abnormal shadow is the same fracture shadow as the first abnormal shadow. For this purpose, the second abnormal shadow identification unit 24 has a learning model 24A that has been machine-learned to detect a fracture shadow from the medical image G0. The learning model 24A is constructed by machine learning the CNN in the same manner as the learning model 22A, but the threshold value for detecting the fracture shadow is set to be different from that of the learning model 22A. There is. Specifically, the learning model 24A has a lower threshold value for detecting fracture shadows than the learning model 22A. Therefore, the sensitivity of the learning model 24A for detecting the fracture shadow is higher than that of the learning model 22A.

なお、学習モデル２４Ａの学習の際には、外力に関する情報を教師データとして用いてもよい。外力に関する情報を教師データとして用いることにより、学習モデル２４Ａは、例えば、外力が加わる位置、外力が加わる方向および外力の大きさと、発生する骨折における骨の折れ方との関連性を学習できるこことなる。これにより、学習モデル２４Ａに、医用画像Ｇ０および外力に関する情報が入力されると、外力に関する情報も考慮して医用画像Ｇ０から第２の異常陰影を特定することが可能となる。したがって、骨折陰影の特定の精度を向上させることができる。 When learning the learning model 24A, information on the external force may be used as teacher data. By using the information about the external force as the teacher data, the learning model 24A can learn, for example, the relationship between the position where the external force is applied, the direction in which the external force is applied, and the magnitude of the external force, and how the bone is broken in the fracture that occurs. Become. As a result, when information on the medical image G0 and the external force is input to the learning model 24A, it is possible to identify the second abnormal shadow from the medical image G0 in consideration of the information on the external force. Therefore, the specific accuracy of the fracture shadow can be improved.

ここで、第２の異常陰影特定部２４は、医用画像Ｇ０の全領域において第２の異常陰影の特定を行ってもよいが、本実施形態においては、第２の異常陰影特定部２４は、外力特定部２３が特定した外力が加わった位置、すなわち骨折陰影の位置に基づいて、骨折陰影を含む予め定められた範囲の領域においてのみ、第２の異常陰影の特定を行う。例えば、図４に示す位置に骨折陰影４０が特定されている場合、図６に示すように、骨折陰影４０を含み、かつ胸壁に沿った長方形の領域４３を設定し、領域４３においてのみ第２の異常陰影の特定を行う。この場合、第２の異常陰影特定部２４は、すべての断層画像または骨折陰影４０を含む断層画像の上下にある少なくとも１つの断層面においても、領域４３に対応する領域において、第２の異常陰影の特定を行うようにしてもよい。 Here, the second abnormal shadow identification unit 24 may specify the second abnormal shadow in the entire region of the medical image G0, but in the present embodiment, the second abnormal shadow identification unit 24 may specify the second abnormal shadow. Based on the position where the external force specified by the external force specifying unit 23 is applied, that is, the position of the fracture shadow, the second abnormal shadow is specified only in a predetermined range including the fracture shadow. For example, when the fracture shadow 40 is specified at the position shown in FIG. 4, as shown in FIG. 6, a rectangular region 43 including the fracture shadow 40 and along the chest wall is set, and a second region 43 is set only in the region 43. Identify the abnormal shadows of. In this case, the second abnormal shadow identification portion 24 also has a second abnormal shadow in the region corresponding to the region 43, even in at least one tomographic plane above and below the tomographic image including all the tomographic images or the fracture shadow 40. May be specified.

なお、領域４３の設定に代えて、骨折位置を含む肋骨のみにおいて第２の異常陰影を特定するようにしてもよい。例えば、図７に示すように、斜線で示す左第４肋骨に骨折陰影４４が含まれる場合、左第４肋骨においてのみ第２の異常陰影の特定を行う。この場合、左第４肋骨は複数の断層画像に跨がって存在するため、左第４肋骨を含むすべての断層画像の左第４肋骨の領域において、第２の異常陰影の特定を行う。 Instead of setting the region 43, the second abnormal shadow may be specified only in the ribs including the fracture position. For example, as shown in FIG. 7, when the left fourth rib indicated by the diagonal line contains the fracture shadow 44, the second abnormal shadow is specified only in the left fourth rib. In this case, since the left 4th rib exists over a plurality of tomographic images, the second abnormal shadow is specified in the region of the left 4th rib of all the tomographic images including the left 4th rib.

表示制御部２５は、医用画像Ｇ０および特定された外力の情報をディスプレイ１４に表示する。図８は、医用画像の表示画面を示す図である。図８に示すように、表示画面５０は画像表示領域５１およびレポート作成領域５２を含む。画像表示領域５１には、医用画像Ｇ０に含まれる複数の断層画像が切り替え可能に表示されている。図８においては、断層画像Ｓｋが表示されている。断層画像Ｓｋには、骨折陰影の箇所に外力の方向を示す矢印５３が表示されている。また、外力の大きさを示す情報５４も断層画像Ｓｋの左上隅に重畳表示されている。図８においては、外力の大きさは「中」となっている。 The display control unit 25 displays the medical image G0 and the specified external force information on the display 14. FIG. 8 is a diagram showing a display screen of a medical image. As shown in FIG. 8, the display screen 50 includes an image display area 51 and a report creation area 52. In the image display area 51, a plurality of tomographic images included in the medical image G0 are displayed in a switchable manner. In FIG. 8, the tomographic image Sk is displayed. In the tomographic image Sk, an arrow 53 indicating the direction of the external force is displayed at the location of the fracture shadow. Information 54 indicating the magnitude of the external force is also superimposed and displayed in the upper left corner of the tomographic image Sk. In FIG. 8, the magnitude of the external force is “medium”.

読影医は、医用画像Ｇ０を入力デバイス１５を用いて切り替え表示しつつ、骨折に関しての所見文をレポート作成領域５２に入力する。 The interpreting doctor inputs the findings regarding the fracture into the report creation area 52 while switching and displaying the medical image G0 using the input device 15.

読影レポートの作成は、読影レポート作成部２６が行う。例えば、図８には、レポート作成領域５２に、「左前方からの外力により、左第４肋骨が完全骨折しています。」の所見文が入力されている。読影レポート作成部２６は、入力された所見文を含む読影レポートを作成する。そして、読影レポート作成部２６は、作成された読影レポートを医用画像Ｇ０および外力に関する情報と併せてストレージ２３に保存する。 The interpretation report creation unit 26 creates the interpretation report. For example, in FIG. 8, a finding sentence "The left fourth rib is completely fractured due to an external force from the left front" is input to the report creation area 52. The interpretation report creation unit 26 creates an interpretation report including the input findings. Then, the image interpretation report creation unit 26 stores the created image interpretation report together with the medical image G0 and the information on the external force in the storage 23.

通信部２７は、作成された読影レポートを医用画像Ｇ０および外力に関する情報と併せてレポートサーバ７に転送する。レポートサーバ７においては、転送された読影レポートが医用画像Ｇ０および外力に関する情報と併せて保存される。 The communication unit 27 transfers the created image interpretation report together with the medical image G0 and information on the external force to the report server 7. In the report server 7, the transferred interpretation report is stored together with the medical image G0 and the information about the external force.

次いで、本実施形態において行われる処理について説明する。図９は本実施形態において行われる処理を示すフローチャートである。なお、読影の対象となる医用画像は、画像取得部２１により画像サーバ５から取得されて、ストレージ１３に保存されているものとする。読影レポートの作成の指示が読影医により行われることにより処理が開始され、第１の異常陰影特定部２２が、医用画像Ｇ０における第１の異常陰影、すなわち、骨折陰影を特定する（ステップＳＴ１）。次いで、外力特定部２３が、第１の異常陰影に基づいて、被写体に加わった外力に関する情報を特定する（ステップＳＴ２）。そして、第２の異常陰影特定部２４が、外力に関する情報に基づいて、医用画像Ｇ０における第２の異常陰影、すなわち骨折陰影を特定する（ステップＳＴ３）。 Next, the processing performed in the present embodiment will be described. FIG. 9 is a flowchart showing the processing performed in the present embodiment. It is assumed that the medical image to be read is acquired from the image server 5 by the image acquisition unit 21 and stored in the storage 13. The process is started when an instruction to create an interpretation report is given by the interpretation doctor, and the first abnormal shadow identification unit 22 identifies the first abnormal shadow in the medical image G0, that is, the fracture shadow (step ST1). .. Next, the external force specifying unit 23 specifies information regarding the external force applied to the subject based on the first abnormal shadow (step ST2). Then, the second abnormal shadow specifying unit 24 identifies the second abnormal shadow in the medical image G0, that is, the fracture shadow based on the information regarding the external force (step ST3).

そして、表示制御部２５が、医用画像Ｇ０および特定された外力の情報をディスプレイ１４に表示する（ステップＳＴ４）。次いで、読影医により入力された所見文を用いて、読影レポート作成部２６が読影レポートを作成する（ステップＳＴ５）。そして、読影レポート作成部２６が、作成された読影レポートを医用画像Ｇ０および外力に関する情報と併せてストレージ２３に保存する（ステップＳＴ６）。さらに、通信部２７が、作成された読影レポートを医用画像Ｇ０および外力に関する情報と併せてレポートサーバ７に転送し（ステップＳＴ７）、処理を終了する。 Then, the display control unit 25 displays the medical image G0 and the specified external force information on the display 14 (step ST4). Next, the image interpretation report creation unit 26 creates an image interpretation report using the findings input by the image interpretation doctor (step ST5). Then, the image interpretation report creation unit 26 stores the created image interpretation report together with the medical image G0 and the information on the external force in the storage 23 (step ST6). Further, the communication unit 27 transfers the created image interpretation report together with the medical image G0 and the information on the external force to the report server 7 (step ST7), and ends the process.

このように、本実施形態においては、医用画像Ｇ０において特定された第１の異常陰影に基づいて、被写体に加わった外力に関する情報を特定するようにした。このため、特定された外力を用いることにより、第２の異常陰影を精度よく特定することができる。 As described above, in the present embodiment, the information regarding the external force applied to the subject is specified based on the first abnormal shadow specified in the medical image G0. Therefore, by using the specified external force, the second abnormal shadow can be accurately specified.

とくに、第２の異常陰影が第１の異常陰影と同一の疾患、すなわち骨折陰影である場合、第２の異常陰影の特定を第１の異常陰影の特定よりも高い感度で行うことにより、とくに、ひび程度の肋骨の骨折をより特定しやすくなる。これにより、ひび程度の軽度の骨折も確実に特定することができる。 In particular, when the second abnormal shadow is the same disease as the first abnormal shadow, that is, a fracture shadow, the identification of the second abnormal shadow is performed with higher sensitivity than the identification of the first abnormal shadow. , It becomes easier to identify fractures of ribs of the degree of cracks. This makes it possible to reliably identify even a minor fracture such as a crack.

また、第１の異常陰影の位置に基づいて、第１の異常陰影を含む予め定められた範囲の領域、あるいは第１の異常陰影を含む骨の領域において第２の異常陰影の特定を行うことにより、第２の異常陰影の特定のための演算量を低減することができる。したがって、第２の異常陰影の特定を迅速に行うことができる。 Further, based on the position of the first abnormal shadow, the second abnormal shadow is specified in the region of a predetermined range including the first abnormal shadow or the region of the bone including the first abnormal shadow. Therefore, the amount of calculation for identifying the second abnormal shadow can be reduced. Therefore, it is possible to quickly identify the second abnormal shadow.

また、医用画像および外力に関する情報を表示することにより、医用画像Ｇ０とともに外力が加わった位置、外力が加わった方向、および外力の大きさ等を視認することができる。したがって、医用画像Ｇ０に関する読影レポートを作成する際の読影医の負担を軽減することができる。 Further, by displaying the medical image and the information regarding the external force, the position where the external force is applied, the direction in which the external force is applied, the magnitude of the external force, and the like can be visually recognized together with the medical image G0. Therefore, it is possible to reduce the burden on the image interpreting doctor when creating the image interpretation report regarding the medical image G0.

なお、上記実施形態においては、第１の異常陰影および第２の異常陰影を骨折陰影としているが、これに限定されるものではない。第１の異常陰影を骨折陰影とし、第２の異常陰影を内臓損傷としてもよい。例えば、図１０に示すように、断層画像Ｓｋにおいて、図４よりも骨折の程度が酷い骨折陰影４５が特定された場合、内臓損傷４６が発生していることが多くなるため、内臓の損傷を特定することが必要である。第１の異常陰影を骨折陰影、第２の異常陰影を内臓損傷とすることにより、骨折に伴う内臓損傷を特定することができる。 In the above embodiment, the first abnormal shadow and the second abnormal shadow are defined as fracture shadows, but the present invention is not limited to these. The first abnormal shadow may be a fracture shadow and the second abnormal shadow may be a visceral injury. For example, as shown in FIG. 10, when a fracture shadow 45 having a worse degree of fracture than in FIG. 4 is identified in the tomographic image Sk, the internal organs damage 46 often occurs, so that the internal organs are damaged. It needs to be identified. By setting the first abnormal shadow as the fracture shadow and the second abnormal shadow as the visceral damage, the visceral damage associated with the fracture can be identified.

とくに、第１の異常陰影すなわち骨折陰影の位置に基づいて、骨折陰影を含む予め定められた範囲の領域において第２の異常陰影、すなわち内臓損傷の特定を行うことにより、内臓損傷の特定のための演算量を低減することができる。したがって、内臓損傷の特定を迅速に行うことができる。 In particular, for identifying visceral damage by identifying the second abnormal shadow, i.e. visceral damage, in a predetermined range of regions including the fracture shadow, based on the position of the first abnormal shadow, i.e. the fracture shadow. The amount of calculation of can be reduced. Therefore, it is possible to quickly identify the internal organ damage.

また、上記実施形態においては、第２の異常陰影の特定の感度を第１の異常陰影の感度よりも高くしているが、第１の異常陰影の位置を考慮して第２の異常陰影の特定の感度を変更してもよい。例えば、第１の異常陰影を含む予め定められた範囲の領域または第１の異常陰影を含む骨においてのみ、第２の異常陰影の特定の感度を高くし、その他の領域においては、第１の異常陰影の特定の感度と同一の感度により第２の異常陰影を特定するようにしてもよい。この場合、第１の異常陰影を含む予め定められた範囲の領域または第１の異常陰影を含む骨以外の領域においては、第２の異常陰影の特定の感度を第１の異常陰影の感度よりも低くしてもよい。これにより、第１の異常陰影を含む予め定められた範囲の領域または第１の異常陰影を含む骨以外の領域における誤検出を防止することができる。 Further, in the above embodiment, the specific sensitivity of the second abnormal shadow is made higher than the sensitivity of the first abnormal shadow, but the position of the first abnormal shadow is taken into consideration and the sensitivity of the second abnormal shadow is increased. Specific sensitivities may be changed. For example, the specific sensitivity of the second anomalous shadow is increased only in a predetermined range of regions containing the first anomalous shadow or in the bone containing the first anomalous shadow, and in the other regions, the first The second abnormal shadow may be specified by the same sensitivity as the specific sensitivity of the abnormal shadow. In this case, in the region of a predetermined range including the first abnormal shadow or the region other than the bone containing the first abnormal shadow, the specific sensitivity of the second abnormal shadow is higher than the sensitivity of the first abnormal shadow. May also be low. This makes it possible to prevent erroneous detection in a predetermined range region including the first abnormal shadow or a region other than the bone including the first abnormal shadow.

また、上記実施形態においては、第１の異常陰影を骨折陰影としているが、これに限定されるものではない。例えば、靱帯損傷、半月板損傷、筋断裂および脱臼等の任意の外傷による疾患の陰影を第１の異常陰影として用いることができる。この場合、第１の異常陰影特定部２２の学習モデル２２Ａは、外傷による疾患の種類に応じた教師データを用いて学習がなされたものを使用すればよい。なお、学習モデル２２Ａを複数チャンネルの検出を行うように学習することにより、１種類の外傷のみならず、複数種類の外傷による疾患を検出するように、学習モデル２２Ａを構築することも可能である。また、第２の異常陰影が第１の異常陰影と同一疾患である場合には、第２の異常陰影特定部２４の学習モデル２４Ａは第２の学習モデル２２Ａと同様に構築すればよい。 Further, in the above embodiment, the first abnormal shadow is a fracture shadow, but the shadow is not limited to this. For example, the shadow of a disease due to any trauma such as ligament injury, meniscus tear, muscle rupture and dislocation can be used as the first abnormal shadow. In this case, as the learning model 22A of the first abnormal shadow identification unit 22, one that has been learned using teacher data according to the type of the disease due to trauma may be used. By learning the learning model 22A to detect a plurality of channels, it is possible to construct the learning model 22A so as to detect not only one type of trauma but also diseases caused by a plurality of types of trauma. .. When the second abnormal shadow has the same disease as the first abnormal shadow, the learning model 24A of the second abnormal shadow specifying unit 24 may be constructed in the same manner as the second learning model 22A.

また、上記実施形態において、例えば、画像取得部２１、第１の異常陰影特定部２２、外力特定部２３、第２の異常陰影特定部２４、表示制御部２５、読影レポート作成部２６および通信部２７といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。 Further, in the above embodiment, for example, the image acquisition unit 21, the first abnormal shadow identification unit 22, the external force identification unit 23, the second abnormal shadow identification unit 24, the display control unit 25, the image interpretation report creation unit 26, and the communication unit. As the hardware structure of the processing unit that executes various processes such as 27, the following various processors can be used. As described above, the various processors include a CPU, which is a general-purpose processor that executes software (program) and functions as various processing units, and a circuit after manufacturing an FPGA (Field Programmable Gate Array) or the like. Dedicated electricity, which is a processor with a circuit configuration specially designed to execute specific processing such as Programmable Logic Device (PLD), which is a processor whose configuration can be changed, and ASIC (Application Specific Integrated Circuit). Circuits and the like are included.

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。 One processing unit may be composed of one of these various processors, or a combination of two or more processors of the same type or different types (for example, a combination of a plurality of FPGAs or a combination of a CPU and an FPGA). ) May be configured. Further, a plurality of processing units may be configured by one processor.

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。 As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client and a server, one processor is configured by combining one or more CPUs and software. There is a form in which this processor functions as a plurality of processing units. Secondly, as typified by System On Chip (SoC), there is a form in which a processor that realizes the functions of the entire system including a plurality of processing units with one IC (Integrated Circuit) chip is used. be. As described above, the various processing units are configured by using one or more of the above-mentioned various processors as a hardware structure.

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。 Further, as the hardware structure of these various processors, more specifically, an electric circuit (Circuitry) in which circuit elements such as semiconductor elements are combined can be used.

１医療情報システム
２撮影装置
３読影ＷＳ
４診療科ＷＳ
５画像サーバ
６画像ＤＢ
７レポートサーバ
８レポートＤＢ
１０ネットワーク
１１ＣＰＵ
１２医用画像処理プログラム
１３ストレージ
１４ディスプレイ
１５入力デバイス
１６メモリ
１７ネットワークＩ／Ｆ
１８バス
２０情報保存装置
２１画像取得部
２２第１の異常陰影特定部
２２Ａ学習モデル
２３外力特定部
２４第２の異常陰影特定部
２４Ａ学習モデル
２５表示制御部
２６読影レポート作成部
２７通信部
４０骨折陰影
４１方向
４３領域
４４，４５骨折陰影
４６内臓損傷
５０表示画面
５１画像表示領域
５２レポート表示領域
５３矢印
５４情報
Ｃ０重心位置
Ｓｋ断層画像 1 Medical information system 2 Imaging device 3 Interpretation WS
4 Clinical department WS
5 image server 6 image DB
7 Report server 8 Report DB
10 network 11 CPU
12 Medical image processing program 13 Storage 14 Display 15 Input device 16 Memory 17 Network I / F
18 Bus 20 Information storage device 21 Image acquisition unit 22 First abnormal shadow identification unit 22A Learning model 23 External force identification unit 24 Second abnormal shadow identification unit 24A Learning model 25 Display control unit 26 Interpretation report creation unit 27 Communication unit 40 Fracture Shadow 41 Direction 43 Area 44,45 Fracture Shadow 46 Visceral damage 50 Display screen 51 Image display area 52 Report display area 53 Arrow 54 Information C0 Center of gravity Sk tomographic image

Claims

With at least one processor
The processor
Identify the first anomalous shadow in the subject's medical image and
A medical image processing device configured to identify information about an external force applied to the subject based on the first abnormal shadow.

The medical image processing apparatus according to claim 1, wherein the processor is configured to identify a second abnormal shadow in the medical image based on information about the external force.

The medical image processing apparatus according to claim 2, wherein the processor is configured to identify the second abnormal shadow with a sensitivity different from that of the first abnormal shadow.

The third aspect of claim 3, wherein the processor is configured to identify the second abnormal shadow with a sensitivity different from that of the first abnormal shadow, depending on the position of the first abnormal shadow. Medical image processor.

The medical image processing apparatus according to claim 3 or 4, wherein the processor is configured to identify the second abnormal shadow with a higher sensitivity than the identification of the first abnormal shadow.

The medical image processing apparatus according to claim 3 or 4, wherein the processor is configured to identify the second abnormal shadow with a sensitivity lower than that of the first abnormal shadow.

The medical image according to any one of claims 2 to 6, wherein the processor is configured to identify the second abnormal shadow based on the position of the first abnormal shadow in the medical image. Processing equipment.

The medical image processing apparatus according to any one of claims 2 to 7, wherein the processor is configured to identify a second abnormal shadow for the same disease as the first abnormal shadow.

The medical image processing apparatus according to claim 8, wherein the first abnormal shadow and the second abnormal shadow are shadows of a fracture.

The medical image processing apparatus according to any one of claims 2 to 7, wherein the processor is configured to identify a second abnormal shadow for a disease different from the first abnormal shadow.

The medical image processing apparatus according to claim 10, wherein the first abnormal shadow is a shadow of a fracture, and the second abnormal shadow is a shadow of organ damage due to a fracture.

The medical image processing apparatus according to any one of claims 1 to 11, wherein the processor is configured to specify the direction of the external force applied to the subject as information on the external force.

The medical image processing apparatus according to any one of claims 1 to 12, wherein the processor is configured to display the medical image and information on the specified external force on a display.

Identify the first anomalous shadow in the subject's medical image and
A medical image processing method that specifies information about an external force applied to the subject based on the first abnormal shadow.

The procedure for identifying the first anomalous shadow in the subject's medical image,
A medical image processing program that causes a computer to perform a procedure for identifying information on an external force applied to the subject based on the first abnormal shadow.