JP2011118540A - Case retrieval device, method and program - Google Patents

Case retrieval device, method and program Download PDF

Info

Publication number
JP2011118540A
JP2011118540A JP2009273738A JP2009273738A JP2011118540A JP 2011118540 A JP2011118540 A JP 2011118540A JP 2009273738 A JP2009273738 A JP 2009273738A JP 2009273738 A JP2009273738 A JP 2009273738A JP 2011118540 A JP2011118540 A JP 2011118540A
Authority
JP
Japan
Prior art keywords
feature amount
image
case
disease
disease classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009273738A
Other languages
Japanese (ja)
Inventor
Masahiro Endo
正浩 遠藤
Sadayuki Moriya
禎之 守屋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shizuoka Prefecture
Fujifilm Corp
Original Assignee
Shizuoka Prefecture
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shizuoka Prefecture, Fujifilm Corp filed Critical Shizuoka Prefecture
Priority to JP2009273738A priority Critical patent/JP2011118540A/en
Publication of JP2011118540A publication Critical patent/JP2011118540A/en
Pending legal-status Critical Current

Links

Abstract

<P>PROBLEM TO BE SOLVED: To comprehensively list up diseases in case retrieval. <P>SOLUTION: For disease classifications in which case images are not registered in a case table, the corresponding typical feature quantity is registered in a disease table. The disease classifications corresponding to the feature quantity of the case images similar to the feature quantity of an optional query image and the disease classifications corresponding to the typical feature quantity are respectively retrieved from the case table and the disease table, and thus the disease classifications regarding the query image can be comprehensively retrieved. <P>COPYRIGHT: (C)2011,JPO&INPIT

Description

本発明は、診断対象画像から抽出した特徴量に基づいてその診断対象画像と関係する症例を検索する技術に関する。   The present invention relates to a technique for searching for a case related to a diagnosis target image based on a feature amount extracted from the diagnosis target image.

特許文献1は、画像データ入力手段が、被写体画像中に設定されたROIの画像データP′を入力し、検索手段が、入力されたROI画像データP′と画像の特性が類似している部分を有する類似画像データとその類似画像データに関連する診断データを症例データベースから検索して読み込む。検索手段は、選択手段により選択された類似判定項目について類似性を判定して検索を行う。出力手段が、検索手段による検索結果を表す検索結果情報を表示手段に出力し表示手段が検索結果をモニタに表示させる。   In Patent Document 1, the image data input means inputs ROI image data P ′ set in the subject image, and the search means has a portion whose image characteristics are similar to the input ROI image data P ′. The similar image data having and the diagnostic data related to the similar image data are retrieved from the case database and read. The search means determines the similarity for the similarity determination item selected by the selection means and performs a search. The output means outputs search result information representing the search results by the search means to the display means, and the display means displays the search results on the monitor.

特許文献2は、電子化された医学書を格納したデータベースの検索システムの一例である。一般に電子医学書とは、医学書を電子化することによりコンピュータ上で閲覧できるようにされているコンテンツである。症例データベースの各症例データには、関連する電子医学書の情報を参照できるハイパーリンクなどのデータを対応づけることがある。   Patent Document 2 is an example of a database search system that stores an electronic medical book. In general, an electronic medical book is content that can be viewed on a computer by digitizing the medical book. Each case data in the case database may be associated with data such as hyperlinks that can refer to information in related electronic medical books.

特許文献3および4は、階層化された医用データベースの一例である。   Patent Documents 3 and 4 are examples of a hierarchical medical database.

特許文献5は、医用情報を分類してデータベースに登録する一例である。   Patent Document 5 is an example in which medical information is classified and registered in a database.

特許文献6は注目領域の位置情報をもとに病変領域を抽出する技術の一例である。   Patent Document 6 is an example of a technique for extracting a lesion area based on position information of an attention area.

特許文献7は典型的な形状、色、大きさなどの特徴量をもつ病変部の画像データなどを含む症例情報に基づいてカプセル内視鏡の制御コマンドを生成する。症例情報は、過去の診断によって培われた膨大なデータの中から、代表的なデータを選出したものであるとする。   Patent Document 7 generates a control command for a capsule endoscope based on case information including image data of a lesion having a characteristic amount such as a typical shape, color, and size. It is assumed that the case information is representative data selected from a huge amount of data cultivated by past diagnosis.

特許文献8によると、参照画像準備支援装置は、複数枚の医用画像を保管するデータベースと、検査すべき検査医用画像を入力する画像収集装置と、検査医用画像および複数枚の医用画像の各画像について異常の種類を検出し、検査医用画像と同じ異常の種類の医用画像を選択し、選択された医用画像を検査医用画像と共に表示するワークステーションとを具備し、オペレータが介在することなく読影の参照にすべき過去の画像や典型的な症例画像を準備し、読影に備えることができるとする。   According to Patent Document 8, the reference image preparation support device includes a database that stores a plurality of medical images, an image collection device that inputs examination medical images to be examined, and each of the examination medical images and the plurality of medical images. A workstation that detects a type of abnormality for the medical image, selects a medical image of the same type of abnormality as the examination medical image, and displays the selected medical image together with the examination medical image. Assume that past images and typical case images to be referred to can be prepared and prepared for interpretation.

非特許文献1は関心領域中の画像特徴量の算出技術の一例である。   Non-Patent Document 1 is an example of a technique for calculating an image feature amount in a region of interest.

特開2004−5364号公報JP 2004-5364 A 特開2004−118566号公報JP 2004-118566 A 特開2007−105461号公報JP 2007-105461 A 特開2004−185330号公報JP 2004-185330 A 特開2004−334647号公報JP 2004-334647 A 特開2008−245719号公報JP 2008-245719 A 特開2008−237639号公報JP 2008-237639 A 特開2001−187044号公報JP 2001-187044 A

クーツ、エドワーズ、テイラー、「動的見えモデル」、第5回計算機視覚欧州会議報、ドイツ、シュプリンガー、1998年、第2巻484−498頁(T. F. Coootes, G. J. Edwards, C. J. Taylor “Active Appearance Models”, In Proc. 5th European Conference on Computer Vision, Springer)Couts, Edwards, Taylor, "Dynamic Appearance Model", 5th Computer Vision European Conference Report, Germany, Springer, 1998, Vol. 2, 484-498 (TF Coootes, GJ Edwards, CJ Taylor “Active Appearance Models” , In Proc. 5th European Conference on Computer Vision, Springer)

症例DBに多くの症例がまだ登録されていない場合や、多く登録されていても珍しくて画像がない疾患など、症例DBに画像がない疾患が存在する場合、網羅的に存在すべき疾患が類似画像検索でリストアップされないという問題が生じる。類似画像検索の結果を参考に診断を行う場合、疾患に抜けがあると、検索結果から抜けた疾患がある可能性を検討せずに診断結果を出してしまうことにつながる。本発明は、症例検索で疾患が網羅的にリストアップされることを目的とする。   When there are many cases that are not registered in the case DB, or there are diseases that do not have images in the case DB, such as rare cases that do not have images even though many cases are registered, the diseases that should exist comprehensively are similar. There is a problem that it is not listed in image search. When a diagnosis is performed with reference to the result of the similar image search, if there is a missing disease, the diagnosis result may be output without considering the possibility of the disease missing from the search result. An object of the present invention is to comprehensively list diseases by case search.

本発明に係る症例検索装置は、クエリー画像を入力するクエリー画像入力部と、クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、症例画像と症例画像の特徴量と疾患分類とを対応づけて記憶する第1のテーブルと、第1のテーブルに症例画像が記憶されていない疾患分類である画像無し疾患分類と疾患分類に対応する典型特徴量とを記憶する第2のテーブルと、クエリー画像特徴量算出部の算出したクエリー画像の特徴量と第1のテーブルの特徴量とを比較することで、クエリー画像の特徴量に類似する第1のテーブルの特徴量である第1の類似特徴量を検索するとともに、クエリー画像の特徴量と第2のテーブルの典型特徴量とを比較することで、クエリー画像の特徴量に類似する第2のテーブルの典型特徴量である第2の類似特徴量を検索する検索部と、第1のテーブルにおいて第1の類似特徴量に対応する症例画像および疾患分類を出力する第1の出力部と、第2のテーブルにおいて第2の類似特徴量に対応する画像無し疾患分類を出力する第2の出力部と、を備える。   The case search apparatus according to the present invention includes a query image input unit that inputs a query image, a query image feature amount calculation unit that calculates a feature amount of the query image input by the query image input unit, and a feature of the case image and the case image A first table for storing the amount and the disease classification in association with each other, a non-image disease classification for which the case image is not stored in the first table, and a typical feature amount corresponding to the disease classification The feature amount of the first table similar to the feature amount of the query image by comparing the feature amount of the query image calculated by the query image feature amount calculating unit with the second table and the feature amount of the first table. And a comparison between the feature quantity of the query image and the typical feature quantity of the second table to search for a second table similar to the feature quantity of the query image. A first search unit that searches for a second similar feature value that is a typical feature value of the message, a first output unit that outputs a case image and a disease classification corresponding to the first similar feature value in the first table, And a second output unit that outputs an imageless disease classification corresponding to the second similar feature amount in the table of 2.

好ましくは、症例画像を入力して入力された症例画像の特徴量を算出する算出部と、症例画像と算出部の算出した症例画像の特徴量と症例画像の疾患分類とを対応づけて第1のテーブルに登録する第1の登録部と、を備える。   Preferably, the calculation unit that calculates the feature amount of the input case image by inputting the case image, the case image, the feature amount of the case image calculated by the calculation unit, and the disease classification of the case image are associated with each other. A first registration unit for registering in the table.

好ましくは、画像無し疾患分類と典型特徴量とを入力して第2のテーブルに登録する第2の登録部を備える。   Preferably, the image processing apparatus includes a second registration unit that inputs an imageless disease classification and a typical feature amount and registers them in the second table.

好ましくは、症例画像の登録されていない疾患分類を検出する画像無し疾患分類検出部を備え、第2の登録部は、画像無し疾患分類検出部の検出した症例画像の登録されていない疾患分類に対応する典型特徴量を入力し、入力した典型特徴量と疾患分類とを対応づけて第2のテーブルに登録する。   Preferably, the image processing apparatus includes an imageless disease classification detection unit that detects a disease classification in which a case image is not registered, and the second registration unit selects a disease classification in which the case image detected by the imageless disease classification detection unit is not registered. The corresponding typical feature value is input, and the input typical feature value and the disease classification are associated with each other and registered in the second table.

好ましくは、画像無し疾患分類検出部は、症例画像が登録されていないことが検出された疾患分類を示すフラグを疾患分類と対応づけて登録する。   Preferably, the imageless disease classification detection unit registers a flag indicating a disease classification in which it is detected that a case image is not registered in association with the disease classification.

好ましくは、画像無し疾患分類検出部は、第1の登録部により第1のテーブルの症例画像が追加または削除されるごとに症例画像に対応するフラグを更新する。   Preferably, the imageless disease classification detection unit updates the flag corresponding to the case image every time the case image in the first table is added or deleted by the first registration unit.

好ましくは、検索部は、操作装置から入力された選択指示に応じ、クエリー画像の特徴量と第1のテーブルの特徴量とを比較することで、クエリー画像の特徴量に類似する第1のテーブルの特徴量である第1の類似特徴量を検索する第1の検索パターンおよび/またはクエリー画像の特徴量と第2のテーブルの典型特徴量とを比較することで、クエリー画像の特徴量に類似する第2のテーブルの特徴量である第2の類似特徴量を検索する第2の検索パターンを実施する。   Preferably, the search unit compares the feature amount of the query image with the feature amount of the first table in accordance with a selection instruction input from the operation device, so that the first table is similar to the feature amount of the query image. Similar to the feature amount of the query image by comparing the feature amount of the first search pattern and / or query image for searching for the first similar feature amount that is the feature amount of the second table with the typical feature amount of the second table A second search pattern for searching for a second similar feature amount that is a feature amount of the second table is executed.

好ましくは、検索部は、所定の電子医学書データベースの症例画像の特徴量とクエリー画像の特徴量とを比較することで、クエリー画像の特徴量に類似する電子医学書データベースの症例画像の特徴量である第3の類似特徴量を検索し、第1の出力部は、電子医学書データベースにおいて第3の類似特徴量に対応する症例画像および疾患分類を出力し、第2の出力部は、電子医学書データベースにおいて第3の類似特徴量に対応する疾患分類を出力する。   Preferably, the search unit compares the feature amount of the case image of the predetermined electronic medical book database with the feature amount of the query image, thereby comparing the feature amount of the case image of the electronic medical book database similar to the feature amount of the query image. The first output unit outputs a case image and a disease classification corresponding to the third similar feature in the electronic medical book database, and the second output unit The disease classification corresponding to the third similar feature is output in the medical book database.

第1の出力部は、操作装置への指示に応じて、症例画像の出力を開始または停止する。   The first output unit starts or stops the output of the case image in accordance with an instruction to the operating device.

本発明に係る症例検索方法は、コンピュータが、クエリー画像を入力するステップと、入力したクエリー画像の特徴量を算出するステップと、症例画像と症例画像の特徴量と疾患分類とを対応づけて第1のテーブルに記憶するステップと、第1のテーブルに症例画像が記憶されていない疾患分類である画像無し疾患分類と疾患分類に対応する典型特徴量とを第2のテーブルに記憶するステップと、算出したクエリー画像の特徴量と第1のテーブルの特徴量とを比較することで、クエリー画像の特徴量に類似する第1のテーブルの特徴量である第1の類似特徴量を検索するとともに、クエリー画像の特徴量と第2のテーブルの典型特徴量とを比較することで、クエリー画像の特徴量に類似する第2のテーブルの典型特徴量である第2の類似特徴量を検索するステップと、第1のテーブルにおいて第1の類似特徴量に対応する症例画像および疾患分類を出力するステップと、第2のテーブルにおいて第2の類似特徴量に対応する画像無し疾患分類を出力するステップと、を実行する。   The case search method according to the present invention includes a step in which a computer inputs a query image, a step of calculating a feature amount of the input query image, a case image, the feature amount of the case image, and a disease classification in association with each other. A step of storing in the table of 1, a step of storing in the second table the image-less disease classification that is a disease classification for which no case image is stored in the first table and a typical feature amount corresponding to the disease classification; By comparing the calculated feature amount of the query image with the feature amount of the first table, a first similar feature amount that is a feature amount of the first table similar to the feature amount of the query image is searched, and By comparing the feature quantity of the query image with the typical feature quantity of the second table, the second similar feature that is the typical feature quantity of the second table similar to the feature quantity of the query image. A step of outputting a case image and disease classification corresponding to the first similar feature amount in the first table, and an image-less disease classification corresponding to the second similar feature amount in the second table. And a step of outputting.

この症例検索方法をコンピュータに実行させるための症例検索プログラムも本発明に含まれる。   A case search program for causing a computer to execute this case search method is also included in the present invention.

本発明によると、症例画像がない疾患分類でも、それに対応する典型特徴量に基づいてクエリー画像に関係するの疾患分類を検索でき、疾患分類の検索範囲と結果提示範囲が網羅的になる。   According to the present invention, even for a disease classification without a case image, the disease classification related to the query image can be searched based on the corresponding typical feature amount, and the disease classification search range and result presentation range become comprehensive.

症例画像検索システムの概略構成図Schematic configuration diagram of case image retrieval system 症例テーブルの一例を示す図The figure which shows an example of a case table 疾患テーブルの一例を示す図The figure which shows an example of a disease table 症例DBの分類構造の一例を示す図The figure which shows an example of the classification structure of case DB 検索結果の出力例を示す図Figure showing output example of search results

図1は本発明の好ましい実施形態に係る症例画像検索システム100の概略構成図である。このシステムは、検索系101および登録系102からなる。検索系101は、特徴量計算部1、類似検索部2、画像有無判定部3、画像表示部4、疾患表示部5、症例データベース(DB)10を含む。登録系102は、症例登録部7、特徴量計算部8、画像無し疾患登録部9、症例データベース(DB)10、フラグ制御部11を含む。   FIG. 1 is a schematic configuration diagram of a case image search system 100 according to a preferred embodiment of the present invention. This system includes a search system 101 and a registration system 102. The search system 101 includes a feature amount calculation unit 1, a similarity search unit 2, an image presence / absence determination unit 3, an image display unit 4, a disease display unit 5, and a case database (DB) 10. The registration system 102 includes a case registration unit 7, a feature amount calculation unit 8, an imageless disease registration unit 9, a case database (DB) 10, and a flag control unit 11.

症例画像検索システム100は、コンピュータ(CPU,RAM,ROMなど演算処理に必要な回路、データ記憶媒体、データ入出力回路、表示回路、操作装置、通信回路などを備えたもの)で構成することができる。各ブロックは1つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータやロジック回路で構成し、かつそれらをネットワークやシステムバスなどのデータ通信手段で接続することでこのシステムを構成してもよい。また、特徴量計算部1、類似検索部2、画像有無判定部3、症例登録部7、特徴量計算部8、画像無し疾患登録部9、フラグ制御部11はコンピュータおよび当該コンピュータで実行されるプログラムモジュール(ROMなどのコンピュータ読取可能な記録媒体に格納)で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。画像表示部4、疾患表示部5は表示ディスプレイ、症例DB10はハードディスクなどの大容量記憶媒体で構成できる。   The case image retrieval system 100 may be configured by a computer (a circuit including a CPU, a RAM, a ROM, and other circuits necessary for arithmetic processing, a data storage medium, a data input / output circuit, a display circuit, an operation device, a communication circuit, etc.). it can. Each block may be configured integrally with one computer, but each block is configured by a single computer or logic circuit, and these blocks are connected by data communication means such as a network or a system bus. A system may be configured. The feature amount calculation unit 1, the similarity search unit 2, the image presence / absence determination unit 3, the case registration unit 7, the feature amount calculation unit 8, the no-image disease registration unit 9, and the flag control unit 11 are executed by a computer and the computer. A program module (stored in a computer-readable recording medium such as a ROM) can be substituted, and does not necessarily require a specific hardware configuration. The image display unit 4 and the disease display unit 5 can be configured by a display display, and the case DB 10 can be configured by a large-capacity storage medium such as a hard disk.

症例DB10は、症例テーブルと疾患分類テーブルを格納している。図2は症例テーブルの情報、図3は疾患分類テーブルの情報の一例を示す。図では症例テーブルと疾患分類テーブルは別々に示されているが、両者は同一のテーブルに併合されていてもよい。   The case DB 10 stores a case table and a disease classification table. 2 shows information on the case table, and FIG. 3 shows an example of information on the disease classification table. In the figure, the case table and the disease classification table are shown separately, but both may be merged into the same table.

症例テーブルには、検索対象画像となる症例画像と各症例画像に対応する付随情報が格納されている。ここで、症例画像は、対応する付随情報に含まれる疾患分類情報に従い、疾患別(例えば特許文献5と同様、ICD10に対応した病名コード別)や所見(病変の性状)別に分類されて症例DB10に格納されている。   The case table stores a case image to be a search target image and accompanying information corresponding to each case image. Here, the case images are classified according to disease (for example, according to disease name code corresponding to ICD10) and findings (characteristics of lesions) according to disease classification information included in corresponding incidental information, and case DB10. Stored in

症例DB10には、疾患分類別に統計情報、疾患情報、電子医学書の医学情報(特定の疾患に対しては間違えられやすい疾患の疾患情報や当該疾患に関する症例画像など)がハイパーリンクなどでリンクされている。リンク情報は付随情報に含めることができる。1つの症例画像にリンクする医学情報は1つでも複数でもよい。電子医学書は症例DB10に蓄積されていてもよいし症例DB10とは別のデータベース(例えば特許文献2参照)に蓄積されてもよい。   In the case DB 10, statistical information, disease information, and medical information of electronic medical books (such as disease information of a disease that is easily mistaken for a specific disease and a case image related to the disease) are linked by hyperlinks or the like. ing. The link information can be included in the accompanying information. One or more pieces of medical information may be linked to one case image. The electronic medical book may be stored in the case DB 10 or may be stored in a database different from the case DB 10 (see, for example, Patent Document 2).

付随情報には症例情報を含めることができる。症例情報には、画像診断名、病理診断名、所見(浸潤影、腫瘤、蜂窩肺など)、「CR」や「CT」などの撮像モダリティ情報、患者の氏名、年令、性別等の患者に関する個人情報を示す患者関連情報、登録者(担当医師名)、症例カンファレンスのあった年月日、撮像部位を示す撮像部位情報、読影医が作成した診断レポート等のテキストベースの診断情報が含まれる。   The accompanying information can include case information. Case information includes imaging diagnosis name, pathological diagnosis name, findings (infiltrative shadow, tumor, honeycomb, etc.), imaging modality information such as “CR” and “CT”, patient name, age, sex, etc. Includes patient-related information indicating personal information, registrant (name of doctor in charge), date of case conference, imaging part information indicating imaging part, text-based diagnostic information such as diagnostic report created by interpretation doctor .

また、疾患別の統計情報には、例えば、下記の情報が含まれる。
・代表症例における類似度(疾患内の最高類似度)
・平均類似度
・症例DB内の該当疾患の総登録件数
・代表症例に近い症例(症例パターン)の登録件数
・症例パターンにおける特徴…主な症状
・症例パターンにおける患者の特徴…平均年齢、病歴、喫煙歴など
・全国/地域別罹患率
・その他
症例テーブルには、特徴量計算部8により各症例画像の部位から抽出された特徴量(第2の特徴量)が格納されている。ただし、症例画像自体が症例DB10に蓄積されていれば、事後的にその症例画像を特徴量計算部8などで解析することで第2の特徴量を得ることができるから、症例DB10に第2の特徴量を登録することが本願発明の実施にあたって常に必ず必要なのではない。症例画像は症例登録部7から特徴量計算部8に入力される。特徴量計算部8の特徴量の計算方式は、特徴量計算部1と同様である。
The statistical information for each disease includes, for example, the following information.
・ Similarity in representative cases (highest similarity in disease)
-Average similarity-Total number of registrations of relevant diseases in the case DB-Number of cases (case pattern) registered near the representative case-Characteristics in the case pattern ... Patient characteristics in the main symptoms and case patterns ... Average age, medical history, Smoking history, etc., national / regional morbidity, etc. In the case table, the feature amount (second feature amount) extracted from the site of each case image by the feature amount calculation unit 8 is stored. However, if the case image itself is stored in the case DB 10, the second feature amount can be obtained by analyzing the case image later by the feature amount calculation unit 8 or the like. It is not always necessary to register the feature amount of the present invention when implementing the present invention. The case image is input from the case registration unit 7 to the feature amount calculation unit 8. The feature amount calculation method of the feature amount calculation unit 8 is the same as that of the feature amount calculation unit 1.

症例登録部7は、症例テーブルの情報を登録する。症例登録部7は、所望の医用撮像装置から症例画像を入力する。症例登録部7によって症例テーブルに登録される症例画像は、クエリー画像と同様に各種の医用撮像装置(CT装置、MRI装置、PET装置、X線装置、US装置、内視鏡、マンモグラフィ装置、顕微鏡用カメラなど)から得られる。また、症例登録部7によって症例テーブルに登録される付随情報は、医用撮像装置、操作装置、ネットワーク経由で接続した情報端末などから入力することができる。   The case registration unit 7 registers information in the case table. The case registration unit 7 inputs a case image from a desired medical imaging device. Case images registered in the case table by the case registration unit 7 are various medical imaging apparatuses (CT apparatus, MRI apparatus, PET apparatus, X-ray apparatus, US apparatus, endoscope, mammography apparatus, microscope, and the like as the query image. For example). The accompanying information registered in the case table by the case registration unit 7 can be input from a medical imaging device, an operation device, an information terminal connected via a network, or the like.

図3に例示するように、疾患テーブルは画像無し疾患登録部9の入力した特徴量と付随情報とを対応づけて格納する。この付随情報は疾患分類を含む。また、疾患テーブルは、症例テーブルの中でどの症例画像とも対応づけられていない疾患分類または症例テーブルの中で少なくとも1つの症例画像と対応づけられている疾患分類を示す画像有無フラグを含む。   As illustrated in FIG. 3, the disease table stores the feature amount input by the imageless disease registration unit 9 and the accompanying information in association with each other. This accompanying information includes disease classification. The disease table includes an image presence / absence flag indicating a disease classification not associated with any case image in the case table or a disease classification associated with at least one case image in the case table.

図2に例示するような症例テーブルでは、疾患分類「分類B」および「分類D」はどの症例画像とも対応づけられていない。そのため、疾患テーブルには、「分類B」および「分類D」に対応する画像有無フラグ「無し」が格納されている。あるいは、当該症例テーブルでは、疾患分類「分類A」、「分類C」および「分類E」は何らかの症例画像と対応づけられている。そのため、「分類A」、「分類C」および「分類E」に対応する画像有無フラグ「あり」が格納されている。   In the case table illustrated in FIG. 2, the disease classification “classification B” and “classification D” are not associated with any case image. For this reason, the disease table stores an image presence flag “none” corresponding to “classification B” and “classification D”. Alternatively, in the case table, the disease classifications “class A”, “class C”, and “class E” are associated with some case image. For this reason, image presence / absence flags “present” corresponding to “class A”, “class C”, and “class E” are stored.

フラグ制御部11は、症例登録部7による所望の疾患分類に対応する症例画像の症例テーブルへの登録や症例テーブルからの削除があったことに連動して、疾患テーブルの画像有無フラグの内容を更新する。   The flag control unit 11 displays the contents of the image presence / absence flag in the disease table in conjunction with the registration of the case image corresponding to the desired disease classification by the case registration unit 7 and the deletion from the case table. Update.

疾患テーブルは、画像有無フラグ「無し」の疾患分類に、当該疾患分類における症例画像の典型特徴量を対応づけて格納している。この典型特徴量は、画像無し疾患登録部9から入力される。この典型特徴量は、類似検索部2がクエリー画像の第1の特徴量と比較する第2の特徴量に含まれる。なお、疾患テーブルは、画像有無フラグ「あり」の疾患分類に、当該疾患分類における症例画像の典型特徴量を対応づけて格納してもよい。画像有無フラグが「あり」であっても、症例画像の削除により「無し」に変化する場合もあるからである。   The disease table stores the typical feature quantity of the case image in the disease classification in association with the disease classification of the image presence flag “none”. This typical feature amount is input from the no-image disease registration unit 9. This typical feature amount is included in the second feature amount that the similarity search unit 2 compares with the first feature amount of the query image. Note that the disease table may store a typical feature amount of a case image in the disease classification in association with the disease classification of the image presence flag “present”. This is because even if the image presence / absence flag is “present”, it may change to “absent” due to the deletion of the case image.

図3では画像有無フラグ「あり」に対応する「分類A」、「分類C」および「分類E」の各々に対応する典型特徴量、画像有無フラグ「無し」に対応する疾患分類「分類B」および「分類D」の各々に対応する典型特徴量の双方が格納されているが、画像有無フラグ「あり」に対応する「分類A」、「分類C」および「分類E」の各々に対応する典型特徴量はなくてもよい。   In FIG. 3, typical features corresponding to each of “class A”, “class C”, and “class E” corresponding to the image presence flag “present”, and a disease classification “class B” corresponding to the image presence flag “absent”. And the typical feature amount corresponding to each of “class D” is stored, but corresponds to each of “class A”, “class C”, and “class E” corresponding to the image presence flag “present”. There may be no typical feature amount.

また、典型特徴量に疾患分類以外の付随情報、例えば電子医学書へのリンク情報を対応づけてもよい。疾患テーブルは、症例テーブルに症例画像が登録されていない疾患分類に関する情報を提供するために用いられる。ただし、症例テーブルだけでなく電子医学書のデータベースに症例画像が登録されていない疾患分類に関する特徴量を格納してもよい。すなわち、疾患テーブルは症例画像のない電子医学書にも応用できる。   Further, incidental information other than disease classification, for example, link information to an electronic medical book may be associated with the typical feature amount. The disease table is used to provide information related to a disease classification in which case images are not registered in the case table. However, not only the case table but also a feature quantity related to a disease classification in which case images are not registered in the database of electronic medical books may be stored. That is, the disease table can be applied to an electronic medical book without a case image.

典型特徴量は、単なる数値であり、患者の個人情報を含まないから、他の病院や研究施設による公開の制限の程度が低く、症例画像よりも入手が容易と考えられる。   Since the typical feature amount is merely a numerical value and does not include the personal information of the patient, it is considered that the degree of restriction of disclosure by other hospitals and research facilities is low, and is easier to obtain than the case image.

症例テーブルおよび疾患テーブルに含まれる個々の付随情報の個々の疾患分類は、ディレクトリ、フォルダ、パーティションのように症例DB10に設けられた論理的な格納単位に対応する。この論理的な格納単位は、階層構造(ツリー構造)をとることができる(図4参照)。   Individual disease classifications of individual accompanying information included in the case table and the disease table correspond to logical storage units provided in the case DB 10 such as directories, folders, and partitions. This logical storage unit can take a hierarchical structure (tree structure) (see FIG. 4).

各疾患分類に対応するデータセットを物理的な格納単位に格納することで分類してもよい。物理的な格納単位ごとに個別の論理的な格納単位を設けることもできる。例えば、症例DB10とは別の物理的あるいは論理的な格納単位に、電子医学書のデータベースを構築し、その中では、症例DB10とは異なる階層構造を構築できる。   Classification may be performed by storing a data set corresponding to each disease classification in a physical storage unit. An individual logical storage unit may be provided for each physical storage unit. For example, a database of electronic medical books is constructed in a physical or logical storage unit different from the case DB 10, and a hierarchical structure different from the case DB 10 can be constructed therein.

症例登録部7による症例テーブルへのデータ登録のタイミング、疾患登録部9による疾患テーブルへの典型特徴量と付随情報の登録を行うタイミングは任意である。例えば、フラグ制御部11は、まず疾患テーブルの各疾患分類に対応する画像有無フラグを全て「無し」のデフォルト値に設定しておき、その後、症例登録部7による症例テーブルへのデータ登録を許可する。これに応じてユーザは、所望の症例画像と付随情報を症例登録部7にて登録する。この登録は、ユーザの指示に基づいて行われるが、登録すべきデータのソースは任意である。症例登録部7による症例テーブルへの症例画像と付随情報の登録の開始から所定時間が経過したが、依然としてある疾患分類に対応する画像有無フラグが「無し」の場合、疾患登録部9により疾患テーブルへ当該疾患分類に対応する典型症例および付随情報の登録を開始する。   The timing for registering data in the case table by the case registration unit 7 and the timing for registering the typical feature amount and accompanying information in the disease table by the disease registration unit 9 are arbitrary. For example, the flag control unit 11 first sets all the image presence / absence flags corresponding to each disease classification in the disease table to a default value of “none”, and then permits the case registration unit 7 to register data in the case table. To do. In response to this, the user registers a desired case image and accompanying information in the case registration unit 7. This registration is performed based on a user instruction, but the source of data to be registered is arbitrary. When a predetermined time has elapsed since the registration of the case image and accompanying information in the case table by the case registration unit 7 but the image presence flag corresponding to a certain disease classification is still “none”, the disease registration unit 9 causes the disease table Registration of typical cases and associated information corresponding to the disease classification is started.

あるいは、先に疾患登録部9により、網羅的な疾患分類と典型特徴量の疾患テーブルへの登録を行い、それらに対応する画像有無フラグはデフォルト値「無し」を登録する。その後順次症例登録部7による症例テーブルへのデータ登録を行い、症例テーブルへ登録された症例画像に対応する疾患分類の画像有無フラグをデフォルト値「無し」から「あり」に更新してもよい。   Alternatively, the disease registration unit 9 first registers the comprehensive disease classification and the typical feature amount in the disease table, and the image presence / absence flag corresponding to them registers the default value “none”. Thereafter, data registration in the case table by the case registration unit 7 may be sequentially performed, and the image presence flag of the disease classification corresponding to the case image registered in the case table may be updated from the default value “none” to “yes”.

疾患テーブルへのデータ登録の開始は、全自動でも半自動でもよい。例えば、フラグ制御部11は、定期的(例えば1週間おき、1月おきなど)に各疾患分類に対応する症例画像の登録数を症例DB10から検出し、登録数が零の疾患分類が検出された場合、当該疾患分類の症例画像が零であり典型特徴量の収集が望ましい旨の警告を表示メッセージやビープ音などで出力する。それに応じて、画像無し疾患登録部9は、ユーザが操作装置で指定した任意のソースから、典型特徴量を取得して、当該疾患分類と取得された典型特徴量を対応づけて疾患テーブルへに格納する。典型特徴量に対応づけて登録する付随情報のソースは任意であり、操作装置、記録媒体読取装置、ネットワーク上のサーバなどが挙げられる。   The start of data registration in the disease table may be fully automatic or semi-automatic. For example, the flag control unit 11 detects the number of registered case images corresponding to each disease category from the case DB 10 periodically (for example, every other week, every other month, etc.), and the disease category with the zero registered number is detected. If a case image of the disease classification is zero, a warning that the collection of typical features is desirable is output with a display message or a beep sound. In response to this, the no-image disease registration unit 9 acquires a typical feature amount from an arbitrary source designated by the user using the operation device, associates the disease category with the acquired typical feature amount, and stores it in the disease table. Store. The source of the accompanying information registered in association with the typical feature amount is arbitrary, and examples thereof include an operation device, a recording medium reading device, and a server on a network.

症例登録部7が新規の症例画像と付随情報をそれまでに全く登録実績のなかった疾患分類に登録した場合、フラグ制御部11は当該疾患分類に対応する画像有無フラグを「無し」から「あり」に更新する。疾患登録部9が新規の典型特徴量をそれまでに全く登録実績のなかった疾患分類に登録した場合、フラグ制御部11は当該疾患分類に対応する画像有無フラグを「無し」のままとする。症例登録部7がユーザからの指示に応じて症例テーブルから所望の症例画像と付随情報の削除を行ってもよいが、もしある疾患分類に対応する症例画像を全て削除した場合は、フラグ制御部11は当該疾患分類に対応する画像有無フラグを「あり」から「無し」に更新する。ある特定の疾患分類に対応する画像有無フラグが「あり」から「無し」に更新されたことに応じ、疾患登録部9による当該疾患分類に対応するデータ登録が開始されるか、開始を促す警告を出力してユーザの意思を確認し、指示があればデータ登録を開始してもよい。   When the case registration unit 7 registers a new case image and accompanying information in a disease category that has never been registered, the flag control unit 11 changes the image presence / absence flag corresponding to the disease category from “None” to “Yes” Update to When the disease registration unit 9 registers a new typical feature amount in a disease category that has never been registered, the flag control unit 11 keeps the image presence flag corresponding to the disease category “None”. The case registration unit 7 may delete a desired case image and accompanying information from the case table in response to an instruction from the user. If all the case images corresponding to a certain disease classification are deleted, the flag control unit 11 updates the image presence / absence flag corresponding to the disease classification from “present” to “absent”. In response to the image presence / absence flag corresponding to a specific disease classification being updated from “Yes” to “None”, the disease registration unit 9 starts data registration corresponding to the disease classification or a warning prompting the start To confirm the user's intention, and if there is an instruction, data registration may be started.

疾患登録部9へ登録する典型特徴量データのソースは任意であり、操作装置、ネットワーク経由で接続した情報端末、CDROMやDVDその他の記憶媒体読取装置、あるいは電子医学書のデータベース(ただし、症例画像がなく特徴量だけが格納されているレコードの全部または一部を対象とする)などからデータを入力して登録することができる。また、ある疾患分類に対応する典型特徴量とは、当該疾患分類に対応する画像の標準的な特徴量であるが、何をもって典型特徴量とするかは任意である。例えば、学会や他の病院で収集されたある疾患分類に対応する画像の特徴量を統計処理(サンプルの単純平均、加重平均、中央値など)した値を当該疾患分類に対応する典型特徴量とする。あるいは、集めた画像サンプルから手動操作により典型的な画像を選択し、当該画像から特徴量計算部8によって抽出した特徴量をそのまま当該疾患分類に対応する典型特徴量とする。   The source of the typical feature data to be registered in the disease registration unit 9 is arbitrary, and includes an operation device, an information terminal connected via a network, a CDROM, a DVD or other storage medium reader, or a database of electronic medical books (however, case images The data can be input and registered from a record in which all or a part of a record storing only the feature quantity is included. The typical feature amount corresponding to a certain disease classification is a standard feature amount of an image corresponding to the disease classification, but what is used as the typical feature amount is arbitrary. For example, a value obtained by statistically processing image features (simple average, weighted average, median, etc.) of an image corresponding to a certain disease classification collected at academic societies or other hospitals is a typical feature corresponding to the disease classification. To do. Alternatively, a typical image is selected from the collected image samples by manual operation, and the feature amount extracted from the image by the feature amount calculation unit 8 is used as a typical feature amount corresponding to the disease classification as it is.

特徴量計算部1は、CT画像、MRI画像、PET画像、X線画像(CR画像含む)、US(超音波)画像、内視鏡画像、マンモグラフィ、病理画像などの診断対象画像(クエリー画像)を入力する。特徴量計算部1は、これらのクエリー画像と、クエリー画像のサイズや撮像日時といった付帯情報や症例情報を入力することもできる。特徴量計算部1および医療用画像診断装置の間の通信プロトコルおよびクエリー画像および付帯情報のフォーマットは、DICOM(Digital Imaging and Communication in Medicine)のような所定の規格に従っている。   The feature amount calculation unit 1 is a diagnosis target image (query image) such as a CT image, an MRI image, a PET image, an X-ray image (including a CR image), a US (ultrasound) image, an endoscopic image, a mammography, or a pathological image. Enter. The feature amount calculation unit 1 can also input these query images and incidental information such as the size of the query image and the imaging date and time and case information. The communication protocol between the feature quantity calculation unit 1 and the medical image diagnostic apparatus, and the format of the query image and incidental information comply with a predetermined standard such as DICOM (Digital Imaging and Communication in Medicine).

特徴量計算部1は、入力されたクエリー画像を解析し、症例DB10に蓄積された症例画像または疾患分類の検索に必要な特徴量(第1の特徴量)を作成する。   The feature amount calculation unit 1 analyzes the input query image and creates a feature amount (first feature amount) necessary for searching for case images or disease classifications accumulated in the case DB 10.

特徴量計算部1によって算出される特徴量は画像データの平均、分散、最大値、最小値、輝度ヒストグラムといった画素値に関する特徴量や、関心領域の位置、輪郭の円形度やモーメント、断面の半径、体積、面積など形状に関する特徴量の他、非特許文献1の手法によって得られる、ROI(関心領域)の病変部の形状情報やテクスチャ情報でもよい。あるいは、症例DB10に一旦登録された情報を所定の数式(例えば主成分分析、独立成分分析)で処理した値を特徴量としてもよい。要するに、公知の手法で得られた画像の輪郭・画素値、位置情報などを特徴量とすることができる。   The feature amount calculated by the feature amount calculation unit 1 is a feature amount related to pixel values such as an average, variance, maximum value, minimum value, and luminance histogram of image data, a position of a region of interest, a circularity or moment of an outline, and a radius of a cross section. In addition to the feature amount related to the shape such as volume and area, the shape information and texture information of the lesioned part of the ROI (region of interest) obtained by the method of Non-Patent Document 1 may be used. Alternatively, a value obtained by processing information once registered in the case DB 10 with a predetermined mathematical formula (for example, principal component analysis, independent component analysis) may be used as the feature amount. In short, the outline / pixel value, position information, etc. of an image obtained by a known method can be used as the feature amount.

また、特徴量の計算の前処理として画像の病変領域を特定し、その病変領域を対象とした特徴量の計算を行ってもよい。病変領域の特定の例としては、特許文献6のような注目領域の位置情報をもとに領域を抽出する手法などがある。   Further, as a preprocessing for calculating the feature amount, a lesion area of the image may be specified, and the feature quantity may be calculated for the lesion area. As a specific example of a lesion area, there is a method of extracting an area based on position information of an attention area as in Patent Document 6.

また、病変領域の特定は必ずしも全自動でなくてもよく、ユーザによる操作装置の指定した領域近傍の特徴量(画素値に関する特徴量あるいは輪郭など形状に関する特徴量)を利用した画像処理技術で半自動的に抽出してもよい。このように、病変部位に特化した特徴量を用いることで、着目した病変部位と類似する症例画像の検索を行える。   In addition, the identification of a lesion area is not necessarily fully automatic, and semi-automatic image processing technology using a feature amount (a feature amount related to a pixel value or a feature related to a shape such as a contour) in the vicinity of a region designated by the user on the operation device. May be extracted automatically. In this way, by using a feature amount specialized for a lesion site, a case image similar to the focused lesion site can be searched.

類似検索部2は、特徴量計算部1の算出した第1の特徴量と症例DB10に蓄積された症例テーブルの特徴量および疾患テーブルの特徴量(第2の特徴量)とを比較し、両者の類似度を算出する。第2の特徴量はクエリー画像と同じ手法に従って予め作成および蓄積されている。   The similarity search unit 2 compares the first feature amount calculated by the feature amount calculation unit 1 with the feature amount of the case table accumulated in the case DB 10 and the feature amount of the disease table (second feature amount). The similarity is calculated. The second feature amount is created and stored in advance according to the same technique as that for the query image.

類似検索部2は、操作装置からの選択に従い、第1の特徴量と症例テーブルの第2の特徴量との間の類似度を算出するか(パターン1)、第1の特徴量と疾患テーブルの第2の特徴量との間の類似度を算出するか(パターン2)、第1の特徴量と症例テーブルの第2の特徴量との間の類似度を算出するとともに第1の特徴量と疾患テーブルの第2の特徴量との間の類似度を算出する(パターン3)、第1の特徴量と症例テーブルの第2の特徴量、疾患テーブルの第2の特徴量および電子医学書のデータベースの症例画像から抽出ないし当該データベースに登録されている特徴量との間の類似度を算出する(パターン4)のいずれかを実行してもよい。パターン1は症例画像の検索が必要で画像のない典型症例の検索が不要な場合、パターン2は症例画像の検索が不要で画像のない典型症例の検索が必要な場合、パターン3は症例画像および典型症例の検索が必要な場合、パターン4は医学書の症例画像も検索したい場合に選択すればよい。   The similarity search unit 2 calculates the similarity between the first feature value and the second feature value of the case table according to the selection from the operation device (pattern 1), or the first feature value and the disease table The degree of similarity between the first feature amount and the second feature amount of the case table is calculated and the first feature amount is calculated (pattern 2). And the second feature quantity of the disease table are calculated (pattern 3), the first feature quantity and the second feature quantity of the case table, the second feature quantity of the disease table, and the electronic medical book Any one of extraction from the case images in the database or calculation of the similarity between the feature amounts registered in the database (pattern 4) may be executed. Pattern 1 requires a search for a case image and does not require a search for a typical case without an image. Pattern 2 does not require a search for a case image and requires a search for a typical case without an image. When a search for a typical case is necessary, the pattern 4 may be selected when a case image of a medical book is desired to be searched.

類似度の算出方法としては公知のもの、例えば特徴量の値の差分、特徴量空間(重み付き空間も可)上の最小2乗法などが採用できる。説明の便宜上、類似度Sは以下の数式で定義する。ただし、本願発明の実施のために、類似度Sの算出基準がこの定義に限定されるわけではない。   As a method for calculating the similarity, a known method, for example, a difference between feature value values, a least square method on a feature amount space (a weighted space is also possible), or the like can be employed. For convenience of explanation, the similarity S is defined by the following mathematical formula. However, the standard for calculating the similarity S is not limited to this definition in order to implement the present invention.

特徴量m(i=1,2,…,n)は登録済みの症例画像の注目領域の特徴量、M(i=1,2,…,n)は診断画像の注目領域から抽出された特徴量である。w(i=1,2,…,n)は、疾患別に予め定義された各特徴量に対する重み付け係数である。m、M、wの添え字iは特徴量空間上の座標軸を示す。双方の特徴量が近いほど類似度Sの値が小さくなり、双方の特徴量が遠いほど類似度Sの値が大きくなる。 The feature quantity mi (i = 1, 2,..., N) is extracted from the feature area of the attention area of the registered case image, and M i (i = 1, 2,..., N) is extracted from the attention area of the diagnostic image. Feature amount. w i (i = 1, 2,..., n) is a weighting coefficient for each feature amount defined in advance for each disease. A subscript i of m i , M i , and w i indicates a coordinate axis on the feature amount space. The closer the two feature quantities are, the smaller the value of the similarity S is, and the farther the feature quantities are, the larger the value of the similarity S is.

類似検索部2は、症例DB10に蓄積された全ての症例画像あるいは予め操作装置から指定された付随検索項目に対応する症例画像のうち、クエリー画像の特徴量情報との類似度Sが所定の閾値よりも高い第2の特徴量(類似特徴量)を特定する。付随検索項目はユーザが任意に指定できる情報であり、例えば、撮像部位(胸部、乳房など)、解剖学的位置情報(肝臓右葉、肺S1など)、撮像モダリティ情報、患者関連情報、画像診断名、病理診断名、所見(浸潤影、腫瘤、蜂窩肺など)、撮像モダリティ情報、担当医師名など、症例DB10の付随情報とマッチングによる症例画像の絞り込みが可能な情報が挙げられる。   The similarity search unit 2 has a predetermined threshold value of the similarity S to the feature amount information of the query image among all the case images stored in the case DB 10 or the case images corresponding to the associated search items designated in advance from the operation device. A higher second feature amount (similar feature amount) is specified. The accompanying search items are information that can be arbitrarily specified by the user. For example, the imaging region (chest, breast, etc.), anatomical position information (liver right lobe, lung S1, etc.), imaging modality information, patient related information, image diagnosis Information that can narrow down case images by matching with incidental information in the case DB 10 such as name, pathological diagnosis name, findings (infiltrating shadow, tumor, honeycomb cell, etc.), imaging modality information, doctor name in charge, and the like.

画像有無判定部3は、症例テーブルにおいて類似検索部2の特定した類似特徴量に対応する症例画像である類似画像を画像表示部4に出力するとともに、その類似画像に対応する付随情報(疾患分類など)を疾患表示部5に出力する。   The image presence / absence determination unit 3 outputs a similar image, which is a case image corresponding to the similar feature amount specified by the similarity search unit 2 in the case table, to the image display unit 4 and accompanying information (disease classification) corresponding to the similar image. And the like are output to the disease display unit 5.

あるいは、症例類似検索部2の特定した類似特徴量に対応する付随情報に含まれる画像有無フラグを参照し、画像有無フラグが「あり」を示していれば、症例テーブルから特定された類似特徴量に対応する症例画像である類似画像を画像表示部4に出力するとともに、その類似特徴量に対応する付随情報を疾患表示部5に出力してもよい。   Alternatively, with reference to the image presence / absence flag included in the accompanying information corresponding to the similar feature amount specified by the case similarity search unit 2, if the image presence / absence flag indicates “Yes”, the similar feature amount specified from the case table A similar image, which is a case image corresponding to, may be output to the image display unit 4, and accompanying information corresponding to the similar feature amount may be output to the disease display unit 5.

画像表示部4および疾患表示部5は、同一の表示装置で構成してもよいが、その表示領域は区別されている。   The image display unit 4 and the disease display unit 5 may be configured by the same display device, but their display areas are distinguished.

疾患表示部5は、付随情報に含まれる疾患情報、例えば症例情報(画像診断名、病理診断名、所見など)や、当該症例情報によってリンクされた電子医学書に含まれる医学情報(電子医学書における病名、病原体、症状、患部ごとの分類など)などを表示する。表示項目をキーボードやマウスなどの操作装置で選択できてもよい。   The disease display unit 5 includes disease information included in the accompanying information, for example, case information (image diagnosis name, pathological diagnosis name, findings, etc.) and medical information (electronic medical book) included in the electronic medical book linked by the case information. Disease name, pathogen, symptom, classification by affected area, etc.). The display item may be selected with an operation device such as a keyboard or a mouse.

疾患表示部5は、映像表示手段以外の出力手段に代替できる。例えば出力手段をネットワークI/Fとし、所望の通信端末(パソコン、携帯電話、PDAなど)に情報を出力してもよい。あるいは映像表示手段とともに、印刷手段によって情報を出力してもよい。また、音声出力手段からの合成音声の出力などによって情報を出力してもよい。   The disease display unit 5 can be replaced with output means other than the video display means. For example, the output unit may be a network I / F, and information may be output to a desired communication terminal (such as a personal computer, a mobile phone, or a PDA). Alternatively, the information may be output by the printing unit together with the video display unit. Further, information may be output by outputting a synthesized voice from the voice output means.

画像有無判定部3は、類似検索部2の特定した類似特徴量に対応する付随情報に含まれる画像有無フラグを参照し、画像有無フラグが「無し」を示していれば、疾患テーブルから特定された類似特徴量に対応する付随情報を疾患表示部5に出力する。   The image presence / absence determination unit 3 refers to the image presence / absence flag included in the accompanying information corresponding to the similar feature amount specified by the similarity search unit 2 and is specified from the disease table if the image presence / absence flag indicates “none”. The accompanying information corresponding to the similar feature amount is output to the disease display unit 5.

すなわち、類似画像が存在する場合に限って画像表示部4に類似画像が表示される一方、疾患表示部5には、類似画像が検索されたか否かにかかわらず、付随情報が表示される(ただし、パターン1が選択された場合を除く)。   That is, the similar image is displayed on the image display unit 4 only when the similar image exists, while the accompanying information is displayed on the disease display unit 5 regardless of whether the similar image is searched or not ( However, except when pattern 1 is selected).

図5は画像表示部4が表示した類似特徴量に対応する類似画像とその付随情報(疾患分類)、および疾患表示部5が表示した類似特徴量に対応する付随情報(疾患分類)の一例を示す。これは、類似検索部2による類似症例検索の結果画面として出力される。症例画像がある疾患分類に関しては類似画像と疾患分類(画像診断名、病理診断名、所見など)、症例画像がない疾患分類に関しては疾患分類だけが表示される。   FIG. 5 shows an example of a similar image corresponding to the similar feature amount displayed by the image display unit 4 and its accompanying information (disease classification), and accompanying information (disease classification) corresponding to the similar feature amount displayed by the disease display unit 5. Show. This is output as a result screen of a similar case search by the similar search unit 2. A similar image and disease classification (image diagnosis name, pathological diagnosis name, findings, etc.) are displayed for a disease classification with a case image, and only a disease classification is displayed for a disease classification without a case image.

操作装置からの指示に応じ、類似画像の表示/非表示を切り替えてもよい。類似画像の非表示が指示されれば、類似画像の有無にかかわらず疾患名だけが表示される。   The display / non-display of the similar image may be switched according to an instruction from the operation device. If non-display of a similar image is instructed, only the disease name is displayed regardless of the presence or absence of the similar image.

また、付随情報に含まれる疾患名以外の情報、例えば医学情報へのリンクを表示し、そのリンクを指定することで対応する医学情報を表示してもよい。   Further, information other than the disease name included in the accompanying information, for example, a link to medical information may be displayed, and the corresponding medical information may be displayed by designating the link.

以上のように、症例画像がそもそも症例テーブルに登録されていないような疾患分類についても、それに対応する典型特徴量を疾患テーブルに登録しておき、任意のクエリー画像の特徴量に類似する症例画像の特徴量に対応する疾患分類および典型特徴量に対応する疾患分類をそれぞれ症例テーブルおよび疾患テーブルから検索し、クエリー画像に関係する疾患分類を網羅的に検索できる。   As described above, even for disease classifications in which case images are not registered in the case table in the first place, typical feature amounts corresponding to the disease classifications are registered in the disease table, and case images similar to the feature amounts of any query image The disease classification corresponding to the feature amount and the disease classification corresponding to the typical feature amount are searched from the case table and the disease table, respectively, and the disease classification related to the query image can be comprehensively searched.

1:特徴量計算部、2:類似検索部、3:画像有無判定部、4:画像表示部、5:疾患表示部、7:症例登録部、8:特徴量計算部、9:画像無し疾患登録部、10:症例データベース、11:フラグ制御部   1: feature amount calculation unit, 2: similarity search unit, 3: image presence / absence determination unit, 4: image display unit, 5: disease display unit, 7: case registration unit, 8: feature amount calculation unit, 9: disease without image Registration unit, 10: case database, 11: flag control unit

Claims (11)

クエリー画像を入力するクエリー画像入力部と、
前記クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、
症例画像と前記症例画像の特徴量と疾患分類とを対応づけて記憶する第1のテーブルと、
前記第1のテーブルに症例画像が記憶されていない疾患分類である画像無し疾患分類と前記疾患分類に対応する典型特徴量とを記憶する第2のテーブルと、
前記クエリー画像特徴量算出部の算出したクエリー画像の特徴量と前記第1のテーブルの特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第1のテーブルの特徴量である第1の類似特徴量を検索するとともに、前記クエリー画像の特徴量と前記第2のテーブルの典型特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第2のテーブルの典型特徴量である第2の類似特徴量を検索する検索部と、
前記第1のテーブルにおいて前記第1の類似特徴量に対応する症例画像および疾患分類を出力する第1の出力部と、
前記第2のテーブルにおいて前記第2の類似特徴量に対応する画像無し疾患分類を出力する第2の出力部と、
を備える症例検索装置。
A query image input unit for inputting a query image;
A query image feature amount calculation unit for calculating a feature amount of the query image input by the query image input unit;
A first table that stores a case image, a feature amount of the case image, and a disease classification in association with each other;
A second table that stores an imageless disease classification that is a disease classification in which no case image is stored in the first table and a typical feature amount corresponding to the disease classification;
The feature amount of the first table that is similar to the feature amount of the query image by comparing the feature amount of the query image calculated by the query image feature amount calculation unit with the feature amount of the first table. The second table representative similar to the feature amount of the query image is obtained by searching for the first similar feature amount and comparing the feature amount of the query image with the representative feature amount of the second table. A search unit for searching for a second similar feature quantity that is a feature quantity;
A first output unit that outputs a case image and a disease classification corresponding to the first similar feature amount in the first table;
A second output unit that outputs an imageless disease classification corresponding to the second similar feature amount in the second table;
A case retrieval apparatus comprising:
前記症例画像を入力して入力された症例画像の特徴量を算出する算出部と、
前記症例画像と前記算出部の算出した前記症例画像の特徴量と前記症例画像の疾患分類とを対応づけて前記第1のテーブルに登録する第1の登録部と、
を備える請求項1に記載の症例検索装置。
A calculation unit that inputs the case image and calculates a feature amount of the input case image;
A first registration unit that registers the case image and the feature amount of the case image calculated by the calculation unit and the disease classification of the case image in association with each other in the first table;
The case search device according to claim 1, comprising:
前記画像無し疾患分類と前記典型特徴量とを入力して前記第2のテーブルに登録する第2の登録部を備える請求項2に記載の症例検索装置。   The case search device according to claim 2, further comprising a second registration unit that inputs the image-less disease classification and the typical feature amount and registers them in the second table. 症例画像の登録されていない疾患分類を検出する画像無し疾患分類検出部を備え、
前記第2の登録部は、前記画像無し疾患分類検出部の検出した症例画像の登録されていない疾患分類に対応する典型特徴量を入力し、前記入力した典型特徴量と前記疾患分類とを対応づけて前記第2のテーブルに登録する請求項3に記載の症例検索装置。
With an imageless disease classification detection unit that detects a disease classification that is not registered in a case image,
The second registration unit inputs a typical feature amount corresponding to an unregistered disease category of the case image detected by the no-image disease category detection unit, and associates the input typical feature amount with the disease classification The case search device according to claim 3, wherein the case search device is registered in the second table.
前記画像無し疾患分類検出部は、前記症例画像が登録されていないことが検出された疾患分類を示すフラグを前記疾患分類と対応づけて登録する請求項4に記載の症例検索装置。   5. The case retrieval apparatus according to claim 4, wherein the no-image disease classification detection unit registers a flag indicating a disease classification in which it is detected that the case image is not registered in association with the disease classification. 前記画像無し疾患分類検出部は、前記第1の登録部により前記第1のテーブルの症例画像が追加または削除されるごとに前記症例画像に対応するフラグを更新する請求項5に記載の症例検索装置。   6. The case search according to claim 5, wherein the imageless disease classification detection unit updates a flag corresponding to the case image every time a case image in the first table is added or deleted by the first registration unit. apparatus. 前記検索部は、操作装置から入力された選択指示に応じ、前記クエリー画像の特徴量と前記第1のテーブルの特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第1のテーブルの特徴量である第1の類似特徴量を検索する第1の検索パターンおよび/または前記クエリー画像の特徴量と前記第2のテーブルの典型特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第2のテーブルの特徴量である第2の類似特徴量を検索する第2の検索パターンを実施する請求項1〜6のいずれかに記載の症例検索装置。   The search unit compares the feature amount of the query image with the feature amount of the first table in accordance with a selection instruction input from an operating device, and thus the first similarity similar to the feature amount of the query image. By comparing the first search pattern for searching for the first similar feature quantity that is the feature quantity of the table and / or the feature quantity of the query image with the typical feature quantity of the second table, the query image The case search device according to claim 1, wherein a second search pattern for searching for a second similar feature amount that is a feature amount of the second table similar to the feature amount of the second table is implemented. 前記検索部は、所定の電子医学書データベースの症例画像の特徴量と前記クエリー画像の特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記電子医学書データベースの症例画像の特徴量である第3の類似特徴量を検索し、
前記第1の出力部は、前記電子医学書データベースにおいて前記第3の類似特徴量に対応する症例画像および疾患分類を出力し、
前記第2の出力部は、前記電子医学書データベースにおいて前記第3の類似特徴量に対応する疾患分類を出力する請求項1〜7のいずれかに記載の症例検索装置。
The search unit compares a feature amount of a case image in a predetermined electronic medical book database with a feature amount of the query image, thereby resembling the case image feature of the electronic medical book database similar to the feature amount of the query image. Search for a third similar feature quantity,
The first output unit outputs a case image and a disease classification corresponding to the third similar feature amount in the electronic medical book database,
The case search device according to claim 1, wherein the second output unit outputs a disease classification corresponding to the third similar feature amount in the electronic medical book database.
前記第1の出力部は、操作装置への指示に応じて、前記症例画像の出力を開始または停止する請求項1〜8のいずれかに記載の症例検索装置。   The case search device according to any one of claims 1 to 8, wherein the first output unit starts or stops outputting the case image in response to an instruction to the operation device. コンピュータが、
クエリー画像を入力するステップと、
前記入力したクエリー画像の特徴量を算出するステップと、
症例画像と前記症例画像の特徴量と疾患分類とを対応づけて第1のテーブルに記憶するステップと、
前記第1のテーブルに症例画像が記憶されていない疾患分類である画像無し疾患分類と前記疾患分類に対応する典型特徴量とを第2のテーブルに記憶するステップと、
前記算出したクエリー画像の特徴量と前記第1のテーブルの特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第1のテーブルの特徴量である第1の類似特徴量を検索するとともに、前記クエリー画像の特徴量と前記第2のテーブルの典型特徴量とを比較することで、前記クエリー画像の特徴量に類似する前記第2のテーブルの典型特徴量である第2の類似特徴量を検索するステップと、
前記第1のテーブルにおいて前記第1の類似特徴量に対応する症例画像および疾患分類を出力するステップと、
前記第2のテーブルにおいて前記第2の類似特徴量に対応する画像無し疾患分類を出力するステップと、
を実行する症例検索方法。
Computer
Entering a query image;
Calculating a feature amount of the input query image;
Storing the case image, the feature amount of the case image, and the disease classification in association with each other in the first table;
Storing, in the second table, an imageless disease classification that is a disease classification in which no case image is stored in the first table, and a typical feature amount corresponding to the disease classification;
By comparing the calculated feature amount of the query image with the feature amount of the first table, a first similar feature amount that is a feature amount of the first table similar to the feature amount of the query image is obtained. A second characteristic value of the second table similar to the characteristic value of the query image is obtained by searching and comparing the characteristic value of the query image with the typical characteristic value of the second table. Searching for similar features,
Outputting a case image and a disease classification corresponding to the first similar feature amount in the first table;
Outputting an imageless disease classification corresponding to the second similar feature amount in the second table;
Search method for cases.
請求項10に記載の症例検索方法をコンピュータに実行させるための症例検索プログラム。   A case search program for causing a computer to execute the case search method according to claim 10.
JP2009273738A 2009-12-01 2009-12-01 Case retrieval device, method and program Pending JP2011118540A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009273738A JP2011118540A (en) 2009-12-01 2009-12-01 Case retrieval device, method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009273738A JP2011118540A (en) 2009-12-01 2009-12-01 Case retrieval device, method and program

Publications (1)

Publication Number Publication Date
JP2011118540A true JP2011118540A (en) 2011-06-16

Family

ID=44283813

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009273738A Pending JP2011118540A (en) 2009-12-01 2009-12-01 Case retrieval device, method and program

Country Status (1)

Country Link
JP (1) JP2011118540A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5054252B1 (en) * 2011-11-04 2012-10-24 パナソニック株式会社 Similar case search device, similar case search method, operation method and program of similar case search device
US9008390B2 (en) 2011-06-30 2015-04-14 Panasonic Corporation Similar case searching apparatus, relevance database generating apparatus, similar case searching method, and relevance database generating method
EP3557449A4 (en) * 2016-12-19 2019-10-30 Fujifilm Corporation Similar case search device, method for operation and program for operation thereof, and similar case search system
US10748661B2 (en) 2014-10-30 2020-08-18 Panasonic Corporation Method for controlling information terminal, and recording medium
CN116796046A (en) * 2023-08-29 2023-09-22 武汉大学人民医院(湖北省人民医院) Case retrieval method and device based on rare characteristics
JP7388284B2 (en) 2020-04-20 2023-11-29 富士通株式会社 Similar case search program, similar case search method, and similar case search system
JP7409211B2 (en) 2020-04-20 2024-01-09 富士通株式会社 Similar case search program, similar case search method, and similar case search system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9008390B2 (en) 2011-06-30 2015-04-14 Panasonic Corporation Similar case searching apparatus, relevance database generating apparatus, similar case searching method, and relevance database generating method
JP5054252B1 (en) * 2011-11-04 2012-10-24 パナソニック株式会社 Similar case search device, similar case search method, operation method and program of similar case search device
WO2013065090A1 (en) * 2011-11-04 2013-05-10 パナソニック株式会社 Similar case retrieval device and similar case retrieval method
CN103200861A (en) * 2011-11-04 2013-07-10 松下电器产业株式会社 Similar case retrieval device and similar case retrieval method
US8958613B2 (en) 2011-11-04 2015-02-17 Panasonic Corporation Similar case searching apparatus and similar case searching method
US10748661B2 (en) 2014-10-30 2020-08-18 Panasonic Corporation Method for controlling information terminal, and recording medium
US11749413B2 (en) 2014-10-30 2023-09-05 Panasonic Holdings Corporation Method for controlling information terminal, and recording medium
EP3557449A4 (en) * 2016-12-19 2019-10-30 Fujifilm Corporation Similar case search device, method for operation and program for operation thereof, and similar case search system
US10930396B2 (en) 2016-12-19 2021-02-23 Fujifilm Corporation Similar case search apparatus, method for operating similar case search apparatus, and similar case search system
JP7388284B2 (en) 2020-04-20 2023-11-29 富士通株式会社 Similar case search program, similar case search method, and similar case search system
JP7409211B2 (en) 2020-04-20 2024-01-09 富士通株式会社 Similar case search program, similar case search method, and similar case search system
CN116796046A (en) * 2023-08-29 2023-09-22 武汉大学人民医院(湖北省人民医院) Case retrieval method and device based on rare characteristics
CN116796046B (en) * 2023-08-29 2023-11-10 武汉大学人民医院(湖北省人民医院) Case retrieval method and device based on rare characteristics

Similar Documents

Publication Publication Date Title
JP5599572B2 (en) Case image retrieval apparatus, method and program
JP5502346B2 (en) Case image registration device, method and program, and case image search device, method, program and system
JP2011118543A (en) Case image retrieval device, method and program
JP5852970B2 (en) CASE SEARCH DEVICE AND CASE SEARCH METHOD
CN106557647B (en) Control method
JP4021179B2 (en) Diagnosis support program, computer-readable recording medium storing diagnosis support program, diagnosis support apparatus, and diagnosis support method
JP5462414B2 (en) Similar case retrieval device, relevance degree database creation device, similar case retrieval method, and relevance degree database creation method
RU2640009C2 (en) Automatic detection and extraction of previous annotations, relevant for imaging study, for efficient viewing and reporting
JP5054252B1 (en) Similar case search device, similar case search method, operation method and program of similar case search device
US8908946B2 (en) Information processing apparatus and its control method and data processing system
US10261681B2 (en) Method for displaying a medical image and a plurality of similar medical images obtained from a case search system
JP2011118540A (en) Case retrieval device, method and program
JP5661890B2 (en) Information processing apparatus, information processing method, and program
JP2011092286A (en) Information processing apparatus, information processing method, and program
JP2004005364A (en) Similar image retrieval system
AU2018335370A1 (en) Method and system for rule-based display of sets of images using image content derived parameters
JP2011048672A (en) Device, method and program for registering case image
JP2007280229A (en) Similar case retrieval device, similar case retrieval method and program
WO2019146357A1 (en) Medical image processing device, method, and program, and diagnosis assistance device, method, and program
JP7102509B2 (en) Medical document creation support device, medical document creation support method, and medical document creation support program
JP5094775B2 (en) Case image retrieval apparatus, method and program
JP5094770B2 (en) Case image retrieval apparatus, method and program
JP5539478B2 (en) Information processing apparatus and information processing method
CN113329684A (en) Comment support device, comment support method, and comment support program
JP6301116B2 (en) Medical image display device