JP2011118543A - Case image retrieval device, method and program - Google Patents
Case image retrieval device, method and program Download PDFInfo
- Publication number
- JP2011118543A JP2011118543A JP2009273754A JP2009273754A JP2011118543A JP 2011118543 A JP2011118543 A JP 2011118543A JP 2009273754 A JP2009273754 A JP 2009273754A JP 2009273754 A JP2009273754 A JP 2009273754A JP 2011118543 A JP2011118543 A JP 2011118543A
- Authority
- JP
- Japan
- Prior art keywords
- image
- feature amount
- finding
- similar
- case
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
本発明は、診断対象画像から抽出した特徴量に基づいてその診断対象画像と関係する症例を検索する技術に関する。 The present invention relates to a technique for searching for a case related to a diagnosis target image based on a feature amount extracted from the diagnosis target image.
特許文献１は、画像データ入力手段が、被写体画像中に設定されたＲＯＩの画像データＰ′を入力し、検索手段が、入力されたＲＯＩ画像データＰ′と画像の特性が類似している部分を有する類似画像データとその類似画像データに関連する診断データを症例データベースから検索して読み込む。検索手段は、選択手段により選択された類似判定項目について類似性を判定して検索を行う。出力手段が、検索手段による検索結果を表す検索結果情報を表示手段に出力し表示手段が検索結果をモニタに表示させる。 In Patent Document 1, the image data input means inputs ROI image data P ′ set in the subject image, and the search means has a portion whose image characteristics are similar to the input ROI image data P ′. The similar image data having and the diagnostic data related to the similar image data are retrieved from the case database and read. The search means determines the similarity for the similarity determination item selected by the selection means and performs a search. The output means outputs search result information representing the search results by the search means to the display means, and the display means displays the search results on the monitor.
特許文献２は、電子化された医学書を格納したデータベースの検索システムの一例である。一般に電子医学書とは、医学書を電子化することによりコンピュータ上で閲覧できるようにされているコンテンツである。症例データベースの各症例データには、関連する電子医学書の情報を参照できるハイパーリンクなどのデータを対応づけることがある。 Patent Document 2 is an example of a database search system that stores an electronic medical book. In general, an electronic medical book is content that can be viewed on a computer by digitizing the medical book. Each case data in the case database may be associated with data such as hyperlinks that can refer to information in related electronic medical books.
特許文献３および４は、階層化された医用データベースの一例である。 Patent Documents 3 and 4 are examples of a hierarchical medical database.
特許文献５は、医用情報を分類してデータベースに登録する一例である。 Patent Document 5 is an example in which medical information is classified and registered in a database.
特許文献６は注目領域の位置情報をもとに病変領域を抽出する技術の一例である。 Patent Document 6 is an example of a technique for extracting a lesion area based on position information of an attention area.
特許文献７によると、医用画像撮影装置によって取得した被検体の画像データセットを読み込み、その画像データセットから濃度情報を算出する対象となる対象臓器を抽出する。次に、対象臓器の任意の断面像を作成し、断面像における対象臓器領域内の任意の回転中心、又は領域を基準として径方向に連続する濃度情報(プロファイル)を算出する。算出された濃度情報が、特異量(正常の濃度情報とどれだけ異なっているかを表す指標)を算出し、その特異量の分布を示す特異量マップを作成・表示する。濃度プロファイルにおいて、異常部位付近では、濃度プロファイルが正規形状とは異なる形状を示す。この形状変化や濃度勾配の急激な変化に基づいて、濃度値の差異を操作者に提示することで、操作者は効率的に異常部位の有無や位置を把握することが可能となる。 According to Patent Document 7, an image data set of a subject acquired by a medical imaging apparatus is read, and a target organ that is a target for calculating density information is extracted from the image data set. Next, an arbitrary cross-sectional image of the target organ is created, and density information (profile) continuous in the radial direction is calculated with reference to an arbitrary rotation center or region in the target organ region in the cross-sectional image. A specific amount (an index indicating how much the calculated concentration information differs from normal concentration information) is calculated, and a specific amount map showing the distribution of the specific amount is created and displayed. In the concentration profile, the concentration profile shows a shape different from the normal shape in the vicinity of the abnormal part. By presenting the difference in the density value to the operator based on the shape change or the rapid change in the density gradient, the operator can efficiently grasp the presence / absence and position of the abnormal part.
特許文献８によると、医用画像に含まれる関心領域の特徴量と医療情報とが、互いに関連付けられて格納される医療情報格納手段と、医療情報を提供するために参照される参照医用画像が入力される画像入力手段と、参照医用画像に含まれる関心領域を抽出する関心領域抽出手段と、関心領域を計測して特徴量を算出する特徴量算出手段と、特徴量算出手段が算出した特徴量に基づいて医療情報格納手段を検索し、医療情報を抽出する医療情報検索手段と、医療情報検索手段が抽出した医療情報を出力する処理結果出力手段と、を備える。特徴量は、被検体の肺野領域の体積に占める低濃度吸収値領域の体積の割合である。また、医療情報は、患者又は健康診断の受診者向けのコメントである。 According to Patent Literature 8, a medical information storage unit that stores a feature amount of a region of interest and medical information included in a medical image in association with each other, and a reference medical image that is referred to provide medical information are input. Image input means, a region of interest extraction means for extracting a region of interest included in the reference medical image, a feature amount calculation means for measuring the region of interest and calculating a feature quantity, and a feature quantity calculated by the feature quantity calculation means Medical information storage means based on the medical information search means, medical information search means for extracting medical information, and processing result output means for outputting the medical information extracted by the medical information search means. The feature amount is a ratio of the volume of the low concentration absorption value region to the volume of the lung field region of the subject. The medical information is a comment for a patient or a medical checkup recipient.
特許文献９によると、断層像のテクスチャー情報を用いて陰影の正常異常を判別するものであり、正常異常の判別方法の一つとして、原画像と補間画像とのそれぞれのテクスチャー情報に基づいて正常異常の判別を行なうようにした。これ以外にも、原画像と補間画像との間の濃度テクスチャー情報、又は原画像と補間画像との間の陰影形状の相似度に基づいて、正常異常の判別を行なう。 According to Patent Document 9, normality / abnormality of a shadow is determined using texture information of a tomogram, and normality is determined based on the texture information of an original image and an interpolated image as one of normality / abnormality determination methods. Anomaly was determined. In addition to this, normality / abnormality determination is performed based on density texture information between the original image and the interpolated image or the similarity of the shadow shape between the original image and the interpolated image.
特許文献１０では、注目領域が肺野に現れる腫瘍や肺結節などの異常陰影である場合、異常陰影は形態、大きさ、辺縁や領域内の濃度に特徴が表れる。また、各異常陰影が現れた解剖学的な位置もその異常陰影の特徴であると考えられる。そこで、注目領域を解析して、形態の特徴、大きさの特徴、注目領域内の濃度の特徴、注目領域の辺縁部の濃度の特徴、解剖学的な位置などを求める。異常陰影は、濃度によってPure GGO（スリガラス影）、Mixed GGO（スリガラス影と高濃度）、Solid（高濃度）に分けられる。抽出手段によって抽出された注目領域内の平均値、偏差、最大値、最小値を特徴量として、既存の非線形判別手法、設計判別手法などを用いて判別することができる。さらに、濃度値から、異常陰影の領域内に石灰化有無や空洞有無でわけることができる。石灰化は、注目領域内の濃度の最大値が一定のしきい値（例えば、目安CT値500）以上の場合は、石灰化が存在するものと判定する。空洞は、注目領域内の濃度の最小値が一定のしきい値（例えば、目安CT値500）以下の場合に空洞が存在すると判定する。また、所見を読影レポートに自動入力するために、特徴量と所見とを一致させている。 In Patent Document 10, when the region of interest is an abnormal shadow such as a tumor or a pulmonary nodule that appears in the lung field, the abnormal shadow is characterized by its form, size, edge, and density within the region. The anatomical position where each abnormal shadow appears is also considered to be a feature of the abnormal shadow. Therefore, the attention area is analyzed, and the feature of the shape, the characteristic of the size, the characteristic of the density in the attention area, the characteristic of the density of the edge of the attention area, the anatomical position, and the like are obtained. Abnormal shadows are classified into Pure GGO (ground glass shadow), Mixed GGO (ground glass shadow and high density), and Solid (high density) depending on the density. The average value, the deviation, the maximum value, and the minimum value in the attention area extracted by the extraction unit can be used as a feature amount to determine using an existing nonlinear determination method, design determination method, or the like. Further, from the density value, it can be divided into the presence or absence of calcification and the presence or absence of cavities in the region of abnormal shadow. Calcification is determined to be present when the maximum value of the concentration in the region of interest is equal to or greater than a certain threshold (for example, the standard CT value 500). A cavity is determined to be present when the minimum value of the concentration in the region of interest is equal to or less than a certain threshold (for example, a standard CT value of 500). In addition, in order to automatically input the findings into the interpretation report, the feature amounts are matched with the findings.
非特許文献１は関心領域中の画像特徴量の算出技術の一例である。 Non-Patent Document 1 is an example of a technique for calculating an image feature amount in a region of interest.
従来技術の類似画像検索システムにて類似画像を表示したときに、何をポイントに類似性を判断したのかがユーザである画像診断医には分からない。例えば図１１に示すような画像Ｉ１をクエリー画像とし、クエリー画像および症例画像の平均濃度値を特徴量とした類似画像検索、すなわちクエリー画像との間で平均濃度が近い症例画像を検索し、類似画像Ｉ２が検索結果として出力されたとする。この検索結果では、単に画像が表示されるだけで、双方の何の特徴が似かよっているのかがユーザに示されない。 When a similar image is displayed by a similar image retrieval system of the prior art, the image diagnostician who is the user does not know what the similarity is determined based on. For example, an image I1 as shown in FIG. 11 is used as a query image, and a similar image search using the average density value of the query image and the case image as a feature amount, that is, a case image having an average density close to the query image is searched for and similar. Assume that the image I2 is output as a search result. In this search result, the image is simply displayed, and the user does not indicate what features of both are similar.
本発明は、類似画像検索結果の妥当性をユーザが判断するため、類似と判断したポイントをユーザが理解可能な形式で表現することを目的とする。 An object of the present invention is to express a point determined to be similar in a format that can be understood by the user in order for the user to determine the validity of the similar image search result.
本発明は、クエリー画像を入力するクエリー画像入力部と、クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、症例画像と症例画像の特徴量とを対応づけて記憶するデータベースと、クエリー画像特徴量算出部の算出したクエリー画像の特徴量とデータベースの特徴量とを比較することで、クエリー画像に類似する症例画像である類似画像を検索する検索部と、検索部が検索した類似画像の検索に寄与した特徴量に対応する所見情報を類似画像と対応づけて所定の出力装置に出力する所見情報出力部と、を備える症例画像検索装置を提供する。 The present invention relates a query image input unit that inputs a query image, a query image feature amount calculation unit that calculates a feature amount of the query image input by the query image input unit, and a case image and a feature amount of a case image A search unit that searches for a similar image that is a case image similar to the query image by comparing the feature amount of the database stored in the database and the query image feature amount calculated by the query image feature amount calculation unit with the feature amount of the database; There is provided a case image retrieval device comprising: a finding information output unit that associates finding information corresponding to a feature amount contributed to retrieval of a similar image retrieved by a retrieval unit with a similar image and outputs the same to a predetermined output device.
ここで、所見情報出力部は、類似画像が特定の所見を特徴づけるか否かを判別する判別器を有し、判別器が類似画像が特定の所見を特徴づけると判別したことに応じ、特定の所見を示す所見情報を類似画像に対応づけて所定の出力装置に出力する。 Here, the finding information output unit has a discriminator that discriminates whether or not the similar image characterizes the specific finding, and is specified according to the discriminator discriminating that the similar image characterizes the specific finding. The finding information indicating the findings is output to a predetermined output device in association with the similar image.
所見情報出力部は、判別器により、類似画像が特定の所見を特徴づける程度を示すスコアを算出し、スコアに応じて判別を行う。 The finding information output unit calculates a score indicating the degree to which the similar image characterizes the specific finding by the discriminator, and discriminates according to the score.
所見情報出力部は、複数の類似画像のうち最も高いスコアに対応する類似画像に特定の所見を示す所見情報を対応づけて所定の出力装置に出力する。 The finding information output unit associates finding information indicating a specific finding with a similar image corresponding to the highest score among a plurality of similar images, and outputs the finding information to a predetermined output device.
所見情報出力部は、類似画像が特定の所見を特徴づけるか否かを判別する判別器を特徴量の種類ごとに有し、判別器により類似画像のスコアを特徴量の種類ごとに算出し、類似画像に対応する特徴量の種類ごとのスコアのうち最も高いスコアを算出した判別器は類似画像が特定の所見を特徴づけると判別する。 The finding information output unit has a discriminator for discriminating whether or not a similar image characterizes a specific finding for each type of feature amount, and calculates a score of the similar image for each type of feature amount by the discriminator, The discriminator that calculates the highest score among the scores for each type of feature amount corresponding to the similar image determines that the similar image characterizes a specific finding.
スコアをＺとすると、Ｚ＝α×（１００−Ｐ）＋β×Ｑ（ここで、Ｐはクエリー画像と類似画像の類似度の差、Ｑは特定の所見に対応する典型画像と類似画像の類似度の差、αおよびβは重み、類似度は特徴量空間上の距離）により算出される。 When the score is Z, Z = α × (100−P) + β × Q (where P is the difference in similarity between the query image and the similar image, and Q is the similarity between the typical image and the similar image corresponding to a specific finding) The difference in degrees, α and β are calculated by weight, and the similarity is calculated by a distance in the feature space).
所見情報出力部は、類似検索部が検索した類似画像の特徴量をパラメータとした各所見の出現確率を示す確率分布曲線に基づき、類似画像の特徴量において最も高い出現確率を示す所見を特定し、特定された所見を示す所見情報を出力する。 The finding information output unit specifies a finding showing the highest appearance probability in the feature amount of the similar image based on the probability distribution curve showing the appearance probability of each finding using the feature amount of the similar image searched by the similarity search unit as a parameter. The finding information indicating the identified finding is output.
検索部が出力した類似画像に対応する特徴量と各所見に対応する特徴量の分布範囲とを比較し、類似画像の特徴量が属する分布範囲に対応する所見を特定し、特定された所見を示す情報を出力する。 The feature quantity corresponding to the similar image output by the search unit is compared with the distribution range of the feature quantity corresponding to each finding, the finding corresponding to the distribution range to which the feature quantity of the similar image belongs is identified, and the identified finding is The information shown is output.
クエリー画像および症例画像はびまん性肺疾患のＣＴ画像であり、クエリー画像および類似画像の特徴量は、ＣＴ画像の平均濃度値を含み、類似画像の特徴量が属する分布範囲に対応する所見は、−２００以上の平均濃度値範囲に対応するコンソリデーション、−８００超〜−２００未満の平均濃度値範囲に対応するＧＧＯ（Ground Glass Opacity;すりガラス陰影）、−８００以下の平均濃度値範囲に対応する正常肺を含む。 The query image and the case image are CT images of diffuse lung disease, the feature amount of the query image and the similar image includes the average density value of the CT image, and the finding corresponding to the distribution range to which the feature amount of the similar image belongs is Consolidation corresponding to an average density value range of −200 or more, GGO (Ground Glass Opacity) corresponding to an average density value range of from −800 to less than −200, and an average density value range of −800 or less Includes normal lung.
所見情報出力部は、所定の記録媒体に格納された、類似画像の注目領域の位置に対応する所見情報、形状に対応する所見情報、大きさに対応する所見情報、濃度値に対応する所見情報、および注目領域内外の濃度差に対応する所見情報を規定するテーブルを参照することで類似画像の検索に寄与した特徴量に対応する所見情報を特定し、特定された所見情報を所定の出力装置に出力する。 The finding information output unit stores the finding information corresponding to the position of the region of interest of the similar image, the finding information corresponding to the shape, the finding information corresponding to the size, and the finding information corresponding to the density value stored in the predetermined recording medium. , And by referring to a table defining the finding information corresponding to the density difference inside and outside the region of interest, the finding information corresponding to the feature amount contributing to the retrieval of the similar image is specified, and the specified finding information is output to a predetermined output device. Output to.
類似画像の注目領域の位置は肺野内の解剖学的な位置を含む。 The position of the attention area of the similar image includes an anatomical position in the lung field.
本発明は、コンピュータが、クエリー画像を入力するステップと、入力したクエリー画像の特徴量を算出するステップと、症例画像と症例画像の特徴量とを対応づけて記憶するデータベースの特徴量と算出したクエリー画像の特徴量とを比較することで、クエリー画像に類似する症例画像である類似画像を検索するステップと、検索した類似画像の検索に寄与した特徴量に対応する所見情報を類似画像と対応づけて所定の出力装置に出力するステップと、を実行する症例画像検索方法を提供する。 According to the present invention, the computer calculates a step of inputting a query image, a step of calculating a feature amount of the input query image, and a feature amount of a database that stores the case image and the feature amount of the case image in association with each other. Searching for similar images, which are case images similar to the query image, by comparing with the feature values of the query image, and matching the finding information corresponding to the feature amount contributing to the search for the searched similar image with the similar image And a step of outputting to a predetermined output device.
この症例画像検索方法をコンピュータに実行させるための症例画像検索プログラムも本発明に含まれる。 A case image search program for causing a computer to execute this case image search method is also included in the present invention.
本発明によると、クエリー画像に類似する画像として検索された類似画像に所見情報が対応づけられて出力されるため、どういうポイントで類似画像の類似性が判断されたかがよく分かる。 According to the present invention, since the finding information is output in association with the similar image searched as an image similar to the query image, it can be easily understood at what point the similarity of the similar image is determined.
図１は本発明の好ましい実施形態に係る症例画像検索システム１００の概略構成図である。このシステムは、特徴量計算部１、類似検索部２、寄与特徴量同定部３、変換部４、特徴量／所見変換ＤＢ５、表示部６、症例登録部７、特徴量計算部８、症例データベース（ＤＢ）１０を含む。 FIG. 1 is a schematic configuration diagram of a case image search system 100 according to a preferred embodiment of the present invention. This system includes a feature amount calculation unit 1, a similarity search unit 2, a contribution feature amount identification unit 3, a conversion unit 4, a feature amount / finding conversion DB 5, a display unit 6, a case registration unit 7, a feature amount calculation unit 8, and a case database. (DB) 10 is included.
症例画像検索システム１００は、コンピュータ（ＣＰＵ，ＲＡＭ，ＲＯＭなど演算処理に必要な回路、データ記憶媒体、データ入出力回路、表示回路、操作装置、通信回路などを備えたもの）で構成することができる。各ブロックは１つのコンピュータに一体的に構成されていてもよいが、各々のブロックを単独のコンピュータやロジック回路で構成し、かつそれらをネットワークやシステムバスなどのデータ通信手段で接続することでこのシステムを構成してもよい。また、特徴量計算部１、類似検索部２、寄与特徴量同定部３、変換部４、症例登録部７、特徴量計算部８はコンピュータおよび当該コンピュータで実行されるプログラムモジュール（ＲＯＭなどのコンピュータ読取可能な記録媒体に格納）で代替することもでき、必ずしも特定のハードウェア構成を要求するのではない。表示部６は表示ディスプレイ、特徴量／所見変換ＤＢ５および症例ＤＢ１０はハードディスクなどの大容量記憶媒体で構成できる。 The case image retrieval system 100 may be configured by a computer (a circuit including a CPU, a RAM, a ROM, and other circuits necessary for arithmetic processing, a data storage medium, a data input / output circuit, a display circuit, an operation device, a communication circuit, etc.) it can. Each block may be configured integrally with one computer, but each block is configured by a single computer or logic circuit, and these blocks are connected by data communication means such as a network or a system bus. A system may be configured. The feature quantity calculation unit 1, the similarity search unit 2, the contribution feature quantity identification unit 3, the conversion unit 4, the case registration unit 7, and the feature quantity calculation unit 8 are a computer and a program module (a computer such as a ROM) that is executed by the computer. Stored in a readable recording medium), and does not necessarily require a specific hardware configuration. The display unit 6 can be constituted by a display display, and the feature quantity / finding conversion DB 5 and the case DB 10 can be constituted by a large-capacity storage medium such as a hard disk.
症例ＤＢ１０は、検索対象画像となる症例画像と各症例画像に対応する付随情報を格納している。ここで、症例画像は、対応する付随情報に含まれる疾患分類情報に従い、疾患別（例えば特許文献５と同様、ＩＣＤ１０に対応した病名コード別）や所見（病変の性状）別に分類されて症例ＤＢ１０に格納されている。 Case DB10 stores the case image used as a search object image, and the accompanying information corresponding to each case image. Here, the case images are classified according to disease (for example, according to disease name code corresponding to ICD10) and findings (characteristics of lesions) according to disease classification information included in corresponding incidental information, and case DB10. Stored in
症例ＤＢ１０には、疾患分類別に統計情報、疾患情報、電子医学書の医学情報（特定の疾患に対しては間違えられやすい疾患の疾患情報や当該疾患に関する症例画像など）がハイパーリンクなどでリンクされている。リンク情報は付随情報に含めることができる。１つの症例画像にリンクする医学情報は１つでも複数でもよい。電子医学書は症例ＤＢ１０に蓄積されていてもよいし症例ＤＢ１０とは別のデータベース（例えば特許文献２参照）に蓄積されてもよい。 In the case DB 10, statistical information, disease information, and medical information of electronic medical books (such as disease information of a disease that is easily mistaken for a specific disease and a case image related to the disease) are linked by hyperlinks or the like. ing. The link information can be included in the accompanying information. One or more pieces of medical information may be linked to one case image. The electronic medical book may be stored in the case DB 10 or may be stored in a database different from the case DB 10 (see, for example, Patent Document 2).
付随情報には症例情報を含めることができる。症例情報には、画像診断名、病理診断名、所見（浸潤影、腫瘤、蜂窩肺など）、「ＣＲ」や「ＣＴ」などの撮像モダリティ情報、患者の氏名、年令、性別等の患者に関する個人情報を示す患者関連情報、登録者（担当医師名）、症例カンファレンスのあった年月日、撮像部位を示す撮像部位情報、読影医が作成した診断レポート等のテキストベースの診断情報が含まれる。 The accompanying information can include case information. Case information includes imaging diagnosis name, pathological diagnosis name, findings (infiltrative shadow, tumor, honeycomb, etc.), imaging modality information such as “CR” and “CT”, patient name, age, sex, etc. Includes patient-related information indicating personal information, registrant (name of doctor in charge), date of case conference, imaging part information indicating imaging part, text-based diagnostic information such as diagnostic report created by interpretation doctor .
また、疾患別の統計情報には、例えば、下記の情報が含まれる。
・代表症例における類似度（疾患内の最高類似度）
・平均類似度
・症例ＤＢ内の該当疾患の総登録件数
・代表症例に近い症例(症例パターン)の登録件数
・症例パターンにおける特徴…主な症状
・症例パターンにおける患者の特徴…平均年齢、病歴、喫煙歴など
・全国／地域別罹患率
・その他
症例ＤＢ１０には、特徴量計算部８により各症例画像の部位から抽出された特徴量（第２の特徴量）が格納されている。ただし、症例画像自体が症例ＤＢ１０に蓄積されていれば、事後的にその症例画像を特徴量計算部８などで解析することで第２の特徴量を得ることができるから、症例ＤＢ１０に第２の特徴量を登録することが本願発明の実施にあたって常に必ず必要なのではない。症例画像は症例登録部７から特徴量計算部８に入力される。特徴量計算部８の特徴量の計算方式は、特徴量計算部１と同様である。
The statistical information for each disease includes, for example, the following information.
・ Similarity in representative cases (highest similarity in disease)
-Average similarity-Total number of registrations of relevant diseases in the case DB-Number of cases (case pattern) registered near the representative case-Characteristics in the case pattern ... Patient characteristics in the main symptoms and case patterns ... Average age, medical history, Smoking history, nationwide / regional morbidity, etc. The case DB 10 stores the feature amount (second feature amount) extracted from the part of each case image by the feature amount calculation unit 8. However, if the case image itself is stored in the case DB 10, the second feature amount can be obtained by analyzing the case image later by the feature amount calculation unit 8 or the like. It is not always necessary to register the feature amount of the present invention when implementing the present invention. The case image is input from the case registration unit 7 to the feature amount calculation unit 8. The feature amount calculation method of the feature amount calculation unit 8 is the same as that of the feature amount calculation unit 1.
症例登録部７は、症例ＤＢ１０の情報を登録する。症例登録部７は、所望の医用撮像装置から症例画像を入力する。症例登録部７によって症例ＤＢ１０に登録される症例画像は、クエリー画像と同様に各種の医用撮像装置（ＣＴ装置、ＭＲＩ装置、ＰＥＴ装置、Ｘ線装置、ＵＳ装置、内視鏡、マンモグラフィ装置、顕微鏡用カメラなど）から得られる。また、症例登録部７によって症例ＤＢ１０に登録される付随情報は、医用撮像装置、操作装置、ネットワーク経由で接続した情報端末などから入力することができる。 The case registration unit 7 registers information in the case DB 10. The case registration unit 7 inputs a case image from a desired medical imaging device. Case images registered in the case DB 10 by the case registration unit 7 are various medical imaging devices (CT devices, MRI devices, PET devices, X-ray devices, US devices, endoscopes, mammography devices, microscopes, and the like as query images). For example). The accompanying information registered in the case DB 10 by the case registration unit 7 can be input from a medical imaging device, an operation device, an information terminal connected via a network, or the like.
症例ＤＢ１０に含まれる個々の付随情報の個々の疾患分類は、ディレクトリ、フォルダ、パーティションのように症例ＤＢ１０に設けられた論理的な格納単位に対応する。この論理的な格納単位は、階層構造（ツリー構造）をとることができる。 Individual disease classifications of individual accompanying information included in the case DB 10 correspond to logical storage units provided in the case DB 10 such as directories, folders, and partitions. This logical storage unit can take a hierarchical structure (tree structure).
各疾患分類に対応するデータセットを物理的な格納単位に格納することで分類してもよい。物理的な格納単位ごとに個別の論理的な格納単位を設けることもできる。例えば、症例ＤＢ１０とは別の物理的あるいは論理的な格納単位に、電子医学書のデータベースを構築し、その中では、症例ＤＢ１０とは異なる階層構造を構築できる。 Classification may be performed by storing a data set corresponding to each disease classification in a physical storage unit. An individual logical storage unit may be provided for each physical storage unit. For example, a database of electronic medical books is constructed in a physical or logical storage unit different from the case DB 10, and a hierarchical structure different from the case DB 10 can be constructed therein.
症例登録部７による症例ＤＢ１０へのデータ登録のタイミングは任意である。また、登録すべきデータのソースは任意であり、操作装置、ネットワーク経由で接続した情報端末、ＣＤＲＯＭやＤＶＤその他の記憶媒体読取装置、あるいは電子医学書のデータベース（ただし、症例画像がなく特徴量だけが格納されているレコードの全部または一部を対象とする）などからデータを入力して登録することができる。 The timing of data registration in the case DB 10 by the case registration unit 7 is arbitrary. The source of the data to be registered is arbitrary, such as an operating device, an information terminal connected via a network, a CDROM, DVD or other storage medium reader, or a database of electronic medical books (however, there are no case images and only feature quantities) Can be registered by inputting data from all or a part of the records in which data is stored.
特徴量計算部１は、ＣＴ画像、ＭＲＩ画像、ＰＥＴ画像、Ｘ線画像（ＣＲ画像含む）、ＵＳ（超音波）画像、内視鏡画像、マンモグラフィ、病理画像などの診断対象画像（クエリー画像）を入力する。例えばＣＴ画像は個々のピクセルのＣＴ値を輝度に変えたデジタル画像であるが、このＣＴ画像をクエリー画像として入力することができる。特徴量計算部１は、これらのクエリー画像と、クエリー画像のサイズや撮像日時といった付帯情報や症例情報を入力することもできる。特徴量計算部１および医療用画像診断装置の間の通信プロトコルおよびクエリー画像および付帯情報のフォーマットは、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）のような所定の規格に従っている。 The feature amount calculation unit 1 is a diagnosis target image (query image) such as a CT image, an MRI image, a PET image, an X-ray image (including a CR image), a US (ultrasound) image, an endoscopic image, a mammography, or a pathological image. Enter. For example, the CT image is a digital image in which the CT value of each pixel is changed to luminance, but this CT image can be input as a query image. The feature amount calculation unit 1 can also input these query images and incidental information such as the size of the query image and the imaging date and time and case information. The communication protocol between the feature quantity calculation unit 1 and the medical image diagnostic apparatus, and the format of the query image and incidental information comply with a predetermined standard such as DICOM (Digital Imaging and Communication in Medicine).
特徴量計算部１は、入力されたクエリー画像を解析し、症例ＤＢ１０に蓄積された症例画像または疾患分類の検索に必要な特徴量（第１の特徴量）を作成する。 The feature amount calculation unit 1 analyzes the input query image and creates a feature amount (first feature amount) necessary for searching for case images or disease classifications accumulated in the case DB 10.
特徴量計算部１によって算出される特徴量は画像データの平均、分散、最大値、最小値、輝度ヒストグラム、関心領域を構成する画素の画素値（以下、濃度値と呼称）といった画素値に関する特徴量や、関心領域の位置、関心領域の輪郭の円形度やモーメントなど形状に関する特徴量や、関心領域や断面の半径、体積、面積など大きさに関する特徴量の他、非特許文献２などの手法によって得られるＲＯＩ（関心領域）の病変部の形状情報やテクスチャ情報でもよい。 The feature amount calculated by the feature amount calculation unit 1 is a feature relating to a pixel value such as an average, variance, maximum value, minimum value, luminance histogram, and pixel value (hereinafter referred to as a density value) of pixels constituting the region of interest. Non-Patent Document 2 and the like in addition to feature quantities related to the shape such as the amount, position of the region of interest, circularity and moment of the contour of the region of interest, and feature quantities related to the size of the region of interest and the radius, volume, area, etc. The shape information and texture information of the lesion part of the ROI (region of interest) obtained by the above may be used.
あるいは、症例ＤＢ１０に一旦登録された情報を所定の数式（例えば主成分分析、独立成分分析）で処理した値を特徴量としてもよい。要するに、公知の手法で得られた画像の輪郭・画素値、位置情報などを特徴量とすることができる。 Alternatively, a value obtained by processing information once registered in the case DB 10 with a predetermined mathematical formula (for example, principal component analysis, independent component analysis) may be used as the feature amount. In short, the outline / pixel value, position information, etc. of an image obtained by a known method can be used as the feature amount.
また、特徴量の計算の前処理として画像の病変領域を特定し、その病変領域を対象とした特徴量の計算を行ってもよい。病変領域の特定の例としては、特許文献６のような注目領域の位置情報をもとに領域を抽出する手法などがある。 Further, as a preprocessing for calculating the feature amount, a lesion area of the image may be specified, and the feature quantity may be calculated for the lesion area. As a specific example of a lesion area, there is a method of extracting an area based on position information of an attention area as in Patent Document 6.
また、病変領域の特定は必ずしも全自動でなくてもよく、ユーザによる操作装置の指定した領域近傍の特徴量（画素値に関する特徴量あるいは輪郭など形状に関する特徴量）を利用した画像処理技術で半自動的に抽出してもよい。このように、病変部位に特化した特徴量を用いることで、着目した病変部位と類似する症例画像の検索を行える。どの種類の特徴量を使用して症例画像を検索するかは、特徴量計算部１に撮像モダリティ情報ごとに予め設定されている。例えば、「ＣＴ」には濃度値が設定され、ＣＴ画像の特徴量として濃度値が計算される。 In addition, the identification of a lesion area is not necessarily fully automatic, and semi-automatic image processing technology using a feature amount (a feature amount related to a pixel value or a feature related to a shape such as a contour) in the vicinity of a region designated by the user on the operation device. May be extracted automatically. In this way, by using a feature amount specialized for a lesion site, a case image similar to the focused lesion site can be searched. Which type of feature amount is used to search for a case image is preset in the feature amount calculation unit 1 for each imaging modality information. For example, a density value is set in “CT”, and the density value is calculated as a feature amount of the CT image.
特徴量計算部１は、算出した特徴量の種類を寄与特徴量同定部３に通知する。算出した特徴量の種類とは、画素値に関する特徴量、形状に関する特徴量、大きさに関する特徴量が挙げられる。 The feature quantity calculation unit 1 notifies the contribution feature quantity identification unit 3 of the type of the calculated feature quantity. The types of calculated feature values include feature values related to pixel values, feature values related to shape, and feature values related to size.
類似検索部２は、特徴量計算部１の算出した第１の特徴量と症例ＤＢ１０に蓄積された特徴量（第２の特徴量）とを比較し、両者の類似度を算出する。第２の特徴量はクエリー画像と同じ手法に従って予め作成および蓄積されている。 The similarity search unit 2 compares the first feature amount calculated by the feature amount calculation unit 1 with the feature amount stored in the case DB 10 (second feature amount), and calculates the similarity between them. The second feature amount is created and stored in advance according to the same technique as that for the query image.
類似度の算出方法としては公知のもの、例えば特徴量の値の差分、特徴量空間（重み付き空間も可）上の最小２乗法などが採用できる。説明の便宜上、類似度Ｓは以下の数式で定義する。ただし、本願発明の実施のために、類似度Ｓの算出基準がこの定義に限定されるわけではない。 As a method for calculating the similarity, a known method, for example, a difference between feature value values, a least square method on a feature amount space (a weighted space is also possible), or the like can be employed. For convenience of explanation, the similarity S is defined by the following mathematical formula. However, the standard for calculating the similarity S is not limited to this definition in order to implement the present invention.
特徴量ｍｉ(i＝1,2,…,n)は登録済みの症例画像の注目領域の特徴量、Ｍｉ(i＝1,2,…,n)は診断画像の注目領域から抽出された特徴量である。ｗｉ(i＝1,2,…,n)は、疾患別に予め定義された各特徴量に対する重み付け係数である。ｍｉ、Ｍｉ、ｗｉの添え字ｉは特徴量空間上の座標軸を示す。双方の特徴量が近いほど類似度Ｓの値が小さくなり、双方の特徴量が遠いほど類似度Ｓの値が大きくなる。 The feature quantity m i (i = 1, 2,..., N) is extracted from the feature area of the attention area of the registered case image, and M i (i = 1, 2,..., N) is extracted from the attention area of the diagnostic image. Feature amount. w i (i = 1, 2,..., n) is a weighting coefficient for each feature amount defined in advance for each disease. A subscript i of m i , M i , and w i indicates a coordinate axis on the feature amount space. The closer the two feature quantities are, the smaller the value of the similarity S is, and the farther the feature quantities are, the larger the value of the similarity S is.
類似検索部２は、症例ＤＢ１０に蓄積された全ての症例画像あるいは予め操作装置から指定された付随検索項目に対応する症例画像のうち、クエリー画像の特徴量情報との類似度Ｓが所定の閾値よりも高い第２の特徴量（類似特徴量）を特定する。付随検索項目はユーザが任意に指定できる情報であり、例えば、撮像部位（胸部、乳房など）、解剖学的位置情報（肝臓右葉、肺Ｓ１など）、撮像モダリティ情報、患者関連情報、画像診断名、病理診断名、所見（浸潤影、腫瘤、蜂窩肺など）、撮像モダリティ情報、担当医師名など、症例ＤＢ１０の付随情報とマッチングによる症例画像の絞り込みが可能な情報が挙げられる。 The similarity search unit 2 has a predetermined threshold value of the similarity S to the feature amount information of the query image among all the case images stored in the case DB 10 or the case images corresponding to the associated search items designated in advance from the operation device. A higher second feature amount (similar feature amount) is specified. The accompanying search items are information that can be arbitrarily specified by the user. For example, the imaging region (chest, breast, etc.), anatomical position information (liver right lobe, lung S1, etc.), imaging modality information, patient related information, image diagnosis Information that can narrow down case images by matching with incidental information in the case DB 10 such as name, pathological diagnosis name, findings (infiltrating shadow, tumor, honeycomb cell, etc.), imaging modality information, doctor name in charge, and the like.
類似検索部２は、症例ＤＢ１０において類似検索部２の特定した類似特徴量に対応する症例画像である類似画像と、その類似画像に対応する付随情報（疾患分類など）を表示部６に出力する。 The similarity search unit 2 outputs a similar image that is a case image corresponding to the similar feature amount specified by the similarity search unit 2 in the case DB 10 and accompanying information (such as disease classification) corresponding to the similar image to the display unit 6. .
表示部６は、類似画像、後述する所見情報、付随情報に含まれる疾患情報、例えば症例情報（画像診断名、病理診断名、所見など）や、当該症例情報によってリンクされた電子医学書に含まれる医学情報（電子医学書における病名、病原体、症状、患部ごとの分類など）などを表示する。表示項目をキーボードやマウスなどの操作装置で選択できてもよい。 The display unit 6 is included in similar images, disease information described later, disease information included in accompanying information, for example, case information (image diagnosis name, pathological diagnosis name, findings, etc.), and an electronic medical book linked by the case information. Medical information (disease name, pathogen, symptom, classification by affected area, etc.) The display item may be selected with an operation device such as a keyboard or a mouse.
表示部６は、映像表示手段以外の出力手段に代替できる。例えば出力手段をネットワークＩ／Ｆとし、所望の通信端末（パソコン、携帯電話、ＰＤＡなど）に情報を出力してもよい。あるいは映像表示手段とともに、印刷手段によって情報を出力してもよい。また、音声出力手段からの合成音声の出力などによって情報を出力してもよい。 The display unit 6 can be replaced with output means other than the video display means. For example, the output unit may be a network I / F, and information may be output to a desired communication terminal (such as a personal computer, a mobile phone, or a PDA). Alternatively, the information may be output by the printing unit together with the video display unit. Further, information may be output by outputting a synthesized voice from the voice output means.
操作装置からの指示に応じ、類似画像の表示／非表示を切り替えてもよい。類似画像の非表示が指示されれば、疾患名だけが表示される。 The display / non-display of the similar image may be switched according to an instruction from the operation device. If non-display of a similar image is instructed, only the disease name is displayed.
また、付随情報に含まれる疾患名以外の情報、例えば医学情報へのリンクを表示し、そのリンクを指定することで対応する医学情報を表示してもよい。 Further, information other than the disease name included in the accompanying information, for example, a link to medical information may be displayed, and the corresponding medical information may be displayed by designating the link.
寄与特徴量同定部３は、類似検索部２が類似画像の検索に寄与した特徴量の種類（キー特徴量）を、特徴量計算部１が通知してきた特徴量の種類に従って同定する。例えば、寄与特徴量同定部３は、特徴量計算部１が「濃度値」を通知してくればキー特徴量は濃度値と同定する。あるいは、特徴量計算部１が「関心領域の形状」を通知してくればキー特徴量は関心領域の形状と同定する。複数の特徴量の種類が通知された場合は、その中から類似画像の検索に寄与した特徴量の種類を判別する。この処理は後述する。 The contribution feature quantity identification unit 3 identifies the type of feature quantity (key feature quantity) contributed to the search for the similar image by the similarity search unit 2 according to the type of feature quantity notified by the feature quantity calculation unit 1. For example, the contribution feature quantity identification unit 3 identifies the key feature quantity as a density value if the feature quantity calculation unit 1 notifies “density value”. Alternatively, if the feature amount calculation unit 1 notifies “the shape of the region of interest”, the key feature amount is identified as the shape of the region of interest. When a plurality of types of feature amounts are notified, the type of feature amount that contributed to the search for similar images is determined. This process will be described later.
変換部４は、特徴量／所見変換ＤＢ５に蓄積された、寄与特徴量同定部３が同定した特徴量の種類に対応する判別データと、類似画像に対応する当該種類の特徴量とを比較することで、類似画像に対応する所見を特定する。 The conversion unit 4 compares the discrimination data corresponding to the type of feature amount identified by the contribution feature amount identification unit 3 stored in the feature amount / finding conversion DB 5 with the type of feature amount corresponding to the similar image. Thus, the finding corresponding to the similar image is specified.
特徴量／所見変換ＤＢ５は、特徴量の種類に対応する判別データを格納した不揮発性記憶媒体（ハードディスクユニットなど）を有している。判別データは、当該種類の特徴量の分布に対応した所見を示している。 The feature quantity / finding conversion DB 5 has a nonvolatile storage medium (such as a hard disk unit) that stores discrimination data corresponding to the type of feature quantity. The discrimination data indicates a finding corresponding to the distribution of the feature amount of the type.
例えば、図２に示すようなＣＴ画像をクエリー画像として類似検索部２に入力して、図３のような類似画像を得たとする。 For example, assume that a CT image as shown in FIG. 2 is input as a query image to the similarity search unit 2 to obtain a similar image as shown in FIG.
特徴量の種類「濃度値」に対応する判別データの単純な一例としては、注目領域内の平均濃度値の範囲に１：１に対応する所見を規定することが挙げられる。すなわち、特徴量／所見変換ＤＢ５は、−２００以上の平均濃度値範囲Ｒ１に対応する所見は「コンソリデーション」、−８００超〜−２００未満の平均濃度値範囲Ｒ２に対応する所見は「ＧＧＯ（Ground Glass Opacity;すりガラス陰影）」、−８００以下の平均濃度値範囲Ｒ３に対応する所見は「正常肺」であることを規定する判別データを格納している。 As a simple example of the discrimination data corresponding to the feature amount type “density value”, it is possible to define a finding corresponding to 1: 1 in the range of the average density value in the region of interest. That is, the feature amount / finding conversion DB 5 determines that the finding corresponding to the average density value range R1 of −200 or more is “consolidation”, and the finding corresponding to the average density value range R2 of more than −800 to less than −200 is “GGO ( Ground Glass Opacity (ground glass shading) ”, discriminating data defining that the finding corresponding to the average density value range R3 of −800 or less is“ normal lung ”.
この場合、変換部４は、類似検索部２が出力した類似画像に対応する特徴量に含まれる注目領域内の平均濃度値と特徴量／所見変換ＤＢ５の当該判別データとを比較し、類似画像の平均濃度値に対応する所見を特定して、特定された所見を表示部６に出力する。 In this case, the conversion unit 4 compares the average density value in the region of interest included in the feature amount corresponding to the similar image output by the similarity search unit 2 with the determination data in the feature amount / finding conversion DB 5, and the similar image The finding corresponding to the average density value is specified, and the specified finding is output to the display unit 6.
なお、寄与特徴量同定部３に設けられた「コンソリデーション」の判別器３Ａ、「ＧＧＯ」の判別器３Ｂ、「正常肺」の判別器３Ｃが、それぞれ、類似画像の平均濃度値がＲ１、Ｒ２、Ｒ３に属するか否かを判定した上で、その結果”Ｙｅｓ”または”Ｎｏ”を変換部４に出力し、変換部４は”Ｙｅｓ”の結果を出力した判別器に対応する所見情報（「コンソリデーション」、「ＧＧＯ」、または「正常肺」）を表示部６に出力してもよい。 Note that the “consolidation” discriminator 3A, the “GGO” discriminator 3B, and the “normal lung” discriminator 3C provided in the contribution feature amount identifying unit 3 have an average density value of similar images of R1, After determining whether or not it belongs to R2 and R3, the result "Yes" or "No" is output to the conversion unit 4, and the conversion unit 4 finds information corresponding to the discriminator that outputs the result of "Yes". (“Consolidation”, “GGO”, or “Normal lung”) may be output to the display unit 6.
特徴量の種類「濃度値」に対応するより精緻な判別データの一例としては、特徴量に対応した各所見の出現確率を示す確率分布曲線が挙げられる。すなわち、図４に示すような、特徴量の種類「濃度値」に対応する判別データは、濃度値＝２０近傍を平均値に取る「コンソリデーション」の確率分布曲線ｆ１、濃度値＝−５８０近傍を平均値に取る「ＧＧＯ」の濃度値の確率分布曲線ｆ２、濃度値＝−９３０近傍を平均値に取る「正常肺」の濃度値の確率分布曲線ｆ３を有しており、ｆ１、ｆ２、ｆ３はそれぞれコンソリデーション、ＧＧＯ、正常肺の所見に対応する。横軸は注目領域内の平均濃度値、縦軸は当該濃度値に対応する所見（コンソリデーション、ＧＧＯまたは正常肺）の出現する確からしさを表す。ｆ１、ｆ２、ｆ３は、ＣＴ画像の平均濃度値のサンプルをもとに統計学的手法に従って作成されて特徴量／所見変換部５に格納されている。なお図４のｆ１、ｆ２、ｆ３は正規分布であるが、統計的解析の結果それ以外の分布に従う可能性もあり、必ずしも正規分布となることを意味するのではない。 As an example of more precise discrimination data corresponding to the type of feature quantity “density value”, there is a probability distribution curve indicating the appearance probability of each finding corresponding to the feature quantity. That is, as shown in FIG. 4, the discrimination data corresponding to the feature type “density value” is “consolidation” probability distribution curve f <b> 1 that takes density value = 20 as an average value, density value = −580 vicinity. A probability distribution curve f2 of the density value of “GGO” taking the mean value as a mean value, and a probability distribution curve f3 of the density value of “normal lung” taking the mean value around −930 as the mean value, f1, f2, f3 corresponds to the findings of consolidation, GGO, and normal lung, respectively. The horizontal axis represents the average density value in the region of interest, and the vertical axis represents the probability that a finding (consolidation, GGO or normal lung) corresponding to the density value will appear. f1, f2, and f3 are created according to a statistical method based on the sample of the average density value of the CT image and stored in the feature quantity / finding conversion unit 5. Note that f1, f2, and f3 in FIG. 4 are normal distributions, but as a result of statistical analysis, other distributions may follow and do not necessarily mean normal distributions.
まず、変換部４は、類似検索部２が出力した類似画像に対応する特徴量と特徴量／所見変換ＤＢ５に蓄積された各所見に対応する確率分布曲線とに基づき、各所見の出現確率を特定する。例えば、ある類似画像に対応する注目領域内の平均濃度値が２０の場合を考える。変換部４は、ｆ１、ｆ２、ｆ３から、濃度値＝２０に対応する「コンソリデーション」、「ＧＧＯ」および「正常肺」の出現確率ｐ１〜ｐ３、すなわち５５％、略０％、略０％を特定する。 First, the conversion unit 4 calculates the appearance probability of each finding based on the feature amount corresponding to the similar image output by the similarity search unit 2 and the probability distribution curve corresponding to each finding stored in the feature amount / finding conversion DB 5. Identify. For example, consider a case where the average density value in an attention area corresponding to a certain similar image is 20. From f1, f2, and f3, the conversion unit 4 generates “consolidation”, “GGO”, and “normal lung” appearance probabilities p1 to p3 corresponding to the density value = 20, that is, 55%, approximately 0%, and approximately 0%. Is identified.
変換部４は、特定した出現確率のうち最も高い出現確率に対応する所見を、類似画像の検索のポイントとなった所見（ポイント所見Ｒ）と特定する。そして、変換部４は、ポイント所見Ｒを表示部６に出力する。異なる所見に同一の出現確率が複数存在する場合、その旨を表示部６に出力する。あるいはその場合はポイント所見を出力しないことも考えられる。 The conversion unit 4 specifies the finding corresponding to the highest appearance probability among the specified appearance probabilities as the finding (point finding R) that has become a search point for similar images. Then, the conversion unit 4 outputs the point finding R to the display unit 6. When a plurality of the same appearance probabilities exist in different findings, the fact is output to the display unit 6. In that case, it is also possible not to output point findings.
表示部６は、類似画像とポイント所見とを対応づけて表示する。表示部６は、映像表示手段以外の出力手段に代替できる。例えば出力手段をネットワークＩ／Ｆとし、所望の通信端末（パソコン、携帯電話、ＰＤＡなど）に情報を出力してもよい。あるいは映像表示手段とともに、印刷手段によって情報を出力してもよい。あるいはメディアライタによりＣＤＲＯＭやフレキシブルディスクのような記録媒体に情報を出力してもよい。また、音声出力手段からの合成音声の出力などによって情報を出力してもよい。 The display unit 6 displays similar images and point findings in association with each other. The display unit 6 can be replaced with output means other than the video display means. For example, the output unit may be a network I / F, and information may be output to a desired communication terminal (such as a personal computer, a mobile phone, or a PDA). Alternatively, the information may be output by the printing unit together with the video display unit. Alternatively, information may be output to a recording medium such as a CDROM or a flexible disk by a media writer. Further, information may be output by outputting a synthesized voice from the voice output means.
上記では１次元の特徴量から単一の所見を特定しているが、多次元（２次元以上）の特徴量から単一の所見を特定してもよい。例えば、特徴量が濃度値および形状に関する値の２次元のパラメータを含んでいる場合、特徴量／所見変換ＤＢ５には上記のように「コンソリデーション」、「ＧＧＯ」および「正常肺」の各所見の濃度値に対応した出現頻度を示す確率分布曲線ｆ１〜ｆ３と、「蜂窩肺」の所見の形状に関する値に対応した出現頻度を示す確率分布曲線ｆ４（図示せず）を格納しておく。変換部４は、特徴量に含まれる濃度値から、「コンソリデーション」、「ＧＧＯ」および「正常肺」の各所見に対応する出現確率ｐ１〜ｐ３を特定するとともに、特徴量に含まれる形状に関する値から「蜂窩肺」の所見に対応する出現確率ｐ４を特定する。変換部４は、特定した出現確率ｐ１〜ｐ４のうち最も高い出現確率に対応する所見を、ポイント所見Ｒと特定し、これを表示部６に出力する。要するに多次元の特徴量であっても、その特徴量の各次元の要素に対応する特定の所見（１つでも複数でも可）の出現確率（スコア）を特定する判別器を用意しておき、各判別器の出力した各所見の出現確率を比較して、最も高い出現確率の所見をポイント所見とすればよい。 In the above description, a single finding is specified from a one-dimensional feature, but a single finding may be specified from a multi-dimensional (two or more dimensions) feature. For example, when the feature amount includes a two-dimensional parameter of a density value and a value related to the shape, the findings of “consolidation”, “GGO”, and “normal lung” are stored in the feature amount / finding conversion DB 5 as described above. The probability distribution curves f1 to f3 indicating the appearance frequency corresponding to the density values of the above and the probability distribution curve f4 (not shown) indicating the appearance frequency corresponding to the value related to the shape of the finding of the “honeycomb lung” are stored. The conversion unit 4 specifies the appearance probabilities p1 to p3 corresponding to the findings of “consolidation”, “GGO”, and “normal lung” from the density value included in the feature amount, and relates to the shape included in the feature amount. The appearance probability p4 corresponding to the finding of “honeycomb lung” is specified from the value. The conversion unit 4 specifies the finding corresponding to the highest appearance probability among the specified appearance probabilities p1 to p4 as the point finding R, and outputs this to the display unit 6. In short, even if it is a multidimensional feature quantity, a discriminator is provided that identifies the appearance probability (score) of a specific finding (one or more) corresponding to each dimension element of the feature quantity, The appearance probabilities of the findings output by the classifiers are compared, and the finding with the highest appearance probability may be used as the point finding.
例えば、図５に示すように、寄与特徴量同定部３に、びまん性肺疾患の所見Ａ「コンソリデーションのみ」、所見Ｂ「空洞を伴ったコンソリデーション」、所見Ｃ「気管支を含んだコンソリデーション」の各々に対応する３つの判別器３Ａ、３Ｂ、３Ｃを設ける。なお、その他の所見Ｄ、Ｅ・・があれば、それに対応する判別器３Ｄ、３Ｅ・・を設けることもできる。 For example, as shown in FIG. 5, the contribution feature quantity identifying unit 3 includes findings A “consolidation only”, findings B “consolidation with a cavity”, and findings C “consolidation including bronchi”. Are provided with three discriminators 3A, 3B and 3C. If there are other findings D, E,..., Discriminators 3D, 3E,.
判別器３Ａ、３Ｂ、３Ｃは、それぞれ、特徴量計算部１が算出したクエリー画像の特徴量から、クエリー画像が所見Ａ、Ｂ、Ｃに該当する確からしさを表すスコアを算出するとともに、類似検索部２が検索した類似画像に対応する特徴量から、類似画像が所見Ａ、Ｂ、Ｃに該当する確からしさを表すスコアを算出する。ここでは類似画像はＸ、Ｙ、Ｚの３つとする（図６参照）。ただし、判別器３Ａ、３Ｂ、３Ｃは、図示したものよりも多いあるいは少ない類似画像からスコアを算出することができる。 Each of the discriminators 3A, 3B, and 3C calculates a score indicating the probability that the query image corresponds to the findings A, B, and C from the feature amount of the query image calculated by the feature amount calculation unit 1, and performs similar search A score representing the likelihood that the similar image corresponds to the findings A, B, and C is calculated from the feature amount corresponding to the similar image searched by the unit 2. Here, there are three similar images, X, Y, and Z (see FIG. 6). However, the discriminators 3A, 3B, and 3C can calculate the score from more or fewer similar images than illustrated.
スコアの算出は、例えば、予め判別器３Ａ、３Ｂ、３Ｃの不揮発性記録媒体（ＲＯＭなど）に記憶された所見Ａ、Ｂ、Ｃを示す典型的な類似画像の特徴量とクエリー画像の特徴量の間で算出した類似度γ、所見Ａ、Ｂ、Ｃを示す典型的な症例画像の特徴量と類似画像の特徴量の間で算出した類似度δに基づいて行うことができる。これらの類似度γ・δの算出方法は上述のＳと同様である。 The score is calculated by, for example, typical similar image feature amounts indicating the findings A, B, and C stored in the non-volatile recording media (ROM and the like) of the discriminators 3A, 3B, and 3C, and query image feature amounts. Can be performed based on the similarity δ calculated between the feature amount of a typical case image showing the similarity γ and the findings A, B, and C and the feature amount of the similar image. The calculation method of these similarities γ · δ is the same as S described above.
次に判別器３Ａ、３Ｂ、３Ｃは、所見Ａ、Ｂ、Ｃの各々に対応するクエリー画像のスコアと類似画像のスコアとに基づいて、各類似画像の各所見Ａ、Ｂ、Ｃに対応する寄与度を算出する。 Next, the discriminators 3A, 3B, and 3C correspond to the findings A, B, and C of the similar images based on the query image scores and the similar image scores corresponding to the findings A, B, and C, respectively. Calculate the contribution.
例えば、まず判別器３Ａ、３Ｂ、３Ｃは、それぞれ、所見Ａ、Ｂ、Ｃの各々に対応するクエリー画像のスコアＲＡ、ＲＢ、ＲＣ（まとめてＲと称する）と類似画像Ｘ、Ｙ、ＺのスコアＱＡ、ＱＢ、ＱＣ（まとめてＱと称する）との差ＰＡ、ＰＢ、ＰＣ（まとめてＰと称する）を算出する。次に判別器３Ａ、３Ｂ、３Ｃは、所見の各々に対応する類似画像の寄与度Ｚを、Ｚ＝α×（１００−Ｐ）＋β×Ｑにより算出する。なお例えばＲ＝γ、Ｑ＝δで計算する。 For example, first, the discriminators 3A, 3B, and 3C have the scores RA, RB, and RC (collectively referred to as R) of the query images corresponding to the findings A, B, and C, respectively, and similar images X, Y, and Z. Differences PA, PB, and PC (collectively referred to as P) from the scores QA, QB, and QC (collectively referred to as Q) are calculated. Next, the discriminators 3A, 3B, and 3C calculate the contribution degree Z of the similar image corresponding to each finding by Z = α × (100−P) + β × Q. For example, R = γ and Q = δ are calculated.
つまり、所見Ａに対応する寄与度ＺＡ＝α×（１００−ＰＡ）＋β×ＱＡ、所見Ｂに対応する寄与度ＺＢ＝α×（１００−ＰＢ）＋β×ＱＢ、所見Ｃに対応する寄与度ＺＣ＝α×（１００−ＰＣ）＋β×ＱＣである。 That is, the contribution ZA = α × (100−PA) + β × QA corresponding to the finding A, the contribution ZB = α × (100−PB) + β × QB corresponding to the finding B, and the contribution ZC corresponding to the finding C. = Α × (100−PC) + β × QC.
ここで、１−Ｐは数値順を反転するために使用される。１−Ｐは、両スコアの差が小さい（クエリー画像と類似画像の特徴量が近い）ことを表す。また、Ｑは、類似画像が典型症例画像によく類似していることを表す。αおよびβは重みであり、α＋β＝１であるが、寄与度を決めるに当たって１−ＰまたはＱのいずれを重視するかによりαおよびβは決定される。双方とも重視する場合はα＝β＝０．５とする。 Here, 1-P is used to reverse the numerical order. 1-P represents that the difference between both scores is small (the feature amounts of the query image and the similar image are close). Q represents that the similar image is very similar to the typical case image. α and β are weights, and α + β = 1. However, α and β are determined depending on whether 1-P or Q is important in determining the contribution. If both values are important, α = β = 0.5.
図７は、判別器３Ａ、３Ｂ、３Ｃの算出した、クエリー画像の所見Ａ、Ｂ、Ｃに対応するスコア、類似画像の所見Ａ、Ｂ、Ｃに対応するスコア、および各類似画像Ｘ、Ｙ、Ｚの各所見Ａ〜Ｃに対応する寄与度の一例を示す。 FIG. 7 shows the scores corresponding to the findings A, B, and C of the query images, the scores corresponding to the findings A, B, and C of the similar images, and the similar images X and Y calculated by the discriminators 3A, 3B, and 3C. , Z shows an example of the contribution corresponding to each finding A to C.
変換部４は、寄与特徴量同定部３が算出した各所見に対応する寄与度のうち最も大きい値に対応する所見である寄与所見を類似画像ごとに特定する。図７の例では、所見Ａに対応する類似画像Ｘの寄与度、所見Ｂに対応する類似画像Ｙの寄与度、所見Ｃに対応する類似画像Ｚの寄与度が最も高いので、類似画像Ｘに対応する寄与所見は所見Ａ、類似画像Ｙに対応する寄与所見は所見Ｂ、類似画像Ｚに対応する寄与所見は所見Ｃと特定する。 The conversion unit 4 specifies, for each similar image, a contribution finding that is a finding corresponding to the largest value among the contributions corresponding to the findings calculated by the contribution feature amount identification unit 3. In the example of FIG. 7, the contribution of the similar image X corresponding to the finding A, the contribution of the similar image Y corresponding to the finding B, and the contribution of the similar image Z corresponding to the finding C are the highest. The corresponding contribution finding is identified as finding A, the contributing finding corresponding to the similar image Y is identified as finding B, and the contributing finding corresponding to the similar image Z is identified as finding C.
変換部４は、寄与所見に対応する所見情報を特徴量／所見変換ＤＢ５から取得し、寄与所見ごとに取得した所見情報を当該寄与所見に対応する類似画像と対応づけて表示部６に出力する。特徴量／所見変換ＤＢ５には、所見Ａ、Ｂ、Ｃごとの所見情報、例えば「コンソリデーションのみ」、「空洞を伴ったコンソリデーション」、「気管支を含んだコンソリデーション」という文字情報が蓄積されているとすると、類似画像Ｘには「コンソリデーションのみ」、類似画像Ｙには「空洞を伴ったコンソリデーション」、類似画像Ｚには「気管支を含んだコンソリデーション」という文字情報が対応づけられる。 The conversion unit 4 acquires the finding information corresponding to the contribution finding from the feature quantity / finding conversion DB 5 and outputs the finding information acquired for each contribution finding to the display unit 6 in association with the similar image corresponding to the contributing finding. . In the feature quantity / finding conversion DB 5, findings information for each of the findings A, B, and C, for example, character information “consolidation only”, “consolidation with a cavity”, and “consolidation including bronchi” are accumulated. If so, the character information “consolidation only” is associated with the similar image X, “consolidation with a cavity” is associated with the similar image Y, and “consolidation including bronchi” is associated with the similar image Z. .
所見情報は文字情報、アイコン、表、グラフのような視覚的に認識できる映像情報でもよいし、聴覚的に認識できる音声情報、あるいはそれらの組み合わせでもよい。また、所見情報そのものを表示する代わりに、所見情報を表示するためのハイパーリンクを表示してもよい。 The observation information may be visually recognizable video information such as character information, icons, tables, and graphs, audio information that can be audibly recognized, or a combination thereof. Further, instead of displaying the finding information itself, a hyperlink for displaying the finding information may be displayed.
表示部６は、変換部４から入力された各類似画像と各所見情報とを対応づけて表示する。例えば図８のように、各類似画像の近傍に「類似特徴」という見出しを設け、その見出しに続けて、各類似画像に対応する所見情報を表示する。その他、各類似画像に対応する付随情報、例えば、症例番号、分類、画像診断名などを表示してもよい。 The display unit 6 displays each similar image input from the conversion unit 4 in association with each finding information. For example, as shown in FIG. 8, a heading “similar features” is provided in the vicinity of each similar image, and finding information corresponding to each similar image is displayed following the heading. In addition, accompanying information corresponding to each similar image, for example, a case number, a classification, an image diagnosis name, and the like may be displayed.
以上のように、クエリー画像に類似する症例画像として検索された類似画像ごとに、その類似画像がクエリー画像と似ていると判断された特徴量に対応する所見を所見情報として出力するから、ユーザは、類似画像検索のポイントを容易に理解できるし、検索結果の妥当性を判断できる。 As described above, for each similar image searched as a case image similar to the query image, a finding corresponding to the feature amount determined to be similar to the query image is output as finding information. Can easily understand the points of similar image search, and can determine the validity of the search results.
＜第２実施形態＞
上述のように、同一の画像から抽出された多次元（２次元以上）の特徴量に基づいて種類の異なる複数の所見を特定してもよい。例えば、特徴量／所見変換ＤＢ５は、肺野結節の画像の注目領域の形態に関する所見（類円形、分葉状、多角形、星型、スピクラ、鋸歯状、不整形）に対応する特徴量（円形度、２次モーメントなどで表現）、大きさに関する所見（小、中、大）に対応する特徴量（面積、長径、短径などで表現）、濃度値に関する所見（Pure GGO（スリガラス影）、Mixed GGO（スリガラス影と高濃度）、Solid（高濃度））に対応する特徴量（濃度値の平均値、偏差、最大値、最小値などで表現）、注目領域の辺縁部の濃度に関する所見（明瞭、不明瞭）に対応する特徴量（濃度差などで表現）、解剖学的な位置に関する所見（肺葉分類（右上、中、下葉、左上、下葉））に対応する特徴量（肺野内座標などで表現）を規定した特徴量−所見テーブル（図９参照）を不揮発性記憶媒体に記憶しておく。
Second Embodiment
As described above, a plurality of different types of findings may be specified based on multidimensional (two or more dimensions) feature values extracted from the same image. For example, the feature quantity / finding conversion DB 5 is a feature quantity (circular) corresponding to a finding (analogous, lobed, polygonal, star-shaped, spicula, sawtooth, irregular) regarding the form of the region of interest in the image of the lung nodule. Degrees, second moments, etc.), features related to size (small, medium, large) (represented by area, major axis, minor axis, etc.), findings regarding density values (Pure GGO (ground glass shadow), Features related to Mixed GGO (ground glass shadow and high density) and Solid (high density) (represented by the average value, deviation, maximum value, minimum value, etc.) of density, observations on the density of the edge of the region of interest Features corresponding to (clear and unclear) (represented by concentration difference, etc.), features corresponding to anatomical position findings (lung lobe classification (upper right, middle, lower lobe, upper left, lower lobe)) (lung A feature-finding table (see Fig. 9) that prescribes (expressed in field coordinates etc.) Store in a non-volatile storage medium.
変換部４は、類似検索部２から出力された類似画像の特徴量に対応する所見を特定する。この所見と特徴量の関係は、特許文献１０と同様にして定めることができる。また、寄与特徴量同定部３による各類似画像の各所見に対応する寄与度の計算は、第１実施形態と同様クエリー画像の特徴量と類似画像の特徴量とに基づいて行うことができる。ただしここでは、各所見に対応する寄与度は、当該所見に関係する特徴量のみを用いて算出する。 The conversion unit 4 identifies a finding corresponding to the feature amount of the similar image output from the similarity search unit 2. The relationship between this finding and the feature amount can be determined in the same manner as in Patent Document 10. Further, the contribution degree corresponding to each finding of each similar image by the contribution feature amount identifying unit 3 can be calculated based on the feature amount of the query image and the feature amount of the similar image as in the first embodiment. However, here, the degree of contribution corresponding to each finding is calculated using only the feature amount related to the finding.
例えば、寄与特徴量同定部３は、類円形、分葉状など形状に関する所見の寄与度を、クエリー画像および類似画像の円形度および２次モーメントに基づいて計算する。あるいは、大きさに関する所見の寄与度を、クエリー画像および類似画像の面積、長径および短径に基づいて計算する。あるいは、濃度値に関する所見の寄与度を、クエリー画像および類似画像の濃度の平均値などに基づいて計算する。あるいは注目領域の辺縁部の濃度に関する所見の寄与度を、クエリー画像および類似画像の注目領域の内外の辺縁部の濃度差に基づいて計算する。あるいは解剖学的な位置に関する所見の寄与度を、クエリー画像および類似画像の肺野内座標に基づいて計算する。 For example, the contribution feature quantity identification unit 3 calculates the contribution of the findings related to the shape such as a similar circular shape or a leaf shape based on the circularity and the second moment of the query image and the similar image. Alternatively, the contribution of the finding regarding the size is calculated based on the area, the major axis, and the minor axis of the query image and the similar image. Alternatively, the contribution degree of the findings regarding the density value is calculated based on the average value of the density of the query image and the similar image. Alternatively, the contribution of the findings regarding the density of the edge portion of the attention area is calculated based on the density difference between the inner and outer edge portions of the attention area of the query image and the similar image. Alternatively, the contribution of the findings regarding the anatomical position is calculated based on the lung field coordinates of the query image and the similar image.
表示部６は、各類似画像と、変換部４によって特定された当該類似画像の各特徴量に対応する各所見とを表示する。表示の仕方は任意であるが、例えば、類似画像の特長として、まず形状から位置までの５つの所見の分類のうち、寄与度が所定の閾値より高いものを表示し、その中でどの所見の寄与度が最も高いかも表示する（図１０参照）。この閾値は所見ごとに設けることができる。このため、同じ類似画像が複数の所見に対して寄与度が高い旨が表示されることもあるし、またどのような所見にも寄与度が高くない類似画像、単一の所見だけに寄与度が高い類似画像もありうる。 The display unit 6 displays each similar image and each finding corresponding to each feature amount of the similar image specified by the conversion unit 4. The display method is arbitrary. For example, as a feature of a similar image, first, among the classification of five findings from shape to position, the one having a contribution level higher than a predetermined threshold value is displayed, and among these findings, Whether the contribution is the highest is also displayed (see FIG. 10). This threshold can be set for each finding. For this reason, it may be displayed that the same similar image has a high contribution to multiple findings, and similar images that do not contribute significantly to any finding or contribution to only a single finding. There may also be similar images with high.
このように、類似画像から抽出された様々な種類の特徴量に対応した所見を出力し、ユーザは、類似画像検索のポイントを容易に理解できるし、検索結果の妥当性を判断できる。 Thus, findings corresponding to various types of feature amounts extracted from similar images are output, and the user can easily understand the points of similar image search and determine the validity of the search results.
１：特徴量計算部、２：類似検索部、３：寄与特徴量同定部、４：変換部、５：特徴量／所見変換ＤＢ、７：症例登録部、８：特徴量計算部、１０：症例ＤＢ 1: feature amount calculation unit, 2: similarity search unit, 3: contribution feature amount identification unit, 4: conversion unit, 5: feature amount / finding conversion DB, 7: case registration unit, 8: feature amount calculation unit, 10: Case DB
Claims (13)
前記クエリー画像入力部の入力したクエリー画像の特徴量を算出するクエリー画像特徴量算出部と、
症例画像と前記症例画像の特徴量とを対応づけて記憶するデータベースと、
前記クエリー画像特徴量算出部の算出したクエリー画像の特徴量と前記データベースの特徴量とを比較することで、前記クエリー画像に類似する症例画像である類似画像を検索する検索部と、
前記検索部が検索した類似画像の検索に寄与した特徴量に対応する所見情報を前記類似画像と対応づけて所定の出力装置に出力する所見情報出力部と、
を備える症例画像検索装置。 A query image input unit for inputting a query image;
A query image feature amount calculation unit for calculating a feature amount of the query image input by the query image input unit;
A database for storing case images and feature quantities of the case images in association with each other;
A search unit that searches for a similar image that is a case image similar to the query image by comparing the feature amount of the query image calculated by the query image feature amount calculation unit with the feature amount of the database;
A finding information output unit that outputs the finding information corresponding to the feature amount contributed to the search of the similar image searched by the searching unit to the predetermined output device in association with the similar image;
A case image retrieval apparatus comprising:
前記クエリー画像および前記類似画像の特徴量は、前記ＣＴ画像の平均濃度値を含み、
前記類似画像の特徴量が属する分布範囲に対応する所見は、−２００以上の平均濃度値範囲に対応するコンソリデーション、−８００超〜−２００未満の平均濃度値範囲に対応するＧＧＯ（Ground Glass Opacity;すりガラス陰影）、−８００以下の平均濃度値範囲に対応する正常肺を含む請求項８に記載の症例画像検索装置。 The query image and the case image are CT images of diffuse lung disease;
The feature amount of the query image and the similar image includes an average density value of the CT image,
The findings corresponding to the distribution range to which the feature amount of the similar image belongs are the consolidation corresponding to the average density value range of −200 or more, and the GGO (Ground Glass Opacity corresponding to the average density value range of more than −800 to less than −200. The case image search device according to claim 8, comprising normal lung corresponding to an average density value range of −800 or less.
クエリー画像を入力するステップと、
前記入力したクエリー画像の特徴量を算出するステップと、
症例画像と前記症例画像の特徴量とを対応づけて記憶するデータベースの特徴量と前記算出したクエリー画像の特徴量とを比較することで、前記クエリー画像に類似する症例画像である類似画像を検索するステップと、
前記検索した類似画像の検索に寄与した特徴量に対応する所見情報を前記類似画像と対応づけて所定の出力装置に出力するステップと、
を実行する症例画像検索方法。 Computer
Entering a query image;
Calculating a feature amount of the input query image;
A similar image that is a case image similar to the query image is searched by comparing the feature amount of the database that stores the case image and the feature amount of the case image in association with the calculated feature amount of the query image. And steps to
Outputting the finding information corresponding to the feature amount contributed to the search for the searched similar image to the predetermined output device in association with the similar image;
Case image search method for executing
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009273754A JP2011118543A (en) | 2009-12-01 | 2009-12-01 | Case image retrieval device, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009273754A JP2011118543A (en) | 2009-12-01 | 2009-12-01 | Case image retrieval device, method and program |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011118543A true JP2011118543A (en) | 2011-06-16 |
Family
ID=44283816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009273754A Pending JP2011118543A (en) | 2009-12-01 | 2009-12-01 | Case image retrieval device, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011118543A (en) |
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4979842B1 (en) * | 2011-06-30 | 2012-07-18 | パナソニック株式会社 | Similar case retrieval apparatus and similar case retrieval method |
| JP5054252B1 (en) * | 2011-11-04 | 2012-10-24 | パナソニック株式会社 | Similar case search device, similar case search method, operation method and program of similar case search device |
| WO2013001584A1 (en) * | 2011-06-30 | 2013-01-03 | パナソニック株式会社 | Similar case history search device and similar case history search method |
| JP2013027635A (en) * | 2011-07-29 | 2013-02-07 | Canon Inc | Image processing apparatus, and image processing method |
| WO2013018363A1 (en) * | 2011-08-04 | 2013-02-07 | パナソニック株式会社 | Similar case search device and similar case search method |
| JP2013054523A (en) * | 2011-09-02 | 2013-03-21 | Olympus Medical Systems Corp | Image processing system |
| JP2013061879A (en) * | 2011-09-14 | 2013-04-04 | Olympus Medical Systems Corp | Image search system |
| WO2013102215A1 (en) * | 2011-12-30 | 2013-07-04 | The Johns Hopkins University | Bioimaging grid |
| JP2014000350A (en) * | 2012-06-21 | 2014-01-09 | Canon Inc | Image diagnosis support apparatus, image diagnosis support method, and program |
| JP5663599B2 (en) * | 2010-11-26 | 2015-02-04 | 株式会社日立製作所 | Medical support system and medical support method |
| JP2016091545A (en) * | 2014-10-30 | 2016-05-23 | パナソニック株式会社 | Control method and program for information terminal |
| JP2016523407A (en) * | 2013-06-17 | 2016-08-08 | メディマッチ テクノロジー リミテッド | System and method for real-time analysis of medical images |
| JP2016147046A (en) * | 2015-02-12 | 2016-08-18 | 東芝メディカルシステムズ株式会社 | Medical image processing device, medical image processing method, medical image processing system, and medical image processing program |
| JP2016162131A (en) * | 2015-02-27 | 2016-09-05 | 富士フイルム株式会社 | Medical examination support device, operation method and operation program of medical examination support device |
| JP2016214324A (en) * | 2015-05-14 | 2016-12-22 | キヤノン株式会社 | Diagnosis support apparatus, control method of diagnosis support apparatus, program, and diagnosis support system |
| CN106796621A (en) * | 2014-09-10 | 2017-05-31 | 皇家飞利浦有限公司 | Image report annotation identification |
| US9720938B2 (en) | 2014-08-21 | 2017-08-01 | Fujifilm Corporation | Similar image retrieval device, method of operating similar image retrieval device, and similar image retrieval program |
| JP2017184022A (en) * | 2016-03-30 | 2017-10-05 | アンリツ株式会社 | Error rate measurement device and automatic correction method for the same device |
| JP2018175343A (en) * | 2017-04-12 | 2018-11-15 | 富士フイルム株式会社 | Medical image processing apparatus, method, and program |
| EP3410441A1 (en) | 2017-05-31 | 2018-12-05 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, information processing system, and program |
| WO2020027228A1 (en) | 2018-07-31 | 2020-02-06 | 株式会社Ｌｉｌｙ ＭｅｄＴｅｃｈ | Diagnostic support system and diagnostic support method |
| US10964020B2 (en) | 2017-03-10 | 2021-03-30 | Fujitsu Limited | Similar case image search program, similar case image search apparatus, and similar case image search method |
| US11062443B2 (en) | 2018-08-31 | 2021-07-13 | Fujifilm Corporation | Similarity determination apparatus, similarity determination method, and program |
| JPWO2020110519A1 (en) * | 2018-11-27 | 2021-10-14 | 富士フイルム株式会社 | Similarity determination device, method and program |
| JPWO2020110520A1 (en) * | 2018-11-27 | 2021-10-14 | 富士フイルム株式会社 | Similarity determination device, method and program |
| JP2021171087A (en) * | 2020-04-20 | 2021-11-01 | 富士通株式会社 | Similar case search program, similar case search method, and similar case search system |
| WO2022071160A1 (en) * | 2020-10-01 | 2022-04-07 | 富士フイルム株式会社 | Diagnosis assistance device, operation method of diagnosis assistance device, operation program of diagnosis assistance device, and dementia diagnosis assistance method |
| WO2022071158A1 (en) * | 2020-10-01 | 2022-04-07 | 富士フイルム株式会社 | Diagnosis assistance device, method for operating diagnosis assistance device, program for operating diagnosis assistance device, dementia diagnosis assistance method, and learned model for deriving dementia findings |
| WO2022071159A1 (en) * | 2020-10-01 | 2022-04-07 | 富士フイルム株式会社 | Diagnosis assistance device, operation method for diagnosis assistance device, operation program for diagnosis assistance device, and dementia diagnosis assistance device |
| WO2022080183A1 (en) * | 2020-10-16 | 2022-04-21 | 富士フイルム株式会社 | Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device |
| WO2022196105A1 (en) * | 2021-03-19 | 2022-09-22 | 富士フイルム株式会社 | Information management device, method, and program, and information processing device, method, and program |
| WO2023276432A1 (en) * | 2021-06-29 | 2023-01-05 | 国立研究開発法人国立がん研究センター | Image retrieval device, method, and program |
| US11854190B2 (en) | 2018-08-31 | 2023-12-26 | Fujifilm Corporation | Similarity determination apparatus, similarity determination method, and similarity determination program |
| US11893735B2 (en) | 2018-08-31 | 2024-02-06 | Fujifilm Corporation | Similarity determination apparatus, similarity determination method, and similarity determination program |
-
2009
- 2009-12-01 JP JP2009273754A patent/JP2011118543A/en active Pending
Cited By (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5663599B2 (en) * | 2010-11-26 | 2015-02-04 | 株式会社日立製作所 | Medical support system and medical support method |
| JP4979842B1 (en) * | 2011-06-30 | 2012-07-18 | パナソニック株式会社 | Similar case retrieval apparatus and similar case retrieval method |
| WO2013001584A1 (en) * | 2011-06-30 | 2013-01-03 | パナソニック株式会社 | Similar case history search device and similar case history search method |
| CN102958425A (en) * | 2011-06-30 | 2013-03-06 | 松下电器产业株式会社 | Similar case history search device and similar case history search method |
| US8953857B2 (en) | 2011-06-30 | 2015-02-10 | Panasonic Corporation | Similar case searching apparatus and similar case searching method |
| JP2013027635A (en) * | 2011-07-29 | 2013-02-07 | Canon Inc | Image processing apparatus, and image processing method |
| JP5475923B2 (en) * | 2011-08-04 | 2014-04-16 | パナソニック株式会社 | Similar case retrieval apparatus and similar case retrieval method |
| WO2013018363A1 (en) * | 2011-08-04 | 2013-02-07 | パナソニック株式会社 | Similar case search device and similar case search method |
| US8934695B2 (en) | 2011-08-04 | 2015-01-13 | Panasonic Corporation | Similar case searching apparatus and similar case searching method |
| JP2013054523A (en) * | 2011-09-02 | 2013-03-21 | Olympus Medical Systems Corp | Image processing system |
| JP2013061879A (en) * | 2011-09-14 | 2013-04-04 | Olympus Medical Systems Corp | Image search system |
| CN103200861A (en) * | 2011-11-04 | 2013-07-10 | 松下电器产业株式会社 | Similar case retrieval device and similar case retrieval method |
| WO2013065090A1 (en) * | 2011-11-04 | 2013-05-10 | パナソニック株式会社 | Similar case retrieval device and similar case retrieval method |
| US8958613B2 (en) | 2011-11-04 | 2015-02-17 | Panasonic Corporation | Similar case searching apparatus and similar case searching method |
| JP5054252B1 (en) * | 2011-11-04 | 2012-10-24 | パナソニック株式会社 | Similar case search device, similar case search method, operation method and program of similar case search device |
| US9646138B2 (en) | 2011-12-30 | 2017-05-09 | The Johns Hopkins University | Bioimaging grid |
| WO2013102215A1 (en) * | 2011-12-30 | 2013-07-04 | The Johns Hopkins University | Bioimaging grid |
| JP2014000350A (en) * | 2012-06-21 | 2014-01-09 | Canon Inc | Image diagnosis support apparatus, image diagnosis support method, and program |
| JP2016523407A (en) * | 2013-06-17 | 2016-08-08 | メディマッチ テクノロジー リミテッド | System and method for real-time analysis of medical images |
| US9720938B2 (en) | 2014-08-21 | 2017-08-01 | Fujifilm Corporation | Similar image retrieval device, method of operating similar image retrieval device, and similar image retrieval program |
| JP2017534316A (en) * | 2014-09-10 | 2017-11-24 | コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． | Image report annotation identification |
| CN106796621A (en) * | 2014-09-10 | 2017-05-31 | 皇家飞利浦有限公司 | Image report annotation identification |
| JP2019194907A (en) * | 2014-10-30 | 2019-11-07 | パナソニック株式会社 | Control method and program for information terminal |
| JP2016091545A (en) * | 2014-10-30 | 2016-05-23 | パナソニック株式会社 | Control method and program for information terminal |
| JP2016147046A (en) * | 2015-02-12 | 2016-08-18 | 東芝メディカルシステムズ株式会社 | Medical image processing device, medical image processing method, medical image processing system, and medical image processing program |
| JP2016162131A (en) * | 2015-02-27 | 2016-09-05 | 富士フイルム株式会社 | Medical examination support device, operation method and operation program of medical examination support device |
| US10593428B2 (en) | 2015-02-27 | 2020-03-17 | Fujifilm Corporation | Diagnosis support apparatus and method, and non-transitory computer readable medium |
| JP2016214324A (en) * | 2015-05-14 | 2016-12-22 | キヤノン株式会社 | Diagnosis support apparatus, control method of diagnosis support apparatus, program, and diagnosis support system |
| JP2017184022A (en) * | 2016-03-30 | 2017-10-05 | アンリツ株式会社 | Error rate measurement device and automatic correction method for the same device |
| US10964020B2 (en) | 2017-03-10 | 2021-03-30 | Fujitsu Limited | Similar case image search program, similar case image search apparatus, and similar case image search method |
| JP2018175343A (en) * | 2017-04-12 | 2018-11-15 | 富士フイルム株式会社 | Medical image processing apparatus, method, and program |
| US10846853B2 (en) | 2017-04-12 | 2020-11-24 | Fujifilm Corporation | Medical image processing apparatus, medical image processing method, and medical image processing program |
| EP3410441A1 (en) | 2017-05-31 | 2018-12-05 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, information processing system, and program |
| JP7138971B2 (en) | 2018-07-31 | 2022-09-20 | 株式会社Lily MedTech | Diagnosis support system and diagnosis support method |
| WO2020027228A1 (en) | 2018-07-31 | 2020-02-06 | 株式会社Ｌｉｌｙ ＭｅｄＴｅｃｈ | Diagnostic support system and diagnostic support method |
| JPWO2020027228A1 (en) * | 2018-07-31 | 2021-08-26 | 株式会社Ｌｉｌｙ ＭｅｄＴｅｃｈ | Diagnostic support system and diagnostic support method |
| US11062443B2 (en) | 2018-08-31 | 2021-07-13 | Fujifilm Corporation | Similarity determination apparatus, similarity determination method, and program |
| US11854190B2 (en) | 2018-08-31 | 2023-12-26 | Fujifilm Corporation | Similarity determination apparatus, similarity determination method, and similarity determination program |
| US11893735B2 (en) | 2018-08-31 | 2024-02-06 | Fujifilm Corporation | Similarity determination apparatus, similarity determination method, and similarity determination program |
| JP7170747B2 (en) | 2018-11-27 | 2022-11-14 | 富士フイルム株式会社 | Similarity determination device, method and program |
| JP7091475B2 (en) | 2018-11-27 | 2022-06-27 | 富士フイルム株式会社 | Similarity determination device, method and program |
| JPWO2020110519A1 (en) * | 2018-11-27 | 2021-10-14 | 富士フイルム株式会社 | Similarity determination device, method and program |
| JPWO2020110520A1 (en) * | 2018-11-27 | 2021-10-14 | 富士フイルム株式会社 | Similarity determination device, method and program |
| US11756292B2 (en) | 2018-11-27 | 2023-09-12 | Fujifilm Corporation | Similarity determination apparatus, similarity determination method, and similarity determination program |
| JP7419950B2 (en) | 2020-04-20 | 2024-01-23 | 富士通株式会社 | Similar case search program, similar case search method, and similar case search system |
| JP2021171087A (en) * | 2020-04-20 | 2021-11-01 | 富士通株式会社 | Similar case search program, similar case search method, and similar case search system |
| WO2022071158A1 (en) * | 2020-10-01 | 2022-04-07 | 富士フイルム株式会社 | Diagnosis assistance device, method for operating diagnosis assistance device, program for operating diagnosis assistance device, dementia diagnosis assistance method, and learned model for deriving dementia findings |
| WO2022071159A1 (en) * | 2020-10-01 | 2022-04-07 | 富士フイルム株式会社 | Diagnosis assistance device, operation method for diagnosis assistance device, operation program for diagnosis assistance device, and dementia diagnosis assistance device |
| WO2022071160A1 (en) * | 2020-10-01 | 2022-04-07 | 富士フイルム株式会社 | Diagnosis assistance device, operation method of diagnosis assistance device, operation program of diagnosis assistance device, and dementia diagnosis assistance method |
| WO2022080183A1 (en) * | 2020-10-16 | 2022-04-21 | 富士フイルム株式会社 | Ultrasonic diagnostic device and method for controlling ultrasonic diagnostic device |
| WO2022196105A1 (en) * | 2021-03-19 | 2022-09-22 | 富士フイルム株式会社 | Information management device, method, and program, and information processing device, method, and program |
| WO2023276432A1 (en) * | 2021-06-29 | 2023-01-05 | 国立研究開発法人国立がん研究センター | Image retrieval device, method, and program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2011118543A (en) | Case image retrieval device, method and program | |
| US11322242B2 (en) | Method and recording medium | |
| JP5506912B2 (en) | Clinical decision support system and method | |
| JP5852970B2 (en) | CASE SEARCH DEVICE AND CASE SEARCH METHOD | |
| JP5502346B2 (en) | Case image registration device, method and program, and case image search device, method, program and system | |
| JP5098559B2 (en) | Similar image search device and similar image search program | |
| KR101943011B1 (en) | Method for facilitating medical image reading and apparatus using the same | |
| JP4021179B2 (en) | Diagnosis support program, computer-readable recording medium storing diagnosis support program, diagnosis support apparatus, and diagnosis support method | |
| JP5054252B1 (en) | Similar case search device, similar case search method, operation method and program of similar case search device | |
| JP5599572B2 (en) | Case image retrieval apparatus, method and program | |
| US20110317892A1 (en) | Method and system of classifying medical images | |
| JP2014029644A (en) | Similar case retrieval device and similar case retrieval method | |
| JP5094775B2 (en) | Case image retrieval apparatus, method and program | |
| JP2011048672A (en) | Device, method and program for registering case image | |
| Aggarwal et al. | Semantic and content-based medical image retrieval for lung cancer diagnosis with the inclusion of expert knowledge and proven pathology | |
| JP5677348B2 (en) | CASE SEARCH DEVICE, CASE SEARCH METHOD, AND PROGRAM | |
| JP2011118540A (en) | Case retrieval device, method and program | |
| JP2010211452A (en) | Case image retrieval device, method, and program | |
| JP2012179336A (en) | Pathology image diagnosis support system | |
| Jing et al. | A comprehensive survey of intestine histopathological image analysis using machine vision approaches | |
| CN107610772A (en) | A kind of thyroid nodule CT image diagnostic system design methods | |
| Bisht et al. | Hybrid Deep Learning Algorithm for Pulmonary Nodule Detection using Body Sensors | |
| JP5426338B2 (en) | Case image retrieval apparatus, method and program | |
| Yuan et al. | Diagnosis system of computer-aided brain MRI using content-based image retrieval | |
| JP2009207585A (en) | Medical image analysis system, computer program and medical image analysis method |