JP2018050671A - Diagnosis support apparatus, image processing method in diagnosis support apparatus, and program - Google Patents
Diagnosis support apparatus, image processing method in diagnosis support apparatus, and program Download PDFInfo
- Publication number
- JP2018050671A JP2018050671A JP2016186994A JP2016186994A JP2018050671A JP 2018050671 A JP2018050671 A JP 2018050671A JP 2016186994 A JP2016186994 A JP 2016186994A JP 2016186994 A JP2016186994 A JP 2016186994A JP 2018050671 A JP2018050671 A JP 2018050671A
- Authority
- JP
- Japan
- Prior art keywords
- vector
- local feature
- feature
- image
- local
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムに関する。 The present invention relates to a diagnosis support apparatus, an image processing method in the diagnosis support apparatus, and a program.
皮膚病変の診断として視診は必ず行われ、多くの情報を得ることができる。しかしながら、肉眼やルーペだけでは、ホクロとしみの判別さえ難しく、良性腫瘍と悪性腫瘍の鑑別も難しい。そこで、ダーモスコープ付きカメラを用いて病変を撮影するダーモスコピー診断が行われているが、画像の観察による症例の識別は医師のスキルに依存しているのが現状である。 Visual inspection is always performed as a diagnosis of skin lesions, and a lot of information can be obtained. However, even with the naked eye or loupe alone, it is difficult to distinguish between moles and spots, and it is also difficult to distinguish benign and malignant tumors. Therefore, dermoscopy diagnosis in which a lesion is photographed using a camera with a dermoscope is performed, but the current situation is that case identification by observing an image depends on the skill of a doctor.
このため、例えば、特許文献１に、撮影され保存された患者の撮影画像からＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ）変換したハイダイナミックレンジ合成画像を生成して比較可能な医用撮影装置の技術が記載されている。特許文献１に記載された技術によれば、診断スキルの有無に依存することなく容易にダーモスコピー画像の所見を得ることができる。 For this reason, for example, Patent Document 1 describes a technique of a medical imaging apparatus that can generate and compare a high dynamic range composite image obtained by HDR (High Dynamic Range Imaging) conversion from a captured image of a patient that has been captured and stored. Yes. According to the technique described in Patent Document 1, the findings of a dermoscopy image can be easily obtained without depending on the presence or absence of diagnostic skills.
ところで、ダーモスコピー画像の所見を得るために画像検索が行われるが、その際に、疾患部の内側と外側境界のそれぞれについて、色の特徴、形状特徴の区別が容易で、かつ、高速画像検索のための計算コストの低減が要求仕様として求められる。また、抽出領域サイズの安定性（撮像回転に対する不変性）等についても要求され、これら要求に対し、従来の一般的な画像特徴量表現をそのまま適用した場合、その要求仕様が得られない課題がある。 By the way, an image search is performed in order to obtain the findings of the dermoscopy image. At that time, it is easy to distinguish the color feature and the shape feature for each of the inner and outer boundaries of the diseased part, and the high-speed image search is performed. Therefore, a reduction in calculation cost is required as a required specification. In addition, there is a demand for stability of the extraction area size (invariance with respect to imaging rotation), and when the conventional general image feature expression is applied as it is to these requirements, there is a problem that the required specifications cannot be obtained. is there.
本発明は上記した課題を解決するためになされたものであり、画像検索時に要求される仕様を満足する、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and an object thereof is to provide a diagnosis support apparatus, an image processing method in the diagnosis support apparatus, and a program that satisfy specifications required at the time of image search. To do.
上記した課題を解決するために本発明は、撮影画像から病変を診断するための診断支援装置であって、病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのビジュアルワードを含むコードブックを生成するコードブック生成部を備え、前記コードブック生成部が、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする。
本発明の他の特徴は、本明細書及び添付図面の記載により明らかにする。
In order to solve the above-described problem, the present invention is a diagnosis support apparatus for diagnosing a lesion from a captured image, and a local feature vector is obtained for a reference image formed based on a known first captured image related to a lesion. A code book generating unit that generates a code book including a visual word for vector quantization, and the code book generating unit expresses a feature amount of a local feature vector of the first captured image; It is characterized by vector quantization of a plurality of local feature vector groups from a region.
Other features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
本発明によれば、画像検索に要求される仕様を満足する、診断支援装置、及び診断支援装置における画像処理方法、並びにプログラムを提供することができる。 According to the present invention, it is possible to provide a diagnosis support apparatus, an image processing method in the diagnosis support apparatus, and a program that satisfy specifications required for image search.
以下、添付図面を参照して、本発明を実施するための形態（以下、実施形態）について詳細に説明する。以降の図においては、実施形態の説明の全体を通して同じ要素には同じ番号又は符号を付している。 DESCRIPTION OF EMBODIMENTS Hereinafter, embodiments for carrying out the present invention (hereinafter referred to as embodiments) will be described in detail with reference to the accompanying drawings. In the subsequent drawings, the same numbers or symbols are assigned to the same elements throughout the description of the embodiments.
（実施形態の構成）
図１は、本実施形態に係る診断支援装置１の構成を示すブロック図である。図１に示すように、本実施態に係る診断支援装置１には、ダーモスコープ付撮影装置２０が接続されている。
(Configuration of the embodiment)
FIG. 1 is a block diagram illustrating a configuration of a diagnosis support apparatus 1 according to the present embodiment. As shown in FIG. 1, an imaging device 20 with a dermoscope is connected to the diagnosis support apparatus 1 according to the present embodiment.
ダーモスコープ付撮影装置２０は、診断支援装置１の装置本体１０からの指示により撮影を行い、撮影画像（ダーモスコピー画像）を画像記憶部１５に記憶すると共に、表示装置４０上に表示する。また、撮影画像は、装置本体１０により画像処理が施されて画像記憶部１５に記憶すると共に、表示装置４０上に表示される。 The imaging device 20 with a dermoscope performs imaging in accordance with an instruction from the apparatus main body 10 of the diagnosis support apparatus 1 and stores the captured image (dermoscopy image) in the image storage unit 15 and displays it on the display device 40. The captured image is subjected to image processing by the apparatus body 10 and stored in the image storage unit 15 and is displayed on the display device 40.
入力装置３０は、ダーモスコピー画像の撮影開始指示や、後述するダーモスコピー画像中の部位選択操作等を行う。なお、表示装置４０は、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）モニタ等により構成され、入力装置３０は、マウス等により構成されている。 The input device 30 performs an instruction to start capturing a dermoscopy image, a part selection operation in the dermoscopy image, which will be described later, and the like. The display device 40 is configured by, for example, an LCD (Liquid Crystal Display) monitor, and the input device 30 is configured by a mouse or the like.
装置本体１０は、撮影画像取得部１１と、コードブック生成部１２、処理部１３と、検索手段１４と、画像記憶部１５と、辞書記憶部１６と、を含む。 The apparatus main body 10 includes a captured image acquisition unit 11, a code book generation unit 12, a processing unit 13, a search unit 14, an image storage unit 15, and a dictionary storage unit 16.
撮影画像取得部１１は、ダーモスコープ付撮影装置２０により撮影されたダーモスコピー画像（第１撮影画像）を取り込み、画像記憶部１５に記憶すると共に、コードブック生成部１２と処理部１３に出力する。コードブック生成部１２は、撮影画像取得部１１により取り込まれた、病変に係る既知のダーモスコピー画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのコードブックを生成し、辞書記憶部１６の一部領域に割り当てられ記憶されるビジュアルワード（Ｖｉｓｕａｌ Ｗｏｒｄ）辞書１６０に登録する。 The captured image acquisition unit 11 captures a dermoscopy image (first captured image) captured by the imaging device 20 with a dermoscope, stores it in the image storage unit 15, and outputs it to the code book generation unit 12 and the processing unit 13. The code book generation unit 12 generates a code book for vector quantization of a local feature vector for a reference image that is captured based on a known dermoscopy image related to a lesion and is captured by the captured image acquisition unit 11 It is registered in a visual word dictionary 160 that is allocated and stored in a partial area of the storage unit 16.
このため、コードブック生成部１２は、ＲＧＢ画素値／局所勾配特徴量取得部１２１と、クラスタリング処理部１２２と、コードブック登録部１２３とを含み、構成される。なお、本実施形態では色空間としてＲＧＢ色空間を取り上げて説明するが、本実施形態の適用にあたっては、そのほかにも、例えばＹＵＶ色空間やＨＳＶ色空間であってもよい。 Therefore, the code book generation unit 12 includes an RGB pixel value / local gradient feature amount acquisition unit 121, a clustering processing unit 122, and a code book registration unit 123. In the present embodiment, the RGB color space will be described as the color space. However, in the application of the present embodiment, for example, a YUV color space or an HSV color space may be used.
ＲＧＢ画素値／ＢｏＦ特徴量取得部１２１は、入力されるターモスコピー画像を正方形にクロップして所定のサイズにリサイズし、リサイズされた正方形画像から、ＲＧＢ画素値、又はＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を一定画素間隔で取得して、クラスタリング対象のデータ群として登録する。なお、本実施形態では局所勾配特徴量としてＳＩＦＴ特徴量を取り上げて説明するが、本実施形態の適用にあたっては、例えばＲＩＦＦ（Ｒｏｔａｔｉｏｎ−Ｉｎｖａｒｉａｎｔ，Ｆａｓｔ Ｆｅａｔｕｒｅ）特徴量などのＳＩＦＴ特徴量以外の局所勾配特徴量であってもよい。 The RGB pixel value / BoF feature amount acquisition unit 121 crops the input thermoscopy image into a square and resizes the image to a predetermined size. From the resized square image, the RGB pixel value or SIFT (Scale-Invariant Feature Transform) Feature quantities are acquired at regular pixel intervals and registered as a clustering target data group. In the present embodiment, the SIFT feature quantity is described as the local gradient feature quantity. However, in applying the present embodiment, for example, a local gradient other than the SIFT feature quantity such as a RIFF (Rotation-Invariant, Fast Feature) feature quantity is used. It may be a feature amount.
クラスタリング処理部１２２は、画像記憶部１５に保持された全てのダーモスコピー画像についてクラスタリング対象のデータ群とし、登録された全ての局所特徴ベクトルをクラスタリングし、得られた各クラスタの中心値をコードブックに登録し、ＲＧＢ画素値及びＳＩＦＴ特徴量の作成が終わるまで繰り返すことによって得られるコードブックを、コードブック登録部１２３を介して辞書記憶部１６のビジュアルワード辞書１６０に登録する。 The clustering processing unit 122 clusters all dermoscopy images stored in the image storage unit 15 as a clustering target data group, clusters all registered local feature vectors, and uses the obtained center value of each cluster as a codebook. A code book obtained by registering and repeating until creation of RGB pixel values and SIFT feature values is registered in the visual word dictionary 160 of the dictionary storage unit 16 via the code book registration unit 123.
処理部１３は、病変に係る未知のダーモスコピー画像（第２撮影画像）に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出する。処理部１３は、第２撮影画像の局所特徴ベクトルの特徴量表現において円又は楕円で囲まれた特徴抽出有効領域を設定し、特徴抽出有効領域の中心を中心としてクロップされた正方形領域から複数の局所特徴ベクトル群をベクトル量子化し、量子化した複数の値の統計処理を行った統計量ベクトルを得て検索手段１４へ出力する。 The processing unit 13 extracts a local feature vector for a query image formed based on an unknown dermoscopy image (second captured image) related to a lesion. The processing unit 13 sets a feature extraction effective area surrounded by a circle or an ellipse in the feature quantity representation of the local feature vector of the second captured image, and a plurality of square areas cropped from the center of the feature extraction effective area as a center. A local feature vector group is subjected to vector quantization, and a statistic vector obtained by performing statistical processing on a plurality of quantized values is obtained and output to the search means 14.
より具体的には、局所特徴ベクトルは、局所特徴ベクトル群を抽出し、コードブックにしたがい抽出した局所特徴ベクトル群をベクトル数分量子化後、量子化した複数の値をヒストグラム積算処理したものである。ここでは、ＢｏＦ（Ｂａｇ ｏｆ Ｆｅａｔｕｒｅ）特徴ベクトルとする。ここで、ＢｏＦとは、画像を局所特徴の集合として捉えた画像の表現方法であり、基本的な考え方は、ｂａｇ−ｏｆ−ｗｏｒｄと称されるテキスト検索のモデルであり、文章中に出現する単語のコードブックをもとに語順に関係なく文章を単語の出現頻度で表現する方法である。 More specifically, the local feature vector is obtained by extracting a local feature vector group, quantizing the extracted local feature vector group by the number of vectors according to the code book, and then performing histogram integration processing on a plurality of quantized values. is there. Here, a BoF (Bag of Feature) feature vector is used. Here, BoF is an image representation method that captures an image as a set of local features. The basic concept is a text search model called bag-of-word, which appears in a sentence. This is a method of expressing a sentence with the appearance frequency of a word regardless of the word order based on the codebook of the word.
ＢｏＦは、単語の代わりにベクトル量子化された局所特徴を用いることで画像を局所特徴の集合として捉える。このため、撮影画像から局所特徴を抽出し、全ての局所特徴をクラスタリングすることでビジュアルワードと称される複数の類似画像を作成する。これら特徴ベクトルをまとめたものをコードブックと称している。ＢｏＦは、撮影画像ごとに得られる局所特徴を、コードブックの特徴ベクトルのうち最も近い特徴ベクトルに投票することで出現回数のヒストグラムで表現することができる。その画像の局所特徴の総数でヒストグラムのｂｉｎを割ることで作成される、正規化されたヒストグラムがその画像に対するＢｏＦ表現になる。 BoF captures an image as a set of local features by using vector quantized local features instead of words. Therefore, a plurality of similar images called visual words are created by extracting local features from the captured image and clustering all the local features. A collection of these feature vectors is called a code book. BoF can be represented by a histogram of the number of appearances by voting local features obtained for each captured image to the closest feature vector among the feature vectors of the codebook. The normalized histogram created by dividing the histogram bin by the total number of local features of the image becomes the BoF representation for the image.
局所特徴ベクトルは、５つの局所特徴に係るベクトルを含み、処理部１３が、特徴抽出有効領域を中央と全体に区分したとき、局所特徴＃１（第１局所特徴）が色中央特徴、局所特徴＃２（第２局所特徴）が色全体特徴、局所特徴＃３（第３局所特徴）が形状中央特徴、局所特徴＃４（第４局所特徴）が形状全体特徴、局所特徴＃５（第５局所特徴）が全体構図特徴である。このため、処理部１３は、ＢｏＦ特徴量ベクトル抽出部１３１と、ＢｏＦ特徴ベクトル連結部１３２と、を含み、ＢｏＦ特徴量ベクトル抽出部１３１が、コードブック生成部１２により生成されたビジュアルワード辞書１６０を用いて５つの局所特徴ベクトル（＃１〜＃５）を抽出する機能を有し、ＢｏＦ特徴ベクトル連結部１３２は、５つの局所特徴＃１〜＃５のそれぞれを連結して検索手段１４へ出力する機能を有する。 The local feature vector includes vectors related to five local features, and when the processing unit 13 divides the feature extraction effective region into the center and the whole, the local feature # 1 (first local feature) is the color center feature and the local feature. # 2 (second local feature) is an overall color feature, local feature # 3 (third local feature) is a shape central feature, local feature # 4 (fourth local feature) is an overall shape feature, and local feature # 5 (fifth) (Local feature) is the overall composition feature. For this reason, the processing unit 13 includes a BoF feature vector extraction unit 131 and a BoF feature vector connection unit 132, and the BoF feature vector extraction unit 131 generates the visual word dictionary 160 generated by the codebook generation unit 12. Is used to extract five local feature vectors (# 1 to # 5), and the BoF feature vector connecting unit 132 connects each of the five local features # 1 to # 5 to the search unit 14. Has a function to output.
検索手段１４は、生成されたビジュアルワード辞書１６０（コードブック）を用いてＢｏＦ特徴ベクトル抽出による類似画像検索を行い表示装置４０へ出力する。類似画像検索にあたっては、ベクトル間距離算出部１４１において、第１撮像画像の局所特徴ベクトルと第２撮像画像の局所特徴ベクトルとの間のヒストグラム交差距離（ヒストグラムインタセクション）を求め、ヒストグラム間の類似度を判定する。 The search means 14 performs a similar image search by BoF feature vector extraction using the generated visual word dictionary 160 (code book) and outputs the similar image to the display device 40. In the similar image search, the inter-vector distance calculation unit 141 obtains a histogram intersection distance (histogram intersection) between the local feature vector of the first captured image and the local feature vector of the second captured image, and the similarity between the histograms. Determine the degree.
画像記憶部１５は、ダーモスコープ付撮影装置２０により撮影される患部のダーモスコピー画像を記憶する他に、本実施形態に係るプログラムの実行途中で生成される画像他、各種データを記憶する。辞書記憶部１６は、コードブック生成部１２により生成されるビジュアルワード辞書（コードブック）を記憶する。画像記憶部１５、辞書記憶部１６共に、半導体、磁気、光等のうち、いずれかの記憶素子が実装されている。 In addition to storing a dermoscopy image of the affected area captured by the imaging device 20 with a dermoscope, the image storage unit 15 stores various data as well as an image generated during the execution of the program according to the present embodiment. The dictionary storage unit 16 stores the visual word dictionary (code book) generated by the code book generation unit 12. Both the image storage unit 15 and the dictionary storage unit 16 are mounted with any one of memory elements such as semiconductor, magnetism, and light.
（実施形態の動作）
以下、図２，図３のフローチャートを参照して図１に示す本実施形態に係る診断支援装置１の処理動作について詳細に説明する。
(Operation of the embodiment)
Hereinafter, the processing operation of the diagnosis support apparatus 1 according to the present embodiment shown in FIG. 1 will be described in detail with reference to the flowcharts of FIGS.
まず、図２のフローチャートを参照しながら本実施形態に係る診断支援装置１のコードブック生成処理動作から説明する。 First, the code book generation processing operation of the diagnosis support apparatus 1 according to the present embodiment will be described with reference to the flowchart of FIG.
まず、医師が入力装置３０を操作することによる指示の下、ダーモスコープ付撮影装置２０により患部の撮影を行うと、装置本体１０は、撮影画像取得部１１が撮影後のダーモスコピー画像を取り込み、画像記憶部１５へ記憶すると共に、コードブック生成部１２へ出力する（ステップＳ２０１）。図４にダーモスコピー撮影画像の一例が示されている。 First, under the instruction by the doctor operating the input device 30, when an imaging of the affected area is performed by the imaging device 20 with a dermoscope, the apparatus main body 10 captures a dermoscopy image after imaging by the captured image acquisition unit 11 and stores the image. The data is stored in the unit 15 and output to the code book generating unit 12 (step S201). FIG. 4 shows an example of a dermoscopy shot image.
コードブック生成部１２は、ＲＧＢ画素値／ＢｏＦ特徴量取得部１２１が、長方形状のダーモスコピー画像の両側をカットして正方形状の画像を切り出し、１２８×１２８画素等、所定のサイズにリサイズする（ステップＳ２０２）。そしてリサイズされた正方形画像から、ＲＧＢ画素値又はＳＩＦＴ特徴量を一定画素間隔で取得してクラスタリング対象のデータ群として画像記憶部１５へ登録する（ステップＳ２０３）。 In the codebook generation unit 12, the RGB pixel value / BoF feature amount acquisition unit 121 cuts out both sides of the rectangular dermoscopy image to cut out a square image, and resizes it to a predetermined size such as 128 × 128 pixels ( Step S202). Then, RGB pixel values or SIFT feature quantities are acquired from the resized square image at regular pixel intervals and registered in the image storage unit 15 as a clustering target data group (step S203).
ＲＧＢ画素値／ＢｏＦ特徴量取得部１２１は、画像記憶部１５に記憶されている全ての画像について上記したステップＳ２０１〜Ｓ２０３の処理を繰り返し実行し（ステップＳ２０４“ＹＥＳ”）、クラスタリング対象のデータ群としてクラスタリング処理部１２２へ出力する。 The RGB pixel value / BoF feature quantity acquisition unit 121 repeatedly executes the above-described processing of steps S201 to S203 for all the images stored in the image storage unit 15 (step S204 “YES”), and a data group to be clustered. To the clustering processing unit 122.
なお、ＲＧＢ特徴量は、画像中の濃淡変化が大きい特徴点を抽出し、その特徴点周りの領域をＲＧＢ画素値により特徴ベクトルとしたものであり、また、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量は、特徴点周りの局所画像パターンを１２８次元特徴ベクトルで表現したもので、回転、スケール変化、照明変化に対して耐性のある特徴である。 Note that the RGB feature value is a feature point in which a large shade change in the image is extracted, and a region around the feature point is used as a feature vector based on the RGB pixel value. In addition, the SIFT (Scale Invariant Feature Transform) feature value is used. Represents a local image pattern around a feature point by a 128-dimensional feature vector, and is a feature resistant to rotation, scale change, and illumination change.
クラスタリング処理部１２２は、ステップＳ２０１〜Ｓ２０４の手順にしたがい登録された全局所特徴ベクトルを、ｋ−ｍｅａｎｓ法等、最適分割化手法によりクラスタリングを行い（ステップＳ２０５）、コードブック登録部１２３を介し、得られた各クラスタ中心値をビジュアルワードとし（ステップＳ２０６）、辞書記憶部１６のビジュアルワード辞書１６０に登録する。クラスタリング処理部１２２は、ＲＧＢ画素値（３次元）、ＳＩＦＴ特徴量（１２８次元）の２種類のビジュアルワード生成が終了するまで（ステップＳ２０７“ＹＥＳ”）、繰り返し実行する。 The clustering processing unit 122 performs clustering on all the local feature vectors registered according to the procedure of steps S201 to S204 by an optimal partitioning method such as the k-means method (step S205), and via the codebook registration unit 123, Each obtained cluster center value is set as a visual word (step S206), and is registered in the visual word dictionary 160 of the dictionary storage unit 16. The clustering processing unit 122 repeatedly executes the generation of two types of visual words of RGB pixel values (three dimensions) and SIFT feature values (128 dimensions) (step S207 “YES”).
次に、図３のフローチャートを参照しながら本実施形態に係る診断支援装置１のＢｏＦ特徴ベクトル抽出処理動作について説明する。 Next, the BoF feature vector extraction processing operation of the diagnosis support apparatus 1 according to the present embodiment will be described with reference to the flowchart of FIG.
ここでは、処理部１３が、コードブック生成部１２により生成されたビジュアルワード辞書１６０（コードブック）を用いて、ＢｏＦ特徴ベクトルの抽出を行う。ＢｏＦ特徴ベクトルは、５つの局所特徴に係るベクトル（局所特徴＃１〜＃５）を含み、特徴抽出有効領域を中央と全体に区分したとき、局所特徴＃１が色中央特徴（ＲＧＢヒストグラム）、局所特徴＃２が色全体特徴（ＲＧＢヒストグラム）、局所特徴＃３が形状中央特徴（ＤｅｎｓｅＳＩＦＴとＢｏＦ（１／８×１／８パッチのヒストグラム））、局所特徴＃４が形状全体特徴（ＤｅｎｓｅＳＩＦＴとＢｏＦ（１／８×１／８パッチのヒストグラム））、局所特徴＃５が全体構図特徴（ＤｅｎｓｅＳＩＦＴとＢｏＦ（３／８×３／８パッチのヒストグラム））であり、それぞれについて特徴ベクトル抽出後、各ＢｏＦ特徴ベクトル＃１〜＃５を連結する。詳細は後述する。 Here, the processing unit 13 extracts the BoF feature vector using the visual word dictionary 160 (code book) generated by the code book generating unit 12. The BoF feature vector includes vectors related to five local features (local features # 1 to # 5). When the feature extraction effective area is divided into the center and the whole, the local feature # 1 is a color center feature (RGB histogram), Local feature # 2 is an overall color feature (RGB histogram), local feature # 3 is a shape center feature (DenseSIFT and BoF (1/8 × 1/8 patch histogram)), and local feature # 4 is an overall shape feature (DenseSIFT and BoF (1/8 × 1/8 patch histogram)), local feature # 5 is the overall composition feature (DenseSIFT and BoF (3/8 × 3/8 patch histogram)), and after extracting feature vectors for each, The BoF feature vectors # 1 to # 5 are connected. Details will be described later.
このため、まず、医師が入力装置３０を操作することによる指示の下、ダーモスコープ付撮影装置２０により患部の撮影を行うと、装置本体１０は、撮影画像取得部１１がクエリ画像（ダーモスコピー画像）を取り込み、処理部１３へ出力する（ステップＳ３０１）。これを受けて処理部１３は、ＢｏＦ特徴量ベクトル抽出部１３１が、まず、クエリ画像の外挿処理を行う（ステップＳ３０２）。これは、中心位置からずれたクロップ処理によるデータの連続性を確保するため（画像端がエッジとして扱われないようにするため）の措置である。 For this reason, first, when the affected part is imaged by the imaging device 20 with a dermoscope under an instruction by the doctor operating the input device 30, the apparatus image 10 of the apparatus main body 10 is displayed as a query image (dermoscopy image). Capture and output to the processing unit 13 (step S301). In response, in the processing unit 13, the BoF feature vector extraction unit 131 first performs extrapolation processing of the query image (step S302). This is a measure for ensuring continuity of data by crop processing shifted from the center position (so that the image edge is not treated as an edge).
続いて、医師が、検索時に重視する箇所をＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）により円又は楕円の領域選択を行う。具体的に、医師は、表示装置４０に表示された外挿画像のうち、入力装置３０を操作することによって、検索時に重視する箇所の円又は楕円領域を手動で選択（図５にＧＵＩ選択楕円として示す楕円とする）する（ステップＳ３０３）。これを受けてＢｏＦ特徴量ベクトル抽出部１３１は、選択した楕円中心を中心とする正方形領域をクロップし、例えば、１２８×１２８画素の所定のサイズにリサイズした切出し画像を得る（ステップＳ３０４）。 Subsequently, the doctor selects a circle or an ellipse area by using a GUI (Graphical User Interface) for a portion to be emphasized during the search. Specifically, the doctor manually selects a circle or an ellipse area to be emphasized at the time of the search by operating the input device 30 among the extrapolated images displayed on the display device 40 (GUI selection ellipse in FIG. 5). (Step S303). In response to this, the BoF feature vector extraction unit 131 crops the square area centered on the selected center of the ellipse, and obtains a clipped image resized to a predetermined size of, for example, 128 × 128 pixels (step S304).
次に、ＢｏＦ特徴量ベクトル抽出部１３１は、ステップＳ３０４でリサイズされた正方形画像において、指定領域で、ＲＧＢ画素値（局所特徴＃１〜＃２）、又はＳＩＦＴ特徴量（局所特徴＃３〜＃５）を一定画素間隔でサンプリングすることにより取得する（ステップＳ３０５）。続いて、ＢｏＦ特徴量ベクトル抽出部１３１は、ステップＳ３０３で手動選択した楕円領域に対応する楕円領域重み付けマップを作成する（ステップＳ３０６）。図６に楕円領域重み付けマップの一例が示されている。 Next, the BoF feature quantity vector extraction unit 131 uses the RGB pixel values (local features # 1 to # 2) or SIFT feature quantities (local features # 3 to # 2) in the designated region in the square image resized in step S304. 5) is obtained by sampling at regular pixel intervals (step S305). Subsequently, the BoF feature quantity vector extraction unit 131 creates an elliptical area weighting map corresponding to the elliptical area manually selected in step S303 (step S306). FIG. 6 shows an example of an ellipse area weighting map.
次に、ＢｏＦ特徴量ベクトル抽出部１３１は、例えば、図７に示すような特徴抽出有効領域を設定する。具体的に、局所特徴＃１〜＃２については、特徴抽出有効領域を「中央」部、局所特徴＃３〜＃５については特徴抽出有効領域を「全体」部に設定する。続いて、ＢｏＦ特徴量ベクトル抽出部１３１は、ステップＳ３０６で作成した楕円領域重みマップと、ステップＳ３０７で設定した特徴抽出有効領域の畳み込み演算を行い、例えば、図８に示す最終的な楕円領域重み付けマップを作成する。図８（ａ）は「中央」部、図８（ｂ）は「全体」部を特徴抽出有効領域に設定した場合の特徴抽出重みマップであり、いずれもハッチングした部分が該当する。 Next, the BoF feature quantity vector extraction unit 131 sets a feature extraction effective area as shown in FIG. 7, for example. Specifically, for local features # 1 to # 2, the feature extraction effective region is set to the “center” portion, and for local features # 3 to # 5, the feature extraction effective region is set to the “whole” portion. Subsequently, the BoF feature quantity vector extraction unit 131 performs a convolution operation on the elliptic region weight map created in step S306 and the feature extraction effective region set in step S307, for example, the final elliptic region weighting shown in FIG. Create a map. FIG. 8A is a feature extraction weight map when the “center” portion is set as the feature extraction effective region, and FIG. 8B is a feature extraction weight map when the “entire” portion is set as the feature extraction effective region.
次に、ＢｏＦ特徴量ベクトル抽出部１３１は、各種局所特徴ベクトルについてベクトル量子化し、重み付けマップに基づいて積算することにより、ビジュアルワードヒストグラムを作成するが（ステップＳ３０９）、ヒストグラム投票の際、ＢｏＦ特徴の抽出座標によって、ステップＳ３０８で作成した重み付けの投票を行う。続いて、ＢｏＦ特徴量ベクトル抽出部１３１は、各ＢｏＦ特徴ベクトルであるビジュアルワードヒストグラムの大きさを揃えるためにＬ２ノルム正規化処理を実行する（ステップＳ３１０）。 Next, the BoF feature quantity vector extraction unit 131 vector-quantizes various local feature vectors and integrates them based on a weighting map to create a visual word histogram (step S309). The weighted voting created in step S308 is performed based on the extracted coordinates. Subsequently, the BoF feature quantity vector extraction unit 131 executes L2 norm normalization processing in order to align the sizes of the visual word histograms that are BoF feature vectors (step S310).
以上の処理（Ｓ３０１〜Ｓ３１０）は、局所特徴＃１〜＃５分のＢｏＦ特徴ベクトルの抽出が終了するまで全画像繰り返し実行され（ステップＳ３１１“ＹＥＳ”）、最後に、ＢｏＦ特徴ベクトル連結部１３２が、作成された５種類のＢｏＦ特徴ベクトルを連結して最終的な画像の特徴ベクトルとする。ＢｏＦ特徴ベクトル連結部１３２は、必要に応じて各ＢｏＦ特徴ベクトルに重み付けを付して連結することもある。 The above processing (S301 to S310) is repeatedly executed for all images until the extraction of BoF feature vectors for local features # 1 to # 5 is completed (step S311 “YES”). Finally, the BoF feature vector linking unit 132 is executed. However, the created five types of BoF feature vectors are connected to form a final image feature vector. The BoF feature vector connecting unit 132 may connect the BoF feature vectors with weighting as necessary.
なお、検索手段１４は、生成されたビジュアルワード辞書１６０（コードブック）を用いてＢｏＦ特徴ベクトル抽出による類似画像検索を行い表示装置４０へ出力する。類似画像検索にあたっては、ベクトル間距離算出部１４１において、第１撮像画像の局所特徴ベクトルと第２撮像画像の局所特徴ベクトルとの間のヒストグラム交差距離（ヒストグラムインタセクション）を求め、ヒストグラム間の類似度を判定する。 The search means 14 performs a similar image search by BoF feature vector extraction using the generated visual word dictionary 160 (code book) and outputs the similar image to the display device 40. In the similar image search, the inter-vector distance calculation unit 141 obtains a histogram intersection distance (histogram intersection) between the local feature vector of the first captured image and the local feature vector of the second captured image, and the similarity between the histograms. Determine the degree.
（実施形態の効果）
以上説明のように本実施形態に係る診断支援装置１によれば、装置本体１０は、
病変に係る既知のダーモスコピー画像（第１撮影画像）に基づいて形成されるリファレンス画像について局所特徴ベクトルがベクトル量子化するためのビジュアルワードを含むコードブック（ビジュアルワード辞書１６０）を生成するコードブック生成部１２を備え、コードブック生成部が、第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトルをベクトル量子化する構成とした。
(Effect of embodiment)
As described above, according to the diagnosis support apparatus 1 according to the present embodiment, the apparatus main body 10 includes:
Codebook generation for generating a codebook (visual word dictionary 160) including a visual word for vector quantization of local feature vectors for a reference image formed based on a known dermoscopy image (first photographed image) relating to a lesion The code book generation unit is configured to vector-quantize a plurality of local feature vectors from a designated square area when the feature amount of the local feature vector of the first captured image is expressed.
このため、撮影画像であるダーモスコピー画像の画像特性を踏まえ、類似画像検索に適したヒストグラム形式の特徴ベクトル表現を得ることができ、したがって、例えば、疾患部の内側と外側境界のそれぞれについて、色の特徴、形状特徴の区別が容易であり、画像検索に要求される仕様を満足した診断支援装置１を提供することができる。 For this reason, based on the image characteristics of the dermoscopy image that is the captured image, it is possible to obtain a histogram-like feature vector representation suitable for similar image search.Therefore, for example, for each of the inner and outer boundaries of the diseased part, It is easy to distinguish between features and shape features, and the diagnosis support apparatus 1 that satisfies the specifications required for image search can be provided.
また、本実施形態に係る診断支援装置１によれば、円形あるいは楕円領域から特徴抽出を行っているため、撮像が回転しても抽出領域のサイズに変化がなく、抽出領域サイズの安定性（撮像回転に対する不変性）についても要求仕様を満足する診断支援装置１を提供することができる。又、中央領域のみからの特徴抽出を行うことにより、疾患部内部のみに注目した特徴を取り出すことが可能となる。また、特徴ベクトルは、ヒストグラム表現であるため、ヒストグラム間の類似度を、ベクトル間距離としてヒストグラム交差距離（ヒストグラムインタセクション）を計算することにより、その計算を高速に行うことができる。 In addition, according to the diagnosis support apparatus 1 according to the present embodiment, since feature extraction is performed from a circular or elliptical area, the size of the extraction area does not change even when imaging is rotated, and the stability of the extraction area size ( It is possible to provide the diagnosis support apparatus 1 that satisfies the required specifications for the invariance to imaging rotation. In addition, by extracting features from only the central region, it is possible to extract features focused only on the inside of the diseased part. Since the feature vector is a histogram expression, the histogram intersection distance (histogram intersection) can be calculated at high speed by calculating the histogram intersection distance using the similarity between the histograms as the inter-vector distance.
さらに、ユーザ（医師）の領域選択に対応した特徴ベクトルの抽出が行えるため、使い勝手の良い診断支援装置１を提供することができる。又、ダーモスコピー画像の分類上の重要点、色、テクスチャ、全体構図のそれぞれについて、医師の思いにしたがう重み付けチューニングが可能になり、一層使い勝手の良い診断支援装置１を提供することができる。 Furthermore, since the feature vector corresponding to the user (doctor) region selection can be extracted, the user-friendly diagnosis support apparatus 1 can be provided. In addition, weighting tuning according to the doctor's wishes can be made for each of the important points in classification of dermoscopy images, color, texture, and overall composition, and the diagnostic support apparatus 1 that is more convenient to use can be provided.
なお、上記した本実施形態に係る診断支援装置１は、局所特徴ベクトルはＢｏＦ特徴ベクトルであるとして説明したが、他に、量子化残差の和を用いるＶＬＡＤ（Ｖｅｃｔｏｒ ｏｆ Ｌｏｃａｌｌｙ Ａｇｇｒｅｇａｔｅｄ Ｄｅｓｃｒｉｐｔｉｏｎ）としてもよい。 Note that the diagnosis support apparatus 1 according to the present embodiment has been described on the assumption that the local feature vector is a BoF feature vector, but in addition, a VLAD (Vector of Locally Aggregated Description) that uses the sum of quantization residuals is also used. Good.
また、本実施形態に係る診断支援装置１は、図１に示すスタンドアロン構成で説明したが、例えば、装置本体１０をサーバで実現し、入力装置３０と表示装置４０をサーバにＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）網等のネットワーク経由で接続される端末で実現し、サーバが、端末から検索クエリを受信することによりコードブックを参照して局所特徴ベクトルを抽出し、クエリ画像に類似する候補を検索して要求のあった端末に出力するクライアントサーバシステムで実現してもよい。 Further, the diagnosis support apparatus 1 according to the present embodiment has been described with the stand-alone configuration illustrated in FIG. 1. For example, the apparatus body 10 is realized by a server, and the input device 30 and the display device 40 are used as a server. Realized by a terminal connected via a network such as a network, the server receives a search query from the terminal, extracts a local feature vector by referring to the code book, and searches for and requests a candidate similar to the query image It may be realized by a client-server system that outputs to a terminal having a problem.
なお、本実施形態に係る画像処理方法は、例えば、図１に示すように、撮影画像から病変を診断するための診断支援装置１における画像処理方法である。そして、その方法は、病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのコードブックを生成するステップ（Ａ）と、病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出するステップ（Ｂ）と、を備え、前記局所特徴ベクトルを抽出するステップ（Ｂ）が、前記第２撮影画像の局所特徴ベクトルの特徴量表現において円又は楕円で囲まれた特徴抽出有効領域を設定し、前記特徴抽出有効領域の中心を中心としてクロップされた正方形領域から複数の局所特徴ベクトルをベクトル量子化してヒストグラム積算した局所特徴ベクトルを得ることを特徴とする。 Note that the image processing method according to the present embodiment is an image processing method in the diagnosis support apparatus 1 for diagnosing a lesion from a captured image, for example, as shown in FIG. Then, the method includes a step (A) of generating a code book for vector quantization of a local feature vector for a reference image formed based on a known first captured image related to a lesion, and an unknown related to the lesion (B) extracting a local feature vector for a query image formed based on the second photographed image, and (B) extracting the local feature vector includes a local feature vector of the second photographed image. A feature extraction effective region surrounded by a circle or an ellipse is set in the feature amount representation of the region, and a plurality of local feature vectors are vector-quantized from a square region cropped around the center of the feature extraction effective region, and a histogram is integrated. A feature vector is obtained.
ここで、（Ａ）は、例えば、図２に示すフローチャートに示すＳ２０１〜Ｓ２０７の各ステップをいい、（Ｂ）は、例えば、図３に示すフローチャートのＳ３０１〜Ｓ３１２の各ステップをいう。 Here, (A) means, for example, each step of S201 to S207 shown in the flowchart shown in FIG. 2, and (B) means, for example, each step of S301 to S312 in the flowchart shown in FIG.
また、本実施形態に係る画像処理方法のコードブックを生成するステップ（Ａ）において、前記コードブックが、入力された前記第１撮影画像を正方形にクロップして所定のサイズにリサイズするステップ（Ａ１）と、リサイズされた正方形画像からＲＧＢ画素値及びＳＩＦＴ特徴量を一定画素間隔で取得してクラスタリング対象のデータ群に登録するステップ（Ａ２）と、保持している全ての前記第１撮影画像についてクラスタリング対象のデータ群とし、登録された全局所特徴ベクトルをクラスタリングするステップ（Ａ３）と、得られた各クラスタの中心値を前記コードブックに登録し、ＲＧＢ画素値及びＳＩＦＴ特徴量の作成が終わるまで繰り返することにより得るステップ（Ａ４）と、を備えてもよい。 Further, in the step (A) of generating the code book of the image processing method according to the present embodiment, the code book crops the input first photographed image into a square and resizes it to a predetermined size (A1). ), Acquiring the RGB pixel values and SIFT feature values from the resized square image at regular pixel intervals and registering them in the data group to be clustered (A2), and all the first captured images held Clustering all registered local feature vectors as a data group to be clustered (A3), and registering the obtained center value of each cluster in the code book, finishing the creation of RGB pixel values and SIFT feature values Step (A4) obtained by repeating the above.
ここで、（Ａ１）は、図２中のＳ２０２、（Ａ２）は、図２中のＳ２０３、（Ａ３）は、図２中のＳ２０５、Ａ４は、図２中のＳ２０６、におけるそれぞれのステップをいう。 Here, (A1) is the step in S202 in FIG. 2, (A2) is the step in S203 in FIG. 2, (A3) is the step in S205 in FIG. 2, and A4 is the step in S206 in FIG. Say.
また、本実施形態の画像処理方法のステップ（Ｂ）において、前記局所特徴ベクトルが、局所特徴ベクトル群を抽出するステップ（Ｂ１）と、前記コードブックにしたがい抽出した前記局所特徴ベクトル群をベクトル数分量子化するステップ（Ｂ２）と、量子化した複数の値を統計処理するステップ（Ｂ３）と、を備えてもよい。ここで、（Ｂ１）〜（Ｂ３）は、図３中、Ｓ３０９で示すステップをいう。 Further, in step (B) of the image processing method of the present embodiment, the local feature vector extracts a local feature vector group (B1), and the local feature vector group extracted according to the codebook is the number of vectors. There may be provided a step (B2) of performing quantization and a step (B3) of statistically processing a plurality of quantized values. Here, (B1) to (B3) are steps indicated by S309 in FIG.
本実施形態に係る画像処理方法によれば、疾患部の内側と外側境界のそれぞれについて、色の特徴、形状特徴の区別が容易で、かつ、高速画像検索のための計算コストを低減することができる。このため、一般的な画像特徴量表現をそのまま適用しても画像検索時に要求される仕様を満足することができる。 According to the image processing method according to the present embodiment, color features and shape features can be easily distinguished for the inner and outer boundaries of the diseased part, and the calculation cost for high-speed image search can be reduced. it can. For this reason, even if a general image feature amount expression is applied as it is, specifications required at the time of image search can be satisfied.
なお、本実施形態に係るプログラムは、例えば、図１に示すように、撮影画像から病変を診断するための診断支援装置１における画像処理方法のプログラムである。そしてそのプログラムは、コンピュータ（装置本体１０）に、上記した本実施形態に係る画像処理方法における各ステップと同様の処理を実行させるものであり、重複を回避する意味で各処理の説明を省略する。 Note that the program according to the present embodiment is, for example, a program for an image processing method in the diagnosis support apparatus 1 for diagnosing a lesion from a captured image, as shown in FIG. The program causes the computer (device main body 10) to execute the same processing as each step in the above-described image processing method according to the present embodiment, and the description of each processing is omitted to avoid duplication. .
本実施形態に係るプログラムによれば、装置本体１０が、上記した本実施形態に係るプログラムを読み出し実行することにより、疾患部の内側と外側境界のそれぞれについて、色の特徴、形状特徴の区別が容易で、かつ、高速画像検索のための計算コストを低減する診断支援装置１を提供することができる。このため、一般的な画像特徴量表現をそのまま適用しても画像検索時に要求される仕様を満足することができる。なお、本実施形態に係るプログラムは、装置本体１０内の図示省略したプログラムメモリに記憶される。 According to the program according to the present embodiment, the apparatus main body 10 reads and executes the program according to the present embodiment, so that the color feature and the shape feature can be distinguished for each of the inner side and the outer boundary of the diseased part. It is possible to provide the diagnosis support apparatus 1 that is easy and reduces the calculation cost for high-speed image retrieval. For this reason, even if a general image feature amount expression is applied as it is, specifications required at the time of image search can be satisfied. The program according to the present embodiment is stored in a program memory (not shown) in the apparatus main body 10.
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。またその様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, it cannot be overemphasized that the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above embodiment. Further, it is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
［請求項１］
撮影画像から病変を診断するための診断支援装置であって、
病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのビジュアルワードを含むコードブックを生成するコードブック生成部を備え、
前記コードブック生成部が、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする診断支援装置。
［請求項２］
病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出する処理部をさらに備え、
前記処理部が、前記第２撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする請求項１に記載の診断支援装置。
［請求項３］
前記正方形領域がクロップされることを特徴とする請求項１又は２に記載の診断支援装置。
［請求項４］
前記正方形領域が、円又は楕円で囲まれて設定された特徴抽出有効領域の中心を中心としてクロップされることを特徴とする請求項３に記載の診断支援装置。
［請求項５］
前記局所特徴ベクトルの特徴量が、ベクトル量子化された複数の値の統計処理を行った統計量ベクトルによって得られることを特徴とする請求項１から４のいずれか１項に記載の診断支援装置。
［請求項６］
前記コードブックが、入力された第１撮像画像を正方形にクロップして所定のサイズにリサイズし、リサイズされた正方形画像から色空間画素値及び局所勾配特徴量を一定画素間隔で取得してクラスタリング対象のデータ群に登録し、保持している全ての前記第１撮影画像についてクラスタリング対象のデータ群とし、登録された全ての局所特徴ベクトルをクラスタリングし、得られた各クラスタの中心値を前記コードブックに登録し、色空間画素値及び局所勾配特徴量の作成が終わるまで繰り返すことによって得られることを特徴とする請求項１に記載の診断支援装置。
［請求項７］
前記局所特徴ベクトルが５つの局所特徴に係るベクトルを含み、前記特徴抽出有効領域を中央と全体に区分したとき、第１局所特徴が色中央特徴、第２局所特徴が色全体特徴、第３局所特徴が形状中央特徴、第４局所特徴が形状全体特徴、及び第５局所特徴が全体構図特徴であることを特徴とする請求項１又は６に記載の診断支援装置。
［請求項８］
前記局所特徴ベクトルが、局所特徴ベクトル群を抽出し、前記コードブックにしたがい抽出した前記局所特徴ベクトル群をベクトル数分量子化後、量子化した複数の値をヒストグラム積算処理したものであることを特徴とする請求項１、６及び７のいずれか１項に記載の診断支援装置。
［請求項９］
前記第１撮像画像と前記第２撮像画像の類似画像検索を行うベクトル間距離算出部を含む検索手段をさらに備え、前記ベクトル間距離算出部が、前記第１撮像画像の局所特徴ベクトルと前記第２撮像画像の局所特徴ベクトルとの間のヒストグラム交差距離を求め、ヒストグラム間の類似度を判定することを特徴とする請求項８に記載の診断支援装置。
［請求項１０］
撮影画像から病変を診断するための診断支援装置における画像処理方法であって、
病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのコードブックを生成するステップ（Ａ）を備え、
前記ステップ（Ａ）において、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする画像処理方法。
［請求項１１］
病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出するステップ（Ｂ）をさらに備え、
前記ステップ（Ｂ）において、前記第２撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする請求項１０に記載の画像処理方法。
［請求項１２］
撮影画像から病変を診断するための診断支援装置における画像処理方法のプログラムであって、
コンンピュータに、
病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのコードブックを生成する処理（Ａ）を備え、
前記処理（Ａ）において、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化する処理を含むことを特徴とするプログラム。
［請求項１３］
病変に係る未知の第２撮影画像に基づいて形成されるクエリ画像について局所特徴ベクトルを抽出する処理（Ｂ）をさらに備え、
前記処理（Ｂ）において、前記第２撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする請求項１２に記載のプログラム。
The invention described in the scope of claims attached to the application of this application will be added below. The item numbers of the claims described in the appendix are as set forth in the claims attached to the application of this application.
[Claim 1]
A diagnosis support apparatus for diagnosing a lesion from a captured image,
A code book generating unit that generates a code book including a visual word for vector quantization of a local feature vector for a reference image formed based on a known first captured image related to a lesion;
A diagnostic support apparatus, wherein the codebook generation unit vector-quantizes a plurality of local feature vector groups from a designated square area when expressing the feature amount of the local feature vector of the first captured image.
[Claim 2]
A processing unit that extracts a local feature vector for a query image formed based on an unknown second captured image related to a lesion;
2. The method according to claim 1, wherein the processing unit vector-quantizes a plurality of local feature vector groups from a designated square region when expressing a feature amount of a local feature vector of the second captured image. Diagnosis support device.
[Claim 3]
The diagnosis support apparatus according to claim 1, wherein the square area is cropped.
[Claim 4]
The diagnosis support apparatus according to claim 3, wherein the square area is cropped around the center of the feature extraction effective area set by being surrounded by a circle or an ellipse.
[Claim 5]
5. The diagnosis support apparatus according to claim 1, wherein the feature quantity of the local feature vector is obtained by a statistic vector obtained by performing statistical processing on a plurality of values subjected to vector quantization. .
[Claim 6]
The codebook crops the input first captured image into a square, resizes it to a predetermined size, and acquires color space pixel values and local gradient feature quantities from the resized square image at regular pixel intervals. All the first photographed images registered and held in the data group are set as a clustering target data group, all the registered local feature vectors are clustered, and the obtained center value of each cluster is the codebook. The diagnosis support apparatus according to claim 1, wherein the diagnosis support apparatus is obtained by repeating registration until the creation of the color space pixel value and the local gradient feature amount is completed.
[Claim 7]
When the local feature vector includes vectors related to five local features, and the feature extraction effective area is divided into the center and the whole, the first local feature is the color center feature, the second local feature is the whole color feature, and the third local The diagnosis support apparatus according to claim 1, wherein the feature is a shape center feature, the fourth local feature is an overall shape feature, and the fifth local feature is an overall composition feature.
[Claim 8]
The local feature vector is obtained by extracting a local feature vector group, quantizing the extracted local feature vector group by the number of vectors according to the code book, and then performing a histogram integration process on a plurality of quantized values. The diagnosis support apparatus according to any one of claims 1, 6, and 7.
[Claim 9]
The image processing apparatus further includes search means including an inter-vector distance calculation unit that performs a similar image search between the first captured image and the second captured image, and the inter-vector distance calculation unit includes the local feature vector of the first captured image and the first feature image. The diagnosis support apparatus according to claim 8, wherein a histogram intersection distance between two captured image local feature vectors is obtained, and similarity between the histograms is determined.
[Claim 10]
An image processing method in a diagnosis support apparatus for diagnosing a lesion from a captured image,
(A) generating a code book for vector quantization of a local feature vector for a reference image formed based on a known first captured image related to a lesion;
In the step (A), when expressing the feature amount of the local feature vector of the first photographed image, a plurality of local feature vector groups are vector-quantized from a designated square region.
[Claim 11]
A step (B) of extracting a local feature vector for a query image formed based on an unknown second captured image related to a lesion;
11. The method of claim 10, wherein, in the step (B), when expressing the feature amount of the local feature vector of the second captured image, a plurality of local feature vector groups are vector-quantized from the designated square area. The image processing method as described.
[Claim 12]
A program for an image processing method in a diagnosis support apparatus for diagnosing a lesion from a captured image,
On the computer,
A process (A) for generating a codebook for vector quantization of a local feature vector for a reference image formed based on a known first captured image related to a lesion;
In the process (A), the program includes a process of vector quantization of a plurality of local feature vector groups from a designated square region when expressing the feature quantity of the local feature vector of the first captured image. .
[Claim 13]
Further comprising a process (B) of extracting a local feature vector for a query image formed based on an unknown second captured image related to a lesion;
13. In the process (B), when expressing a feature amount of a local feature vector of the second photographed image, a plurality of local feature vector groups are vector-quantized from a designated square region. The listed program.
１…診断支援装置、１０…装置本体、１１…撮影画像取得部、１２…コードブック生成部、１３…処理部、１４…検索手段、１５…画像記憶部、１６…辞書記憶部、２０…ダーモスコープ付撮影装置、３０…入力装置、４０…表示装置、１２１…ＲＧＢ画素値／ＢｏＦ特徴量取得部、１２２…クラスタリング処理部、１２３…コードブック登録部、１３１…ＢｏＦ特徴量ベクトル抽出部、１３２…ＢｏＦ特徴ベクトル連結部、１４１…ベクトル間距離算出部、１６０…ビジュアルワード辞書
DESCRIPTION OF SYMBOLS 1 ... Diagnosis support apparatus, 10 ... Apparatus main body, 11 ... Captured image acquisition part, 12 ... Code book production | generation part, 13 ... Processing part, 14 ... Search means, 15 ... Image storage part, 16 ... Dictionary storage part, 20 ... Dermoscope Included photographing apparatus, 30 ... input device, 40 ... display device, 121 ... RGB pixel value / BoF feature quantity acquisition unit, 122 ... clustering processing unit, 123 ... codebook registration unit, 131 ... BoF feature quantity vector extraction unit, 132 ... BoF feature vector concatenation unit, 141... Vector distance calculation unit, 160... Visual word dictionary
Claims (13)
病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのビジュアルワードを含むコードブックを生成するコードブック生成部を備え、
前記コードブック生成部が、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする診断支援装置。 A diagnosis support apparatus for diagnosing a lesion from a captured image,
A code book generating unit that generates a code book including a visual word for vector quantization of a local feature vector for a reference image formed based on a known first captured image related to a lesion;
A diagnostic support apparatus, wherein the codebook generation unit vector-quantizes a plurality of local feature vector groups from a designated square area when expressing the feature amount of the local feature vector of the first captured image.
前記処理部が、前記第２撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする請求項１に記載の診断支援装置。 A processing unit that extracts a local feature vector for a query image formed based on an unknown second captured image related to a lesion;
2. The method according to claim 1, wherein the processing unit vector-quantizes a plurality of local feature vector groups from a designated square region when expressing a feature amount of a local feature vector of the second captured image. Diagnosis support device.
病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのコードブックを生成するステップ（Ａ）を備え、
前記ステップ（Ａ）において、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする画像処理方法。 An image processing method in a diagnosis support apparatus for diagnosing a lesion from a captured image,
(A) generating a code book for vector quantization of a local feature vector for a reference image formed based on a known first captured image related to a lesion;
In the step (A), when expressing the feature amount of the local feature vector of the first photographed image, a plurality of local feature vector groups are vector-quantized from a designated square region.
前記ステップ（Ｂ）において、前記第２撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする請求項１０に記載の画像処理方法。 A step (B) of extracting a local feature vector for a query image formed based on an unknown second captured image related to a lesion;
11. The method of claim 10, wherein, in the step (B), when expressing the feature amount of the local feature vector of the second captured image, a plurality of local feature vector groups are vector-quantized from the designated square area. The image processing method as described.
コンンピュータに、
病変に係る既知の第１撮影画像に基づいて形成されるリファレンス画像について局所特徴ベクトルをベクトル量子化するためのコードブックを生成する処理（Ａ）を備え、
前記処理（Ａ）において、前記第１撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化する処理を含むことを特徴とするプログラム。 A program for an image processing method in a diagnosis support apparatus for diagnosing a lesion from a captured image,
On the computer,
A process (A) for generating a codebook for vector quantization of a local feature vector for a reference image formed based on a known first captured image related to a lesion;
In the process (A), the program includes a process of vector quantization of a plurality of local feature vector groups from a designated square region when expressing the feature quantity of the local feature vector of the first captured image. .
前記処理（Ｂ）において、前記第２撮影画像の局所特徴ベクトルの特徴量を表現する際、指定された正方形領域から複数の局所特徴ベクトル群をベクトル量子化することを特徴とする請求項１２に記載のプログラム。 Further comprising a process (B) of extracting a local feature vector for a query image formed based on an unknown second captured image related to a lesion;
13. In the process (B), when expressing a feature amount of a local feature vector of the second photographed image, a plurality of local feature vector groups are vector-quantized from a designated square region. The listed program.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016186994A JP6702118B2 (en) | 2016-09-26 | 2016-09-26 | Diagnosis support device, image processing method in the diagnosis support device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016186994A JP6702118B2 (en) | 2016-09-26 | 2016-09-26 | Diagnosis support device, image processing method in the diagnosis support device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018050671A true JP2018050671A (en) | 2018-04-05 |
| JP6702118B2 JP6702118B2 (en) | 2020-05-27 |
Family
ID=61833597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016186994A Active JP6702118B2 (en) | 2016-09-26 | 2016-09-26 | Diagnosis support device, image processing method in the diagnosis support device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6702118B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020256011A1 (en) * | 2019-06-19 | 2020-12-24 | 国立大学法人東京大学 | Image extraction device, image extraction system, image extraction method, and image extraction program |
| JP6935663B1 (en) * | 2021-02-08 | 2021-09-15 | 国立大学法人九州工業大学 | Oral mucosal disease diagnosis support system, method and program |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000155840A (en) * | 1998-11-18 | 2000-06-06 | Olympus Optical Co Ltd | Image processing method |
| JP2004139596A (en) * | 2002-10-15 | 2004-05-13 | Samsung Electronics Co Ltd | Feature vector extraction method for face recognition and search, and its device |
| JP2006012130A (en) * | 2004-05-17 | 2006-01-12 | Mitsubishi Electric Information Technology Centre Europa Bv | Method for expressing image, descriptor derived by use of the method, usage including any one of transmission, receiving and storage of descriptor or storage device of descriptor, method and apparatus or computer program for performing recognition, detection or classification of face, and computer-readable storage medium |
| JP2010017274A (en) * | 2008-07-09 | 2010-01-28 | Fuji Xerox Co Ltd | Image processor and image processing program |
| JP2010079398A (en) * | 2008-09-24 | 2010-04-08 | Fuji Xerox Co Ltd | Similar image providing device and program |
| JP2014029644A (en) * | 2012-07-31 | 2014-02-13 | Panasonic Corp | Similar case retrieval device and similar case retrieval method |
| US20140200452A1 (en) * | 2013-01-15 | 2014-07-17 | Samsung Electronics Co., Ltd. | User interaction based image segmentation apparatus and method |
| US20150003701A1 (en) * | 2011-09-16 | 2015-01-01 | Technische Universitat Berlin | Method and System for the Automatic Analysis of an Image of a Biological Sample |
| US20150125052A1 (en) * | 2012-06-05 | 2015-05-07 | Agency For Science, Technology And Research | Drusen lesion image detection system |
| US20150265144A1 (en) * | 2012-11-08 | 2015-09-24 | The Johns Hopkins University | System and method for detecting and classifying severity of retinal disease |
| US20150363672A1 (en) * | 2010-06-28 | 2015-12-17 | Ramot At Tel-Aviv University Ltd. | Method and system of classifying medical images |
| US20160078283A1 (en) * | 2014-09-16 | 2016-03-17 | Samsung Electronics Co., Ltd. | Method of extracting feature of input image based on example pyramid, and facial recognition apparatus |
| WO2016140693A1 (en) * | 2015-03-02 | 2016-09-09 | Siemens Aktiengesellschaft | Classification of cellular images and videos |
-
2016
- 2016-09-26 JP JP2016186994A patent/JP6702118B2/en active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000155840A (en) * | 1998-11-18 | 2000-06-06 | Olympus Optical Co Ltd | Image processing method |
| JP2004139596A (en) * | 2002-10-15 | 2004-05-13 | Samsung Electronics Co Ltd | Feature vector extraction method for face recognition and search, and its device |
| JP2006012130A (en) * | 2004-05-17 | 2006-01-12 | Mitsubishi Electric Information Technology Centre Europa Bv | Method for expressing image, descriptor derived by use of the method, usage including any one of transmission, receiving and storage of descriptor or storage device of descriptor, method and apparatus or computer program for performing recognition, detection or classification of face, and computer-readable storage medium |
| JP2010017274A (en) * | 2008-07-09 | 2010-01-28 | Fuji Xerox Co Ltd | Image processor and image processing program |
| JP2010079398A (en) * | 2008-09-24 | 2010-04-08 | Fuji Xerox Co Ltd | Similar image providing device and program |
| US20150363672A1 (en) * | 2010-06-28 | 2015-12-17 | Ramot At Tel-Aviv University Ltd. | Method and system of classifying medical images |
| US20150003701A1 (en) * | 2011-09-16 | 2015-01-01 | Technische Universitat Berlin | Method and System for the Automatic Analysis of an Image of a Biological Sample |
| US20150125052A1 (en) * | 2012-06-05 | 2015-05-07 | Agency For Science, Technology And Research | Drusen lesion image detection system |
| JP2014029644A (en) * | 2012-07-31 | 2014-02-13 | Panasonic Corp | Similar case retrieval device and similar case retrieval method |
| US20150265144A1 (en) * | 2012-11-08 | 2015-09-24 | The Johns Hopkins University | System and method for detecting and classifying severity of retinal disease |
| US20140200452A1 (en) * | 2013-01-15 | 2014-07-17 | Samsung Electronics Co., Ltd. | User interaction based image segmentation apparatus and method |
| US20160078283A1 (en) * | 2014-09-16 | 2016-03-17 | Samsung Electronics Co., Ltd. | Method of extracting feature of input image based on example pyramid, and facial recognition apparatus |
| WO2016140693A1 (en) * | 2015-03-02 | 2016-09-09 | Siemens Aktiengesellschaft | Classification of cellular images and videos |
Non-Patent Citations (1)
| Title |
|---|
| 前 孝宏 外３名: ""相関拘束条件に基づく画像照合の高速アルゴリズム"", 電子情報通信学会技術研究報告, vol. 第１０１巻，第５２４号, JPN6019040254, 13 December 2001 (2001-12-13), JP, pages 139 - 146, ISSN: 0004204088 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020256011A1 (en) * | 2019-06-19 | 2020-12-24 | 国立大学法人東京大学 | Image extraction device, image extraction system, image extraction method, and image extraction program |
| JP7385241B2 (en) | 2019-06-19 | 2023-11-22 | 国立大学法人 東京大学 | Image extraction device, image extraction system, image extraction method, and image extraction program |
| JP6935663B1 (en) * | 2021-02-08 | 2021-09-15 | 国立大学法人九州工業大学 | Oral mucosal disease diagnosis support system, method and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6702118B2 (en) | 2020-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Oliveira et al. | Computational methods for pigmented skin lesion classification in images: review and future trends | |
| US10499845B2 (en) | Method and device for analysing an image | |
| US8861799B2 (en) | Computationally efficient feature extraction and matching iris recognition | |
| Neal et al. | Measuring shape | |
| CN107958453B (en) | Method and device for detecting lesion region of mammary gland image and computer storage medium | |
| Casanova et al. | Texture analysis using fractal descriptors estimated by the mutual interference of color channels | |
| JP6410450B2 (en) | Object identification device, object identification method, and program | |
| Linsangan et al. | Skin cancer detection and classification for moles using k-nearest neighbor algorithm | |
| George et al. | Automatic psoriasis lesion segmentation in two-dimensional skin images using multiscale superpixel clustering | |
| Murugappan et al. | Texture based medical image classification by using multi-scale Gabor rotation-invariant local binary pattern (MGRLBP) | |
| JP6702118B2 (en) | Diagnosis support device, image processing method in the diagnosis support device, and program | |
| Unay et al. | Medical image search and retrieval using local binary patterns and KLT feature points | |
| CN113781387A (en) | Model training method, image processing method, device, equipment and storage medium | |
| Mani et al. | Design of a novel shape signature by farthest point angle for object recognition | |
| CN114998980B (en) | Iris detection method and device, electronic equipment and storage medium | |
| Vig et al. | Saliency-based selection of sparse descriptors for action recognition | |
| Bathina et al. | Robust matching of multi-modal retinal images using radon transform based local descriptor | |
| CN109063208A (en) | A kind of medical image search method merging various features information | |
| JP5791361B2 (en) | PATTERN IDENTIFICATION DEVICE, PATTERN IDENTIFICATION METHOD, AND PROGRAM | |
| Estrada et al. | Appearance-based keypoint clustering | |
| CN114360695A (en) | Mammary gland ultrasonic scanning analysis auxiliary system, medium and equipment | |
| JP6950376B2 (en) | Image processing device, training image processing device, image identification device, training image processing method, image identification method, and program | |
| Zhdanova et al. | Gastric polyps detection based on endoscopic video using modified dense micro-block difference descriptor | |
| JP6662246B2 (en) | Diagnosis support device, image processing method in diagnosis support device, and program | |
| Rangrej et al. | Assistive lesion-emphasis system: an assistive system for fundus image readers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181207 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20181207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190925 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191128 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200317 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6702118 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |