JP2018116376A - Image processor and image processing method - Google Patents
Image processor and image processing method Download PDFInfo
- Publication number
- JP2018116376A JP2018116376A JP2017005444A JP2017005444A JP2018116376A JP 2018116376 A JP2018116376 A JP 2018116376A JP 2017005444 A JP2017005444 A JP 2017005444A JP 2017005444 A JP2017005444 A JP 2017005444A JP 2018116376 A JP2018116376 A JP 2018116376A
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- processing
- unit
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 3
- 238000012545 processing Methods 0.000 claims abstract description 201
- 238000000034 method Methods 0.000 claims abstract description 110
- 238000004458 analytical method Methods 0.000 claims abstract description 107
- 238000003860 storage Methods 0.000 claims abstract description 26
- 238000007619 statistical method Methods 0.000 claims description 27
- 239000000284 extract Substances 0.000 claims description 19
- 238000000605 extraction Methods 0.000 claims description 18
- 238000010923 batch production Methods 0.000 claims description 2
- 238000010801 machine learning Methods 0.000 abstract description 5
- 210000004027 cell Anatomy 0.000 description 21
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000003703 image analysis method Methods 0.000 description 4
- 210000001519 tissue Anatomy 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102000029749 Microtubule Human genes 0.000 description 1
- 108091022875 Microtubule Proteins 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 210000003855 cell nucleus Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 210000000349 chromosome Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 238000001962 electrophoresis Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 210000004688 microtubule Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000004895 subcellular structure Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像処理に用いられる画像処理装置、画像処理方法、画像処理プログラム、画像分類装置、及び画像解析支援装置に関するものである。 The present invention relates to an image processing device, an image processing method, an image processing program, an image classification device, and an image analysis support device used for image processing.
生命科学の医療や製薬分野の開発における顕微鏡画像、医療施設のＭＲＩ（磁気共鳴画像装置）まであらゆるシーンで画像が利用されている。近年では約９割の論文に画像が用いられ、明視野顕微鏡、蛍光顕微鏡、電気泳動の画像がそれぞれ４〜５割ほど用いられている。昨今、電子顕微鏡などの撮像装置の高度化が進み、１秒間に何千枚もの画像が撮影できるようになった。また、近年の技術の進歩に伴い、画像解析方法及び画像分類方法も急速に多様化している。しかし、その一方で研究者は膨大な画像処理に相当の時間を費やす必要が生じ、さらにその処理には相当な知識量及び経験値を要し、その個人の能力に依存しているという問題もあった。 Images are used in every scene from microscopic images in life science medicine and pharmaceutical field development to MRI (magnetic resonance imaging apparatus) in medical facilities. In recent years, images are used in about 90% of papers, and images of bright field microscope, fluorescence microscope, and electrophoresis are used by about 40 to 50%, respectively. In recent years, imaging devices such as electron microscopes have been advanced, and thousands of images can be taken per second. In addition, with recent technological advances, image analysis methods and image classification methods are also diversifying rapidly. On the other hand, however, there is a problem that researchers need to spend a considerable amount of time on image processing, and that the processing requires a considerable amount of knowledge and experience and depends on the individual's ability. there were.
このような問題を鑑み開発された技術として、例えば特許文献１に提案される技術がある。当該特許文献１では、予め学習させたニューラルネットワークを用いて画像内の細胞の分類や解析を行なう。 As a technique developed in view of such a problem, there is a technique proposed in Patent Document 1, for example. In Patent Document 1, classification and analysis of cells in an image are performed using a neural network learned in advance.
しかしながら、特許文献１に記載の細胞分類装置においては予め学習させたニューラルネットワークを用いるため、近年の技術の進歩に伴う画像解析方法及び画像分類方法の急速な多様化に対応できるものではなかった。また、従来の細胞分析装置においては、ユーザが画像の解析及び分類を行うには、高い個人の能力、例えば相当な知識量又は経験値を必要としていた。 However, since the cell classification device described in Patent Document 1 uses a neural network that has been learned in advance, it has not been able to cope with rapid diversification of image analysis methods and image classification methods that accompany recent technological advances. Moreover, in the conventional cell analysis apparatus, in order for a user to analyze and classify an image, a high individual ability, for example, a considerable knowledge amount or experience value is required.
本発明はこのような事情に鑑みてなされたものであり、その目的は、相当な知識量又は経験値を有さない人が画像の解析及び分類をする場合に、それを支援し、さらにいわゆる機械学習を活用することで多種多様な画像処理及び分類にも対応することが可能な画像処理装置を提供するものである。 The present invention has been made in view of such circumstances, and the object thereof is to support a person who does not have a considerable knowledge amount or experience value when analyzing and classifying an image, and further so-called An object of the present invention is to provide an image processing apparatus that can deal with a wide variety of image processing and classification by utilizing machine learning.
本発明の一実施形態の画像処理装置は、解析対象画像を入力する入力部を備え、画像処理部において前記入力部に入力された前記解析対象画像に対し処理を行い、前記処理を施した解析結果画像と複数の前記処理の組み合わせである処理過程を出力する。前記解析対象画像と前記処理過程は記憶部に記憶され、前記記憶部から出力された前記処理過程によって複数の処理対象画像は一括で処理される。さらに、学習部では前記解析対象画像を学習画像データとして、前記処理過程を学習処理過程データとして学習し、前記学習画像データと前記学習処理過程データを画像処理部に提供する。 An image processing apparatus according to an embodiment of the present invention includes an input unit that inputs an analysis target image. The image processing unit performs processing on the analysis target image input to the input unit, and performs the analysis. A process that is a combination of the result image and a plurality of the processes is output. The analysis target image and the processing process are stored in a storage unit, and a plurality of processing target images are collectively processed by the processing process output from the storage unit. Further, the learning unit learns the analysis target image as learning image data, the processing process as learning process process data, and provides the learning image data and the learning process process data to the image processing unit.
本発明によれば、学習部において学習された学習画像データと学習処理過程データに基づき、最適な処理過程を出力し、画像解析方法及び画像分類方法の急速な多様化に対応できるとともに、個人の能力を問わず適切な画像処理を行うことができる。 According to the present invention, based on the learning image data learned in the learning unit and the learning process data, an optimum process is output, which can cope with rapid diversification of the image analysis method and the image classification method. Appropriate image processing can be performed regardless of ability.
（第１の実施形態）
＜画像処理装置の構成＞
図１は本発明の第１の実施形態による画像処理装置の機能を示すブロック図である。
画像処理装置１００は入力部１０１と、画像処理部１０２と、記憶部１０３と、一括処理部１０４と、学習部１０５と、統計解析部１０６と、を備えている。当該画像処理装置１００は、バーチャルスライド等の組織・細胞画像取得装置内に実装しても良いし、組織・細胞画像取得装置とネットワークを介して接続されるサーバー内に実装しても良い。画像処理装置１００は、例えばディスプレイ、プリンタ等のデバイスである出力装置１０７に接続されている。
(First embodiment)
<Configuration of image processing apparatus>
FIG. 1 is a block diagram showing functions of the image processing apparatus according to the first embodiment of the present invention.
The image processing apparatus 100 includes an input unit 101, an image processing unit 102, a storage unit 103, a batch processing unit 104, a learning unit 105, and a statistical analysis unit 106. The image processing apparatus 100 may be mounted in a tissue / cell image acquisition apparatus such as a virtual slide, or may be mounted in a server connected to the tissue / cell image acquisition apparatus via a network. The image processing apparatus 100 is connected to an output device 107 that is a device such as a display or a printer.
画像処理装置１００における、入力部１０１、画像処理部１０２、記憶部１０３、一括処理部１０４、及び学習部１０５は、プログラムによって実現しても良いし、モジュール化して実現しても良い。また、以下においては、前記各処理部を動作主体として記述するが、ＣＰＵを動作主体とし、ＣＰＵがプログラムとしての各処理部を実行するように読み替えても良い。なお、前記各処理部はいわゆるクラウド上に置かれても良い。 The input unit 101, the image processing unit 102, the storage unit 103, the batch processing unit 104, and the learning unit 105 in the image processing apparatus 100 may be realized by a program or may be realized as a module. In the following description, each processing unit is described as an operation subject. However, it may be read so that the CPU is the operation subject and the CPU executes each processing unit as a program. Each processing unit may be placed on a so-called cloud.
入力部１０１には解析対象画像が入力される。解析対象画像は例えば、光学顕微鏡を用いて、細胞、細胞内構造、生物組織等の生物試料を撮像して得られる画像等であるが、顕微鏡にビルトインされたカメラ等の撮像手段が、所定時間間隔で撮像した、ＪＰＧ、Ｊｐｅｇ２０００、ＰＮＧ、TIFF形式等の符号化された静止画像データ等を取得して、その画像を解析対象画像としても良い。また、入力部１０１には、ＭｏｔｉｏｎＪＰＥＧ、ＭＰＥＧ、Ｈ．２６４、ＨＤ／ＳＤＩ形式等の動画像データから、所定間隔のフレームの静止画像データを抜き出して、その画像が解析対象画像として入力されても良い。更に、入力部１０１には、撮像手段がバスやネットワーク等を介して取得した画像が解析対象画像として入力されても良い。 An analysis target image is input to the input unit 101. The analysis target image is, for example, an image obtained by imaging a biological sample such as a cell, a subcellular structure, or a biological tissue using an optical microscope. An imaging unit such as a camera built in the microscope is used for a predetermined time. It is also possible to acquire encoded still image data such as JPG, Jpeg2000, PNG, TIFF format, etc., captured at intervals, and use that image as an analysis target image. The input unit 101 includes Motion JPEG, MPEG, H.264, and the like. It is also possible to extract still image data of frames at a predetermined interval from moving image data such as H.264, HD / SDI format, and input the image as an analysis target image. Furthermore, an image acquired by the imaging unit via a bus, a network, or the like may be input to the input unit 101 as an analysis target image.
画像処理部１０２は、入力部１０１に入力された解析対象画像から、複数の特徴量を抽出し、これに応じた最適な学習処理過程データを後述する学習部１０５から抽出する。さらに、画像処理部１０２は前記最適な学習処理過程データに基づき、入力部１０１に入力された解析対象画像に対し処理を行い、前記処理の組合せである解析結果画像を出力装置１０７に表示させる。また、画像処理部１０２は解析結果画像とユーザの任意の選択により決定した処理過程を記憶部１０３に出力する The image processing unit 102 extracts a plurality of feature amounts from the analysis target image input to the input unit 101, and extracts optimal learning process process data corresponding thereto from the learning unit 105 described later. Further, the image processing unit 102 performs processing on the analysis target image input to the input unit 101 based on the optimal learning process process data, and causes the output device 107 to display an analysis result image that is a combination of the processing. Further, the image processing unit 102 outputs the analysis result image and the processing process determined by the user's arbitrary selection to the storage unit 103.
記憶部１０３は、画像処理部１０２より出力された解析結果画像と処理過程をキャッシュメモリにより一時的に記憶する。 The storage unit 103 temporarily stores the analysis result image output from the image processing unit 102 and the processing process in a cache memory.
一括処理部１０４は、記憶部１０３に一時的に記憶された処理過程を抽出し、前記処理過程に基づき、入力部１０１に入力された複数の処理対象画像を一括で処理し、被写体に関する解析結果を出力装置１０７に表示させる。 The batch processing unit 104 extracts a processing process temporarily stored in the storage unit 103, and collectively processes a plurality of processing target images input to the input unit 101 based on the processing process, and performs analysis results on the subject. Is displayed on the output device 107.
学習部１０５は、記憶部１０３に一時的に記憶された解析対象画像と処理過程を抽出し、これらを学習する。さらに学習した学習画像データと学習処理過程データを、画像処理部１０２に提供する。 The learning unit 105 extracts the analysis target image and the processing process temporarily stored in the storage unit 103 and learns them. Further, learned image data and learning process data are provided to the image processing unit 102.
統計解析部１０６は、一括処理部１０４により出力された被写体に関する解析結果に対し、統計解析を行い、統計解析結果を出力装置１０７表示させる。 The statistical analysis unit 106 performs statistical analysis on the analysis result regarding the subject output by the batch processing unit 104 and displays the statistical analysis result on the output device 107.
出力装置１０７は、例えばディスプレイ、プリンタ等のデバイスで構成され、解析結果画像や統計解析結果を表示する。 The output device 107 is configured by a device such as a display or a printer, for example, and displays an analysis result image and a statistical analysis result.
このように本実施形態の画像処理装置１００では、学習部１０５において学習された学習画像データと学習処理データを用いて、ユーザの目的に合った処理過程を出力し、複数の処理対象画像を一括で処理し、統計解析することを特徴とする。 As described above, the image processing apparatus 100 according to the present embodiment uses the learning image data and the learning processing data learned by the learning unit 105 to output a processing process that matches the user's purpose, and collects a plurality of processing target images. And statistical analysis.
＜画像処理装置の動作＞
以下、各要素の動作について詳細に説明する。
<Operation of Image Processing Device>
Hereinafter, the operation of each element will be described in detail.
入力部１０１は、入力された解析対象画像を画像処理部１０２へ出力し、入力された処理対象画像については一括処理部１０４へ出力する。なお、入力部１０１に解析対象画像として入力される画像と処理対象画像として入力される画像は異なるものである。 The input unit 101 outputs the input analysis target image to the image processing unit 102, and outputs the input processing target image to the batch processing unit 104. Note that the image input as the analysis target image to the input unit 101 is different from the image input as the processing target image.
画像処理部１０２は解析対象画像から、複数の特徴量を算出する。前記特徴量には、被写体の形状に由来する形状特徴量と、その被写体のテクスチャに由来するテクスチャ特徴量とが含まれる。 The image processing unit 102 calculates a plurality of feature amounts from the analysis target image. The feature amount includes a shape feature amount derived from the shape of the subject and a texture feature amount derived from the texture of the subject.
本実施形態におけるテクスチャ特徴量は、解析対象画像を最低輝度から最高輝度にかけての輝度範囲を１８段階に均等に分割して得られる１６種の閾値で二値化して得られた白黒画像群（１６種）のそれぞれについて白領域及び黒領域を抽出することにより撮像対象の面積、周長、個数、及び複雑度などの形態パラメータを測定し、各形態パラメータについて１６種の画像群全体における統計量（平均、最大、分散、中央値）を算出して得られた数値群であり、多重形状特徴量と呼べるものを含む。なお、これらの形状特徴量の抽出は、グレースケール画像に対して行う他、前処理としてSobelフィルタを作用させて得た境界画像に対しても行う。 The texture feature amount in the present embodiment is a black and white image group (16) obtained by binarizing with 16 threshold values obtained by equally dividing the luminance range from the lowest luminance to the highest luminance into 18 levels. Morphological parameters such as the area, circumference, number, and complexity of the object to be imaged are measured by extracting the white region and the black region for each of the species), and the statistic ( A group of numerical values obtained by calculating (average, maximum, variance, median), including what can be called multiple shape feature amounts. Note that these shape feature values are extracted not only for a gray scale image but also for a boundary image obtained by applying a Sobel filter as preprocessing.
また、画像全体の輝度に基づいて算出される値であって、平均輝度、最大輝度、輝度の分散、輝度のヒストグラム、及び隣接画素間の輝度の関係性（差及び積）に着目した数値群であって、輝度特徴量と呼べるものも含む。画像処理部１０２によって抽出される特徴量としては表１に掲げるものが挙げられる。
また、例えば、解析対象画像の撮像対象が細胞の染色体である場合、形状特徴量（形態パラメータ）としては表２に掲げるものが挙げられ、テクスチャ特徴量としては表３に掲げるものが挙げられる。
画像処理部１０２は算出した解析対象画像の特徴量を用いて、学習部１０５から最適な学習処理データを抽出する。画像処理部１０２は抽出した学習処理データに基づき、最適な処理を組合せ、解析結果画像を出力装置１０７に表示させる。ここで処理とは、例えばグレースケール化、白黒反転、二値化、穴埋め、オープニング、輪郭抽出等であるが、これらに限られない。さらに、画像処理部１０２は、ユーザの選択により決定した処理過程と解析対象画像を記憶部に出力する。 The image processing unit 102 extracts optimal learning processing data from the learning unit 105 using the calculated feature amount of the analysis target image. Based on the extracted learning processing data, the image processing unit 102 combines optimal processing and causes the output device 107 to display an analysis result image. Here, the processing includes, for example, gray scale conversion, black and white inversion, binarization, hole filling, opening, contour extraction, and the like, but is not limited thereto. Further, the image processing unit 102 outputs the processing process determined by the user selection and the analysis target image to the storage unit.
記憶部１０３は、画像処理部１０２により出力された処理過程と解析対象画像をいわゆるキャッシュメモリに一時的に記憶する。記憶部１０３は、入力部１０１に複数の処理対象画像が入力され、前記複数の処理対象画像が一括処理部１０４に出力されると、一括処理部１０４に処理過程を出力し、同時に学習部１０５に処理過程と解析対象画像を出力する。 The storage unit 103 temporarily stores the processing process output by the image processing unit 102 and the analysis target image in a so-called cache memory. When a plurality of processing target images are input to the input unit 101 and the plurality of processing target images are output to the batch processing unit 104, the storage unit 103 outputs a processing process to the batch processing unit 104 and simultaneously learns 105. The processing process and the image to be analyzed are output.
一括処理部１０４は入力部１０１から複数の処理対象画像を取得し、記憶部１０３から、処理過程を取得する。一括処理部１０４は前記処理過程を用いて、複数の処理対象画像を一括で処理する。一括処理部１０４は一括処理が完了した複数の処理対象画像から、被写体に関する解析結果を出力し、出力装置１０７に表示させる。前記被写体に関する解析結果は、例えば、被写体が細胞である場合、全ての処理対象画像内の細胞の個数の合計であっても良いがこれに限られない。また、例えば突起を有する細胞の個数と突起を有さない細胞の個数等、複数種類の細胞のそれぞれの個数等複数の数値を含む場合もある。さらに、一括処理部１０４は前記被写体に関する解析結果の数値等を、表やグラフとして出力装置１０７に出力することもできる。 The batch processing unit 104 acquires a plurality of processing target images from the input unit 101 and acquires a processing process from the storage unit 103. The batch processing unit 104 batch-processes a plurality of processing target images using the above process. The batch processing unit 104 outputs an analysis result regarding the subject from the plurality of processing target images for which the batch processing has been completed, and causes the output device 107 to display the analysis result. For example, when the subject is a cell, the analysis result regarding the subject may be the total number of cells in all the processing target images, but is not limited thereto. In addition, there may be cases where a plurality of numerical values such as the number of cells of a plurality of types such as the number of cells having protrusions and the number of cells having no protrusions are included. Further, the collective processing unit 104 can output numerical values of analysis results related to the subject to the output device 107 as a table or a graph.
学習部１０５は、記憶部１０３から処理過程と解析対象画像を取得すると、前記処理過程を学習処理過程データとして、解析対象画像を学習画像データとして、学習する。前記学習は、例えば、従来技術である機械学習の技術を用いて行われる。なお、学習画像データには特徴量が含まれるものとする。 When the learning unit 105 acquires the processing process and the analysis target image from the storage unit 103, the learning unit 105 learns the processing process as learning process process data and the analysis target image as learning image data. The learning is performed using, for example, a machine learning technique that is a conventional technique. Note that the learning image data includes a feature amount.
統計解析部１０６は、一括処理部１０４によって出力された被写体に関する解析結果を取得し、これらのデータに対して統計解析を行い、統計解析結果を出力装置１０７に表示させる。ここで統計解析とは、例えば平均値の算出、標準偏差の算出、有意差検定等のことであるが、これらに限られない。 The statistical analysis unit 106 acquires the analysis result regarding the subject output by the batch processing unit 104, performs statistical analysis on these data, and causes the output device 107 to display the statistical analysis result. Here, the statistical analysis is, for example, calculation of an average value, calculation of a standard deviation, significance test, etc., but is not limited thereto.
＜各処理部における処理手順＞
図２は画像処理部１０２の動作を説明するためのフローチャートである。
Ｓ２０１において、画像処理部１０２は解析対象画像から複数の前述の特徴量を算出し、これに応じた最適な学習処理過程データを学習部１０５から抽出する。
画像処理部１０２は解析対象画像の特徴量が近似する後述の学習画像データを選定し、その学習処理過程データを最適な学習処理過程データとして学習部から抽出する。
<Processing procedure in each processing unit>
FIG. 2 is a flowchart for explaining the operation of the image processing unit 102.
In step S <b> 201, the image processing unit 102 calculates a plurality of the above-described feature amounts from the analysis target image, and extracts optimal learning process process data corresponding to the feature amount from the learning unit 105.
The image processing unit 102 selects later-described learning image data that approximates the feature amount of the analysis target image, and extracts the learning process process data from the learning unit as optimum learning process process data.
Ｓ２０２において、画像処理部１０２は入力部１０１に入力された解析対象画像に対し処理を行う。画像処理部１０２は学習処理過程データに基づき、最適な前述の処理を組合せ、解析結果画像を出力装置１０７に表示させる。 In step S <b> 202, the image processing unit 102 performs processing on the analysis target image input to the input unit 101. Based on the learning process process data, the image processing unit 102 combines the above-described optimal processes and causes the output device 107 to display an analysis result image.
図３は画像処理部１０２において処理された解析結果画像の表示の一例を示す図である。３０１は入力された解析対象画像である。３０２は前記解析対象画像にグレースケール化処理を施した画像である。３０３は前記画像３０２に白黒反転処理を施した画像群であって、３０３１は３０２を白黒反転した画像、３０３２は白黒反転していない画像である。ユーザは３０３１又は３０３２のうちから解析の目的に合ったいずれかを選択する。本図においては、ユーザは３０３２を選択したことを示す。３０４は前記画像３０３２に二値化処理を施した画像群であって、３０４１〜３０４４はそれぞれ異なる閾値で二値化した画像である。３０５は画像３０４２に穴埋め処理を施した画像群であって、３０５１〜３０５３はそれぞれ異なる穴埋めした画像である。３０６は画像３０５２にオープニング処理を施した画像群であって、３０６１〜３０６３はそれぞれ異なるオープニングした画像である。３０７は画像３０６２に輪郭抽出処理を施した画像である。ユーザは３０４〜３０７においても目的にあった画像をそれぞれ選択する。 FIG. 3 is a diagram illustrating an example of display of an analysis result image processed by the image processing unit 102. Reference numeral 301 denotes an input analysis target image. Reference numeral 302 denotes an image obtained by performing gray scale processing on the analysis target image. Reference numeral 303 denotes an image group obtained by performing black and white reversal processing on the image 302, 3031 is an image obtained by reversing 302 from black and white, and 3032 is an image that is not subjected to black and white reversal. The user selects either 3031 or 3032 according to the purpose of analysis. In the figure, it is shown that the user has selected 3032. Reference numeral 304 denotes an image group obtained by binarizing the image 3032, and 3041 to 3044 are images binarized with different threshold values. Reference numeral 305 denotes an image group obtained by performing a filling process on the image 3042, and reference numerals 3051 to 3053 denote images obtained by filling different holes. Reference numeral 306 denotes an image group obtained by performing an opening process on the image 3052, and reference numerals 3061 to 3063 denote different opened images. Reference numeral 307 denotes an image obtained by performing contour extraction processing on the image 3062. The user also selects images suitable for the purpose in 304 to 307.
図３において前記解析結果画像の表示は、最適順、一例として特徴量が近似する学習処理過程データに基づく解析結果画像の順に表示されても良いが、それ以外の順序であっても良い。特徴量が近似する順に表示される場合、画像処理部１０２はそれぞれの処理において、左側に最適な処理の解析結果画像を表示させる。これにより、ユーザは相当の知識や経験を有していなくとも、目的に合った処理を選択することができる。 In FIG. 3, the analysis result images may be displayed in the optimal order, for example, in the order of the analysis result images based on the learning process process data whose feature amounts approximate, but may be in other orders. When the feature amounts are displayed in the order of approximation, the image processing unit 102 displays an analysis result image of the optimum process on the left side in each process. Thereby, even if the user does not have considerable knowledge and experience, the user can select a process suitable for the purpose.
Ｓ２０３において、ユーザは前述の通り表示された解析結果画像から、目的に合った処理を任意で選択する。前記選択により、処理過程の組合せが決定し、処理過程が出力される。 In S203, the user arbitrarily selects a process suitable for the purpose from the analysis result image displayed as described above. The selection determines a combination of processing steps and outputs the processing steps.
Ｓ２０４において、画像処理部１０２は解析結果画像と処理過程を記憶部１０３に出力する。記憶部１０３は前述のとおり、画像処理部１０２より出力された解析結果画像と処理過程をキャッシュメモリにより一時的に記憶する。 In step S <b> 204, the image processing unit 102 outputs the analysis result image and the processing process to the storage unit 103. As described above, the storage unit 103 temporarily stores the analysis result image output from the image processing unit 102 and the processing process in the cache memory.
図４は一括処理部１０４の動作を説明するためのフローチャートである。
Ｓ４０１において、ユーザは一括処理する複数の処理対象画像を入力部１０１に入力する。前記複数の画像は１０００枚を超える枚数であっても良い。
FIG. 4 is a flowchart for explaining the operation of the batch processing unit 104.
In step S <b> 401, the user inputs a plurality of processing target images to be collectively processed to the input unit 101. The plurality of images may be more than 1000 sheets.
Ｓ４０２において、一括処理部１０４は記憶部１０３に一時的に記憶された処理過程を抽出し、設定する。 In step S <b> 402, the batch processing unit 104 extracts and sets the processing process temporarily stored in the storage unit 103.
Ｓ４０３において、一括処理部１０４は設定された処理過程に基づき、前記複数の処理対象画像を一括で処理し、被写体に関する解析結果を出力する。このとき、前記被写体に関する解析結果に対する数値、表、グラフ等を出力装置１０７に表示させることもできる。図７は前記被写体に関する解析結果の一例であって、前記一括処理された複数の処理対象画像内の細胞個数の分布表を示す図である。 In step S403, the batch processing unit 104 processes the plurality of processing target images at once based on the set processing process, and outputs an analysis result regarding the subject. At this time, numerical values, tables, graphs, and the like for the analysis results regarding the subject can be displayed on the output device 107. FIG. 7 is an example of an analysis result related to the subject, and is a diagram showing a distribution table of the number of cells in the plurality of processing target images that are collectively processed.
図５は学習部１０５の動作を説明するためのフローチャートである。
Ｓ５０１において、学習部１０５は記憶部１０３に一時的に記憶された解析対象画像と処理過程を抽出し、解析対象画像を学習画像データとして、処理過程を学習処理過程データとして学習する。学習部は例えば、従来技術である機械学習の技術を用いて、前記学習を行う。
FIG. 5 is a flowchart for explaining the operation of the learning unit 105.
In S501, the learning unit 105 extracts the analysis target image and the processing process temporarily stored in the storage unit 103, and learns the analysis target image as learning image data and the processing process as learning processing process data. The learning unit performs the learning using, for example, a conventional machine learning technique.
Ｓ５０２において、学習部１０５は最適な学習画像データと学習処理過程データを画像処理部１０２に出力する。前記最適な学習画像データと学習処理過程データの選定は、前述のとおり解析対象画像の特徴量に基づいて行われる。 In step S <b> 502, the learning unit 105 outputs optimal learning image data and learning process process data to the image processing unit 102. The selection of the optimal learning image data and learning processing process data is performed based on the feature amount of the analysis target image as described above.
図６は統計解析部１０６の動作を説明するためのフローチャートである。
統計解析部１０６は前記被写体に関する解析結果に対し統計解析を行い、数値、表、グラフ等の統計解析結果を出力装置１０７に表示させる。
FIG. 6 is a flowchart for explaining the operation of the statistical analysis unit 106.
The statistical analysis unit 106 performs statistical analysis on the analysis result regarding the subject, and causes the output device 107 to display statistical analysis results such as numerical values, tables, and graphs.
Ｓ６０１において、統計解析部１０６は一括処理部により出力された被写体に関する解析結果を設定する。 In step S601, the statistical analysis unit 106 sets the analysis result regarding the subject output by the batch processing unit.
Ｓ６０２において、統計解析部１０６は前記被写体に関する解析結果に含まれる複数の数値に対し、平均値の算出、標準偏差の算出、有意差検定等の統計解析を行う。なお、統計解析はこれらに限られない。ユーザは、どのような統計解析を行うか任意に選択することができる。図８は統計解析結果の一例であって、一括処理した細胞個数の平均値と誤差を表示した図である。 In step S602, the statistical analysis unit 106 performs statistical analysis such as calculation of an average value, calculation of a standard deviation, and a significant difference test on a plurality of numerical values included in the analysis result regarding the subject. Statistical analysis is not limited to these. The user can arbitrarily select what kind of statistical analysis is performed. FIG. 8 is an example of the statistical analysis result, and is a diagram displaying the average value and error of the number of cells subjected to batch processing.
以上により、画像解析方法の急速な多様化に対応できるとともに、ユーザの知識量や経験値を問わず、膨大な枚数の処理対象画像に対しても、迅速に処理し、かつ統計解析まで行うことができる。 As described above, it is possible to cope with rapid diversification of image analysis methods, and to process a large number of images to be processed and perform statistical analysis regardless of the amount of knowledge or experience of the user. Can do.
（第２の実施形態）
次に、第２の実施形態による画像処理装置について説明する。第２の実施形態による画像処理装置の基本構成のうち、第１の実施形態と同様である部分についてはその詳細な説明を省略する。
(Second Embodiment)
Next, an image processing apparatus according to the second embodiment will be described. Of the basic configuration of the image processing apparatus according to the second embodiment, detailed description of the same parts as those of the first embodiment will be omitted.
＜画像処理装置の構成＞
図９は本発明の第２の実施形態による画像処理装置９００の機能を示すブロック図である。
画像処理装置は入力部９０１と、特徴抽出部９０２と、分類条件出力部９０３と、分類部９０４と、学習部９０５と、を備えている。画像処理装置９００は、例えばディスプレイ、プリンタ等のデバイスである出力装置９０６に接続されている。
<Configuration of image processing apparatus>
FIG. 9 is a block diagram showing functions of the image processing apparatus 900 according to the second embodiment of the present invention.
The image processing apparatus includes an input unit 901, a feature extraction unit 902, a classification condition output unit 903, a classification unit 904, and a learning unit 905. The image processing apparatus 900 is connected to an output device 906 that is a device such as a display or a printer.
入力部９０１は、解析対象画像を含む複数のデータセットが入力される。ここで、解析対象画像は第１の実施形態と同様の画像であっても良い。
ユーザは複数の解析対象画像を分類の目的に沿った任意の複数グループに分別する。これをデータセットとして入力部９０１に入力する。例えば、ユーザが複数の画像を突起を有する細胞画像と突起を有さない細胞画像とに分類しようとする場合、ユーザは突起を有する細胞画像のみを含むデータセットと突起を有さない細胞画像のみを含むデータセットをそれぞれ入力部９０１に入力する。
The input unit 901 receives a plurality of data sets including analysis target images. Here, the analysis target image may be the same image as in the first embodiment.
The user sorts the plurality of analysis target images into a plurality of arbitrary groups according to the purpose of classification. This is input to the input unit 901 as a data set. For example, when a user tries to classify a plurality of images into a cell image having a protrusion and a cell image having no protrusion, the user only has a data set including only a cell image having a protrusion and a cell image not having a protrusion. Are input to the input unit 901.
特徴抽出部９０２は前記データセットから特徴量を抽出し、特徴量データを分類条件出力部９０３へ出力し、解析対象画像を学習部９０５に出力する。 The feature extraction unit 902 extracts feature amounts from the data set, outputs the feature amount data to the classification condition output unit 903, and outputs the analysis target image to the learning unit 905.
分類条件出力部９０３は、特徴抽出部９０２から、データセットの特徴量を取得し、これに基づいて、学習部９０５から最適な学習分類条件データを抽出する。分類条件出力部９０３は最適な学習分類条件データを用いて分類条件を出力する。 The classification condition output unit 903 acquires the feature amount of the data set from the feature extraction unit 902, and extracts optimal learning classification condition data from the learning unit 905 based on the feature amount. The classification condition output unit 903 outputs the classification conditions using the optimal learning classification condition data.
分類部９０４は、入力部９０１から取得した分類対象画像を、分類条件出力部９０３から取得した分類条件に基づいて分類し、例えば、図１１に示すような分類タグ１１０３と解析結果を出力装置９０６に表示させる。さらに、分類部９０４は、分類条件を学習部９０５に出力する。 The classification unit 904 classifies the classification target image acquired from the input unit 901 based on the classification condition acquired from the classification condition output unit 903. For example, the classification unit 1104 and the analysis result as illustrated in FIG. To display. Further, the classification unit 904 outputs the classification condition to the learning unit 905.
学習部９０５は、特徴抽出部から取得した解析画像を学習画像データとして、分類条件出力部９０３から取得した分類条件を学習分類条件データとして学習し、最適な学習分類条件データを分類条件出力部９０３に出力する。 The learning unit 905 learns the analysis image acquired from the feature extraction unit as learning image data, the classification condition acquired from the classification condition output unit 903 as learning classification condition data, and the optimum learning classification condition data as the classification condition output unit 903. Output to.
＜画像処理装置の動作＞
以下、各要素の動作について詳細に説明する。
<Operation of Image Processing Device>
Hereinafter, the operation of each element will be described in detail.
入力部９０１は、入力された解析対象画像を含む複数のデータセットを特徴抽出部９０２へ出力し、入力された分類対象画像については分類部９０４へ出力する。なお、入力部９０１に解析対象画像として入力される画像と分類対象画像として入力される画像は異なるものである。 The input unit 901 outputs a plurality of data sets including the input analysis target image to the feature extraction unit 902, and outputs the input classification target image to the classification unit 904. Note that the image input as the analysis target image to the input unit 901 is different from the image input as the classification target image.
特徴抽出部９０２は、前記データセットから特徴量を抽出する。ひとつのデータセットが複数の解析対象画像を含む場合、特徴抽出部９０２はそれぞれの解析対象画像から特徴量を算出する。複数の解析対象画像が時系列の場合、特徴抽出部９０２は、タイムポイント毎に別々の画像へと分解し、その分解された画像毎に特徴量を抽出することにより、各タイムポイントについての特徴群を分類条件出力部９０３へ出力する。 The feature extraction unit 902 extracts feature amounts from the data set. When one data set includes a plurality of analysis target images, the feature extraction unit 902 calculates a feature amount from each analysis target image. When the plurality of analysis target images are time-series, the feature extraction unit 902 decomposes each time point into separate images, and extracts a feature amount for each decomposed image, whereby the feature for each time point is extracted. The group is output to the classification condition output unit 903.
特徴抽出部９０２は、解析対象画像が複数の蛍光波長で撮像したマルチバンド画像の場合（例えば、細胞の核と微小管とをそれぞれ赤色と緑色とで蛍光標識して、これらの両方を撮像した画像の場合など）、各バンドに分解した上でグレースケール画像群を生成し、そのグレースケール画像のそれぞれについて特徴量の抽出を実行し、分類条件出力部９０３へ出力する。 When the analysis target image is a multiband image captured at a plurality of fluorescence wavelengths (for example, the cell nucleus and microtubule are fluorescently labeled with red and green, respectively, and both of these images are captured) In the case of an image), a grayscale image group is generated after being decomposed into each band, and a feature amount is extracted for each of the grayscale images, and is output to the classification condition output unit 903.
特徴抽出部９０２は、特徴量の抽出が完了したデータセットの解析対象画像を学習部９０５に出力する。前記解析対象画像のデータには特徴量に関する情報が含まれるものとする。 The feature extraction unit 902 outputs the analysis target image of the data set for which feature amount extraction has been completed to the learning unit 905. It is assumed that the data on the analysis target image includes information on the feature amount.
分類条件出力部９０３は、データセットと特徴量の関係及び特徴量に基づいて分類条件を出力する。具体的には、分類条件出力部９０３は特徴抽出部９０２からデータセットの特徴量を取得し、前記特徴量を用いて、学習部９０５から最適な学習分類条件データを抽出する。分類条件出力部９０３は、データセットの特徴量が近似する学習分類条件データを選定し、その学習分類条件データとデータセットの特徴量に基づいて分類条件を分類部９０４に出力する。 The classification condition output unit 903 outputs a classification condition based on the relationship between the data set and the feature quantity and the feature quantity. Specifically, the classification condition output unit 903 acquires the feature amount of the data set from the feature extraction unit 902, and extracts the optimal learning classification condition data from the learning unit 905 using the feature amount. The classification condition output unit 903 selects learning classification condition data that approximates the feature amount of the data set, and outputs the classification condition to the classification unit 904 based on the learning classification condition data and the feature amount of the data set.
分類部９０４は、入力部９０１から分類対象画像を取得し、分類条件出力部９０３から、分類条件を取得する。分類部９０４は、前記分類条件を用いて、分類対象画像を適切なグループに分類し、例えば、図１１に示すような分類タグ１１０３と解析結果を出力装置９０６に表示させる。さらに、分類部９０４は、分類条件を学習部９０５に提供する。 The classification unit 904 acquires a classification target image from the input unit 901 and acquires a classification condition from the classification condition output unit 903. The classification unit 904 classifies the classification target images into appropriate groups using the classification condition, and displays the classification tag 1103 and the analysis result as illustrated in FIG. Further, the classification unit 904 provides the classification condition to the learning unit 905.
学習部９０５は、特徴抽出部から取得した解析画像を学習画像データとして、分類条件出力部９０３から取得した分類条件を学習分類条件データとして学習し、最適な学習分類条件データを分類条件出力部９０３に出力する。学習部９０５は第１の実施形態と同様に例えば、従来技術である機械学習の技術を用いて、前記学習を行う。 The learning unit 905 learns the analysis image acquired from the feature extraction unit as learning image data, the classification condition acquired from the classification condition output unit 903 as learning classification condition data, and the optimum learning classification condition data as the classification condition output unit 903. Output to. As in the first embodiment, the learning unit 905 performs the learning using, for example, a machine learning technique that is a conventional technique.
図１０は分類条件出力部９０３の動作を説明するためのフローチャートである。
Ｓ１００１において、分類条件出力部９０３は特徴抽出部９０２からデータセットの特徴量を抽出する。
FIG. 10 is a flowchart for explaining the operation of the classification condition output unit 903.
In step S <b> 1001, the classification condition output unit 903 extracts the feature amount of the data set from the feature extraction unit 902.
分類条件出力部９０３はそれぞれのデータセットの特徴量を比較し、その特徴量の複数の組み合わせパターンの中から画像分類に適した組合せパターンを選択するまで、処理を繰り返し実行する。この処理の繰り返しにより、各データセットのクラスタリングが行われることになる。 The classification condition output unit 903 compares the feature amounts of the respective data sets, and repeatedly executes the processing until a combination pattern suitable for image classification is selected from a plurality of combination patterns of the feature amounts. By repeating this process, each data set is clustered.
ここでクラスタリングとは、外的基準なしに自動的に分類を行うことをいい、いわゆる「教師なし分類法」とよばれるものをいう。クラスタリングでは、分類すべきデータの集まりにおいて、任意の複数のデータ間に関連性を示す尺度が定義されているとし、データの集まりをいくつかの塊（クラスタ）に分割し、それぞれのクラスタの中で、データ間の関連性が高く、異なるクラスタ間では関連性が低くなるようにグループ分けを行うようになっている。したがって、クラスタリングの結果を基にすれば、各画像データは、外的基準を設定するための事前処理を必要とせずに、関連性の高い画像データ同士が同一のクラスタに属するといったように分類されることになる。 Here, clustering refers to automatically classifying without external criteria, and is what is called “unsupervised classification”. In clustering, a set of data that should be classified is defined as a measure that indicates the relationship between any number of data, and the data set is divided into several clusters. Therefore, grouping is performed so that the relevance between data is high and the relevance between different clusters is low. Therefore, based on the result of clustering, each image data is classified so that highly related image data belong to the same cluster without requiring pre-processing for setting an external reference. Will be.
Ｓ１００２において、分類条件出力部９０３は前記クラスタリングの結果に基づき、学習部９０５から最適な学習分類条件データを抽出する。 In step S <b> 1002, the classification condition output unit 903 extracts optimal learning classification condition data from the learning unit 905 based on the clustering result.
Ｓ１００３において、分類条件出力部９０３は最適な学習分類条件データと前記クラスタリングの結果に基づき、分類条件を出力する。 In step S1003, the classification condition output unit 903 outputs a classification condition based on the optimal learning classification condition data and the clustering result.
Ｓ１００４において、分類条件出力部９０３は分類条件を学習分類条件データとして学習部９０５に提供し、学習させる。前記学習分類条件データは前記解析対象画像と前記特徴量を含んでいても良い。学習された学習分類条件データは、分条件出力時に分類条件９０３に出力される。 In step S1004, the classification condition output unit 903 provides the classification condition to the learning unit 905 as learning classification condition data to be learned. The learning classification condition data may include the analysis target image and the feature amount. The learned learning condition data is output to the classification condition 903 when the minute condition is output.
図１１は分類部９０４において分類された分類対象画像の一例を表示する図である。本図では、ユーザが複数の画像を突起を有する細胞画像と突起を有さない細胞画像に分類することを目的として、前記画像処理祖装置９００を使用した場合に出力装置９０６に表示される画面の一例を示したものである。１１０１は突起を有さない細胞画像として分類された分類対象画像の一群を示している。１１０２は突起を有する細胞画像として分類された分類対象画像の一群を示している。 FIG. 11 is a diagram for displaying an example of classification target images classified by the classification unit 904. In this figure, a screen displayed on the output device 906 when the user uses the image processing device 900 for the purpose of classifying a plurality of images into cell images having protrusions and cell images not having protrusions. An example is shown. Reference numeral 1101 denotes a group of classification target images classified as cell images having no protrusions. Reference numeral 1102 denotes a group of classification target images classified as cell images having protrusions.
図１１においては全ての分類対象画像を表示しているが、分類対象画像の一部を省略し、表示させることもできる。 Although all the classification target images are displayed in FIG. 11, a part of the classification target images can be omitted and displayed.
以上により、画像分類方法の急速な多様化に対応できるとともに、ユーザの知識量や経験値を問わず、従来技術よりも高い精度でユーザの分類目的に沿った分類条件を出力することができる。 As described above, it is possible to cope with the rapid diversification of the image classification method, and it is possible to output the classification condition according to the user's classification purpose with higher accuracy than the prior art regardless of the knowledge amount or experience value of the user.
１００…画像処理装置、１０１…入力部、１０２…画像処理部、１０３…記憶部、１０４…一括処理部、１０５…学習部、１０６…統計解析部、１０７…出力装置、９００…画像処理装置、９０１…入力部、９０２…特徴抽出部、９０３…分類条件出力部、９０４…分類部、９０５…学習部、９０６…出力装置 DESCRIPTION OF SYMBOLS 100 ... Image processing apparatus, 101 ... Input part, 102 ... Image processing part, 103 ... Memory | storage part, 104 ... Collective processing part, 105 ... Learning part, 106 ... Statistical analysis part, 107 ... Output apparatus, 900 ... Image processing apparatus, 901: Input unit, 902 ... Feature extraction unit, 903 ... Classification condition output unit, 904 ... Classification unit, 905 ... Learning unit, 906 ... Output device
本発明の一実施形態の画像処理装置は、解析対象画像を入力する入力部と、入力部に入力された解析対象画像に対し処理を行い、処理を施した解析結果画像と複数の処理の組み合わせである処理過程を出力する画像処理部と、解析対象画像と処理過程を記憶する記憶部と、記憶部から出力された処理過程によって複数の処理対象画像を一括で処理する一括処理部と、解析対象画像を学習画像データとして、処理過程を学習処理過程データとして学習し、学習画像データと学習処理過程データを画像処理部に提供する学習部とを備え、画像処理部は、入力された解析対象画像の特徴量を算出し、特徴量に基づき、学習部から最適な学習処理過程データを抽出することを特徴とする。 An image processing apparatus according to an embodiment of the present invention includes an input unit that inputs an analysis target image, a process performed on the analysis target image input to the input unit, and a combination of the processed analysis result image and a plurality of processes An image processing unit that outputs the processing process, a storage unit that stores the analysis target image and the processing process, a batch processing unit that collectively processes a plurality of processing target images according to the processing process output from the storage unit, and an analysis the target image as the learning image data, learns the process as learning process data to provide the learning image data the learning process data to the image processing unit and a learning portion, the image processing unit, analyzed input A feature amount of the image is calculated, and optimal learning process data is extracted from the learning unit based on the feature amount .
Claims (13)
前記入力部に入力された前記解析対象画像に対し処理を行い、前記処理を施した解析結果画像と複数の前記処理の組み合わせである処理過程を出力する画像処理部と、
前記解析対象画像と前記処理過程を記憶する記憶部と、
前記記憶部から出力された前記処理過程によって複数の処理対象画像を一括で処理する一括処理部と、
前記解析対象画像を学習画像データとして、前記処理過程を学習処理過程データとして学習し、前記学習画像データと前記学習処理過程データを画像処理部に提供する学習部とを備える
ことを特徴とする画像処理装置。 An input unit for inputting an analysis target image;
An image processing unit that performs processing on the analysis target image input to the input unit, and outputs a processing process that is a combination of the analysis result image that has been subjected to the processing and a plurality of the processings;
A storage unit for storing the analysis target image and the processing process;
A batch processing unit that collectively processes a plurality of processing target images according to the processing process output from the storage unit;
An image comprising: the image to be analyzed as learning image data; the learning process as learning processing process data; and the learning image data and a learning unit that provides the learning processing process data to an image processing unit. Processing equipment.
ことを特徴とする請求項１に記載の画像処理装置。 2. The image according to claim 1, wherein the image processing unit extracts the optimal learning process data from the learning unit, and outputs the processing process based on the extracted learning process data. Processing equipment.
ことを特徴とする請求項１又は２に記載の画像処理装置。 The said image processing part calculates the feature-value of the said analysis object image input, and extracts the said optimal learning process process data from the said learning part based on the said feature-value. An image processing apparatus according to 1.
ことを特徴とする請求項１乃至３のいずれかに記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the image processing unit displays a plurality of the processing steps in an optimal order.
ことを特徴とする請求項１乃至４のいずれかに記載の画像処理装置。 5. The image processing according to claim 1, wherein the batch processing unit batch-processes the plurality of processing target images input to the input unit and outputs an analysis result relating to a subject. apparatus.
ことを特徴とする請求項５に記載の画像処理装置。 The image processing apparatus according to claim 5, wherein the analysis result related to the subject includes the number of subjects.
ことを特徴とする請求項６に記載の画像処理装置。 The image processing apparatus according to claim 6, further comprising a statistical analysis unit that performs statistical analysis on the analysis result.
前記入力工程において入力された前記解析対象画像に対し処理を行い、前記処理を施した解析結果画像と複数の前記処理の組み合わせである処理過程を出力する画像処理工程と、
前記解析対象画像と前記処理過程を記憶する記憶工程と、
前記記憶工程において出力された前記処理過程によって複数の処理対象画像を一括で処理する一括処理工程と、
前記解析対象画像を学習画像データとして、前記処理過程を学習処理過程データとして学習し、前記学習画像データと前記学習処理過程データを画像処理部に提供する工程とを備える
ことを特徴とする画像処理方法。 An input process for inputting an image to be analyzed;
An image processing step of performing processing on the analysis target image input in the input step, and outputting a processing process that is a combination of the analysis result image subjected to the processing and a plurality of the processing;
A storage step of storing the analysis target image and the processing process;
A batch processing step of batch processing a plurality of processing target images according to the processing process output in the storage step;
Image processing comprising: learning the analysis target image as learning image data; learning the processing process as learning processing process data; and providing the learning image data and the learning processing process data to an image processing unit. Method.
前記データセットから特徴量を抽出する特徴抽出部と、
前記複数のデータセットと前記解析対象画像の関係および前記特徴量に基づいて分類条件を出力する分類条件出力部と、
分類対象画像を前記分類条件に従って分類する分類部と、
前記解析対象画像を学習画像データとして、前記分類条件を学習分類条件データとして学習し、前記学習画像データと前記学習分類条件データを前記分類条件出力部に提供する学習部とを備える
ことを特徴とする画像処理装置。 An input unit for inputting a plurality of data sets including an analysis target image;
A feature extraction unit for extracting feature amounts from the data set;
A classification condition output unit that outputs a classification condition based on the relationship between the plurality of data sets and the analysis target image and the feature amount;
A classification unit for classifying the classification target images according to the classification condition;
A learning unit that learns the analysis target image as learning image data, the classification condition as learning classification condition data, and provides the learning image data and the learning classification condition data to the classification condition output unit. An image processing apparatus.
ことを特徴とする請求項９に記載の画像処理装置。 The said classification condition output part extracts the said learning classification condition data optimal from the said learning part, The said classification conditions are output based on the extracted said learning classification condition data. Image processing device.
ことを特徴とする請求項９又は１０に記載の画像処理装置。 The image processing apparatus according to claim 9, wherein the learning classification condition data includes the analysis target image and the feature amount.
ことを特徴とする請求項１１に記載の画像処理装置。 The classification condition output unit selects optimal information from the learning image data, the learning classification condition data, and the feature amount, and outputs a classification condition based on the selected information. The image processing apparatus according to 11.
前記データセットから特徴量を抽出する特徴抽出工程と、
前記複数のデータセットと前記解析対象画像の関係および前記特徴量に基づいて分類条件を出力する分類条件出力工程と、
分類対象画像を前記分類条件に従って分類する分類工程と、
前記解析対象画像を学習画像データとして、前記分類条件を学習分類条件データとして学習し、前記学習画像データと前記学習分類条件データを前記分類条件出力部に提供する工程とを備える
ことを特徴とする画像処理方法。 An input process for inputting a plurality of data sets including an analysis target image;
A feature extraction step of extracting feature quantities from the data set;
A classification condition output step of outputting a classification condition based on the relationship between the plurality of data sets and the analysis target image and the feature amount;
A classification step of classifying the classification target images according to the classification conditions;
Learning the analysis target image as learning image data, learning the classification condition as learning classification condition data, and providing the learning image data and the learning classification condition data to the classification condition output unit. Image processing method.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017005444A JP6329651B1 (en) | 2017-01-16 | 2017-01-16 | Image processing apparatus and image processing method |
| PCT/JP2018/001080 WO2018131723A1 (en) | 2017-01-16 | 2018-01-10 | Image processing device and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017005444A JP6329651B1 (en) | 2017-01-16 | 2017-01-16 | Image processing apparatus and image processing method |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018059679A Division JP2018125019A (en) | 2018-03-27 | 2018-03-27 | Image processing apparatus and image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6329651B1 JP6329651B1 (en) | 2018-05-23 |
| JP2018116376A true JP2018116376A (en) | 2018-07-26 |
Family
ID=62186717
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017005444A Active JP6329651B1 (en) | 2017-01-16 | 2017-01-16 | Image processing apparatus and image processing method |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6329651B1 (en) |
| WO (1) | WO2018131723A1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022070491A1 (en) * | 2020-09-29 | 2022-04-07 | 株式会社島津製作所 | Image analyzing device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008129881A1 (en) * | 2007-04-18 | 2008-10-30 | The University Of Tokyo | Feature value selection method, feature value selection device, image classification method, image classification device, computer program, and recording medium |
| JP2015137857A (en) * | 2014-01-20 | 2015-07-30 | 富士ゼロックス株式会社 | detection control device, program and detection system |
| JP2015201819A (en) * | 2014-04-10 | 2015-11-12 | 株式会社東芝 | Image quality improvement system, image quality improvement method, and program |
-
2017
- 2017-01-16 JP JP2017005444A patent/JP6329651B1/en active Active
-
2018
- 2018-01-10 WO PCT/JP2018/001080 patent/WO2018131723A1/en active Application Filing
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008129881A1 (en) * | 2007-04-18 | 2008-10-30 | The University Of Tokyo | Feature value selection method, feature value selection device, image classification method, image classification device, computer program, and recording medium |
| JP2015137857A (en) * | 2014-01-20 | 2015-07-30 | 富士ゼロックス株式会社 | detection control device, program and detection system |
| JP2015201819A (en) * | 2014-04-10 | 2015-11-12 | 株式会社東芝 | Image quality improvement system, image quality improvement method, and program |
Non-Patent Citations (2)
| Title |
|---|
| 松永 幸大、外３名: ""生物医学画像の自動分類を可能にした能動学習型ソフトウェアＣＡＲＴＡ"", 情報管理, vol. 56, no. 4, JPN6018003345, 1 July 2013 (2013-07-01), JP, pages 217 - 221, ISSN: 0003777217 * |
| 芝原 努、岡田 至弘: ""処理過程を重視した画像処理エキスパートシステム"", テレビジョン学会技術報告, vol. 18, no. 14, JPN6018003344, 24 February 1994 (1994-02-24), JP, pages 23 - 28, ISSN: 0003777216 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022070491A1 (en) * | 2020-09-29 | 2022-04-07 | 株式会社島津製作所 | Image analyzing device |
| JPWO2022070491A1 (en) * | 2020-09-29 | 2022-04-07 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018131723A1 (en) | 2018-07-19 |
| JP6329651B1 (en) | 2018-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Veta et al. | Assessment of algorithms for mitosis detection in breast cancer histopathology images | |
| CN111524137B (en) | Cell identification counting method and device based on image identification and computer equipment | |
| US8600143B1 (en) | Method and system for hierarchical tissue analysis and classification | |
| Huang et al. | Time-efficient sparse analysis of histopathological whole slide images | |
| Zhang et al. | Automated semantic segmentation of red blood cells for sickle cell disease | |
| US20170053398A1 (en) | Methods and Systems for Human Tissue Analysis using Shearlet Transforms | |
| CN110245657B (en) | Pathological image similarity detection method and detection device | |
| JP2022551683A (en) | Methods and systems for non-invasive genetic testing using artificial intelligence (AI) models | |
| WO2014021175A1 (en) | Device and method for detecting necrotic cell region and storage medium for storing computer processable program for detecting necrotic cell region | |
| Arora et al. | A review of metaphase chromosome image selection techniques for automatic karyotype generation | |
| US10769432B2 (en) | Automated parameterization image pattern recognition method | |
| CN113658174A (en) | Microkaryotic image detection method based on deep learning and image processing algorithm | |
| Huang et al. | HEp-2 cell images classification based on textural and statistic features using self-organizing map | |
| JP6329651B1 (en) | Image processing apparatus and image processing method | |
| Oliveira et al. | A multi-objective approach for calibration and detection of cervical cells nuclei | |
| Shihabuddin et al. | Multi CNN based automatic detection of mitotic nuclei in breast histopathological images | |
| CN113065403A (en) | Hyperspectral imaging-based machine learning cell classification method and device | |
| JP4609322B2 (en) | Chromosome state evaluation method and evaluation system | |
| JP2018125019A (en) | Image processing apparatus and image processing method | |
| CN114037868B (en) | Image recognition model generation method and device | |
| Amitha et al. | Developement of computer aided system for detection and classification of mitosis using SVM | |
| Sertel et al. | Computer-aided prognosis of neuroblastoma: classification of stromal development on whole-slide images | |
| US11966842B2 (en) | Systems and methods to train a cell object detector | |
| JP2015001859A (en) | Information processing apparatus, information processing system, and program | |
| Yancey | Deep Feature Fusion for Mitosis Counting |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180327 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180417 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180420 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6329651 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |