JP2016115084A - Object detection device and program - Google Patents
Object detection device and program Download PDFInfo
- Publication number
- JP2016115084A JP2016115084A JP2014252388A JP2014252388A JP2016115084A JP 2016115084 A JP2016115084 A JP 2016115084A JP 2014252388 A JP2014252388 A JP 2014252388A JP 2014252388 A JP2014252388 A JP 2014252388A JP 2016115084 A JP2016115084 A JP 2016115084A
- Authority
- JP
- Japan
- Prior art keywords
- region
- representing
- cell
- image
- object detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、対象物検出装置及びプログラムに係り、特に、対象物を表す対象物画像から、対象物を表す領域を画定する対象物検出装置及びプログラムに関する。 The present invention relates to an object detection apparatus and a program, and more particularly to an object detection apparatus and a program for demarcating a region representing an object from an object image representing the object.
従来より、細胞を含む検体から、細胞を含む塗抹標本を作製する塗抹標本作製部と、前記塗抹標本作製部により作製された塗抹標本を撮像し、前記塗抹標本に含まれる細胞に関する細胞画像を取得する撮像部と、前記細胞画像に基づいて、前記細胞の分類を行う細胞分類手段とを含む検体処理システムが知られている（特許文献１）。 Conventionally, from a specimen containing cells, a smear preparation section for preparing a smear preparation containing cells and a smear prepared by the smear preparation section are imaged and a cell image relating to cells contained in the smear is obtained. There is known a sample processing system including an imaging unit that performs classification and a cell classification unit that classifies the cells based on the cell image (Patent Document 1).
特許文献１に記載された技術は、画像上で細胞と背景との境界が画定しにくいとき、細胞を検出できない場合があった。
本発明では、対象物を表す領域を精度よく画定することができる対象物検出装置及びプログラムを提供することを目的とする。
The technique described in Patent Document 1 sometimes fails to detect cells when it is difficult to define the boundary between the cells and the background on the image.
An object of the present invention is to provide an object detection apparatus and program that can accurately define a region representing an object.
上記の目的を達成するために本発明に係る対象物検出装置は、対象物が含まれる対象物画像であって、前記対象物とみなされる対象物領域の重心から背景領域までにおける輝度値変化において該対象物領域と背景領域との境界の輝度値が極大値又は極小値を有する前記対象物画像に対して輪郭強調を行う輪郭強調手段と、輪郭が強調された前記対象物画像から、前記対象物を表す領域を画定する第１対象物検出手段と、画定された前記対象物を表す領域の各々について、前記極大値又は前記極小値となる画素に沿って、前記対象物を表す領域の輪郭を抽出する第２対象物検出手段と、を含んで構成されている。 In order to achieve the above object, an object detection apparatus according to the present invention is an object image including an object, and in a luminance value change from the center of gravity of the object region regarded as the object to a background region. A contour emphasizing unit that performs contour emphasis on the target image having a maximum or minimum luminance value at the boundary between the target region and the background region; First object detection means for defining a region representing an object, and an outline of the region representing the object along each of the pixels representing the defined object along the pixels having the maximum value or the minimum value And second object detection means for extracting.
本発明に係るプログラムは、コンピュータを、対象物が含まれる対象物画像であって、前記対象物とみなされる対象物領域の重心から背景領域までにおける輝度値変化において該対象物領域と背景領域との境界の輝度値が極大値又は極小値を有する前記対象物画像に対して輪郭強調を行う輪郭強調手段、輪郭が強調された前記対象物画像から、前記対象物を表す領域を画定する第１対象物検出手段、及び画定された前記対象物を表す領域の各々について、前記極大値又は前記極小値となる画素に沿って、前記対象物を表す領域の輪郭を抽出する第２対象物検出手段として機能させるためのプログラムである。 The program according to the present invention is an object image including an object, the object region and the background region in a luminance value change from the center of gravity of the object region regarded as the object to a background region. A contour emphasizing unit that performs contour emphasis on the object image having a maximum or minimum luminance value at the boundary of the boundary, and defines a region representing the object from the object image with the contour enhanced Object detection means and second object detection means for extracting an outline of the area representing the object along each pixel having the maximum value or the minimum value for each of the areas representing the defined object. It is a program to make it function as.
本発明によれば、輪郭強調手段によって、対象物を表す対象物画像であって、前記対象物とみなされる対象物領域の重心から背景領域までにおける輝度値変化において該対象物領域と背景領域との境界の輝度値が極大値又は極小値を有する前記対象物画像に対して輪郭強調を行う。そして、第１対象物検出手段によって、前記輪郭強調手段によって輪郭が強調された前記対象物画像から、前記対象物を表す領域を画定する。また、第２対象物検出手段によって、画定された前記対象物を表す領域の各々について、前記極大値又は前記極小値となる画素に沿って、前記対象物を表す領域の輪郭を抽出することにより、前記対象物を表す領域を画定する。 According to the present invention, an object image representing an object by the contour emphasizing unit, and the object area and the background area in the luminance value change from the center of gravity of the object area regarded as the object to the background area. Edge enhancement is performed on the object image having a maximum or minimum luminance value at the boundary. And the area | region showing the said object is demarcated from the said target object image whose outline was emphasized by the said outline emphasis means by the 1st target object detection means. Further, by extracting the contour of the region representing the object along the pixels having the maximum value or the minimum value for each of the regions representing the defined object by the second object detection means. And defining a region representing the object.
このように、輪郭が強調された対象物画像から、対象物を表す領域を画定し、画定された対象物を表す領域の各々について、極大値又は極小値となる画素に沿って、対象物を表す領域の輪郭を抽出することにより、対象物を表す領域を精度よく画定することができる。 In this way, an area representing the object is defined from the object image with the contours emphasized, and the object is extracted along the pixels having the maximum value or the minimum value for each of the areas representing the defined object. By extracting the outline of the region to be represented, the region representing the object can be accurately defined.
本発明の前記対象物は、円状の輪郭を有し、前記第１対象物検出手段は、前記輪郭強調手段によって輪郭が強調された前記対象物画像から、円のハフ変換を用いて、前記対象物を表す領域を画定するようにすることができる。 The object of the present invention has a circular outline, and the first object detection means uses the Hough transform of a circle from the object image whose outline is emphasized by the outline enhancement means, An area representing the object may be defined.
本発明の前記第２対象物検出手段は、前記第１対象物検出手段によって画定された前記対象物を表す領域の各々について、マーカー制御型ｗａｔｅｒｓｈｅｄ変換を行って、前記対象物を表す領域の輪郭を抽出することにより、前記対象物を表す領域を画定するようにすることができる。 The second object detection unit of the present invention performs a marker-controlled watershed transformation on each of the regions representing the object defined by the first object detection unit, and outlines the region representing the object By extracting, a region representing the object can be defined.
また、本発明の前記輪郭強調手段は、複数の方向及び特定の波長に対応するガボールフィルタを用いて、前記対象物画像に対して、輪郭強調を行うようにすることができる。 Further, the contour emphasizing unit of the present invention can perform contour emphasis on the object image using a Gabor filter corresponding to a plurality of directions and specific wavelengths.
本発明の対象物検出装置は、前記第２対象物検出手段によって画定された前記対象物を表す領域に基づいて、前記対象物の数を計数する計数手段を更に含むようにすることができる。 The object detection apparatus of the present invention may further include a counting unit that counts the number of the objects based on an area representing the object defined by the second object detection unit.
本発明の対象物検出装置は、前記第２対象物検出手段によって画定された前記対象物を表す領域の各々について、各方向の輝度値変化の周波数特性を表す画像特徴量を抽出する画像特徴量抽出部と、前記第２対象物検出手段によって画定された前記対象物を表す領域の各々について、前記画像特徴量抽出部によって抽出された前記対象物を表す領域の前記画像特徴量に基づいて、前記対象物を分類する分類手段と、を更に含むようにすることができる。 The object detection apparatus according to the present invention extracts an image feature amount representing a frequency characteristic of a luminance value change in each direction for each of the regions representing the object defined by the second object detection means. For each of the regions representing the object defined by the extraction unit and the second object detection means, based on the image feature amount of the region representing the object extracted by the image feature amount extraction unit, Classification means for classifying the object.
上記の画像特徴量抽出部は、前記第２対象物検出手段によって画定された前記対象物を表す領域の各々について、複数の方向及び特定の波長に対応するガボールフィルタを用いて、前記画像特徴量を抽出するようにすることができる。 The image feature amount extraction unit uses the Gabor filter corresponding to a plurality of directions and specific wavelengths for each of the regions representing the target object defined by the second target object detection unit. Can be extracted.
上記の対象物を、細胞とすることができる。また、上記の対象物を、血液細胞とすることができる。 The object can be a cell. Moreover, said object can be used as a blood cell.
本発明のプログラムは、記録媒体に格納して提供することができる。 The program of the present invention can be provided by being stored in a recording medium.
以上説明したように、本発明の対象物検出装置及びプログラムによれば、撮像条件や対象物形状に対してロバストに対象物の輪郭を強調することができる。そして、輪郭が強調された対象物画像から、対象物を表す領域を画定し、画定された対象物を表す領域の各々について、極大値又は極小値となる画素に沿って、対象物を表す領域の輪郭を抽出することにより、対象物を表す領域を精度よく画定することができる、という効果が得られる。 As described above, according to the object detection device and program of the present invention, the contour of the object can be emphasized robustly with respect to the imaging conditions and the object shape. Then, an area representing the object is demarcated from the object image in which the contour is emphasized, and the area representing the object along each of the pixels representing the demarcated object along the pixel having the maximum value or the minimum value. By extracting the outline, the area representing the object can be accurately defined.
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、血液標本画像から、血液細胞をカウントし、分類する細胞検出装置に、本発明を適用した場合を例に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the present embodiment, a case where the present invention is applied to a cell detection device that counts and classifies blood cells from a blood sample image will be described as an example.
図１に示すように、本発明の実施の形態に係る細胞検出装置１０は、血液標本画像を入力として、血液細胞の数を計数すると共に、血液細胞を分類処理するコンピュータ１２と、その結果を表示させる出力部１４とを備えている。 As shown in FIG. 1, a cell detection apparatus 10 according to an embodiment of the present invention receives a blood sample image as an input, counts the number of blood cells, classifies the blood cells, and the result. And an output unit 14 to be displayed.
コンピュータ１２は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びＨＤＤを備え、ＨＤＤには、後述する細胞分類処理ルーチンに対するプログラムが記憶されている。 The computer 12 includes a CPU, a ROM, a RAM, and an HDD, and a program for a cell classification processing routine described later is stored in the HDD.
コンピュータ１２は、機能的には次に示すように構成されている。図１に示すように、コンピュータ１２は、画像取得部２０、輪郭強調部２２、細胞検出部２４、細胞領域分割部２６、重心比較部２８、領域結合部３０、細胞計数部３２、特徴量計算部３４、及び細胞分類部３６を備えている。なお、細胞検出部２４は、第１対象物検出手段の一例であり、細胞領域分割部２６、重心比較部２８、及び領域結合部３０は、第２対象物検出手段の一例である。 The computer 12 is functionally configured as follows. As shown in FIG. 1, the computer 12 includes an image acquisition unit 20, an outline enhancement unit 22, a cell detection unit 24, a cell region division unit 26, a centroid comparison unit 28, a region combination unit 30, a cell counting unit 32, and a feature amount calculation. A unit 34 and a cell classification unit 36 are provided. The cell detection unit 24 is an example of a first object detection unit, and the cell region division unit 26, the gravity center comparison unit 28, and the region combination unit 30 are examples of a second object detection unit.
図２に示すように、血中循環がん細胞をろ過するフィルタを用いて、血液をろ過し、撮像装置によって当該血液を撮像した、図３に示す血液標本画像が、オペレータによってコンピュータ１２に入力され、画像取得部２０は、血液標本画像を取得して、メモリに一時的に保存する。上記図３に示すように、血液標本画像では、血液細胞の外郭に沿って輝度値が低くなっている。血液細胞の基本形状は中心に凹み、凹型となっており、輝度値の変化はこの凹みの状況を表現するものである。 As shown in FIG. 2, blood is filtered using a filter that filters circulating cancer cells in the blood, and the blood sample image shown in FIG. Then, the image acquisition unit 20 acquires the blood sample image and temporarily stores it in the memory. As shown in FIG. 3 above, in the blood sample image, the luminance value decreases along the outline of the blood cell. The basic shape of the blood cell is recessed at the center and has a concave shape, and the change in luminance value represents the state of the recess.
輪郭強調部２２は、血液標本画像に対して、検出したい血液細胞（例えば、がん細胞）の大きさに応じた特定の波長、及び各方向に対応するガボールフィルタを用いて、輪郭強調を行う。 The contour emphasizing unit 22 performs contour emphasis on the blood sample image using a specific wavelength corresponding to the size of a blood cell (for example, cancer cell) to be detected and a Gabor filter corresponding to each direction. .
ここで、ガボールフィルタの式を以下に示す。 Here, the formula of the Gabor filter is shown below.
ただし、x,yは、2次元画像上の座標を示し、θは、平面波の方向を示し、λは、平面波の波長を示し、σx,σyは、ガウス曲面のx,y方向の標準偏差を示す。 Where x and y indicate coordinates on the two-dimensional image, θ indicates the direction of the plane wave, λ indicates the wavelength of the plane wave, and σ x and σ y are the standard in the x and y directions of the Gaussian surface Indicates the deviation.
ガボールフィルタは、ガウス関数によって形成されるガウス曲面と平面波で構成され、θを変数として方位性を変化させ、対象の方向性を算出することができる。また、平面波長によりバンドパスフィルタとしての機能を持つ。 The Gabor filter is composed of a Gaussian curved surface formed by a Gaussian function and a plane wave, and the directionality of the target can be calculated by changing the orientation with θ as a variable. Moreover, it has a function as a band pass filter by a plane wavelength.
輪郭強調部２２は、例えば、図４に示すように、血液標本画像に対して、検出したい血液細胞（例えば、がん細胞）の大きさに応じた特定の波長、及び各方向に対応するガボールフィルタを用いて、図５に示すような、方向成分を持ったガボールフィルタを畳み込み処理した画像を、各方向について取得し、各方向の画像を足し合わせることにより、図６に示すような画像を取得する。また、輪郭強調部２２は、各方向の画像を足し合わせた画像に対して、ノイズ除去を行うことで、ガボールフィルタによる特徴量空間の背景部からノイズを除去し、細胞輪郭を強調した輪郭強調画像を生成する。 For example, as shown in FIG. 4, the contour emphasizing unit 22 has a specific wavelength corresponding to the size of a blood cell (for example, a cancer cell) to be detected and a Gabor corresponding to each direction, for a blood sample image. Using the filter, an image obtained by convolving a Gabor filter having a direction component as shown in FIG. 5 is acquired for each direction, and the images shown in FIG. get. Further, the contour emphasizing unit 22 performs noise removal on the image obtained by adding the images in the respective directions, thereby removing noise from the background portion of the feature amount space by the Gabor filter and enhancing the contour emphasizing the cell contour. Generate an image.
細胞検出部２４は、輪郭強調部２２によって生成された輪郭強調画像に対して、円のハフ変換を用いて、細胞領域を画定する。 The cell detection unit 24 demarcates a cell region by using a Hough transform of a circle with respect to the contour enhancement image generated by the contour enhancement unit 22.
ここで、円のハフ変換を用いて細胞領域を画定する方法について説明する。 Here, a method for defining a cell region using the Hough transform of a circle will be described.
直交座標上の点(x,y)を通る全ての円は、円の中心点(x_center,y_center)と半径(radius)の３つのパラメータで表すことができる。ガボールフィルタで強調された輪郭強調画像の各エッジ点(xi,yi)に対して、その点を通る円の中心点と半径をパラメータとした3次元ハフ空間を求める。この3次元ハフ空間において最も多く円が通過するパラメータを求める。このパラメータを用いて、円形の細胞領域を画定する。 All circles passing through the point (x, y) on the Cartesian coordinates can be represented by three parameters, the center point (x_center, y_center) and radius (radius) of the circle. For each edge point (x i , y i ) of the contour-enhanced image emphasized by the Gabor filter, a three-dimensional Hough space is obtained with the center point and radius of the circle passing through that point as parameters. The parameter through which the circle passes most in this three-dimensional Hough space is obtained. This parameter is used to define a circular cell region.
細胞領域分割部２６は、細胞検出部２４による画定結果に基づいて、輪郭強調部２２によって生成された輪郭強調画像に対して、マーカー制御型watershed変換を用いて、領域分割を行って、細胞領域を画定する。 The cell region dividing unit 26 divides the region using the marker-controlled watershed transformation on the contour-enhanced image generated by the contour emphasizing unit 22 based on the demarcation result by the cell detection unit 24, and the cell region Is defined.
このとき、図７に示すように、細胞の輪郭部分は、輝度値が低いため、輪郭強調画像に対して、輝度値を反転させる処理を行って、図８に示すように、細胞領域の重心から背景領域までにおける輝度値変化において、輪郭部分の輝度値が極大値となる反転画像を生成する。 At this time, as shown in FIG. 7, the outline value of the cell has a low luminance value. Therefore, a process for inverting the luminance value is performed on the outline-enhanced image, and as shown in FIG. In the luminance value change from the background area to the background area, an inverted image is generated in which the luminance value of the contour portion becomes a maximum value.
そして、マーカー制御型watershed変換による画像の領域分割では、画素の輝度値を山の標高に見立て、極大値を尾根、極小値を谷として、谷に水を注入しダムになる箇所を見つけながら領域分割をする。このとき、細胞検出部２４によって検出された細胞領域の重心及び背景領域をマーカーとして選び、マーカー間で極大値となる画素に沿って領域分割を行う。 In the image segmentation by marker-controlled watershed transformation, the pixel brightness value is assumed to be the altitude of the mountain, the maximum value is the ridge, the minimum value is the valley, and water is injected into the valley to find the dam area. Divide. At this time, the center of gravity and the background region of the cell region detected by the cell detection unit 24 are selected as markers, and the region is divided along the pixels having the maximum value between the markers.
一般に、watershed変換による領域分割は過分割を生じる問題がある。そこで、輝度値の極小値をマーカーとして選び、極小値間の凹となっているところをマスキングし、watershed変換をすることで過分割を防ぐ。この変換により分割された領域から、細胞領域を検出し、また、検出された細胞領域の重心座標を求める。 In general, there is a problem that region division by watershed transformation causes excessive division. Therefore, the minimum value of the luminance value is selected as a marker, masking the concave portion between the minimum values, and watershed conversion is performed to prevent overdivision. A cell region is detected from the region divided by this conversion, and the barycentric coordinates of the detected cell region are obtained.
重心比較部２８は、細胞検出部２４によって画定された細胞領域の重心と、細胞領域分割部２６によって画定された細胞領域の重心とを比較する。 The centroid comparison unit 28 compares the centroid of the cell region defined by the cell detection unit 24 with the centroid of the cell region defined by the cell region dividing unit 26.
ここで、マーカー制御型watershed変換を用いて分割された領域の重心座標と、円のハフ変換で求めた重心座標とが異なる場合がある。また、マーカー制御型watershed変換を用いても過分割が生じるため、円のハフ変換で抽出された領域中に複数の重心座標が存在する場合がある。 Here, the center-of-gravity coordinates of the region divided using the marker-controlled watershed transform may differ from the center-of-gravity coordinates obtained by the Hough transform of the circle. In addition, even if marker-controlled watershed transformation is used, overdivision occurs, so there may be a plurality of barycentric coordinates in the region extracted by the Hough transformation of the circle.
そこで、本実施の形態では、領域結合部３０は、重心座標が異なる場合に、円のハフ変換の重心座標を採用し、watershed変換の重心座標を削除する。また、領域結合部３０は、円のハフ変換で抽出された領域中に複数の重心座標が存在する場合に、円のハフ変換で抽出された領域内に含まれるwatershedで領域分割された領域の重心座標を削除し、円のハフ変換の中心座標を採用する。これにより、watershed変換による過分割領域を結合する。一方、円のハフ変換は円形の細胞しか抽出することができないため、円のハフ変換で抽出された領域内に含まれないwatershed変換により得られた重心座標を残すと同時にその抽出された細胞領域も残す。 Therefore, in the present embodiment, when the barycentric coordinates are different, the region combining unit 30 adopts the barycentric coordinates of the Hough transform of the circle and deletes the barycentric coordinates of the watershed transform. In addition, when there are a plurality of barycentric coordinates in the region extracted by the Hough transform of the circle, the region combining unit 30 is configured to display the region divided by the watershed included in the region extracted by the Hough transform of the circle. The center of gravity coordinates are deleted, and the center coordinates of the Hough transform of the circle are adopted. As a result, the over-divided regions by watershed transformation are combined. On the other hand, since the Hough transform of a circle can only extract circular cells, the extracted cell region at the same time leaves the barycentric coordinates obtained by the watershed transform not included in the region extracted by the circle Hough transform. Also leave.
細胞計数部３２は、領域結合部３０によって得られた細胞領域に基づいて、血液細胞の数を計数する。 The cell counting unit 32 counts the number of blood cells based on the cell region obtained by the region combining unit 30.
本実施の形態では、図９に示すように、円のハフ変換と、watershed変換とを組み合わせることで、各々欠点を補う。また、円のハフ変換とwatershed変換の両手法ともコントラストの変化に弱いため、ガボールフィルタによる輪郭強調により、欠点を補うことができる。 In the present embodiment, as shown in FIG. 9, each defect is compensated by combining a circle Hough transform and a watershed transform. In addition, since both the Hough transform and the watershed transform of the circle are vulnerable to changes in contrast, the defect can be compensated for by contour enhancement using a Gabor filter.
特徴量計算部３４は、領域結合部３０によって得られた細胞領域の各々について、画像特徴量を計算する。 The feature amount calculation unit 34 calculates an image feature amount for each of the cell regions obtained by the region combination unit 30.
例えば、輪郭強調部２２で用いたガボールフィルタのある閾値で2値化したものを用いて、以下の式に従って、細胞領域について、ある座標（ｘ、ｙ）における全方位の濃淡差の分散を表す画像特徴量Ｇv（ｘ、ｙ）を計算する。 For example, using a Gabor filter binarized with a certain threshold value used in the contour emphasizing unit 22, the variance of light and shade differences in all directions at a certain coordinate (x, y) is expressed for a cell region according to the following formula. The image feature amount G v (x, y) is calculated.
ただし、x,yは、2次元画像上の座標を示し、iは、ガボールフィルタの方位選択成分を示し、Ｇは、ガボールフィルタを示し、Ｇ’は、ガボールフィルタをある閾値で2値化したものを示し、Iは、入力画像を示す。また、Ｇh、Ｇwは、ガボールフィルタの窓幅を示す。また、ｄは方位分割数を示す。￣Ｃ’l（ｘ、ｙ）は、注目画素（ｘ、ｙ）のＣ’i（ｘ、ｙ）の平均値を示す。 Where x and y indicate coordinates on a two-dimensional image, i indicates a direction selection component of the Gabor filter, G indicates a Gabor filter, and G ′ binarizes the Gabor filter with a certain threshold. I represents the input image. G h and G w indicate the window width of the Gabor filter. D indicates the number of orientation divisions. ￣C ′ l (x, y) represents an average value of C ′ i (x, y) of the target pixel (x, y).
また、輪郭強調部２２で用いたガボールフィルタを用いて、以下の式に従って、細胞領域について、方向ｉ毎に、方向ｉの方位選択成分を表す画像特徴量Ｃi（ｘ、ｙ）を計算すると共に、全ての方位成分を加算した画像特徴量Ｃｄ（ｘ、ｙ）を計算する Further, using the Gabor filter used in the contour emphasizing unit 22, the image feature amount C i (x, y) representing the direction selection component in the direction i is calculated for each direction i for the cell region according to the following formula. At the same time, the image feature amount C d (x, y) obtained by adding all the orientation components is calculated
細胞分類部３６は、領域結合部３０によって得られた細胞領域の各々について、特徴量計算部３４によって計算された画像特徴量に基づいて、分類を行う。 The cell classification unit 36 classifies each of the cell regions obtained by the region combination unit 30 based on the image feature amount calculated by the feature amount calculation unit 34.
例えば、図１０に示すように、細胞領域ｌの各々について、画像特徴量Ｇd（ｘ、ｙ）から抽出される特徴量をＣ1（ｌ）としたとき、以下の式を満たす細胞の個体を、変形血液細胞として分類する。
ただし、σ1は、全細胞のＣ1の標準偏差である。
また、細胞領域ｌの各々について、画像特徴量Ｇv（ｘ、ｙ）から抽出される特徴量をＣ2（ｌ）としたとき、以下の式を満たす細胞の個体を、変形血液細胞又はがん細胞として分類する。
ただし、σ2は、全細胞のＣ2の標準偏差であり、Ｓ（ｌ）は、ｌ番目の細胞の面積であり、￣Ｓは、全細胞の面積の平均である。
そして、上記の分類結果の差分から、がん細胞を分類する。
For example, as shown in FIG. 10, for each cell region l, an individual cell satisfying the following expression is represented by C 1 (l) as the feature amount extracted from the image feature amount G d (x, y). Are classified as deformed blood cells.
Where σ 1 is the standard deviation of C 1 for all cells.
Further, for each cell region l, when the feature quantity extracted from the image feature quantity G v (x, y) is C 2 (l), an individual cell that satisfies the following formula is expressed as a deformed blood cell or Classified as cancer cells.
Where σ 2 is the standard deviation of C 2 of all cells, S (l) is the area of the l-th cell, and ￣S is the average of the area of all cells.
And a cancer cell is classified from the difference of said classification result.
出力部１４は、細胞の計数結果及び分類結果を出力する。 The output unit 14 outputs the cell counting result and the classification result.
次に、本実施の形態に係る細胞検出装置１０の作用について説明する。 Next, the operation of the cell detection device 10 according to the present embodiment will be described.
まず、オペレータが、血液標本画像を撮像し、撮像された血液標本画像を、コンピュータ１２に入力する。 First, the operator captures a blood sample image and inputs the captured blood sample image to the computer 12.
コンピュータ１２は、オペレータから、血液細胞を計数し分類するように指示が入力されると、図１１に示す細胞分類処理ルーチンが実行される。 When an instruction is input from the operator to count and classify blood cells, the computer 12 executes a cell classification processing routine shown in FIG.
まず、ステップ１００で、入力された血液標本画像（図１２（Ａ）参照）を取得して、メモリに一時的に格納する。そして、ステップ１０２において、血液標本画像に対して、ガボールフィルタを用いたフィルタ処理を行うと共に、ノイズ除去を行って、輪郭強調画像を生成する。 First, in step 100, the input blood sample image (see FIG. 12A) is acquired and temporarily stored in the memory. In step 102, the blood sample image is subjected to filter processing using a Gabor filter and noise is removed to generate a contour-enhanced image.
次のステップ１０４では、上記ステップ１０２で得られた輪郭強調画像を反転させた画像に対して、円のハフ変換を用いて、細胞領域を各々画定すると共に（図１２（Ｂ）参照）、細胞領域の各々の重心を算出する。 In the next step 104, cell regions are defined for each of the images obtained by inverting the contour-enhanced image obtained in step 102 using a circular Hough transform (see FIG. 12B), and the cells The center of gravity of each region is calculated.
そして、ステップ１０６では、上記ステップ１０４で画定された細胞領域の各々の重心と背景領域をマーカーとし、マーカー制御型ｗａｔｅｒｓｈｅｄ変換を用いて、輪郭強調画像を反転させた画像に対して、領域分割を行い、細胞領域を各々画定する（図１３（Ａ）参照）。 In step 106, the center of gravity and the background region of each cell region defined in step 104 are used as markers, and the region is divided into the image obtained by inverting the contour-enhanced image using marker-controlled watershed transformation. This is done to define each cell region (see FIG. 13A).
次のステップ１０８では、上記ステップ１０４で画定された細胞領域の各々の重心と、上記ステップ１０６で画定された細胞領域の各々の重心とを比較する（図１３（Ｂ）参照）。ステップ１１０では、上記ステップ１０８の比較結果に基づいて、上記ステップ１０６における過分割領域を結合する（図１４（Ａ）、（Ｂ）参照）。 In the next step 108, the centroid of each cell region defined in step 104 is compared with the centroid of each cell region defined in step 106 (see FIG. 13B). In step 110, based on the comparison result in step 108, the over-divided areas in step 106 are combined (see FIGS. 14A and 14B).
そして、ステップ１１２において、上記ステップ１０８で得られた細胞領域に基づいて、血液細胞の数を計数する。ステップ１１４では、上記ステップ１０８で得られた細胞領域の各々について、ガボールフィルタによる画像特徴量を計算する。 In step 112, the number of blood cells is counted based on the cell region obtained in step 108. In step 114, an image feature amount by a Gabor filter is calculated for each of the cell regions obtained in step 108.
次のステップ１１６では、上記ステップ１０８で得られた細胞領域の各々について、上記ステップ１１４で計算された画像特徴量に基づいて、異常細胞であるか否かを分類する。そして、ステップ１１８において、上記ステップ１１２の計数結果、及び上記ステップ１１６の分類結果を出力部１４により出力して、細胞分類処理ルーチンを終了する。 In the next step 116, each cell region obtained in step 108 is classified based on the image feature amount calculated in step 114 as to whether it is an abnormal cell. In step 118, the counting result in step 112 and the classification result in step 116 are output by the output unit 14, and the cell classification processing routine is terminated.
次に、上記の実施の形態で説明した手法を評価するための実験結果について説明する。 Next, experimental results for evaluating the method described in the above embodiment will be described.
まず、血液中に人為的にがん細胞を加えた画像に対して、細胞分類処理を行った結果を図１５に示す。 First, FIG. 15 shows the result of cell classification processing performed on an image in which cancer cells are artificially added to blood.
上記の実施の形態で説明した手法による検出数は、混合比に着目すると、線形的に増加していることから、細胞の分割領域形状や検出精度が正確であることがわかる。 The number of detections by the method described in the above embodiment increases linearly when paying attention to the mixing ratio, and it can be seen that the cell division region shape and the detection accuracy are accurate.
また、細胞数の計数、異常細胞の分類結果について、図１６に示す。 FIG. 16 shows the cell count and abnormal cell classification results.
上記の実施の形態で説明した手法は、図１６からわかるように細胞数の計数、異常細胞の検出において優れていることがわかる。 As can be seen from FIG. 16, the method described in the above embodiment is excellent in counting the number of cells and detecting abnormal cells.
以上説明したように、本発明の実施の形態に係る細胞検出装置によれば、輪郭が強調された血液標本画像から、円のハフ変換を用いて、大まかに細胞領域を画定し、画定された細胞領域の各々について、マーカー制御型ｗａｔｅｒｓｈｅｄ変換を用いて、細胞領域の重心から背景領域までにおける輝度値変化において極大値となる画素に沿って、細胞領域の輪郭を抽出することにより、細胞領域を精度よく画定することができる。 As described above, according to the cell detection device according to the embodiment of the present invention, the cell region is roughly defined by using the Hough transform of the circle from the blood sample image whose contour is emphasized. For each cell region, by using marker-controlled watershed transformation, the cell region is extracted by extracting the contour of the cell region along the pixel that has the maximum value in the luminance value change from the center of gravity of the cell region to the background region. It can be defined with high accuracy.
また、マーカー制御型ｗａｔｅｒｓｈｅｄ変換を用いた領域分割では、大まかな細胞の重心と、背景領域と、細胞の輪郭が最も暗いという輝度構造とを特徴として用いているため、細胞領域を精度よく画定することができる。 In addition, the region segmentation using marker-controlled watershed transformation is characterized by a rough cell center of gravity, a background region, and a luminance structure with the darkest cell outline, so that the cell region is accurately defined. be able to.
また、円のハフ変換を用いているため、滑らか細胞外郭を得ることができる。また、細胞領域に含まれたノイズ除去が行われるため、検出された細胞形状の精度が向上する。これによって、細胞の特徴量抽出精度が向上し、細胞の正確な分類が可能となる。 Moreover, since the Hough transform of the circle is used, a smooth cell outline can be obtained. In addition, since the noise contained in the cell region is removed, the accuracy of the detected cell shape is improved. This improves the accuracy of cell feature extraction and enables accurate classification of cells.
また、フィルタ後の血液細胞の細胞数を自動的にカウントすることができる。 In addition, the number of blood cells after filtering can be automatically counted.
なお、上記の実施の形態では、細胞検出部が、円のハフ変換を用いて、細胞領域を画定している場合を例に説明したが、これに限定されるものではなく、細胞検出部が、距離変換による細胞分割法を用いて、細胞領域を画定するようにしてもよい。 In the above embodiment, the case where the cell detection unit defines the cell region using the Hough transform of the circle has been described as an example. However, the present invention is not limited to this, and the cell detection unit The cell region may be defined using a cell division method by distance conversion.
また、血液細胞の輪郭で輝度値が極小値となる血液標本画像が入力される場合を例に説明したが、これに限定されるものではなく、血液細胞の輪郭で輝度値が極大値となる血液標本画像が入力されてもよい。この場合には、輪郭強調画像の輝度値を反転させずに、マーカー制御型ｗａｔｅｒｓｈｅｄ変換をかければよい。 Further, the case where a blood sample image having a minimum luminance value at the contour of the blood cell is input has been described as an example. However, the present invention is not limited to this, and the luminance value is maximum at the contour of the blood cell. A blood sample image may be input. In this case, it is only necessary to perform marker-controlled watershed conversion without inverting the luminance value of the contour-enhanced image.
また、血液細胞の領域を画定する場合を例に説明したが、これに限定されるものではなく、血液細胞以外の細胞の領域を画定する技術に、本発明を適用してもよい。また、細胞以外の対象物の領域を画定する技術に、本発明を適用してもよい。例えば、円状の輪郭を有する対象物の領域を画定するようにしてもよい。この場合には、対象物を表す領域の重心から背景領域までにおける輝度値変化において極大値又は極小値となる対象物画像を入力とすればよい。 Moreover, although the case where the area | region of the blood cell was defined was demonstrated to the example, it is not limited to this, You may apply this invention to the technique which defines the area | region of cells other than a blood cell. Further, the present invention may be applied to a technique for defining a region of an object other than cells. For example, a region of an object having a circular outline may be defined. In this case, an object image that has a maximum value or a minimum value in a luminance value change from the center of gravity of the area representing the object to the background area may be input.
１０ 細胞検出装置
１２ コンピュータ
１４ 出力部
２０ 画像取得部
２２ 輪郭強調部
２４ 細胞検出部
２６ 細胞領域分割部
２８ 重心比較部
３０ 領域結合部
３２ 細胞計数部
３４ 特徴量計算部
３６ 細胞分類部
DESCRIPTION OF SYMBOLS 10 Cell detection apparatus 12 Computer 14 Output part 20 Image acquisition part 22 Outline emphasis part 24 Cell detection part 26 Cell area division | segmentation part 28 Center of gravity comparison part 30 Area | region coupling | bond part 32 Cell count part 34 Feature-value calculation part 36 Cell classification part
Claims (10)
輪郭が強調された前記対象物画像から、前記対象物を表す領域を画定する第１対象物検出手段と、
画定された前記対象物を表す領域の各々について、前記極大値又は前記極小値となる画素に沿って、前記対象物を表す領域の輪郭を抽出する第２対象物検出手段と、
を含む対象物検出装置。 The object image includes the object, and the luminance value at the boundary between the object region and the background region in the luminance value change from the center of gravity of the object region regarded as the object to the background region is a maximum value or a minimum value. Contour enhancement means for performing contour enhancement on the object image having a value;
First object detection means for demarcating a region representing the object from the object image with an enhanced outline;
Second object detection means for extracting an outline of the area representing the object along each pixel representing the maximum value or the minimum value for each of the areas representing the defined object;
An object detection apparatus including:
前記第１対象物検出手段は、前記輪郭強調手段によって輪郭が強調された前記対象物画像から、円のハフ変換を用いて、前記対象物を表す領域を画定する請求項１記載の対象物検出装置。 The object has a circular outline;
2. The object detection according to claim 1, wherein the first object detection unit defines a region representing the object by using a Hough transform of a circle from the object image whose contour is emphasized by the contour enhancement unit. apparatus.
前記第２対象物検出手段によって画定された前記対象物を表す領域の各々について、前記画像特徴量抽出部によって抽出された前記対象物を表す領域の前記画像特徴量に基づいて、前記対象物を分類する分類手段と、
を更に含む請求項１〜請求項５の何れか１項記載の対象物検出装置。 An image feature amount extraction unit that extracts an image feature amount representing a frequency characteristic of a luminance value change in each direction for each of the regions representing the object defined by the second object detection unit;
For each of the regions representing the object defined by the second object detection means, the object is determined based on the image feature amount of the region representing the object extracted by the image feature amount extraction unit. A classification means for classifying;
The object detection apparatus according to any one of claims 1 to 5, further comprising:
対象物が含まれる対象物画像であって、前記対象物とみなされる対象物領域の重心から背景領域までにおける輝度値変化において該対象物領域と背景領域との境界の輝度値が極大値又は極小値を有する前記対象物画像に対して輪郭強調を行う輪郭強調手段、
輪郭が強調された前記対象物画像から、前記対象物を表す領域を画定する第１対象物検出手段、及び
画定された前記対象物を表す領域の各々について、前記極大値又は前記極小値となる画素に沿って、前記対象物を表す領域の輪郭を抽出する第２対象物検出手段
として機能させるためのプログラム。 Computer
The object image includes the object, and the luminance value at the boundary between the object region and the background region in the luminance value change from the center of gravity of the object region regarded as the object to the background region is a maximum value or a minimum value. Contour enhancement means for performing contour enhancement on the object image having a value;
The maximum value or the minimum value is obtained for each of the first object detection means for defining the region representing the object and the region representing the defined object from the object image in which the contour is emphasized. The program for functioning as a 2nd target object detection means which extracts the outline of the area | region showing the said target object along a pixel.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014252388A JP6544763B2 (en) | 2014-12-12 | 2014-12-12 | Object detection device and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014252388A JP6544763B2 (en) | 2014-12-12 | 2014-12-12 | Object detection device and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016115084A true JP2016115084A (en) | 2016-06-23 |
| JP6544763B2 JP6544763B2 (en) | 2019-07-17 |
Family
ID=56142037
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014252388A Expired - Fee Related JP6544763B2 (en) | 2014-12-12 | 2014-12-12 | Object detection device and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6544763B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018135701A1 (en) * | 2017-01-20 | 2018-07-26 | 인스페이스 | Device and method for correcting position of reference position marker |
| WO2019008753A1 (en) * | 2017-07-07 | 2019-01-10 | 暢 長坂 | Image analysis device |
| CN109490904A (en) * | 2018-11-15 | 2019-03-19 | 上海炬佑智能科技有限公司 | Time-of-flight sensor and its detection method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08206117A (en) * | 1994-05-27 | 1996-08-13 | Fujitsu Ltd | Ultrasonic diagnostic apparatus |
| WO2006080239A1 (en) * | 2005-01-31 | 2006-08-03 | Olympus Corporation | Image processing device, microscope system, and area specification program |
| JP2008257353A (en) * | 2007-04-02 | 2008-10-23 | Advanced Telecommunication Research Institute International | Learning system for learning visual representation of object, and computer program |
| JP2008545959A (en) * | 2005-05-25 | 2008-12-18 | スティフテルセン ウニヴェルジテーツフォルスクニング ベルゲン | MICROSCOPE DEVICE AND SCREENING METHOD FOR PHARMACEUTICAL, PHYSOTHERAPY AND BIOLOGICAL HAZARDOUS MATERIALS |
| WO2009031283A1 (en) * | 2007-09-03 | 2009-03-12 | Nikon Corporation | Culture apparatus, culture information management method, and program |
-
2014
- 2014-12-12 JP JP2014252388A patent/JP6544763B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08206117A (en) * | 1994-05-27 | 1996-08-13 | Fujitsu Ltd | Ultrasonic diagnostic apparatus |
| WO2006080239A1 (en) * | 2005-01-31 | 2006-08-03 | Olympus Corporation | Image processing device, microscope system, and area specification program |
| JP2008545959A (en) * | 2005-05-25 | 2008-12-18 | スティフテルセン ウニヴェルジテーツフォルスクニング ベルゲン | MICROSCOPE DEVICE AND SCREENING METHOD FOR PHARMACEUTICAL, PHYSOTHERAPY AND BIOLOGICAL HAZARDOUS MATERIALS |
| JP2008257353A (en) * | 2007-04-02 | 2008-10-23 | Advanced Telecommunication Research Institute International | Learning system for learning visual representation of object, and computer program |
| WO2009031283A1 (en) * | 2007-09-03 | 2009-03-12 | Nikon Corporation | Culture apparatus, culture information management method, and program |
Non-Patent Citations (1)
| Title |
|---|
| 金谷 典武、白井 良明: ""エネルギー最小化原理を利用した角膜内皮細胞の抽出"", 電子情報通信学会論文誌, vol. 80, no. 7, JPN6018040021, 25 July 1997 (1997-07-25), JP, pages 1705 - 1711, ISSN: 0003896911 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018135701A1 (en) * | 2017-01-20 | 2018-07-26 | 인스페이스 | Device and method for correcting position of reference position marker |
| WO2019008753A1 (en) * | 2017-07-07 | 2019-01-10 | 暢 長坂 | Image analysis device |
| US11257212B2 (en) | 2017-07-07 | 2022-02-22 | Toru Nagasaka | Image analysis device |
| CN109490904A (en) * | 2018-11-15 | 2019-03-19 | 上海炬佑智能科技有限公司 | Time-of-flight sensor and its detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6544763B2 (en) | 2019-07-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106651872B (en) | Pavement crack identification method and system based on Prewitt operator | |
| EP2811423B1 (en) | Method and apparatus for detecting target | |
| JP4528309B2 (en) | Object detection method, object detection apparatus, and object detection program | |
| KR101856401B1 (en) | Method, apparatus, storage medium, and device for processing lane line data | |
| JP5376906B2 (en) | Feature amount extraction device, object identification device, and feature amount extraction method | |
| Gomez et al. | Traffic lights detection and state estimation using hidden markov models | |
| CN111882568B (en) | Fire image edge extraction processing method, terminal and system | |
| CN109636824A (en) | A kind of multiple target method of counting based on image recognition technology | |
| US8686892B2 (en) | Synthetic aperture radar chip level cross-range streak detector | |
| US10521659B2 (en) | Image processing device, image processing method, and image processing program | |
| Shaikh et al. | A novel approach for automatic number plate recognition | |
| JP2016115084A (en) | Object detection device and program | |
| CN108520252B (en) | Road sign identification method based on generalized Hough transform and wavelet transform | |
| Vromen et al. | Red blood cell segmentation from SEM images | |
| Oprisescu et al. | Automatic pap smear nuclei detection using mean-shift and region growing | |
| Mokayed et al. | Car plate detection engine based on conventional edge detection technique | |
| Zingman et al. | Detection of texture and isolated features using alternating morphological filters | |
| Rahman et al. | An hierarchical approach towards road image segmentation | |
| Abhinav et al. | Image segmentation of multi-shaped overlapping objects | |
| WO2014181024A1 (en) | Computer-implemented method for recognising and classifying abnormal blood cells, and computer programs for performing the method | |
| Muzammil et al. | Application of image processing techniques for the extraction of vehicle number plates over ARM target board | |
| Nasonov et al. | Edge width estimation for defocus map from a single image | |
| Gim et al. | A novel framework for white blood cell segmentation based on stepwise rules and morphological features | |
| CN112329556A (en) | Traffic sign detection method and device, electronic equipment and storage medium | |
| KR20100018734A (en) | Method and apparatus for discriminating dangerous object in dead zone by using image processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171027 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181005 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181016 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190612 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6544763 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |