JP2017194879A - Image processing method, image processing apparatus, and image processing program - Google Patents
Image processing method, image processing apparatus, and image processing program Download PDFInfo
- Publication number
- JP2017194879A JP2017194879A JP2016085756A JP2016085756A JP2017194879A JP 2017194879 A JP2017194879 A JP 2017194879A JP 2016085756 A JP2016085756 A JP 2016085756A JP 2016085756 A JP2016085756 A JP 2016085756A JP 2017194879 A JP2017194879 A JP 2017194879A
- Authority
- JP
- Japan
- Prior art keywords
- image
- data
- black data
- circle
- shape
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
Abstract
Description
本発明は、ウェルに設けられた多数の窪みに保持された撮像対象物(スフェロイド等)を撮像することによって得られる撮像画像を処理する方法に関する。 The present invention relates to a method for processing a picked-up image obtained by picking up an image pickup object (spheroid or the like) held in a number of depressions provided in a well.
従来より、医療・創薬などの分野において、「マイクロプレート」,「ウェルプレート」などと呼ばれる試料容器で培養された細胞等を試料として観察することが行われている。そのような試料容器にはウェルと呼ばれるくぼみ状の複数の試料収納部が形成されており、一般に試料は液体状の培地とともにウェルに注入されている。近年、そのような試料をCCDカメラ等を搭載した撮像装置によって撮像し、撮像によって得られた画像データを用いて試料を観察することが行われている。例えば、がんの創薬研究において、培地としての液体(培養液)とともにウェルに注入されたがん細胞を撮像装置で撮像することによって、がん細胞の観察や分析がなされている。 2. Description of the Related Art Conventionally, in the fields of medicine and drug discovery, observation of cells cultured in sample containers called “microplates”, “wellplates” and the like as samples is performed. In such a sample container, a plurality of hollow sample storage portions called wells are formed. In general, a sample is injected into a well together with a liquid medium. In recent years, such a sample has been imaged by an imaging device equipped with a CCD camera or the like, and the sample is observed using image data obtained by imaging. For example, in cancer drug discovery research, cancer cells are observed and analyzed by imaging cancer cells injected into a well together with a liquid (culture solution) as a medium using an imaging device.
また、近年、マイクロスフェロイドアレイ(微小なスフェロイド(細胞のかたまり)を規則的に配列したもの)を形成することができるよう各ウェルの底部に多数の窪部(窪み)を設けた構成の「マイクロスフェロイドアレイプレート」などと呼ばれる試料容器が用いられることもある。再生医療の分野では、均一なサイズのスフェロイドを大量に生成する必要があるので、このマイクロスフェロイドアレイプレートを用いて細胞の培養が行われる。そのスフェロイドの生成過程において、各スフェロイドの生育状態を観察して観察結果を定量化することによって、スフェロイドの品質管理が行われる。その際、マイクロスフェロイドアレイを撮像装置で撮像することによって得られた撮像画像をコンピュータを用いて解析することにより、各スフェロイドのサイズ(直径あるいは面積)や真円度が測定され、マイクロスフェロイドアレイ全体でのヒストグラムが作成される。そして、ヒストグラムの特性に基づいて、スフェロイドの生育状態の判断が行われる。 In recent years, a microspheroid array (a microarray of spheroids (cell clusters) regularly arranged) has been provided with a large number of depressions (dents) at the bottom of each well. A sample container called “spheroid array plate” or the like may be used. In the field of regenerative medicine, since it is necessary to generate a large amount of spheroids of uniform size, cells are cultured using this microspheroid array plate. In the production process of the spheroids, quality control of the spheroids is performed by observing the growth state of each spheroid and quantifying the observation results. At that time, the size (diameter or area) and roundness of each spheroid are measured by analyzing the captured image obtained by imaging the microspheroid array with an imaging device, and the entire microspheroid array A histogram is created at. Based on the characteristics of the histogram, the growth state of the spheroid is determined.
図23は、多数の窪部を含むウェルを撮像することによって得られた撮像画像の一例を示す図である。図23より、撮像画像には多数の黒い輪が含まれていることが把握される。これらの黒い輪は、ウェルの窪部の壁面(以下、「窪部壁面」という。)を表している。なお、窪部壁面がこのように黒い輪として撮像される理由は、窪部壁面が上方に広がったテーパ状になっているからである。 FIG. 23 is a diagram illustrating an example of a captured image obtained by imaging a well including a large number of depressions. From FIG. 23, it can be understood that the captured image includes a large number of black rings. These black rings represent the wall surface of the well recess (hereinafter referred to as the “depression wall surface”). The reason why the wall surface of the depression is imaged as a black ring in this way is that the wall surface of the depression is tapered upward.
スフェロイドは、マイクロスフェロイドアレイプレートの各ウェルの窪部で成長する。そのスフェロイドの成長過程においてマイクロスフェロイドアレイを撮像した際、上述のように窪部壁面が黒い輪として撮像されることから、撮像画像においてスフェロイドと窪部壁面とを区別することが困難な場合がある。これについて、図24〜図27を参照しつつ、以下に説明する。 Spheroids grow in the wells of each well of the microspheroid array plate. When the microspheroid array is imaged during the growth process of the spheroid, the depression wall surface is imaged as a black ring as described above, so it may be difficult to distinguish the spheroid and depression wall surface in the captured image. . This will be described below with reference to FIGS.
図24は、多数の窪部を含むウェルを撮像することによって得られた撮像画像(例えば図23に示したような撮像画像)の一部を模式的に示した図である。図24に示す撮像画像は、6つの窪部に対応する撮像画像である。1つの窪部に対応する撮像画像に着目すると、例えば図25に示すように、撮像画像には窪部壁面を表す画像7とスフェロイドを表す画像8とが含まれている。このような撮像画像に関し、画像全体の明るさやスフェロイドを表す画像8の大きさ・濃さなどによっては、スフェロイドと窪部壁面とを区別することが困難となる。また、例えば図26に示すように、撮像画像において窪部壁面を表す画像7とスフェロイドを表す画像8とが接触している場合もある。このような場合、スフェロイドの外縁を特定することが難しいためスフェロイドのサイズの測定が困難となる。さらに、画像の濃淡むら等に起因して、窪部壁面を表す画像7が例えば図27で符号9で示す部分のように閉じた輪(黒い輪)を形成していない場合もある。このような画像の存在は、汎用的な画像処理を行うことを困難にしている。
FIG. 24 is a diagram schematically showing a part of a captured image (for example, a captured image as shown in FIG. 23) obtained by capturing an image of a well including a large number of depressions. The captured image shown in FIG. 24 is a captured image corresponding to six depressions. Focusing on the captured image corresponding to one depression, for example, as shown in FIG. 25, the captured image includes an
そこで、従来においては、スフェロイドを表す画像8よりも窪部壁面を表す画像7の方が充分に濃い(黒い)場合、撮像画像から一定以上の濃さ(黒さ)を有する部分のデータを除去することによって、撮像画像からスフェロイドを表す画像8が抽出されている。
Therefore, conventionally, when the
なお、マイクロスフェロイドアレイプレートの構成例は、例えば特開2014−79223号公報や国際公開2013/042360号パンフレットに開示されている。 In addition, the structural example of a microspheroid array plate is disclosed by Unexamined-Japanese-Patent No. 2014-79223 and international publication 2013/042360 pamphlet, for example.
上述のように、従来においては、撮像画像から一定以上の濃さ(黒さ)を有する部分のデータを除去することによって、ウェル内の各窪部に保持されているスフェロイドを表す画像8が撮像画像から抽出されていた。ところが、窪部壁面を表す画像7とスフェロイドを表す画像8とが同程度の濃さ(黒さ)を有している場合がある。このような場合、上述の手法によれば、窪部壁面を表す画像7が撮像画像から除去されるだけでなく、スフェロイドを表す画像8も撮像画像から除去される。従って、撮像画像からスフェロイドを表す画像8が抽出されない。以上のように、窪部壁面を表す画像7とスフェロイドを表す画像8とが同程度の濃さ(黒さ)を有している場合には、窪部壁面を表す画像7とスフェロイドを表す画像8とを分離して撮像画像からスフェロイドを表す画像8のみを抽出することは困難である。
As described above, conventionally, an
そこで、本発明は、マイクロスフェロイドアレイを撮像することによって得られた撮像画像からスフェロイドの色の濃さに関わらずスフェロイドの画像のみを抽出する画像処理方法を提供することを目的とする。 Therefore, an object of the present invention is to provide an image processing method for extracting only a spheroid image from a captured image obtained by imaging a microspheroid array, regardless of the color density of the spheroid.
第1の発明は、撮像対象物を保持するための複数の窪部を有するウェルを撮像することによって得られた撮像画像を処理する画像処理方法であって、
前記撮像画像に対して2値化処理を施すことによって黒データと白データとからなる2値化画像を生成する2値化ステップと、
前記2値化画像のうち黒データによって囲まれた白データを黒データに変換することによって第1画像を生成する第1画像生成ステップと、
前記2値化画像と前記第1画像との排他的論理和を求め、結果が真であるデータを黒データに対応付けるとともに結果が偽であるデータを白データに対応付けた第2画像を生成する第2画像生成ステップと、
前記第2画像のうち黒データによって囲まれた白データを黒データに変換することによって第3画像を生成する第3画像生成ステップと、
前記撮像画像のうち前記第3画像を構成する黒データが存在する領域の画像のみを抽出する画像抽出ステップと
を含むことを特徴とする。
A first invention is an image processing method for processing a captured image obtained by imaging a well having a plurality of depressions for holding an imaging target,
A binarization step of generating a binarized image composed of black data and white data by performing binarization processing on the captured image;
A first image generation step of generating a first image by converting white data surrounded by black data in the binarized image into black data;
An exclusive OR of the binarized image and the first image is obtained, and a second image in which data with a true result is associated with black data and data with a false result is associated with white data is generated. A second image generation step;
A third image generation step of generating a third image by converting white data surrounded by black data in the second image into black data;
And an image extracting step of extracting only an image of an area where black data constituting the third image exists in the captured image.
第2の発明は、第1の発明において、
前記第3画像生成ステップでは、黒データによって囲まれた白データを黒データに変換する前に、各窪部に対応する第2画像の外縁の形状が円形でない場合に当該外縁の形状を円形に補正する円補正処理が行われることを特徴とする。
According to a second invention, in the first invention,
In the third image generation step, if the shape of the outer edge of the second image corresponding to each recess is not circular before the white data surrounded by the black data is converted to black data, the shape of the outer edge is made circular. A circle correction process for correction is performed.
第3の発明は、第2の発明において、
前記円補正処理は、黒データの領域と白データの領域との境界点にハフ変換を施すことによって円を抽出し、各窪部に対応する第2画像の外縁の形状をその抽出した円の形状に補正することを特徴とする。
According to a third invention, in the second invention,
The circle correction process extracts a circle by performing a Hough transform on a boundary point between a black data area and a white data area, and the shape of the outer edge of the second image corresponding to each recess is extracted from the extracted circle. The shape is corrected.
第4の発明は、第2の発明において、
前記円補正処理は、画像領域を内部領域と外部領域との分離する円形分離度フィルタを用いて分離度を求めることによって円を抽出し、各窪部に対応する第2画像の外縁の形状をその抽出した円の形状に補正することを特徴とする。
According to a fourth invention, in the second invention,
In the circle correction process, a circle is extracted by obtaining a separation degree using a circular separation degree filter that separates an image area into an inner area and an outer area, and the shape of the outer edge of the second image corresponding to each depression is obtained. The extracted circle shape is corrected.
第5の発明は、第2の発明において、
前記円補正処理は、各窪部につき第2画像を構成する全ての黒データを含む最小の円を抽出し、各窪部に対応する第2画像の外縁の形状をその抽出した円の形状に補正することを特徴とする。
According to a fifth invention, in the second invention,
The circle correction process extracts a minimum circle including all black data constituting the second image for each recess, and changes the shape of the outer edge of the second image corresponding to each recess to the shape of the extracted circle. It is characterized by correcting.
第6の発明は、第2から第5までのいずれかの発明において、
前記第1画像生成ステップでは、黒データによって囲まれた白データを黒データに変換する前に、各窪部に対応する2値化画像の外縁の形状が円形でない場合に当該外縁の形状を円形に補正する円補正処理が行われることを特徴とする。
A sixth invention is the invention according to any one of the second to fifth inventions,
In the first image generation step, if the shape of the outer edge of the binarized image corresponding to each depression is not circular before the white data surrounded by the black data is converted to black data, the shape of the outer edge is circular. It is characterized in that a circle correction process is performed to correct the above.
第7の発明は、撮像対象物を保持するための複数の窪部を有するウェルを撮像することによって得られた撮像画像を処理する画像処理装置であって、
前記撮像画像に対して2値化処理を施すことによって黒データと白データとからなる2値化画像を生成する2値化処理部と、
前記2値化画像のうち黒データによって囲まれた白データを黒データに変換することによって第1画像を生成する第1画像生成部と、
前記2値化画像と前記第1画像との排他的論理和を求め、結果が真であるデータを黒データに対応付けるとともに結果が偽であるデータを白データに対応付けた第2画像を生成する第2画像生成部と、
前記第2画像のうち黒データによって囲まれた白データを黒データに変換することによって第3画像を生成する第3画像生成部と、
前記撮像画像のうち前記第3画像を構成する黒データが存在する領域の画像のみを抽出する画像抽出部と
を備えることを特徴とする。
A seventh invention is an image processing apparatus that processes a captured image obtained by capturing an image of a well having a plurality of recesses for holding an imaging object,
A binarization processing unit that generates a binarized image composed of black data and white data by performing binarization processing on the captured image;
A first image generation unit that generates a first image by converting white data surrounded by black data among the binarized images into black data;
An exclusive OR of the binarized image and the first image is obtained, and a second image in which data with a true result is associated with black data and data with a false result is associated with white data is generated. A second image generation unit;
A third image generation unit for generating a third image by converting white data surrounded by black data in the second image into black data;
And an image extracting unit that extracts only an image of an area where black data constituting the third image exists in the captured image.
第8の発明は、撮像対象物を保持するための複数の窪部を有するウェルを撮像することによって得られた撮像画像を処理する画像処理プログラムであって、
前記撮像画像に対して2値化処理を施すことによって黒データと白データとからなる2値化画像を生成する2値化ステップと、
前記2値化画像のうち黒データによって囲まれた白データを黒データに変換することによって第1画像を生成する第1画像生成ステップと、
前記2値化画像と前記第1画像との排他的論理和を求め、結果が真であるデータを黒データに対応付けるとともに結果が偽であるデータを白データに対応付けた第2画像を生成する第2画像生成ステップと、
前記第2画像のうち黒データによって囲まれた白データを黒データに変換することによって第3画像を生成する第3画像生成ステップと、
前記撮像画像のうち前記第3画像を構成する黒データが存在する領域の画像のみを抽出する画像抽出ステップと
をコンピュータのCPUがメモリを利用して実行することを特徴とする。
An eighth invention is an image processing program for processing a captured image obtained by imaging a well having a plurality of depressions for holding an imaging target object,
A binarization step of generating a binarized image composed of black data and white data by performing binarization processing on the captured image;
A first image generation step of generating a first image by converting white data surrounded by black data in the binarized image into black data;
An exclusive OR of the binarized image and the first image is obtained, and a second image in which data with a true result is associated with black data and data with a false result is associated with white data is generated. A second image generation step;
A third image generation step of generating a third image by converting white data surrounded by black data in the second image into black data;
The CPU of the computer uses a memory to execute an image extraction step of extracting only an image of an area where black data constituting the third image exists in the captured image.
第9の発明は、第8の発明において、
前記第3画像生成ステップでは、黒データによって囲まれた白データを黒データに変換する前に、各窪部に対応する第2画像の外縁の形状が円形でない場合に当該外縁の形状を円形に補正する円補正処理が行われることを特徴とする。
In a ninth aspect based on the eighth aspect,
In the third image generation step, if the shape of the outer edge of the second image corresponding to each recess is not circular before the white data surrounded by the black data is converted to black data, the shape of the outer edge is made circular. A circle correction process for correction is performed.
第10の発明は、第9の発明において、
前記円補正処理は、黒データの領域と白データの領域との境界点にハフ変換を施すことによって円を抽出し、各窪部に対応する第2画像の外縁の形状をその抽出した円の形状に補正することを特徴とする。
A tenth invention is the ninth invention,
The circle correction process extracts a circle by performing a Hough transform on a boundary point between a black data area and a white data area, and the shape of the outer edge of the second image corresponding to each recess is extracted from the extracted circle. The shape is corrected.
第11の発明は、第9の発明において、
前記円補正処理は、画像領域を内部領域と外部領域との分離する円形分離度フィルタを用いて分離度を求めることによって円を抽出し、各窪部に対応する第2画像の外縁の形状をその抽出した円の形状に補正することを特徴とする。
In an eleventh aspect based on the ninth aspect,
In the circle correction process, a circle is extracted by obtaining a separation degree using a circular separation degree filter that separates an image area into an inner area and an outer area, and the shape of the outer edge of the second image corresponding to each depression is obtained. The extracted circle shape is corrected.
第12の発明は、第9の発明において、
前記円補正処理は、各窪部につき第2画像を構成する全ての黒データを含む最小の円を抽出し、各窪部に対応する第2画像の外縁の形状をその抽出した円の形状に補正することを特徴とする。
In a twelfth aspect based on the ninth aspect,
The circle correction process extracts a minimum circle including all black data constituting the second image for each recess, and changes the shape of the outer edge of the second image corresponding to each recess to the shape of the extracted circle. It is characterized by correcting.
第13の発明は、第9から第12までのいずれかの発明において、
前記第1画像生成ステップでは、黒データによって囲まれた白データを黒データに変換する前に、各窪部に対応する2値化画像の外縁の形状が円形でない場合に当該外縁の形状を円形に補正する円補正処理が行われることを特徴とする。
In a thirteenth invention according to any of the ninth to twelfth inventions,
In the first image generation step, if the shape of the outer edge of the binarized image corresponding to each depression is not circular before the white data surrounded by the black data is converted to black data, the shape of the outer edge is circular. It is characterized in that a circle correction process is performed to correct the above.
上記第1の発明によれば、複数の窪部を有するウェルを撮像することによって得られた撮像画像に関し、当該撮像画像に基づく2値化画像と当該2値化画像の中空部分を埋める(黒データによって囲まれた白データを黒データに変換する)ことによって得られる第1画像との排他的論理和を表す第2画像が生成される。これにより、ウェルの窪部壁面よりも内側部分のうち撮像対象物(典型的にはスフェロイド)が存在する部分を除く部分のみを黒データとする第2画像が生成される。そして、第2画像の中空部分を埋めることによって得られる第3画像をROIマスクとして、撮像画像からのオブジェクト抽出が行われる。これにより、撮像画像のうちウェルの窪部壁面よりも内側部分の画像のみが抽出される。その結果、撮像画像から窪部壁面を表す画像が除去されて撮像対象物を表す画像のみを抽出した画像が得られる。また、2値化処理の際に仮に撮像対象物が存在する部分のデータが白データに変換されたとしても、オブジェクト抽出が行われる際のROIマスクとなる第3画像は、ウェルの窪部壁面よりも内側部分全体を黒データとし、それ以外の部分を白データとする画像となる。従って、撮像画像において撮像対象物を表す画像の色が薄い場合でも、撮像画像から撮像対象物を表す画像のみが抽出される。以上のように、撮像対象物の色の濃さに関わらず撮像画像から撮像対象物の画像のみを抽出することが可能となる。例えば、マイクロスフェロイドアレイを撮像することによって得られた撮像画像からスフェロイドの色の濃さに関わらずスフェロイドの画像のみを抽出することが可能となる。 According to the first aspect, with respect to a captured image obtained by capturing an image of a well having a plurality of depressions, a binarized image based on the captured image and a hollow portion of the binarized image are filled (black). A second image representing an exclusive OR with the first image obtained by converting white data surrounded by data into black data) is generated. Thereby, the 2nd image which uses only the part except the part in which the imaging target object (typically spheroid) exists among the inner side parts from the hollow part wall surface of a well is produced | generated. Then, the object extraction from the captured image is performed using the third image obtained by filling the hollow portion of the second image as the ROI mask. Thereby, only the image of the inside part is extracted from the hollow wall surface of the well in the captured image. As a result, an image representing the depression wall surface is removed from the captured image, and an image obtained by extracting only the image representing the captured object is obtained. Further, even if the data of the portion where the imaging target exists is converted into white data during the binarization process, the third image serving as the ROI mask when the object is extracted is the wall surface of the well recess The entire inner part is black data and the other part is white data. Therefore, even when the color of the image representing the imaging target in the captured image is light, only the image representing the imaging target is extracted from the captured image. As described above, only the image of the imaging target can be extracted from the captured image regardless of the color density of the imaging target. For example, only a spheroid image can be extracted from a captured image obtained by imaging a microspheroid array regardless of the color density of the spheroid.
上記第2の発明によれば、第3画像が生成される際、各窪部に対応する第2画像の外縁の形状が円形でなければ、当該外縁の形状が円形に補正されてから中空部分を埋める処理(黒データによって囲まれた白データを黒データに変換する処理)が行われる。このため、撮像画像において窪部壁面を表す画像と撮像対象物を表す画像とが接触している場合でも、撮像対象物の色の濃さに関わらず撮像画像から撮像対象物の画像のみを抽出することが可能となる。 According to the second aspect, when the third image is generated, if the shape of the outer edge of the second image corresponding to each recess is not circular, the hollow portion is corrected after the shape of the outer edge is corrected to a circle. (A process of converting white data surrounded by black data into black data) is performed. For this reason, even when the image representing the depression wall surface and the image representing the imaging target are in contact with each other in the captured image, only the image of the imaging target is extracted from the captured image regardless of the color density of the imaging target. It becomes possible to do.
上記第3の発明によれば、上記第2の発明と同様の効果が得られる。 According to the third aspect, the same effect as in the second aspect can be obtained.
上記第4の発明によれば、上記第2の発明と同様の効果が得られる。 According to the fourth aspect, the same effect as in the second aspect can be obtained.
上記第5の発明によれば、上記第2の発明と同様の効果が得られる。 According to the fifth aspect, the same effect as in the second aspect can be obtained.
上記第6の発明によれば、第1画像が生成される際、各窪部に対応する2値化画像の外縁の形状が円形でなければ、当該外縁の形状が円形に補正されてから中空部分を埋める処理(黒データによって囲まれた白データを黒データに変換する処理)が行われる。このため、撮像画像において窪部壁面を表す画像が閉じた輪を形成していない場合でも、撮像対象物の色の濃さに関わらず撮像画像から撮像対象物の画像のみを抽出することが可能となる。 According to the sixth aspect, when the first image is generated, if the shape of the outer edge of the binarized image corresponding to each depression is not circular, the shape of the outer edge is corrected to be circular and then hollow. A process of filling a portion (a process of converting white data surrounded by black data into black data) is performed. Therefore, even when the image representing the depression wall surface in the captured image does not form a closed ring, it is possible to extract only the image of the captured object from the captured image regardless of the color density of the captured object. It becomes.
上記第7の発明によれば、上記第1の発明と同様の効果が得られる。 According to the seventh aspect, the same effect as in the first aspect can be obtained.
上記第8から上記第13までの発明によれば、それぞれ上記第1から上記第6までの発明と同様の効果が得られる。 According to the eighth to thirteenth inventions, effects similar to those of the first to sixth inventions can be obtained.
以下、添付図面を参照しつつ本発明の実施形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
<1.第1の実施形態>
<1.1 構成>
<1.1.1 画像処理システムの概略構成>
図1は、本発明の第1の実施形態に係る画像処理システムの概略構成を示すブロック図である。この画像処理システムは、撮像装置20と画像処理装置10とによって構成されている。撮像装置20は、マイクロスフェロイドアレイの撮像を行う。撮像装置20による撮像で得られた撮像画像DATは、画像処理装置10に送られる。画像処理装置10は、撮像画像DATに対して後述する画像処理を施す。
<1. First Embodiment>
<1.1 Configuration>
<1.1.1 Schematic configuration of image processing system>
FIG. 1 is a block diagram showing a schematic configuration of an image processing system according to the first embodiment of the present invention. This image processing system includes an
<1.1.2 撮像装置>
図2は、本実施形態における撮像装置20の構成を示す図である。この撮像装置20は、各種試料容器で培養された細胞等を撮像するための装置である。本実施形態では、この撮像装置20で、マイクロスフェロイドアレイプレートMPの上面に形成されたウェルWに注入された液体中で培養されているスフェロイドの撮像(すなわちマイクロスフェロイドアレイの撮像)が行われる。
<1.1.2 Imaging device>
FIG. 2 is a diagram illustrating a configuration of the
マイクロスフェロイドアレイプレートMPには、上面側に開口を有し下面側に透明の底面を有する試料収納部としての複数個(例えば6個)のウェルWが配列されている。各ウェルWは、例えば円形の形状を有している。図3は、1つのウェルWの平面図であり、図4は、図3のA−A線断面図である。図3および図4に示すように、各ウェルWには、多数の窪部(くぼみ状の空間)30が設けられている。窪部30の壁面(窪部壁面)は、テーパ状になっている。窪部30の底面は、下に凸の曲面状もしくは平面状になっている。このような窪部30に、撮像対象物であるスフェロイドSFが保持されている。また、各ウェルWには、培地としての液体(培養液)Mが所定量注入されている。なお、図2では、窪部の図示を省略している。
In the microspheroid array plate MP, a plurality of (for example, six) wells W are arranged as sample storage portions having an opening on the upper surface side and a transparent bottom surface on the lower surface side. Each well W has, for example, a circular shape. 3 is a plan view of one well W, and FIG. 4 is a cross-sectional view taken along line AA of FIG. As shown in FIGS. 3 and 4, each well W is provided with a large number of recesses (recessed spaces) 30. The wall surface (recess wall surface) of the
図2に示すように、この撮像装置20は、撮像用の光を出射する光源21と、マイクロスフェロイドアレイプレートMP等の試料容器を保持するためのホルダ22と、ウェルW内のスフェロイド等の撮像を行う撮像ユニット23と、撮像の際に撮像ユニット23を移動させるカメラ駆動機構24と、光源21,撮像ユニット23,およびカメラ駆動機構24の動作を制御する制御部25とを備えている。光源21は、この撮像装置20の上部に配置されている。ホルダ22は光源21の下方に配置され、撮像ユニット23はホルダ22の下方に配置されている。
As shown in FIG. 2, the
光源21は、制御部25内の光源制御部252から与えられる制御指令に基づき、ホルダ22に保持されているマイクロスフェロイドアレイプレートMPの上方からウェルWに対して光Lを照射する。照射される光Lは可視光であって、典型的には白色光である。
The
撮像装置20による撮像が行われる際、スフェロイドSFを保持する複数のウェルWからなるマイクロスフェロイドアレイプレートMPはホルダ22内に保持される。ホルダ22は、マイクロスフェロイドアレイプレートMPの下面周縁部に当接してマイクロスフェロイドアレイプレートMPを略水平姿勢に保持する。
When imaging by the
撮像ユニット23は、光源21から出射されてホルダ22に保持されたマイクロスフェロイドアレイプレートMPの下方に透過してくる透過光Ltを受光することによって、マイクロスフェロイドアレイプレートMPの画像を撮像する。撮像ユニット23はカメラ駆動機構24に連結されており、カメラ駆動機構24の動作によって撮像ユニット23はマイクロスフェロイドアレイプレートMPの下面に沿って水平移動する。すなわち、撮像ユニット23がマイクロスフェロイドアレイプレートMPの下面に沿って走査移動可能となっている。但し、撮像ユニット23とマイクロスフェロイドアレイプレートMPとの間の相対移動が実現されれば良く、マイクロスフェロイドアレイプレートMPを撮像ユニット23に対して移動させるようにしてもよい。
The
カメラ駆動機構24は、制御部25内の撮像制御部253から与えられる制御指令に基づき、撮像ユニット23を水平方向に移動させる。
The
制御部25は、CPU251、光源制御部252、撮像制御部253、ADコンバータ(A/D)254、記憶部255、およびインタフェース部256を備えている。CPU251は、制御部25内の各構成要素の動作の制御や各種演算処理を行う。光源制御部252は、光源21の点灯状態を制御する。撮像制御部253は、所定の走査移動レシピに従って撮像対象物の撮像が行われるよう、撮像ユニット23およびカメラ駆動機構24の動作を制御する。ADコンバータ(A/D)254は、撮像ユニット23による撮像で得られた画像信号(アナログデータ)を受け取り、それをデジタル画像データに変換する。記憶部255は、そのデジタル画像データを保持する。インタフェース部256は、ユーザからの操作入力を受け付ける機能、ユーザへの処理結果等の情報表示を行う機能、通信回線を介して他の装置との間でのデータ通信を行う機能などを有している。このインタフェース部256を介して、例えば記憶部255に保持されたデジタル画像データが上記撮像画像DATとして画像処理装置10に送信される。なお、インタフェース部256には、操作入力を受け付ける入力受付部(キーボードやマウスなど)、情報表示を行う表示部、通信回線などが接続されている。
The
図5は、撮像ユニット23のより詳細な構成を示す図である。図5に示すように、撮像ユニット23は、入射光に応じた電気信号を出力する例えばCCDによるラインセンサ231と、ホルダ22に保持されたマイクロスフェロイドアレイプレートMPの底面から出射される光をラインセンサ231の受光面に結像させる結像光学系232とを備えている。なお、結像光学系232はレンズ等の光学部品を複数備えるものであっても良いが、図5では結像光学系232を単一のレンズによって示している。
FIG. 5 is a diagram illustrating a more detailed configuration of the
ラインセンサ231は、多数の微細な撮像素子231aを水平面内の一軸方向に一次元配列したものである。ラインセンサ231は、その長手方向には結像光学系232を介して少なくとも1つのウェルW(好ましくは、複数のウェルW)全体を撮像範囲SRに含めることができるように構成されている。
The
<1.1.3 画像処理装置>
図6は、画像処理装置10のハードウェア構成を示すブロック図である。画像処理装置10は、CPU11とROM12とRAM13と補助記憶装置14と入力部15と表示部16と光学ディスクドライブ17とネットワークインタフェース部18とを備えている。CPU11は、与えられた命令に従い各種演算処理等を行う。ROM12は、読み出し専用のメモリであって、例えばこの画像処理装置10の起動時にCPU11に実行させる初期プログラムなどを格納する。RAM13は、書き込み可能な揮発性のメモリであって、実行中のプログラムやデータ等を一時的に格納する。補助記憶装置14は、各種データ等を記憶する。本発明に関連するものとしては、画像処理プログラムPや撮像装置20から送信された撮像画像(デジタル画像データ)DATが補助記憶装置14に格納される。入力部15は、マウスやキーボードによるオペレータからの入力を受け付ける。表示部16は、例えば、オペレータが作業を行うための各種画面,撮像装置20から送信された撮像画像DAT,撮像画像DATに対して後述する画像処理を施して得られた画像などを表示する。光学ディスクドライブ17は、光学ディスク170からのデータの読み出しや光学ディスク170へのデータの書き込みを行うためのデバイスである。ネットワークインタフェース部18は、通信回線を介して他の装置との間でのデータ通信を行う機能を有している。撮像装置20から送信された撮像画像DATは、このネットワークインタフェース部18を介して画像処理装置10の内部へと入力される。
<1.1.3 Image Processing Device>
FIG. 6 is a block diagram illustrating a hardware configuration of the
上述したように、画像処理プログラムPは補助記憶装置14に格納されている。オペレータによって撮像画像DATに対する画像処理の実行が指示されると、画像処理プログラムPはRAM13へと読み出され、そのRAM13に読み出された画像処理プログラムPをCPU11が実行することにより、後述する画像処理が実行される。なお、画像処理プログラムPは、CD−ROMやDVD−ROM等のコンピュータ読み取り可能な記録媒体に格納されて提供される。すなわちユーザは、例えば、画像処理プログラムPの記録媒体としての光学ディスク(CD−ROM、DVD−ROM等)170を購入して光学ディスクドライブ17に装着し、その光学ディスク170から画像処理プログラムPを読み出して補助記憶装置14にインストールする。また、これに代えて、LAN等を介して送られる画像処理プログラムPをネットワークインタフェース部18で受信して、それを補助記憶装置14にインストールするようにしてもよい。
As described above, the image processing program P is stored in the
<1.2 画像処理方法>
次に、図7に示すフローチャートを参照しつつ、本実施形態における画像処理の手順を説明する。なお、ここでは、1つの窪部30に対応する撮像画像に対する処理に着目する。処理対象の画像は、図25に示したような画像である。すなわち、撮像画像において、窪部壁面を表す画像7は閉じた輪を形成しており、窪部壁面を表す画像7とスフェロイドを表す画像8とは接触していない。また、窪部壁面を表す画像7とスフェロイドを表す画像8とが同程度の濃さ(黒さ)を有しているものと仮定する。
<1.2 Image processing method>
Next, the procedure of image processing in the present embodiment will be described with reference to the flowchart shown in FIG. Here, attention is focused on processing for a captured image corresponding to one
画像処理の開始後、まず、撮像画像DATに対して2値化処理が施される(ステップS110)。撮像画像DATは、例えば256階調で表現されたデジタル画像データである。このような撮像画像DATに対して2値化処理が施されることによって、黒データ(値「1」に相当するデータ)と白データ(値「0」に相当するデータ)とからなる2値化画像IMGbiが生成される。この2値化画像IMGbiについては、図8に示すように、窪部壁面に相当する部分とスフェロイドが存在する部分とが黒データとなる。なお、2値化処理がこのように行われるよう、2値化処理の閾値が設定されている必要がある。 After the start of image processing, first, binarization processing is performed on the captured image DAT (step S110). The captured image DAT is digital image data expressed by, for example, 256 gradations. By performing a binarization process on such a captured image DAT, binary data including black data (data corresponding to the value “1”) and white data (data corresponding to the value “0”) is obtained. A converted image IMGbi is generated. As for this binarized image IMGbi, as shown in FIG. 8, a portion corresponding to the recess wall surface and a portion where spheroids exist are black data. Note that a threshold value for the binarization process needs to be set so that the binarization process is performed in this way.
次に、2値化画像IMGbiのうち黒データによって囲まれた白データを黒データに変換する処理(換言すれば、中空部分を埋める処理)が行われる(ステップS120)。なお、このステップS120で生成される画像を便宜上「第1画像」という。第1画像には符号IMG1を付す。ステップS120によって、窪部壁面に相当する部分の黒データとスフェロイドが存在する部分の黒データとの間に存在する白データが黒データに変換される。この変換によって生成される第1画像IMG1については、図8に示すように、窪部30の外縁の内側部分が全て黒データとなる。
Next, a process of converting white data surrounded by black data in the binarized image IMGbi into black data (in other words, a process of filling a hollow portion) is performed (step S120). The image generated in step S120 is referred to as “first image” for convenience. The first image is denoted by reference numeral IMG1. By step S120, white data existing between the black data of the portion corresponding to the depression wall surface and the black data of the portion where the spheroid exists is converted into black data. As for the first image IMG1 generated by this conversion, as shown in FIG. 8, the inner part of the outer edge of the
次に、ステップS110で生成された2値化画像IMGbiとステップS120で生成された第1画像IMG1との排他的論理和に基づく画像が生成される(ステップS130)。なお、このステップS130で生成される画像を便宜上「第2画像」という。第2画像には符号IMG2を付す。ステップS130での第2画像IMG2の生成は、図9に示す真理値表に従って行われる。すなわち、第2画像IMG2については、2値化画像IMGbiおよび第1画像IMG1のうち一方の画像で黒データとなっていて他方の画像で白データとなっている部分が黒データとなり、それ以外の部分が白データとなる。以上のように、ステップS130では、2値化画像IMGbiと第1画像IMG1との排他的論理和が求められ、結果が真であるデータを黒データに対応付けるとともに結果が偽であるデータを白データに対応付けた第2画像IMG2が生成される。 Next, an image based on the exclusive OR of the binarized image IMGbi generated in step S110 and the first image IMG1 generated in step S120 is generated (step S130). The image generated in step S130 is referred to as a “second image” for convenience. The second image is denoted by reference numeral IMG2. The generation of the second image IMG2 in step S130 is performed according to the truth table shown in FIG. That is, for the second image IMG2, the portion of the binarized image IMGbi and the first image IMG1 that is black data in one image and white data in the other image is black data, The part becomes white data. As described above, in step S130, the exclusive OR of the binarized image IMGbi and the first image IMG1 is obtained, the data whose result is true is associated with the black data, and the data whose result is false is the white data. A second image IMG2 associated with is generated.
ところで、2値化画像IMGbiについては、窪部壁面に相当する部分とスフェロイドが存在する部分とが黒データとなっていて、それ以外の部分が白データとなっている。また、第1画像IMG1については、窪部30の外縁の内側部分が全て黒データとなっている。従って、ステップS130によって生成される第2画像IMG2については、図8に示すように、窪部壁面よりも内側の部分であってスフェロイドが存在する部分を除く部分が黒データとなり、それ以外の部分が白データとなる。なお、図8では、窪部30の外縁に相当する部分を点線で表している(図11および図17についても同様)。
By the way, in the binarized image IMGbi, the portion corresponding to the depression wall surface and the portion where the spheroid exists are black data, and the other portion is white data. For the first image IMG1, the inner part of the outer edge of the
次に、第2画像IMG2のうち黒データによって囲まれた白データを黒データに変換する処理(換言すれば、中空部分を埋める処理)が行われる(ステップS140)。なお、このステップS140で生成される画像を便宜上「第3画像」という。第3画像には符号IMG3を付す。ステップS140によって、スフェロイドが存在する部分の白データが黒データに変換される。この変換によって生成される第3画像IMG3については、図8に示すように、窪部壁面よりも内側部分が全て黒データとなる。 Next, a process of converting white data surrounded by black data in the second image IMG2 into black data (in other words, a process of filling a hollow portion) is performed (step S140). Note that the image generated in step S140 is referred to as a “third image” for convenience. A code IMG3 is attached to the third image. By step S140, the white data of the portion where the spheroid exists is converted into black data. As for the third image IMG3 generated by this conversion, as shown in FIG. 8, the inner part of the wall surface of the depression is all black data.
次に、ステップS140で生成された第3画像IMG3をROIマスクとして撮像画像DATからのオブジェクト抽出が行われる(ステップS150)。すなわち、ステップS150では、撮像画像DATのうち第3画像IMG3を構成する黒データが存在する領域の画像のみが抽出される。これにより、図8に示すように、撮像画像DATからスフェロイドを表す画像8のみを抽出した画像IMGexが得られる。
Next, object extraction from the captured image DAT is performed using the third image IMG3 generated in step S140 as the ROI mask (step S150). That is, in step S150, only the image of the area where the black data constituting the third image IMG3 exists is extracted from the captured image DAT. Thereby, as shown in FIG. 8, an image IMGex obtained by extracting only the
なお、本実施形態においては、ステップS110によって2値化ステップが実現され、ステップS120によって第1画像生成ステップが実現され、ステップS130によって第2画像生成ステップが実現され、ステップS140によって第3画像生成ステップが実現され、ステップS150によって画像抽出ステップが実現されている。 In this embodiment, the binarization step is realized by step S110, the first image generation step is realized by step S120, the second image generation step is realized by step S130, and the third image generation is executed by step S140. Steps are realized, and an image extraction step is realized by Step S150.
<1.3 効果>
本実施形態によれば、スフェロイドSFが保持された多数の窪部30を含む複数のウェルWからなるマイクロスフェロイドアレイプレートMPを撮像することによって得られた撮像画像DATに関し、当該撮像画像DATに基づく2値化画像IMGbiと当該2値化画像IMGbiの中空部分を埋める(黒データによって囲まれた白データを黒データに変換する)ことによって得られる第1画像IMG1との排他的論理和を表す第2画像IMG2が生成される。これにより、ウェルWの窪部壁面よりも内側部分のうちスフェロイドが存在する部分を除く部分のみを黒データとする第2画像IMG2が生成される。そして、第2画像IMG2の中空部分を埋めることによって得られる第3画像IMG3をROIマスクとして、撮像画像DATからのオブジェクト抽出が行われる。これにより、撮像画像DATのうちウェルWの窪部壁面よりも内側部分の画像のみが抽出される。その結果、撮像画像DATから窪部壁面を表す画像7が除去されてスフェロイドを表す画像8のみを抽出した画像が得られる。
<1.3 Effect>
According to the present embodiment, the captured image DAT obtained by imaging the microspheroid array plate MP including a plurality of wells W including a large number of
また、2値化処理の際に仮にスフェロイドが存在する部分のデータが白データに変換されたとしても、オブジェクト抽出が行われる際のROIマスクとなる第3画像IMG3は、ウェルWの窪部壁面よりも内側部分全体を黒データとし、それ以外の部分を白データとする画像となる。従って、撮像画像DATにおいてスフェロイドを表す画像の色が薄い場合でも、撮像画像DATからスフェロイドを表す画像8のみが抽出される。
Further, even if the data of the portion where the spheroid exists is converted into white data during the binarization process, the third image IMG3 that becomes the ROI mask when the object is extracted is the wall surface of the well W The entire inner part is black data and the other part is white data. Therefore, even when the color of the image representing the spheroid in the captured image DAT is light, only the
以上のように、本実施形態によれば、マイクロスフェロイドアレイを撮像することによって得られた撮像画像DATからスフェロイドの色の濃さに関わらずスフェロイドの画像のみを抽出することが可能となる。 As described above, according to the present embodiment, only the spheroid image can be extracted from the captured image DAT obtained by imaging the microspheroid array regardless of the color density of the spheroid.
<2.第2の実施形態>
本発明の第2の実施形態について説明する。画像処理システムの概略構成,撮像装置20の構成,および画像処理装置10の構成については、上記第1の実施形態と同様であるので、説明を省略する(図1〜図6を参照)。
<2. Second Embodiment>
A second embodiment of the present invention will be described. Since the schematic configuration of the image processing system, the configuration of the
<2.1 画像処理方法>
<2.1.1 処理手順>
図10に示すフローチャートを参照しつつ、本実施形態における画像処理の手順を説明する。本実施形態においては、処理対象の画像は、図26に示したような画像である。すなわち、撮像画像において、窪部壁面を表す画像7は閉じた輪を形成しており、窪部壁面を表す画像7とスフェロイドを表す画像8とが接触している。なお、ここでも、窪部壁面を表す画像7とスフェロイドを表す画像8とが同程度の濃さ(黒さ)を有しているものと仮定する。
<2.1 Image processing method>
<2.1.1 Processing procedure>
The procedure of image processing in this embodiment will be described with reference to the flowchart shown in FIG. In the present embodiment, the processing target image is an image as shown in FIG. That is, in the captured image, the
画像処理の開始後、まず、上記第1の実施形態と同様、撮像画像DATに対して2値化処理が施される(ステップS210)。これにより、窪部壁面に相当する部分とスフェロイドが存在する部分とが黒データとなる2値化画像IMGbiが生成される(図11参照)。次に、上記第1の実施形態と同様、2値化画像IMGbiのうち黒データによって囲まれた白データを黒データに変換する処理(換言すれば、中空部分を埋める処理)が行われる(ステップS220)。これにより、窪部30の外縁の内側部分が全て黒データとなる第1画像IMG1が生成される(図11参照)。
After the start of image processing, first, similarly to the first embodiment, binarization processing is performed on the captured image DAT (step S210). As a result, a binarized image IMGbi is generated in which the portion corresponding to the depression wall surface and the portion where the spheroid exists are black data (see FIG. 11). Next, as in the first embodiment, a process of converting white data surrounded by black data in the binarized image IMGbi into black data (in other words, a process of filling a hollow portion) is performed (step S1). S220). Thereby, the first image IMG1 in which the inner part of the outer edge of the
次に、上記第1の実施形態と同様、ステップS210で生成された2値化画像IMGbiとステップS220で生成された第1画像IMG1との排他的論理和に基づく画像の生成が行われる(ステップS230)。これにより、窪部壁面よりも内側の部分であってスフェロイドが存在する部分を除く部分が黒データ、それ以外の部分が白データとなる第2画像IMG2が生成される(図11参照)。 Next, as in the first embodiment, an image is generated based on an exclusive OR of the binarized image IMGbi generated in step S210 and the first image IMG1 generated in step S220 (step S230). As a result, a second image IMG2 is generated in which the portion inside the recess wall surface and excluding the portion where the spheroid exists is black data, and the other portion is white data (see FIG. 11).
図11から把握されるように、本実施形態においては、第2画像IMG2に関して、白データは完全には黒データに囲まれてはいない。そこで、上記第1の実施形態と同様の中空部分を埋める処理(図7のステップS140)を実行する前に、第2画像IMG2の外縁(黒データの外縁)の形状を円形にする円補正処理が行われる。第2画像IMG2の外縁のみに着目すると、図12に示すように、一部が欠けた状態の円形が円補正処理によって完全な円形に補正される。これにより、円補正処理後の第2画像IMG2については、図13に示すように、外縁の形状は完全な円形となり、外縁の内側ではスフェロイドが存在する部分のみが白データとなる。そして、円補正処理後の第2画像IMG2に対して、中空部分を埋める処理(黒データによって囲まれた白データを黒データに変換する処理)が行われる。このように、本実施形態においては、円補正処理の実行後に、中空部分を埋める処理が行われる(ステップS240)。これにより、窪部壁面よりも内側部分が全て黒データとなる第3画像IMG3が生成される(図11参照)。 As can be understood from FIG. 11, in the present embodiment, the white data is not completely surrounded by the black data for the second image IMG2. Therefore, before executing the process for filling the hollow portion similar to that in the first embodiment (step S140 in FIG. 7), the circle correction process for making the shape of the outer edge (the outer edge of the black data) of the second image IMG2 circular. Is done. Focusing only on the outer edge of the second image IMG2, as shown in FIG. 12, a circle with a part missing is corrected to a complete circle by the circle correction processing. As a result, as shown in FIG. 13, the second image IMG2 after the circle correction process has a completely circular outer edge, and only the portion where the spheroid exists is white data inside the outer edge. Then, processing for filling the hollow portion (processing for converting white data surrounded by black data into black data) is performed on the second image IMG2 after the circle correction processing. As described above, in the present embodiment, after the circle correction process is performed, the process of filling the hollow portion is performed (step S240). Thereby, the 3rd image IMG3 from which all the inner parts than a hollow part wall surface become black data is produced | generated (refer FIG. 11).
その後、上記第1の実施形態と同様、ステップS240で生成された第3画像IMG3をROIマスクとして撮像画像DATからのオブジェクト抽出が行われる(ステップS250)。これにより、撮像画像DATからスフェロイドを表す画像8のみを抽出した画像IMGexが得られる(図11参照)。
Thereafter, as in the first embodiment, object extraction from the captured image DAT is performed using the third image IMG3 generated in step S240 as the ROI mask (step S250). Thereby, an image IMGex obtained by extracting only the
なお、本実施形態においては、ステップS210によって2値化ステップが実現され、ステップS220によって第1画像生成ステップが実現され、ステップS230によって第2画像生成ステップが実現され、ステップS240によって第3画像生成ステップが実現され、ステップS250によって画像抽出ステップが実現されている。 In this embodiment, the binarization step is realized by step S210, the first image generation step is realized by step S220, the second image generation step is realized by step S230, and the third image generation is executed by step S240. Steps are realized, and the image extraction step is realized by Step S250.
<2.1.2 円補正処理>
ここで、上述の円補正処理の具体的な手法について説明する。但し、それらの手法自体は公知であるので、以下では簡単に説明する。なお、不完全な円の形状をほぼ完全な円の形状に補正できるものであれば、以下で説明する手法以外の手法を採用することもできる。
<2.1.2 Yen correction processing>
Here, a specific method of the above-described circle correction process will be described. However, since these methods are known per se, they will be briefly described below. Any method other than the method described below can be adopted as long as the shape of the incomplete circle can be corrected to the shape of an almost perfect circle.
<2.1.2.1 円形ハフ変換を用いた手法>
まず、円形ハフ変換を用いた手法について説明する。この手法では、図14に示すようなXY平面を用いて、第2画像IMG2の外縁上の点を通る多くの円を考える。例えば、点Z(x,y)を通る円41について、中心の座標C(p,q)の値および半径rの値を様々な値とする多くの円を描くことができる。このとき、個々の円は、「p,q,r」の組み合わせで特定することができる。また、第2画像IMG2の外縁上の点のうちの点Z(x,y)以外の点を通る円についても、中心の座標C(p,q)の値および半径rの値を様々な値とする多くの円を描くことができる。このようにして第2画像IMG2の外縁上の点を通る多くの円を考えたときに、最も多く現れた「p,q,r」の組み合わせで特定される円を円補正処理後の第2画像IMG2の外縁とすれば良い。
<2.1.2.1 Method Using Circular Hough Transform>
First, a method using the circular Hough transform will be described. In this method, many circles passing through points on the outer edge of the second image IMG2 are considered using an XY plane as shown in FIG. For example, with respect to a
<2.1.2.2 円形分離度フィルタを用いた手法>
次に、円形分離度フィルタを用いた手法について説明する。この手法では、図15に示すように、或る中心座標および或る半径を有する円42によって分離される2つの領域R1,R2を考える。そして、それぞれの領域R1,R2における黒データの割合(あるいは白データの割合)に基づいて領域R1と領域R2との分離度を求める。このようにして、円の中心座標・半径を様々な値にして分離度を求めることができる。そして、最大の分離度が得られる円を円補正処理後の第2画像IMG2の外縁とすれば良い。
<2.1.2.2 Method Using Circular Separation Filter>
Next, a method using a circular separability filter will be described. In this method, as shown in FIG. 15, two regions R1 and R2 separated by a
<2.1.2.3 凸包の概念を用いた手法>
最後に、凸包の概念を用いた手法について説明する。凸包とは、与えられた点をすべて包含する最小の多角形のことである。この凸包の概念を用いて、第2画像IMG2を構成する全ての黒データを包含する最小の円を求めることができる。そして、その求めた円を円補正処理後の第2画像IMG2の外縁とすれば良い。
<2.1.2.3 Method using the concept of convex hull>
Finally, a method using the concept of convex hull will be described. A convex hull is the smallest polygon that encompasses all given points. Using this concept of convex hull, a minimum circle including all black data constituting the second image IMG2 can be obtained. Then, the obtained circle may be used as the outer edge of the second image IMG2 after the circle correction process.
<2.2 効果>
本実施形態によれば、第3画像が生成される際、外縁の形状が円形でない第2画像IMG2に対して外縁の形状を円形に補正する処理が行われてから中空部分を埋める処理(黒データによって囲まれた白データを黒データに変換する処理)が行われる。このため、撮像画像DATにおいて窪部壁面を表す画像7とスフェロイドを表す画像8とが接触している場合でも、スフェロイドの色の濃さに関わらず、撮像画像DATから窪部壁面を表す画像7を除去してスフェロイドを表す画像8のみを抽出することが可能となる。
<2.2 Effect>
According to this embodiment, when the third image is generated, the process of correcting the shape of the outer edge to a circle is performed on the second image IMG2 whose outer edge is not circular, and then the process of filling the hollow portion (black) (Processing for converting white data surrounded by data into black data). For this reason, even when the
<3.第3の実施形態>
本発明の第3の実施形態について説明する。画像処理システムの概略構成,撮像装置20の構成,および画像処理装置10の構成については、上記第1の実施形態と同様であるので、説明を省略する(図1〜図6を参照)。
<3. Third Embodiment>
A third embodiment of the present invention will be described. Since the schematic configuration of the image processing system, the configuration of the
<3.1 画像処理方法>
図16に示すフローチャートを参照しつつ、本実施形態における画像処理の手順を説明する。本実施形態においては、処理対象の画像は、図27に示したような画像である。すなわち、撮像画像において、窪部壁面を表す画像7は閉じた輪を形成しておらず、窪部壁面を表す画像7とスフェロイドを表す画像8とが接触している。なお、ここでも、窪部壁面を表す画像7とスフェロイドを表す画像8とが同程度の濃さ(黒さ)を有しているものと仮定する。
<3.1 Image processing method>
The procedure of image processing in the present embodiment will be described with reference to the flowchart shown in FIG. In the present embodiment, the processing target image is an image as shown in FIG. That is, in the captured image, the
画像処理の開始後、まず、上記第1の実施形態と同様、撮像画像DATに対して2値化処理が施される(ステップS310)。これにより、窪部壁面に相当する部分のうちの一部を除く部分とスフェロイドが存在する部分とが黒データとなる2値化画像IMGbiが生成される(図17参照)。 After the start of image processing, first, similarly to the first embodiment, binarization processing is performed on the captured image DAT (step S310). Thereby, a binarized image IMGbi is generated in which a portion excluding a part of the portion corresponding to the depression wall surface and a portion where the spheroid exists are black data (see FIG. 17).
図17から把握されるように、本実施形態においては、2値化画像IMGbiに関して、窪部壁面を表す画像7は閉じた輪を形成していない。そこで、上記第1の実施形態と同様の中空部分を埋める処理(図7のステップS120)を実行する前に、2値化画像IMGbiの外縁(黒データの外縁)の形状を円形にする円補正処理が行われる。この円補正処理については、上記第2の実施形態におけるステップS240と同様に、例えば、円形ハフ変換を用いた手法、円形分離度フィルタを用いた手法、凸包の概念を用いた手法などを採用して行われる。2値化画像IMGbiの外縁のみに着目すると、図18に示すように、一部が欠けた状態の円形が円補正処理によって完全な円形に補正される。これにより、円補正処理後の2値化画像IMGbiについては、図19に示すように、外縁の形状は完全な円形となる。そして、円補正処理後の2値化画像IMGbiに対して、中空部分を埋める処理(黒データによって囲まれた白データを黒データに変換する処理)が行われる。このように、本実施形態においては、円補正処理の実行後に、中空部分を埋める処理が行われる(ステップS320)。これにより、窪部30の外縁の内側部分が全て黒データとなる第1画像IMG1が生成される(図17参照)。
As can be seen from FIG. 17, in this embodiment, the
次に、上記第1の実施形態と同様、ステップS310で生成された2値化画像IMGbiとステップS320で生成された第1画像IMG1との排他的論理和に基づく画像の生成が行われる(ステップS330)。これにより、窪部壁面よりも内側の部分であってスフェロイドが存在する部分を除く部分および窪部壁面の一部(黒い輪の欠けている部分)が黒データ、それ以外の部分が白データとなる第2画像IMG2が生成される(図17参照)。 Next, as in the first embodiment, an image based on the exclusive OR of the binarized image IMGbi generated in step S310 and the first image IMG1 generated in step S320 is generated (step S330). As a result, the portion inside the recess wall surface excluding the portion where the spheroid exists and a portion of the recess wall surface (the portion lacking the black ring) are black data, and the other portion is the white data. A second image IMG2 is generated (see FIG. 17).
図17から把握されるように、本実施形態においては、第2画像IMG2に関して、白データは完全には黒データに囲まれてはいない。また、第2画像IMG2には、黒い輪の欠けている部分に相当する凸状の黒データが存在する。そこで、上記第1の実施形態と同様の中空部分を埋める処理(図7のステップS140)を実行する前に、第2画像IMG2の外縁(黒データの外縁)の形状を円形にする円補正処理が行われる。第2画像IMG2の外縁のみに着目すると、図20に示すように、一部に凸状部分を含むとともに一部が欠けた状態の円形が円補正処理によって完全な円形に補正される。これにより、上記第2の実施形態と同様、円補正処理後の第2画像IMG2については、図13に示すように、外縁の形状は完全な円形となり、外縁の内側ではスフェロイドが存在する部分のみが白データとなる。そして、円補正処理後の第2画像IMG2に対して、中空部分を埋める処理(黒データによって囲まれた白データを黒データに変換する処理)が行われる。このように、本実施形態においては、円補正処理の実行後に、中空部分を埋める処理が行われる(ステップS340)。これにより、窪部壁面よりも内側部分が全て黒データとなる第3画像IMG3が生成される(図17参照)。 As can be understood from FIG. 17, in the present embodiment, the white data is not completely surrounded by the black data with respect to the second image IMG2. Further, the second image IMG2 includes convex black data corresponding to a portion where a black ring is missing. Therefore, before executing the process for filling the hollow portion similar to that in the first embodiment (step S140 in FIG. 7), the circle correction process for making the shape of the outer edge (the outer edge of the black data) of the second image IMG2 circular. Is done. If attention is paid only to the outer edge of the second image IMG2, as shown in FIG. 20, a circle including a convex portion and partially missing is corrected to a complete circle by the circle correction processing. As a result, as in the second embodiment, as shown in FIG. 13, the second image IMG2 after the circle correction processing has a completely circular outer edge, and only the portion where spheroids exist inside the outer edge. Becomes white data. Then, processing for filling the hollow portion (processing for converting white data surrounded by black data into black data) is performed on the second image IMG2 after the circle correction processing. Thus, in the present embodiment, after the circle correction process is performed, a process for filling the hollow portion is performed (step S340). Thereby, the 3rd image IMG3 from which all the inner parts than a hollow part wall surface become black data is produced | generated (refer FIG. 17).
その後、上記第1の実施形態と同様、ステップS340で生成された第3画像IMG3をROIマスクとして撮像画像DATからのオブジェクト抽出が行われる(ステップS350)。これにより、撮像画像DATからスフェロイドを表す画像8のみを抽出した画像IMGexが得られる(図17参照)。
Thereafter, as in the first embodiment, object extraction from the captured image DAT is performed using the third image IMG3 generated in step S340 as the ROI mask (step S350). Thereby, an image IMGex obtained by extracting only the
なお、本実施形態においては、ステップS310によって2値化ステップが実現され、ステップS320によって第1画像生成ステップが実現され、ステップS330によって第2画像生成ステップが実現され、ステップS340によって第3画像生成ステップが実現され、ステップS350によって画像抽出ステップが実現されている。 In this embodiment, the binarization step is realized by step S310, the first image generation step is realized by step S320, the second image generation step is realized by step S330, and the third image generation is executed by step S340. Steps are realized, and the image extraction step is realized by Step S350.
<3.2 効果>
本実施形態によれば、第1画像が生成される際、外縁の形状が円形でない2値化画像IMGbiに対して外縁の形状を円形に補正する処理が行われてから中空部分を埋める処理(黒データによって囲まれた白データを黒データに変換する処理)が行われる。このため、撮像画像DATにおいて窪部壁面を表す画像7が閉じた輪を形成していない場合でも、スフェロイドの色の濃さに関わらず、撮像画像DATから窪部壁面を表す画像7を除去してスフェロイドを表す画像8のみを抽出することが可能となる。
<3.2 Effects>
According to the present embodiment, when the first image is generated, the process of correcting the outer edge shape to a circular shape is performed on the binarized image IMGbi whose outer edge shape is not circular, and then the process of filling the hollow portion ( Processing for converting white data surrounded by black data into black data) is performed. Therefore, even when the
<3.3 変形例>
上記第3の実施形態では、図27に示したような画像を処理対象の画像としていた。しかしながら、処理対象の画像が図21に示すような画像である場合、すなわち、撮像画像DATにおいて、窪部壁面を表す画像7が閉じた輪を形成しておらず、窪部壁面を表す画像7とスフェロイドを表す画像8とが接触していない場合にも、上記第3の実施形態と同様の手順によって、撮像画像DATからスフェロイドを表す画像8のみを抽出することができる。
<3.3 Modification>
In the third embodiment, the image as shown in FIG. 27 is used as the processing target image. However, when the image to be processed is an image as shown in FIG. 21, that is, in the captured image DAT, the
<4.その他>
上記各実施形態では、撮像画像DATに対する画像処理は撮像装置20とは別の画像処理装置10で行われていた。しかしながら、本発明はこれに限定されず、例えば撮像装置20の制御部25内で撮像画像DATに対する画像処理が行われるようにしても良い。
<4. Other>
In each of the above embodiments, the image processing for the captured image DAT is performed by the
ところで、マイクロスフェロイドアレイの撮像によって得られる撮像画像DATには、多数の窪部30の画像が含まれている。従って、撮像画像DATには、各窪部30の画像として、例えば図25〜図27に示したような様々な画像が混在し得る。このため、そのような様々な画像のパターンに対応できるよう、画像処理プログラム内に複数の処理手順(上記第1〜第3の実施形態のそれぞれの処理手順)を用意しておくことが考えられる。しかしながら、上記第3の実施形態の処理手順を用意しておくだけで、図25〜図27に示したいずれのパターンの画像に対しても、スフェロイドを表す画像8のみを抽出することができる。何故ならば、2値化画像IMGbiや第2画像IMG2の外縁の形状が円形である場合にたとえ円補正処理が行われても、外縁の形状は図22に示すように円形のまま維持され、中空部分を埋める処理は所望通りに行われるからである。
By the way, the picked-up image DAT obtained by picking up the microspheroid array includes images of a large number of
7…窪部壁面を表す画像
8…スフェロイドを表す画像
10…画像処理装置
20…撮像装置
30…(ウェルの)窪部
MP…マイクロスフェロイドアレイプレート
W…ウェル
7 ... Image representing the wall surface of the
Claims (13)
前記撮像画像に対して2値化処理を施すことによって黒データと白データとからなる2値化画像を生成する2値化ステップと、
前記2値化画像のうち黒データによって囲まれた白データを黒データに変換することによって第1画像を生成する第1画像生成ステップと、
前記2値化画像と前記第1画像との排他的論理和を求め、結果が真であるデータを黒データに対応付けるとともに結果が偽であるデータを白データに対応付けた第2画像を生成する第2画像生成ステップと、
前記第2画像のうち黒データによって囲まれた白データを黒データに変換することによって第3画像を生成する第3画像生成ステップと、
前記撮像画像のうち前記第3画像を構成する黒データが存在する領域の画像のみを抽出する画像抽出ステップと
を含むことを特徴とする、画像処理方法。 An image processing method for processing a captured image obtained by imaging a well having a plurality of depressions for holding an imaging target,
A binarization step of generating a binarized image composed of black data and white data by performing binarization processing on the captured image;
A first image generation step of generating a first image by converting white data surrounded by black data in the binarized image into black data;
An exclusive OR of the binarized image and the first image is obtained, and a second image in which data with a true result is associated with black data and data with a false result is associated with white data is generated. A second image generation step;
A third image generation step of generating a third image by converting white data surrounded by black data in the second image into black data;
An image extracting step of extracting only an image of an area where black data constituting the third image exists in the captured image.
前記撮像画像に対して2値化処理を施すことによって黒データと白データとからなる2値化画像を生成する2値化処理部と、
前記2値化画像のうち黒データによって囲まれた白データを黒データに変換することによって第1画像を生成する第1画像生成部と、
前記2値化画像と前記第1画像との排他的論理和を求め、結果が真であるデータを黒データに対応付けるとともに結果が偽であるデータを白データに対応付けた第2画像を生成する第2画像生成部と、
前記第2画像のうち黒データによって囲まれた白データを黒データに変換することによって第3画像を生成する第3画像生成部と、
前記撮像画像のうち前記第3画像を構成する黒データが存在する領域の画像のみを抽出する画像抽出部と
を備えることを特徴とする、画像処理装置。 An image processing apparatus that processes a captured image obtained by imaging a well having a plurality of depressions for holding an imaging target,
A binarization processing unit that generates a binarized image composed of black data and white data by performing binarization processing on the captured image;
A first image generation unit that generates a first image by converting white data surrounded by black data among the binarized images into black data;
An exclusive OR of the binarized image and the first image is obtained, and a second image in which data with a true result is associated with black data and data with a false result is associated with white data is generated. A second image generation unit;
A third image generation unit for generating a third image by converting white data surrounded by black data in the second image into black data;
An image processing apparatus, comprising: an image extracting unit that extracts only an image of an area where black data constituting the third image exists in the captured image.
前記撮像画像に対して2値化処理を施すことによって黒データと白データとからなる2値化画像を生成する2値化ステップと、
前記2値化画像のうち黒データによって囲まれた白データを黒データに変換することによって第1画像を生成する第1画像生成ステップと、
前記2値化画像と前記第1画像との排他的論理和を求め、結果が真であるデータを黒データに対応付けるとともに結果が偽であるデータを白データに対応付けた第2画像を生成する第2画像生成ステップと、
前記第2画像のうち黒データによって囲まれた白データを黒データに変換することによって第3画像を生成する第3画像生成ステップと、
前記撮像画像のうち前記第3画像を構成する黒データが存在する領域の画像のみを抽出する画像抽出ステップと
をコンピュータのCPUがメモリを利用して実行することを特徴とする、画像処理プログラム。 An image processing program for processing a captured image obtained by imaging a well having a plurality of depressions for holding an imaging target,
A binarization step of generating a binarized image composed of black data and white data by performing binarization processing on the captured image;
A first image generation step of generating a first image by converting white data surrounded by black data in the binarized image into black data;
An exclusive OR of the binarized image and the first image is obtained, and a second image in which data with a true result is associated with black data and data with a false result is associated with white data is generated. A second image generation step;
A third image generation step of generating a third image by converting white data surrounded by black data in the second image into black data;
An image processing program in which a CPU of a computer uses a memory to execute an image extraction step of extracting only an image of an area where black data constituting the third image exists in the captured image.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016085756A JP6326445B2 (en) | 2016-04-22 | 2016-04-22 | Image processing method, image processing apparatus, and image processing program |
PCT/JP2017/014046 WO2017183441A1 (en) | 2016-04-22 | 2017-04-04 | Image processing method, image processing device, and image processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016085756A JP6326445B2 (en) | 2016-04-22 | 2016-04-22 | Image processing method, image processing apparatus, and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017194879A true JP2017194879A (en) | 2017-10-26 |
JP6326445B2 JP6326445B2 (en) | 2018-05-16 |
Family
ID=60115814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016085756A Active JP6326445B2 (en) | 2016-04-22 | 2016-04-22 | Image processing method, image processing apparatus, and image processing program |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6326445B2 (en) |
WO (1) | WO2017183441A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111805894A (en) * | 2020-06-15 | 2020-10-23 | 苏州大学 | STL model slicing method and device |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6997038B2 (en) | 2018-05-16 | 2022-01-17 | 富士フイルム株式会社 | Manufacturing method of microneedle array |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05143733A (en) * | 1991-11-18 | 1993-06-11 | Seiko Epson Corp | Contour extracting device |
JP2010181402A (en) * | 2009-01-09 | 2010-08-19 | Dainippon Printing Co Ltd | Embryo quality evaluation assistance system, embryo quality evaluation assistance apparatus and embryo quality evaluation assistance method |
JP2013148441A (en) * | 2012-01-19 | 2013-08-01 | Dainippon Screen Mfg Co Ltd | Image processing method |
-
2016
- 2016-04-22 JP JP2016085756A patent/JP6326445B2/en active Active
-
2017
- 2017-04-04 WO PCT/JP2017/014046 patent/WO2017183441A1/en active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05143733A (en) * | 1991-11-18 | 1993-06-11 | Seiko Epson Corp | Contour extracting device |
JP2010181402A (en) * | 2009-01-09 | 2010-08-19 | Dainippon Printing Co Ltd | Embryo quality evaluation assistance system, embryo quality evaluation assistance apparatus and embryo quality evaluation assistance method |
JP2013148441A (en) * | 2012-01-19 | 2013-08-01 | Dainippon Screen Mfg Co Ltd | Image processing method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111805894A (en) * | 2020-06-15 | 2020-10-23 | 苏州大学 | STL model slicing method and device |
Also Published As
Publication number | Publication date |
---|---|
WO2017183441A1 (en) | 2017-10-26 |
JP6326445B2 (en) | 2018-05-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102195029B1 (en) | Defect Classification Device and Defect Classification Method | |
JP6791245B2 (en) | Image processing device, image processing method and image processing program | |
JP5804220B1 (en) | Image processing apparatus and image processing program | |
WO2006080239A1 (en) | Image processing device, microscope system, and area specification program | |
JP6122817B2 (en) | Spheroid evaluation method and spheroid evaluation apparatus | |
WO2013099045A1 (en) | Image display device and image display method | |
JP6326445B2 (en) | Image processing method, image processing apparatus, and image processing program | |
JP2006309405A (en) | Meter recognition system, meter recognition method, and meter recognition program | |
JP2016014974A (en) | Image processing method and image processor | |
JP5762315B2 (en) | Image processing method | |
JP5259348B2 (en) | Height information acquisition device, height information acquisition method, and program | |
JP6132824B2 (en) | Image processing method, control program, recording medium, and image processing apparatus | |
JP2009222420A (en) | Image processing method, image processing apparatus, and image processing program | |
JP2010237976A (en) | Light source information obtaining device, shading detection device, shading removal device, and those methods and programs | |
US20200098094A1 (en) | Image processing method and image processing apparatus | |
JP6355476B2 (en) | Threshold determination method, image processing method, and image processing apparatus | |
JP6470399B2 (en) | Image processing method, control program, and image processing apparatus | |
JP5520908B2 (en) | Image processing method and image processing apparatus | |
TWI510776B (en) | Bubble inspection processing method for glass | |
JP5157963B2 (en) | Object detection device | |
WO2017069035A1 (en) | Image-processing method and method for creating shading reference data | |
JP6002564B2 (en) | Apparatus for measuring spheroidization rate of carbide in steel material, method for measuring spheroidization rate, and program | |
US20160348057A1 (en) | Cell Colony Area Specifying Apparatus, Cell Colony Area Specifying Method, and Recording Medium | |
JP2009277618A (en) | Magnetic domain structural image acquisition method and scanning transmission electron microscope | |
CN117597430A (en) | Cell image analysis method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6326445 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |