JP2018160216A - Image processing method and image processing device - Google Patents
Image processing method and image processing device Download PDFInfo
- Publication number
- JP2018160216A JP2018160216A JP2017058512A JP2017058512A JP2018160216A JP 2018160216 A JP2018160216 A JP 2018160216A JP 2017058512 A JP2017058512 A JP 2017058512A JP 2017058512 A JP2017058512 A JP 2017058512A JP 2018160216 A JP2018160216 A JP 2018160216A
- Authority
- JP
- Japan
- Prior art keywords
- edge
- image processing
- processing method
- analysis region
- candidates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 title claims abstract description 27
- 238000004458 analytical method Methods 0.000 claims abstract description 48
- 238000011156 evaluation Methods 0.000 claims abstract description 16
- 238000003384 imaging method Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 18
- 239000000284 extract Substances 0.000 abstract description 3
- 230000007246 mechanism Effects 0.000 description 28
- 210000004027 cell Anatomy 0.000 description 24
- 238000010586 diagram Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 238000003708 edge detection Methods 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 239000000428 dust Substances 0.000 description 3
- 239000007788 liquid Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000024245 cell differentiation Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 229940000406 drug candidate Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 210000004263 induced pluripotent stem cell Anatomy 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000005499 meniscus Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 210000001778 pluripotent stem cell Anatomy 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、対象物を解析する解析領域、および、前記解析領域の周囲を撮像して得られる画像データから、前記解析領域のエッジを検出する画像処理方法および画像処理装置に関する。 The present invention relates to an analysis region for analyzing an object, and an image processing method and an image processing apparatus for detecting an edge of the analysis region from image data obtained by imaging the periphery of the analysis region.
細胞の解析には、ウェルプレートまたはマイクロプレートと呼ばれる、複数のウェル（窪み）が設けられた平板状の器具が用いられる。解析対象物の細胞は、複数のウェル内に、培養液とともに保持される。そして、カメラで、細胞を撮像して、解析が行われる。カメラでの撮像の際、ウェルと、その周囲とが撮像される。このため、画像処理で、細胞の解析範囲となるウェル壁の境界を、精度良く検出する必要がある。 For the analysis of cells, a plate-like instrument called a well plate or microplate provided with a plurality of wells (dents) is used. The cells to be analyzed are held together with the culture solution in a plurality of wells. And a cell is imaged with a camera and an analysis is performed. When imaging with a camera, the well and its surroundings are imaged. For this reason, it is necessary to detect the boundary of the well wall, which is the cell analysis range, with high accuracy by image processing.
特許文献１には、マイクロプレートの試験ウェル壁境界を識別する方法が開示されている。特許文献１に記載の方法は、マイクロプレートの画像から、試験ウェルの壁境界の特徴を検出する。そして、壁境界の特徴を使用して、壁境界の候補エッジ画像を生成する。その候補エッジ画像を解析して、試験ウェルの外周境界の空間的位置を計算し、その情報を使用して内周境界を決定する。この内周境界を、試験ウェル領域とする。 Patent Document 1 discloses a method for identifying a test well wall boundary of a microplate. The method described in Patent Document 1 detects the feature of the wall boundary of the test well from the image of the microplate. Then, using the feature of the wall boundary, a candidate edge image of the wall boundary is generated. The candidate edge image is analyzed to calculate the spatial position of the outer perimeter boundary of the test well and the information is used to determine the inner perimeter boundary. This inner peripheral boundary is defined as a test well region.
特許文献１では、ウェル内には培養液等の液体が保持されているため、表面張力により、液体の表面に凹状のメニスカスが形成される。この場合、液体の表面において光が屈折し、試験ウェルの外周境界を正確に検出できないことがある。その結果、試験ウェルの外周境界の空間的位置から、試験ウェルの内周境界を決定する特許文献１では、試験ウェルの内周境界を正確に検出できない。そして、試験ウェルの内周境界を検出できないと、誤った解析領域で細胞を解析し、精度の良い解析結果が得られないおそれがある。 In Patent Document 1, since a liquid such as a culture solution is held in the well, a concave meniscus is formed on the surface of the liquid due to surface tension. In this case, light may be refracted on the surface of the liquid, and the outer peripheral boundary of the test well may not be detected accurately. As a result, Patent Document 1 that determines the inner peripheral boundary of the test well from the spatial position of the outer peripheral boundary of the test well cannot accurately detect the inner peripheral boundary of the test well. If the inner peripheral boundary of the test well cannot be detected, the cells are analyzed in the wrong analysis region, and there is a possibility that an accurate analysis result cannot be obtained.
本発明は、このような事情に鑑みなされたものであり、解析領域を精度よく検出する画像処理方法および画像処理装置を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image processing method and an image processing apparatus that detect an analysis region with high accuracy.
上記課題を解決するため、本願の第１発明は、対象物を解析する解析領域、および、前記解析領域の周囲を撮像して得られる画像データから、前記解析領域のエッジを検出する画像処理方法であって、ａ）前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、ｂ）前記工程ａ）で、複数のエッジ座標群が抽出された場合、前記複数のエッジ座標群それぞれに対して、前記解析領域のエッジ候補を生成する工程と、ｃ）前記工程ｂ）で生成したエッジ候補から、予め決められた基準値を満たすエッジ候補を選択する工程と、ｄ）前記工程ｃ）で、複数のエッジ候補が選択された場合、相対評価で、前記複数のエッジ候補の中から、前記解析領域のエッジを決定する工程と、を含む。 In order to solve the above problems, a first invention of the present application is an image processing method for detecting an edge of an analysis region from an analysis region for analyzing an object and image data obtained by imaging the periphery of the analysis region. A) a step of extracting an edge coordinate group of the analysis area from the image data; and b) a plurality of edge coordinate groups extracted in the step a). A step of generating edge candidates for the analysis region; c) a step of selecting edge candidates satisfying a predetermined reference value from the edge candidates generated in step b); and d) the step c. ), When a plurality of edge candidates are selected, determining an edge of the analysis region from among the plurality of edge candidates by relative evaluation.
本願の第２発明は、第１発明の画像処理方法であって、前記工程ｂ）は、前記複数のエッジ座標群それぞれに対して、多項式近似によるエッジ候補を生成する。 The second invention of the present application is the image processing method of the first invention, wherein the step b) generates edge candidates by polynomial approximation for each of the plurality of edge coordinate groups.
本願の第３発明は、第２発明の画像処理方法であって、前記工程ｃ）は、前記エッジ候補からの距離が第１許容値以下であるエッジ座標を、所定数以上有するエッジ座標群から生成されたエッジ候補を、選択する。 A third invention of the present application is the image processing method according to the second invention, wherein the step c) is performed from an edge coordinate group having a predetermined number or more of edge coordinates whose distance from the edge candidate is a first allowable value or less. The generated edge candidate is selected.
本願の第４発明は、第１発明から第３発明までの画像処理方法であって、前記工程ｃ）は、ｃ１）前記工程ｂ）で生成したエッジ候補それぞれに対して、前記エッジ候補を特定するエッジ座標の欠落数を検出する工程と、ｃ２）前記工程ｂ）で生成したエッジ候補それぞれに対して、前記エッジ座標が連続して欠落している欠落範囲を検出する工程と、ｃ３）検出された前記欠落数と、検出された前記欠落範囲とから、選択用指標を算出する工程と、ｃ４）算出された前記選択用指標が第２許容値以上のエッジ候補を選択する工程と、を含む。 A fourth invention of the present application is the image processing method from the first invention to the third invention, wherein the step c) specifies the edge candidate for each of the edge candidates generated in c1) the step b). Detecting the number of missing edge coordinates, c2) detecting a missing range in which the edge coordinates are continuously missing for each of the edge candidates generated in step b), and c3) detecting A step of calculating a selection index from the detected number of missing pieces and the detected missing range; and c4) a step of selecting an edge candidate for which the calculated selection index is a second allowable value or more. Including.
本願の第５発明は、第１発明から第４発明までの画像処理方法であって、前記工程ｃ）は、前記工程ｂ）で生成したエッジ候補それぞれと、前記エッジ候補の近隣エッジ座標との距離の統計量を算出し、算出した統計量に基づいて、エッジ候補を選択する。 A fifth invention of the present application is the image processing method from the first invention to the fourth invention, wherein the step c) includes the edge candidates generated in the step b) and the neighboring edge coordinates of the edge candidates. A distance statistic is calculated, and an edge candidate is selected based on the calculated statistic.
本願の第６発明は、第１発明から第５発明までの画像処理方法であって、前記解析領域は円形であり、ｅ）予め記憶された、前記解析領域の理想径を取得する工程をさらに含み、前記工程ｃ）は、前記工程ｂ）で生成したエッジ候補から、前記理想径の第１許容範囲内にある径を有するエッジ候補を選択する。 6th invention of this application is an image processing method from 1st invention to 5th invention, Comprising: The said analysis area | region is circular, e) The process of acquiring the ideal diameter of the said analysis area | region memorize | stored previously is further included In the step c), an edge candidate having a diameter within a first allowable range of the ideal diameter is selected from the edge candidates generated in the step b).
本願の第７発明は、第６発明の画像処理方法であって、前記工程ｃ）は、前記工程ｂ）で生成したエッジ候補のうち、中心座標が、所定の中心座標から第２許容範囲内にあるエッジ候補を、選択する。 A seventh invention of the present application is the image processing method according to the sixth invention, wherein the step c) is such that the center coordinate is within a second allowable range from a predetermined center coordinate among the edge candidates generated in the step b). The edge candidate at is selected.
本願の第８発明は、第６発明または第７発明の画像処理方法であって、前記工程ｄ）は、前記複数のエッジ候補の中から、最小の径を有するエッジ候補を、前記解析領域のエッジに決定する。 An eighth invention of the present application is the image processing method according to the sixth invention or the seventh invention, wherein the step d) selects an edge candidate having a minimum diameter from the plurality of edge candidates. Decide on an edge.
本願の第９発明は、第６発明から第８発明までの画像処理方法であって、前記工程ｄ）は、前記複数のエッジ候補それぞれの中心座標の中から、所定範囲外に位置する中心座標を検出し、前記複数のエッジ候補の中から、前記所定範囲外に位置する中心座標を有するエッジ候補を除外して、前記解析領域のエッジを決定する。 A ninth invention of the present application is the image processing method according to the sixth to eighth inventions, wherein the step d) includes center coordinates located outside a predetermined range among center coordinates of each of the plurality of edge candidates. , And the edge of the analysis region is determined by excluding edge candidates having center coordinates located outside the predetermined range from the plurality of edge candidates.
本願の第１０発明は、第１発明から第９発明までの画像処理方法であって、前記工程ｄ）は、前記工程ｂ）で生成したエッジ候補それぞれからスコア値を算出し、算出した前記スコア値に基づいて、前記解析領域のエッジを決定する。 A tenth invention of the present application is the image processing method from the first invention to the ninth invention, wherein the step d) calculates a score value from each of the edge candidates generated in the step b), and the calculated score Based on the value, the edge of the analysis region is determined.
本願の第１１発明は、画像処理装置であって、対象物を解析する解析領域、および、前記解析領域の周囲を撮像するカメラと、前記カメラで撮像して得られる画像データを処理する制御部と、を備え、前記制御部は、ａ）前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、ｂ）前記工程ａ）で、複数のエッジ座標群が抽出された場合、前記複数のエッジ座標群それぞれに対して、前記解析領域のエッジ候補を生成する工程と、ｃ）前記工程ｂ）で生成したエッジ候補から、予め決められた基準値を満たすエッジ候補を選択する工程と、ｄ）前記工程ｃ）で、複数のエッジ候補が選択された場合、相対評価で、前記複数のエッジ候補の中から、前記解析領域のエッジを決定する工程と、を実行する。 An eleventh invention of the present application is an image processing apparatus, an analysis region for analyzing an object, a camera for imaging the periphery of the analysis region, and a control unit for processing image data obtained by imaging with the camera The control unit includes: a) a step of extracting an edge coordinate group of the analysis region from the image data; and b) when a plurality of edge coordinate groups are extracted in the step a), A step of generating edge candidates for the analysis region for each of a plurality of edge coordinate groups; c) a step of selecting edge candidates satisfying a predetermined reference value from the edge candidates generated in step b); D) When a plurality of edge candidates are selected in the step c), a step of determining an edge of the analysis region from the plurality of edge candidates by relative evaluation is executed.
本願の第１発明〜第１１発明によれば、光の屈折またはゴミ等の影響により、エッジ座標群が複数検出されて、複数のエッジ候補が生成される場合であっても、基準値と相対評価とにより絞り込むことで、解析領域のエッジの決定を精度よく行える。また、解析領域のエッジを把握することで、精度良く対象物の解析を行える。 According to the first to eleventh inventions of the present application, even when a plurality of edge coordinate groups are detected and a plurality of edge candidates are generated due to the influence of light refraction or dust, the reference value is relatively By narrowing down by evaluation, the edge of the analysis area can be determined with high accuracy. In addition, by grasping the edge of the analysis region, the object can be analyzed with high accuracy.
特に、本願の第２発明によれば、ロバスト性の高いエッジ検出が可能となる。 In particular, according to the second invention of the present application, edge detection with high robustness is possible.
特に、本願の第４発明によれば、解析領域のエッジを決定する際の信頼性が向上する。 In particular, according to the fourth invention of the present application, the reliability in determining the edge of the analysis region is improved.
特に、本願の第７発明によれば、複数のエッジ候補のなかで、中心座標が、所定の中心座標から極端にずれたものを排除することで、解析領域のエッジを決定する際の信頼性が向上する。 In particular, according to the seventh invention of the present application, the reliability in determining the edge of the analysis region is eliminated by excluding the plurality of edge candidates whose center coordinates are extremely deviated from the predetermined center coordinates. Will improve.
特に、本願の第９発明によれば、複数のエッジ候補のなかで、他のエッジ候補と中心座標が極端にずれたものを排除することで、解析領域のエッジを決定する際の信頼性が向上する。 In particular, according to the ninth invention of the present application, the reliability in determining the edge of the analysis region is eliminated by excluding a plurality of edge candidates whose center coordinates are extremely shifted from other edge candidates. improves.
以下、本発明の好適な実施形態について、図面を参照しつつ説明する。以下では、本発明の「画像処理装置」は、セットされたウェルプレートを撮像する撮像装置として説明する。そして、その撮像装置において、本発明の「画像処理方法」が実行されるものとして説明する。 Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. Hereinafter, the “image processing apparatus” of the present invention will be described as an imaging apparatus that images a set well plate. The description will be made assuming that the “image processing method” of the present invention is executed in the imaging apparatus.
＜１．撮像装置の構成＞
図１は、撮像装置１にセットされるウェルプレート９の一例を示す斜視図である。
<1. Configuration of Imaging Device>
FIG. 1 is a perspective view showing an example of a well plate 9 set in the imaging apparatus 1.
ウェルプレート９は、複数のウェル９１を有する略板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。ウェルプレート９の上面には、複数のウェル９１が規則的に配列されている。ウェル９１は、培養液９２とともに、解析対象物となる複数の細胞９３を保持する。ウェル９１の内側は、細胞９３を解析する解析領域である。本実施形態では、上面視におけるウェル９１の形状は、円形として説明する。ただし、ウェル９１の形状は、矩形等の他の形状であってもよい。 The well plate 9 is a substantially plate-like sample container having a plurality of wells 91. For example, a transparent resin that transmits light is used as the material of the well plate 9. A plurality of wells 91 are regularly arranged on the upper surface of the well plate 9. The well 91 holds a plurality of cells 93 to be analyzed together with the culture solution 92. The inside of the well 91 is an analysis region for analyzing the cell 93. In the present embodiment, the shape of the well 91 in the top view is described as a circle. However, the shape of the well 91 may be other shapes such as a rectangle.
図２は、本実施形態に係る撮像装置１の構成を示した図である。 FIG. 2 is a diagram illustrating a configuration of the imaging apparatus 1 according to the present embodiment.
撮像装置１は、ウェルプレート９内の複数の細胞９３を、カメラ４０の焦点位置を変化させつつ複数回撮影して、細胞９３の画像データを生成する装置である。撮像装置１は、例えば、医薬品の研究開発分野において、医薬品の候補となる化合物を絞り込むスクリーニング工程に、使用される。スクリーニング工程の担当者は、ウェルプレート９の複数のウェル９１に、濃度や組成の異なる化合物を添加する。そして、撮像装置１において、ウェルプレート９の各ウェル９１内の細胞９３の画像データを取得する。その後、得られた画像データに基づいて、細胞９３の培養状態を比較・分析することにより、培養液９２に添加された化合物の効用を検証する。 The imaging device 1 is a device that captures a plurality of cells 93 in the well plate 9 a plurality of times while changing the focal position of the camera 40 and generates image data of the cells 93. The imaging device 1 is used, for example, in a screening process for narrowing down compounds that are drug candidates in the field of drug research and development. The person in charge of the screening process adds compounds having different concentrations and compositions to the plurality of wells 91 of the well plate 9. In the imaging apparatus 1, image data of the cells 93 in each well 91 of the well plate 9 is acquired. Then, based on the obtained image data, the effect of the compound added to the culture solution 92 is verified by comparing and analyzing the culture state of the cells 93.
ただし、撮像装置１は、ＩＰＳ細胞またはＥＳ細胞等の多能性幹細胞の研究・開発において、細胞の分化などを観察するために用いられてもよい。 However, the imaging device 1 may be used for observing cell differentiation in research and development of pluripotent stem cells such as IPS cells or ES cells.
撮像装置１は、ステージ１０、投光部２０、投光部移動機構３０、カメラ４０、カメラ移動機構５０、および制御部６０を備えている。 The imaging apparatus 1 includes a stage 10, a light projecting unit 20, a light projecting unit moving mechanism 30, a camera 40, a camera moving mechanism 50, and a control unit 60.
ステージ１０は、ウェルプレート９を保持する載置台である。撮像装置１内におけるステージ１０の位置は、少なくとも撮影時には固定される。ステージ１０の中央には、上下に貫通する矩形の開口部１１が設けられている。また、ステージ１０は、開口部１１の縁に、環状の支持面１２を有する。ウェルプレート９は、開口部１１に嵌め込まれるとともに、支持面１２によって水平に支持される。したがって、各ウェル９１の上部および下部は、ステージ１０に塞がれることなく露出する。 The stage 10 is a mounting table that holds the well plate 9. The position of the stage 10 in the imaging device 1 is fixed at least during photographing. In the center of the stage 10, a rectangular opening 11 penetrating vertically is provided. The stage 10 has an annular support surface 12 at the edge of the opening 11. The well plate 9 is fitted into the opening 11 and is supported horizontally by the support surface 12. Therefore, the upper and lower portions of each well 91 are exposed without being blocked by the stage 10.
投光部２０は、ステージ１０に保持されたウェルプレート９の上方に配置されている。投光部２０は、ＬＥＤ等の光源を有する。撮影時には、投光部２０内の光源が発光する。これにより、投光部２０から下方へ向けて、光が照射される。なお、投光部２０は、カメラ４０とは反対側からウェルプレート９に向けて、光を照射するものであればよい。したがって、投光部２０の光源自体は、ウェルプレート９の上方から外れた位置に配置され、ミラー等の光学系を介して、ウェルプレート９に光が照射される構成であってもよい。 The light projecting unit 20 is disposed above the well plate 9 held on the stage 10. The light projecting unit 20 has a light source such as an LED. During shooting, the light source in the light projecting unit 20 emits light. Thereby, light is irradiated from the light projecting unit 20 downward. The light projecting unit 20 only needs to irradiate light from the side opposite to the camera 40 toward the well plate 9. Therefore, the light source itself of the light projecting unit 20 may be arranged at a position off the upper side of the well plate 9, and the well plate 9 may be irradiated with light via an optical system such as a mirror.
投光部移動機構３０は、ステージ１０に保持されたウェルプレート９の上面に沿って、投光部２０を水平に移動させる機構である。投光部移動機構３０には、例えば、モータの回転運動を、ボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、投光部移動機構３０を動作させることにより、各ウェル９１の上方位置に、投光部２０を配置することができる。なお、図２では、投光部２０の移動方向として、矢印Ａ１の１方向のみが示されている。しかしながら、投光部移動機構３０は、投光部２０を、ウェルプレート９の上面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。 The light projecting unit moving mechanism 30 is a mechanism for moving the light projecting unit 20 horizontally along the upper surface of the well plate 9 held on the stage 10. For the light projecting unit moving mechanism 30, for example, a mechanism that converts the rotational motion of the motor into a straight motion via a ball screw is used. The imaging apparatus 1 can arrange the light projecting unit 20 at a position above each well 91 by operating the light projecting unit moving mechanism 30. In FIG. 2, only one direction of arrow A <b> 1 is shown as the moving direction of the light projecting unit 20. However, the light projecting unit moving mechanism 30 may move the light projecting unit 20 in two directions (left and right direction and depth direction in FIG. 2) along the upper surface of the well plate 9.
カメラ４０は、ステージ１０に保持されたウェルプレート９の下方に配置されている。カメラ４０は、レンズ等の光学系と、ＣＣＤまたはＣＭＯＳ等の撮像素子とを有する。撮影時には、投光部２０からウェルプレート９の一部分へ向けて光を照射しつつ、カメラ４０が、ウェルプレート９の当該一部分を撮影する。これにより、ウェルプレート９内の細胞９３の画像を、デジタルデータとして取得することができる。取得された撮影画像は、カメラ４０から制御部６０へ入力される。 The camera 40 is disposed below the well plate 9 held on the stage 10. The camera 40 has an optical system such as a lens and an image sensor such as a CCD or CMOS. At the time of photographing, the camera 40 photographs a part of the well plate 9 while irradiating light from the light projecting unit 20 toward a part of the well plate 9. Thereby, the image of the cell 93 in the well plate 9 can be acquired as digital data. The acquired captured image is input from the camera 40 to the control unit 60.
カメラ移動機構５０は、カメラ４０の姿勢を維持しつつ、カメラ４０の高さおよび水平方向の位置を変化させる機構である。カメラ移動機構５０は、昇降移動機構５１と水平移動機構５２とを有する。 The camera moving mechanism 50 is a mechanism that changes the height and horizontal position of the camera 40 while maintaining the posture of the camera 40. The camera moving mechanism 50 includes an up / down moving mechanism 51 and a horizontal moving mechanism 52.
昇降移動機構５１は、カメラ４０を上下に移動させて、カメラ４０の高さを変化させる。これにより、ステージ１０に保持されたウェルプレート９とカメラ４０との距離（すなわち、細胞９３とカメラ４０との間の撮影距離）が変化する。この結果、カメラ４０の焦点位置を、光軸に沿って上下に移動させることができる。 The up-and-down moving mechanism 51 moves the camera 40 up and down to change the height of the camera 40. As a result, the distance between the well plate 9 held on the stage 10 and the camera 40 (that is, the imaging distance between the cell 93 and the camera 40) changes. As a result, the focal position of the camera 40 can be moved up and down along the optical axis.
水平移動機構５２は、カメラ４０および昇降移動機構５１を、一体として水平に移動させる。撮像装置１は、水平移動機構５２を動作させることにより、各ウェル９１の下方位置に、カメラ４０を配置することができる。なお、図２では、水平移動機構５２によるカメラ４０の移動方向として、矢印Ａ２の１方向のみが示されている。しかしながら、カメラ移動機構５０は、カメラ４０を、ウェルプレート９の下面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。 The horizontal movement mechanism 52 moves the camera 40 and the elevation movement mechanism 51 horizontally as a unit. The imaging apparatus 1 can place the camera 40 at a position below each well 91 by operating the horizontal movement mechanism 52. In FIG. 2, only one direction of arrow A <b> 2 is shown as the moving direction of the camera 40 by the horizontal moving mechanism 52. However, the camera moving mechanism 50 may move the camera 40 in two directions (the left-right direction and the depth direction in FIG. 2) along the lower surface of the well plate 9.
なお、上述した投光部移動機構３０と、水平移動機構５２とは、同期駆動される。これにより、投光部２０とカメラ４０とは、上面視において、常に同じ位置に配置される。すなわち、投光部２０とカメラ４０とは、同じ向きに同じ距離だけ移動し、あるウェル９１の下方位置にカメラ４０が配置されたときには、必ず、そのウェル９１の上方位置に投光部２０が配置される。 The light projecting unit moving mechanism 30 and the horizontal moving mechanism 52 described above are driven synchronously. Thereby, the light projection part 20 and the camera 40 are always arrange | positioned in the same position in top view. That is, the light projecting unit 20 and the camera 40 are moved in the same direction by the same distance, and when the camera 40 is disposed at a position below a certain well 91, the light projecting unit 20 is always positioned above the well 91. Be placed.
制御部６０は、例えば、コンピュータにより構成される。制御部６０は、撮像装置１内の各部を動作制御する機能と、カメラ４０で撮像されて得られる画像データを画像処理する機能と、を有する。図３は、制御部６０と、撮像装置１内の各部との接続を示したブロック図である。図３中に概念的に示したように、制御部６０は、ＣＰＵ等のプロセッサ６１、ＲＡＭ等のメモリ６２、およびハードディスクドライブ等の記憶部６３を有する。記憶部６３内には、撮像装置１内の各部を動作制御するためのプログラムＰ１と、画像データを画像処理するプログラムＰ２と、が記憶されている。 The control unit 60 is configured by a computer, for example. The control unit 60 has a function of controlling the operation of each unit in the imaging apparatus 1 and a function of performing image processing on image data obtained by being captured by the camera 40. FIG. 3 is a block diagram illustrating the connection between the control unit 60 and each unit in the imaging apparatus 1. As conceptually shown in FIG. 3, the control unit 60 includes a processor 61 such as a CPU, a memory 62 such as a RAM, and a storage unit 63 such as a hard disk drive. In the storage unit 63, a program P1 for controlling the operation of each unit in the imaging apparatus 1 and a program P2 for image processing image data are stored.
また、制御部６０は、上述した投光部２０、投光部移動機構３０、カメラ４０、昇降移動機構５１、および水平移動機構５２と、それぞれ通信可能に接続されている。制御部６０は、プログラムＰ１に従って、上記の各部を動作制御する。これにより、ウェルプレート９の各ウェル９１に保持された細胞９３の撮影処理が進行する。また、制御部６０は、カメラ４０から入力された画像データを、プログラムＰ２に従って処理することにより、ウェル９１のエッジを検出し、また、ウェル９１内の細胞９３の画像データを取得する。ウェル９１のエッジとは、ウェルプレート９における、ウェル９１の内壁と、その周囲との境界である。 The control unit 60 is connected to the above-described light projecting unit 20, the light projecting unit moving mechanism 30, the camera 40, the lifting / lowering moving mechanism 51, and the horizontal moving mechanism 52 so that they can communicate with each other. The control unit 60 controls the operation of each unit described above according to the program P1. Thereby, the imaging process of the cells 93 held in each well 91 of the well plate 9 proceeds. Further, the control unit 60 processes the image data input from the camera 40 in accordance with the program P2, thereby detecting the edge of the well 91 and acquiring the image data of the cell 93 in the well 91. The edge of the well 91 is a boundary between the inner wall of the well 91 and the periphery thereof in the well plate 9.
＜２．画像処理について＞
ウェルプレート９を撮像する際、ウェル９１と、その周囲とが撮像される。このため、ウェル９１内の細胞９３の画像データを取得する場合には、まず、ウェルプレート９における、ウェル９１のエッジを検出する必要がある。撮像装置１は、ウェルプレート９を撮像して得られる画像データから、各ウェル９１のエッジを検出する処理（以下、「エッジ検出処理」と称す。）を行う。以下、エッジ検出処理について説明する。
<2. About image processing>
When the well plate 9 is imaged, the well 91 and its surroundings are imaged. For this reason, when acquiring the image data of the cell 93 in the well 91, it is necessary to detect the edge of the well 91 in the well plate 9 first. The imaging apparatus 1 performs a process of detecting the edge of each well 91 from image data obtained by imaging the well plate 9 (hereinafter referred to as “edge detection process”). Hereinafter, the edge detection process will be described.
図４は、エッジ検出処理のフローチャートを示す図である。以下、このフローチャートを参照しつつ、説明する。 FIG. 4 is a flowchart of the edge detection process. Hereinafter, description will be given with reference to this flowchart.
制御部６０は、ウェルプレート９を、カメラ４０で撮像する（ステップＳ１）。次に、制御部６０は、撮像して得られる画像データから、一のウェル９１に対するエッジ情報を抽出する（ステップＳ２）。エッジ情報は、ウェル９１のエッジを特定するための画素情報である。したがって、一のウェル９１に対しては、本来、一のエッジ情報が抽出されるべきである。しかしながら、ステップＳ２の処理では、光の屈折または細胞９３などの影響により、ウェル９１のエッジとは無関係な画素が、エッジ情報として抽出されることがある。複数のエッジ情報が抽出されると、一のウェル９１に対して、正確なエッジを検出することが困難となる。そこで、以下の処理で、複数のエッジ情報を所定の条件を満たすエッジ情報に絞り込み、それに、ウェル９１のエッジを決定する処理を行う。 The control unit 60 images the well plate 9 with the camera 40 (step S1). Next, the control unit 60 extracts edge information for one well 91 from the image data obtained by imaging (step S2). The edge information is pixel information for specifying the edge of the well 91. Therefore, for one well 91, one edge information should be extracted. However, in the process of step S2, pixels irrelevant to the edge of the well 91 may be extracted as edge information due to the influence of light refraction or cells 93. When a plurality of edge information is extracted, it is difficult to detect an accurate edge for one well 91. Therefore, in the following processing, a plurality of edge information is narrowed down to edge information satisfying a predetermined condition, and processing for determining the edge of the well 91 is performed.
エッジ情報は、エッジ座標群と、エッジ特徴情報とを含む。エッジ座標群は、画像データの各画素の輝度の変化から抽出される座標データの集まりである。このエッジ座標の検出には、既知のエッジ検出処理が用いられる。エッジ特徴情報は、エッジ座標群により特定されるエッジの特徴を表す情報である。エッジ特徴情報は、エッジ座標群により特定されるエッジの方向、エッジの強度、エッジの構成画素数、ならびに、エッジの最大輝度および最小輝度、を有する。ただし、エッジ特徴情報は、前記のすべてを有していてもよいし、いずれか一つ、または複数を有していてもよい。 The edge information includes an edge coordinate group and edge feature information. The edge coordinate group is a collection of coordinate data extracted from a change in luminance of each pixel of the image data. A known edge detection process is used to detect the edge coordinates. The edge feature information is information representing the feature of the edge specified by the edge coordinate group. The edge feature information includes the edge direction specified by the edge coordinate group, the edge strength, the number of constituent pixels of the edge, and the maximum luminance and the minimum luminance of the edge. However, the edge feature information may have all of the above, or may have any one or a plurality.
図５は、エッジ特徴情報を説明するためのイメージ図である。図５には、カメラ４０でウェル９１を撮像して得られた画像データの一部を示す。この図において、画素の輝度を、濃度で表している。つまり、黒に近くなるにつれ、その画素の輝度は低くなることを示す。 FIG. 5 is an image diagram for explaining the edge feature information. FIG. 5 shows a part of image data obtained by imaging the well 91 with the camera 40. In this figure, the luminance of the pixel is represented by density. In other words, the brightness of the pixel decreases as it becomes closer to black.
エッジの方向は、エッジ座標により特定されるエッジの方向である。図５では、エッジの方向は、白抜き矢印で示す。このエッジの方向は、エッジ座標により特定される画素（以下、「注目画素」と称す）から、輝度が大きくなる画素に向かう方向である。例えば、制御部６０は、注目画素と、その周囲の画素との輝度の差分をそれぞれ算出し、その中から、差分が大きい方向を、エッジの方向として検出する。 The direction of the edge is the direction of the edge specified by the edge coordinates. In FIG. 5, the direction of the edge is indicated by a white arrow. The direction of the edge is a direction from a pixel specified by the edge coordinates (hereinafter referred to as “a pixel of interest”) toward a pixel whose luminance increases. For example, the control unit 60 calculates the difference in luminance between the target pixel and the surrounding pixels, and detects the direction in which the difference is large as the edge direction.
エッジ強度は、エッジを構成する最大輝度と、最小輝度との差分である。図５では、エッジ強度は、白抜き矢印の太さで示す。ただし、エッジ強度は、注目画素の輝度としてもよいし、注目画素の輝度と、その周囲の画素の輝度との差分としてもよい。 The edge strength is a difference between the maximum luminance and the minimum luminance that constitute the edge. In FIG. 5, the edge strength is indicated by the thickness of the white arrow. However, the edge strength may be the luminance of the pixel of interest, or may be the difference between the luminance of the pixel of interest and the luminance of surrounding pixels.
エッジの構成画素数は、注目画素から、前記エッジの方向において、輝度の変化が連続する画素の数である。図５では、エッジの構成画素数は、白抜き矢印の長さで示す。 The number of pixels constituting the edge is the number of pixels in which the luminance change continues in the direction of the edge from the target pixel. In FIG. 5, the number of pixels constituting the edge is indicated by the length of the white arrow.
エッジの最大輝度および最小輝度は、エッジの構成画素内の最大輝度と、最小輝度とである。 The maximum luminance and the minimum luminance of the edge are the maximum luminance and the minimum luminance in the constituent pixels of the edge.
図４に戻り、制御部６０は、既知の理想径Ｄを用いて、エッジ座標群の中からエッジ座標を抽出する処理を、エッジ情報のエッジ座標群それぞれに対し行う（ステップＳ３）。記憶部６３には、予め、中心座標Ｘと理想径Ｄとが、記憶されている。中心座標Ｘは、例えば、画像データ内のウェル９１の、予想される任意の中心座標である。理想径Ｄは、撮像装置１にセットされるウェルプレート９の設計上のウェル径（所謂、カタログ値）である。以下、ステップＳ２で抽出したエッジ情報のエッジ座標群は、「第１エッジ座標群Ｅ１」と称す。 Returning to FIG. 4, the control unit 60 performs processing for extracting edge coordinates from the edge coordinate group using the known ideal diameter D for each edge coordinate group of the edge information (step S <b> 3). The storage unit 63 stores the center coordinate X and the ideal diameter D in advance. The center coordinate X is, for example, any expected center coordinate of the well 91 in the image data. The ideal diameter D is a designed well diameter (so-called catalog value) of the well plate 9 set in the imaging device 1. Hereinafter, the edge coordinate group of the edge information extracted in step S2 is referred to as “first edge coordinate group E1”.
制御部６０は、第１エッジ座標群Ｅ１の一のエッジ座標と、中心座標Ｘとの距離Ｄｗを算出する。そして、制御部６０は、距離Ｄｗと理想径Ｄとの差分が、許容範囲内であるかを判定する。許容範囲内である場合、制御部６０は、そのエッジ座標を、第１エッジ座標群Ｅ１から抽出する。許容範囲を超える場合、そのエッジ座標は、中心座標Ｘとの距離Ｄｗが、理想径Ｄに所定の許容値を加えた距離よりも離れすぎていると判定され、制御部６０は、そのエッジ座標を、処理対象から除外する。制御部６０は、前記処理を、第１エッジ座標群Ｅ１の各エッジ座標に対して行う。制御部６０は、第１エッジ座標群Ｅ１から、抽出されたエッジ座標を、第２エッジ座標群Ｅ２として記憶する。つまり、このステップＳ３は、エッジ座標群Ｅに含まれる、ウェル９１のエッジを特定する情報とは、明らかに関係のない情報を排除する処理である。 The control unit 60 calculates a distance Dw between one edge coordinate of the first edge coordinate group E1 and the center coordinate X. Then, the control unit 60 determines whether or not the difference between the distance Dw and the ideal diameter D is within an allowable range. When it is within the allowable range, the control unit 60 extracts the edge coordinates from the first edge coordinate group E1. When the allowable range is exceeded, it is determined that the distance Dw from the center coordinate X is too far than the distance obtained by adding the predetermined allowable value to the ideal diameter D, and the control unit 60 determines that the edge coordinate is the edge coordinate. Are excluded from the processing target. The control unit 60 performs the process on each edge coordinate of the first edge coordinate group E1. The control unit 60 stores the edge coordinates extracted from the first edge coordinate group E1 as the second edge coordinate group E2. That is, this step S3 is a process of eliminating information that is clearly unrelated to the information specifying the edge of the well 91 included in the edge coordinate group E.
制御部６０は、第２エッジ座標群Ｅ２を生成する処理を、エッジ情報に含まれるエッジ座標群Ｅすべてについて行う。なお、制御部６０は、生成した第２エッジ座標群Ｅ２を記憶する際、それに対応づけて、ステップＳ２で抽出したエッジ特徴情報も記憶する。 The control unit 60 performs the process of generating the second edge coordinate group E2 for all the edge coordinate groups E included in the edge information. When storing the generated second edge coordinate group E2, the control unit 60 also stores the edge feature information extracted in step S2 in association with the generated second edge coordinate group E2.
次に、制御部６０は、ステップＳ３で生成した第２エッジ座標群Ｅ２から、エッジ特徴情報に基づく、エッジ座標群の選択処理を行う（ステップＳ４）。 Next, the control unit 60 performs an edge coordinate group selection process based on the edge feature information from the second edge coordinate group E2 generated in step S3 (step S4).
図６は、エッジ特徴情報に基づく選択を説明するためのイメージ図である。ただし、図６では、図５で示した画像データの図示を省略し、エッジ特徴情報のみを図示している。 FIG. 6 is an image diagram for explaining selection based on edge feature information. However, in FIG. 6, illustration of the image data shown in FIG. 5 is omitted, and only the edge feature information is illustrated.
ステップＳ４の処理では、例えば、制御部６０は、第２エッジ座標群Ｅ２に対応するエッジ特徴情報に含まれる各エッジ強度が、閾値以上である場合、その第２エッジ座標群Ｅ２を選択する。ここで、制御部６０は、エッジ特徴情報に含まれる全てのエッジ強度が閾値以上である場合に、対応する第２エッジ座標群Ｅ２を選択するようにしてもよい。また、制御部６０は、エッジ特徴情報に含まれるエッジ強度の情報数と、閾値以上となるエッジ強度の情報数との割合に応じて、対応する第２エッジ座標群Ｅ２を選択するようにしてもよい。また、閾値は、カメラ４０の解像度または撮像環境などによって、適宜変更される。 In the process of step S4, for example, the control unit 60 selects the second edge coordinate group E2 when each edge strength included in the edge feature information corresponding to the second edge coordinate group E2 is greater than or equal to a threshold value. Here, the control unit 60 may select the corresponding second edge coordinate group E2 when all the edge intensities included in the edge feature information are equal to or greater than the threshold value. In addition, the control unit 60 selects the corresponding second edge coordinate group E2 according to the ratio between the number of edge strength information included in the edge feature information and the number of edge strength information equal to or greater than the threshold value. Also good. Further, the threshold value is appropriately changed depending on the resolution of the camera 40 or the imaging environment.
図６の場合、曲線Ｍ１で示すエッジ座標群に対応するエッジ強度は、すべて閾値未満であるとして、制御部６０は、そのエッジ座標群を、選択から除外する。 In the case of FIG. 6, the control unit 60 excludes the edge coordinate group from the selection, assuming that the edge strengths corresponding to the edge coordinate group indicated by the curve M1 are all less than the threshold value.
また、制御部６０は、第２エッジ座標群Ｅ２に対応するエッジ特徴情報に含まれる各エッジの方向が、中心座標Ｘから注目画素へ向かう方向（図中の破線矢印）と一致する場合、その第２エッジ座標群Ｅ２を選択する。中心座標Ｘは、前記のように、画像データ内のウェル９１の、予想される任意の中心座標である。 In addition, when the direction of each edge included in the edge feature information corresponding to the second edge coordinate group E2 matches the direction from the center coordinate X toward the target pixel (broken arrow in the figure), The second edge coordinate group E2 is selected. As described above, the center coordinate X is an arbitrary expected center coordinate of the well 91 in the image data.
図６の場合、曲線Ｍ２で示すエッジ座標群に対応するエッジの方向は、中心座標Ｘから注目画素へ向かう方向と一致しないものが多数ある。このため、制御部６０は、その第２エッジ座標群Ｅ２を、選択から除外する。ここで、制御部６０は、エッジの方向が、中心座標Ｘから注目画素へ向かう方向とずれるものが一つでもあれば、対応する第２エッジ座標群Ｅ２を選択から除外してもよいし、ずれる数の割合に応じて、第２エッジ座標群Ｅ２を選択から除外してもよい。 In the case of FIG. 6, there are many edge directions corresponding to the edge coordinate group indicated by the curve M2 that do not coincide with the direction from the center coordinate X toward the target pixel. For this reason, the control unit 60 excludes the second edge coordinate group E2 from the selection. Here, the control unit 60 may exclude the corresponding second edge coordinate group E2 from the selection if the direction of the edge is one that deviates from the direction from the center coordinate X toward the target pixel. The second edge coordinate group E2 may be excluded from selection according to the ratio of the number of deviations.
なお、制御部６０は、エッジの方向にばらつきがなくても、各エッジの方向が、互いに反対方向に向く場合には、そのエッジ座標群を、選択から除外する。例えば、図示しないが、エッジ特徴情報の、一のエッジの方向が、注目画素から中心座標Ｘに向かう矢印で表され、他のエッジの方向が、中心座標Ｘから注目画素に向かう矢印で表される場合、制御部６０は、このエッジ座標群を、選択から除外する。 Note that the control unit 60 excludes the edge coordinate group from the selection when the directions of the edges are opposite to each other even if there is no variation in the direction of the edges. For example, although not shown, the direction of one edge of the edge feature information is represented by an arrow from the target pixel to the central coordinate X, and the direction of the other edge is represented by an arrow from the central coordinate X to the target pixel. In this case, the control unit 60 excludes the edge coordinate group from the selection.
また、制御部６０は、エッジの構成画素数のばらつき、エッジの最大輝度および最小輝度のばらつきがある場合には、対応するエッジ座標群を、選択から除外するようにしてもよい。 The control unit 60 may exclude the corresponding edge coordinate group from the selection when there is a variation in the number of constituent pixels of the edge and a variation in the maximum luminance and the minimum luminance of the edge.
このように、エッジ特徴情報を用いて、第２エッジ座標群Ｅ２を選択することで、ウェル９１内のゴミまたは細胞９３などに起因する外乱要素を含むエッジ座標（例えば、図６の曲線Ｍ１で示すエッジ座標群）が抽出されても、それらを排除できる。 In this way, by selecting the second edge coordinate group E2 using the edge feature information, edge coordinates including disturbance elements caused by dust in the well 91 or cells 93 (for example, the curve M1 in FIG. 6). Even if the edge coordinate group shown) is extracted, they can be excluded.
なお、以下では、ステップＳ４で、第２エッジ座標群Ｅ２から選択されたエッジ座標群を、「第３エッジ座標群Ｅ３」と称す。 Hereinafter, the edge coordinate group selected from the second edge coordinate group E2 in step S4 is referred to as a “third edge coordinate group E3”.
図７は、エッジ特徴情報に基づいて選択された第３エッジ座標群Ｅ３を説明するためのイメージ図である。この図７では、白抜き矢印で示すエッジ特徴情報に対応するエッジ座標群と、黒矢印で示すエッジ特徴情報に対応するエッジ座標群とが、選択された例を示す。 FIG. 7 is an image diagram for explaining the third edge coordinate group E3 selected based on the edge feature information. FIG. 7 shows an example in which an edge coordinate group corresponding to edge feature information indicated by a white arrow and an edge coordinate group corresponding to edge feature information indicated by a black arrow are selected.
図４に戻り、制御部６０は、ステップＳ４で選択された第３エッジ座標群Ｅ３に対して、最小二乗法による多項式近似を用いて、ウェル９１のエッジ候補を生成する（ステップＳ５）。つまり、生成されるエッジ候補は、第３エッジ座標群Ｅ３のエッジ座標の近似曲線である。なお、ウェル９１の形状は円形であるため、そのエッジ候補も円形である。例えば、ウェル９１の中心座標（ａ，ｂ）、半径ｒで表すと、第３エッジ座標群Ｅ３の各エッジ座標、および、(ｘ−ａ)2＋(ｙ−ｂ)2＝ｒ2の多項式を用いて、係数ａ，ｂ，ｒを算出する。 Returning to FIG. 4, the control unit 60 generates an edge candidate of the well 91 by using polynomial approximation by the least square method for the third edge coordinate group E3 selected in step S4 (step S5). That is, the generated edge candidate is an approximate curve of the edge coordinates of the third edge coordinate group E3. Since the shape of the well 91 is circular, the edge candidate is also circular. For example, when expressed by the center coordinates (a, b) of the well 91 and the radius r, each edge coordinate of the third edge coordinate group E3 and a polynomial of (x−a) 2 + (y−b) 2 = r 2 Are used to calculate the coefficients a, b, r.
制御部６０は、中心座標Ｘを、想定される位置ズレ量分だけ移動させつつ、前記のステップＳ３からステップＳ５の処理を繰り返す。 The control unit 60 repeats the processing from step S3 to step S5 while moving the center coordinate X by the assumed positional deviation amount.
図８は、多項式近似を用いて生成するエッジ候補のイメージ図である。本実施態では、ステップＳ２〜ステップＳ５の処理の結果、複数のエッジ候補が生成されたものとする。図８では、エッジ候補（Ａ）、エッジ候補（Ｂ）、エッジ候補（Ｃ）、エッジ候補（Ｄ）、エッジ候補（Ｅ）およびエッジ候補（Ｆ）が生成された場合を示す。 FIG. 8 is an image diagram of edge candidates generated using polynomial approximation. In the present embodiment, it is assumed that a plurality of edge candidates are generated as a result of the processing in steps S2 to S5. FIG. 8 illustrates a case where an edge candidate (A), an edge candidate (B), an edge candidate (C), an edge candidate (D), an edge candidate (E), and an edge candidate (F) are generated.
図４に戻り、制御部６０は、絶対指標である基準値を用いて、ステップＳ４で生成した複数のエッジ候補（Ａ）〜（Ｆ）の中から、基準値を満たすエッジ候補を選択する（ステップＳ６）。以下に、絶対指標の例について説明する。 Returning to FIG. 4, the control unit 60 selects an edge candidate satisfying the reference value from among the plurality of edge candidates (A) to (F) generated in step S <b> 4 using the reference value that is an absolute index ( Step S6). Below, an example of an absolute index will be described.
（絶対指標の第１の例）
第１の例では、エッジ候補と、その近隣エッジ座標との距離の統計量を、絶対指標とする。詳しくは、第３エッジ座標群Ｅ３のエッジ座標と、その第３エッジ座標群Ｅ３を近似して生成されたエッジ候補との距離の許容値（第１許容値）を、絶対指標とする。近似したエッジ候補から極端に外れたエッジ座標が多いと、その第３エッジ座標群Ｅ３の信頼性は低い。そこで、制御部６０は、第３エッジ座標群Ｅ３のエッジ座標それぞれと、その第３エッジ座標群Ｅ３を近似して生成されたエッジ候補との距離を算出する。そして、算出距離が許容値以下となるエッジ座標の数が、ウェルの理想径から算出される理想エッジ数の１／２または１／３以上である場合に、制御部６０は、算出に用いたエッジ候補を、基準値を満たすエッジ候補として選択する。ただし、「１／２」および「１／３」の数値は一例であり、これに限定されない。
(First example of absolute index)
In the first example, the statistic of the distance between an edge candidate and its neighboring edge coordinates is used as an absolute index. Specifically, an allowable index (first allowable value) of the distance between the edge coordinates of the third edge coordinate group E3 and an edge candidate generated by approximating the third edge coordinate group E3 is used as an absolute index. If there are many edge coordinates that are extremely different from the approximate edge candidates, the reliability of the third edge coordinate group E3 is low. Therefore, the control unit 60 calculates the distance between each edge coordinate of the third edge coordinate group E3 and an edge candidate generated by approximating the third edge coordinate group E3. Then, when the number of edge coordinates whose calculated distance is equal to or less than the allowable value is 1/2 or 1/3 or more of the ideal edge number calculated from the ideal diameter of the well, the control unit 60 is used for the calculation. The edge candidate is selected as an edge candidate that satisfies the reference value. However, the numerical values “1/2” and “1/3” are examples, and the present invention is not limited thereto.
（絶対指標の第２の例）
第２の例では、各エッジ候補を構成するエッジ情報から算出される選択用指標の許容値を、絶対指標とする。ここで、選択用指標の算出について説明する。
(Second example of absolute index)
In the second example, the allowable value of the index for selection calculated from the edge information constituting each edge candidate is set as an absolute index. Here, calculation of the selection index will be described.
前記のように、エッジ候補は、複数のエッジ座標から生成される近似曲線である。このため、エッジ座標を抽出できない場合に、エッジ候補を構成するエッジ情報には、図８に示すように、欠落している部分が存在する。制御部６０は、有効な画素数Ｎ１を測定する。また、制御部６０は、理想径Ｄからエッジ候補の円周の長さを算出し、円周の長さから、エッジ候補の円周上の全画素数Ｎ２を推定する。そして、制御部６０は、推定した全画素数Ｎ２に対する、有効な画素数Ｎ１の割合（Ｎ１／Ｎ２）を算出する。 As described above, the edge candidate is an approximate curve generated from a plurality of edge coordinates. For this reason, when the edge coordinates cannot be extracted, the edge information constituting the edge candidate includes a missing portion as shown in FIG. The control unit 60 measures the effective number of pixels N1. Further, the control unit 60 calculates the length of the circumference of the edge candidate from the ideal diameter D, and estimates the total number N2 of pixels on the circumference of the edge candidate from the length of the circumference. Then, the control unit 60 calculates the ratio (N1 / N2) of the effective pixel number N1 to the estimated total pixel number N2.
さらに、制御部６０は、エッジ候補の円周を、例えば８等分割する。その分割された円周上において、連続する有効な画素の数Ｎ３を測定する。制御部６０は、前記のように推定された全画素数Ｎ２から、分割された円周上の画素数Ｎ４を算出する。そして、制御部６０は、画素数Ｎ４に対する、連続する有効な画素数Ｎ３の割合（Ｎ３／Ｎ４）を算出する。制御部６０は、分割されたエッジ候補の円周それぞれに対して割合（Ｎ３／Ｎ４）を算出し、その中から最も低いものを選択する。 Furthermore, the control unit 60 divides the circumference of the edge candidate into eight equal parts, for example. On the divided circumference, the number N3 of consecutive effective pixels is measured. The controller 60 calculates the number of pixels N4 on the divided circumference from the total number of pixels N2 estimated as described above. Then, the control unit 60 calculates the ratio (N3 / N4) of the continuous effective pixel number N3 to the pixel number N4. The control unit 60 calculates a ratio (N3 / N4) for each of the circumferences of the divided edge candidates, and selects the lowest one among them.
そして、制御部６０は、算出した割合（Ｎ１／Ｎ２）と、選択した（Ｎ３／Ｎ４）とを乗算した（Ｎ１・Ｎ３）／（Ｎ２・Ｎ４）を、選択用指標とする。 Then, the control unit 60 sets (N1 · N3) / (N2 · N4) obtained by multiplying the calculated ratio (N1 / N2) by the selected (N3 / N4) as the selection index.
制御部６０は、算出した選択用指標が許容値（第２許容値）以上である場合に、算出に用いたエッジ候補を、基準値を満たすエッジ候補として選択する。有効な画素数が少ないエッジ情報から生成されるエッジ候補の信頼性は低い。つまり、この例では、信頼性が低いエッジ候補を除外できる。 When the calculated selection index is greater than or equal to the allowable value (second allowable value), the control unit 60 selects the edge candidate used for the calculation as an edge candidate that satisfies the reference value. The reliability of edge candidates generated from edge information with a small number of effective pixels is low. That is, in this example, edge candidates with low reliability can be excluded.
（絶対指標の第３の例）
第３の例では、エッジ候補の径とウェル９１の理想径Ｄとの差分の許容範囲（第１許容範囲）値を、絶対指標とする。前記のように理想径Ｄは、ウェル９１のカタログ値である。その理想径Ｄから、エッジ候補の径が極端に異なる場合、そのエッジ候補の信頼性は低い。そこで、制御部６０は、エッジ候補の径とウェル９１の理想径Ｄとの差分を算出する。この差分が許容範囲内である場合には、制御部６０は、算出に用いたエッジ候補を、基準値を満たすエッジ候補として選択する。
(Third example of absolute index)
In the third example, an allowable range (first allowable range) value of the difference between the diameter of the edge candidate and the ideal diameter D of the well 91 is used as an absolute index. As described above, the ideal diameter D is the catalog value of the well 91. When the diameter of the edge candidate is extremely different from the ideal diameter D, the reliability of the edge candidate is low. Therefore, the control unit 60 calculates the difference between the diameter of the edge candidate and the ideal diameter D of the well 91. When the difference is within the allowable range, the control unit 60 selects the edge candidate used for the calculation as an edge candidate that satisfies the reference value.
（絶対指標の第４の例）
第４の例では、エッジ候補の中心座標と、予め設定された中心座標Ｘとのズレ量の許容範囲（第２許容範囲内）値を、絶対指標とする。エッジ候補の中心座標と、予想されるウェル９１の中心座標Ｘとのずれが大きいと、そのエッジ候補の信頼性は低い。そこで、制御部６０は、エッジ候補の中心座標と、中心座標Ｘとのズレ量を算出する。算出したズレ量が許容範囲内である場合には、制御部６０は、算出に用いたエッジ候補を、基準値を満たすエッジ候補として選択する。
(Fourth example of absolute index)
In the fourth example, an allowable index (within the second allowable range) value of the deviation amount between the center coordinate of the edge candidate and the preset center coordinate X is used as an absolute index. If the deviation between the center coordinates of the edge candidate and the expected center coordinates X of the well 91 is large, the reliability of the edge candidate is low. Therefore, the control unit 60 calculates the amount of deviation between the center coordinates of the edge candidate and the center coordinates X. When the calculated deviation amount is within the allowable range, the control unit 60 selects the edge candidate used for the calculation as an edge candidate that satisfies the reference value.
制御部６０は、前記の第１〜第４の例で示した絶対指標の少なくとも一つを用いて、複数のエッジ候補の中から、基準値を満たすエッジ候補を選択する。 The control unit 60 selects an edge candidate satisfying the reference value from among a plurality of edge candidates using at least one of the absolute indices shown in the first to fourth examples.
図９は、絶対指標を用いて選択したエッジ候補のイメージ図である。 FIG. 9 is an image diagram of edge candidates selected using an absolute index.
図９は、ステップＳ６で説明した処理を行った結果、図８のエッジ候補（Ａ）、エッジ候補（Ｂ）およびエッジ候補（Ｄ）が選択された例を示す。図８のエッジ候補（Ｃ）およびエッジ候補（Ｅ）は、エッジ座標の有効な画素数から算出される選択用指標が許容値未満であるとして、選択から除外されている。また、図８のエッジ候補（Ｆ）は、エッジ候補の径と理想径Ｄとの差分が、許容範囲外であるとして、選択から除外されている。 FIG. 9 illustrates an example in which the edge candidate (A), the edge candidate (B), and the edge candidate (D) in FIG. 8 are selected as a result of performing the processing described in step S6. The edge candidate (C) and the edge candidate (E) in FIG. 8 are excluded from selection because the selection index calculated from the number of effective pixels of the edge coordinates is less than the allowable value. Further, the edge candidate (F) in FIG. 8 is excluded from selection because the difference between the diameter of the edge candidate and the ideal diameter D is outside the allowable range.
図４に戻り、制御部６０は、ステップＳ６で選択したエッジ候補それぞれに対して、相対評価を行い、複数のエッジ候補のなかから、ウェル９１のエッジを決定する（ステップＳ７）。以下に、相対評価について、３つの例を説明する。 Returning to FIG. 4, the control unit 60 performs relative evaluation for each of the edge candidates selected in step S <b> 6, and determines the edge of the well 91 from the plurality of edge candidates (step S <b> 7). Hereinafter, three examples of relative evaluation will be described.
（相対評価の第１の例）
第１の例では、制御部６０は、ステップＳ６で選択したエッジ候補の中から、径が小さいエッジ候補を、ウェル９１のエッジとして決定する。ウェル９１をカメラ４０で撮像する場合、ウェル９１の壁の厚さなどにより、ウェル９１のエッジの外側にエッジ情報を検出することがある。そこで、制御部６０は、径が小さい方のエッジ候補を選択する。この例の場合、図９では、エッジ候補（Ｄ）が選択される。
(First example of relative evaluation)
In the first example, the control unit 60 determines an edge candidate having a small diameter as the edge of the well 91 from the edge candidates selected in step S <b> 6. When the well 91 is imaged by the camera 40, edge information may be detected outside the edge of the well 91 depending on the wall thickness of the well 91 or the like. Therefore, the control unit 60 selects an edge candidate having a smaller diameter. In this example, the edge candidate (D) is selected in FIG.
この例において、径の情報に加え、エッジ特徴情報が用いられる。例えば、一のエッジ候補の径が、他のエッジ候補の径よりも小さい場合であっても、その一のエッジ候補のエッジ強度、エッジの方向、または、エッジの最大輝度および最小輝度に大きなばらつきがある場合には、その一のエッジ候補を、選択から除外する。 In this example, edge feature information is used in addition to the diameter information. For example, even when the diameter of one edge candidate is smaller than the diameter of another edge candidate, the edge strength, edge direction, or maximum and minimum brightness of the edge candidate varies greatly. If there is, the one edge candidate is excluded from the selection.
（相対評価の第２の例）
第２の例では、制御部６０は、スコア値と、エッジ候補の径との組み合わせから、ウェル９１の境界を決定する。この例で用いるスコア値は、前記した選択用指標と、エッジ候補とその近隣エッジ座標との距離の統計量と、エッジ特徴量から算出される特徴値と、をそれぞれ所定の重みづけを行った後、乗算した値である。例えば、図９において、エッジ候補（Ａ）のスコア値が１．０、径が５とし、エッジ候補（Ｂ）のスコア値が０．７、径が４とし、エッジ候補（Ｄ）のスコア値が０．３、径が２とする。この場合、制御部６０は、エッジ候補（Ｄ）のスコア値が相対的に低いとして、エッジ候補（Ｄ）を除外する。そして、制御部６０は、エッジ候補（Ａ）とエッジ候補（Ｂ）のうち、径が小さいエッジ候補（Ｂ）を選択する。
(Second example of relative evaluation)
In the second example, the control unit 60 determines the boundary of the well 91 from the combination of the score value and the edge candidate diameter. The score values used in this example are obtained by weighting the selection index, the statistical amount of the distance between the edge candidate and its neighboring edge coordinates, and the feature value calculated from the edge feature amount, respectively. After that, it is a multiplied value. For example, in FIG. 9, the edge candidate (A) has a score value of 1.0 and a diameter of 5, the edge candidate (B) has a score value of 0.7 and a diameter of 4, and the edge candidate (D) has a score value. Is 0.3 and the diameter is 2. In this case, the control unit 60 excludes the edge candidate (D), assuming that the score value of the edge candidate (D) is relatively low. Then, the control unit 60 selects an edge candidate (B) having a small diameter among the edge candidates (A) and the edge candidates (B).
なお、制御部６０は、スコア値が最も高いエッジ候補を、ウェル９１の境界として決定してもよい。 Note that the control unit 60 may determine the edge candidate having the highest score value as the boundary of the well 91.
制御部６０は、前記の第１、第２の例で示した相対評価の少なくとも一方を行い、複数のエッジ候補の中から選択したエッジ候補を、ウェル９１のエッジとして決定する。 The control unit 60 performs at least one of the relative evaluations shown in the first and second examples, and determines an edge candidate selected from among a plurality of edge candidates as an edge of the well 91.
図１０は、相対評価を行って決定したエッジ候補のイメージ図である。 FIG. 10 is an image diagram of edge candidates determined by performing relative evaluation.
図１０は、相対評価の第２の例で説明した処理を行った結果、図９のエッジ候補（Ｂ）が選択された例を示す。図９のエッジ候補（Ａ）は、径が大きいとして、選択から除外され、エッジ候補（Ｄ）は、スコア値が低いとして、選択から除外される。 FIG. 10 shows an example in which the edge candidate (B) in FIG. 9 is selected as a result of performing the processing described in the second example of relative evaluation. The edge candidate (A) in FIG. 9 is excluded from selection as having a large diameter, and the edge candidate (D) is excluded from selection as having a low score value.
なお、ステップＳ７の相対評価を行う際に、複数のエッジ候補の中心座標のなかで、他とは極端にずれた中心座標がある場合には、制御部６０は、その中心座標を有するエッジ候補を、選択から除外するようにしてもよい。 When the relative evaluation in step S7 is performed, if there is a center coordinate that is extremely different from the center coordinates of the plurality of edge candidates, the control unit 60 uses the edge candidates having the center coordinates. May be excluded from the selection.
以上のように、光の屈折または細胞９３等の影響により、複数のエッジ座標群が検出されても、複数の条件を段階的に適用させることで、不要なエッジ情報を排除することができる。その結果、ウェル９１のエッジの決定を精度よく行える。そして、ウェル９１内の細胞９３の解析を精度良く行える。 As described above, even when a plurality of edge coordinate groups are detected due to the influence of light refraction or cells 93, unnecessary edge information can be eliminated by applying a plurality of conditions in stages. As a result, the edge of the well 91 can be determined with high accuracy. Then, the cell 93 in the well 91 can be analyzed with high accuracy.
例えば、エッジ特徴情報を用いて、第２エッジ座標群Ｅ２を選択することで、ウェル９１内のゴミまたは細胞９３などに起因する外乱要素を含むエッジ座標（例えば、図６の曲線Ｍ１で示すエッジ座標群）を有していても、それらを排除できる。また、絶対指標を用いることで、不要なエッジ情報を排除できる。さらに、絶対指標を満たしていても、他のエッジ候補と相対評価することで、他と極端に異なるエッジ候補を排除できる。つまり、一つの条件を満たしていても、異常な成分を含むようなエッジ候補を排除できる。この結果、ウェルのエッジが複雑な形状であったり、明瞭な画像データが得られない場合であったりしても、ウェル９１のエッジを精度よく検出できる。 For example, by selecting the second edge coordinate group E2 using the edge feature information, the edge coordinates including a disturbance element caused by dust in the well 91 or the cell 93 (for example, the edge indicated by the curve M1 in FIG. 6). Even if they have a coordinate group), they can be excluded. Moreover, unnecessary edge information can be eliminated by using an absolute index. Further, even if the absolute index is satisfied, edge candidates that are extremely different from others can be excluded by performing relative evaluation with other edge candidates. That is, even if one condition is satisfied, edge candidates that include abnormal components can be excluded. As a result, the edge of the well 91 can be accurately detected even when the edge of the well has a complicated shape or clear image data cannot be obtained.
また、多項式近似を用いて、エッジ候補を生成することで、ロバスト性の高いエッジ検出が可能となる。さらに、多項式近似を用いることで、細胞９３等の影響で検出されたエッジ座標を排除できる。 In addition, by generating edge candidates using polynomial approximation, highly robust edge detection can be performed. Furthermore, edge coordinates detected due to the influence of the cell 93 and the like can be eliminated by using polynomial approximation.
＜３．変形例＞
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。
<3. Modification>
Although one embodiment of the present invention has been described above, the present invention is not limited to the above embodiment.
例えば、処理速度の高速化のために、画像処理を行う際、画像データを縮小して、処理範囲を狭くするようにしてもよい。また、画像処理を行う際、一画素ずつ処理を行う必要はなく、複数の画素を一単位として、画像処理を行ってもよい。 For example, in order to increase the processing speed, when performing image processing, the processing range may be narrowed by reducing the image data. Further, when performing image processing, it is not necessary to perform processing for each pixel, and image processing may be performed with a plurality of pixels as one unit.
また、上記の実施形態では、画像処理に最小二乗法を用いているが、ハフ変換、円形モデルフィッティング等、既知の手法を用いてもよい。 In the above embodiment, the least square method is used for image processing. However, a known method such as Hough transform or circular model fitting may be used.
さらに、上記の実施形態では、ウェルプレート９を用いているが、ウェルプレート９以外の試料容器を用いてもよい。 Furthermore, although the well plate 9 is used in the above embodiment, a sample container other than the well plate 9 may be used.
また、上記の実施形態や変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。 Moreover, you may combine suitably each element which appeared in said embodiment and modification in the range which does not produce inconsistency.
１ 撮像装置
９ ウェルプレート
１０ ステージ
１１ 開口部
１２ 支持面
２０ 投光部
３０ 投光部移動機構
４０ カメラ
５０ カメラ移動機構
５１ 昇降移動機構
５２ 水平移動機構
６０ 制御部
６１ プロセッサ
６２ メモリ
６３ 記憶部
９１ ウェル
９２ 培養液
９３ 細胞
DESCRIPTION OF SYMBOLS 1 Imaging device 9 Well plate 10 Stage 11 Opening part 12 Support surface 20 Light projection part 30 Light projection part moving mechanism 40 Camera 50 Camera moving mechanism 51 Elevating / lowering mechanism 52 Horizontal movement mechanism 60 Control part 61 Processor 62 Memory 63 Storage part 91 Well 92 culture solution 93 cells
Claims (11)
ａ）前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、
ｂ）前記工程ａ）で、複数のエッジ座標群が抽出された場合、前記複数のエッジ座標群それぞれに対して、前記解析領域のエッジ候補を生成する工程と、
ｃ）前記工程ｂ）で生成したエッジ候補から、予め決められた基準値を満たすエッジ候補を選択する工程と、
ｄ）前記工程ｃ）で、複数のエッジ候補が選択された場合、相対評価で、前記複数のエッジ候補の中から、前記解析領域のエッジを決定する工程と、
を含む、画像処理方法。 An image processing method for detecting an edge of the analysis region from an analysis region for analyzing an object and image data obtained by imaging the periphery of the analysis region,
a) extracting an edge coordinate group of the analysis region from the image data;
b) when a plurality of edge coordinate groups are extracted in the step a), generating edge candidates for the analysis region for each of the plurality of edge coordinate groups;
c) selecting an edge candidate satisfying a predetermined reference value from the edge candidates generated in the step b);
d) a step of determining an edge of the analysis region from among the plurality of edge candidates by relative evaluation when a plurality of edge candidates is selected in the step c);
Including an image processing method.
前記工程ｂ）は、
前記複数のエッジ座標群それぞれに対して、多項式近似によるエッジ候補を生成する、
画像処理方法。 The image processing method according to claim 1,
Said step b)
For each of the plurality of edge coordinate groups, generate edge candidates by polynomial approximation.
Image processing method.
前記工程ｃ）は、
前記エッジ候補からの距離が第１許容値以下であるエッジ座標を、所定数以上有するエッジ座標群から生成されたエッジ候補を、選択する、
画像処理方法。 The image processing method according to claim 2,
Said step c)
Selecting an edge candidate generated from an edge coordinate group having a predetermined number or more of edge coordinates whose distance from the edge candidate is a first tolerance or less;
Image processing method.
前記工程ｃ）は、
ｃ１）前記工程ｂ）で生成したエッジ候補それぞれに対して、前記エッジ候補を特定するエッジ座標の欠落数を検出する工程と、
ｃ２）前記工程ｂ）で生成したエッジ候補それぞれに対して、前記エッジ座標が連続して欠落している欠落範囲を検出する工程と、
ｃ３）検出された前記欠落数と、検出された前記欠落範囲とから、選択用指標を算出する工程と、
ｃ４）算出された前記選択用指標が第２許容値以上のエッジ候補を選択する工程と、
を含む、画像処理方法。 An image processing method according to any one of claims 1 to 3, comprising:
Said step c)
c1) detecting the number of missing edge coordinates specifying the edge candidate for each of the edge candidates generated in step b);
c2) detecting a missing range where the edge coordinates are continuously missing for each of the edge candidates generated in step b);
c3) calculating a selection index from the detected number of missing pieces and the detected missing range;
c4) selecting the edge candidate whose calculated index for selection is greater than or equal to a second allowable value;
Including an image processing method.
前記工程ｃ）は、前記工程ｂ）で生成したエッジ候補それぞれと、前記エッジ候補の近隣エッジ座標との距離の統計量を算出し、算出した統計量に基づいて、エッジ候補を選択する、
画像処理方法。 An image processing method according to any one of claims 1 to 4, comprising:
The step c) calculates a statistic of a distance between each of the edge candidates generated in the step b) and neighboring edge coordinates of the edge candidate, and selects an edge candidate based on the calculated statistic.
Image processing method.
前記解析領域は円形であり、
ｅ）予め記憶された、前記解析領域の理想径を取得する工程
をさらに含み、
前記工程ｃ）は、
前記工程ｂ）で生成したエッジ候補から、前記理想径の第１許容範囲内にある径を有するエッジ候補を選択する、
画像処理方法。 An image processing method according to any one of claims 1 to 5, comprising:
The analysis region is circular;
e) further including the step of acquiring an ideal diameter of the analysis region stored in advance,
Said step c)
Selecting an edge candidate having a diameter within a first allowable range of the ideal diameter from the edge candidates generated in step b);
Image processing method.
前記工程ｃ）は、
前記工程ｂ）で生成したエッジ候補のうち、中心座標が、所定の中心座標から第２許容範囲内にあるエッジ候補を、選択する、
画像処理方法。 The image processing method according to claim 6,
Said step c)
From the edge candidates generated in step b), select an edge candidate whose center coordinates are within the second allowable range from the predetermined center coordinates.
Image processing method.
前記工程ｄ）は、
前記複数のエッジ候補の中から、最小の径を有するエッジ候補を、前記解析領域のエッジに決定する、
画像処理方法。 The image processing method according to claim 6 or 7, wherein:
Said step d)
An edge candidate having a minimum diameter is determined as an edge of the analysis region from the plurality of edge candidates.
Image processing method.
前記工程ｄ）は、
前記複数のエッジ候補それぞれの中心座標の中から、所定範囲外に位置する中心座標を検出し、前記複数のエッジ候補の中から、前記所定範囲外に位置する中心座標を有するエッジ候補を除外して、前記解析領域のエッジを決定する、
画像処理方法。 An image processing method according to any one of claims 6 to 8, comprising:
Said step d)
A center coordinate located outside a predetermined range is detected from center coordinates of each of the plurality of edge candidates, and an edge candidate having a center coordinate located outside the predetermined range is excluded from the plurality of edge candidates. To determine the edge of the analysis region,
Image processing method.
前記工程ｄ）は、前記工程ｂ）で生成したエッジ候補それぞれからスコア値を算出し、算出した前記スコア値に基づいて、前記解析領域のエッジを決定する、
画像処理方法。 An image processing method according to any one of claims 1 to 9, wherein
The step d) calculates a score value from each of the edge candidates generated in the step b), and determines an edge of the analysis region based on the calculated score value.
Image processing method.
前記カメラで撮像して得られる画像データを処理する制御部と、
を備え、
前記制御部は、
ａ）前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、
ｂ）前記工程ａ）で、複数のエッジ座標群が抽出された場合、前記複数のエッジ座標群それぞれに対して、前記解析領域のエッジ候補を生成する工程と、
ｃ）前記工程ｂ）で生成したエッジ候補から、予め決められた基準値を満たすエッジ候補を選択する工程と、
ｄ）前記工程ｃ）で、複数のエッジ候補が選択された場合、相対評価で、前記複数のエッジ候補の中から、前記解析領域のエッジを決定する工程と、
を実行する、画像処理装置。 An analysis region for analyzing the object, and a camera for imaging the periphery of the analysis region;
A control unit that processes image data obtained by imaging with the camera;
With
The controller is
a) extracting an edge coordinate group of the analysis region from the image data;
b) when a plurality of edge coordinate groups are extracted in the step a), generating edge candidates for the analysis region for each of the plurality of edge coordinate groups;
c) selecting an edge candidate satisfying a predetermined reference value from the edge candidates generated in the step b);
d) a step of determining an edge of the analysis region from among the plurality of edge candidates by relative evaluation when a plurality of edge candidates is selected in the step c);
An image processing apparatus that executes
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017058512A JP7025124B2 (en) | 2017-03-24 | 2017-03-24 | Image processing method and image processing equipment |
| CN201780063309.7A CN109844810B (en) | 2017-03-24 | 2017-11-06 | Image processing method and image processing apparatus |
| EP17902187.8A EP3605462A4 (en) | 2017-03-24 | 2017-11-06 | Image processing method and image processing device |
| PCT/JP2017/039910 WO2018173352A1 (en) | 2017-03-24 | 2017-11-06 | Image processing method and image processing device |
| US16/485,572 US11094068B2 (en) | 2017-03-24 | 2017-11-06 | Image processing method and image processor |
| TW106139240A TWI657411B (en) | 2017-03-24 | 2017-11-14 | Image processing method and image processing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017058512A JP7025124B2 (en) | 2017-03-24 | 2017-03-24 | Image processing method and image processing equipment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018160216A true JP2018160216A (en) | 2018-10-11 |
| JP7025124B2 JP7025124B2 (en) | 2022-02-24 |
Family
ID=63796662
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017058512A Active JP7025124B2 (en) | 2017-03-24 | 2017-03-24 | Image processing method and image processing equipment |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7025124B2 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007058634A (en) * | 2005-08-25 | 2007-03-08 | Ricoh Co Ltd | Image processing method and image processor, digital camera equipment, and recording medium with image processing program stored thereon |
| JP2007272435A (en) * | 2006-03-30 | 2007-10-18 | Univ Of Electro-Communications | Face feature extraction device and face feature extraction method |
| JP2013526717A (en) * | 2010-05-19 | 2013-06-24 | ゼネラル・エレクトリック・カンパニイ | Method and system for identifying well wall boundaries of microplates |
| JP2015158737A (en) * | 2014-02-21 | 2015-09-03 | キヤノン株式会社 | Image processor and image processing method |
-
2017
- 2017-03-24 JP JP2017058512A patent/JP7025124B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007058634A (en) * | 2005-08-25 | 2007-03-08 | Ricoh Co Ltd | Image processing method and image processor, digital camera equipment, and recording medium with image processing program stored thereon |
| JP2007272435A (en) * | 2006-03-30 | 2007-10-18 | Univ Of Electro-Communications | Face feature extraction device and face feature extraction method |
| JP2013526717A (en) * | 2010-05-19 | 2013-06-24 | ゼネラル・エレクトリック・カンパニイ | Method and system for identifying well wall boundaries of microplates |
| JP2015158737A (en) * | 2014-02-21 | 2015-09-03 | キヤノン株式会社 | Image processor and image processing method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7025124B2 (en) | 2022-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11754392B2 (en) | Distance determination of a sample plane in a microscope system | |
| US20120194673A1 (en) | Dimension Measuring Apparatus, Dimension Measuring Method, And Program For Dimension Measuring Apparatus | |
| JP5956814B2 (en) | Appearance inspection apparatus, appearance inspection method, and computer program | |
| JP2020502490A (en) | System and method for performing automatic analysis of air samples | |
| US10182185B2 (en) | Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points | |
| JP2013134255A (en) | High performance edge focus tool | |
| US20150358533A1 (en) | Control method for imaging apparatus and imaging system | |
| WO2018173352A1 (en) | Image processing method and image processing device | |
| JP7112181B2 (en) | Image processing method and image processing apparatus | |
| TW201818064A (en) | Optical measurement of opening dimensions in a wafer | |
| JP2013170831A (en) | Strain measuring device and strain measuring method | |
| JP6842329B2 (en) | Image processing method and image processing equipment | |
| JP6333318B2 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
| JP2006208187A (en) | Shape quality decision device and method | |
| JP2014093785A (en) | Edge measurement video tool parameter-setting user interface | |
| JP2018160216A (en) | Image processing method and image processing device | |
| US20160379360A1 (en) | Inspecting method, inspecting apparatus, image processing apparatus, program and recording medium | |
| JP2015210396A (en) | Aligment device, microscope system, alignment method and alignment program | |
| JP4496149B2 (en) | Dimensional measuring device | |
| JP5972715B2 (en) | Image clipping method and image acquisition apparatus | |
| JP4913609B2 (en) | Hardness testing machine | |
| WO2023022117A1 (en) | Dust measuring device, dust measuring method, and program | |
| JP2006242930A (en) | Method for measuring shape of two dimensional object by rotational scanning of focusing surface | |
| JPH0674724A (en) | Center of gravity calculating method for optical cutting line in three-dimensional shape measurement | |
| JP2014032483A (en) | Measurement method, measurement apparatus and measurement program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191223 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210112 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210629 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210826 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220210 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7025124 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |