JP2018160218A - 画像処理方法および画像処理装置 - Google Patents
画像処理方法および画像処理装置 Download PDFInfo
- Publication number
- JP2018160218A JP2018160218A JP2017058514A JP2017058514A JP2018160218A JP 2018160218 A JP2018160218 A JP 2018160218A JP 2017058514 A JP2017058514 A JP 2017058514A JP 2017058514 A JP2017058514 A JP 2017058514A JP 2018160218 A JP2018160218 A JP 2018160218A
- Authority
- JP
- Japan
- Prior art keywords
- approximate
- coordinate group
- image processing
- edge
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title claims abstract description 23
- 238000004458 analytical method Methods 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims abstract description 38
- 230000008569 process Effects 0.000 claims abstract description 29
- 238000003384 imaging method Methods 0.000 claims description 32
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 10
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 12
- 230000007246 mechanism Effects 0.000 description 28
- 210000004027 cell Anatomy 0.000 description 22
- 238000010586 diagram Methods 0.000 description 9
- 238000003708 edge detection Methods 0.000 description 9
- 230000033001 locomotion Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 5
- 150000001875 compounds Chemical class 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000024245 cell differentiation Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 229940000406 drug candidate Drugs 0.000 description 1
- 230000003028 elevating effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004263 induced pluripotent stem cell Anatomy 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 210000001778 pluripotent stem cell Anatomy 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/181—Segmentation; Edge detection involving edge growing; involving edge linking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6452—Individual samples arranged in a regular 2D-array, e.g. multiwell plates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30072—Microarray; Biochip, DNA array; Well plate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】角丸矩形状の解析領域を精度よく検出する画像処理方法および画像処理装置を提供する。【解決手段】ウェルの画像データから、ウェルのエッジ座標群を抽出する。ウェルの４辺それぞれに相当する辺座標群を、エッジ座標群から抽出する。辺座標群から近似線を生成する。ウェルの４つの角部それぞれに相当する角座標群を、エッジ座標群から抽出する。４本の近似線から、交差する２本の近似線を選択し、２本の近似線それぞれに、複数の接点候補座標を設定する。２本の近似線の一方に設定した接点候補座標と、他方に設定した接点候補座標とのとり得る全てのペアを生成する。ペアに含まれる２つの接点候補座標に接する近似曲線を、角座標群から、多項式近似により算出する処理を、生成した全てのペアに対して行う。算出した全ての近似曲線の中から、角座標群に最も近い近似曲線を選択する。【選択図】図４
Description
本発明は、対象物を解析する解析領域、および、前記解析領域の周囲を撮像して得られる画像データから、前記解析領域のエッジを検出する画像処理方法および画像処理装置に関する。
細胞の解析には、ウェルプレートまたはマイクロプレートと呼ばれる、複数のウェル（窪み）が設けられた平板状の容器が用いられる。解析対象物の細胞は、複数のウェル内に、培養液とともに保持される。そして、カメラで、細胞を撮像して、解析が行われる。カメラでの撮像の際、ウェルと、その周囲とが撮像される。このため、画像処理で、細胞の解析範囲となるウェル壁の境界を、精度よく検出する必要がある。
特許文献１には、マイクロプレートの試験ウェル壁境界を識別する方法が開示されている。特許文献１に記載の方法は、マイクロプレートの画像から、試験ウェルの壁境界の特徴を検出する。そして、壁境界の特徴を使用して、壁境界の候補エッジ画像を生成する。その候補エッジ画像を解析して、試験ウェルの外周境界の空間的位置を計算し、その情報を使用して内周境界を決定する。この内周境界を、試験ウェル領域とする。
特許文献１では、円形または矩形のウェルのエッジを検出している。しかしながら、ウェルには、様々な形状のものがある。例えば、ウェルが、矩形状であって、各角部がＲ形状となっているものもある。このような形状において、エッジを検出する際、ウェルの各辺の直線部、および、各角部の曲線部のそれぞれのエッジを検出する必要がある。ただし、ウェルは、樹脂成型されたものが一般的である。このため、成型時の精度によっては、直線部が丸みを帯びたり、隣接する直線部が直交する関係とならなかったりすることがある。そうすると、角部ごとに、Ｒ形状の大きさ、または形が異なる場合もある。このような歪みのあるウェルのエッジは、特許文献１に記載の方法では検出できない。誤った試験ウェル領域を検出すると、細胞の解析を精度よく行えない場合がある。
本発明は、このような事情に鑑みなされたものであり、角丸矩形状の解析領域を精度よく検出する画像処理方法および画像処理装置を提供することを目的とする。
上記課題を解決するため、本願の第１発明は、対象物を解析する、角丸矩形状の解析領域、および、前記解析領域の周囲を撮像して得られる画像データから、前記解析領域のエッジを検出する画像処理方法であって、ａ）前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、ｂ）前記解析領域の１つの辺部に相当する辺座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの辺部それぞれに対して行う工程と、ｃ）４つの前記辺座標群それぞれから、４本の近似線を生成する工程と、ｄ）前記解析領域の１つの角部に相当する角座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの角部それぞれに対して行う工程と、ｅ）前記４本の近似線から、交差する第１近似線および第２近似線を選択する工程と、ｆ）前記第１近似線および前記第２近似線それぞれに、複数の接点候補座標を設定する工程と、ｇ）前記第１近似線に設定した一の接点候補座標と、前記第２近似線に設定した一の接点候補座標との少なくとも一つ以上のペアに接する近似曲線を、前記第１近似線および前記第２近似線の交点に最も近い前記角座標群から、多項式近似により生成する工程と、ｈ）前記工程ｇ）で用いた前記角座標群に最も近い近似曲線を、前記工程ｇ）で生成された近似曲線の中から選択する工程と、を含み、前記工程ｅ）から前記工程ｈ）を、前記４本の近似線で取り得る全ての組み合わせについて行う。
本願の第２発明は、第１発明の画像処理方法であって、前記工程ｇ）は、前記工程ｆ）で設定された接点候補座標全てのペアで、近似曲線を生成する。
本願の第３発明は、第１発明または第２発明の画像処理方法であって、前記工程ｄ）は、交差する２つの前記近似線の交点からの距離に基づいて、前記角座標群を抽出する。
本願の第４発明は、第１発明から第３発明までの画像処理方法であって、前記工程ｃ）は、最小二乗法を用いた多項式近似により、前記近似線を生成する。
本願の第５発明は、第１発明から第４発明までの画像処理方法であって、前記近似線は近似直線である。
本願の第６発明は、第１発明から第５発明までの画像処理方法であって、前記近似曲線は、スプライン曲線である。
本願の第７発明は、画像処理装置であって、対象物を解析する、角丸矩形状の解析領域、および、前記解析領域の周囲を撮像するカメラと、前記カメラで撮像して得られる画像データから、前記解析領域のエッジを検出する制御部と、を備え、前記制御部は、ａ）前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、ｂ）前記解析領域の１つの辺部に相当する辺座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの辺部それぞれに対して行う工程と、ｃ）４つの前記辺座標群それぞれから、４本の近似線を生成する工程と、ｄ）前記解析領域の１つの角部に相当する角座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの角部それぞれに対して行う工程と、ｅ）前記４本の近似線から、交差する第１近似線および第２近似線を選択する工程と、ｆ）前記第１近似線および前記第２近似線それぞれに、複数の接点候補座標を設定する工程と、ｇ）前記第１近似線に設定した一の接点候補座標と、前記第２近似線に設定した一の接点候補座標との少なくとも一つ以上のペアに接する近似曲線を、前記第１近似線および前記第２近似線の交点に最も近い前記角座標群から、多項式近似により算出する工程と、ｈ）前記工程ｇ）で用いた前記角座標群に最も近い近似曲線を、前記工程ｇ）で生成された近似曲線の中から選択する工程と、を含み、前記工程ｅ）から前記工程ｈ）を、前記４本の近似線で取り得る全ての組み合わせについて行う。
本願の第１発明〜第７発明によれば、矩形の各辺の近似線と、その近似線を用いて生成した、角部の近似曲線との組み合わせで、解析領域のエッジを表す。角部は、辺部に比べて、画像データからエッジ座標群を精度よく抽出できないことがある。その場合、角部のエッジを精度よく検出できない。しかしながら、本発明によれば、角部の近似曲線を、矩形の各辺の近似線を用いて、生成することで、角部のエッジ検出の精度が向上する。これにより、解析領域のエッジを精度よく検出できる。そして、解析領域のエッジを把握することで、精度よく対象物の解析を行える。
以下、本発明の好適な実施形態について、図面を参照しつつ説明する。以下では、本発明の「画像処理装置」は、セットされたウェルプレートを撮像する撮像装置として説明する。そして、その撮像装置において、本発明の「画像処理方法」が実行されるものとして説明する。
＜１．撮像装置の構成＞
図１は、撮像装置１にセットされるウェルプレート９の一例を示す斜視図である。
図１は、撮像装置１にセットされるウェルプレート９の一例を示す斜視図である。
ウェルプレート９は、複数のウェル９１を有する略板状の試料容器である。ウェルプレート９の材料には、例えば、光を透過する透明な樹脂が使用される。ウェルプレート９の上面には、複数のウェル９１が規則的に配列されている。ウェル９１は、培養液９２とともに、解析対象物となる複数の細胞９３を保持する。ウェル９１の内側は、細胞９３を解析する解析領域である。上面視におけるウェル９１の形状は、角丸矩形である。角丸矩形は、略正方形であって、４つの角部がＲ形状となっている。
図２は、本実施形態に係る撮像装置１の構成を示した図である。
撮像装置１は、ウェルプレート９内の複数の細胞９３を、カメラ４０の焦点位置を変化させつつ複数回撮影して、細胞９３の画像データを生成する装置である。撮像装置１は、例えば、医薬品の研究開発分野において、医薬品の候補となる化合物を絞り込むスクリーニング工程に、使用される。スクリーニング工程の担当者は、ウェルプレート９の複数のウェル９１に、濃度や組成の異なる化合物を添加する。そして、撮像装置１において、ウェルプレート９の各ウェル９１内の細胞９３の画像データを取得する。その後、得られた画像データに基づいて、細胞９３の培養状態を比較・分析することにより、培養液９２に添加された化合物の効用を検証する。
ただし、撮像装置１は、ＩＰＳ細胞またはＥＳ細胞等の多能性幹細胞の研究・開発において、細胞の分化などを観察するために用いられてもよい。
撮像装置１は、ステージ１０、投光部２０、投光部移動機構３０、カメラ４０、カメラ移動機構５０、および制御部６０を備えている。
ステージ１０は、ウェルプレート９を保持する載置台である。撮像装置１内におけるステージ１０の位置は、少なくとも撮影時には固定される。ステージ１０の中央には、上下に貫通する矩形の開口部１１が設けられている。また、ステージ１０は、開口部１１の縁に、環状の支持面１２を有する。ウェルプレート９は、開口部１１に嵌め込まれるとともに、支持面１２によって水平に支持される。したがって、各ウェル９１の上部および下部は、ステージ１０に塞がれることなく露出する。
投光部２０は、ステージ１０に保持されたウェルプレート９の上方に配置されている。投光部２０は、ＬＥＤ等の光源を有する。撮影時には、投光部２０内の光源が発光する。これにより、投光部２０から下方へ向けて、光が照射される。なお、投光部２０は、カメラ４０とは反対側からウェルプレート９に向けて、光を照射するものであればよい。したがって、投光部２０の光源自体は、ウェルプレート９の上方から外れた位置に配置され、ミラー等の光学系を介して、ウェルプレート９に光が照射される構成であってもよい。
投光部移動機構３０は、ステージ１０に保持されたウェルプレート９の上面に沿って、投光部２０を水平に移動させる機構である。投光部移動機構３０には、例えば、モータの回転運動を、ボールねじを介して直進運動に変換する機構が用いられる。撮像装置１は、投光部移動機構３０を動作させることにより、各ウェル９１の上方位置に、投光部２０を配置することができる。なお、図２では、投光部２０の移動方向として、矢印Ａ１の１方向のみが示されている。しかしながら、投光部移動機構３０は、投光部２０を、ウェルプレート９の上面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。
カメラ４０は、ステージ１０に保持されたウェルプレート９の下方に配置されている。カメラ４０は、レンズ等の光学系と、ＣＣＤまたはＣＭＯＳ等の撮像素子とを有する。撮影時には、投光部２０からウェルプレート９の一部分へ向けて光を照射しつつ、カメラ４０が、ウェルプレート９の当該一部分を撮影する。これにより、ウェルプレート９内の細胞９３の画像を、デジタルデータとして取得することができる。取得された撮影画像は、カメラ４０から制御部６０へ入力される。
カメラ移動機構５０は、カメラ４０の姿勢を維持しつつ、カメラ４０の高さおよび水平方向の位置を変化させる機構である。カメラ移動機構５０は、昇降移動機構５１と水平移動機構５２とを有する。
昇降移動機構５１は、カメラ４０を上下に移動させて、カメラ４０の高さを変化させる。これにより、ステージ１０に保持されたウェルプレート９とカメラ４０との距離（すなわち、細胞９３とカメラ４０との間の撮影距離）が変化する。この結果、カメラ４０の焦点位置を、光軸に沿って上下に移動させることができる。
水平移動機構５２は、カメラ４０および昇降移動機構５１を、一体として水平に移動させる。撮像装置１は、水平移動機構５２を動作させることにより、各ウェル９１の下方位置に、カメラ４０を配置することができる。なお、図２では、水平移動機構５２によるカメラ４０の移動方向として、矢印Ａ２の１方向のみが示されている。しかしながら、カメラ移動機構５０は、カメラ４０を、ウェルプレート９の下面に沿って２方向（図２中の左右方向および奥行き方向）に移動させるものであってもよい。
なお、上述した投光部移動機構３０と、水平移動機構５２とは、同期駆動される。これにより、投光部２０とカメラ４０とは、上面視において、常に同じ位置に配置される。すなわち、投光部２０とカメラ４０とは、同じ向きに同じ距離だけ移動し、あるウェル９１の下方位置にカメラ４０が配置されたときには、必ず、そのウェル９１の上方位置に投光部２０が配置される。
制御部６０は、例えば、コンピュータにより構成される。制御部６０は、撮像装置１内の各部を動作制御する機能と、カメラ４０で撮像されて得られる画像データを画像処理する機能と、を有する。図３は、制御部６０と、撮像装置１内の各部との接続を示したブロック図である。図３中に概念的に示したように、制御部６０は、ＣＰＵ等のプロセッサ６１、ＲＡＭ等のメモリ６２、およびハードディスクドライブ等の記憶部６３を有する。記憶部６３内には、撮像装置１内の各部を動作制御するためのプログラムＰ１と、画像データを画像処理するプログラムＰ２と、が記憶されている。
また、制御部６０は、上述した投光部２０、投光部移動機構３０、カメラ４０、昇降移動機構５１、および水平移動機構５２と、それぞれ通信可能に接続されている。制御部６０は、プログラムＰ１に従って、上記の各部を動作制御する。これにより、ウェルプレート９の各ウェル９１に保持された細胞９３の撮影処理が進行する。また、制御部６０は、カメラ４０から入力された画像データを、プログラムＰ２に従って処理することにより、ウェル９１のエッジを検出し、また、ウェル９１内の細胞９３の画像データを取得する。ウェル９１のエッジとは、ウェルプレート９における、ウェル９１の内壁と、その周囲との境界である。
＜２．画像処理について＞
ウェルプレート９を撮像する際、ウェル９１と、その周囲とが撮像される。このため、ウェル９１内の細胞９３の画像データを取得する場合には、まず、ウェルプレート９における、ウェル９１のエッジを検出する必要がある。撮像装置１は、ウェルプレート９を撮像して得られる画像データから、各ウェル９１のエッジを検出する処理（以下、「エッジ検出処理」と称す。）を行う。以下、エッジ検出処理について説明する。
ウェルプレート９を撮像する際、ウェル９１と、その周囲とが撮像される。このため、ウェル９１内の細胞９３の画像データを取得する場合には、まず、ウェルプレート９における、ウェル９１のエッジを検出する必要がある。撮像装置１は、ウェルプレート９を撮像して得られる画像データから、各ウェル９１のエッジを検出する処理（以下、「エッジ検出処理」と称す。）を行う。以下、エッジ検出処理について説明する。
図４は、エッジ検出処理のフローチャートを示す図である。以下、このフローチャートを参照しつつ、説明する。
制御部６０は、ウェルプレート９を、カメラ４０で撮像する（ステップＳ１）。次に、制御部６０は、撮像して得られる画像データから、ウェル９１に対するエッジ座標群を抽出する（ステップＳ２）。エッジ座標群は、画像データの各画素の輝度の変化から抽出される座標データの集まりであって、ウェル９１のエッジを特定するための画素情報である。このエッジ座標の検出には、既知のエッジ検出処理が用いられる。図５は、エッジ座標群８１を説明するための図である。図５の黒点は、抽出されたエッジ座標群８１の各座標により特定される画素である。
ステップＳ２の処理では、光の屈折または細胞９３などの影響により、ウェル９１のエッジとは無関係な画素の座標が抽出されることがある。このため、ステップＳ２で抽出したエッジ座標群８１から、ウェル９１のエッジを検出しても、精度の良い結果が得られないことがある。そこで、以下の処理で、抽出したエッジ座標群８１から、ウェル９１のエッジを精度よく検出する処理を行う。
なお、ステップＳ２において、光の屈折または細胞９３などの影響により、複数のエッジ座標群８１が抽出された場合には、諸処理により、一つのエッジ座標群８１に絞り込む処理を行うようにしてもよい。
制御部６０は、エッジ座標群８１から辺座標群８２を抽出する（ステップＳ３）。図６は、辺座標群８２を説明するための図である。辺座標群８２とは、図６に示すように、ウェル９１の、角部を除く各４辺それぞれを特定するための座標の集まりである。制御部６０は、ウェル９１の４辺それぞれに対する、４つの辺座標群８２を抽出する。
制御部６０は、ステップＳ２で、エッジ座標群８１を抽出するために探索した領域の中心座標を、任意に設定する。そして、制御部６０は、その中心座標と、ウェル９１の理想径から、ウェル９１の各辺が位置すると推測される領域を設定する。ウェル９１の理想径とは、所謂、カタログ値であって、撮像装置１にセットされるウェルプレート９の設計上のウェル径（縦横の長さ）である。この理想径は、記憶部６３に記憶される。制御部６０は、エッジ座標群８１の中から、設定した領域にある座標を、辺座標群８２として抽出する。
制御部６０は、抽出した辺座標群８２から、最小二乗法を用いて、近似直線８３を算出する（ステップＳ４）。図７は、辺座標群８２から算出した近似直線８３を説明するための図である。一の辺座標群８２からは、一の近似直線８３が算出される。したがって、ステップＳ４の処理では、図７に示すように、４本の近似直線８３が算出される。
続いて、制御部６０は、ステップＳ２で抽出したエッジ座標群８１から角座標群８４を抽出する（ステップＳ５）。角座標群８４は、ウェル９１の角部を特定するための座標の集まりである。つまり、ステップＳ５では、４つの角座標群８４が抽出される。図８は、角座標群８４を説明するための図である。図８では、図７の近似直線８３も示す。
例えば、制御部６０は、ステップＳ４で算出した４本の近似直線８３のうち、隣り合う２本の近似直線８３の交点を、ウェル９１の角部と仮定する。そして、制御部６０は、その交点から所定距離の範囲にある座標をエッジ座標群８１から、角座標群８４として抽出する。つまり、制御部６０は、２本の近似直線８３の交点からの距離に基づいて、角座標群８４を抽出する。
なお、制御部６０は、エッジ座標群８１から、ステップＳ３で抽出した辺座標群８２を除いた他の座標を、角座標群８４として抽出してもよい。
以降のステップＳ６からステップＳ１０までの処理は、ウェル９１の４つの角部のうち、１つの角部のエッジを検出する処理である。制御部６０は、ステップＳ６からステップＳ１０までの処理を繰り返して、ウェル９１の４つの角部それぞれのエッジを検出する。
制御部６０は、ステップＳ４で算出した近似直線８３の中から、交差する２本の近似直線８３を選択する（ステップＳ６）。以下、交差する２本の近似直線８３の一方を、「第１近似直線８３ａ」と称し、他方を「第２近似直線８３ｂ」と称する。制御部６０は、角座標群８４に近接する、第１近似直線８３ａ、および、第２近似直線８３ｂそれぞれに対し、接点候補座標８５を設定する（ステップＳ７）。接点候補座標８５とは、ウェル９１の角部の曲線の接点となり得る座標である。
図９は、接点候補座標８５を説明するための図である。図９では、黒点は、接点候補座標８５を示す。図９では、４本の近似直線８３それぞれに、接点候補座標８５が設定された状態を示す。
制御部６０は、第１近似直線８３ａおよび第２近似直線８３ｂ上に、複数の接点候補座標８５を設定する。接点候補座標８５の設定位置、および、設定数は、適宜変更可能である。接点候補座標８５は、それぞれに等間隔に設定してもよいし、不規則な間隔で設定してもよい。また、図９では、第１近似直線８３ａおよび第２近似直線８３ｂそれぞれに、３つの接点候補座標８５を設定した例を示しているが、２つ、または４つ以上であってもよい。
制御部６０は、第１近似直線８３ａに設定した一の接点候補座標８５と、第２近似直線８３ｂに設定した一の接点候補座標８５との全てのペアを生成する（ステップＳ８）。図９に示すように、第１近似直線８３ａおよび第２近似直線８３ｂそれぞれに、３つの接点候補座標８５が設定されている場合、生成されるペアの数は、９つである。
制御部６０は、ステップＳ８で生成した一のペアに含まれる、２つの接点候補座標８５に接する近似曲線を、ステップＳ８で生成した全てのペアについて算出する（ステップＳ９）。近似曲線は、角座標群８４から、多項式近似により算出されるスプライン曲線である。図９の場合、１つの角部に対して、９本の近似曲線が算出される。
制御部６０は、ステップＳ９で生成した複数の近似曲線から、ステップＳ５で抽出した角座標群８４との位置関係が最も一致する、一の近似曲線を選択する（ステップＳ１０）。例えば、制御部６０は、角座標群８４の各座標と、近似曲線との距離のばらつきが、最も少ないものを選択する。
制御部６０は、ステップＳ６からステップＳ１０までの処理を、ウェル９１の全ての角部について行ったか否かを判定する（ステップＳ１１）。全ての角部について、前記処理を行っていない場合（ステップＳ１１でＮＯ）、制御部６０は、ステップＳ６の処理に戻り、ステップＳ４で算出した近似直線８３の中から、未選択の２本の近似直線８３を選択し、ステップＳ６からステップＳ１０までの処理を実行する。つまり、制御部６０は、ステップＳ６からステップＳ１０までの処理を４回実行する。
全ての角部について、前記処理を行った場合（ステップＳ１１でＹＥＳ）、制御部６０は、ウェル９１のエッジは、ステップＳ４で算出した４本の近似直線８３と、ステップＳ１０で選択された４本の近似曲線とから、ウェル９１のエッジを算出する（ステップＳ１２）。
図１０は、ウェル９１のエッジを算出した結果を示す図である。近似直線８３および近似曲線８６の交点（図１０の黒点）の外側にある部分（図１０の破線部分）は排除され、残った部分が、ウェル９１のエッジとして検出される。
以上のように、本実施形態では、ウェル９１のエッジを、各辺の近似直線８３と、角部の近似曲線８６との組み合わせで、表している。角部は、辺部に比べて、光の屈折などの影響で、抽出するエッジ座標にばらつきがでやすい。そこで、角部の近似曲線８６を、矩形の各辺の近似直線８３を用いて、生成することで、角部のエッジ検出の精度が向上する。その結果、ウェル９１のエッジを精度よく検出できる。そして、ウェル９１のエッジを把握することで、精度よく細胞９３の解析を行える。
また、多項式近似を用いて、エッジ候補を生成することで、ロバスト性の高いエッジ検出が可能となる。さらに、多項式近似を用いることで、細胞９３等の影響で検出されたエッジ座標を排除できる。
＜３．変形例＞
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。
以上、本発明の一実施形態について説明したが、本発明は、上記の実施形態に限定されるものではない。
ウェル９１の上面視の形状は、長辺と短辺とを有する略長方形であって、４つの角部がＲ形状となっていてもよい。さらに、ウェル９１の各辺は、直線として説明しているが、各辺は曲線であってもよい。この場合、制御部６０が算出する各辺の近似線は、近似曲線である。また、制御部６０が算出する近似曲線８６はスプライン曲線としているが、近似曲線８６は、これ以外の既知の手法を用いて算出されたものであってもよい。
また、制御部６０は、図４のステップＳ４で４本の近似直線８３を算出した場合、対向する２本の近似直線８３の傾きの差が、許容値以上であるとき、２本の近似直線８３は異常と判定し、ステップＳ４以降の処理を行わないようにしてもよい。または、制御部６０は、対向する２本の近似直線８３の距離と、他の２本の近似直線８３の距離とが、ウェル９１の理想径と大きく異なる場合、ステップＳ４以降の処理を行わないようにしてもよい。ステップＳ４以降の処理を行わない場合、制御部６０は、再度、ステップＳ１から処理を開始してもよいし、エッジ検出処理を中止してもよい。また、対向する２本の近似直線の距離と、他の２本の近似直線との距離の比が、許容値を超える場合、ステップＳ４以降の処理をスキップしてもよい。
また、制御部６０は、図４のステップＳ９で生成した近似曲線８６のなかで、Ｒ形状の理想的な軌跡から大きく異なる近似曲線８６、例えば、方向が一様でない近似曲線８６を、ステップＳ１０での選択対象から除外してもよい。
また、上記の実施形態では、画像処理に最小二乗法を用いているが、ハフ変換、円形モデルフィッティング等、既知の手法を用いてもよい。
上記の実施形態および変形例に登場した各要素を、矛盾が生じない範囲で、適宜に組み合わせてもよい。
１ 撮像装置
９ ウェルプレート
１０ ステージ
１１ 開口部
１２ 支持面
２０ 投光部
３０ 投光部移動機構
４０ カメラ
５０ カメラ移動機構
５１ 昇降移動機構
５２ 水平移動機構
６０ 制御部
６１ プロセッサ
６２ メモリ
６３ 記憶部
８１ エッジ座標群
８２ 辺座標群
８３ 近似直線
８４ 角座標群
８５ 接点候補座標
８６ 近似曲線
９１ ウェル
９２ 培養液
９３ 細胞
９ ウェルプレート
１０ ステージ
１１ 開口部
１２ 支持面
２０ 投光部
３０ 投光部移動機構
４０ カメラ
５０ カメラ移動機構
５１ 昇降移動機構
５２ 水平移動機構
６０ 制御部
６１ プロセッサ
６２ メモリ
６３ 記憶部
８１ エッジ座標群
８２ 辺座標群
８３ 近似直線
８４ 角座標群
８５ 接点候補座標
８６ 近似曲線
９１ ウェル
９２ 培養液
９３ 細胞
Claims (7)
- 対象物を解析する、角丸矩形状の解析領域、および、前記解析領域の周囲を撮像して得られる画像データから、前記解析領域のエッジを検出する画像処理方法であって、
ａ）前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、
ｂ）前記解析領域の１つの辺部に相当する辺座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの辺部それぞれに対して行う工程と、
ｃ）４つの前記辺座標群それぞれから、４本の近似線を生成する工程と、
ｄ）前記解析領域の１つの角部に相当する角座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの角部それぞれに対して行う工程と、
ｅ）前記４本の近似線から、交差する第１近似線および第２近似線を選択する工程と、
ｆ）前記第１近似線および前記第２近似線それぞれに、複数の接点候補座標を設定する工程と、
ｇ）前記第１近似線に設定した一の接点候補座標と、前記第２近似線に設定した一の接点候補座標との少なくとも一つ以上のペアに接する近似曲線を、前記第１近似線および前記第２近似線の交点に最も近い前記角座標群から、多項式近似により生成する工程と、
ｈ）前記工程ｇ）で用いた前記角座標群に最も近い近似曲線を、前記工程ｇ）で生成された近似曲線の中から選択する工程と、
を含み、
前記工程ｅ）から前記工程ｈ）を、前記４本の近似線で取り得る全ての組み合わせについて行う、画像処理方法。 - 請求項１に記載の画像処理方法であって、
前記工程ｇ）は、前記工程ｆ）で設定された接点候補座標全てのペアで、近似曲線を生成する、
画像処理方法。 - 請求項１または請求項２に記載の画像処理方法であって、
前記工程ｄ）は、
交差する２つの前記近似線の交点からの距離に基づいて、前記角座標群を抽出する、
画像処理方法。 - 請求項１から請求項３までのいずれか一つに記載の画像処理方法であって、
前記工程ｃ）は、
最小二乗法を用いた多項式近似により、前記近似線を生成する、
画像処理方法。 - 請求項１から請求項４までのいずれか一つに記載の画像処理方法であって、
前記近似線は近似直線である、
画像処理方法。 - 請求項１から請求項５のいずれか一つに記載の画像処理方法であって、
前記近似曲線は、スプライン曲線である、
画像処理方法。 - 対象物を解析する、角丸矩形状の解析領域、および、前記解析領域の周囲を撮像するカメラと、
前記カメラで撮像して得られる画像データから、前記解析領域のエッジを検出する制御部と、
を備え、
前記制御部は、
ａ）前記画像データから、前記解析領域のエッジ座標群を抽出する工程と、
ｂ）前記解析領域の１つの辺部に相当する辺座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの辺部それぞれに対して行う工程と、
ｃ）４つの前記辺座標群それぞれから、４本の近似線を生成する工程と、
ｄ）前記解析領域の１つの角部に相当する角座標群を、前記エッジ座標群から抽出する処理を、前記解析領域の４つの角部それぞれに対して行う工程と、
ｅ）前記４本の近似線から、交差する第１近似線および第２近似線を選択する工程と、
ｆ）前記第１近似線および前記第２近似線それぞれに、複数の接点候補座標を設定する工程と、
ｇ）前記第１近似線に設定した一の接点候補座標と、前記第２近似線に設定した一の接点候補座標との少なくとも一つ以上のペアに接する近似曲線を、前記第１近似線および前記第２近似線の交点に最も近い前記角座標群から、多項式近似により算出する工程と、
ｈ）前記工程ｇ）で用いた前記角座標群に最も近い近似曲線を、前記工程ｇ）で生成された近似曲線の中から選択する工程と、
を含み、
前記工程ｅ）から前記工程ｈ）を、前記４本の近似線で取り得る全ての組み合わせについて行う、画像処理装置。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017058514A JP6842329B2 (ja) | 2017-03-24 | 2017-03-24 | 画像処理方法および画像処理装置 |
| CN201780063388.1A CN109863536B (zh) | 2017-03-24 | 2017-11-22 | 图像处理方法及图像处理装置 |
| EP17902012.8A EP3605466B1 (en) | 2017-03-24 | 2017-11-22 | Image processing method and image processing device |
| US16/487,027 US11087510B2 (en) | 2017-03-24 | 2017-11-22 | Image processing method and image processor |
| PCT/JP2017/041911 WO2018173365A1 (ja) | 2017-03-24 | 2017-11-22 | 画像処理方法および画像処理装置 |
| TW106142835A TWI682360B (zh) | 2017-03-24 | 2017-12-07 | 圖像處理方法及圖像處理裝置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017058514A JP6842329B2 (ja) | 2017-03-24 | 2017-03-24 | 画像処理方法および画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018160218A true JP2018160218A (ja) | 2018-10-11 |
| JP6842329B2 JP6842329B2 (ja) | 2021-03-17 |
Family
ID=63585300
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017058514A Active JP6842329B2 (ja) | 2017-03-24 | 2017-03-24 | 画像処理方法および画像処理装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US11087510B2 (ja) |
| EP (1) | EP3605466B1 (ja) |
| JP (1) | JP6842329B2 (ja) |
| CN (1) | CN109863536B (ja) |
| TW (1) | TWI682360B (ja) |
| WO (1) | WO2018173365A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020099209A (ja) * | 2018-12-20 | 2020-07-02 | ヤマハ発動機株式会社 | 生体対象物の処理装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12056799B2 (en) * | 2022-04-28 | 2024-08-06 | Dassault Systemes Solidworks Corporation | Converting images to sketches that are modifiable using computer-aided design (CAD) software |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002296761A (ja) * | 2001-03-29 | 2002-10-09 | Toshiba Corp | パターン測定方法、及びパターン測定装置 |
| JP2009521686A (ja) * | 2005-12-21 | 2009-06-04 | メソ スケール テクノロジーズ エルエルシー | アッセイ試薬を具備するアッセイモジュールとその製造方法およびその使用方法 |
| JP2009300125A (ja) * | 2008-06-10 | 2009-12-24 | Keyence Corp | 画像計測装置、画像計測方法及びコンピュータプログラム |
| JP2013526717A (ja) * | 2010-05-19 | 2013-06-24 | ゼネラル・エレクトリック・カンパニイ | マイクロプレートのウェル壁境界を識別するための方法及びシステム |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5920994B2 (ja) | 1976-12-09 | 1984-05-16 | 株式会社大興電機製作所 | 接点の時間特性測定装置 |
| JP3020505B2 (ja) * | 1988-07-26 | 2000-03-15 | 株式会社東芝 | 画像符号化装置、画像復号化装置および画像伝送装置 |
| US6868175B1 (en) * | 1999-08-26 | 2005-03-15 | Nanogeometry Research | Pattern inspection apparatus, pattern inspection method, and recording medium |
| JP4068596B2 (ja) * | 2003-06-27 | 2008-03-26 | 株式会社東芝 | 図形処理方法、図形処理装置およびコンピュータ読取り可能な図形処理プログラム |
| WO2005015500A1 (en) * | 2003-08-08 | 2005-02-17 | Applied Materials Israel, Ltd. | Measurement of corner roundness |
| US7496229B2 (en) * | 2004-02-17 | 2009-02-24 | Microsoft Corp. | System and method for visual echo cancellation in a projector-camera-whiteboard system |
| JP3888465B2 (ja) * | 2004-05-26 | 2007-03-07 | セイコーエプソン株式会社 | 画像処理システム、プロジェクタおよび画像処理方法 |
| JP2006107018A (ja) * | 2004-10-04 | 2006-04-20 | Konica Minolta Photo Imaging Inc | 画像解析方法及び装置、画像処理方法及びシステム、これらの動作プログラム |
| JP4712487B2 (ja) * | 2005-08-25 | 2011-06-29 | 株式会社リコー | 画像処理方法及び装置、デジタルカメラ装置、並びに画像処理プログラムを記録した記録媒体 |
| US8120665B2 (en) * | 2005-08-25 | 2012-02-21 | Ricoh Company, Ltd. | Image processing method and apparatus, digital camera, and recording medium recording image processing program |
| JP5658873B2 (ja) * | 2009-11-13 | 2015-01-28 | オリンパス株式会社 | 画像処理装置、電子機器、内視鏡システム及びプログラム |
| TWI393071B (zh) | 2010-02-12 | 2013-04-11 | Nat Univ Tsing Hua | 可保留影像特徵之影像處理方法及系統 |
| CN102870121B (zh) * | 2010-03-11 | 2015-04-29 | 得利捷Ip科技有限公司 | 图像捕捉装置 |
| JP5815513B2 (ja) * | 2010-05-10 | 2015-11-17 | 株式会社日立メディコ | 画像処理装置及び画像処理方法 |
| JP5851160B2 (ja) * | 2011-08-31 | 2016-02-03 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム |
| JP5766073B2 (ja) * | 2011-09-08 | 2015-08-19 | 株式会社Pfu | 画像処理装置、画像処理方法、画像処理プログラム及び画像処理システム |
| JP5975281B2 (ja) * | 2012-09-06 | 2016-08-23 | カシオ計算機株式会社 | 画像処理装置及びプログラム |
| JP2014092899A (ja) * | 2012-11-02 | 2014-05-19 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理プログラム |
| JP5979096B2 (ja) * | 2013-08-06 | 2016-08-24 | カシオ計算機株式会社 | 画像処理装置、画像処理方法及びプログラム |
| US10318067B2 (en) * | 2014-07-11 | 2019-06-11 | Hewlett-Packard Development Company, L.P. | Corner generation in a projector display area |
| EP3029238B1 (de) | 2014-12-04 | 2021-09-08 | dormakaba Deutschland GmbH | Eckbeschlag mit einstellbarem einspannbereich |
| US10430920B2 (en) * | 2015-04-07 | 2019-10-01 | Adobe Inc. | Content-conforming stamp tool |
| CN105913415B (zh) * | 2016-04-06 | 2018-11-30 | 博众精工科技股份有限公司 | 一种具有广泛适应性的图像亚像素边缘提取方法 |
-
2017
- 2017-03-24 JP JP2017058514A patent/JP6842329B2/ja active Active
- 2017-11-22 US US16/487,027 patent/US11087510B2/en active Active
- 2017-11-22 EP EP17902012.8A patent/EP3605466B1/en active Active
- 2017-11-22 WO PCT/JP2017/041911 patent/WO2018173365A1/ja active Application Filing
- 2017-11-22 CN CN201780063388.1A patent/CN109863536B/zh active Active
- 2017-12-07 TW TW106142835A patent/TWI682360B/zh active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002296761A (ja) * | 2001-03-29 | 2002-10-09 | Toshiba Corp | パターン測定方法、及びパターン測定装置 |
| JP2009521686A (ja) * | 2005-12-21 | 2009-06-04 | メソ スケール テクノロジーズ エルエルシー | アッセイ試薬を具備するアッセイモジュールとその製造方法およびその使用方法 |
| JP2009300125A (ja) * | 2008-06-10 | 2009-12-24 | Keyence Corp | 画像計測装置、画像計測方法及びコンピュータプログラム |
| JP2013526717A (ja) * | 2010-05-19 | 2013-06-24 | ゼネラル・エレクトリック・カンパニイ | マイクロプレートのウェル壁境界を識別するための方法及びシステム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020099209A (ja) * | 2018-12-20 | 2020-07-02 | ヤマハ発動機株式会社 | 生体対象物の処理装置 |
| JP7254413B2 (ja) | 2018-12-20 | 2023-04-10 | ヤマハ発動機株式会社 | 生体対象物の処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109863536B (zh) | 2022-10-25 |
| JP6842329B2 (ja) | 2021-03-17 |
| CN109863536A (zh) | 2019-06-07 |
| EP3605466A1 (en) | 2020-02-05 |
| US20200234473A1 (en) | 2020-07-23 |
| WO2018173365A1 (ja) | 2018-09-27 |
| TW201835853A (zh) | 2018-10-01 |
| US11087510B2 (en) | 2021-08-10 |
| EP3605466A4 (en) | 2020-08-12 |
| TWI682360B (zh) | 2020-01-11 |
| EP3605466B1 (en) | 2022-01-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11754392B2 (en) | Distance determination of a sample plane in a microscope system | |
| JP2020502490A (ja) | 空気試料の自動分析を実行するためのシステム及び方法 | |
| CN1584729A (zh) | 图像投影方法和设备 | |
| US10182185B2 (en) | Image generation device, image generation method, recording medium, and method for generating an in-focus image based on feature points | |
| US20190114465A1 (en) | Bottom surface position detection apparatus, image acquisition apparatus, bottom surface position detection method, and image acquisition method | |
| JP2010218232A (ja) | 対象物追跡装置 | |
| WO2018042786A1 (ja) | 画像処理方法、画像処理装置、および撮像装置 | |
| JP2017103688A5 (ja) | ||
| JP7112181B2 (ja) | 画像処理方法および画像処理装置 | |
| JP6842329B2 (ja) | 画像処理方法および画像処理装置 | |
| TWI657411B (zh) | 圖像處理方法及圖像處理裝置 | |
| JP5686012B2 (ja) | 表面欠陥検査装置及び方法 | |
| JP5762315B2 (ja) | 画像処理方法 | |
| JP6333318B2 (ja) | 画像処理方法、画像処理装置、および撮像装置 | |
| JP2021103152A (ja) | 異物検査装置 | |
| JP2018160216A (ja) | 画像処理方法および画像処理装置 | |
| JP2014163892A (ja) | レーザ計測システム | |
| JP6512852B2 (ja) | 情報処理装置、情報処理方法 | |
| US20160379360A1 (en) | Inspecting method, inspecting apparatus, image processing apparatus, program and recording medium | |
| JP7051571B2 (ja) | 教師データ作成装置および方法 | |
| JP2017015440A (ja) | 撮像装置のキャリブレーション用治具及び撮像装置のキャリブレーション方法 | |
| JP2007047933A (ja) | 矩形部品の画像認識方法及び装置 | |
| JP5972715B2 (ja) | 画像切り出し方法および画像取得装置 | |
| EP3690513A1 (en) | Observation device, observation method, and observation program | |
| JP2022114846A5 (ja) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210216 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210219 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6842329 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |