JP2021517701A - 蛍光画像位置合わせ方法、遺伝子シーケンサ及びシステム、記憶媒体 - Google Patents

蛍光画像位置合わせ方法、遺伝子シーケンサ及びシステム、記憶媒体 Download PDF

Info

Publication number
JP2021517701A
JP2021517701A JP2020555468A JP2020555468A JP2021517701A JP 2021517701 A JP2021517701 A JP 2021517701A JP 2020555468 A JP2020555468 A JP 2020555468A JP 2020555468 A JP2020555468 A JP 2020555468A JP 2021517701 A JP2021517701 A JP 2021517701A
Authority
JP
Japan
Prior art keywords
locus
pixel
pixel level
sum
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020555468A
Other languages
English (en)
Other versions
JP7072081B2 (ja
Inventor
美 李
美 李
宇翔 黎
宇翔 黎
逸文 劉
逸文 劉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MGI Tech Co Ltd
Original Assignee
MGI Tech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MGI Tech Co Ltd filed Critical MGI Tech Co Ltd
Publication of JP2021517701A publication Critical patent/JP2021517701A/ja
Application granted granted Critical
Publication of JP7072081B2 publication Critical patent/JP7072081B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q1/00—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions
    • C12Q1/68—Measuring or testing processes involving enzymes, nucleic acids or microorganisms; Compositions therefor; Processes of preparing such compositions involving nucleic acids
    • C12Q1/6869—Methods for sequencing
    • C—CHEMISTRY; METALLURGY
    • C40—COMBINATORIAL TECHNOLOGY
    • C40B—COMBINATORIAL CHEMISTRY; LIBRARIES, e.g. CHEMICAL LIBRARIES
    • C40B20/00—Methods specially adapted for identifying library members
    • C40B20/02—Identifying library members by their fixed physical location on a support or substrate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16B—BIOINFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR GENETIC OR PROTEIN-RELATED DATA PROCESSING IN COMPUTATIONAL MOLECULAR BIOLOGY
    • G16B25/00—ICT specially adapted for hybridisation; ICT specially adapted for gene or protein expression
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12Q—MEASURING OR TESTING PROCESSES INVOLVING ENZYMES, NUCLEIC ACIDS OR MICROORGANISMS; COMPOSITIONS OR TEST PAPERS THEREFOR; PROCESSES OF PREPARING SUCH COMPOSITIONS; CONDITION-RESPONSIVE CONTROL IN MICROBIOLOGICAL OR ENZYMOLOGICAL PROCESSES
    • C12Q2563/00—Nucleic acid detection characterized by the use of physical, structural and functional properties
    • C12Q2563/107—Nucleic acid detection characterized by the use of physical, structural and functional properties fluorescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30072—Microarray; Biochip, DNA array; Well plate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Organic Chemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Proteomics, Peptides & Aminoacids (AREA)
  • Medical Informatics (AREA)
  • Wood Science & Technology (AREA)
  • Biophysics (AREA)
  • Analytical Chemistry (AREA)
  • Biotechnology (AREA)
  • Zoology (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Genetics & Genomics (AREA)
  • Quality & Reliability (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Immunology (AREA)
  • General Engineering & Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Microbiology (AREA)
  • Chemical Kinetics & Catalysis (AREA)
  • General Chemical & Material Sciences (AREA)
  • Medicinal Chemistry (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Image Analysis (AREA)

Abstract

本発明により提供される蛍光画像位置合わせ方法において、バイオチップの少なくとも１つの蛍光画像を取得し、蛍光画像の中間局所領域を選択し、中間局所領域の第１方向と第２方向における画素和特徴を取得し、テンプレートパラメータに基づいて、複数の第１テンプレート線を選択し、複数の第１テンプレート線に対応する画素和の和値最小値をトラバース検索し、軌跡線位置の局所領域内において前記軌跡線を画素レベル補正し、バイオチップ上の他の軌跡交差点位置を取得して他の軌跡交差点を画素レベル補正し、重心法に基づいて画素レベル軌跡線の位置を補正し、軌跡線のサブ画素レベル位置を取得し、ホモジニアスメッシュ法によりバイオチップ上のローカスのサブ画素レベル位置を取得する。本発明の実施例はさらに、遺伝子配列決定システム、遺伝子シーケンサ及び記憶媒体を提供する。本発明の実施例により、蛍光画像における蛍光基の位置決めと位置合わせ操作を最適化することができる。【選択図】図１

Description

本発明は、遺伝子配列決定分野に関し、具体的には、蛍光画像位置合わせ方法、遺伝子シーケンサ、遺伝子配列決定システム、および記憶媒体に関する。
このセクションは、特許請求の範囲および明細書に記載されている本発明の実施形態の実施のための背景または状況を提供することを意図している。ここでの説明は、このセクションに含まれているという理由だけで、先行技術として認識されることではない。
遺伝子配列決定とは、特定のＤＮＡ断片の塩基配列、すなわちアデニン（Ａ）、チミン（Ｔ）、シトシン（Ｃ）およびグアニン（Ｇ）の配列を解析することである。従来多用されている配列決定方法の一つは、前記４種類の塩基はそれぞれ４種類の異なる蛍光基を持ち、異なる蛍光基は励起されて異なる波長（色）の蛍光を発し、その蛍光波長を識別することにより合成塩基のタイプを認識し、塩基配列を読み取ることができる。二世代配列決定技術は、高解像マイクロイメージングシステムを用いて、バイオチップ（遺伝子配列決定チップ）上のＤＮＡナノ球分子（すなわち、ＤＮＢ、ＤＮＡＮａｎｏｂａｌｌｓ）を採取した蛍光分子画像を撮影し、蛍光分子画像を塩基認識ソフトウェアに送信し、画像信号をデコードして塩基配列を取得する。実際の配列決定過程において、同一のシーンが複数枚存在すると、まず位置決め・位置合わせ方法により同一のシーンの図を位置合わせし、対応するアルゴリズムで点信号を抽出し、後続の輝度情報解析処理を行って塩基配列を取得する必要がある。二世代配列決定技術の発展に伴い、配列決定製品は、配列決定データをリアルタイムに分析するソフトウェアがインストールされており、その多くには位置合わせや位置決めアルゴリズムがインストールされている。
従来の位置合わせ技術の多くは、蛍光画像自体の特徴に基づいてコンテンツ類似度マッチングを行い、異なる目標特徴に基づいて特徴抽出と位置合わせを行う。しかしながら、蛍光分子の信号については、高解像度顕微画像では点光源信号であり、一般的には、近域重心法、すなわち点毎の近域画素値を抽出して重心を求める近傍重心法が採用されている。しかし、二世代配列決定の塩基−蛍光信号密度は大きく、明るくない目標点が存在するので、通常のアルゴリズムでの位置決めが困難である。
これに鑑み、蛍光画像における蛍光基の位置決めと位置合わせ操作とを最適化できる蛍光画像位置合わせ方法、遺伝子シーケンサ、遺伝子配列決定システム及び記憶媒体の提供が求められている。
本発明の一態様は、軌跡線間の画素距離がテンプレートパラメータであるバイオチップに適用される蛍光画像位置合わせ方法であって、
バイオチップの少なくとも１つの蛍光画像を取得するステップと、
前記蛍光画像の中間局所領域を選択するステップと、
第１方向と第２方向における前記蛍光画像の中間局所領域の画素和特徴を取得するステップと、
テンプレートパラメータに基づいて、複数の第１テンプレート線を選択し、前記第１方向と前記第２方向における前記画素和特徴のそれぞれから、前記複数の第１テンプレート線に対応する画素和の和値最小値をトラバース検索するステップと、
前記軌跡線位置の局所領域内において前記軌跡線に画素レベルの補正を行うステップと、
前記画素レベル軌跡交差点から前記バイオチップ上の他の軌跡交差点位置を取得して前記他の軌跡交差点に画素レベルの補正を行うステップと、
重心法に基づいて画素レベル軌跡線の位置を補正し、前記軌跡線のサブ画素レベル位置を取得するステップと、
ホモジニアスメッシュ法によりバイオチップの表面上に均等に分布するローカスのサブ画素レベルの位置を取得するステップと、を含み、
前記画素和の和値最小値に対応する位置は前記軌跡線位置であり、
前記画素レベル補正を行う軌跡線の交点は画素レベル軌跡交差点である。
さらに、本発明の実施例にかかる蛍光画像位置合わせ方法では、
第１方向と第２方向における前記蛍光画像の中間局所領域の画素和特徴を取得するステップは、さらに、
複数の第二テンプレート線を選択するステップと、
前記第１方向と前記第２方向において、前記第２テンプレート線の前記蛍光画像中間局所領域を、それぞれ順次シフト動作させるステップと、
蛍光画像の中間局所領域における第２テンプレート線の位置に覆われた画素の階調値の重畳和を算出するステップと、を含み、前記の階調値の重畳和は前記第２テンプレート線の位置に覆われた画素の階調値の和である。
さらに、本発明の実施例にかかる蛍光画像位置合わせ方法において、前記テンプレートパラメータに基づいて、複数の第１テンプレート線を選択し、前記第１方向と前記第２方向における前記画素和特徴のそれぞれから、前記複数の第１テンプレート線に対応する画素和の和値最小値をトラバース検索するステップは、さらに、
テンプレートパラメータに基づいて、複数の第一テンプレート線を選択するステップと、
前記第１方向と前記第２方向における画素和特徴を用いて、前記複数の第１テンプレート線に対応する画素和の和値を算出するステップと、
前記画素和の和値の最小値を取得するステップと、を含む。
さらに、本発明の実施例にかかる蛍光画像位置合わせ方法において、前記軌跡線位置の局所領域内において前記軌跡線に画素レベルの補正を行うステップは、さらに、
第１方向と第２方向における軌跡線位置の局所領域の画素和特徴を取得するステップと、
予め設定された距離で離れた複数の第３テンプレート線を選択して、前記軌跡線位置の局所領域の画素和特徴をトラバース検索するステップと、
前記予め設定された距離で離れた複数の第３テンプレート線に対応する画素和の和値の最小値を取得するステップと、
前記和値の最小値に対応する位置から前記軌跡線の画素レベル位置を取得するステップと、を含む。
さらに、本発明の実施例にかかる蛍光画像位置合わせ方法において、前記和値の最小値に対応する位置から前記軌跡線の画素レベル位置を取得するステップは、
前記和値の最小値に対応する位置から、Ｗ型線特徴における第１谷の画素レベル位置を取得するステップと、
前記第１谷の画素レベル位置に基づいて、前記軌跡線の画素レベル位置を取得するステップと、を含み、前記軌跡線位置の局所領域の画素和特徴には前記Ｗ型線特徴が含まれている。
さらに、本発明の実施例にかかる蛍光画像位置合わせ方法において、前記重心法に基づいて画素レベル軌跡線の位置を補正するステップは、
画素レベル軌跡線の局所領域を選択するステップと、
前記画素レベル軌跡線の局所領域の重心位置を取得するステップと、
前記重心位置に基づいて前記軌跡線のサブ画素レベル位置を取得するステップと、を含む。
さらに、本発明の実施例にかかる蛍光画像位置合わせ方法において、前記バイオチップの表面上に均等に分布するローカスのサブ画素レベルの位置を、ホモジニアスメッシュ法により取得するステップは、
前記第１方向と前記第２方向において隣接する２つのサブ画素レベル軌跡の交差点からなるブロック領域であって、予め設定された規則に基づいて前記ローカスに配置されたブロック領域を取得するステップと、
ホモジニアスメッシュ法により前記ブロック領域上のローカスのサブ画素レベル位置を取得するステップと、を含む。
本発明の一態様は、軌跡線間の画素距離がテンプレートパラメータであるバイオチップに適用される遺伝子配列決定システムであって、
バイオチップの少なくとも１つの蛍光画像を取得する画像取得モジュールと、
前記蛍光画像の中間局所領域を選択する領域選択モジュールと、
第１方向と前記第１方向に垂直な第２方向における前記蛍光画像の中間局所領域の画素和特徴を取得する画素和取得モジュールと、
テンプレートパラメータに基づいて、複数の第１テンプレート線を選択し、前記第１方向と前記第２方向における前記画素和特徴のそれぞれから、前記複数の第１テンプレート線に対応する画素和の和値最小値をトラバース検索する和値最小値検索モジュールと、
前記軌跡線位置の局所領域内において前記軌跡線に画素レベルの補正を行う画素レベル補正モジュールと、
前記画素レベル軌跡交差点から前記バイオチップ上の他の軌跡交差点位置を取得して前記他の軌跡交差点に画素レベルの補正を行う他の軌跡交差点位置取得モジュールと、
重心法に基づいて画素レベル軌跡線の位置を補正し、前記軌跡線のサブ画素レベル位置を取得する重心法補正モジュールと、
ホモジニアスメッシュ法によりバイオチップの表面上に均等に分布するローカスのサブ画素レベルの位置を取得するサブ画素ローカス取得モジュールと、を含み、
前記画素和の和値最小値に対応する位置は前記軌跡線位置であり、
前記画素レベル補正を行う軌跡線の交点は画素レベル軌跡交差点である。
また本発明の更に他の態様は、メモリに記憶されたコンピュータプログラムを実行する際に上記いずれかに記載の蛍光画像位置合わせ方法のステップを実行するプロセッサを含む遺伝子シーケンサを提供する。
また本発明の更に他の態様は、プロセッサによって実行されることにより、上記いずれかに記載の蛍光画像位置合わせ方法のステップを実行するコンピュータプログラムが記憶された不揮発性のコンピュータ読み取り可能な記憶媒体も提供する。
本発明により提供される実施例に係る蛍光画像位置合わせ方法、遺伝子配列決定システム、遺伝子シーケンサ及び記憶媒体において、バイオチップの少なくとも１つの蛍光画像を取得し、前記蛍光画像の中間局所領域を選択し、前記蛍光画像の中間局所領域の前記第１方向と前記第２方向における画素和特徴を取得し、テンプレートパラメータに基づいて、複数の第１テンプレート線を選択し、前記第１方向と前記第２方向における前記画素和特徴のそれぞれから、前記複数の第１テンプレート線に対応する画素和の和値最小値をトラバース検索し、軌跡線位置の局所領域内において前記軌跡線に画素レベルの補正を行い、画素レベル軌跡交差点から前記バイオチップ上の他の軌跡交差点位置を取得して前記他の軌跡交差点に画素レベルの補正を行い、重心法に基づいて画素レベル軌跡線の位置を補正し、前記軌跡線のサブ画素レベル位置を取得し、ホモジニアスメッシュ法により前記バイオチップ上のローカスのサブ画素レベル位置を取得する。なお、前記画素和の和値最小値に対応する位置は前記軌跡線位置であり、前記画素レベル補正を行う軌跡線の交点は前記画素レベル軌跡交差点である。本発明のある実施形態によれば、蛍光画像における蛍光基の位置決め・位置合わせ作業を最適化することが可能であり、異なる大きさ、異なる解像度における目標特徴的な位置決めに対して高い正確性及び高い効率性を有する。本発明の実施例によれば、ドット信号のサブ画素レベル位置を正確に素早く位置決めでき、かつ、パラメータを設けることにより、簡便に異なるドットマトリクス画像に適用でき、干渉に強く、適用性が広い。
図１は、本発明の実施例に係る蛍光画像位置合わせ方法のフローチャートである。 図２は、本発明の一実施例に係る遺伝子シーケンサの概略構成図である。 図３は、図２に示した遺伝子シーケンサの機能ブロック図の一例である。 図４Ａは、本発明の実施例に係る蛍光画像における局所領域の特徴効果図である。 図４Ｂは、図４Ａのある領域を拡大した効果図である。 図５Ａは、本発明の実施例に係る蛍光画像中間局所領域図である。 図５Ｂは、図５Ａに示した中間局所領域図の垂直方向の画素和特徴の模式図である。 図６Ａは、図５Ｂに示す画素和特徴を、３本の第１テンプレート線を用いて検索する模式図である。 図６Ｂは、図５Ｂに示す画素和特徴を、３本の第１テンプレート線を用いて検索する他の模式図である。 図６Ｃは、図５Ｂに示す画素和特徴を、３本の第１テンプレート線を用いて検索するさらに他の模式図である。 図７は、３本の第１テンプレート線画素和の和特徴の模式図である。 図８Ａは、本発明の実施例に係る軌跡線局所領域図である。 図８Ｂは、軌跡線局所領域図の垂直方向の画素和特徴の模式図である。 図８Ｃは、図８Ｂにおいて選択された領域を拡大した模式図である。 図９は、図８Ｂに示す画素和特徴から取得した画素和の和値特徴の模式図である。 図１０は、本発明の実施例に係る画素レベルの軌跡交差点を利用して他の軌跡交差点を導出する模式図である。 図１１Ａは、画素レベル軌跡線の局所領域の模式図である。 図１１Ｂは、画素レベル軌跡線の局所領域の水平方向の画素和特徴の模式図である。 図１２Ａは、画素レベル軌跡線の位置の模式図である。 図１２Ｂは、サブ画素レベル軌跡線の位置の模式図である。 図１３は、ホモジニアスメッシュ法を利用してローカスのサブ画素レベル位置を取得する模式図である。
以下、図面を参照しつつ本発明の実施例をさらに説明する。
本発明の実施例における上記目的、特徴および利点をより明確に理解できるように、以下、図面および具体的な実施形態を組み合わせて本発明を詳細に説明する。本出願の実施形態および実施形態の特徴は、お互いに矛盾しない場合、組み合わせることができることに留意されたい。
以下の説明では、本発明を十分に理解するために、複数の特定の詳細が述べられているが、説明した実施形態は、本発明の実施形態の一部に過ぎず、実施形態のすべてではない。創造的な努力なしに本発明の実施形態に基づいて当業者によって得られる他のすべての実施形態は、本発明の範囲内である。
本明細書で使用されるすべての技術用語および科学用語は、特に定義されない限り、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本発明の明細書で使用される用語は、具体的に実施形態を説明するためのものであり、本発明を限定するものではない。
図１は、本発明の実施例に係る蛍光画像位置合わせ方法のフローチャートである。図１に示すように、前記蛍光画像位置合わせ方法は以下のステップを含む。
Ｓ１０１：バイオチップの少なくとも１つの蛍光画像を取得する。
一実施形態において、前記バイオチップは遺伝子配列決定チップであってもよいし、前記蛍光画像は配列決定を行う際に撮像した蛍光信号画像であってもよい。配列決定過程においては、マイクロカメラを用いてバイオチップを撮像して蛍光信号画像を取得することができる。マイクロカメラの視野が小さく、約７６８．６μｍ＊６４８μｍであり、１枚のバイオチップに対して数百枚の視野（ＦＯＶ、ｆｉｅｌｄ ｏｆ ｖｉｅｗ）を撮像することができる。
各視野において隣り合う２つの水平と垂直方向の軌跡線との間に形成される領域を１つのブロック（ｂｌｏｃｋ）と呼び、ブロックは内部ブロックと外部ブロックに分ける。前記バイオチップには、ＤＮＡナノ球分子（ＤＮＢ）を吸着することができるローカスが、ブロックごとに均等に分布され、前記ＤＮＡナノ球分子はＤＮＡ断片を含む増幅産物であってよい。
前記ＤＮＡナノ球分子は、塩基を合成する際に蛍光基を持ち、蛍光基が励起されると蛍光信号を発する。一部の前記ローカスは、水平方向である第１方向に平行に分布する第１群軌跡線（ｔｒａｃｋｌｉｎｅ）と、垂直方向である第２方向に平行に分布する第２群軌跡線とが予め設定された規則に基づいて配置されている。前記第１群軌跡線と前記第２群軌跡線との交差点は軌跡交差点（ｔｒａｃｋｃｒｏｓｓ）である。
Ｓ１０２：前記蛍光画像の中間局所領域を選択する。
ある実施形態において、前記蛍光基は、バイオチップ上に予め設定された規則に従って固定的に配置されていてもよく、特別な設計及び処理によって、前記バイオチップ上のある位置にはローカスが存在しない、すなわち蛍光基は存在しない。前記蛍光基が２５％以上の（アデニン（Ａ）、チミン（Ｔ）、シトシン（Ｃ）とグアニン（Ｇ）の４塩基がバランスを取る）ランダムな位置で発光する場合、発光しない境界線枠は鮮明に現れる。鮮明に現れた境界線枠は、３つの蛍光基の位置によって構成され、中間列の蛍光基に輝点が存在し、中間列の両方に位置する蛍光基はいずれも輝いていない。中間列の蛍光基は軌跡線を形成し、中間列の両方に位置する蛍光基は暗線を形成する。鮮明に現れた前記境界線枠は、前記軌跡線と前記軌跡線の両側の暗線を含むことが理解できる。
暗線線枠の局所範囲において、結像歪みを無視できる。
一実施形態では、前記蛍光画像における前記第１方向において８０％の広さ、且つ前記第２方向において１０％の長さの領域を、前記蛍光画像の中間局所領域として選択してもよい。前記蛍光画像の中間局所領域は第１方向と第２方向において少なくとも一つの軌跡線を含んでもよい。
Ｓ１０３：第１方向と前記第１方向に垂直な第２方向における前記蛍光画像の中間局所領域の画素和特徴を取得する。
本実施形態において、第１方向及び第２方向における前記蛍光画像の中間局所領域の画素和特徴を取得するステップは、さらに、複数の第２テンプレート線を選択し、前記第１方向と前記第２方向において、前記第２テンプレート線を前記蛍光画像中間局所領域で、それぞれ順次シフト動作させるステップを含み、前記第２テンプレート線の数は一つであってもよい。蛍光画像中間局所領域における第２テンプレート線の位置で覆われた画素の階調値の重畳和を算出する。階調値の重畳和は前記第２テンプレート線の位置で覆われた画素の階調値の和である。前記蛍光画像中間局所領域の前記第１方向及び前記第２方向における画素和特徴は、前記第２のテンプレート線が前記第１方向及び前記第２方向のそれぞれにおいて前記蛍光画像中間局所領域に沿ってシフト動作終了後に取得されることが理解できる。この境界線枠が位置する位置は、画素和特徴における画素和の最小値に対応する位置である。本発明において、「画素和」とは、便宜上、画素の階調値の和を意味する。
Ｓ１０４：テンプレートパラメータに基づいて、複数の第１テンプレート線を選択し、前記第１方向と前記第２方向における前記画素和特徴のそれぞれから、前記複数の第１テンプレート線に対応する画素和の和値最小値をトラバース検索する。前記画素和の和値最小値に対応する位置は前記軌跡線位置である。
本実施形態では、テンプレートパラメータから複数の第１テンプレート線を選択し、前記第１テンプレート線の数は３であってもよい。前記テンプレートパラメータは、前記第１テンプレート線間の画素距離が固定されることを示す。前記第１テンプレート線の２つの間の画素距離は、同じであってもよいし、異なっていてもよい。前記蛍光画像の中間局所領域の前記第１方向及び前記第２方向における画素和特徴に基づいて、選択した複数の第１テンプレート線を利用して順序に前記画素和特徴を検索し、前記複数の第１テンプレート線に対応する画素和の和値の特徴を取得する。複数の第１テンプレート線の位置が、いずれも上記画素和特徴中の画素和の最小値が位置する位置の近傍に位置する場合、上記複数の第１テンプレート線に対応する画素和が最も小さくなることが理解できる。和値最小値に対応する位置が前記軌跡線の位置であり、このとき取得される前記軌跡線の位置が前記軌跡線の略位置である。本発明において、テンプレートパラメータとは、バイオチップテンプレートを設計するパラメータである。
Ｓ１０５：前記軌跡線位置の局所領域内において前記軌跡線を画素レベル補正する。前記画素レベル補正を行う軌跡線の交点は画素レベル軌跡交差点である。
本実施形態において、前記軌跡線位置の局所領域の前記第１方向と前記第２方向における画素和特徴をそれぞれ取得する。垂直方向を例にとると、予め設定された距離で離れた複数の第３テンプレート線を選択して、前記軌跡線位置の局所領域の画素和特徴をトラバース検索する。前記軌跡線位置の局所領域の画素和特徴には、Ｗ型線特徴が含まれる。Ｗ型線特徴における２つの谷が対応する位置が前記軌跡線の両側暗線に対応する位置であり、暗線に対応する位置の画素和値が比較的に低い。Ｗ型線特徴におけるピークに対応する位置が前記軌跡線に対応する位置であり、前記軌跡線に対応する位置の画素和値が比較的に高い。前記予め設定された距離で離れた複数の第３テンプレート線に対応する画素和の和値最小値を取得する。複数の第３テンプレート線に対応する画素和の和値最小値に対応する位置とは、Ｗ型線特徴における谷の位置であり、谷とピークとの間の画素距離は一定であるため、谷の位置に応じてピークの位置を取得することができる。ピークの位置は前記軌跡線の位置に対応しているため、前記和値最小値に対応する位置から前記軌跡線の画素レベル位置を取得し、画素レベル補正を行う軌跡線の交点が画素レベル軌跡交差点であることが理解できる。なお、軌跡交差点は仮想的な点であり、その点の位置には実際の点が必ずしも設けられておらず、その点も発光している必要はないことが理解されるべきである。第１テンプレート線、第２テンプレート線、及び第３テンプレート線も、実在する線ではなく、本発明の説明の便宜上の仮想線である。
Ｓ１０６：前記画素レベル軌跡交差点から前記バイオチップ上の他の軌跡交差点位置を取得して前記他の軌跡交差点に画素レベルの補正を行う。
本実施形態では、前記バイオチップ上において、一部の前記ローカスは、第１方向に平行に分布する第１群軌跡線（ｔｒａｃｋｌｉｎｅ）と、第２方向に平行に分布する第２群軌跡線とに沿って、予め設定された規則に従って並ぶように形成されている。前記第１群軌跡線と前記第２群軌跡線との並びは規則的であり、前記軌跡交差点の並びも規則的であることが理解できる。１つの軌跡交差点の画素レベル位置が取得できた場合、対応する規則に従って前記バイオチップ上の他の軌跡交差点の略位置を取得することができ、前記他の軌跡線交差点に画素レベルの補正して他の軌跡交差点の画素レベル位置を取得する。
Ｓ１０７：重心法に基づいて画素レベル軌跡線の位置を補正し、前記軌跡線のサブ画素レベル位置を取得する。
本実施形態では、垂直方向を例にとし、前記画素レベル軌跡線の局所領域を取得し、３個の画素の幅、５０個の画素の長さの領域を前記画素レベル軌跡線局所領域として選択してもよい。前記画素レベル軌跡線の局所領域の重心位置を取得し、垂直方向において前記重心位置を通る軌跡線がサブ画素レベル軌跡線であり、前記重心位置から前記軌跡線のサブ画素レベル位置を取得する。同様に、水平方向において前記軌跡線のサブ画素レベル位置を取得し、サブ画素レベル軌跡線の交点がサブ画素レベル軌跡線交差点である。
Ｓ１０８：ホモジニアスメッシュ法により前記バイオチップの表面上に均等に分布するローカスのサブ画素レベルの位置を取得する。
本実施形態において、前記第１方向と前記第２方向において隣接する２つのサブ画素レベル軌跡の交差点からなるブロック領域であって、予め設定された規則に基づいて前記ローカスに配置されたブロック領域を取得し、ホモジニアスメッシュ法により前記ブロック領域上の全てローカスのサブ画素レベルの位置を取得する。
本発明により提供される実施例に係る蛍光画像位置合わせ方法において、バイオチップの少なくとも１つの蛍光画像を取得し、前記蛍光画像の中間局所領域を選択し、前記蛍光画像の中間局所領域の前記第１方向と前記第２方向における画素和特徴を取得し、テンプレートパラメータに基づいて、複数の第１テンプレート線を選択し、前記第１方向と前記第２方向における前記画素和特徴のそれぞれから、前記複数の第１テンプレート線に対応する画素和の和値の最小値をトラバース検索し、軌跡線位置の局所領域内において前記軌跡線に画素レベルの補正を行い、画素レベル軌跡交差点から前記バイオチップ上の他の軌跡交差点位置を取得して前記他の軌跡交差点に画素レベル補正を行い、重心法に基づいて画素レベル軌跡線の位置を補正し、前記軌跡線のサブ画素レベル位置を取得し、ホモジニアスメッシュ法により前記バイオチップ上のローカスのサブ画素レベル位置を取得する。なお、前記画素和の和値最小値に対応する位置は前記軌跡線位置であり、前記画素レベル補正を行う軌跡線の交点は前記画素レベル軌跡交差点である。本発明の実施例により、蛍光画像における蛍光基の位置決めと位置合わせ操作が最適化される。
以上、本発明の実施例に係る方法の詳細を説明となる。以下に、本発明の実施形態に係る遺伝子シーケンサについて説明する。
本発明の実施形態は、メモリと、プロセッサと、メモリに記憶され、プロセッサ上で実行可能なコンピュータプログラムとを含む遺伝子シーケンサであって、前記プロセッサが、前記プログラムを実行することにより、前記いずれかの実施形態に係る蛍光画像位置合わせ方法のステップを実現する遺伝子シーケンサを提供する。なお、前記遺伝子シーケンサは、チップステージ、光学システム、液路システムを含んでもよい。前記チップステージは、バイオチップの搭載に用いられ、前記光学システムは蛍光画像の取得に用いられ、前記液路システムは予め設定された試薬を用いて生化学反応を行うために用いられる。
図２は、本発明の一実施形態に係る遺伝子シーケンサの概略構成図である。図２に示すように、遺伝子シーケンサ１は、遺伝子配列決定システム１００が格納されたメモリ１０を備えている。前記遺伝子配列決定システム１００において、バイオチップの少なくとも１つの蛍光画像を取得し、前記蛍光画像の中間局所領域を選択し、前記蛍光画像の中間局所領域の前記第１方向と前記第２方向における画素和特徴を取得し、テンプレートパラメータに基づいて、複数の第１テンプレート線を選択し、前記第１方向と前記第２方向における前記画素和特徴のそれぞれから、前記複数の第１テンプレート線に対応する画素和の和値の最小値をトラバース検索し、軌跡線位置の局所領域内において前記軌跡線を画素レベル補正し、画素レベル軌跡交差点から前記バイオチップ上の他の軌跡交差点位置を取得して前記他の軌跡交差点を画素レベル補正し、重心法に基づいて画素レベル軌跡線の位置を補正し、前記軌跡線のサブ画素レベル位置を取得し、ホモジニアスメッシュ法により前記バイオチップ上に均等に分布しているローカスのサブ画素レベル位置を取得する。なお、前記画素和の和値最小値に対応する位置は前記軌跡線位置であり、前記画素レベル補正を行う軌跡線の交点は前記画素レベル軌跡交差点である。本発明の実施例により、蛍光画像における蛍光基の位置決めと位置合わせ操作が最適化される。
本実施形態において、遺伝子シーケンサ１は、さらに、ディスプレイパネル２０及びプロセッサ３０を含んでもよい。メモリ１０やディスプレイパネル２０は、それぞれ、プロセッサ３０と電気的に接続されていてもよい。
前記メモリ１０は、各種データを記憶するさまざまな種類の記憶装置であってもよい。例えば、遺伝子シーケンサ１のストレージやメモリであってもよいし、フラッシュメモリ、ＳＭカード（Ｓｍａｒｔ Ｍｅｄｉａ Ｃａｒｄ）、ＳＤカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ Ｃａｒｄ）など、当該遺伝子シーケンサ１に外付け可能なメモリカードであってもよい。また、メモリ１０は、高速ランダムアクセスメモリを含み、更に、例えば、ハードディスク、メモリ、プラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ Ｍｅｄｉａ Ｃａｒｄ：ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ：ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）、少なくとも１つのディスクストレージデバイス、フラッシュデバイス等の不揮発性メモリや、その他の揮発性ソリッドステートストレージデバイスを含む。メモリ１０は、各種データ、例えば、上記遺伝子シーケンサ１にインストールされた各種アプリケーション（Ａｐｐｌｉｃａｔｉｏｎｓ）、上記蛍光画像位置合わせ方法を適用して設定、取得したデータ等の情報を記憶する。
ディスプレイパネル２０は、遺伝子シーケンサ１に取り付けられ、情報を表示するために用いられる。
プロセッサ３０は、前記蛍光画像位置合わせ方法、及び、前記遺伝子シーケンサ１内に実装される各種ソフトウェア、例えば、オペレーティングシステム、及びアプリケーション表示ソフトウェアなどを実行する。プロセッサ３０は、プロセッサ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、マイクロコントロールユニット（Ｍｉｃｒｏ Ｃｏｎｔｒｏｌｌｅｒ Ｕｎｉｔ、ＭＣＵ）など、コンピュータコマンドおよびコンピュータソフトウエアにおけるデータを解釈して処理する装置を含むが、これらに限らない。
前記遺伝子配列決定システム１００は１又は複数のモジュールを含んでいてもよく、前記１又は複数のモジュールは遺伝子シーケンサ１のメモリ１０に格納され、１又は複数のプロセッサ（本実施形態では１つのプロセッサ３０）により実行されることにより本発明の一実施形態が完成する。例えば、図３に示すように、遺伝子配列決定システム１００は、画像取得モジュール１１と、領域選択モジュール１２と、画素和取得モジュール１３と、和値最小値検索モジュール１４と、画素レベル補正モジュール１５と、他の軌跡交差点位置取得モジュール１６と、重心法補正モジュール１７と、サブ画素レベル位置取得モジュール１８とを含んでもよい。本発明の実施形態におけるモジュールは、特定の機能を果たすプログラムセグメントであってもよく、プログラムよりもプロセッサにおけるソフトウェアの実行手順を説明するために好適なものである。
遺伝子シーケンサ１は、上記蛍光画像位置合わせ方法における各実施形態に対応して、図３に示した各機能ブロックの一部または全部を含んでいてもよく、その各機能は以下に具体的に説明する。なお、上記の蛍光画像位置合わせ方法の各実施形態で同一の名詞及び関連名詞並びにその具体的な説明は、以下の各モジュールの機能に対する説明するにも適用可能である。節幅節約や重複回避のため、ここでは説明を省略する。
画像取得モジュール１１は、バイオチップの少なくとも１つの蛍光画像を取得する。
領域選択モジュール１２は、前記蛍光画像の中間局所領域を選択する。
画素和取得モジュール１３は、第１方向と前記第１方向に垂直な第２方向における前記蛍光画像の中間局所領域の画素和特徴を取得する。
和値最小値検索モジュール１４は、テンプレートパラメータに基づいて、複数の第１テンプレート線を選択し、前記第１方向と前記第２方向における前記画素和特徴のそれぞれから、前記複数の第１テンプレート線に対応する画素和の和値最小値をトラバース検索する。前記和値最小値に対する位置は前記軌跡線位置である。
画素レベル補正モジュール１５は、前記軌跡線位置の局所領域内において前記軌跡線に画素レベルの補正を行う。前記画素レベル補正を行う軌跡線の交点は画素レベル軌跡交差点である。
他の軌跡交差点位置取得モジュール１６は、前記画素レベル軌跡交差点から前記バイオチップ上の他の軌跡交差点位置を取得して前記他の軌跡交差点に画素レベルの補正を行う。
重心法補正モジュール１７は、重心法に基づいて画素レベル軌跡線の位置を補正し、前記軌跡線のサブ画素レベル位置を取得する。
サブ画素ローカス取得モジュール１８は、ホモジニアスメッシュ法によりバイオチップの表面上に均等に分布するローカスのサブ画素レベルの位置を取得する。
本発明の実施形態は、上記いずれかの実施形態における蛍光画像位置合わせ方法のステップをプロセッサによって実行するコンピュータプログラムが記憶された不揮発性のコンピュータ読み取り可能な記憶媒体を提供する。
前記遺伝子配列決定システム・遺伝子シーケンサ・コンピュータ装置が集積したモジュール・ユニットは、ソフトウェア機能ユニットの形態で実装され、スタンドアロン製品として販売または使用される場合、コンピュータ読み取り可能な記憶媒体に格納することができる。このような理解に基づいて、本発明は、前述の実施形態のプロセスの全部または一部を実施し、関連するハードウェアを指示するコンピュータプログラムによって実施することもできる。上記のコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体に格納することができ、前記コンピュータプログラムはプロセッサによって実行されることにより、上述の各実施形態のステップが実装される。ここで、前記コンピュータプログラムは、ソースコード形式、オブジェクトコード形式、実行可能ファイルまたは何らかの中間形式の形態であり得るコンピュータプログラムコードを含む。前記コンピュータ読み取り可能な記録媒体は、前記コンピュータプログラムコードを運ぶことができる任意のエンティティまたはデバイス、記録媒体、ＵＳＢフラッシュドライブ、モバイルハードディスク、磁気ディスク、光ディスク、コンピュータメモリ、読み取り専用メモリ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ：ＲＡＭ）、電気搬送信号、電気通信信号、およびソフトウェア配布媒体等を含む。
前記プロセッサは、中央処理ユニット（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）であってもよく、または他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはその他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェアコンポーネントなどであってもよい。汎用プロセッサは、マイクロプロセッサ、または、そのプロセッサが、前記遺伝子配列決定システム／遺伝子シーケンサの制御センターであり、遺伝子配列決定システム／遺伝子シーケンサの全部を様々なインターフェースや回線で接続する、通常のプロセッサなどであってもよい。
前記メモリは、前記コンピュータプログラムおよび／またはモジュールを記憶し、前記プロセッサは、前記メモリに記憶されたコンピュータプログラムおよび／またはモジュールを実行し、前記メモリ内に記憶されたデータを呼び出すことにより、前記遺伝子配列決定システム／遺伝子シーケンサの各機能を実現する。前記メモリは、主にプログラム格納領域およびデータ格納領域を含み、プログラム格納領域は、オペレーティングシステム、少なくとも１つの機能（例えば、音声再生機能、画像再生機能など）に必要なアプリケーションプログラムなどを格納することができる。また、メモリは、高速ランダムアクセスメモリを含み、更に、例えば、ハードディスク、メモリ、プラグインハードディスク、スマートメモリカード（Ｓｍａｒｔ Ｍｅｄｉａ Ｃａｒｄ：ＳＭＣ）、セキュアデジタル（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ：ＳＤ）カード、フラッシュカード（Ｆｌａｓｈ Ｃａｒｄ）、少なくとも１つのディスクストレージデバイス、フラッシュデバイス等の不揮発性メモリや、その他の揮発性ソリッドステートストレージデバイスを含む。
図４Ａ、図４Ｂを参照すると、図４Ａは、本発明の実施例に係る蛍光画像における局所領域の特徴効果図であり、図４Ｂは、図４Ａの何れかの領域を拡大した効果図である。前記蛍光基は、バイオチップ上に予め設定された規則に従って配置され、特別な設計及び処理によって、前記バイオチップ上のある位置には蛍光は存在しないようにすることができる。図４Ａに示すように、蛍光基が２５％以上（４塩基がバランスを取る）のランダムな位置で発光する場合、発光しない境界線枠位置が鮮明に現れる。図４Ａは、水平方向における境界線枠数が２（黒矢印が向いた位置が境界線枠が位置する位置）であり、垂直方向において境界線枠数が３である。水平方向と垂直方向のそれぞれにおいて境界線枠の拡大処理を施し、図４Ｂに示すように、垂直方向を例にとれば、鮮明に現れた境界線枠は、３つの蛍光基の位置によって構成され、中間列の蛍光基に輝点が存在し、中間列の両方に位置する蛍光基はいずれも輝いていない。中間列の蛍光基は軌跡線を形成し、中間列の両方に位置する蛍光基は暗線を形成する。鮮明に現れた前記境界線枠は、前記軌跡線と前記軌跡線の両側の暗線を含むことが理解できる。バイオチップローカス配置方式の理解、及び軌跡線配置方式の理解について、ＰＣＴ特許出願ＰＣＴ／ＵＳ２０１１／０５００４７に開示された生化学アレイチップを参照することができる。
図５Ａ、図５Ｂを参照すると、図５Ａは、本発明の実施形態における蛍光画像の中間局所領域図であり、図５Ｂは、図５Ａに示した中間局所領域図の垂直方向の画素和特性の模式図である。図５Ａに示すように、前記蛍光画像における水平方向の８０％の広さ、垂直方向の１０％の長さの矩形領域（白色矩形枠選出部分）を抽出する。蛍光画像の中間局所領域内には垂直方向に４つの境界線枠が存在し、水平方向に２つの境界線枠が存在する。垂直方向を例にして、垂直方向における前記蛍光画像の中間局所領域の画素和特徴を算出する。図５Ｂに示されるように、図５Ｂにおいて、横軸は前記バイオチップ上蛍光画像中間局所領域の画素位置座標を示し、縦軸は画素階調値の和値を示す。図５Ｂには４つの画素和値最小値の位置が現れている。４つの画素和値最小値の位置は、垂直方向において前記蛍光画像の中間局所領域における４つの境界線枠位置に対応する。なお、黒楕円マークの位置は、図５Ａによって提供される蛍光画像中間局所領域の垂直方向において２本目（左から右に向かって順に）の境界線枠が位置する位置である。
図６Ａ、図６Ｂ、図６Ｃを参照すると、図６Ａは、図５Ｂに示す画素和特徴を３本の第１テンプレート線で検索する模式図であり、図６Ｂは、図５Ｂに示す画素和特徴を３本の第１テンプレート線で検索する他の模式図であり、図６Ｃは、図５Ｂに示す画素和特徴を３本の第１テンプレート線で検索するさらに他の模式図である。３つの第１テンプレート線ごとに、順次、特徴和において検索し、前記３つの第１テンプレート線間の距離は、固定されているが、各距離は同じくない。例えば、１本目の第１テンプレート線と２本目の第１テンプレート線との距離は、２本目の第１テンプレート線と３本目の第１テンプレート線との距離よりも小さい。図６Ａ、図６Ｃに示すように、３本の第１テンプレート線位置が、前記画素和特徴の和値最小値の位置に同時に位置してない。図６Ｂに示すように、３本の第１テンプレート線位置が、画素和特徴の中で前の３本の和値最小値の位置（左から右の順に）に同時に位置し、この場合、これら３本の第１テンプレート線位置の画素和の和値が最小となる。画素和の和値最小値に対応する位置は、軌跡線の略位置である。このステップ（図５Ｂに示す画素和特徴を３本の第１テンプレート線で検索する）については、以下のように理解してもよい。３本の仮想的な第１テンプレート線は、それらの間を一定のピッチで画素和特徴の座標曲線を左から右へ移動して「圧延」し（図５Ｂに示すように）、それらの「押された」位置の画素和の値をそれぞれ読み出し（いわゆるトラバース（遍歴））、その３つの値を加算し、その加算値を図７のグラフに当てはめ、毎回加算して得られた値を、１本目の第１テンプレート線の位置の縦座標にプロットする。
図７を参照すると、図７は、３本の第１テンプレート線画素和の和特徴の模式図である。図７に示すように、黒丸で選択した部分は、当該位置に対応する３本の第１テンプレート線画素和の和値が最小であり、和値が最小となる位置が、前記軌跡線の略位置に対応する。
図８Ａ、図８Ｂ、図８Ｃを参照すると、図８Ａは本発明の実施例による軌跡線局所領域図であり、図８Ｂは軌跡線局所領域図の垂直方向の画素和特徴図であり、図８Ｃは図８Ｂで選択した領域を拡大した模式図である。図８Ａに示すように、白実線枠選出部は、軌跡線を選出する局所領域であり、軌跡線の局所領域の単方向（水平方向または垂直方向）おける画素和をトラバースして取得する。垂直方向を例にとると、図８Ｂに示すように、軌跡線局所領域の垂直方向の画素和特徴模式図上には、Ｗ型線特徴曲線（黒楕円圏内部分）が現れている。Ｗ型線特徴曲線を拡大処理すると、図８Ｃに示すように、Ｗ型線特徴では、２箇所の谷位置および１箇所のピーク位置がある。２箇所の谷位置は、前記バイオチップ上において、前記軌跡線の両側暗線に対応する位置であり、暗線に対応する位置の画素和値は低いことが理解される。Ｗ型線特徴におけるピークに対応する位置が前記軌跡線に対応する位置であり、前記軌跡線に対応する位置の画素和値が比較的に高い。
図９を参照すると、図９は、図８Ｂに示す画素和特徴から取得した画素和の和値特徴の模式図である。図８Ｂに示した軌跡線局所領域図の垂直方向の画素和特徴の模式図について、バイオチップテンプレートパラメータに応じて選択された、予め設定された距離「４」離れた２本の第３テンプレート線を選択して、前記軌跡線位置の局所領域の画素和特徴をトラバース検索する。予め設定された距離が４である２つの第３テンプレート線に対応する画素和の和値特徴を取得し、和値特徴のうち最小値を取得する。図９に示すように、横軸上区間（４０、６０）の間に画素和値の最小値が存在する。和値の最小値に対応する位置は、Ｗ型線特徴の谷の画素レベル位置である。前記谷の画素レベル位置に基づいて、前記軌跡線の画素レベル位置を取得することができる。
図１０を参照すると、図１０は、本発明の実施例に係る画素レベルの軌跡交差点を利用して他の軌跡交差点を導出する模式図である。図１０に示すように、淡灰色丸点は、既取得の画素レベル軌跡交差点位置を示す。前記バイオチップ上において、前記第１群軌跡線と前記第２群軌跡線との並びは規則的であり、前記軌跡交差点の並びも規則的である。取得した画素レベルの軌跡交差点位置に基づいて、対応する規則によって、前記生体チップ上の他の軌跡交差点（濃灰色丸点が示す他の軌跡交差点である）の位置を取得する。このとき得られる他の軌跡交差点の位置は略位置であり、他の軌跡交差点を画素レベル修正して、他の軌跡交差点の画素レベル位置を得る必要がある。
図１１Ａ、図１１Ｂを参照すると、図１１Ａは、画素レベル軌跡線の局所領域の模式図であり、図１１Ｂは、画素レベル軌跡線の局所領域の水平方向の画素和特徴の模式図である。図１１Ａに示すように、３画素の幅、５０画素の長さの領域を、前記画素レベル軌跡線局所領域（白線選出部分は画素レベル軌跡線局所領域）として選択してもよい。前記画素レベル軌跡線の局所領域の重心位置を取得し、垂直方向に前記重心位置を通る軌跡線をサブ画素レベル軌跡線とする。図１１Ｂに示すように、横軸は、画素レベル軌跡線の局所領域の水平方向の画素位置座標を示し、縦軸は、画素階調値の和値を示す。横軸座標区間は（０、２）である。画素和値は、画素位置座標が１のときは最大値となり、画素位置座標が２のときは０であり、画素位置座標が０のときは区間（１０００、１２００）の間である。図１１Ｂに示した画素レベル軌跡線の局所領域の模式図を用いて、画素レベル軌跡線の局所領域における重心位置の略位置を判断できる。例えば、重心位置が画素レベル軌跡線の局所領域の左寄りの位置であると判断できる。
図１２Ａ、図１２Ｂを参照すると、図１２Ａは画素レベル軌跡線の位置模式図であり、図１２Ｂはサブ画素レベル軌跡線の位置模式図である。図１２Ａに示すように、選択された黒枠領域は、ある軌跡線の画素レベル位置を示し、この画素をさらに下に細分化して（重心法に応じて画素レベル軌跡線の位置を補正して前記軌跡線のサブ画素レベル位置を得る）、図１２Ｂに示すように、ある軌跡線の局所領域における重心位置を淡灰色丸点で表したサブ画素レベル位置を取得し、この黒色丸点を通る直線である軌跡線を、サブ画素レベル軌跡線とすることができる。
図１３は、ホモジニアスメッシュ法を利用してローカスのサブ画素レベル位置を取得する模式図である。図示するように、黒色丸点は、前記第１方向におけるサブ画素レベル軌跡線と前記第２方向におけるサブ画素レベル軌跡線との交差点であって、該交差点位置がサブ画素レベルの位置である。前記第１方向と前記第２方向において隣接する２つのサブ画素レベル軌跡の交差点からなるブロック領域であって、予め設定された規則に基づいて前記ローカスに配置されたブロック領域を取得し、ホモジニアスメッシュ法により前記ブロック領域上のローカスのサブ画素レベル位置を取得する。
本発明によって提供されるいくつかの具体的な実施形態では、開示された端末および方法は他の方法で実装され得ることを理解されるべきである。例えば、上記のシステムの実施形態は単なる例示であり、例えば、前記モジュールの分割は論理機能の分割に過ぎず、実際の実装は別の分割方法を有してもよい。
当業者にとって、本発明の実施形態は、上述の例示的な実施形態の詳細に限定されるものではなく、本発明の実施例の精神または基本的な特徴から乖離しない場合、本発明を他の具体的な態様で実現することができることは明らかである。したがって、各実施形態は、本発明を制限するものではなく、例示と見なされるべきであり、本発明の範囲は、上記の説明により限定されることではなく、特許請求の範囲によって定義される。なお、特許請求の同等要素の意味および範囲におけるすべての変更は、本発明に含まれる。特許請求内の参照符号は、特許請求範囲を限定するものとして解釈されることはない。システム、装置または端末請求項に記載される複数のユニット、モジュールまたは装置は、同一のユニット、モジュールまたは装置が、ソフトウェアまたはハードウェアで実現されてもよい。
上記の各実施形態は、ただ本発明の技術的解決策を説明するためのものであり、限定することを意図するものではなく、好ましい実施形態を参照して、本発明について詳細に説明しているが、当業者は、本発明の精神および範囲から逸脱することなく、本発明の技術的解決策を修正または同等に置換できることを理解すべきである。
１ 遺伝子シーケンサ
１０ メモリ
２０ ディスプレイパネル
３０ プロセッサ
１１ 画像取得モジュール
１２ 領域選択モジュール
１３ 画素和取得モジュール
１４ 和値最小値検索モジュール
１５ 画素レベル補正モジュール
１６ 他の軌跡交差点位置取得モジュール
１７ 重心法補正モジュール
１８ サブ画素レベルローカス取得モジュール

Claims (10)

  1. 軌跡線間の画素距離がテンプレートパラメータであるバイオチップに適用される蛍光画像位置合わせ方法であって、
    前記バイオチップの少なくとも１つの蛍光画像を取得するステップと、
    前記蛍光画像の中間局所領域を選択するステップと、
    第１方向と前記第１方向に垂直な第２方向における前記蛍光画像の中間局所領域の画素和特徴を取得するステップと、
    前記テンプレートパラメータに基づいて、複数の第１テンプレート線を選択し、前記第１方向と前記第２方向における前記画素和特徴のそれぞれから、前記複数の第１テンプレート線に対応する画素和の和値最小値をトラバース検索するステップと、
    軌跡線位置の局所領域内において前記軌跡線に画素レベルの補正を行うステップと、
    画素レベル軌跡交差点から前記バイオチップ上の他の軌跡交差点位置を取得して前記他の軌跡交差点を画素レベル補正するステップと、
    重心法に基づいて画素レベル軌跡線の位置を補正し、前記軌跡線のサブ画素レベル位置を取得するステップと、
    ホモジニアスメッシュ法により前記バイオチップの表面上に均等に分布するローカスのサブ画素レベルの位置を取得するステップと、を含み、
    前記和値最小値に対応する位置は前記軌跡線位置であり、
    前記画素レベル補正を行う軌跡線の交点は前記画素レベル軌跡交差点であることを特徴とする蛍光画像位置合わせ方法。
  2. 前記第１方向と前記第２方向における前記蛍光画像の中間局所領域の画素和特徴を取得するステップと、
    複数の第二テンプレート線を選択するステップと、
    前記第１方向と前記第２方向のそれぞれにおいて、順次前記第２テンプレート線を前記蛍光画像中間局所領域で、シフト動作させるステップと、
    前記蛍光画像中間局所領域における前記第２テンプレート線の位置に覆われた画素の階調値の重畳和を算出するステップと、を含み、前記の階調値の重畳和は前記第２テンプレート線の位置に覆われた画素の階調値の和であることを特徴とする請求項１に記載された蛍光画像位置合わせ方法。
  3. 前記テンプレートパラメータに基づいて、複数の第１テンプレート線を選択し、前記第１方向と前記第２方向における前記画素和特徴のそれぞれから、前記複数の第１テンプレート線に対応する画素和の和値最小値をトラバース検索するステップは、
    前記テンプレートパラメータに基づいて、複数の前記第一テンプレート線を選択するステップと、
    前記第１方向と前記第２方向における画素和特徴を用いて、前記複数の第１テンプレート線に対応する画素和の和値を算出するステップと、
    前記画素和の和値の最小値を取得するステップと、を含むことを特徴とする請求項２に記載された蛍光画像位置合わせ方法。
  4. 前記軌跡線位置の局所領域内において前記軌跡線を画素レベル補正するステップは、
    前記第１方向と前記第２方向における前記軌跡線位置の局所領域の画素和特徴を取得するステップと、
    予め設定された距離で離れた複数の第３テンプレート線を選択して、前記軌跡線位置の局所領域の画素和特徴をトラバース検索するステップと、
    前記予め設定された距離で離れた複数の第３テンプレート線に対応する画素和の和値最小値を取得するステップと、
    前記和値最小値に対応する位置から前記軌跡線の画素レベル位置を取得するステップと、を含むことを特徴とする請求項３に記載された蛍光画像位置合わせ方法。
  5. 前記和値最小値に対応する位置から前記軌跡線の画素レベル位置を取得するステップは、
    前記和値最小値に対応する位置から、Ｗ型線特徴における谷の画素レベル位置を取得するステップと、
    前記谷の画素レベル位置に基づいて、前記軌跡線の画素レベル位置を取得するステップとを含み、前記軌跡線位置の局所領域の画素和特徴には、前記Ｗ型線特徴が含まれていることを特徴とする請求項４に記載された蛍光画像位置合わせ方法。
  6. 前記重心法に基づいて画素レベル軌跡線の位置を補正するステップは、
    前記画素レベル軌跡線の局所領域を選択するステップと、
    前記画素レベル軌跡線の局所領域の重心位置を取得するステップと、
    前記重心位置に基づいて前記軌跡線のサブ画素レベル位置を取得するステップと、を含むことを特徴とする請求項５に記載された蛍光画像位置合わせ方法。
  7. 前記ホモジニアスメッシュ法により前記バイオチップの表面上に均等に分布するローカスのサブ画素レベルの位置を取得するステップは、
    前記第１方向と前記第２方向において隣接する２つのサブ画素レベル軌跡の交差点からなるブロック領域であって、予め設定された規則に基づいて前記ローカスに配置されたブロック領域を取得するステップと、
    前記ホモジニアスメッシュ法により前記ブロック領域上のローカスのサブ画素レベル位置を取得するステップと、を含むことを特徴とする請求項６に記載された蛍光画像位置合わせ方法。
  8. 軌跡線間の画素距離がテンプレートパラメータであるバイオチップに適用される遺伝子配列決定システムであって、
    前記バイオチップの少なくとも１つの蛍光画像を取得する画像取得モジュールと、
    前記蛍光画像の中間局所領域を選択する領域選択モジュールと、
    第１方向と前記第１方向に垂直な第２方向における前記蛍光画像の中間局所領域の画素和特徴を取得する画素和取得モジュールと、
    前記テンプレートパラメータに基づいて、複数の第１テンプレート線を選択し、前記第１方向と前記第２方向における前記画素和特徴のそれぞれから、前記複数の第１テンプレート線に対応する画素和の和値最小値をトラバース検索する和値最小値検索モジュールと、
    軌跡線位置の局所領域内において前記軌跡線を画素レベル補正する画素レベル補正モジュールと、
    画素レベル軌跡交差点から前記バイオチップ上の他の軌跡交差点位置を取得して前記他の軌跡交差点を画素レベル補正する他の軌跡交差点位置取得モジュールと、
    重心法に基づいて画素レベル軌跡線の位置を補正し、前記軌跡線のサブ画素レベル位置を取得する重心法補正モジュールと、
    ホモジニアスメッシュ法により前記バイオチップの表面上に均等に分布するローカスのサブ画素レベルの位置を取得するサブ画素ローカス取得モジュールと、を含み、
    前記画素和の和値最小値に対応する位置は前記軌跡線位置であり、
    前記画素レベル補正を行う軌跡線の交点は画素レベル軌跡交差点であることを特徴とする遺伝子配列決定システム。
  9. プロセッサを含む遺伝子シーケンサであって、前記プロセッサはメモリに記憶されたコンピュータプログラムを実行することにより請求項１〜７のいずれかに記載された蛍光画像位置合わせ方法のステップを実現することを特徴とする遺伝子シーケンサ。
  10. 不揮発性のコンピュータ読み取り可能な記憶媒体であって、プロセッサによって実行されることにより、請求項１〜７のいずれかに記載された蛍光画像位置合わせ方法のステップを実現することを特徴とする記憶媒体。
JP2020555468A 2018-04-10 2018-04-10 蛍光画像位置合わせ方法、遺伝子シーケンサ及びシステム、記憶媒体 Active JP7072081B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/082578 WO2019196019A1 (zh) 2018-04-10 2018-04-10 荧光图像配准方法、基因测序仪及系统、存储介质

Publications (2)

Publication Number Publication Date
JP2021517701A true JP2021517701A (ja) 2021-07-26
JP7072081B2 JP7072081B2 (ja) 2022-05-19

Family

ID=68162773

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020555468A Active JP7072081B2 (ja) 2018-04-10 2018-04-10 蛍光画像位置合わせ方法、遺伝子シーケンサ及びシステム、記憶媒体

Country Status (11)

Country Link
US (2) US11682125B2 (ja)
EP (1) EP3779868B1 (ja)
JP (1) JP7072081B2 (ja)
KR (1) KR102504987B1 (ja)
CN (1) CN111971711A (ja)
AU (1) AU2018418609B2 (ja)
BR (1) BR112020020949A2 (ja)
CA (1) CA3096723C (ja)
RU (1) RU2749893C1 (ja)
SG (1) SG11202010040YA (ja)
WO (1) WO2019196019A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113255649B (zh) * 2021-06-21 2023-09-19 北博（厦门）智能科技有限公司 一种基于图像识别的图像分割框选方法及终端
WO2024001051A1 (zh) * 2022-06-29 2024-01-04 深圳华大生命科学研究院 空间组学单细胞数据获取方法及装置和电子设备
CN115331735B (zh) * 2022-10-11 2023-03-17 青岛百创智能制造技术有限公司 芯片解码方法及装置
CN117237441B (zh) * 2023-11-10 2024-01-30 湖南科天健光电技术有限公司 亚像素定位方法、系统、电子设备和介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016532689A (ja) * 2013-07-30 2016-10-20 プレジデント アンド フェローズ オブ ハーバード カレッジ 定量的なｄｎａベースのイメージング及び超解像イメージング

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100463336B1 (ko) * 2001-10-11 2004-12-23 (주)가이아진 바이오칩 이미지 분석 시스템 및 그 방법
US7526114B2 (en) * 2002-11-15 2009-04-28 Bioarray Solutions Ltd. Analysis, secure access to, and transmission of array images
US20050281462A1 (en) * 2004-06-16 2005-12-22 Jayati Ghosh System and method of automated processing of multiple microarray images
US8774494B2 (en) * 2010-04-30 2014-07-08 Complete Genomics, Inc. Method and system for accurate alignment and registration of array for DNA sequencing
US9671344B2 (en) * 2010-08-31 2017-06-06 Complete Genomics, Inc. High-density biochemical array chips with asynchronous tracks for alignment correction by moiré averaging
JP5822664B2 (ja) * 2011-11-11 2015-11-24 株式会社Pfu 画像処理装置、直線検出方法及びコンピュータプログラム
CN102821238B (zh) * 2012-03-19 2015-07-22 北京泰邦天地科技有限公司 宽视场超高分辨率成像系统
CN103150550B (zh) * 2013-02-05 2015-10-28 长安大学 一种基于运动轨迹分析的道路行人事件检测方法
US9481903B2 (en) * 2013-03-13 2016-11-01 Roche Molecular Systems, Inc. Systems and methods for detection of cells using engineered transduction particles
EP2863244A3 (en) * 2013-10-18 2015-11-11 Services Petroliers Schlumberger A method for displaying well log data as image strip
CN105427328B (zh) 2015-12-10 2017-05-31 北京中科紫鑫科技有限责任公司 一种dna测序的互信息图像配准方法及装置
CN105303187B (zh) * 2015-12-10 2017-03-15 北京中科紫鑫科技有限责任公司 一种dna测序的图像识别方法及装置
CN105550990B (zh) 2015-12-10 2017-07-28 北京中科紫鑫科技有限责任公司 一种基于傅里叶配准的dna图像处理方法及装置
CN105427327B (zh) * 2015-12-10 2017-05-31 北京中科紫鑫科技有限责任公司 一种dna测序的图像配准方法及装置
JP6687039B2 (ja) * 2016-02-05 2020-04-22 株式会社リコー 物体検出装置、機器制御システム、撮像装置、物体検出方法、及びプログラム
CN107730541A (zh) * 2016-08-12 2018-02-23 广州康昕瑞基因健康科技有限公司 图像配准方法和系统及图像拍摄对位方法和系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016532689A (ja) * 2013-07-30 2016-10-20 プレジデント アンド フェローズ オブ ハーバード カレッジ 定量的なｄｎａベースのイメージング及び超解像イメージング

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
NIKOLAOS GIANNAKEAS ET AL.: ""An automated method for gridding and clustering-based segmentation of cDNA microarray images"", COMPUTERIZED MEDICAL IMAGING AND GRAPHICS, vol. 33, no. 1, JPN6021048935, 31 January 2009 (2009-01-31), NL, pages 40 - 49, XP025799115, ISSN: 0004657781, DOI: 10.1016/j.compmedimag.2008.10.003 *
PETER BAJCSY: ""An Overview of DNA Microarray Grid Alignment and Foreground Separation Approaches"", EURASIP JOURNAL ON ADVANCES IN SIGNAL PROCESSING, vol. 2006, JPN7021005369, 1 December 2006 (2006-12-01), DE, pages 1 - 13, XP055849477, ISSN: 0004657779 *
PETER BAJCSY: ""Gridline: automatic grid alignment DNA microarray scans"", IEEE TRANSACTIONS ON IMAGE PROCESSING, vol. 13, no. 1, JPN6021048930, 30 January 2004 (2004-01-30), US, pages 15 - 25, XP011106160, ISSN: 0004657780, DOI: 10.1109/TIP.2003.819941 *

Also Published As

Publication number Publication date
CA3096723C (en) 2023-10-24
AU2018418609B2 (en) 2021-10-07
CA3096723A1 (en) 2019-10-17
US11682125B2 (en) 2023-06-20
AU2018418609A1 (en) 2020-11-12
EP3779868A4 (en) 2021-11-17
EP3779868A1 (en) 2021-02-17
BR112020020949A2 (pt) 2021-03-02
US20230298188A1 (en) 2023-09-21
RU2749893C1 (ru) 2021-06-18
CN111971711A (zh) 2020-11-20
KR102504987B1 (ko) 2023-02-28
EP3779868B1 (en) 2024-05-08
JP7072081B2 (ja) 2022-05-19
KR20200142040A (ko) 2020-12-21
WO2019196019A1 (zh) 2019-10-17
SG11202010040YA (en) 2020-11-27
US20210019895A1 (en) 2021-01-21

Similar Documents

Publication Publication Date Title
US11972583B2 (en) Fluorescence image registration method, gene sequencing instrument, and storage medium
JP7072081B2 (ja) 蛍光画像位置合わせ方法、遺伝子シーケンサ及びシステム、記憶媒体
US6829376B2 (en) Computer software system, method, and product for scanned image alignment
Jung et al. An automatic block and spot indexing with k-nearest neighbors graph for microarray image analysis
EP4116402A1 (en) Method for identifying base in nucleic acid and system
CN114549600A (zh) 一种荧光图像配准方法
JP5795150B2 (ja) 検出装置、およびそのデータ処理方法
CN110310334B (zh) 生物芯片定位方法、基因测序仪及系统、存储介质
US7877213B2 (en) System and methods for automated processing of multiple chemical arrays
CN108369734B (zh) 数字图像中的对象分类方法、系统及计算机可读介质
CN117351485A (zh) 基因测序训练数据集的增强方法及装置、设备及存储介质
CN110111842A (zh) 图像清晰度分析及对焦方法、测序仪、系统与存储介质
US12008775B2 (en) Method and device for image registration, and computer program product
WO2024000288A1 (zh) 图像拼接方法、基因测序系统及相应的基因测序仪
ES2773152T3 (es) Método para determinar las posiciones de una pluralidad de objetos en una imagen digital
WO2009126495A2 (en) Method and system for processing microarray images
CN112288781B (zh) 图像配准方法、装置和计算机程序产品
US20220333179A1 (en) Biochip detection method, device, and apparatus
KR100435833B1 (ko) 바이오칩 이미지 분석 시스템 및 그 방법
KR100742780B1 (ko) 자동화된 마이크로어레이 이미지 분석방법 및 그 기록매체
Proksch et al. Toward quantitative super-resolution microscopy: molecular maps with statistical guarantees
JP2009070250A (ja) 画像処理装置及びプログラム
JPH11339038A (ja) 画像処理装置および方法、並びに提供媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201009

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220412

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220509

R150 Certificate of patent or registration of utility model

Ref document number: 7072081

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150