JP2020537781A - 骨髄細胞標識方法及びシステム - Google Patents

骨髄細胞標識方法及びシステム Download PDF

Info

Publication number
JP2020537781A
JP2020537781A JP2020519364A JP2020519364A JP2020537781A JP 2020537781 A JP2020537781 A JP 2020537781A JP 2020519364 A JP2020519364 A JP 2020519364A JP 2020519364 A JP2020519364 A JP 2020519364A JP 2020537781 A JP2020537781 A JP 2020537781A
Authority
JP
Japan
Prior art keywords
cell
classification
image
labeling
contour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020519364A
Other languages
English (en)
Other versions
JP6777354B1 (ja
Inventor
▲強▼ 李
▲強▼ 李
炬 ▲陸▼
炬 ▲陸▼
舜 李
舜 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Zhiwei Information Technology Co Ltd
Original Assignee
Hangzhou Zhiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Zhiwei Information Technology Co Ltd filed Critical Hangzhou Zhiwei Information Technology Co Ltd
Application granted granted Critical
Publication of JP6777354B1 publication Critical patent/JP6777354B1/ja
Publication of JP2020537781A publication Critical patent/JP2020537781A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/0013Methods or arrangements for sensing record carriers, e.g. for reading patterns by galvanic contacts, e.g. card connectors for ISO-7816 compliant smart cards or memory cards, e.g. SD card readers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30008Bone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30242Counting objects in image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

本発明は、骨髄細胞標識方法及びシステムを提供する。その方法は、画像処理アルゴリズムにより標本画像に処理標識を施して輪郭細胞画像を取得してから、輪郭細胞画像を予め設定した分類モデルに入力して分類細胞画像と対応する分類細胞情報とを取得し、取得した色情報を予め設定した分類クラスに基づいて分類して分類色情報を取得し、最後に分類細胞情報に基づいて対応する名称情報及び分類色情報を抽出して分類細胞画像に組み合わせ標識を行い、組み合わせ標識後の可視画像を表示する。本発明は、処理された分類細胞画像に、対応する名称情報及び分類色情報に基づいて、細胞の名称情報を標識するとともに、そのような細胞の分類色情報を標識する、という組み合わせた標識を行う;各クラスの細胞が特定の、かつ重複しないカラー標識を有することが達成され、読むのが容易であるだけでなく、名前の衝突を回避し、参照を容易にする。【選択図】図1

Description

本発明は、生物医学工学の技術分野に関し、特に骨髄細胞標識方法及びシステムに関する。
細胞標識(マーカー)とは、多細胞系において、ある特定の細胞の作用や挙動を追跡調査するために、対象とする細胞に標識を加えることをいう。ヒト骨髄細胞は、あらゆる血球や免疫細胞の起源であり、多種多様で、形態が異なり、様々な疾患が骨髄細胞の形態を変化させることがあり、通常、医療専門家が顕微鏡下で骨髄細胞を計数分類することが必要である。人工的な方法は、手間と専門的な医学的知識を必要とする。2Dまたは3D顕微鏡から細胞の画像を直接取得することが一般的になりつつある一方で、画像中の細胞を背景から分離し、互いに分離することによって画像を分析することもできる。
現在、細胞の範囲を細胞の輪郭で標識し、細胞の種類ごとに個々の細胞をまとめて表示し、細胞の種類ごとに細胞の名前のみを表示することが多い。その主な欠点は、典型的な骨髄細胞が、医学的にも臨床的にもその特定の名称を有する非定型骨髄細胞に変化し、同じ大クラスの細胞名称が部分的に重複する場合があり、細胞名称を使用した細胞の標識だけでは判読が困難であることである。また、異なる専門家、病院、地域、国は、ある同種の細胞に対して異なる細胞名を定義し、細胞名だけを使用して細胞を標識することは、理解の衝突を引き起こしやすい。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、処理で得られた分類細胞画像を対応する名称情報および分類色情報に基づいて組み合わせて標識すること、即ち、細胞の細胞名情報とともに、細胞の分類色情報を標識する骨髄細胞の標識方法及び骨髄細胞の標識装置を提供することにある。各クラスの細胞が特定の、かつ重複しないカラー標識を有することが達成され、判読が容易であるだけでなく、名前の衝突を回避し、参照を容易にする。
本発明は、以下のステップを含む骨髄細胞標識方法を提供する:
標本画像を取得し、画像処理アルゴリズムを用いて標本画像に対して細胞輪郭抽出を行い、抽出結果に対して標識枠で標識を行い、輪郭細胞画像を得るステップ;
前記輪郭細胞画像を予め設定された分類モデルに入力し、分類細胞画像及び対応する分類細胞情報を得るステップ;
色情報と名称情報を取得し、予め設定されたクラスに基づいて前記色情報を分類し、分類色情報を得るステップ;
分類細胞情報に基づいて対応する名称情報及び分類色情報を抽出して分類細胞画像に組み合わせ標識を施し、組み合わせ標識後の可視画像を表示するステップ。
一実施形態として、本発明が提供する骨髄細胞標識方法は、以下のステップをさらに含む:
前記輪郭細胞画像を予め設定された分類モデルに入力する前に、分類フロー又は分類器により分類モデルを構築する。
一実施形態として、前記輪郭細胞画像を予め設定された分類モデルに入力して、分類細胞画像と対応する分類細胞情報を得るステップは、以下のステップを含む:
前記輪郭細胞画像を予め設定された分類モデルに入力し、前記輪郭細胞画像に予め設定されたクラスの確率を分配するステップ;
前記輪郭細胞画像に対応する確率及び予め設定された閾値に基づいて前記輪郭細胞画像に分類標識を行うことにより、分類細胞画像を得るステップ;
前記分類細胞画像に対して識別判断を行って、対応する分類細胞情報を得るステップ。
一実施形態として、画像処理アルゴリズムを用いて標本画像に対して細胞輪郭抽出を行うことは、以下のステップを含む:
前記標本画像に対してそれぞれグレースケール、ノイズ除去処理を行い、
最大分散法(判別分析2値化法ともいう)を用いてノイズ除去後のグレースケール画像に対する最適閾値を算出し、ノイズ除去後のグレースケール画像を前記最適閾値で分割して2値化画像に変換し、細胞輪郭抽出を完了する。
一実施形態として、本発明が提供する骨髄細胞標識方法は、以下のステップをさらに含む:
分類色情報が得られた後、前記名称情報と前記分類色情報を記憶し、標識データベースを構築する。
それに対応して、本発明は、輪郭抽出モジュール、分類処理モジュール、色前処理モジュール、及び標識処理モジュールを含む骨髄細胞標識システムをさらに提供する:
前記輪郭抽出モジュールは、標本画像を取得し、画像処理アルゴリズムを用いて標本画像に対して細胞輪郭抽出を行い、抽出結果に対して標識枠で標識を行い、輪郭細胞画像を得る;
前記分類処理モジュールは、前記輪郭細胞画像を予め設定された分類モデルに入力し、分類細胞画像と対応する分類細胞情報を得る;
前記色前処理モジュールは、色情報と名称情報を取得し、予め設定されたクラスに基づいて前記色情報を分類し、分類色情報を得る;
前記標識処理モジュールは、分類細胞情報に基づいて、対応する名称情報及び分類色情報を抽出して分類細胞画像に組み合わせ標識を施し、組み合わせ標識後の可視画像を表示する。
一実施態様として、本発明が提供する骨髄細胞標識システムは、モデル構築モジュールをさらに含む:
前記モデル構築モジュールは、前記輪郭細胞画像を予め設定された分類モデルに入力する前に、分類フロー又は分類器により分類モデルを構築する。
一実施形態として、上記分類処理モジュールは、分配ユニットと、分配標識ユニットと、識別判断ユニットと、を備え、
前記分配ユニットは、前記輪郭細胞画像を予め設定された分類モデルに入力し、前記輪郭細胞画像に対して予め設定されたクラスの確率を分配するように構成され、
前記分配標識ユニットは、前記輪郭細胞画像に対応する確率と予め設定された閾値とに基づいて前記輪郭細胞画像に分類標識を行うことにより、分類細胞画像を得るように構成され、
前記識別判断ユニットは、前記分類細胞画像に対して識別判断を行い、対応する分類細胞情報を得るように構成される。
一実施形態として、輪郭抽出モジュールは、処理ユニットと、計算変換ユニットとを備える;
前記処理ユニットは、前記標本画像に対してグレースケール、ノイズ除去処理をそれぞれ施す;
前記計算変換ユニットは、最大分散法を用いてノイズ除去後のグレースケール画像に対する最適閾値を算出し、該最適閾値でノイズ除去後のグレースケール画像を分割して2値化画像に変換し、細胞輪郭抽出を完了する。
一実施形態として、本発明が提供する骨髄細胞標識システムは、記憶モジュールを含む;
前記記憶ユニットは、分類色情報を取得した後に、前記名称情報と前記分類色情報とを記憶し、標識データベースを構築する。
従来技術と比較して、本技術の解決策は、以下の利点を有する。
本発明は、骨髄細胞標識方法及びシステムを提供する。その方法は、画像処理アルゴリズムにより標本画像に処理標識を施して輪郭細胞画像を取得してから、輪郭細胞画像を予め設定した分類モデルに入力して分類細胞画像と対応する分類細胞情報とを取得し、取得した色情報を予め設定した分類クラスに基づいて分類して分類色情報を取得し、最後に分類細胞情報に基づいて対応する名称情報及び分類色情報を抽出して分類細胞画像に組み合わせ標識を行い、組み合わせ標識後の可視画像を表示する。本発明は、処理された分類細胞の画像に、対応する名称情報及び分類色情報に基づいて、細胞の名称情報を標識するとともに、そのような細胞の分類色情報を標識する、という組み合わせた標識を行う。各クラスの細胞が特定の、かつ重複しないカラー標識を有することが達成され、判読が容易であるだけでなく、名前の衝突を回避し、参照を容易にする。
本発明の実施例1に係る骨髄細胞標識方法のフローチャートである。 本発明の実施例3に係る骨髄細胞標識システムの構成を示す模式図である。 図2における分類処理モジュールの構成を示す模式図である。 実施例における骨髄細胞600を標識するための構成のブロック図である。 実施例において生成されたサンプル画像から抽出された細胞の輪郭図である。 実施例において生成された骨髄細胞標識付きの分類細胞の画像を示す図である。 実施例において生成される標識サンプル画像の概略図である。 図5〜図7は、レビュー参考図である。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1を参照すると、本発明の実施例1に係る骨髄細胞標識方法は、以下のステップを含む。
S100:標本(サンプル)画像を取得し、画像処理アルゴリズムを用いて標本画像に対して細胞の輪郭抽出を行い、抽出結果に対して標識枠で標識を行い、輪郭細胞画像を得る。
S200:輪郭細胞画像を予め設定された分類モデルに入力し、分類細胞画像及び対応する分類細胞情報を得る。
S300:色情報と名称情報を取得し、予め設定されたカテゴリー(クラス)に基づいて色情報を分類し、分類色情報を得る。
S400:分類細胞情報に基づいて、対応する名称情報及び分類色情報を抽出して分類細胞画像に組み合わせ標識を施し、組み合わせ標識後の可視画像を表示する。
なお、標識枠の形状は、抽出された細胞の輪郭の形状に合致するものであってもよいし、矩形、円形、三角形等の他の規則的なパターン、或いは、不規則なパターン等の他の形状の標識枠を用いて標識をしてもよい。本実施例では、矩形の標識枠でマーキングすることが好ましい。矩形の標識枠は細胞の全体輪郭に最も近く、処理負担を低減する。
なお、分類モデルは、予め設定された分類モデルに輪郭細胞画像を入力する前に予め作成しておいたものである。分類モデルは、分類フローまたは分類器によって分類モデルを構築することができる。ここで、分類器によって構築される分類モデルは、ニューラルネットワーク、サポートベクタベース、ベイジアンネットワーク、および決定木の1つまたは複数によって構築されてもよい。本実施例では、これに限定されるものではない。
予め設定されたクラスは、骨髄細胞のクラスであり、各大クラス、大クラス中の子クラス、子クラス中のサブ子クラスなどを含む。分類色情報は、これら各クラスを異なる色で色分けマッチングした情報である。大クラス、子クラス、サブ子クラス、サブサブ子クラスなどのそれぞれに異なる色で区別する。細胞が属するクラスを異なる色系で統一して表現することもできる;例えば、大クラスを赤色系で、子クラスを青色系で表すなどのことによって、識別が容易になる。
他の実施形態において、用いられる色系は限定されない。例えば、大クラスに属する顆粒球系は、対応する色が#159845のRGB値と定義される;また、大クラスに属する赤血球系は、対応する色が#e30b20のRGB値と定義される;原始顆粒球(ブラスト顆粒球)は顆粒球系の子クラスに属するので、その対応する色は、#159845および#07f363というRGB値と定義される;原始赤血球は、赤血球系の子クラスに属するので、その対応する色は、#e30b20及び#159848のRGB値と定義される。大クラスは1つの色パッチを有し、子クラスは2つの色パッチを有し、子クラスのサブクラスは3つの色パッチを有し、左から右に並ぶように、大クラスの色パッチ、子クラスの色パッチ、子クラスのサブクラスの色パッチが順に表示される。
また、分類細胞情報は、骨髄細胞の種類毎に対応する名称情報を有する。細胞のクラスごとに固有の名称情報を有し、分類細胞画像は、その細胞が属するクラスの状態であり、その細胞のクラス従属関係が大クラスから小クラスに判定分析される。例えば、ある細胞について、最初にどの大クラスに属するかを判定し、次にどの子クラスに属するかを判定し、最後に子クラスのどのサブクラスに属するかを判定することにより、その細胞の最終的な分類結果が、どの大クラスのどの子クラスに属する細胞であるか、または、どの大クラスのどの子クラスのどのサブクラスに属する細胞であるかが得られる。最終的には、分類細胞情報と名称情報との照合マッチングを行い、分類細胞画像と分類色情報との照合判定を行うことによって対応する分類色情報を抽出し、好適な矩形の標識枠を提示することに加えて、対応する細胞の名称情報及び分類色情報を同時に提示する、組み合わせ標識を実現する。
本発明により提供される骨髄細胞標識方法は、画像処理アルゴリズムにより標本画像を処理標識して輪郭細胞画像を得てから、輪郭細胞画像を予め設定された分類モデルに入力して、分類細胞画像と対応する分類細胞情報とを得、予め設定されたカテゴリーに基づいて取得する色情報を分類することにより、分類色情報を取得し、最後に、分類細胞情報に基づいて対応する名称情報及び分類色情報を抽出して分類細胞画像に組み合わせ標識を施し、組み合わせ標識後の可視画像を表示する。本発明は、処理された分類細胞画像に、対応する名称情報及び分類色情報に基づいて、細胞の名称情報を標識するとともに、そのような細胞の分類色情報を標識する、という組み合わせた標識を行う;各クラスの細胞が特定の、かつ重複しないカラー標識を有することが達成され、読むのが容易であるだけでなく、名前の衝突を回避し、参照を容易にする。
さらに、画像処理アルゴリズムを用いて標本画像に対して細胞輪郭抽出を行うことは、以下のステップを含む。
S110:標本画像に対してグレースケール(階調)、ノイズ除去処理をそれぞれ行う。
S120:最大分散法を用いてノイズ除去後のグレースケール画像に対する最適閾値を算出し、ノイズ除去後のグレースケール画像を最適閾値で分割して2値化画像に変換し、細胞輪郭抽出を完了する。
まず、取得した標本画像をグレースケール画像に変換し、次いで、3*3メディアンフィルタを行ってノイズを除去し、その後、クラス間最大分散法(OTUS)を用いて最適閾値を算出し、算出した最適閾値に従って、ノイズ除去後のグレースケール画像を分割し、2値化画像に変換する。変換結果について、さらに完全性判定を行ってもよい。細胞輪郭抽出が完了していない場合には、全ての細胞輪郭抽出が完了するまで上記ステップを繰り返す。細胞輪郭抽出の完全性が保証され、最終的な組み合わせ標識の精度が向上する。
さらに、ステップS200は、具体的には以下のステップを含む。
S210:輪郭細胞画像を予め設定された分類モデルに入力し、輪郭細胞画像に予め設定されたクラスの確率を分配する。
S220:輪郭細胞画像に対応する確率及び予め設定された閾値に基づいて輪郭細胞画像を分類標識して分類細胞画像を得る。
S230:分類細胞画像に対して識別判断を行うことにより、対応する分類細胞情報を得る。
予め設定されたクラスは、骨髄細胞のクラスであり、各大クラス、大クラス中の子クラス、子クラス中のサブ子クラスなどを含む。予め設定されたクラスの確率は、輪郭細胞画像を予め設定されたクラス毎の標準的な輪郭と照合した後に、算出された、予め設定されたクラス毎に対応する確率である。さらに、算出された最大確率を輪郭細胞画像に分配する。分配後の輪郭細胞画像に対応する確率と予め設定された閾値とを分析して最も近いクラスを抽出して分類標識を付与し、分類細胞画像を得る。最後に、分類細胞画像の識別判断を行い、対応する分類細胞情報を取得する。ここでの識別判断は、コンピュータ画像認識アルゴリズムを用いて行うことができる。確率計算照合により、運転速度を高め、標本画像中の個々の輪郭細胞画像の認識正確性を保障する。
さらに、本発明の実施例2に係る骨髄細胞標識化方法は、以下のステップをさらに含む。
分類色情報が得られた後、名称情報と分類色情報を記憶し、標識データベースを構築する。
標識データベースが構築されると、その後、名称情報および分類色情報の利用が必要になるとき両方を標識データベースから抽出し、使用情報を自動的に生成する。使用情報には、時間パラメータ、使用回数、標識の位置情報などが含まれるが、これらに限定されない。例えば、分類細胞情報に基づいて標識データベースにおいて対応する名称情報及び分類色情報を抽出して、分類細胞画像に対して組み合わせ標識を行い、組み合わせ標識後の可視画像を表示する。最終的に組み合わせ標識が完了したら、その標本画像に対応するテキストを自動的に生成し、テキストに上記使用情報が保存されている。使用情報を分析することにより、標本画像における細胞の種類毎の概略状態を把握することができる。データのトレースバックも可能となり、研究作業の進行に寄与する。
同じ発明概念に基づいて、本発明の実施例は、上記方法の手順を参照して実施可能な骨髄細胞標識システムをさらに提供する。重複するところを説明しない。
図2は、本発明の実施例3に係る骨髄細胞標識システムの構成を示す模式図であり、輪郭抽出モジュール100、分類処理モジュール200、色前処理モジュール300、標識処理モジュール400を備える。
輪郭抽出モジュール100は、標本画像を取得し、画像処理アルゴリズムを用いて標本画像に対して細胞輪郭抽出を行い、抽出結果に対して標識枠で標識を行って輪郭細胞画像を得るために用いられる。
分類処理モジュール200は、輪郭細胞画像を予め設定された分類モデルに入力し、分類細胞画像及び対応する分類細胞情報を得るために用いられる。
色前処理モジュール300は、色情報と名称情報を取得し、予め設定されたクラスに基づいて色情報を分類し、分類色情報を得るために用いられる。
標識処理モジュール400は、分類細胞情報に基づいて、対応する名称情報及び分類色情報を抽出して分類細胞画像に対する組み合わせ標識を行い、組み合わせ標識後の可視画像を表示する。
本発明は、処理された分類細胞画像に、対応する名称情報及び分類色情報に基づいて、細胞の名称情報を標識するとともに、そのような細胞の分類色情報をも標識する、という組み合わせた標識を行う。各クラスの細胞が特定の、かつ重複しないカラー標識を有することが達成され、読むのが容易であるだけでなく、名前の衝突を回避し、参照を容易にする。
さらに、本発明の実施例4に係る骨髄細胞標識システムは、モデル構築モジュール500をさらに含む。
モデル構築モジュール500は、予め設定された分類モデルに輪郭細胞画像を入力する前に、分類フロー又は分類器によって分類モデルを構築するように構成される。
さらに、輪郭抽出モジュール100は、処理ユニット110と、計算変換ユニット120とを備える。
処理ユニット110は、標本画像に対してグレースケール、ノイズ除去処理をそれぞれ行う。
計算変換ユニット120は、最大分散法を用いて、ノイズ除去後のグレースケール画像の最適な閾値を算出し、最適な閾値でノイズ除去後のグレースケール画像を分割して2値化画像に変換し、細胞輪郭抽出を完了する。
さらに、本発明の実施例5に係る骨髄細胞標識システムは、記憶モジュール600をさらに含む。
記憶モジュール600は、分類色情報を取得した後、名称情報と分類色情報とを記憶し、標識データベースを構築するために用いられる。
図3は、分類処理モジュール200の構成を示す模式図である;分配ユニット210、分配標識ユニット220、および、識別判断ユニット230を備える。
分配ユニット210は、予め設定された分類モデルに輪郭細胞画像を入力し、輪郭細胞画像に予め設定されたクラスの確率を分配するように構成される。
分配標識ユニット220は、輪郭細胞画像に対応する確率と予め設定された閾値とに基づいて、輪郭細胞画像に対して分類標識を行うことにより、分類細胞画像を得るように構成される。
識別判断ユニット230は、分類細胞画像を識別判断して、対応する分類細胞情報を得るためのものである。
図4に示すように、プロセッサ602は、記憶モジュール600の動作、例えば、骨髄細胞の標識及び標識の表示に関連する動作を制御する。この実施形態では、プロセッサ602は、マルチメディアコンポーネント608とプロセッサ602との間の相互作用を容易にするマルチメディアモジュールを含む。
メモリ604は、記憶モジュール600をサポートするための様々な種類のデータを記憶する。記憶モジュール600によって実現できる任意の応用または方法に関する命令、細胞画像、標識データベースなどを含む。メモリ604は、任意のタイプの揮発性又は不揮発性記憶装置又はこれらの組み合わせにより実現することができ、例えば、スタティックランダムアクセスメモリ(SRAM)、電気的消去可能なプログラマブル読み出し専用メモリ(EEPROM)、消去可能なプログラマブル読み出し専用メモリ(EPROM)、プログラマブル読み出し専用メモリ(PROM)、読み出し専用メモリ(ROM)、磁気メモリ、フラッシュメモリ、磁気ディスク又は光ディスクである。
電力コンポーネント606は、記憶モジュール600の様々なコンポーネントへ電力を提供する。電力コンポーネント606は、電力管理システム、1つ又は複数の電源、及び記憶モジュール600内の電力生成、管理および分配に関連する任意の他のコンポーネントを含む。
マルチメディアコンポーネント608は、記憶モジュール600と記憶モジュール600のユーザとの間の出力インターフェースを提供するスクリーンを含む。スクリーンは、液晶ディスプレイ及び押圧パネルを含み得る。入力/出力(I/O)インターフェース610は、プロセッサ602及び周辺インターフェースモジュールのためにインターフェース、例えば、キーボード、クリックホイール、ボタン等を提供する。
実施例において、記憶モジュール600は、開示された方法を実行するために、1つ以上の特定用途向け集積回路(ASICs)、デジタル信号プロセッサ(DSPs)、デジタル信号処理装置(DSPDs)、プログラマブル論理装置(PLDs)、フィールドプログラマブルゲートアレイ(FPGAs)、コントローラ、マイクロコントローラ、マイクロプロセッサ、又は他の電子コンポーネントを用いて実装されてもよい。本発明は、メモリ604に含まれる命令などの命令を含む非一時的コンピュータ可読記憶媒体も提供する。これらの指示は、記憶モジュール600のプロセッサ602によって実行され、開示された骨髄細胞標識方法を実行することができる。例えば、非一時的コンピュータ可読記憶媒体は、ROM、RAM、CD−ROM、磁気テープ、フロッピーディスク、光学データ記憶装置などであり得る。
図6に示すように、分類された細胞画像は、その対応する分類色情報及び名称情報によって共通に標識される。分類された色情報は、2つの色パッチとして表示され、それぞれ、分類されたセル画像におけるセルが属するメインクラス及び子クラスを表している。
図7に示すように、サンプル画像において抽出された細胞の輪郭は、標識枠と、その分類色情報と、その名称情報とによって共通に標識される。
本発明は、好ましい実施形態で以上に開示されているが、本発明を限定するものではなく、当業者であれば、本発明の精神と範囲から逸脱することなく、上記に開示された方法と技術内容を利用して本発明の技術的思想に対する変更及び修正を行うことができるので、本発明の技術的思想から逸脱することなく、以上の実施形態に対して本発明の技術的思想に基づいてなされたあらゆる簡単な修正、均等な変更及び修正を本発明の技術的範囲に含まれるものとする。
100 輪郭抽出モジュール
110 処理ユニット
120 計算変換ユニット
200 分類処理モジュール
210 分配ユニット
220 標識分配ユニット
230 識別判断ユニット
300 色前処理モジュール
400 標識処理モジュール
500 モデル構築モジュール
600 記憶モジュール
602 処理コンポーネント
604 メモリ
606 パワーモジュール
608 マルチメディアコンポーネント
610 入力/出力(I/O)インターフェース

Claims (10)

  1. 標本画像を取得し、画像処理アルゴリズムを用いて標本画像に対して細胞輪郭抽出を行い、抽出結果に対して標識枠で標識を行い、輪郭細胞画像を得るステップと、
    前記輪郭細胞画像を予め設定された分類モデルに入力し、分類細胞画像及び対応する分類細胞情報を得るステップと、
    色情報と名称情報を取得し、予め設定されたクラスに基づいて前記色情報を分類し、分類色情報を得るステップと、
    分類細胞情報に基づいて対応する名称情報及び分類色情報を抽出して分類細胞画像に組み合わせ標識を施し、組み合わせ標識後の可視画像を表示するステップと、を含むことを特徴とする骨髄細胞標識方法。
  2. 前記輪郭細胞画像を予め設定された分類モデルに入力する前に、分類フロー又は分類器により分類モデルを構築するステップをさらに含むことを特徴とする請求項1に記載の骨髄細胞標識方法。
  3. 前記輪郭細胞画像を予め設定された分類モデルに入力し、分類細胞画像および対応する分類細胞情報を得るステップは、
    前記輪郭細胞画像を予め設定された分類モデルに入力し、前記輪郭細胞画像に予め設定されたクラスの確率を分配するステップと、
    前記輪郭細胞画像に対応する確率及び予め設定された閾値に基づいて前記輪郭細胞画像に分類標識を行うことにより、分類細胞画像を得るステップと、
    前記分類細胞画像に対して識別判断を行い、対応する分類細胞情報を得るステップと、を含むことを特徴とする請求項1又は2に記載の骨髄細胞標識方法。
  4. 前記画像処理アルゴリズムを用いて標本画像に対して細胞輪郭抽出を行うことは、
    前記標本画像に対してそれぞれグレースケール、ノイズ除去処理を行うステップと、
    最大分散法を用いてノイズ除去後のグレースケール画像に対する最適閾値を算出し、ノイズ除去後のグレースケール画像を前記最適閾値で分割して2値化画像に変換し、細胞輪郭抽出を完了するステップと、を含むことを特徴とする請求項1に記載の骨髄細胞標識方法。
  5. 分類色情報が得られた後、前記名称情報と前記分類色情報を記憶し、標識データベースを構築するステップをさらに含むことを特徴とする請求項1に記載の骨髄細胞標識化方法。
  6. 輪郭抽出モジュール、分類処理モジュール、色前処理モジュールおよび標識処理モジュールを備える骨髄細胞標識システムであって、
    前記輪郭抽出モジュールは、標本画像を取得し、画像処理アルゴリズムを用いて標本画像に対して細胞輪郭抽出を行い、抽出結果に対して標識枠で標識を行い、輪郭細胞画像を得るように構成され、
    前記分類処理モジュールは、前記輪郭細胞画像を予め設定された分類モデルに入力し、分類細胞画像および対応する分類細胞情報を得るように構成され、
    前記色前処理モジュールは、色情報と名称情報を取得し、予め設定されたクラスに基づいて前記色情報を分類し、分類色情報を得るように構成され、
    前記標識処理モジュールは、分類細胞情報に基づいて、対応する名称情報及び分類色情報を抽出して分類細胞画像に組み合わせ標識を施し、組み合わせ標識後の可視画像を表示するように構成されることを特徴とする骨髄細胞標識システム。
  7. 前記輪郭細胞画像を予め設定された分類モデルに入力する前に、分類フロー又は分類器により分類モデルを構築するためのモデル構築モジュールをさらに含むことを特徴とする請求項6に記載の骨髄細胞標識システム。
  8. 前記分類処理モジュールは、分配ユニットと、分配標識ユニットと、識別判断ユニットと、を備え、
    前記分配ユニットは、前記輪郭細胞画像を予め設定された分類モデルに入力し、前記輪郭細胞画像に対して予め設定されたクラスの確率を分配するように構成され、
    前記分配標識ユニットは、前記輪郭細胞画像に対応する確率と予め設定された閾値とに基づいて前記輪郭細胞画像に分類標識を行うことにより、分類細胞画像を得るように構成され、
    前記識別判断ユニットは、前記分類細胞画像に対して識別判断を行い、対応する分類細胞情報を得るように構成されることを特徴とする請求項6又は7に記載の骨髄細胞標識システム。
  9. 前記輪郭抽出モジュールは、処理ユニットと計算変換ユニットとを含み、
    前記処理ユニットは、前記標本画像に対してそれぞれグレースケール、ノイズ除去処理を行うように構成され、
    前記計算変換ユニットは、最大分散法を用いてノイズ除去後のグレースケール画像に対する最適閾値を算出し、ノイズ除去後のグレースケール画像を前記最適閾値で分割して2値化画像に変換し、細胞輪郭抽出を完了するように構成されることを特徴とする請求項6に記載の骨髄細胞標識システム。
  10. 記憶モジュールをさらに備え、
    前記記憶モジュールは、分類色情報を取得した後、前記名称情報と前記分類色情報とを記憶し、標識データベースを構築するように構成されることを特徴とする請求項6に記載の骨髄細胞標識システム。
JP2020519364A 2017-10-10 2018-10-10 骨髄細胞標識方法及びシステム Active JP6777354B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710935207.1 2017-10-10
CN201710935207.1A CN107729932B (zh) 2017-10-10 2017-10-10 骨髓细胞标记方法和系统
PCT/CN2018/109544 WO2019072181A1 (zh) 2017-10-10 2018-10-10 骨髓细胞标记方法和系统

Publications (2)

Publication Number Publication Date
JP6777354B1 JP6777354B1 (ja) 2020-10-28
JP2020537781A true JP2020537781A (ja) 2020-12-24

Family

ID=61210034

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020519364A Active JP6777354B1 (ja) 2017-10-10 2018-10-10 骨髄細胞標識方法及びシステム

Country Status (10)

Country Link
US (1) US20200242759A1 (ja)
EP (1) EP3696728A4 (ja)
JP (1) JP6777354B1 (ja)
KR (1) KR102380493B1 (ja)
CN (1) CN107729932B (ja)
AU (2) AU2018102232A4 (ja)
IL (1) IL273483A (ja)
RU (1) RU2739974C1 (ja)
TW (1) TWI715877B (ja)
WO (1) WO2019072181A1 (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107729932B (zh) * 2017-10-10 2019-07-26 杭州智微信息科技有限公司 骨髓细胞标记方法和系统
CN109360198A (zh) * 2018-10-08 2019-02-19 北京羽医甘蓝信息技术有限公司 基于深度学习的骨髓细胞分类方法及分类装置
CN113039551B (zh) * 2018-11-19 2024-01-23 深圳迈瑞生物医疗电子股份有限公司 分析细胞的方法、细胞分析设备与计算机可读存储介质
CN109545375A (zh) * 2018-12-13 2019-03-29 张民庆 一种用于临检细胞骨髓专业的多功能试验平台
CN109633143B (zh) * 2018-12-28 2022-05-17 广东省心血管病研究所 一种测定造血干细胞移植后患者骨髓微循环环境检测的系统和方法
CN109754398A (zh) * 2019-01-14 2019-05-14 武汉兰丁医学高科技有限公司 一种基于计算机的骨髓白细胞自动标记方法及系统
CN109893732B (zh) * 2019-02-28 2021-04-06 杭州智瑞思科技有限公司 一种基于循环神经网络的机械通气人机不同步检测方法
CN109977888A (zh) * 2019-03-29 2019-07-05 上海健康医学院 一种外周血中红细胞识别标记系统和方法
CN110135271A (zh) * 2019-04-19 2019-08-16 上海依智医疗技术有限公司 一种细胞分类方法及装置
CN110378920B (zh) * 2019-07-17 2022-10-14 福建师范大学 一种基于视觉模型的图像轮廓提取方法
CN116097391A (zh) * 2020-08-07 2023-05-09 纳米电子成像有限公司 用于在低信噪比成像条件下去噪的深度学习模型
CN113096096B (zh) * 2021-04-13 2023-04-18 中山市华南理工大学现代产业技术研究院 一种融合形态特征的显微图像骨髓细胞计数方法与系统
CN113409923B (zh) * 2021-05-25 2022-03-04 济南大学 骨髓图像个体细胞自动标记中的纠错方法及系统
TWI793865B (zh) 2021-11-18 2023-02-21 倍利科技股份有限公司 Ai自動輔助標記之系統及方法
CN114187480A (zh) * 2022-01-05 2022-03-15 北京瀚远医药科技有限公司 一种基于深度学习的骨髓象细胞影像图检测分类方法及其系统
CN114419041B (zh) * 2022-03-29 2022-06-21 武汉大学 病灶颜色的识别方法及装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406498B2 (en) * 1999-01-25 2013-03-26 Amnis Corporation Blood and cell analysis using an imaging flow cytometer
US7236623B2 (en) * 2000-04-24 2007-06-26 International Remote Imaging Systems, Inc. Analyte recognition for urinalysis diagnostic system
US7993908B2 (en) * 2001-07-17 2011-08-09 Parsortix, Inc. Microstructure for particle and cell separation, identification, sorting, and manipulation
US7371736B2 (en) * 2001-11-07 2008-05-13 The Board Of Trustees Of The University Of Arkansas Gene expression profiling based identification of DKK1 as a potential therapeutic targets for controlling bone loss
US7298902B2 (en) * 2004-01-20 2007-11-20 Educational Testing Service Method and system for performing image mark recognition
US8077958B2 (en) * 2006-06-30 2011-12-13 University Of South Florida Computer-aided pathological diagnosis system
US8071395B2 (en) * 2007-12-12 2011-12-06 The Board Of Trustees Of The Leland Stanford Junior University Methods and apparatus for magnetic separation of cells
EP2335221B8 (en) * 2008-09-16 2016-05-25 Novartis AG Reproducible quantification of biomarker expression
US8369585B2 (en) * 2008-10-17 2013-02-05 Siemens Aktiengesellschaft Automatic classification of information in images
WO2011016189A1 (ja) * 2009-08-07 2011-02-10 株式会社ニコン 細胞の分類手法、この手法を用いた画像処理プログラム及び画像処理装置、並びに細胞塊の製造方法
JP5490568B2 (ja) * 2010-02-26 2014-05-14 オリンパス株式会社 顕微鏡システム、標本観察方法およびプログラム
US20150293026A1 (en) * 2010-10-15 2015-10-15 Dong-Guk Shin Automated system for tissue histomorphometry
DE102011004805A1 (de) * 2011-02-28 2012-08-30 Siemens Aktiengesellschaft Miniaturisierte magnetische Durchflusszytometrie
CN102298700A (zh) * 2011-06-09 2011-12-28 华东师范大学 一种骨髓病理图像中细胞识别与定位方法
EP2737454B1 (en) * 2011-07-28 2019-01-23 Medetect AB Method for providing images of a tissue section
US20130094750A1 (en) * 2011-10-12 2013-04-18 Tolga Tasdizen Methods and systems for segmentation of cells for an automated differential counting system
SG11201407768QA (en) * 2012-04-24 2015-01-29 Brigham & Womens Hospital Generating pluripotent cells de novo
CN103473739B (zh) * 2013-08-15 2016-06-22 华中科技大学 一种基于支持向量机的白细胞图像精确分割方法与系统
CN105849274B (zh) * 2013-10-28 2020-01-21 分子装置有限公司 用于显微图像中的单独细胞的分类和识别的方法和系统
CN104331712B (zh) * 2014-11-24 2017-08-25 齐齐哈尔格林环保科技开发有限公司 一种藻类细胞图像自动分类方法
CN105205804B (zh) * 2015-08-18 2018-10-30 爱威科技股份有限公司 血细胞图像中白细胞的核浆分离方法、分类方法及装置
CN106022303B (zh) * 2016-06-06 2019-07-19 南昌航空大学 基于无透镜全息成像的淡水藻类粗分类与计数方法
CN106780522B (zh) * 2016-12-23 2019-08-30 杭州华卓信息科技有限公司 一种基于深度学习的骨髓液细胞分割方法
CN107729932B (zh) * 2017-10-10 2019-07-26 杭州智微信息科技有限公司 骨髓细胞标记方法和系统

Also Published As

Publication number Publication date
AU2018349026A2 (en) 2022-01-06
KR102380493B1 (ko) 2022-03-29
EP3696728A4 (en) 2021-07-14
EP3696728A1 (en) 2020-08-19
IL273483A (en) 2020-05-31
TWI715877B (zh) 2021-01-11
TW201915832A (zh) 2019-04-16
CN107729932B (zh) 2019-07-26
KR20200052932A (ko) 2020-05-15
JP6777354B1 (ja) 2020-10-28
AU2018349026A1 (en) 2020-04-09
AU2018102232A4 (en) 2022-02-10
US20200242759A1 (en) 2020-07-30
RU2739974C1 (ru) 2020-12-30
CN107729932A (zh) 2018-02-23
WO2019072181A1 (zh) 2019-04-18

Similar Documents

Publication Publication Date Title
JP6777354B1 (ja) 骨髄細胞標識方法及びシステム
Tizhoosh et al. Artificial intelligence and digital pathology: challenges and opportunities
CN108831559B (zh) 一种中文电子病历文本分析方法与系统
Xiao et al. APP2: automatic tracing of 3D neuron morphology based on hierarchical pruning of a gray-weighted image distance-tree
Tomari et al. Computer aided system for red blood cell classification in blood smear image
Peng et al. Automatic 3D neuron tracing using all-path pruning
CN110705403A (zh) 细胞分类方法、装置、介质及电子设备
Faure et al. scFates: a scalable python package for advanced pseudotime and bifurcation analysis from single-cell data
Mungle et al. Automated characterization and counting of Ki-67 protein for breast cancer prognosis: A quantitative immunohistochemistry approach
He et al. CycleGAN with an improved loss function for cell detection using partly labeled images
CN113723513A (zh) 多标签图像分类方法、装置及相关设备
Navlakha et al. A high-throughput framework to detect synapses in electron microscopy images
Jahani et al. Centromere and length detection in artificially straightened highly curved human chromosomes
CN112634889A (zh) 基于人工智能的电子病例录入方法、装置、终端及介质
CN105354405A (zh) 基于机器学习的免疫组化图像自动化判读系统
CN104268562A (zh) 一种有效多尺度纹理识别方法
Jahani et al. Automatic identification of overlapping/touching chromosomes in microscopic images using morphological operators
CN115661141A (zh) 基于cbct图像牙齿和牙槽骨分割方法及系统
CN111161881A (zh) 一种疾病共现关系的识别方法、装置及存储介质
Kavitha et al. Enhanced clustering technique for segmentation on dermoscopic images
CN109994171B (zh) 一种用于临床路径对比的流形可视化方法及系统
Gräbel et al. State of the art cell detection in bone marrow whole slide images
Brent et al. Contemporary advances in computer-assisted bone histomorphometry and identification of bone cells in culture
US10900950B2 (en) Apparatus and analytical evaluation methods using morphological feature parameters of a cell or cell population
Gamarra et al. A service-oriented architecture for bioinformatics: An application in cell image analysis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200331

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200331

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20200331

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201001

R150 Certificate of patent or registration of utility model

Ref document number: 6777354

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250