JP2015065812A - 培養品質評価方法 - Google Patents

培養品質評価方法 Download PDF

Info

Publication number
JP2015065812A
JP2015065812A JP2013199865A JP2013199865A JP2015065812A JP 2015065812 A JP2015065812 A JP 2015065812A JP 2013199865 A JP2013199865 A JP 2013199865A JP 2013199865 A JP2013199865 A JP 2013199865A JP 2015065812 A JP2015065812 A JP 2015065812A
Authority
JP
Japan
Prior art keywords
image
standard deviation
small
sample
culture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013199865A
Other languages
English (en)
Other versions
JP5876453B2 (ja
Inventor
藤本 博己
Hiromi Fujimoto
博己 藤本
森脇 三造
Sanzo Moriwaki
三造 森脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Screen Holdings Co Ltd
Original Assignee
Screen Holdings Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Screen Holdings Co Ltd filed Critical Screen Holdings Co Ltd
Priority to JP2013199865A priority Critical patent/JP5876453B2/ja
Priority to US14/275,949 priority patent/US9600874B2/en
Publication of JP2015065812A publication Critical patent/JP2015065812A/ja
Application granted granted Critical
Publication of JP5876453B2 publication Critical patent/JP5876453B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693Acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Abstract

【課題】培養品質の良否を簡単に、かつ定量的に判定して、ばらつきのない培養品質評価を行うことのできる技術を提供する。
【解決手段】多能性幹細胞を所定の培養条件で培養して試料を作成する第1工程(ステップS101〜S104)と、試料の増殖した細胞群を撮像し原画像を取得する第2工程(ステップS105)と、原画像を所定サイズの小画像に分割し、当該小画像に含まれる画素の画素値の標準偏差を各小画像ごとに求める第3工程(ステップS106、S107)と、標準偏差の値が所定範囲内にある小画像の数の、小画像の総数に対する比の値が所定の閾値以下であるとき試料を合格品と判定する一方、閾値を超えていれば試料を不合格品と判定する第4工程(ステップS107、S108)とを備える培養品質評価方法である。
【選択図】図2

Description

この発明は、多能性幹細胞の培養品質を評価する方法に関するものである。
例えば再生医療や創薬などの医療・生物科学の分野において、種々の組織に分化し得る多能性幹細胞が注目されている。多能性幹細胞を研究や治療に用いるに際しては、その多能性を失うことなく細胞数を増加させる必要があり、そのための培養は維持培養と呼ばれる。ところが、維持培養を継続するうちに何らかのきっかけで多能性幹細胞が特定の組織に特化した細胞に分化し、多能性が失われることがある。このため、多能性を維持したまま安定的に培養を行うことができる培養条件が模索されている。
培養された多能性幹細胞の状態を評価する方法としては、例えば特許文献1に記載の細胞評価技術が提案されている。この技術においては、培養された多能性幹細胞を撮像した画像における細胞コロニーの形態的特徴量に基づき、多能性幹細胞の分化状態が評価される。
特開2011−229409号公報
上記従来技術では、複数の細胞が共培養されている状況下で、判断対象となるコロニーとその周囲にある細胞との間での特徴量の対応関係に基づいて細胞の評価が行われる。具体的には、試料を撮像した画像を解析して細胞がコロニー化した部分を抽出し、コロニー部分およびその周囲部分それぞれの画像特徴量を算出して細胞コロニーの状態を評価する。
一方、培養条件の良否を判定するという目的においては、個々のコロニーの詳細な情報よりも、試料全体としての培養状況を概括的に把握することが必要である。その場合、画像内の各部の特徴を抽出して相互に比較する相対的な評価よりも、画像から把握できる特徴からより直接的に評価を行うことができるのが望ましい。しかしながら、現在までそのような評価方法は確立されておらず、作業者の目視による主観的な評価に委ねられており、判定にばらつきが出ることが避けられない。このため、培養により得られた試料の品質を簡単に、かつ定量的に評価することのできる技術の確立が求められる。
この発明は上記課題に鑑みなされたものであり、培養品質の良否を簡単に、かつ定量的に判定して、ばらつきのない培養品質評価を行うことのできる技術を提供することを目的とする。
この発明の一の態様は、多能性幹細胞を所定の培養条件で培養して試料を作成する第1工程と、前記試料の増殖した細胞群を撮像し原画像を取得する第2工程と、前記原画像を、所定サイズの小画像に分割し、当該小画像に含まれる画素の画素値の標準偏差を各小画像ごとに求める第3工程と、前記標準偏差の値が所定範囲内にある前記小画像の数の、前記小画像の総数に対する比の値が所定の閾値以下であるとき前記試料を合格品と判定する一方、前記閾値を超えていれば前記試料を不合格品と判定する第4工程とを備える培養品質評価方法である。
多能性幹細胞の維持培養の品質を評価するに際しては、培養の過程において分化細胞の発生をどの程度抑えられるかが1つの指標となる。詳しくは後述するが、本願発明者らは、多能性幹細胞のみからなる細胞群と分化細胞を含む細胞群との間で、これらを撮像した画像における画素値の分布態様が異なり、このことを利用して分化細胞がある程度以上含まれる画像の識別が可能であることを見出した。すなわち、多能性幹細胞のみからなる細胞群を撮像した画像では、画像内のテクスチャが比較的均質であり画素値のばらつきも小さい一方、分化細胞を含む細胞群を撮像した画像ではより多様なテクスチャが含まれ画素値のばらつきが大きいというように、細胞種別ごとに画素値のばらつきの程度が異なる。したがって、画像に含まれる画素の画素値の標準偏差の値を用いて試料の評価を行うことが可能である。
なお、維持培養を目的とする培養条件での培養であれば、試料の画像中に占める分化細胞の面積は限定的である。したがって、試料の画像全体で画素値の標準偏差を求めても分化細胞の発生を検知することは難しい。そこで、この発明では、原画像を小画像に分割して小画像ごとに画素値の標準偏差を求める。このようにすると、分化細胞が占める面積の大きい小画像とそうでない小画像とを、標準偏差の値から区別することができる。そして、分化細胞を含む蓋然性の高い小画像が全体に占める割合が高ければ、分化細胞が多数発生した、つまり維持培養としては適切でない結果であると判定することができる。
本発明の構成では、上記原理に基づく判定を、原画像から直接得られる情報である画素値およびその標準偏差のみに基づき、自動的に、かつ定量的に行うことが可能である。そのため、培養品質の評価を簡単に、かつばらつきなく行うことができる。
この発明によれば、多能性幹細胞の画像と分化細胞の画像とにおける画素値のばらつきの違いに基づいて培養品質を評価するので、簡単かつ自動的に、ばらつきのない評価を行うことが可能である。
この発明にかかる培養品質評価方法を適用可能な培養システムの一構成例を示す図である。 培養品質評価処理を示すフローチャートである。 原画像と小画像との対応関係を示す図である。 各種の細胞を撮像した画像の例を示す図である。 各画像における画素値の分布の例を示す図である。 小画像のサイズを設定する処理を示すフローチャートである。 図6の処理に用いられるサンプル画像の例を示す図である。 第1標準偏差と第2標準偏差との違いを説明する図である。
図1はこの発明にかかる培養品質評価方法を適用可能な培養システムの一構成例を示す図である。この培養システム1は、所定の温湿度環境が維持された培養室を有するインキュベータユニット10と、必要に応じてインキュベータユニット10から取り出された試料を撮像する撮像ユニット30と、撮像ユニット30を制御する制御ユニット40と、インキュベータユニット10および撮像ユニット30の間で試料を搬送する搬送ロボット20とを備えている。
インキュベータユニット10は、浅皿型のディッシュまたは多数のウェルが設けられたウェルプレート等の公知の試料容器に注入された培地上で培養される細胞や微生物等を一定の温湿度環境で培養するものである。そのようなインキュベータ装置は多く製品化されており、本実施形態においても公知のものを適用可能であるため詳しい説明を省略する。
撮像ユニット30は、インキュベータユニット10から搬入される試料容器Cを略水平姿勢に支持するホルダ31と、ホルダ31に支持される試料容器Cの上方に配置され試料容器Cに向けて照明光を照射する照明部33と、ホルダ31に支持される試料容器Cに対して照明部33と反対側、つまり試料容器Cの下方に配置されて試料容器Cを下方から撮像する撮像部35とを備える。撮像部35は、照明部33から照射されて試料容器Cの底面を透過してくる光を受光して、試料容器C内部の試料を撮像する。なお、撮像ユニット30における方向を明示するために、図のようにXYZ直交座標系を設定する。ここで、XY平面は水平面を表し、Z軸は鉛直軸を表す。
撮像部35は、図1紙面に垂直なX方向を長手方向とするリニアイメージセンサを内蔵しており、試料容器C底面から出射されてくる透過光をリニアイメージセンサで受光しながら試料容器C底面に沿ってY方向に移動する。これにより、試料の二次元画像が取得される。
制御ユニット40は、照明部33の動作を制御する照明制御部43、撮像部35をY方向に水平移動させるセンサ駆動部46、撮像部35から出力される画像信号に基づき各種の画像処理を実行する画像処理部44および処理前後の画像データやその他の各種データを記憶保存する記憶部44を備えている。この他に、制御ユニット40は、この培養システム1を操作するオペレータからの操作指示入力を受け付ける入力受付部41と、システムの動作状況や処理結果等を視覚情報としてオペレータに報知する表示部42とを備えている。
上記のように構成された培養システム1では、インキュベータユニット10に収容される試料容器内で、例えばiPS細胞(induced pluripotent stem cells;人工多能性幹細胞)のような多能性幹細胞の培養が行われその品質評価が行われる。より具体的には、試料容器内に注入された培地に多能性幹細胞が播種されてインキュベータユニット10内で培養される。そして、試料容器が定期的にインキュベータユニット10から撮像ユニット30に移されて、培養された細胞群の撮像が行われる。こうして得られた画像データに対し画像処理部45が適宜の画像処理を行って培養品質を評価する。
ここでいう培養品質とは、多能性幹細胞をその多能性を維持させたまま培養するための培養条件の良否を表す尺度であり、多能性が維持される期間が長いほど培養品質が良好とされる。培養条件としては、培地およびこれに添加される試薬の種類および量、フィーダー細胞の種類および量、周囲温度および湿度などの組み合わせにより表される。
多能性幹細胞の培養においては、多能性を維持したまま増殖すべき細胞が何らかのきっかけで特定の機能を有する細胞に分化することがあり、当該細胞は多能性を失う。多能性幹細胞の維持培養を安定的に行うためには、細胞の分化が起こりにくい培養条件を見出す必要がある。従来は、培養された試料を作業者が目視観察して分化の程度を推定し、培養条件の良否判断を行う方法が行われてきた。このような判断では、作業者の主観に基づく判断結果のばらつきが生じるおそれがある。この実施形態の培養品質評価処理は、主観による判断を含まない定量的な判定により、培養品質の良否を自動的に評価するものである。以下、本実施形態をiPS細胞の維持培養に適用したときの培養品質評価処理の流れについて説明する。
図2は培養品質評価処理を示すフローチャートである。最初に、オペレータにより、培地およびこれに添加する試薬の準備が行われる(ステップS101)。すなわち、ディッシュまたはウェルプレート等の試料容器Cに対して、種類および量を適宜に選択された培地が注入される。次いで、用意された培地にフィーダー細胞が播種されて所定条件で培養され(ステップS102)、さらにiPS細胞が播種されて試料が作成される(ステップS103)。こうして作成された試料は、所定の温湿度環境に維持されたインキュベータユニット10内で培養される(ステップS104)。
所定時間が経過すると、搬送ロボット20により試料容器Cがインキュベータユニット10から取り出されて撮像ユニット30に移送され、試料容器C内で増殖した細胞群の撮像が行われる(ステップS105)。より具体的には、試料容器Cが撮像ユニット30内のホルダ31に載置され、照明部33による照明下で撮像部35が試料容器Cの底面に沿ってY方向に水平移動することで、底面から見た試料容器Cの画像が取得される。以下ではこの画像を原画像と称する。得られた画像データは記憶部44に記憶保存される。こうして得られた原画像は、画像処理部45により複数の小画像に分割されて処理される(ステップS106)。
なお、原画像の全域に細胞が分布するように、試料の撮像範囲が設定されることが好ましい。細胞が存在しない空白部分は培養条件の良否判定に寄与せず、また後述のように本実施形態では分割された小画像における画素値を統計的に処理して判定を行うため、細胞が含まれる小画像をできるだけ多く用意できることが望ましいからである。
図3は原画像と小画像との対応関係を示す図である。図3(a)に示すように、原画像Ioのサイズは、試料容器Cの底面サイズに対応して、例えば1辺が数ミリメートルないし数十ミリメートル程度である。一方、小画像Ip各々のサイズは、各小画像Ip内に複数の細胞が含まれる程度のサイズに選ばれ、一般的な体細胞のサイズが数マイクロメートルないし数十マイクロメートル程度であることから、例えば1辺を数百マイクロメートル程度とすることができる。なお、本明細書でいう画像の「サイズ」は、撮像された試料のうち当該画像に含まれる領域のサイズを意味し、撮像後の画像の拡大・縮小等により変化する見た目の画像のサイズとは別の概念である。
こうして分割された小画像Ipの各々は、複数の画素からなる。例えば撮像の解像度を2400dpi(dots per inch)、小画像Ipのサイズを1辺0.2ミリメートルとすると、小画像Ipは約360画素を含む。
画像処理部45は、各小画像Ipに含まれる画素それぞれの画素値(輝度値)の標準偏差を、小画像Ipごとに求める(ステップS107)。図3(b)に曲線AおよびBとして示すように、各小画像Ipに含まれるテクスチャの違いにより画素値の分布が異なり、それに対応して標準偏差の値も異なる。後述する本願発明者らの知見によれば、小画像Ipに含まれる細胞が主にiPS細胞であるとき、図3(b)に示す曲線Aのように、画素値のばらつきが比較的小さく、標準偏差の値も小さい。一方、小画像Ipに多くの分化細胞が含まれるとき、図3(b)に示す曲線Bのように、画素値のばらつきが比較的大きく、標準偏差の値も大きくなる。
詳しい導出方法については後述するが、この実施形態では、iPS細胞、フィーダー細胞および分化細胞のそれぞれについて、予めこれらを撮像した画像における画素値のばらつきの程度を細胞種別ごとに求め、特に分化細胞を多く含む画像が取り得る画素値の標準偏差の範囲を予め特定しておく。そして、評価対象の試料を撮像した原画像から切り出した各小画像Ipの画素値の標準偏差の値がその範囲内にあれば、当該小画像Ipが分化細胞を多く含む蓋然性が高いものと推定する。そして、分化細胞を多く含む小画像Ipの出現個数により、培養品質の良否が判断される。
図2に戻って具体的な処理内容を説明すると、原画像Ioから切り出した各小画像Ipのうち、画素値の標準偏差の値が分化細胞の画像から特定された所定範囲内にある小画像の個数を計数する(ステップS108)。これにより、原画像Io全体のうち分化細胞により占められた領域がどの程度あるかが推定される。すなわち、小画像の総数に対して、ステップS108において計数の対象となった小画像Ipの数の比率が高いほど、原画像Ioにおいて分化細胞が占める領域の比率が高いと推定される。分化細胞が多いということは、培養における多能性の維持という目的が達成されていないことを意味する。
そこで、ステップS108において計数の対象となった小画像Ipの数の、原画像Ioから作成された小画像Ipの総数に対する比が所定の閾値以下である場合には当該試料を合格品と判定する一方、閾値を超えていれば不合格品と判定する(ステップS109)。判定結果は表示部42に表示されて、オペレータに報知される。試料が合格品と判定されれば、培養された細胞の多能性が高い確率で維持されているといえる。そこで、当該試料に対しては、必要に応じて継代処理(ステップS110a)および培地交換(ステップS110b)のいずれかの処理が行われる。そして、さらに培養を継続する必要があれば(ステップS111においてYES)、試料容器Cはインキュベータユニット10に戻されてさらに培養され、定期的に取り出されて培養品質の評価が行われる。
培養により十分な数のiPS細胞が確保された場合のように、さらなる培養継続が不要と判断された場合には(ステップS111においてNO)、当該試料は例えば凍結保存などの適当な保存処理がなされて(ステップS112)、利用される時が来るまで保存される。
一方、不合格品と判定された場合には、当該試料は破棄される(ステップS121)。分化細胞と見られる領域の細胞を除去したり、有効な領域の細胞のみを他の試料容器に移植するなどした上で再度培養に供するようにしてもよい。ただし、単に培養条件の良否を判定する目的においては、当該試料を作成した培養条件が維持培養に適さないものである可能性が高いとわかった以上、さらに培養を継続する必要はない。
上記のように、この実施形態の培養品質評価処理では、撮像された画像から直ちに求められる画素値と、その小画像Ip単位での標準偏差の値とから、培養品質の良否が判定される。そのため、作業者の主観に頼らない客観的かつ定量的な評価が可能であり、ばらつきのない判定を行うことができる。また、特許文献1に記載の従来技術では、画像からまずコロニー化した部分を抽出し、さらに当該領域とその周辺領域とを特徴量の値を算出して対比するという過程を要するのに対し、本実施形態では、より簡単かつ直接的に判定を行うことができる。
次に、上記した培養品質評価処理における処理パラメータの設定方法について説明する。上記の培養品質評価処理においては、予め設定すべき処理パラメータとして、
(1)小画像Ipのサイズ、
(2)小画像Ipが分化細胞を多く含むとされる画素値の標準偏差の範囲、
(3)合格品と不合格品とを分ける小画像数の比の閾値、
がある。これらのパラメータの設定如何によって合否の判定結果が異なり、不適切な設定では誤判定の確率が増大するおそれがある。
このうち(3)は、評価の対象とされる培養条件に求められる多能性維持能力のレベル、つまり分化細胞の発生確率が経時的にどこまで許容されるかによって定められるべきものであり、培養の用途・目的に応じて人為的に決めるべきものである。一方、(1)、(2)については、より客観的な設定方法により、誤判定の確率を低減することが可能である。以下、その設定方法の原理および具体的な処理内容について説明する。
図4は各種の細胞を撮像した画像の例を示す図である。具体的には、図4(a)はiPS細胞を撮像した画像、図4(b)は分化細胞を撮像した画像、図4(c)はフィーダー細胞を撮像した画像の例である。各画像のサイズは同一である。また図5は各画像における画素値の分布の例を示す図である。
iPS細胞は通常の体細胞に比べてサイズが小さく、その直径は5マイクロメートル程度であり、サイズのばらつきは小さい。したがって、iPS細胞を撮像した画像では、図4(a)に示すように、比較的細かく均質なテクスチャが敷き詰められた状態となっており、図5に曲線Aで示すように画素値のばらつきは比較的小さい。また、図4(b)に示す分化細胞を撮像した画像では、各々の細胞は大きいが、iPS細胞よりもまばらで、次に説明するフィーダー細胞よりも密に分布していることがわかる。そのため、画素値のばらつきは、iPS細胞とフィーダー細胞との中間的な状態となる。このときの画素値の分布を図5に曲線Bで示す。一方、図4(c)に示すフィーダー細胞を撮像した画像では、各々の細胞はiPS細胞より大きいが、iPS細胞や分化細胞よりもまばらな分布をしており、画素値の分布はiPS細胞や分化細胞よりも幅の広いものとなる。このときの画素値の分布を図5に曲線Cで示す。
なお、本願発明者らの知見によれば、画素値の標準偏差を求めるとき、対象となる画像のサイズによって標準偏差の値が相違する。つまり、例えば分化細胞を撮像した画像を小画像に分割し小画像ごとに画素値の標準偏差を求めるとき、小画像のサイズによって標準偏差の値が異なってくる。したがって、画素値の標準偏差の値に基づいて画像を分類しようとするとき、標準偏差の値が細胞の種類に応じて有意な差を示すように、小画像のサイズを適切に設定する必要がある。
図6は小画像のサイズを設定する処理を示すフローチャートである。また、図7はこの処理に用いられるサンプル画像の例を示す図である。この処理は、前記した培養品質評価処理に先立って、その準備工程として実行される。最初に、iPS細胞、フィーダー細胞および分化細胞を撮像した画像がサンプル画像として取得される(ステップS001)。サンプル画像は、これらの細胞種別ごとに別の画像であってもよく、これらの細胞が1つの画像中に混在するものであってもよい。1つの画像中に異なる種別の細胞が混在する場合、サンプル画像としては、各細胞種別の分布状態を目視により確認できる画像であることが望ましい。
図7(a)はこのようなサンプル画像の一例を示しており、iPS細胞、フィーダー細胞および分化細胞が画像中に混在している様子を模式的に示すものである。そのテクスチャから、大部分の領域がフィーダー細胞で占められる一方、局所的にiPS細胞および分化細胞が偏在した構造となっていることが目視観察により認められる状況であるものとする。
こうして取得されたサンプル画像を、適宜のサイズの小画像に分割する(ステップS002)。この時点で小画像の最適なサイズは不明であるので、例えば予め設定された初期サイズに設定されればよい。図7(a)では、小画像の境界をグリッド線で示すとともに、各小画像を識別するために行番号および列番号を付している。
次に、こうして作成された小画像の各々について、オペレータが目視観察により、当該小画像が主にiPS細胞、フィーダー細胞および分化細胞のいずれの種別の細胞により占められているかによって、小画像を細胞種別ごとに分類する(ステップS003)。このとき、例えば複数種別の細胞が同程度に含まれる場合のように、分類が困難な小画像がある場合には、当該小画像を以後の処理対象から除外しても構わない。こうして分類された結果の例を図7(b)に示す。同図において白いマス目は主にフィーダー細胞を含む小画像を、淡いドットを付したマス目は主にiPS細胞を含む小画像を、濃いドットを付したマス目は主に分化細胞を含む小画像を、それぞれ表している。
こうして分類された小画像のそれぞれについて、当該小画像に含まれる画素の画素値の標準偏差を求める(ステップS004)。このときの標準偏差を、後の演算で出る標準偏差と区別するためにここでは「第1標準偏差」と称する。そして、同一の細胞種別に分類された小画像間における第1標準偏差の平均値と、第1標準偏差の標準偏差とを求める。ここで算出される標準偏差は、「画素値の標準偏差(つまり第1標準偏差)の標準偏差」に相当するものであり、第1標準偏差と区別するために、ここでは「第2標準偏差」と称する。この第2標準偏差は、各小画像の第1標準偏差、つまり画素値の標準偏差の値を当該小画像の特徴量と考えたときに、同一の細胞種別に分類される複数の小画像間で、その特徴量がどの程度のばらつきを有するかを指標するものである。
図8は第1標準偏差と第2標準偏差との違いを説明する図である。まず図8(a)に示すグラフは図5のものと同じであり、1つの小画像内での各画素の画素値の標準偏差(第1標準偏差)の例を示す図である。曲線AはiPS細胞に分類された1つの小画像における画素値の分布状況を、曲線Bは分化細胞に分類された1つの小画像における画素値の分布状況を、また曲線Cはフィーダー細胞に分類された1つの小画像における画素値の分布状況を、それぞれ示すものとする。それぞれの曲線A,B,Cで示される分布に対して、第1標準偏差σ1a、σ1b、σ1cが求められる。例えば曲線Aに対応する第1標準偏差σ1aは、iPS細胞に分類された1つの小画像における画素値のばらつきの大きさを指標する。同様に、曲線B,Cに対応する第1標準偏差σ1b,σ1cは、それぞれ分化細胞およびフィーダー細胞に分類された1つの小画像における画素値のばらつきの大きさを指標する。この例では、σ1a<σ1b<σ1cの関係が成立しているとする。
例えばiPS細胞に分類された複数の小画像間で比較すると、互いのテクスチャが類似していることから、第1標準偏差σ1aの値も似通った値になると考えられる。同じ細胞種別に分類された複数の小画像間で第1標準偏差の値がどの程度似通っているか、あるいはばらついているかを知るために、第1標準偏差の標準偏差、すなわち第2標準偏差を導入する。
図8(b)に示すように、第1標準偏差σ1a、σ1b、σ1cを横軸に取り、その値に対応する小画像の数を縦軸に取ったとき、細胞種別ごとに違った傾向が表れる。すなわち、図8(b)に曲線Aで示すように、iPS細胞に分類された小画像では画素値のばらつきが少ないため、第1偏差σ1aの値は比較的小さな値の範囲に分布する。その分布における平均値をμ1a、標準偏差(第2標準偏差)をσ2aとする。画素値のばらつきが中程度の分化細胞に分類された小画像では、図8(b)に曲線Bで示すように、第1標準偏差σ1bの値も中程度の範囲に分布する。このときの平均値をμ1b、第2標準偏差をσ2bとする。さらに、画素値のばらつきが最も大きいフィーダー細胞に分類された小画像では、図8(b)に曲線(c)で示すように、第1標準偏差σ1cが最も値の大きい範囲に分布する。このときの平均値をμ1c、第2標準偏差をσ2cとする。
なお、各細胞種別間で、第1標準偏差の大小関係と第2標準偏差の大小関係とは必ずしも相関性を有しない。すなわち、上記した第2標準偏差の定義から明らかなように、第2標準偏差は第1標準偏差のばらつきを指標する数値である。したがって、例えば1つの小画像内で画素値のばらつきが大きく第1標準偏差の値が大きい場合であっても、同じ細胞種別に分類された各小画像間で画素値が同様のばらつきを示していれば第2標準偏差の値は小さくなる。
また、前述したように、本願発明者らの知見によれば、小画像のサイズによって画素値のばらつきの程度、つまり第1標準偏差の値が変わってくる。このため、第2標準偏差の値も、小画像のサイズによって異なる。図8(b)と図8(c)とは、小画像のサイズを互いに異ならせたときの第1標準偏差の分布の違いを例示している。すなわち、図8(b)は、小画像のサイズを第1のサイズとして上記したステップS002〜S005を実行した結果の例を示し、図8(c)は小画像のサイズを第1サイズと異なる第2サイズに設定して上記したステップS002〜S005を実行した結果の例を示している。
図8(b)の例では、分化細胞に分類された小画像における第1標準偏差(曲線B)の分布における平均値μ1bを中心とする標準偏差σ2bの2倍の範囲、すなわち(μ1b±σ2b)の範囲(以下では、この範囲を「曲線Bの中央範囲」と称する)と、フィーダー細胞に分類された小画像における第1標準偏差(曲線C)の分布における平均値μ1cを中心とする標準偏差σ2cの2倍の範囲、すなわち(μ1c±σ2c)の範囲(以下では、この範囲を「曲線Cの中央範囲」と称する)とが一部で重複している。
このことは、分化細胞に分類されるべき小画像、フィーダー細胞に分類されるべき小画像のいずれもが重複範囲内の第1標準偏差の値σxを比較的高い確率で取り得ることを意味する。つまり、分化細胞を多く含む小画像群とそうでない小画像群との間で、第1標準偏差の分布に有意な差がないということができる。したがって、第1標準偏差の値がσxである小画像があったとき、この小画像がフィーダー細胞、分化細胞のいずれに分類されるべきかを判断することができない。このことが、培養品質評価処理における誤判定の原因となり得る。
一方、図8(c)に示す例では、iPS細胞に分類された小画像における第1標準偏差(曲線A)の分布における平均値μ1aを中心とする標準偏差σ2aの2倍の範囲、すなわち(μ1a±σ2a)の範囲(以下では、この範囲を「曲線Aの中央範囲」と称する)と曲線Bの中央範囲との間、曲線Bの中央範囲と曲線Cの中央範囲との間のいずれでも重複はない。このことは、画素値から直接求められる第1標準偏差の値のみから、分化細胞を多く含む小画像とそうでない小画像とを高い確率で識別可能であることを意味している。つまり、分化細胞を多く含む小画像群とそうでない小画像群との間で、第1標準偏差の分布に有意な差があるということができる。同様に、iPS細胞を主体とする小画像とフィーダー細胞を主体とする小画像との識別も可能である。
したがって、小画像のサイズを種々に異ならせて上記したステップS002〜S005を実行し、分化細胞に分類された小画像群とそれ以外の小画像群との間で、第1標準偏差の分布に有意な差が見出されるような小画像のサイズを求め、培養品質評価処理では原画像をそのサイズの小画像に分割すればよい。
図6に戻って、小画像のサイズの具体的な決定方法を説明する。サンプル画像をあるサイズの小画像に分割したとき、分化細胞に分類された小画像群について求めた第2標準偏差が他の小画像に対する有意な差を持っていなかった場合には(ステップS006においてNO)、小画像の分割サイズを変更した上で(ステップS010)、ステップS002からの処理をやり直す。一方、分化細胞に分類された小画像群について求めた第2標準偏差に他の小画像に対する有意な差があった場合には(ステップS006においてYES)、そのときの小画像のサイズを、培養品質評価処理のステップS106における小画像Ipのサイズに設定する(ステップS007)。これにより上記の処理パラメータのうち(1)が決定される。
また、このサイズで切り出された小画像が主に分化細胞を含むものである場合、当該小画像が取り得る第1標準偏差の値は、高い確率で(μ1b±σ2b)の範囲にあるということができる。したがって、この範囲を、培養品質評価処理のステップS108における「所定範囲」として培養品質評価処理に適用することができる(ステップS008)。なお、分化細胞に対応する第1標準偏差が他の細胞種別に対応する第1標準偏差よりも数値が大きい範囲に分布している場合、例えば図8(c)の曲線A,B,Cが、それぞれiPS細胞、フィーダー細胞、分化細胞に対応している場合には、分化細胞に対応する「所定範囲」を他の細胞種別の分布から遠い方の側、すなわち数値が大きい側に拡張してもよい。つまりこの場合、第1標準偏差が(μ1c−σ2c)以上の範囲を「所定範囲」としてもよい。分化細胞に対応する第1標準偏差が他の細胞種別に対応する第1標準偏差よりも数値が小さい側に分布している場合も同様に考えることができる。こうして上記処理パラメータのうち(2)が決定される。
なお、このようにして原画像Ioを分割する小画像Ipのサイズが確定すれば、サイズ既知の原画像Ioに含まれる小画像Ipの総数も決まるので、「画素値の標準偏差の値が(2)の範囲に入る小画像」に対する(3)の閾値については、「当該条件に適合する小画像の個数」、「小画像の総数に対する、当該条件に適合する小画像の個数の比」、「原画像の総面積に対する、当該条件に適合する小画像の合計面積の比」のいずれの尺度で定めても技術的には等価である。
以上のように、この実施形態の培養品質評価処理では、多能性幹細胞を維持培養するための培養条件の良否を評価するために、多能性幹細胞を所定の培養条件で培養して試料を作成し、増殖した細胞群を撮像し原画像を取得し、該原画像を所定サイズの小画像に分割し、当該小画像に含まれる画素の画素値の標準偏差を各小画像ごとに求め、標準偏差の値が所定範囲内にある小画像の数の、小画像の総数に対する比の値が所定の閾値以下であるとき当該試料を合格品と判定する一方、閾値を超えていれば当該試料を不合格品と判定する。
このような構成によれば、原画像から直接求められる画素値とその標準偏差の値のみから、当該原画像にどの程度の分化細胞が含まれるかが推定可能であり、その結果から培養品質の良否を判定することが可能である。作業者の主観的判断を含まない定量的な評価が可能であるため、撮像された画像から自動的に、かつばらつきのない評価を行うことができる。
多能性幹細胞の培養では培地にフィーダー細胞が投入されることが一般に行われるが、本願発明者らの知見では、フィーダー細胞と分化細胞との間においても画素値の標準偏差の分布に有意な差を見出すことが可能であり、このことを利用すればフィーダー細胞を含む試料についても的確な評価を行うことが可能である。
また、この実施形態では、原画像を分割した小画像をその画素値の標準偏差の値に応じて複数のカテゴリ(具体的には、iPS細胞、フィーダー細胞および分化細胞の細胞種別)に分類し、標準偏差の値が所定範囲内である小画像を同一のカテゴリに分類する。このような構成によれば、標準偏差の値が所定範囲内であるカテゴリに分類された小画像の数が原画像中に占める分化細胞の比率を表す尺度となり、これに基づいて培養品質の良否を評価することができる。
また、原画像を取得するに際しては、原画像の全域に細胞群が分布するように試料が撮像される。このような構成によれば、原画像が分割されてなる小画像のそれぞれに細胞群が含まれることで、評価に寄与しない小画像がなくなり、評価の精度を高めることができる。
また、この実施形態では、試料を撮像した原画像から切り出す小画像のサイズを以下のようにして決定している。すなわち、多能性幹細胞、フィーダー細胞および分化細胞をそれぞれ含むサンプル画像を取得し、当該サンプル画像を複数に分割した小画像の各々について当該小画像に含まれる画素値の標準偏差としての第1標準偏差を求め、複数の小画像について求めた第1標準偏差の平均値と、第1標準偏差の標準偏差としての第2標準偏差を求め、第1標準偏差の値が平均値を中心とする第2標準偏差の2倍以内である第1標準偏差の範囲としての中央範囲を求める処理を、取得したサンプル画像について小画像のサイズを多段階に異ならせて実行し、小画像のサイズを互いに同一としたときに、分化細胞の画像における中央範囲が、多能性幹細胞の画像における中央範囲およびフィーダー細胞の画像における中央範囲のいずれとも重複しない小画像のサイズを、培養品質評価処理における小画像のサイズとする。
このような構成によれば、分化細胞を主として含む小画像と、それ以外の小画像とを高い確率で識別することが可能となり、原画像に含まれる分化細胞の領域を的確に抽出することで、評価の精度を高めることができる。
また、この実施形態では、分化細胞の画像に基づいて求めた平均値と第2標準偏差とのうち、培養品質評価処理における小画像のサイズに対応する平均値と第2標準偏差とに基づいて、小画像が分化細胞に対応するものであるか否かを判断する際の第2標準偏差の数値範囲を決定する。このような構成によれば、設定された小画像のサイズに対応する画素値の標準偏差の分布状況が反映された数値範囲が設定されるため、分化細胞を含む小画像を的確に抽出することができる。
以上説明したように、この実施形態においては、図2のフローチャートで示される培養品質評価処理において本発明の「培養品質評価方法」が具現化されており、図3のステップS101〜S104が本発明の「第1工程」に相当している。また、ステップS105が本発明の「第2工程」に相当する。また、ステップS106〜S107が本発明の「第3工程」に、ステップS108〜S109が本発明の「第4工程」に、それぞれ相当している。
なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態の培養システム1は、試料を培養するインキュベータユニット10、試料を撮像する撮像ユニット30および画像処理を実行する制御ユニット50を一体化した培養システムであるが、本発明の培養品質評価方法は、これらの各ユニットが別体に構成されている場合にも適用可能である。
また例えば、上記実施形態の撮像ユニット30は、撮像対象物である生物試料を担持するディッシュ等の試料容器Cを略水平姿勢に保持し、その上方から照明光を入射させて下方に出射される光を受光して撮像を行うものであるが、これらの位置関係はこれに限定されるものではない。例えば撮像対象物の下方から照明光を入射させ、上方に出射される光を受光する構成であってもよい。
また例えば、上記実施形態の培養システム1では、インキュベータユニット10と撮像ユニット30との間の試料容器Cの搬送を搬送ロボット20により行っているが、この搬送がオペレータの手作業により行われてもよい。
また例えば、上記実施形態の培養品質評価処理では、試料が合格品と判定されたときには継代処理または培地交換が行われる一方、不合格品と判定されたときには試料が破棄される。しかしながら、判定後の試料の取り扱いはこれに限定されず、任意である。
また、上記実施形態では多能性幹細胞の例としてiPS細胞を採り上げたが、多能性幹細胞全般を用いて維持培養を行う場合に、本発明にかかる培養品質評価方法を適用することが可能である。
この発明は、多能性幹細胞を用いる医学・生物科学の技術分野に適用することができ、特に多能性幹細胞を維持培養するための培養条件の評価を行うのに好適である。
1 培養システム
10 インキュベータユニット
20 搬送ロボット
30 撮像ユニット
40 制御ユニット
C 試料容器
S101〜S104 第1工程
S105 第2工程
S106〜S107 第3工程
S108〜S109 第4工程

Claims (6)

  1. 多能性幹細胞を所定の培養条件で培養して試料を作成する第1工程と、
    前記試料の増殖した細胞群を撮像し原画像を取得する第2工程と、
    前記原画像を、所定サイズの小画像に分割し、当該小画像に含まれる画素の画素値の標準偏差を各小画像ごとに求める第3工程と、
    前記標準偏差の値が所定範囲内にある前記小画像の数の、前記小画像の総数に対する比の値が所定の閾値以下であるとき前記試料を合格品と判定する一方、前記閾値を超えていれば前記試料を不合格品と判定する第4工程と
    を備える培養品質評価方法。
  2. 前記第1工程では、フィーダー細胞を含む培地で培養を行う請求項1に記載の培養品質評価方法。
  3. 前記第4工程では、前記小画像を、前記標準偏差の値に応じて複数のカテゴリに分類し、前記標準偏差の値が前記所定範囲内である前記小画像を同一の前記カテゴリに分類する請求項1または2に記載の培養品質評価方法。
  4. 前記第2工程では、前記原画像の全域に前記細胞群が分布するように前記試料を撮像する請求項1ないし3のいずれかに記載の培養品質評価方法。
  5. 前記第3工程に先立って、
    多能性幹細胞を撮像した画像、フィーダー細胞を撮像した画像および前記多能性幹細胞から分化した分化細胞を撮像した画像を取得し、
    当該画像を複数に分割した小画像の各々について当該小画像に含まれる画素値の標準偏差として定義される第1標準偏差を求め、複数の小画像について求めた前記第1標準偏差の平均値を求めるとともに、前記第1標準偏差の標準偏差として定義される第2標準偏差を求め、前記第1標準偏差の値が前記平均値を中心とする前記第2標準偏差の2倍以内である前記第1標準偏差の範囲として定義される中央範囲を求める処理を、取得した前記画像について前記小画像のサイズを多段階に異ならせて実行し、
    前記小画像のサイズを互いに同一としたときに、前記分化細胞の画像における前記中央範囲が、前記多能性幹細胞の画像における前記中央範囲および前記フィーダー細胞の画像における前記中央範囲のいずれとも重複しない前記小画像のサイズを、前記第3工程における前記小画像のサイズとする
    工程を実行する請求項1ないし4のいずれかに記載の培養品質評価方法。
  6. 前記分化細胞の画像に基づいて求めた前記平均値および前記第2標準偏差のうち、前記第3工程における前記小画像のサイズに対応する前記平均値および前記第2標準偏差に基づいて、前記第4工程における前記所定範囲を決定する請求項5に記載の培養品質評価方法。
JP2013199865A 2013-09-26 2013-09-26 培養品質評価方法 Active JP5876453B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013199865A JP5876453B2 (ja) 2013-09-26 2013-09-26 培養品質評価方法
US14/275,949 US9600874B2 (en) 2013-09-26 2014-05-13 Method for evaluating culture quality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013199865A JP5876453B2 (ja) 2013-09-26 2013-09-26 培養品質評価方法

Publications (2)

Publication Number Publication Date
JP2015065812A true JP2015065812A (ja) 2015-04-13
JP5876453B2 JP5876453B2 (ja) 2016-03-02

Family

ID=52690991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013199865A Active JP5876453B2 (ja) 2013-09-26 2013-09-26 培養品質評価方法

Country Status (2)

Country Link
US (1) US9600874B2 (ja)
JP (1) JP5876453B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018055762A1 (ja) * 2016-09-26 2018-03-29 オリンパス株式会社 細胞状態計測装置
KR20200007247A (ko) * 2018-07-12 2020-01-22 주식회사 포스코 코크스 품질 모니터링 장치 및 그 방법
CN110910367A (zh) * 2019-11-19 2020-03-24 长春理工大学 生物反应器细胞培养质量评价方法
WO2022270220A1 (ja) * 2021-06-24 2022-12-29 富士フイルム株式会社 細胞品質評価装置、細胞品質評価方法、及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6071007B2 (ja) * 2013-08-22 2017-02-01 富士フイルム株式会社 観察画像撮影評価装置および方法並びにプログラム
JP6066492B2 (ja) * 2013-08-22 2017-01-25 富士フイルム株式会社 細胞画像評価装置および方法並びにプログラム
WO2017154203A1 (ja) * 2016-03-11 2017-09-14 株式会社ニコン 画像処理装置、観察装置、及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012111236A1 (ja) * 2011-02-17 2012-08-23 三洋電機株式会社 画像識別装置およびプログラム
WO2012115153A1 (ja) * 2011-02-25 2012-08-30 株式会社ニコン 細胞評価方法、細胞培養方法、細胞評価装置、インキュベータ、細胞評価プログラム、コロニー分類プログラム、幹細胞の培養方法、幹細胞評価装置および幹細胞評価プログラム
JP2013027368A (ja) * 2011-07-29 2013-02-07 Nikon Corp 培養情報処理装置、培養状態評価装置、細胞培養方法およびプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757953A (en) * 1996-02-29 1998-05-26 Eastman Kodak Company Automated method and system for region decomposition in digital radiographic images
US5826909A (en) * 1996-09-20 1998-10-27 Mountain Dynamics, Inc. Relocatable electronic ski camber sensor
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
WO2011108993A1 (en) * 2010-03-02 2011-09-09 National University Of Singapore Culture additives to boost stem cell proliferation and differentiation response
JP5740101B2 (ja) 2010-04-23 2015-06-24 国立大学法人名古屋大学 細胞評価装置、インキュベータ、細胞評価方法、細胞評価プログラムおよび細胞の培養方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012111236A1 (ja) * 2011-02-17 2012-08-23 三洋電機株式会社 画像識別装置およびプログラム
WO2012115153A1 (ja) * 2011-02-25 2012-08-30 株式会社ニコン 細胞評価方法、細胞培養方法、細胞評価装置、インキュベータ、細胞評価プログラム、コロニー分類プログラム、幹細胞の培養方法、幹細胞評価装置および幹細胞評価プログラム
JP2013027368A (ja) * 2011-07-29 2013-02-07 Nikon Corp 培養情報処理装置、培養状態評価装置、細胞培養方法およびプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018055762A1 (ja) * 2016-09-26 2018-03-29 オリンパス株式会社 細胞状態計測装置
KR20200007247A (ko) * 2018-07-12 2020-01-22 주식회사 포스코 코크스 품질 모니터링 장치 및 그 방법
KR102147292B1 (ko) 2018-07-12 2020-08-24 주식회사 포스코 코크스 품질 모니터링 장치 및 그 방법
CN110910367A (zh) * 2019-11-19 2020-03-24 长春理工大学 生物反应器细胞培养质量评价方法
WO2022270220A1 (ja) * 2021-06-24 2022-12-29 富士フイルム株式会社 細胞品質評価装置、細胞品質評価方法、及びプログラム

Also Published As

Publication number Publication date
JP5876453B2 (ja) 2016-03-02
US9600874B2 (en) 2017-03-21
US20150086102A1 (en) 2015-03-26

Similar Documents

Publication Publication Date Title
JP5876453B2 (ja) 培養品質評価方法
JP6062059B2 (ja) バイオイメージング法
CN103748452B (zh) 生物成像方法和系统
WO2012115153A1 (ja) 細胞評価方法、細胞培養方法、細胞評価装置、インキュベータ、細胞評価プログラム、コロニー分類プログラム、幹細胞の培養方法、幹細胞評価装置および幹細胞評価プログラム
JP5707399B2 (ja) 微生物検出方法、微生物検出装置及びプログラム
JP6122817B2 (ja) スフェロイドの評価方法およびスフェロイド評価装置
Carvalho et al. Cryptosexuality and the genetic diversity paradox in coffee rust, Hemileia vastatrix
US20200357516A1 (en) Systems and methods for automatically interpreting images of microbiological samples
JP6426704B2 (ja) 液体試料のリアルタイム分析のための光学システムと方法
JP2018525746A5 (ja)
JP5439096B2 (ja) 細菌分類装置および細菌検査前処理装置
CN107610122B (zh) 一种基于Micro-CT的单籽粒谷物内部虫害检测方法
WO2008029635A1 (fr) Processeur d'images de cellules et procédé de traitement d'images de cellules
JPH0484884A (ja) 培養生体の活性診断方法及びシステム
WO2015193951A1 (ja) 観察装置、観察方法、観察システム、そのプログラム、および細胞の製造方法
JP2016054724A (ja) 細胞培養評価システムおよび方法
WO2015025506A1 (ja) 幹細胞分化判定装置および方法並びにプログラム
JP2013027368A (ja) 培養情報処理装置、培養状態評価装置、細胞培養方法およびプログラム
JP6145890B2 (ja) 細胞認識装置および方法並びにプログラム
US9530043B2 (en) Cell analysis apparatus and method
WO2018100917A1 (ja) 情報処理装置、観察システム、情報処理方法及びプログラム
EP3480291A1 (en) Image acquisition method, image acquisition device, program and culture container
WO2006095896A1 (ja) 培養細胞監視システム
JP5658902B2 (ja) 細菌撮像装置および菌液調整装置
JP2024513984A (ja) 微細藻類培養物サンプルの顕微鏡画像の解析

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150330

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20150330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150728

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160119

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160121

R150 Certificate of patent or registration of utility model

Ref document number: 5876453

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250