JP2018121567A - 機械学習装置、分類装置並びに方法及びプログラム - Google Patents

機械学習装置、分類装置並びに方法及びプログラム Download PDF

Info

Publication number
JP2018121567A
JP2018121567A JP2017016301A JP2017016301A JP2018121567A JP 2018121567 A JP2018121567 A JP 2018121567A JP 2017016301 A JP2017016301 A JP 2017016301A JP 2017016301 A JP2017016301 A JP 2017016301A JP 2018121567 A JP2018121567 A JP 2018121567A
Authority
JP
Japan
Prior art keywords
value
potential
machine learning
feature amount
firing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017016301A
Other languages
English (en)
Other versions
JP6825770B2 (ja
Inventor
哲生 島津
Tetsuo Shimazu
哲生 島津
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LSI Medience Corp
Original Assignee
LSI Medience Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LSI Medience Corp filed Critical LSI Medience Corp
Priority to JP2017016301A priority Critical patent/JP6825770B2/ja
Publication of JP2018121567A publication Critical patent/JP2018121567A/ja
Application granted granted Critical
Publication of JP6825770B2 publication Critical patent/JP6825770B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

【課題】神経細胞の細胞外電位データから発火を検出する作業の正確性及び効率を向上させる。【解決手段】機械学習装置は、神経細胞の細胞外電位の経時変化を表すデータについて、所定の期間に測定された電位の値と、当該期間における発火の発生を表す教師値とを用いて、発火の有無と電位の値との関係を学習する。また、機械学習装置は、電位の値と、所定の関数とに基づいて特徴量を算出する特徴量算出部と、特徴量算出部が算出した特徴量に基づく値と、教師値とを用いて関数に用いられる係数を修正する学習処理部とを備える。【選択図】図7

Description

本技術は、機械学習装置、分類装置並びに方法及びプログラムに関する。
神経細胞は生物において様々な臓器の働きを調整し、中枢神経系では神経同士のネットワークを形成して活動する事で様々な情報処理を行う等をしていると考えられている。現在では細胞培養技術の発達により、生体から取り出した神経細胞や多能性幹細胞から分化した神経細胞を培養液中等で長期間に培養する事が可能になっている。
神経細胞の活動は、電気信号を用いて情報を伝達することにあり、神経細胞や神経線維における電気信号の発生の仕組みや、神経細胞を取り巻く膜の生化学的性質、神経細胞や神経線維に対する物質の薬理作用の解明のため、この神経細胞の膜内外の電位差を測定することが行われている。
培養神経細胞を測定対象とした場合、神経細胞の活動電位を測定する手法として、(1)細胞内電位記録法、(2)パッチ電極記録法、(3)細胞外電位記録法、が挙げられる。(1)と(2)はガラス微小電極を細胞内に刺入するか、細胞表面にあてて記録を行うものであることから直接的な膜電位を測定することはできるが、手技が困難であり細胞自体を傷つけるなど長期間の測定を行うことが困難である。これに対し(3)の細胞外電位記録法は、電極を細胞近傍に配置して細胞周囲に生じる電位変化を測定するものであり、技術的に比較的容易で、長時間の測定が可能であり、その応用範囲も広い。特に、多点平面電極(MEA:Multiple Electrode Array)を用いた細胞外電位記録法は、複数の電極や複数のサンプルから安定して同時計測できる方法として利用されている。
従来、細胞外電位記録法に用いる計測装置として、異なる細胞または細胞群にそれぞれ配置された異なる微小電極にそれぞれ接続された信号線の間で生じる電磁誘導によるノイズが発生しないように、1つの細胞または細胞群に配置された微小電極に接続された信号線と、他の細胞または細胞群に配置された微小電極に接続された信号線とが、実質的に分離されてアンプに接続されているものが提案されている(例えば、特許文献1)。
特開2014−124133号公報
神経細胞の細胞電位変化の測定により得られた活動電位データから、神経活動パターンの解析を行うためには、計測された神経細胞の活動波形データからノイズを除外し、神経細胞の活動を表す発火を検出する。
しかし、現在このような神経細胞の細胞外電位変化の測定データから、神経細胞の活動を表すスパイクや連続してスパイクが発生するバースト等の神経細胞の発火を検出するためには、測定者が経験に基づく目視により検出する方法や、閾値を標準偏差の定数倍として発火を検出する方法が用いられている。しかし、単純な閾値の設定による分類では発火の誤検出が生じ、それを防ぐために人間が目視で修正を行う必要がある。人間の判断結果にもばらつきが生じるため、正確性や作業効率がよいとはいえなかった。
そこで、本発明は、神経細胞の細胞外電位データから発火を検出する作業の正確性及び効率を向上させる技術を提供することを目的とする。
本発明に係る機械学習装置は、神経細胞の細胞外電位の経時変化を表すデータについて、所定の期間に測定された電位の値と、当該期間における発火の発生を表す教師値とを用いて、発火の有無と電位の値との関係を学習する。また、機械学習装置は、電位の値と、所定の関数とに基づいて特徴量を算出する特徴量算出部と、特徴量算出部が算出した特徴量に基づく値と、教師値とを用いて関数に用いられる係数を修正する学習処理部とを備える。
このようにすれば、例えばニューラルネットワークを用いた機械学習を行うことができる。細胞外電位のデータにおいて発火が発生しているか否かは、単純な閾値の設定のみでは分類できないところ、定式化しにくい分類基準を学習できるようになる。すなわち、神経細胞の細胞外電位データから発火を検出する作業の正確性及び効率を向上させることができる。
また、特徴量算出部は、電位の値又はそれに基づく特徴量を入力とし、入力側の全ノードが出力側の全ノードと結合された全結合層及び各結合に関連付けられた所定の係数に基づいて変換後の特徴量を算出するようにしてもよい。例えばこのように、いわゆる全結合層を含む構成を採用することができる。
また、特徴量算出部は、電位の値又はそれに基づく特徴量を入力として、入力側の一連のノードに対して前段のノードの処理結果に応じた値を後段のノードの処理に利用する関数に基づいて処理を行うリカレントニューラルネットワークにより変換後の特徴量を算出するようにしてもよい。例えばこのように、いわゆるリカレントレイヤを含む構成を採用するようにしてもよい。なお、リカレントニューラルネットワークによる処理は、時間の経過に沿った順方向の経時的特徴を学習するようにしてもよいし、時系列上、逆方向の経時的特徴を学習するようにしてもよく、また、両者を並列に実行するようにしてもよい。
また、特徴量算出部は、電位の値又はそれに基づく特徴量を入力として、所定の畳み込みニューラルネットワークにより変換後の特徴量を算出するようにしてもよい。例えば時系列的に変化する電位の値の特徴を捉えることができる。
また、前記細胞外電位の値は、神経細胞に接するように配置される複数の電極を介して測定され、特徴量算出部は異なる電極によって同時期に測定された複数の電位の値又はこれに基づく特徴量を用いて、変換後の特徴量を算出するようにしてもよい。このようにすれば、細胞の少なくとも一部において同時期に発生した発火パターンの共時的特徴を学習することができる。
また、前記細胞外電位の値は、神経細胞に接するように配置される1又は複数の電極を介して測定され、特徴量算出部は、同一の電極によって所定の期間内における異なる時点に測定された複数の電位の値又はこれに基づく特徴量を用いて、変換後の特徴量を算出するようにしてもよい。このようにすれば、各電極で検出される発火パターンの経時的変化の特徴を学習することができる。
本発明の分類装置は、機械学習装置が備える学習処理部が修正した係数と、電位の値とを用いて、発火が発生したか否かを分類する。このようにすれば、機械学習装置によって学習した特徴に基づいて、細胞外電位のデータから発火が発生したか否か分類することができる。
なお、課題を解決するための手段に記載の内容は、本発明の課題や技術的思想を逸脱しない範囲で可能な限り組み合わせることができる。また、課題を解決するための手段の内容は、コンピュータ等の装置若しくは複数の装置を含むシステム、コンピュータが実行する方法、又はコンピュータに実行させるプログラムとして提供することができる。該プログラムはネットワーク上で実行されるようにすることも可能である。また、当該プログラムを保持する記録媒体を提供するようにしてもよい。
本発明によれば、神経細胞の細胞外電位データから発火を検出する作業の正確性及び効率を向上させることができる。
測定装置の一例を示す斜視図である。 チップの一例を示す平面図である。 機械学習装置の一例を示す機能ブロック図である。 測定された細胞外電位の値の一例を示すグラフである。 コンピュータの一例を示す装置構成図である。 機械学習処理の一例を示す処理フロー図である。 ニューラルネットワークの構成の一例を示す図である。 畳み込みレイヤの構成の一例を説明するための図である。 全結合層の構成の一例を説明するための図である。 リカレントレイヤの構成の一例を説明するための図である。 リカレントレイヤの詳細な構成の一例を説明するための図である。 特徴量の統合処理を説明するための図である。
以下、本発明の実施形態について図面を用いて説明する。なお、実施形態は例示であり、本発明は下記の構成には限定されない。
<装置の構成>
図1は、本実施形態に係る測定装置の一例を示す斜視図である。測定装置1は、チップホルダ11と、電位計測装置12と、モニタ13と、機械学習装置14とを備える。チップホルダ11には、神経細胞群から細胞外電位を測定するための複数の電極を備えるチップ111が載置される。電位計測装置12は、内蔵するアンプによってチップ111の電極を介して測定される電位を増幅し、増幅された電位と、所定の基準電位との差を計測する。また、電位計測装置12によって計測された電位の値は機械学習装置14へ出力され、機械学習装置14は測定された電位の値を記録する。このとき、複数の電極の各々で測定された電位は、同期をとって処理できるよう、例えば測定時刻と関連付けて記録される。また、機械学習装置14は、DCNN(Deep Convolutional Neural Network)を利用して測定データから発火の特徴を学習したり、学習したモデルを用いて測定データから発火を検出する。モニタ13は、測定データや検出された発火に関する情報等を適宜表示する。なお、発火には、神経細胞の単発の発火であり、短期間に生じる電位の急激な上昇及び下降として測定されるスパイクと、連続する発火が断続的に発生する状態であるバーストがある。
図2は、チップ(プローブ)111の一例を示す平面図である。チップ111の中央の領域には、組織切片が載置され、又は細胞が培養される。また、チップ111の中央の領域には、16個の測定電極1111(単に「電極」とも呼ぶ)が設けられており、細胞群のうち接触する領域に生じる電位を測定することができる。なお、測定電極1111から
は、機械学習装置14からの出力に応じて電流刺激を行うこともできる。また、細胞群を載置する領域の周囲には、電位の基準値を測定するための参照電極1112が設けられている。測定電極1111及び参照電極1112は、配線1113を介して電位計測装置12へ接続される。チップホルダ11は、図2に示すようなチップ111を複数載置し、複数の細胞群から電位データを測定できるようにしてもよい。なお、電極の数は1以上備えていればよく、また、電極を複数有する場合の配置に係る形状等は図2の例には限定されない。
図3は、機械学習装置14の一例を示す機能ブロック図である。図3の機械学習装置14は、電位データ記憶部141と、機械学習部142と、分類モデル記憶部143と、分類処理部144と、分類結果記憶部145と、検証処理部146とを備える。機械学習装置14は、継続的に計測される電位の入力信号列を所定の期間(区間)ごとに区切り、各区間に対して発火の発生を学習すると共に、分類結果が未知の電位データに対して所定の区間ごとに発火の発生の有無を分類する。
図4は、測定装置1の複数の測定電極1111によって測定された細胞外電位の値の一例を示すグラフである。図4の例は、横軸に沿って矢印の方向に時間の経過を表しており、縦方向には、8個の測定電極1111によって検出された電位の値を示すグラフが、測定のタイミングが同期するように示されている。具体的には、電位の値は所定のサンプリング間隔で継続的に測定される数値の列として記録される。なお、本実施形態及び後述する実施例で用いた細胞外電位のデータは、東北工業大学知能エレクトロニクス学科鈴木郁郎研究室から提供を受けた。
また、本実施形態では、発火が発生したか否かを示す教師値(ラベル)を、学習のために用いる。教師値は、専門家が電位データに対して発火が発生したか否かを分類した結果であり、所定の区間ごとに記憶される。例えば、図4の波形を時間軸上の所定期間ごとに区切る破線の目盛りは、グラフを所定の区間に区切る境界の一例を表している。なお、測定電極1111によって測定される電位のサンプリング間隔は、所定の区間とは一致していなくてもよく、例えば図4の目盛りで区切った区間内に複数の測定値を取得するようにしてもよい。また、電位データのうち、教師値を有するデータ群をラベル有りデータセットと呼び、教師値のないデータ群をラベルなしデータセットと呼ぶ。ラベル有りデータセットにおいては、図4の目盛りで区切った区間の各々に対応付けて、発火が発生しているか否かを示す情報が保持される。具体的には、スパイクが発生しているか否か、スパイクが発生している場合にはさらにバーストが発生しているか否かを示す情報が保持されるようにしてもよいし、スパイクが発生しているか否かを示す情報のみ又はバーストが発生しているか否かを示す情報のみが保持されるようにしてもよい。また、ラベル有りデータセットのうち、後述する分類モデルの生成に用いるものを訓練データセットと呼び、分類モデルの評価に用いるものをテストデータセットと呼ぶ。生成される分類モデルを用いることで、ラベルなしデータセットに対して発火が発生したか否かを分類することができるようになる。
電位データ記憶部141は、図4に示したような電位データ、及び電位データの所定区間ごとに発火が発生したか否かを示す教師値を記憶する。本実施形態では、訓練データセット及びテストデータセットが予め記憶されているものとする。
機械学習部142は、ニューラルネットワーク(NN:Neural Network)及び訓練データセットを利用して機械学習を行う。詳細には、機械学習部142は、特徴量算出部1421と、学習処理部1422とを有する。特徴量算出部1421は、入力される電位データに対し、所定の構成のNNに基づく処理を行い、発火パターンの変化の特徴量を算出する処理を行う。具体的には、いわゆる畳み込みレイヤ(「畳み込み層」、「畳み込みNN」とも呼ぶ)や、リカレントレイヤ(「リカレント層」、「リカレントNN」とも呼ぶ)、全結合(FC:Full Connection)層(「全結合レイヤ」、「全結合NN」とも呼ぶ)を用いる。そして、1つの電極で測定される電位データ若しくは複数の電極で測定される電極ごとの電位データ、又は複数の電極の少なくとも一部で測定される電位データの経時的変化の特徴量を算出したり、複数の電極の少なくとも一部で測定される、同時期に発生する発火の特徴量を算出する。学習処理部1422は、電位データ記憶部141が保持している教師値とNNによって出力される特徴量との差に基づいて、NNの各層において適用される係数の値を更新する。
分類モデル記憶部143は、本実施形態において採用されるNNの構成や、機械学習部142によって生成された重み係数等のパラメータを記憶する。NNの構成、及びパラメータ等を、「分類モデル」と呼ぶものとする。分類処理部144は、電位データ記憶部141に保持されているテストデータやラベルなしデータ、及び分類モデル記憶部143に記憶されている分類モデルを用いて、電位データの所定区間ごとに、発火が発生しているか否かを分類する。分類結果記憶部145は、分類処理部144が分類した結果を記憶する。また、検証処理部146は、テストデータを用いて分類処理を行った結果について、教師値と比較し、分類処理の性能を評価する。
機械学習部142はいわゆるコンピュータであり、プロセッサが所定のプログラムを実行することにより、上述した機械学習部142、分類処理部144及び検証処理部146として機能する。また、電位データ記憶部141、分類モデル記憶部143及び分類結果記憶部145は、具体的には、コンピュータが備える主記憶装置又は補助記憶装置によって実現される。
<装置構成>
図5は、コンピュータの一例を示す装置構成図である。機械学習装置14は、例えば図5に示すようなコンピュータである。図5に示すコンピュータ1000は、CPU(Central Processing Unit)1001、主記憶装置1002、補助記憶装置1003、通信IF(Interface)1004、入出力IF(Interface)1005、ドライブ装置1006、通信バス1007を備えている。CPU1001は、プログラム(「ソフトウェア」又は「アプリケーション」とも呼ぶ)を実行することにより本実施の形態に係る処理等を行う。主記憶装置1002は、CPU1001が読み出したプログラムやデータをキャッシュしたり、CPUの作業領域を展開したりする。主記憶装置は、具体的には、RAM(Random Access Memory)やROM(Read Only Memory)等である。補助記憶装置1003は、CPU1001により実行されるプログラムや、本実施の形態で用いる設定情報などを記憶する。補助記憶装置1003は、具体的には、HDD(Hard-disk Drive)やSSD(Solid State Drive)、フラッシュメモリ等である。主記憶装置1002や補助記憶装置1003は、電位データ記憶部141、分類モデル記憶部143及び分類結果記憶部145として働く。なお、説明の便宜上、図3では複数の記憶部を示したが、物理的には1つの記憶装置でも複数の記憶装置でもよい。通信IF1004は、他のコンピュータとの間でデータを送受信する。機械学習装置14は、通信IF1004を介して接続された図示していないコンピュータから電位データ受信するようにしてもよい。通信IF1004は、具体的には、有線又は無線のネットワークカード等である。入出力IF1005は、入出力装置と接続され、ユーザから入力を受け付けたり、ユーザへ情報を出力したりする。入出力装置は、具体的には、キーボード、マウス、ディスプレイ、タッチパネル等である。ドライブ装置1006は、磁気ディスク、光磁気ディスク、光ディスク等の記憶媒体に記録されたデータを読み出したり、記憶媒体にデータを書き込んだりする。そして、以上のような構成要素が、通信バス1007で接続されている。なお、これらの構成要素はそれぞれ複数設けられていてもよいし、一部の構成要素(例えば、ドライブ装置1006)を設けないようにしてもよい。また、入出力装置がコンピュータと一体に構成されていてもよい。また、ドライブ装置1006で読み取り可能な可搬性の記憶媒体や、フラッシュメモリのような可搬性の補助記憶装置1003、通信IF1004などを介して、本実施の形態で実行されるプログラムが提供されるようにしてもよい。そして、CPU1001がプログラムを実行することにより、上記のようなコンピュータを図3に示した機械学習装置14として働かせる。
なお、図3に例示した機能ブロックの一部を複数のコンピュータによって分担したり、処理するデータセットの一部を複数のコンピュータによって並列に処理したりしてもよい。また、コンピュータは、ネットワーク上のいわゆるクラウドサービスを提供するものであってもよい。
<機械学習処理>
図6は、測定装置1が実行する機械学習処理の一例を示す処理フロー図である。測定装置1は、まず、電位データのうち訓練データを用いて学習段階の処理を行う(S1)。本ステップでは、後述する構成のNN及び所定の係数を用いて、電位データに対し所定区間ごとに発火が発生している確率を算出すると共に、教師値に基づいて係数を更新する処理を繰り返す。
その後、測定装置1は、電位データのうちテストデータを用いてモデル評価段階の処理を行う(S2)。本ステップでは、後述する構成のNN及びS1で求められた係数を用いて、電位データに対し所定区間ごとに発火の発生の有無を分類すると共に、教師値と十分に一致するか評価する。本ステップにおいて教師値と十分に一致すると評価された分類モデルによれば、未知の電位データについても同程度の性能で発火の発生を見分けられると期待できる。
また、測定装置1は、電位データのうちラベルなしデータを用いて、運用段階の処理を行う(S3)。本ステップでは、後述する構成のNN及びS1で求められた係数を用いて、電位データに対し所定区間ごとに発火の発生の有無を分類する。なお、S1〜S3は、連続した処理として実行される必要はなく、予めS1において作成された分類モデル(すなわち、NN及び係数)を備え、S3の運用段階の処理のみを行う測定装置1(本発明に係る「分類装置」)を提供するようにしてもよい。
<ニューラルネットワークの構成>
図7は、複数の層(「レイヤ」とも呼ぶ)を含むNNの構成の一例を示す図である。図7のNNは、測定された電位の値が入力される入力層と分類結果を示す出力層との間で、複数の変換処理が行われる。入力層と出力層との間に存在するN1〜N5の構成及び処理を中間層と呼ぶ。また、図3に示した機械学習装置14の機械学習部142及び分類処理部144は、図6に示したS1〜S3の各々において、図7に示すNNを繰り返し利用し、処理を行う。
まず、機械学習装置14の特徴量算出部1421は、所定区間ごとに区切られた電位データの入力を受けると、電極ごと且つ区間ごとに、時系列上連続する所定数の電位データを用いて、いわゆる畳み込みレイヤ(N1)による特徴量の算出を行う。なお、1つの区間には、複数の電位データが含まれる。また、上述した時系列上連続する所定数を表す範囲を、N1における「ウィンドウ」と呼ぶものとする。N1においては、例えば1つの電位データごとにウィンドウをスライドさせて入力値を変更し、畳み込み処理を行う。
図8は、畳み込みレイヤを説明するための図である。上述の通り、畳み込みレイヤにおいては、ウィンドウによって選択された連続する所定数の電位データ(図8:x)に対し、所定のサイズの行列で表される重み係数Wを乗じ、特徴量(図8:y)を得る。図8の横方向の矢印は1つの区間における時間の流れを表し、横方向の矢印上に示した目盛りの各々が1つの電位データを表すものとする。畳み込みレイヤでは、連続する所定数の電位データを含むウィンドウを例えば1つの電位データごと後方にスライドさせて処理対象となる入力データを選択し、特徴量の算出を繰り返す。また、算出された特徴量に対してさらに数段階の畳み込みレイヤによる特徴量の算出を繰り返してもよい。また、畳み込みレイヤにより算出した特徴量に対し、いわゆるプーリングによって例えば平均値(average pooling)をとり、時間変動に対する汎化性能を向上させるようにしてもよい。本実施形態では、測定電極1111ごと且つ区間ごとに、測定値に対して畳み込みレイヤによる処理を行うことにより、波形の傾きやピークの大きさ等、各電極で検出される発火パターンの区間内における経時的変化の特徴量を算出することができる。
また、特徴量算出部1421は、図7のN1で算出された特徴量(N2における入力値)に対し、全結合層による新たな特徴量(N2における出力値)の算出を行う(図7:N2)。N2においては、電極ごと且つ区間ごとに、含まれる入力値から所定の関数に基づいて新たな特徴量を算出する。
図9は、全結合層を説明するための図である。図9は、1つの区間に含まれる入力値xと出力値yとの関係を表している。全結合層においては、入力側のユニットxに対して重み係数Wに応じた処理を行い、出力側のユニットyの値を算出する。なお、N2では、N1で算出された特徴量(図8:y)が入力値(図9:x)となる。また、入力側の全ユニットと出力側の全ユニットとが結合され、入力値xから新たな特徴量yが求められる。xは、所定の要素数のベクトルであり、行列で表すことができる。また、yも、所定の要素数のベクトルであり、以下の式(1)で求められる。
y=Wx+b ・・・(1)
ここで、Wは重み係数であり、xの要素数×yの要素数の行列で表される。また、bはバイアス項であり、xと同数のベクトルで表すことができる。N2によっても、各電極で検出される発火パターンの区間ごとの特徴量を算出することができる。
また、特徴量算出部1421は、図7のN2で算出された特徴量に対し、いわゆるリカレントレイヤによる特徴量の算出を行う(図7:N3)。リカレントレイヤにおいても、入力値から所定の関数に基づいて特徴量を算出する。
図10は、リカレントレイヤを説明するための図である。リカレントレイヤは、内部にループを有し、例えば時系列上の前段のデータの処理に用いた情報Aを、後段のデータの処理に引き継いで用いるようになっている。換言すれば、前段のデータの処理においては入力値x及び情報Aに基づいて特徴量yを出力すると共に、前段のデータの処理に応じて決まる新たな情報Aを後段のデータの処理のために出力する。図10において角丸正方形で示す入力値x、出力値yの各々は、上述した所定区間において測定された電位の値に基づいて算出された特徴量を表すものとする。リカレントレイヤでは、N2によって出力された経時的特徴を含む値を入力値(図10:x)とし、より長期間における発火パターンの特徴量を算出する。すなわち、N3によれば、電極ごとに、複数の区間の間の経時的特徴量を算出することができる。
図11は、リカレントレイヤの詳細な構成の一例を示す図である。図10において角丸正方形で示した入力値x、出力値yは、図11の破線で表す角丸長方形に相当する。そして、1つの角丸長方形で囲われた複数の円(ノード)は、1つの区間において測定された電位の値に基づいて算出された特徴量を表す。また、図11のリカレントレイヤは、破線の長方形で表す「状態」(「内部状態」、「state」とも呼ぶ)を有している。ある区間の状態zの値は、入力値x及び所定の関数に基づいて算出され、次の区間の出力値yt+1及び状態zt+1へ出力される。そして、図11のリカレントレイヤの出力値
t+1は、状態zの値、入力値xt+1及び所定の関数に基づいて算出される。
例えば、リカレントレイヤの出力値yt+1は、以下の式(2)を用いて算出するようにしてもよい。
t+1=Wxt+1+Uz+b ・・・(2)
この例では状態zt+1は、以下の式(3)を用いて算出することができる。
t+1=Wxt+1+Uz+b ・・・(3)
なお、W、Uは所定の重み係数、bは所定のバイアス項である。
このように、リカレントレイヤでは、一連のデータについて、前段のノードの処理結果に応じた値を後段のノードの処理に利用する既存の関数を利用する。例えば、時系列上の前後関係を有するデータに対し、前段のデータに対する処理によって生成される状態を、後段のデータに対する処理に利用することができる。なお、リカレントレイヤで用いる関数は上述の式(2)、式(3)には限定されず、yとzとは異なる関数によって算出するようにしてもよいし、いわゆるLSTM(Long Short-Term Memory,以下の論文を参照)等を利用するようにしてもよい。
Figure 2018121567
また、特徴量算出部1421は、図7のN3で算出された特徴量を入力として、全結合層による特徴量の算出を行う(図7:N4)。特に複数の電極を備えるチップ111を用いる場合は、一部又は全部の電極によって測定された電位データに基づく特徴値を入力として、全結合層による特徴量の算出を行うようにしてもよい。
全結合層の構成は、図9と同様である。また、N4においては、異なる電極で測定された電位データに対し、上述のN1〜N3の処理を行った結果の特徴値を入力として処理を行う。すなわち、N4においては、図9における入力値xは、同一の区間における一部の電極又は全電極の特徴値となる。したがって、N4により、細胞群の少なくとも一部において同時期に発生した発火の共時的特徴量を算出することができる。神経細胞の発火は広範囲の細胞群において一斉に起こる傾向もあるため、特に全電極のように複数の電極で同時期に発生した発火の特徴を学習することで分類の精度を向上させることができる。
また、N4の出力値yを用いて、各区間において発火が発生している確率、及び当該区間において発火が発生していない確率を求める(図7:N5)。なお、1つの電極を備えるチップ111を用いる場合は、当該電極で測定される電位データに対して上記確率を算出する。また、複数の電極を有するチップ111を用いる場合は、全電極に対して1組の発火が発生している確率及び発火が発生していない確率を算出してもよいし、電極毎に発火が発生している確率及び発火が発生していない確率を算出しても良い。
なお、N5においては、区間ごとに算出された発火が発生している確率、及び発火が発生していない確率として、それぞれ前後の所定数の区間の確率を用いて移動平均をとる処理をさらに行うようにしてもよい。一般的に、神経細胞のバーストはある程度の期間、継続して発生するため、特にバーストの発生を検知する場合には、移動平均をとることにより例えば一時的な発火頻度の低下をバーストの区切り目と分類することが少なくなる。すなわち、閾値における一種のヒステリシスとして機能し、バーストでない状態からバーストの発生と分類する場合、及びバーストが発生している状態からバーストの終了と分類する場合において、一時的なノイズや電位の揺らぎに対する応答性を低下させ、安定的な分類をすることができるようになる。
また、学習処理部1422は、図6の学習処理(S1)においては、N5において出力された情報と教師値との差分に基づいて、各処理で用いられる関数の係数(例えば上述した重み係数やバイアス項の値)を修正する。すなわち、発火が発生している確率及び発火が発生していない確率と、教師値との差が小さくなるように係数を修正する。係数の修正には、バックプロパゲーション等、既存の技術を利用することができる。S1においては、図7のNNを用いた確率の算出と係数の修正とを繰り返し、訓練データセットに対して望ましい確率を出力するための係数を生成する。
また、生成された係数を含む分類モデルは、図6のS2及びS3において利用される。図6のモデル評価段階(S2)においては、例えば生成された分類モデルとテストデータセットとを用いて、分類処理部144が、各電極及び各区間において発火が発生しているか否かを分類して出力し、出力された情報と教師値との一致率等に基づいて検証処理部146が、生成されたモデルの精度を評価する。具体的には、S1と同様の手順で算出された、発火が発生している確率及び発火が発生していない確率のうち、例えば確率の大きい方を採用し、発火が発生しているか否か分類する。そして、例えば分類結果と教師値との一致率を算出し、生成された分類モデルの精度を評価する。また、図6の運用段階(S3)においては、S1で生成された分類モデルとラベルなしデータセットとを用いて、分類処理部144が、各電極及び各区間において発火が発生しているか否かを分類する。S3でも、S1と同様の手順で算出された、発火が発生している確率及び発火が発生していない確率のうち、例えば確率の大きい方を採用し、発火が発生しているか否か分類する。なお、発火が発生している確率及び発火が発生していない確率のいずれかを求め、所定の閾値を超えた場合に発火が発生している又は発火が発生していないと分類するようにしてもよい。
また、NNの各層間においては、適宜、任意の活性化関数(伝達関数)を用いて、例えば非線形分離できるようにするものとする。
<効果>
以上のような実施形態の構成によれば、1つの電極で測定される神経細胞の発火又は複数の電極の一部又は全部で測定される神経細胞の発火の経時的特徴と、複数の電極の一部または全部で同時期に測定される発火の共時的特徴とを学習すると共に、学習した特徴に基づいて細胞外電位のデータに対し発火の発生の有無を分類できるようになる。
<実施例>
神経細胞の細胞外電位データについて、バースト区間をラベル付けしたデータを用意した。また、細胞外電位データを10ミリ秒ごとの区間で分割し、バーストの始点及び終点を含む連続区間をデータセットとして抽出した。そして出現する順に連続区間を訓練データとテストデータとに分けた。また、訓練データは、バーストと非バーストとの比が1:1になるように調整した。このようにして作成した110分の訓練データを一般的なコンピュータによって5日間学習させた(図6:S1)。そして、学習後のモデルを用いてテストデータの各区間についてバースト又は非バーストに分類させた(図6:S2)。
バーストの発見個所について、9割以上がラベルと一致した。バーストが発生しているか否かは単純な閾値の設定のみでは分類できないところ、本実施例における学習後のモデルは、定式化しにくい分類基準を学習できたといえる。また、ラベルと一致しなかった箇所の一部に、ラベルよりも分類処理における分類の方が正確な箇所が存在した。すなわち、人間による分類では発生し得る分類の誤りを低減できたといえる。したがって、実施例によって生成された分類モデルによれば、未知の電位データについて行う分類処理(図6:S3)においても、同程度の性能でバーストの発生を見分けられると期待できる。このような発火の分類技術によれば、薬剤の神経細胞に対する毒性や薬効の評価の効率や精度を向上させることができるようになる。また、神経細胞の記憶や学習の過程を精度よく観察できるようになる。
<変形例1>
NNの構造は、図7に示した例には限定されない。上述したNNは、入力層と出力層との間に1層以上の中間層を備えているが、層の数や、各層に属するユニットの数等は、適宜変更することができる。また、図7に示したレイヤのうち、一部のレイヤによってNNを構成するようにしてもよいし、レイヤの順序を入れ替えるようにしてもよい。
例えば、図7に示した入力層、全結合レイヤ、確率の算出、出力層からなるNNを採用するようにしてもよい。例えば全結合レイヤにおいては、電極ごと且つ区間ごとに、測定された電位データが図9の入力値xとなる。また、当該区間において発火が発生している確率、及び当該区間において発火が発生していない確率を出力値yとして求める。なお、入力層の値、確率算出の処理及び出力層の値は、上述した実施形態と同様である。また、全結合レイヤは、図9に示した構成を複数段階繰り返す構成としてもよい。また、全結合レイヤは、異なる電極によって同時期に測定された複数の電位の値又はこれに基づく特徴量を用いて変換後の特徴量を算出するようにしてもよいし、同一の電極によって所定の期間内における異なる時点に測定された複数の電位の値又はこれに基づく特徴量を用いて変換後の特徴量を算出するようにしてもよく、またこれらのレイヤを複数段階繰り返すようにしてもよい。
<変形例2>
また、図7に示した入力層、畳み込みレイヤ、全結合レイヤ、確率の算出、出力層からなる畳み込みNNを採用するようにしてもよい。この場合、例えば、同一の電極における同一の区間内において図8に示したような畳み込みレイヤの処理を行う。また、電極ごと且つ区間ごとに、畳み込みレイヤの出力値を入力値xとし、当該区間において発火が発生している確率、及び当該区間において発火が発生していない確率を出力値yとして全結合レイヤの処理を行う。なお、入力層の値、確率算出の処理及び出力層の値は、上述した実施形態と同様である。また、畳み込みレイヤ、全結合レイヤは、それぞれ図8、図9に示した構成を複数段階繰り返す構成としてもよい。また、畳み込みレイヤ、全結合レイヤは、異なる電極によって同時期に測定された複数の電位の値又はこれに基づく特徴量を用いて変換後の特徴量を算出するようにしてもよいし、同一の電極によって所定の期間内における異なる時点に測定された複数の電位の値又はこれに基づく特徴量を用いて変換後の特徴量を算出するようにしてもよく、またこれらのレイヤを複数段階繰り返すようにしてもよい。
<変形例3>
また、図7に示した入力層、リカレントレイヤ、確率の算出、出力層からなるリカレントNNを採用するようにしてもよい。また、図10、11に示した構成において、例えば、電極ごとに、複数の電位データを入力値xとする。なお、入力層の値、分類レイヤの処理及び出力層の値は、上述した実施形態と同様である。また、リカレントレイヤは、図10、11に示した構成を複数段階繰り返す構成としてもよい。また、リカレントレイヤは、異なる電極によって同時期に測定された複数の電位の値又はこれに基づく特徴量を用いて変換後の特徴量を算出するようにしてもよいし、同一の電極によって所定の期間内における異なる時点に測定された複数の電位の値又はこれに基づく特徴量を用いて変換後の特徴量を算出するようにしてもよく、またこれらのレイヤを複数段階繰り返すようにしてもよい。
<変形例4>
また、図7に示した入力層、畳み込みレイヤ、リカレントレイヤ、確率の算出、出力層
からなる畳み込みリカレントNNを採用するようにしてもよい。この場合、例えば、同一の電極における同一の区間内において図8に示したような畳み込みレイヤの処理を行う。また、図10、11に示した構成において、例えば、電極ごとに、複数の電位データを入力値xとする。なお、入力層の値、確立算出の処理及び出力層の値は、上述した実施形態と同様である。また、畳み込みレイヤ、リカレントレイヤは、それぞれ図8、図10及び11に示した構成を複数段階繰り返す構成としてもよい。また、畳み込みレイヤ、リカレントレイヤは、異なる電極によって同時期に測定された複数の電位の値又はこれに基づく特徴量を用いて変換後の特徴量を算出するようにしてもよいし、同一の電極によって所定の期間内における異なる時点に測定された複数の電位の値又はこれに基づく特徴量を用いて変換後の特徴量を算出するようにしてもよく、またこれらのレイヤを複数段階繰り返すようにしてもよい。
<変形例5>
また、図7に示したNNよりもさらに多くのレイヤを有する構成としてもよい。例えば、図7のN4の後にリカレントレイヤN6(図示せず)及び全結合層N7(図示せず)をさらに有する構成としてもよい。
例えば、リカレントレイヤN6においては、特徴量算出部1421は、図7のN4で算出された特徴量に対し、時系列上、順方向に前後のデータの特徴量を算出するリカレントレイヤと、時系列上、逆方向に前後のデータの特徴量を算出するリカレントレイヤとによってそれぞれ特徴量の算出を行う。すなわち、順方向に前後のデータの特徴量を算出するリカレントレイヤにおいては、例えば図11に示した「状態」が、時系列上の先の区間の特徴量を処理する状態から、時系列上の後の区間の特徴量を処理する状態に向けて情報を引き継ぐように構成される。また、逆方向に前後のデータの特徴量を算出するリカレントレイヤにおいては、例えば図11に示した「状態」が、時系列上の後の区間の特徴量を処理する状態から、時系列上の先の区間の特徴量を処理する状態に向けて情報を引き継ぐように構成される。このような構成により、過去から未来へ向かう方向に対して見出される複数の区間の間の長期的な発火パターンの経時的特徴と、未来から過去へ向かう方向に対して見出される複数の区間の間の長期的な発火パターンの経時的特徴とを学習することができるようになる。
また、全結合層N7においては、特徴量算出部1421は、N6で算出された順方向及び逆方向の特徴量を対応する区間ごとに統合し、全結合層による特徴量の算出を行う。
図12は、N7における統合の処理を説明するための図である。N6の出力である順方向リカレントレイヤの出力は、第1区間の特徴量F11、F12・・・、第2区間の特徴量F21,F22・・・等を含む。また、逆方向リカレントレイヤの出力は、第1区間の特徴量R11、R12・・・、第2区間の特徴量R21、R22・・・等を含む。この場合、N7における統合の処理では、区間ごとに順方向リカレントレイヤの出力と逆方向リカレントレイヤの出力とを結合し、第1区間の特徴量F11,F12・・・R11,R12・・・、第2区間の特徴量F21、F22・・・R21、R22・・・等を含む行列が出力される。このように、N7においては、順方向の特徴及び逆方向の特徴を統合する処理を行う。
また、統合後の出力に対して、全結合層による特徴量の算出を行う。全結合層の構成は、図9と同様である。また図7のN5においては、N7で算出された同一の区間における特徴量に基づいて、各電極において、当該区間において発火が発生している確率、及び当該区間において発火が発生していない確率を求める。なお、1つの電極の場合は、当該電極で測定される電位データに対して上記確率を算出する。また、複数の電極の場合は、全電極に対して1組の発火が発生している確率及び発火が発生していない確率を算出してもよいし、電極毎に発火が発生している確率及び発火が発生していない確率を算出しても良い。
なお、処理対象の連続する複数の区間のうち、前後の端部付近の分類結果には、順方向又は逆方向の経時的特徴が十分に反映されない。よって、前後の端部付近の区間については分類結果を採用しないようにしてもよい。
<その他>
本発明は、上述した処理を実行するコンピュータプログラムや、当該プログラムを記録した、コンピュータ読み取り可能な記録媒体を含む。当該プログラムが記録された記録媒体は、プログラムをコンピュータに実行させることにより、上述の処理が可能となる。
ここで、コンピュータ読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータから取り外し可能なものとしては、フレキシブルディスク、光磁気ディスク、光ディスク、磁気テープ、メモリカード等がある。また、コンピュータに固定された記録媒体としては、HDDやSSD(Solid State Drive)、ROM等がある。
1 :測定装置
11 :チップホルダ
111 :チップ
1111 :測定電極
1112 :参照電極
1113 :配線
12 :電位計測装置
13 :モニタ
14 :機械学習装置
141 :電位データ記憶部
142 :機械学習部
1421 :特徴量算出部
1422 :学習処理部
143 :分類モデル記憶部
144 :分類処理部
145 :分類結果記憶部
146 :検証処理部

Claims (11)

  1. 神経細胞の細胞外電位の経時変化を表すデータについて、所定の期間に測定された電位の値と、当該期間における発火の発生を表す教師値とを用いて、前記発火の有無と前記電位の値との関係を学習する機械学習装置であって、
    前記電位の値と、所定の関数とに基づいて特徴量を算出する特徴量算出部と、
    前記特徴量算出部が算出した特徴量に基づく値と、前記教師値とを用いて前記関数に用いられる係数を修正する学習処理部と、
    を備える機械学習装置。
  2. 前記特徴量算出部は、前記電位の値又はこれに基づく特徴量を入力とし、入力側の全ノードが出力側の全ノードと結合された全結合層及び各結合に関連付けられた所定の係数に基づいて変換後の特徴量を算出する
    請求項1に記載の機械学習装置。
  3. 前記特徴量算出部は、前記電位の値又はこれに基づく特徴量を入力として、入力側の一連のノードに対して前段のノードの処理結果に応じた値を後段のノードの処理に利用する関数に基づいて処理を行うリカレントニューラルネットワークにより変換後の特徴量を算出する
    請求項1又は2に記載の機械学習装置。
  4. 前記特徴量算出部は、前記電位の値又はこれに基づく特徴量を入力として、所定の畳み込みニューラルネットワークにより変換後の特徴量を算出する
    請求項1から3のいずれか一項に記載の機械学習装置。
  5. 前記細胞外電位の値は、神経細胞に接するように配置される複数の電極を介して測定され、前記特徴量算出部は異なる電極によって同時期に測定された複数の前記電位の値又はこれに基づく特徴量を用いて、変換後の特徴量を算出する
    請求項1から4のいずれか一項に記載の機械学習装置。
  6. 前記細胞外電位の値は、神経細胞に接するように配置される1又は複数の電極を介して測定され、前記特徴量算出部は、同一の電極によって前記所定の期間内における異なる時点に測定された複数の前記電位の値又はこれに基づく特徴量を用いて、変換後の特徴量を算出する
    請求項1から4のいずれか一項に記載の機械学習装置。
  7. 請求項1から6のいずれか一項に記載の機械学習装置が備える前記学習処理部が修正した係数と、前記電位の値とを用いて、前記発火が発生したか否かを分類する分類装置。
  8. 神経細胞の細胞外電位の経時変化を表すデータについて、所定の期間に測定された電位の値と、当該期間における発火の発生を表す教師値とを用いて、前記発火の有無と前記電位の値との関係をコンピュータによって学習する機械学習方法であって、
    前記電位の値と、所定の関数とに基づいて特徴量を算出し、
    算出された前記特徴量に基づく値と、前記教師値とを用いて前記関数に用いられる係数を修正する、
    機械学習方法。
  9. 請求項8に記載の機械学習方法によって修正された係数と、前記電位の値とを用いて、前記発火が発生したか否かを分類する分類方法。
  10. 神経細胞の細胞外電位の経時変化を表すデータについて、所定の期間に測定された電位の値と、当該期間における発火の発生を表す教師値とを用いて、前記発火の有無と前記電位の値との関係をコンピュータに学習させる機械学習プログラムであって、
    前記電位の値と、所定の関数とに基づいて特徴量を算出し、
    算出された前記特徴量に基づく値と、前記教師値とを用いて前記関数に用いられる係数を修正する、
    機械学習プログラム。
  11. 請求項10に記載の機械学習プログラムによって修正された係数と、前記電位の値とを用いて、前記発火が発生したか否かを分類する分類プログラム。
JP2017016301A 2017-01-31 2017-01-31 機械学習装置、分類装置並びに方法及びプログラム Active JP6825770B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017016301A JP6825770B2 (ja) 2017-01-31 2017-01-31 機械学習装置、分類装置並びに方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017016301A JP6825770B2 (ja) 2017-01-31 2017-01-31 機械学習装置、分類装置並びに方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2018121567A true JP2018121567A (ja) 2018-08-09
JP6825770B2 JP6825770B2 (ja) 2021-02-03

Family

ID=63108682

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017016301A Active JP6825770B2 (ja) 2017-01-31 2017-01-31 機械学習装置、分類装置並びに方法及びプログラム

Country Status (1)

Country Link
JP (1) JP6825770B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019004495A1 (de) 2018-06-27 2020-01-02 Ngk Insulators, Ltd. Gassensor
WO2021045095A1 (ja) * 2019-09-06 2021-03-11 株式会社幹細胞&デバイス研究所 細胞の選別方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004305704A (ja) * 2003-03-24 2004-11-04 National Institute Of Advanced Industrial & Technology 神経細胞活動電位分類装置およびその分類プログラム
JP2014124133A (ja) * 2012-12-26 2014-07-07 Lsi Medience Corp 細胞外電位計測装置及び方法
US20140358512A1 (en) * 2013-06-03 2014-12-04 International Business Machines Corporation Automated construction of ion-channel models in a multi-comparment models

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004305704A (ja) * 2003-03-24 2004-11-04 National Institute Of Advanced Industrial & Technology 神経細胞活動電位分類装置およびその分類プログラム
JP2014124133A (ja) * 2012-12-26 2014-07-07 Lsi Medience Corp 細胞外電位計測装置及び方法
US20140358512A1 (en) * 2013-06-03 2014-12-04 International Business Machines Corporation Automated construction of ion-channel models in a multi-comparment models

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019004495A1 (de) 2018-06-27 2020-01-02 Ngk Insulators, Ltd. Gassensor
WO2021045095A1 (ja) * 2019-09-06 2021-03-11 株式会社幹細胞&デバイス研究所 細胞の選別方法

Also Published As

Publication number Publication date
JP6825770B2 (ja) 2021-02-03

Similar Documents

Publication Publication Date Title
CN108304917A (zh) 一种基于lstm网络的p300信号检测方法
Camuñas-Mesa et al. A detailed and fast model of extracellular recordings
CN101815466B (zh) 用于对动脉nadi脉搏波形进行定量检测的非侵入式设备nadi tarangini
CN108960182A (zh) 一种基于深度学习的p300事件相关电位分类识别方法
Dickinson Linear and nonlinear encoding properties of an identified mechanoreceptor on the fly wing measured with mechanical noise stimuli
JP6567153B1 (ja) 対象化合物の特性の予測を行うための方法、コンピュータシステム、プログラム
CN115906002B (zh) 一种基于多粒度数据融合的学习投入状态评估方法
Teodorescu Characterization of nonlinear dynamic systems for engineering purposes–a partial review
JP6825770B2 (ja) 機械学習装置、分類装置並びに方法及びプログラム
Umematsu et al. Forecasting stress, mood, and health from daytime physiology in office workers and students
Hathaliya et al. Parkinson and essential tremor classification to identify the patient’s risk based on tremor severity
Merel et al. Bayesian methods for event analysis of intracellular currents
KR20200005761A (ko) 혈당 센싱 데이터 판별 방법 및 장치
CN104133879B (zh) 脑电信号与音乐进行匹配的方法及其系统
JP6798905B2 (ja) 異常指標算出装置、異常指標算出方法及び異常指標算出プログラム
Hiroyasu et al. Gender classification of subjects from cerebral blood flow changes using Deep Learning
CN116473556A (zh) 一种基于多位点皮肤生理响应的情感计算方法及系统
Li et al. Predicting Parkinson's Disease with Multimodal Irregularly Collected Longitudinal Smartphone Data
Wang et al. Revealing the temporal dynamics in non-invasive electrophysiological recordings with topography-based analyses
CN113065595A (zh) 一种用于在线视频学习的基于眼动信号的情感识别方法
Xue et al. Inferring monosynaptic connections from paired dendritic spine Ca2+ imaging and large-scale recording of extracellular spiking
CN115429293B (zh) 一种基于脉冲神经网络的睡眠类型分类方法和装置
Bandyopadhyay et al. Associating unemployment with panic attack using stacked-RNN model during COVID-19
Ghadimi et al. Inferring deep brain stimulation induced short-term synaptic plasticity using novel dual optimization algorithm
CN113827256B (zh) 基于脑电微状态的疲劳检测方法、装置、终端及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20200601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210107

R150 Certificate of patent or registration of utility model

Ref document number: 6825770

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350