JP2017175965A - 画像処理装置、画像処理方法、及び画像処理システム - Google Patents
画像処理装置、画像処理方法、及び画像処理システム Download PDFInfo
- Publication number
- JP2017175965A JP2017175965A JP2016064880A JP2016064880A JP2017175965A JP 2017175965 A JP2017175965 A JP 2017175965A JP 2016064880 A JP2016064880 A JP 2016064880A JP 2016064880 A JP2016064880 A JP 2016064880A JP 2017175965 A JP2017175965 A JP 2017175965A
- Authority
- JP
- Japan
- Prior art keywords
- evaluation value
- image processing
- point
- motion vector
- convergence point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- C—CHEMISTRY; METALLURGY
- C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
- C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
- C12M1/00—Apparatus for enzymology or microbiology
- C12M1/34—Measuring or testing with condition measuring or sensing means, e.g. colony counters
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Abstract
【課題】細胞の動きの収束点を求めるとともに、収束する動きの強さを求める。
【解決手段】本開示に係る画像処理装置は、画像内の複数の位置で動きベクトルを取得する動きベクトル取得部と、複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得する評価値取得部と、前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出する収束点抽出部と、を備える。この構成により、細胞の動きの収束点を求めるとともに、収束する動きの強さを求めることが可能となる。
【選択図】図1
【解決手段】本開示に係る画像処理装置は、画像内の複数の位置で動きベクトルを取得する動きベクトル取得部と、複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得する評価値取得部と、前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出する収束点抽出部と、を備える。この構成により、細胞の動きの収束点を求めるとともに、収束する動きの強さを求めることが可能となる。
【選択図】図1
Description
本開示は、画像処理装置、画像処理方法、及び画像処理システムに関する。
従来、例えば下記の特許文献1には、画像特徴量の時系列変化に基づいて心筋細胞の
周期的な拍動運動を検出し、心筋細胞の拍動運動の中心を検出することを想定した技術が記載されている。また、下記の特許文献2には、細胞の拍動の伝播方向をヒストグラム表示することが記載されている。
周期的な拍動運動を検出し、心筋細胞の拍動運動の中心を検出することを想定した技術が記載されている。また、下記の特許文献2には、細胞の拍動の伝播方向をヒストグラム表示することが記載されている。
しかしながら、上記特許文献1に記載された技術は、心筋細胞の拍動運動の中心を検出することは想定しているが、拍動の強さを求めることは何ら想定していなかった。このため、誤差等の要因により動きの小さい細胞が拍動中心として検出されてしまう可能性があり、拍動の強さを定量的に評価することが困難であった。特許文献2に記載された技術においても、拍動の伝播方向を解析することは想定しているが、細胞の動きが収束する収束点を求めることや、その動きが収束する強さを定量的に評価することは想定していなかった。
そこで、細胞の動きの収束点を求めるとともに、収束する動きの強さを求めることが求められていた。
本開示によれば、画像内の複数の位置で動きベクトルを取得する動きベクトル取得部と、複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得する評価値取得部と、前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出する収束点抽出部と、を備える、画像処理装置が提供される。
また、本開示によれば、画像内の複数の位置で動きベクトルを取得することと、複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得することと、前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出することと、を備える、画像処理装置が提供される。
また、本開示によれば、生体細胞を含む画像を撮像する撮像装置と、前記撮像装置が撮像した画像内の複数の位置で動きベクトルを取得する動きベクトル取得部と、複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得する評価値取得部と、前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出する収束点抽出部と、を有する画像処理装置と、前記画像処理装置により抽出された前記収束点を表示する表示装置と、を備える、画像処理システムが提供される。
以上説明したように本開示によれば、細胞の動きの収束点を求めるとともに、収束する動きの強さを求めることが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.システムの構成例
2.画像処理装置の構成
3.動きの収束点の算出
4.動き方向ヒストグラムの例
5.細胞分裂の評価
6.細胞遊走、浸潤の評価
7.細胞発生、分化、組織形成の評価
1.システムの構成例
2.画像処理装置の構成
3.動きの収束点の算出
4.動き方向ヒストグラムの例
5.細胞分裂の評価
6.細胞遊走、浸潤の評価
7.細胞発生、分化、組織形成の評価
1.システムの構成例
例えば再生医療においては、生体より採取された細胞を培養して製造される細胞組織である培養細胞を利用して各種の人体の組織、器官などを治療することが行われる。心筋細胞を培養した培養細胞である培養心筋細胞は、例えば、心臓の治療等に利用される可能性がある。また、創薬における心臓への毒性評価にも利用される。
例えば再生医療においては、生体より採取された細胞を培養して製造される細胞組織である培養細胞を利用して各種の人体の組織、器官などを治療することが行われる。心筋細胞を培養した培養細胞である培養心筋細胞は、例えば、心臓の治療等に利用される可能性がある。また、創薬における心臓への毒性評価にも利用される。
細胞や組織には極性があり、極性は細胞や組織の機能に重要である。細胞や組織の極性を評価する方法としては、単純に形態(形)による方法や極性を形成する分子や細胞などを染色し、その分布により評価する方法がある。染色する方法は侵襲的であり、形態を評価する方法は定量的に評価することが比較的困難である。
生体には階層構造があり、臓器は組織で構成され、組織は細胞で構成され、細胞は細胞内器官で構成され、細胞内器官は分子で構成される。染色や形態評価による生体組織の極性評価は、対象の構造の下の階層の構造の配向性を染色や吸収スペクトルの違いによる形態から評価していると考えることができる。
生体の極性を評価する際に対象が生きた状態であれば、対象の下の階層の構造物は極性、配向性に沿って動的に配置されるはずである。つまり動的な解析、下層の構造物の動きの方向性を解析することで対象の極性、配向性の大きさを定量的に評価ができる。本開示は、対象物に内包される構造物の動きの方向性を評価、表示することで生体の極性を定量的に評価するものである。
図1は、本開示の一実施形態に係る評価システム1000の構成例を示すブロック図である。評価システム1000は、培養細胞(観察対象物)300の動きを観察することにより、その培養細胞300の評価を行う装置である。評価システム1000は、撮像装置100、画像処理装置200、表示装置400、操作入力装置500を有している。表示装置400は、液晶ディスプレイ(LCD)等から構成される。また、操作入力装置500は、マウス、キーボード、タッチセンサ等から構成される。
撮像装置100は、CMOSセンサー等の撮像素子を有して構成され、観察対象である培養細胞300を撮像する。撮像装置100は、培養細胞300を直接(他の部材を介さずに)撮像してもよいし、例えば顕微鏡等のような他の部材、光学系を介して培養細胞300を撮像してもよい。
また、培養細胞300は、撮像装置100に対して固定されていてもよいし、固定されていなくてもよい。評価システム1000は、動き(位置の時間的変化)を検出するため、一般的には、培養細胞300が撮像装置100に対して固定されている方が望ましい。
撮像装置100は、所定の期間培養細胞300を撮像する。つまり、撮像装置100は、培養細胞300を被写体とする動画像を得る。撮像装置100は、撮像により得られた培養細胞300の画像の画像信号(動画像)を画像処理装置200に供給する。なお、撮像装置100は、動画像の代わりに、培養細胞300を被写体とする、撮影時間の異なる1又は複数の静止画像を得ても良い。
画像処理装置200は、撮像装置100から供給される画像信号を基にして、培養細胞300の動きの収束点、動き方向ヒストグラムを解析し、生成した画像データを例えば内部の記録媒体に記録して保存する。また、画像処理装置200は、培養細胞300の動きの収束点、動き方向ヒストグラムを解析した結果を表示するための表示情報を生成し、表示装置400に送ることで表示させる。
2.画像処理装置の構成
画像処理装置200は、動きベクトル取得部202、評価値取得部204、収束点抽出部206、動き方向ヒストグラム生成部208、トラッキング部209、表示処理部210、操作情報取得部212を有して構成される。動きベクトル取得部202は、動画のフレーム毎に特徴点を検出し、フレーム毎に特徴点の動きを比較することで、フレーム内の各画素における動きベクトルを公知の手法により取得する。評価値取得部204は、後述する第1又は第2の算出法により、評価値E1,E2を取得する。収束点抽出部206は、評価値E1,E2に基づいて収束点を抽出する。動き方向ヒストグラム生成部208は、各画素の動きベクトルの方向に基づいて、動き方向ヒストグラムを生成する。トラッキング部209が、細胞などの対象の輪郭をトラッキングする。表示処理部210は、画像信号による画像、収束点抽出部206により抽出された収束点、動き方向ヒストグラム生成部208によって生成されて動き方向ヒストグラム、を表示装置400に表示するための表示情報を生成し、表示装置400へ送る。操作情報取得部212は、マウス、キーボード、タッチセンサ等の操作入力装置500から入力された操作情報を取得する。なお、画像処理装置200の各構成要素は、CPUなどの中央演算処理装置と、これを機能させるためのプログラム(ソフトウェア)から構成されることができる。
画像処理装置200は、動きベクトル取得部202、評価値取得部204、収束点抽出部206、動き方向ヒストグラム生成部208、トラッキング部209、表示処理部210、操作情報取得部212を有して構成される。動きベクトル取得部202は、動画のフレーム毎に特徴点を検出し、フレーム毎に特徴点の動きを比較することで、フレーム内の各画素における動きベクトルを公知の手法により取得する。評価値取得部204は、後述する第1又は第2の算出法により、評価値E1,E2を取得する。収束点抽出部206は、評価値E1,E2に基づいて収束点を抽出する。動き方向ヒストグラム生成部208は、各画素の動きベクトルの方向に基づいて、動き方向ヒストグラムを生成する。トラッキング部209が、細胞などの対象の輪郭をトラッキングする。表示処理部210は、画像信号による画像、収束点抽出部206により抽出された収束点、動き方向ヒストグラム生成部208によって生成されて動き方向ヒストグラム、を表示装置400に表示するための表示情報を生成し、表示装置400へ送る。操作情報取得部212は、マウス、キーボード、タッチセンサ等の操作入力装置500から入力された操作情報を取得する。なお、画像処理装置200の各構成要素は、CPUなどの中央演算処理装置と、これを機能させるためのプログラム(ソフトウェア)から構成されることができる。
3.動きの収束点の算出
次に、収束点の算出法について説明する。図2〜図4は、第1の算出法を説明するための模式図である。評価値取得部204は、細胞の画像中の各画素に対応する各点(x,y)を注目点として、以下の式(1)から注目点毎に評価値E1を算出する。図2に示すように、式(1)中のv’(i,j)は動きベクトルv(i,j)の注目点方向の成分である。注目点方向は、注目点(x,y)から動きベクトルv(i,j)の始点sに向かう方向である。各対象点について、画像中の任意の画素に対応する注目点を設定し、式(1)から評価値E1を算出する。w(d)は対象点と動きベクトルとの距離dから求まる重み係数であり、図3に示す特性に基づいて算出される。図3に示すように、距離dが大きくなるほど重み係数w(d)の値は小さくなり、距離dが所定値d1以上の場合、重み係数w(d)は0となる。従って、注目点に近い動きベクトルの相関性が高くなり、注目点から始点が距離s以上離れている動きベクトルvは評価値E1の算出に考慮されないことになる。
次に、収束点の算出法について説明する。図2〜図4は、第1の算出法を説明するための模式図である。評価値取得部204は、細胞の画像中の各画素に対応する各点(x,y)を注目点として、以下の式(1)から注目点毎に評価値E1を算出する。図2に示すように、式(1)中のv’(i,j)は動きベクトルv(i,j)の注目点方向の成分である。注目点方向は、注目点(x,y)から動きベクトルv(i,j)の始点sに向かう方向である。各対象点について、画像中の任意の画素に対応する注目点を設定し、式(1)から評価値E1を算出する。w(d)は対象点と動きベクトルとの距離dから求まる重み係数であり、図3に示す特性に基づいて算出される。図3に示すように、距離dが大きくなるほど重み係数w(d)の値は小さくなり、距離dが所定値d1以上の場合、重み係数w(d)は0となる。従って、注目点に近い動きベクトルの相関性が高くなり、注目点から始点が距離s以上離れている動きベクトルvは評価値E1の算出に考慮されないことになる。
評価値E1が大きい注目点ほど、動きベクトルvの注目点方向成分が大きいため、その点に向かうより大きな動きが生じていると判定できる。換言すれば、評価値E1の値が大きいほどその点に向かう動きが強いため、収束の動きが強い収束点であるといえる。収束点抽出部206は、評価値E1が極大となる点を探索するため、しきい値Eminとしきい値Dminに基づいて、以下の条件を満たすN個の点を収束点Pとする。以下の条件式において、Dは、最近接収束点との距離である。これにより、図4に示すような複数の収束点を得ることができる。図4は、表示処理部210により、評価値E1に応じた収束点の強さを示すための表示情報を生成し、表示情報に基づいて表示装置400が表示を行った状態を示している。
E1>Emin
D>Dmin
E1>Emin
D>Dmin
図5〜図8は、第2の算出法を説明するための模式図である。第1の算出法では動きベクトルvの注目点方向の成分を用いたが、第2の算出法では動きベクトルv自体を用いる。第2の算出法では、細胞の画像中の各画素に対応する各点(x,y)を注目点として、以下の式(2)から注目点毎に評価値E2を算出する。以下の式(2)によれば、動きベクトルの大きさと、注目点(x,y)から動きベクトルの始点sまでの距離l、距離sに応じた重み係数wd(d)、重み係数wl(l)から、評価値E2が算出される。図5に示すように、距離lは注目点(x,y)と始点sとの間の距離の注目点方向と直交する方向の成分であり、距離dは注目点(x,y)と始点sとの間の距離の注目点方向の成分である。図6は重み係数wd(d)を算出するための特性を示す模式図であり、図7は重み係数wl(l)を算出するための特性を示す模式図である。
評価置E1と同様、評価値E2が大きい注目点ほど、動きベクトルvの注目点方向成分が大きいため、その点でより大きな動きが生じていると判定できる。換言すれば、評価値E2の値が大きいほどその点に向かう動きが強いため、収束の動きが強い収束点であるといえる。評価値E2が極大となる点を探索するため、しきい値Eminとしきい値Dminに基づいて、以下の条件を満たすN個の点を収束点Pとする。以下の式において、Dは、最近接収束点との距離である。これにより、図8に示すような複数の収束点を得ることができる。
E2>Emin
D>Dmin
E2>Emin
D>Dmin
なお、図3、図6、図7に示す重み係数の特性は、観察対象物に応じて変化させても良い。例えば、動きの大きな細胞を評価する場合は、重み係数が0になる距離dの値を大きくする。また、細胞分裂を観察する場合など、1つの細胞内を観察する場合は、重み係数が0になる距離dの値は、細胞の大きさよりも小さくしても良い。重み係数が0になる距離dの値を小さくするほど、評価値E1,E2を計算するための処理量を低減できる。
図9は、以上の方法で得られた評価値E2に基づく収束点Pを可視化し、表示装置400に表示した状態を示している。なお、図9では、評価値E2に基づく可視化を示しているが、評価値E1についても同様である。図9に示す右側上段の例では、評価値E2が大きい収束点ほど、収束点Pの位置に描かれた円Cの半径を大きくしている。これにより、円Cの大きさに基づいて評価値E2の大きさを視覚的に認識することができる。また、図9に示す右側下段の例では、円Cの大きさで表す代わりに、円Cの大きさは同じにして、円Cの濃度で評価値E2の大きさを可視化しており、評価値E2が大きい収束点ほど、円Cの濃度を濃くしている。また、評価値E2が大きいほど円Cの色を明るい色にするなど、色で可視化をしても良い。
図9において、しきい値Emin、Dminの値は、画像中にN個の収束点Pが存在するように適宜調整することができる。例えば、図9に示すようなしきい値Emin、Dminの値を示すインジケータ410を表示し、ユーザが操作入力装置500を操作することでインジケータ410を変化させ、しきい値Emin、Dminの値を調整できるようにする。しきい値Eminの値を変化させると、図9中に表示される収束点Pの数が増減し、しきい値Eminの値を増加するほど収束点の数は減少する。また、しきい値Dminの値を変化させると、図9中に表示される収束点Pの数が増減し、しきい値Dminの値を増加するほど収束点の数は減少する。
従って、ユーザは、インジケータ410に示されたしきい値Emin、Dminの値を変更することで、収束点の数を適宜調整することができる。例えば、1つの細胞が2つに分裂する過程では、正常な分裂であれば収束点Pは2つ存在する。従って、ユーザはインジケータ410に示されたしきい値Emin、Dminの値を変更することで、収束点Pが2つになるように調整することで、誤差等の要因で生じている軽度の収束点を表示しないようにすることができる。一方、細胞分裂を観察する過程で、インジケータ410を変更しても3つの収束点Pが存在する場合は、異常な細胞分裂が発生していることを認識できる。
4.動き方向ヒストグラムの例
次に、動き方向ヒストグラム生成部208による動き方向ヒストグラムの生成について説明する。図10は、画像中の各画素の動きベクトルを示す模式図である。図10に示すように、画像の水平方向を基準として、動きベクトルの方向を示す角度θが定まる。図11は、複数の動きベクトルを合成した例を示す模式図である。動き方向ヒストグラムを生成する際には、各動きベクトルからヒストグラムを生成しても良いし、図11のように合成したベクトルからヒストグラムを生成しても良い。
次に、動き方向ヒストグラム生成部208による動き方向ヒストグラムの生成について説明する。図10は、画像中の各画素の動きベクトルを示す模式図である。図10に示すように、画像の水平方向を基準として、動きベクトルの方向を示す角度θが定まる。図11は、複数の動きベクトルを合成した例を示す模式図である。動き方向ヒストグラムを生成する際には、各動きベクトルからヒストグラムを生成しても良いし、図11のように合成したベクトルからヒストグラムを生成しても良い。
図12は、動き方向ヒストグラムを示す模式図であって、画像中の各画素の動きベクトルについて、角度θに応じた度数fを示している。動きベクトルを抽出する範囲は、画像全体であっても良いし、画像の特定の範囲(例えば、1つの細胞の範囲)であっても良い。
図13は、図12のヒストグラムに基づいて、動きベクトルの角度θを円周方向、度数fを半径方向として極座標表示することで、動きベクトルの方向の偏りを可視化したものである。
図14は、図13に示すヒストグラムを時間軸tに沿って時系列で算出し、表示したものである。また、図15は、図13に示すヒストグラムを空間(θ,f,t)に3D表示したものである。図14及び図15に示す表示例によれば、時間の経過に伴って動きベクトルの方向が変化する様子を視覚的に認識することが可能となる。
図12〜図15において、特定の方向の動きベクトルの度数fが高い場合は、観察対象において、その方向に向かう移動が生じていると認識できる。例えば、図14及び図15に示す時刻t=2では、45度⇔135度方向の動きベクトルが多く、その方向に動きが生じていることが判る。このように、動き方向ヒストグラムを極座標に示した場合に、度数fが楕円状に分布する場合は、楕円の長辺方向に沿った角度に動きが生じていることが判る。より具体的には、楕円の短辺方向の長さが短く、楕円が細長くなるほど、収束点Pに向かう動きが強くなる。従って、動き方向ヒストグラムを評価することで、細胞分裂の方向、細胞が移動する方向、細胞の組織の方向などの特定することが可能である。更に、収束点Pの位置とともに動き方向ヒストグラムを評価することで、細胞分裂の方向、細胞が移動する方向、細胞の組織の方向などの特定を高精度に行うことが可能である。
5.細胞分裂の評価
次に、上述した収束点Pと動き方向ヒストグラムによる細胞分裂の評価について説明する。図16は、細胞分裂の様子を示す模式図である。細胞分裂の際には、染色体が細胞骨格の一つである微小管により紡錘体板の方向に引かれるかたちで2極の正しい方向に分裂が行われる。従って、紡錘体板は収束点Pに相当する。分裂時に限らず、細胞内小胞輸送などの細胞内器官の輸送は、微小管に沿って行われる。つまり染色体やその他細胞内器官の動きの方向性を評価することで、分裂の極性を評価することができる。細胞骨格(微小管)の配向性により細胞内小器官の動き方向が限定される。動き方向ヒストグラムによる評価を行うことで、分裂方向、異常分裂(多極分裂)の評価が可能となる。
次に、上述した収束点Pと動き方向ヒストグラムによる細胞分裂の評価について説明する。図16は、細胞分裂の様子を示す模式図である。細胞分裂の際には、染色体が細胞骨格の一つである微小管により紡錘体板の方向に引かれるかたちで2極の正しい方向に分裂が行われる。従って、紡錘体板は収束点Pに相当する。分裂時に限らず、細胞内小胞輸送などの細胞内器官の輸送は、微小管に沿って行われる。つまり染色体やその他細胞内器官の動きの方向性を評価することで、分裂の極性を評価することができる。細胞骨格(微小管)の配向性により細胞内小器官の動き方向が限定される。動き方向ヒストグラムによる評価を行うことで、分裂方向、異常分裂(多極分裂)の評価が可能となる。
図17は、細胞分裂の際の収束点Pの位置と、動き方向ヒストグラムを解析した結果を示す模式図である。図17に示す例では、骨肉種由来のU2OS細胞の細胞分裂の前後に、5分間隔で5フレーム/秒、300フレームの動画像を撮影し、動きベクトル解析を行い、動き方向ヒストグラムを解析した。0分経過時(0min)、5分経過時(5min)、10分経過時(10min)、15分経過時(15min)、20分経過時(20min)のそれぞれのヒストグラムは、300フレームで抽出した動きベクトルの合計の度数を角度別に示している。図17では、動き方向ヒストグラムとして、図12に示したような通常のヒストグラムと、図13に示したような極座標表示のヒストグラムを共に示している。また、図17では、元画像と、元画像に収束点Pを重畳した画像を共に示している。そして、図17では、これらのヒストグラムと画像が時間の経過(0min→5min→10min→15min)に伴って変化する様子を示している。
図17の元画像に示すように、0分経過時(0min)では1つの細胞であったものが、15分経過時には水平方向(0〜180度方向)に2つの細胞に分裂していることが判る。図17において、元画像に収束点Pを重畳した画像では、収束点Pを示す円Cの大きさは、図9に示したように、収束点Pの強さに応じた大きさとしている。また、元画像中に示した矩形の枠Aは、動きベクトルを抽出する範囲を示している。一例として、枠Aは、細胞の大きさ、形状をトラッキング部209によりトラッキングし、細胞の大きさよりも僅かに小さい範囲に設定する。トラッキング部209によるトラッキングでは、機械学習や画像処理を使って細胞の形状を求めることができる。また、画像の輝度値に基づいて、細胞の輪郭をトラッキングすることもできる。これにより、枠Aを細胞よりも小さい範囲に設定することで、細胞の輪郭周辺において、輪郭に沿った方向の動きベクトルによる誤差要因を排除することができる。また、枠Aは、ユーザが操作入力装置500を操作することで設定しても良い。
図17に示すように、細胞分裂が完了する15分経過時までは、細胞が分裂する0〜180度方向に動きベクトルの度数のピークが維持され、90度〜270度方向の度数は極小値となっている。従って、動き方向ヒストグラムから、水平方向(0〜180度方向)に分裂が生じていることが判る。また、分裂後の20分経過時には、動き方向ヒストグラムが異なったプロファイルに変化しており、20分経過時よりも前に分裂が完了したことが、動き方向ヒストグラムから判る。また、分裂開始の0分から細胞分裂に至る10分経過時までは円Cが時間の経過とともに大きくなり、収束点Pが強くなっていることが判る。また、分裂後の20分経過時には、今までの分裂とは異なる収束点P(円C)が出現し、新たな分裂に向けた動きが始まっていることが判る。
以上のように、収束点Pと動き方向ヒストグラムを評価することで、分裂の極性、紡錘体板の位置を推定することができる。そして、紡錘体板の位置、時空間的な出現頻度から、多極分裂などの異常分裂を評価することができる。また、染色体の動きから染色体の異常分配などを評価することができる。更に、図17に示すような時系列の三次元評価を行うことで、分裂の持続時間、間隔を評価することができる。
6.細胞遊走、浸潤の評価
図18は、細胞の遊走を示す模式図である。図18では、複数の細胞200が誘引源210に向かって遊走している例を示している。誘引源210としては、例えば栄養源などが挙げられる。また、細胞200が精子の場合、誘引源210として卵子が挙げられる。誘引源210は、細胞200が集まる収束点Pとなる。なお、図18では、細胞200が誘引源210に向かって遊走する様子を示しているが、細胞が湿潤する場合も、湿潤する方向に応じて動きベクトルが生じるため、同様に評価することが可能である。
図18は、細胞の遊走を示す模式図である。図18では、複数の細胞200が誘引源210に向かって遊走している例を示している。誘引源210としては、例えば栄養源などが挙げられる。また、細胞200が精子の場合、誘引源210として卵子が挙げられる。誘引源210は、細胞200が集まる収束点Pとなる。なお、図18では、細胞200が誘引源210に向かって遊走する様子を示しているが、細胞が湿潤する場合も、湿潤する方向に応じて動きベクトルが生じるため、同様に評価することが可能である。
図19は、細胞200が誘引源210に向かって遊走する様子を時系列的に示した図であって、時刻t1経過時と時刻t2経過時の様子を示している。また、図19では、時刻t1経過時と時刻t2経過時のそれぞれにおいて、動き方向ヒストグラムを極座標表示で示している。
図19に示すように、時刻t1から時刻t2へ遷移し、細胞200が誘引源210に近づくにつれて、収束点Pの強さを示す円Cが大きくなっていることが判る。また、時刻t1から時刻t2へ遷移する過程において、動き方向ヒストグラムは、0度方向の動きベクトルの度数fが大きくなっている。これにより、0度方向に誘引源があり、時間の経過とともに誘引が強くなっていることが判る。従って、収束点Pと動き方向ヒストグラムに基づいて、細胞200の動き、誘引性を高精度に評価することが可能である。また、誘引源210から供給される栄養源などの誘引物質は、時間の経過とともにその量が変化することが考えられる。このような場合においても、収束点の強さの時系列的な変化、動き方向ヒストグラムの時系列的な変化を評価することで、例えば誘引物質の供給が周期的に変化していることなどを解析可能である。
以上のように、図18及び図19によれば、細胞200の遊走、浸潤の方向性を評価することができる。また、遊走、浸潤の誘引物質の放出源の位置を推定することができる。更に、時系列の三次元評価を行うことで、誘引源210の時間的な放出プロファイルを評価することができる。
7.細胞発生、分化、組織形成の評価
図20は、細胞の配向性を示す模式図である。図20に示す例では、両端の収束点230に対して細胞220の配向性が悪い成組織(時刻t11)から、配向性が良い成組織(時刻t12)へ遷移していく様子を時系列的に示している。また、図20では、時刻t11経過時と時刻t12経過時のそれぞれにおいて、動き方向ヒストグラムを極座標表示で示している。
図20は、細胞の配向性を示す模式図である。図20に示す例では、両端の収束点230に対して細胞220の配向性が悪い成組織(時刻t11)から、配向性が良い成組織(時刻t12)へ遷移していく様子を時系列的に示している。また、図20では、時刻t11経過時と時刻t12経過時のそれぞれにおいて、動き方向ヒストグラムを極座標表示で示している。
各細胞220は矢印方向に収縮と拡張を行っている。図20に示すように、配向性が悪い成組織から配向性の良い成組織へ遷移するにつれて、収縮、拡張の方向が一定方向に揃っていくため、収束点Pの強さを示す円Cが大きくなる。また、配向性が悪い成組織から配向性の良い成組織へ遷移するにつれて、動き方向ヒストグラムにおいて、収縮、拡張の方向と一致する方向の動きベクトルの度数fが大きくなっていることが判る。従って、収束点Pと動き方向ヒストグラムに基づいて、成組織の配向性を高精度に評価することが可能である。
以上のように、図20によれば、細胞の動き方向から組織の配向性を評価することができる。また、細胞内構造の動き方向から細胞の配向性を評価することができる。更に、時系列の三次元評価を行うことで、細胞、組織の成熟や破壊過程を評価することができる。
以上説明したように本実施形態によれば、動きベクトルに基づいて収束点Pを抽出するとともに、評価値E1,E2から収束点Pにおける収束の強さを評価することができる。これにより、細胞分裂や細胞の遊走、配向性を高い精度で評価することが可能となる。更に、動き方向ヒストグラムと収束点Pの評価を併用することで、より高精度な細胞の評価を行うことが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1) 画像内の複数の位置で動きベクトルを取得する動きベクトル取得部と、
複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得する評価値取得部と、
前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出する収束点抽出部と、
を備える、画像処理装置。
(2) 前記評価値取得部は、複数の前記動きベクトルのそれぞれの位置と画像内の任意の前記注目点との距離に応じて、前記注目点毎に前記複数の動きベクトルを積算して前記評価値を取得する、前記(1)に記載の画像処理装置。
(3) 前記収束点抽出部は、前記評価値が所定値以上の前記注目点を前記収束点として抽出する、前記(1)又は(2)に記載の画像処理装置。
(4) 前記評価値の大きさに応じて前記収束点に係る収束の動きの強さを表示するための処理を行う表示処理部を備える、前記(1)〜(3)のいずれかに記載の画像処理装置。
(5) 前記表示処理部は、前記収束点に係る収束の動きの強さを、前記収束点の大きさを変えることで表示する、前記(4)に記載の画像処理装置。
(6) 前記表示処理部は、前記収束点に係る収束の動きの強さを、前記収束点の濃度、又は色を変えることで表示する、前記(4)に記載の画像処理装置。
(7) 前記評価値取得部は、前記距離が大きい動きベクトルほど前記動きベクトルの値を小さくして積算する、前記(2)〜(6)のいずれかに記載の画像処理装置。
(8) 前記評価値取得部は、前記動きベクトルの始点と前記注目点を結ぶ方向の前記動きベクトルの成分を積算して前記評価値を取得する、前記(2)〜(7)のいずれかに記載の画像処理装置。
(9) 前記動きベクトルの方向と前記動きベクトルの度数の関係を表す動き方向ヒストグラムを生成する動き方向ヒストグラム生成部を備える、前記(1)〜(8)のいずれかに記載の画像処理装置。
(10) 前記動き方向ヒストグラム生成部は、時系列的な変化を含む前記動き方向ヒストグラムを生成する、前記(9)に記載の画像処理装置。
(11) 前記評価値の大きさに応じて前記収束点に係る収束の動きの強さを表示するための処理と、前記動き方向ヒストグラムを表示するための処理とを行う表示処理部を備える、前記(9)又は(10)に記載の画像処理装置。
(12) 前記画像は生体細胞を撮像して取得される、前記(1)〜(11)のいずれかに記載の画像処理装置。
(13) 画像内の複数の位置で動きベクトルを取得することと、
複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得することと、
前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出することと、
を備える、画像処理装置。
(14) 生体細胞を含む画像を撮像する撮像装置と、
前記撮像装置が撮像した画像内の複数の位置で動きベクトルを取得する動きベクトル取得部と、複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得する評価値取得部と、前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出する収束点抽出部と、を有する画像処理装置と、
前記画像処理装置により抽出された前記収束点を表示する表示装置と、
を備える、画像処理システム。
(1) 画像内の複数の位置で動きベクトルを取得する動きベクトル取得部と、
複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得する評価値取得部と、
前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出する収束点抽出部と、
を備える、画像処理装置。
(2) 前記評価値取得部は、複数の前記動きベクトルのそれぞれの位置と画像内の任意の前記注目点との距離に応じて、前記注目点毎に前記複数の動きベクトルを積算して前記評価値を取得する、前記(1)に記載の画像処理装置。
(3) 前記収束点抽出部は、前記評価値が所定値以上の前記注目点を前記収束点として抽出する、前記(1)又は(2)に記載の画像処理装置。
(4) 前記評価値の大きさに応じて前記収束点に係る収束の動きの強さを表示するための処理を行う表示処理部を備える、前記(1)〜(3)のいずれかに記載の画像処理装置。
(5) 前記表示処理部は、前記収束点に係る収束の動きの強さを、前記収束点の大きさを変えることで表示する、前記(4)に記載の画像処理装置。
(6) 前記表示処理部は、前記収束点に係る収束の動きの強さを、前記収束点の濃度、又は色を変えることで表示する、前記(4)に記載の画像処理装置。
(7) 前記評価値取得部は、前記距離が大きい動きベクトルほど前記動きベクトルの値を小さくして積算する、前記(2)〜(6)のいずれかに記載の画像処理装置。
(8) 前記評価値取得部は、前記動きベクトルの始点と前記注目点を結ぶ方向の前記動きベクトルの成分を積算して前記評価値を取得する、前記(2)〜(7)のいずれかに記載の画像処理装置。
(9) 前記動きベクトルの方向と前記動きベクトルの度数の関係を表す動き方向ヒストグラムを生成する動き方向ヒストグラム生成部を備える、前記(1)〜(8)のいずれかに記載の画像処理装置。
(10) 前記動き方向ヒストグラム生成部は、時系列的な変化を含む前記動き方向ヒストグラムを生成する、前記(9)に記載の画像処理装置。
(11) 前記評価値の大きさに応じて前記収束点に係る収束の動きの強さを表示するための処理と、前記動き方向ヒストグラムを表示するための処理とを行う表示処理部を備える、前記(9)又は(10)に記載の画像処理装置。
(12) 前記画像は生体細胞を撮像して取得される、前記(1)〜(11)のいずれかに記載の画像処理装置。
(13) 画像内の複数の位置で動きベクトルを取得することと、
複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得することと、
前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出することと、
を備える、画像処理装置。
(14) 生体細胞を含む画像を撮像する撮像装置と、
前記撮像装置が撮像した画像内の複数の位置で動きベクトルを取得する動きベクトル取得部と、複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得する評価値取得部と、前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出する収束点抽出部と、を有する画像処理装置と、
前記画像処理装置により抽出された前記収束点を表示する表示装置と、
を備える、画像処理システム。
100 撮像装置
200 画像処理装置
202 動きベクトル取得部
204 評価値取得部
206 収束点抽出部
208 動き方向ヒストグラム生成部
210 表示処理部
200 画像処理装置
202 動きベクトル取得部
204 評価値取得部
206 収束点抽出部
208 動き方向ヒストグラム生成部
210 表示処理部
Claims (14)
- 画像内の複数の位置で動きベクトルを取得する動きベクトル取得部と、
複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得する評価値取得部と、
前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出する収束点抽出部と、
を備える、画像処理装置。 - 前記評価値取得部は、複数の前記動きベクトルのそれぞれの位置と画像内の任意の前記注目点との距離に応じて、前記注目点毎に前記複数の動きベクトルを積算して前記評価値を取得する、請求項1に記載の画像処理装置。
- 前記収束点抽出部は、前記評価値が所定値以上の前記注目点を前記収束点として抽出する、請求項1に記載の画像処理装置。
- 前記評価値の大きさに応じて前記収束点に係る収束の動きの強さを表示するための処理を行う表示処理部を備える、請求項1に記載の画像処理装置。
- 前記表示処理部は、前記収束点に係る収束の動きの強さを、前記収束点の大きさを変えることで表示する、請求項4に記載の画像処理装置。
- 前記表示処理部は、前記収束点に係る収束の動きの強さを、前記収束点の濃度、又は色を変えることで表示する、請求項4に記載の画像処理装置。
- 前記評価値取得部は、前記距離が大きい動きベクトルほど前記動きベクトルの値を小さくして積算する、請求項2に記載の画像処理装置。
- 前記評価値取得部は、前記動きベクトルの始点と前記注目点を結ぶ方向の前記動きベクトルの成分を積算して前記評価値を取得する、請求項2に記載の画像処理装置。
- 前記動きベクトルの方向と前記動きベクトルの度数の関係を表す動き方向ヒストグラムを生成する動き方向ヒストグラム生成部を備える、請求項1に記載の画像処理装置。
- 前記動き方向ヒストグラム生成部は、時系列的な変化を含む前記動き方向ヒストグラムを生成する、請求項9に記載の画像処理装置。
- 前記評価値の大きさに応じて前記収束点に係る収束の動きの強さを表示するための処理と、前記動き方向ヒストグラムを表示するための処理とを行う表示処理部を備える、請求項9に記載の画像処理装置。
- 前記画像は生体細胞を撮像して取得される、請求項1に記載の画像処理装置。
- 画像内の複数の位置で動きベクトルを取得することと、
複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得することと、
前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出することと、
を備える、画像処理装置。 - 生体細胞を含む画像を撮像する撮像装置と、
前記撮像装置が撮像した画像内の複数の位置で動きベクトルを取得する動きベクトル取得部と、複数の前記動きベクトルが任意の注目点に収束する強さを表す評価値を取得する評価値取得部と、前記評価値に基づいて、前記注目点の中から前記動きベクトルが収束する収束点を抽出する収束点抽出部と、を有する画像処理装置と、
前記画像処理装置により抽出された前記収束点を表示する表示装置と、
を備える、画像処理システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016064880A JP2017175965A (ja) | 2016-03-29 | 2016-03-29 | 画像処理装置、画像処理方法、及び画像処理システム |
PCT/JP2017/007193 WO2017169397A1 (ja) | 2016-03-29 | 2017-02-24 | 画像処理装置、画像処理方法、及び画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016064880A JP2017175965A (ja) | 2016-03-29 | 2016-03-29 | 画像処理装置、画像処理方法、及び画像処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017175965A true JP2017175965A (ja) | 2017-10-05 |
Family
ID=59963136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016064880A Pending JP2017175965A (ja) | 2016-03-29 | 2016-03-29 | 画像処理装置、画像処理方法、及び画像処理システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2017175965A (ja) |
WO (1) | WO2017169397A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2019135268A1 (ja) * | 2018-01-04 | 2020-12-10 | オリンパス株式会社 | 細胞画像処理装置、細胞画像処理方法および細胞画像処理プログラム |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7001060B2 (ja) * | 2016-11-02 | 2022-01-19 | ソニーグループ株式会社 | 情報処理装置、情報処理方法及び情報処理システム |
WO2024010020A1 (ja) * | 2022-07-08 | 2024-01-11 | 王子ホールディングス株式会社 | 培養細胞シートおよびその製造方法、化合物または薬物の評価方法、並びに培養細胞シートの品質評価方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2476072A1 (en) * | 2002-02-13 | 2003-09-18 | Reify Corporation | Method and apparatus for acquisition, compression, and characterization of spatiotemporal signals |
JP2009261798A (ja) * | 2008-04-28 | 2009-11-12 | Olympus Corp | 画像処理装置、画像処理プログラムおよび画像処理方法 |
JP6102166B2 (ja) * | 2012-10-10 | 2017-03-29 | 株式会社ニコン | 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置 |
EP2939212B1 (en) * | 2012-12-27 | 2018-07-11 | Tampereen Yliopisto | Visual cardiomyocyte analysis |
EP2998934B1 (en) * | 2013-05-16 | 2020-08-05 | Sony Corporation | Image processing device, image processing method, and program |
JP6217968B2 (ja) * | 2013-07-19 | 2017-10-25 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
-
2016
- 2016-03-29 JP JP2016064880A patent/JP2017175965A/ja active Pending
-
2017
- 2017-02-24 WO PCT/JP2017/007193 patent/WO2017169397A1/ja active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2019135268A1 (ja) * | 2018-01-04 | 2020-12-10 | オリンパス株式会社 | 細胞画像処理装置、細胞画像処理方法および細胞画像処理プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2017169397A1 (ja) | 2017-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6504417B2 (ja) | 心筋細胞評価装置および方法、並びに、プログラム | |
US10650534B2 (en) | Display control and image processing of a cell image | |
JP5828210B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
US10157459B2 (en) | Cell evaluation apparatus and method to search for an area to be observed in cardiomyocytes | |
US10929985B2 (en) | System and methods for tracking motion of biological cells | |
US20180342078A1 (en) | Information processing device, information processing method, and information processing system | |
WO2017169397A1 (ja) | 画像処理装置、画像処理方法、及び画像処理システム | |
JP6217968B2 (ja) | 画像処理装置および方法、並びにプログラム | |
JP7376677B2 (ja) | 画像処理システム、内視鏡システム及び内視鏡システムの作動方法 | |
Uher et al. | 3D brain tissue selection and segmentation from MRI | |
Flotho et al. | Lagrangian motion magnification revisited: Continuous, magnitude driven motion scaling for psychophysiological experiments | |
JP7439990B2 (ja) | 医療画像処理装置、医療画像処理プログラム、および医療画像処理方法 | |
JP6436142B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
JP6191888B2 (ja) | 画像処理装置および方法、並びに、プログラム | |
Ye et al. | Analysis of the Dynamical Biological Objects of Optical Microscopy | |
McIlroy et al. | In vivo classification of inflammation in blood vessels with convolutional neural networks | |
US20200020099A1 (en) | Information processing device, information processing system, and information processing method | |
Luo et al. | A comparison of modified evolutionary computation algorithms with applications to three-dimensional endoscopic camera motion tracking | |
Sprenger et al. | In-vivo markerless motion detection from volumetric optical coherence tomography data using CNNs | |
Vyacheslavovich et al. | Studying the influence of stem cells on the areas of ischemic brain damage using digital processing and cognitive visualization based on MRI data | |
Loftus | Fine spatiotemporal calcium signals and kinematic properties revealed by motion-corrected calcium images of contracting myometrium | |
Bur et al. | Motion integration in visual attention models for predicting simple dynamic scenes | |
WO2017061080A1 (en) | Information processing device, information processing method, and information processing system |