JP2020166894A - 情報処理装置、プログラム、情報処理方法及び観察システム - Google Patents

Abstract

【課題】観察対象物の動きの定量的な解析に適した情報処理装置、プログラム、情報処理方法及び観察システムを提供すること。【解決手段】本技術に係る情報処理装置は、特徴量抽出部と、プロット生成部とを具備する。特徴量抽出部は、観察対象物が経時的に撮像された動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、上記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出する。プロット生成部は、第１の特徴量と第２の特徴量をプロットしたプロット図を生成する。【選択図】図１

Description

本技術は、生化学分野における画像解析に利用することが可能な情報処理装置、プログラム、情報処理方法及び観察システムに関する。

画像処理技術の発展に伴い、細胞や生体組織の分析にも画像解析が利用されるようになっている。具体的には、細胞等の観察対象物を経時的に撮像した画像において動き解析を行い、動き速度や動き領域といった動きに関する特徴量を抽出して可視化することが可能である（例えば、特許文献１参照）。

上記のような技術は、顕微鏡等を介して撮像可能な細胞や生体組織であれば分析対象とすることが可能であり、例えば、がん細胞の遊走、神経細胞の突起伸張や心筋細胞の拍動といった種々の分析に応用可能である。

特開２０１４−１７９０６１号公報

しかしながら、動きに関する特徴量を可視化して生成された画像を参照しても、観察対象物の動きを定量的に把握することは困難であった。

以上のような事情に鑑み、本技術の目的は、観察対象物の動きの定量的な解析に適した情報処理装置、プログラム、情報処理方法及び観察システムを提供することにある。

上記目的を達成するため、本技術の一形態に係る情報処理装置は、特徴量抽出部と、プロット生成部とを具備する。
上記特徴量抽出部は、観察対象物が経時的に撮像された動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、上記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出する。
上記プロット生成部は、上記第１の特徴量と上記第２の特徴量をプロットしたプロット図を生成する。

第１の特徴量は、動画像を構成する少なくとも二枚の画像から得られる特徴量であり、観察対象物の動きに関する情報を含む。上記構成によれば、プロット図において第１の特徴量と第２の特徴量の相関を得ることができ、観察対象物の動きを定量的に把握することが可能となる。

上記特徴量抽出部は、上記動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から上記第２の特徴量を抽出してもよい。

第２の特徴量も、第１の特徴量と同様に観察対象物の動きに関する情報を含むものとすることができる。

上記情報処理装置は、上記動画像において分析範囲を設定する範囲設定部をさらに具備し、
上記特徴量抽出部は、上記分析範囲毎に上記第１の特徴量及び上記第２の特徴量を抽出し、
上記プロット生成部は、上記分析範囲毎に上記第１の特徴量と上記第２の特徴量をプロットしたプロット図を生成してもよい。

この構成によれば、分析範囲毎に観察対象物の動きを把握することが可能となる。

上記情報処理装置は、上記プロットに対してゲーティングを行うゲーティング部をさらに具備してもよい。

この構成によれば、所望の動きを表すプロットを抽出することが可能である。

上記情報処理装置は、上記ゲーティング部によるゲーティングの結果を可視化し、解析画像を生成する解析画像生成部をさらに具備してもよい。

この構成によれば、ゲーティングの結果を視覚的に把握することが可能となる。

上記範囲設定部は、上記動画像に対して画像処理を施し、上記画像処理の結果に基づいて上記分析範囲を設定してもよい。

この構成によれば、動画像に含まれる観察対象物（細胞等）を含むように分析範囲を設定することが可能となる。

上記動画像は上記観察対象物が異なる条件で撮像された第１の動画像と第２の動画像を含み、
上記プロット生成部は、上記第１の動画像から抽出された第１の特徴量及び第２の特徴量と、上記第２の動画像から抽出された第１の特徴量及び第２の特徴量をプロットしたプロット図を生成してもよい。

この構成によれば、第１の動画像と第２の動画像の間で特徴量の相関を得ることが可能であり、第１の動画像に含まれる観察対象物と第２の動画像に含まれる観察対象物の動きの相違を把握することが可能となる。

上記特徴量抽出部は、上記動画像に対して動き解析処理を施し、上記動き解析処理の結果に基づいて上記第１の特徴量を抽出してもよい。

この構成によれば、動き解析処理によって算出される特徴量（動き速度や動き領域）を利用して観察対象物の動きを定量的に把握することが可能となる。

上記目的を達成するため、本技術の一形態に係るプログラムは、特徴量抽出部と、プロット生成部とを具備する。
上記特徴量抽出部は、観察対象物が経時的に撮像された動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、上記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出する。
上記プロット生成部は、上記第１の特徴量と上記第２の特徴量をプロットしたプロット図を生成する。

上記目的を達成するため、本技術の一形態に係る情報処理方法は、特徴量抽出部が、観察対象物が経時的に撮像された動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、上記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出する。
プロット生成部が、上記第１の特徴量と上記第２の特徴量をプロットしたプロット図を生成する。

上記目的を達成するため、本技術の一形態に係る観察システムは、撮像装置と、情報処理装置とを具備する。
上記観察装置は、観察対象物を経時的に撮像し、動画像を生成する。
上記情報処理装置は、上記動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、上記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出する特徴量抽出部と、上記第１の特徴量と上記第２の特徴量をプロットしたプロット図を生成するプロット生成部とを備える。

以上のように、本技術によれば、観察対象物の動きの定量的な解析に適した情報処理装置、プログラム、情報処理方法及び観察システムを提供することが可能である。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術の実施形態に係る観察システムの構成を示す模式図である。 同観察システムが備える情報処理装置の動画像取得部が取得する動画像の模式図である。 同情報処理装置の範囲設定部によって設定される分析範囲の模式図である。 同情報処理装置の範囲設定部によって設定される分析範囲の模式図である。 同情報処理装置のプロット生成部によって生成されるプロット図である。 同情報処理装置のゲーティング部によるゲーティングの態様を示す模式図である。 同情報処理装置の解析画像生成部によって生成される解析画像である。 同情報処理装置のハードウェア構成を示す模式図である。 同情報処理装置の動作を示すフローチャートである。 本技術の変形例に係る観察システムが備える情報処理装置のプロット生成部によって生成されるプロット図である。 本技術の適用例における観察対象物の模式図である。 本技術の適用例に係る観察システムが備える情報処理装置の特徴量抽出部によって抽出される特徴量の時間変化を示すグラフである。 同情報処理装置の特徴量抽出部によって抽出される特徴量の時間変化を示すグラフである。 同情報処理装置の特徴量抽出部によって抽出される特徴量の時間変化を示すグラフである。 同情報処理装置の特徴量抽出部によって抽出される特徴量の時間変化を示すグラフである。 同情報処理装置のプロット生成部によって生成されるプロット図である。 本技術の実施例に係る動画像である。 本技術の実施例に係るプロット図である。 本技術の実施例に係る動画像である。 本技術の実施例に係るプロット図である。 本技術の実施例に係るプロット図である。 本技術の実施例に係る解析画像である。 本技術の実施例に係る解析画像である。 本技術の実施例に係る動画像である。 本技術の実施例に係るプロット図である。 本技術の実施例に係るプロット図である。 本技術の実施例に係る解析画像である。 本技術の実施例に係る解析画像である。 本技術の実施例に係る特徴量の時間変化を示すグラフである。 本技術の実施例に係る特徴量の時間変化を示すグラフである。 本技術の実施例に係る特徴量の時間変化を示すグラフである。 本技術の実施例に係る特徴量を可視化した画像である。 本技術の実施例に係る特徴量を可視化した画像である。 本技術の実施例に係る特徴量を可視化した画像である。 本技術の実施例に係るプロット図である。 本技術の実施例に係るプロット図である。 本技術の実施例に係るプロット図である。 本技術の実施例に係るプロット図である。 本技術の実施例に係る解析画像である。 本技術の実施例に係る動画像である。 本技術の実施例に係るプロット図である。 本技術の実施例に係る動きの波形パターンを示す模式図である 本技術の実施例に係る動画像である。 本技術の実施例に係る動画像である。 本技術の実施例に係るプロット図である。 本技術の実施例に係る解析画像である。

本実施形態に係る観察システムについて説明する。

［観察システムの構成］
図１は、本実施形態に係る観察システム１の構成を示す模式図である。同図に示すように、観察システム１は、撮像装置１１及び情報処理装置１２を具備する。また、図１には、観察対象物Ｓを示す。観察対象物Ｓは、例えば培養容器中で培養されている細胞とすることができるが、生体組織等であってもよく、特に限定されない。

撮像装置１１は、観察対象物Ｓを経時的に撮像し、動画像を生成することが可能な装置である。撮像装置１１は、例えば顕微鏡光学系やイメージセンサを備える顕微鏡とすることができる。なお、撮像装置１１は顕微鏡に限られず、観察対象物Ｓを経時的に撮像可能なものであればよい。

情報処理装置１２は、撮像装置１１によって撮像された動画像を取得し、処理する。情報処理装置１２は例えばパーソナルコンピュータであるものとすることができる。なお、情報処理装置１２は、撮像装置１１に一体的に構成されていてもよく、撮像装置１１とは独立した装置であってもよい。

［情報処理装置の構成］
図１に示すように、情報処理装置１２は機能的構成として、動画像取得部１２１、範囲設定部１２２、特徴量抽出部１２３、プロット生成部１２４、ゲーティング部１２５、解析画像生成部１２６及び画像出力部１２７を備える。

動画像取得部１２１は、観察対象物Ｓが経時的に撮像された動画像を取得する。図２は、動画像取得部１２１が取得する動画像を示す模式図である。同図に示すように、動画像Ｍは、連続的に撮像された複数の画像（フレーム）Ｆから構成されている。

動画像Ｍを構成する画像Ｆの数は任意であり、例えば動画像Ｍの一秒当たり数十枚とすることができる。動画像Ｍは、観察対象物Ｓに対する視野が固定された状態で撮像され、観察対象物Ｓの動き（細胞の収縮運動や物質輸送等）を含むものとすることができる。

動画像取得部１２１は、撮像装置１１から直接に動画像を取得してもよく、ネットワークを介して、あるいはストレージに保存されている動画像を取得してもよい。

範囲設定部１２２は、動画像において分析範囲を設定する。図３は、範囲設定部１２２によって設定された分析範囲Ａを示す模式図である。同図に示すように、範囲設定部１２２は、動画像Ｍを同面積の複数の範囲に区画し、分析範囲Ａを設定する。分析範囲Ａの大きさは予め設定され、又はユーザによる指定によって決定される。各分析範囲Ａの大きさは、例えば数ピクセル〜数十ピクセル四方の領域とすることができる。

範囲設定部１２２は、動画像の特定の領域に分析範囲Ａを設定してもよい。図４は、動画像Ｍの特定の領域に設定された分析範囲Ａを示す模式図である。範囲設定部１２２は、ユーザによる指定によって分析範囲Ａを設定することができる。

また、範囲設定部１２２は、動画像Ｍに対して物体検出処理等の画像処理を施し、その結果に基づいて分析範囲Ａを設定することも可能である。範囲設定部１２２は例えば、動画像Ｍにおいて検出された細胞体を含むように、分析範囲Ａを設定することができる。動画像Ｍにおいて設定された分析範囲Ａは、各画像Ｆにおいても動画像Ｍと同範囲に設定される。

特徴量抽出部１２３は、各分析範囲Ａについて特徴量を抽出する。特徴量抽出部１２３は、時刻（動画像の撮像時刻）によって変化する特徴量（以下、第１特徴量）と時刻によって変化しない特徴量（以下、第２特徴量）を抽出するものとすることができる。

第１特徴量は、撮像時刻が異なる二枚以上の画像Ｆから抽出することができる。具体的には、特徴量抽出部１２３は、動画像Ｍを構成する画像Ｆのうち少なくとも二枚の画像を比較し、動き解析を実施するものとすることができる。

動き解析では、上記２枚の画像をブロックマッチング等の手法によって比較し、画像間での対応する画素群の動きを動きベクトルとして抽出する。動きベクトルの大きさは比較された画像間での動きの量（即ち動き速度）を表し、動きベクトルの向きは動きの向きを表す。動き解析により、このような動き特性を表す特徴量が算出される。

特徴量抽出部１２３は、各分析範囲Ａについて、動き特性を表す特徴量に対する任意区間の空間・時間の平均、最大最小値、標準偏差、加速度、周波数成分及び積分値等を算出し、第１特徴量とすることができる。また、特徴量抽出部１２３は、各分析範囲Ａにおいて一定以上の動きを有する領域（動き領域）の割合を算出し、第１特徴量とすることもできる。更に、特徴量抽出部１２３は、各分析範囲Ａにおいて特定の波形パターンへの類似度、若しくは特定の波形パターンが現れる回数を算出し、第１特徴量とすることもできる。

第２特徴量は、一枚以上の画像Ｆから抽出することができる。具体的には、特徴量抽出部１２３は、画像Ｆの各画素の輝度値を算出し、各分析範囲Ａについて輝度値に対する任意区間の空間・時間の平均、最大最小値、標準偏差、加速度、周波数成分及び積分値等を算出し、第２特徴量とすることができる。また、特徴量抽出部１２３は、各分析範囲Ａにおいて物体が存在する領域（解析領域）の割合を算出し、第２特徴量とすることもできる。

特徴量抽出部１２３は、各分析範囲について１つ以上の第１特徴量と１つ以上の第２特徴量を抽出するものとすることができる。また、特徴量抽出部１２３は各分析範囲について２つ以上の第１特徴量を抽出してもよい。

プロット生成部１２４は、各分析範囲において算出された特徴量をプロットし、プロット図を生成する。図５は、プロット生成部１２４によって生成されるプロット図の例である。同図に示すようにプロット生成部１２４は、動きの平均値（第１特徴量）をＸ軸とし、動きの標準偏差（第１特徴量）をＹ軸とし、各分析範囲についての値をプロットすることができる。図５における個々のプロットは、各分析範囲についてのプロットである。

プロット生成部１２４は、この他にも上記第１特長量のいずれかと上記第２特長量のいずれかをプロットするものとすることができ、第１特徴量と第２特徴量のどちらがＸ軸又はＹ軸であってもよい。また、プロット生成部１２４は、第１特徴量のいずれか二つをＸ軸及びＹ軸としてプロットしてもよい。

さらに、プロット生成部１２４によるプロットは二次元プロットに限られない。プロット生成部１２４は少なくとも一つの第１特徴量を含む三つ以上の特徴量を用いて多次元プロットを生成することも可能である。

ゲーティング部１２５は、プロット生成部１２４によって生成されたプロット図においてゲーティングを行う。図６は、ゲーティングの態様を示す模式図である。同図に示すように、ゲーティング部１２５は、プロット図においてゲーティング範囲Ｇを設定する。ゲーティング部１２５は、ユーザによる指定によってゲーティング範囲Ｇを設定するものとすることができる。

ゲーティング範囲Ｇは、図６に示すようにプロット図におけるＸ軸値とＹ軸値の上限及び下限によって規定されるものとすることができる。また、ゲーティング範囲Ｇは、Ｘ軸値の上限又は下限の一方又は両方によって規定されてもよく、Ｙ軸値の上限又は下限の一方又は両方によって規定されてもよい。この他にもゲーティング範囲Ｇは、プロット図において任意の形状となる範囲とすることができる。

ゲーティング部１２５は、ゲーティング範囲Ｇに含まれるプロットのみを抽出（ゲーティング）し、ゲーティング範囲Ｇに含まれないプロットは抽出しない。

また、ゲーティング部１２５は、ゲーティングされた（ゲーティング範囲Ｇに含まれた）プロットの数を算出することができる。図６にこの算出結果（図中「プロット数」）を示す。また、ゲーティング部１２５は、全プロットに対するゲーティングされたプロットの割合（図中「プロット割合」）を算出することもできる。

解析画像生成部１２６は、ゲーティングの結果を可視化し、解析画像を生成する。図７は解析画像の例である。同図に示すように、解析画像生成部１２６は、ゲーティングにより除外された（ゲーティング範囲Ｇに含まれない）プロットに対応する分析範囲にマスキング（黒色領域）を施して動画像に重畳させ、解析画像を生成することができる。また、解析画像生成部１２６は、他の方法でゲーティングの結果を可視化してもよい。

画像出力部１２７は、画像をディスプレイ等の表示装置に出力し、表示させる。画像出力部１２７は、プロット生成部１２４によって生成されたプロット図（図６参照）を表示させることができる。その際、画像出力部１２７は、ゲーティング部１２５によって算出されたゲーティングされたプロットの数やその割合をプロット図と共に表示させてもよい（図６参照）。また、画像出力部１２７は、解析画像生成部１２６によって生成された解析画像（図７参照）を表示させることができる。

[情報処理装置のハードウェア構成]
上記のような情報処理装置１２の機能的構成は、以下に示すハードウェア構成によって実現することが可能である。

図８は、情報処理装置１２のハードウェア構成を示す模式図である。同図に示すように情報処理装置１２はハードウェア構成として、ＣＰＵ１５１、ＧＰＵ１５２、メモリ１５３、ストレージ１５４及び入出力部（Ｉ／Ｏ）１５５を有する。これらはバス１５６によって互いに接続されている。

ＣＰＵ（Central Processing Unit）１５１は、メモリ１５３に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ１５３に格納する。ＣＰＵ１５１はマイクロプロセッサであるものとすることができる。

ＧＰＵ（Graphic Processing Unit）１５２は、ＣＰＵ１５１による制御を受けて、画像処理を実行する。ＣＰＵ１５１はＧＰＵ１５２に並列演算処理を実行させ、特徴量の抽出を高速に行うことが可能である。ＧＰＵ１５２はマイクロプロセッサであるものとすることができる。

メモリ１５３はＣＰＵ１５１によって実行されるプログラム及びデータを格納する。メモリ１５３はＲＡＭ（Random Access Memory）であるものとすることができる。

ストレージ１５４は、プログラムやデータを格納する。ストレージ１５４はＨＤＤ（hard disk drive）やＳＳＤ（solid state drive）であるものとすることができる。

入出力部１５５は情報処理装置１２に対する入力を受け付け、また情報処理装置１２の出力を外部に供給する。入出力部１５５は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェイスを含む。

情報処理装置１２のハードウェア構成はここに示すものに限られず、情報処理装置１２の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。

[情報処理装置の動作]
図９は、情報処理装置１２の動作を示すフローチャートである。

同図に示すように、動画像取得部１２１が動画像を取得する（Ｓｔ１０１）。動画像は上記のように、観察対象物が経時的に撮像されたものである。動画像取得部１２１は、取得した動画像を範囲設定部１２２に供給する。

範囲設定部１２２は、動画像において分析範囲を設定する。範囲設定部１２２は上記のように、動画像全体を複数に区画して分析範囲を設定（Ｓｔ１０２Ａ）してもよく、特定領域のみに分析範囲を設定（Ｓｔ１０２Ｂ）してもよい。範囲設定部１２２は、分析範囲を設定した動画像を特徴量抽出部１２３に供給する。

特徴量抽出部１２３は、動画像に対して解析処理を実行し、各分析範囲について上記特徴量を抽出する（Ｓｔ１０３）。特徴量は少なくとも一つずつの第１特徴量及び第２特徴量又は少なくとも二つの第１特徴量を含む。特徴量抽出部１２３は抽出した特徴量をプロット生成部１２４に供給する。

プロット生成部１２４は、分析範囲毎に特徴量をプロットし、プロット図を生成する（Ｓｔ１０４）。プロット生成部１２４は、第１特徴量と第２特徴量をＸ軸及びＹ軸としてプロットすることができる。また、プロット生成部１２４は、二つの第１特徴量をＸ軸及びＹ軸としてプロットしてもよい。プロット生成部１２４は生成したプロット図を画像出力部１２７に供給する。

画像出力部１２７は、プロット図を表示装置に出力し、表示させる（Ｓｔ１０５）。ユーザは、プロット図を参照してゲーティング範囲を決定することができる。また、ゲーティング部１２５は、指定されたゲーティング範囲に含まれるプロット数やその割合を画像出力部１２７に供給して表示させてもよい。

ゲーティング部１２５は、指定されたゲーティング範囲を利用してゲーティングを行う（Ｓｔ１０６）。ゲーティング部１２５は、ゲーティングされた（ゲーティング範囲に含まれた）プロットに対応する分析範囲を解析画像生成部１２６に供給する。

解析画像生成部１２６は、ゲーティングの結果を可視化し、解析画像を生成する（Ｓｔ１０７）。解析画像生成部１２６は、解析画像を画像出力部１２７に供給する。

画像出力部１２７は、解析画像を表示装置に出力し、表示させる（Ｓｔ１０８）。ゲーティング範囲が変更されると、ゲーティング部１２５は新たなゲーティング範囲を利用してゲーティングを行い、解析画像生成部１２６は解析画像を更新して表示させることができる。

情報処理装置１２は以上のような動作を行う。情報処理装置１２を利用することにより、観察対象物の動き（動き量や動き領域等）を定量的に評価することが可能となり、さらに評価結果を可視的に把握することが可能となる。

[変形例]
情報処理装置１２は、２つ以上の動画像を比較して解析することも可能である。以下、情報処理装置１２が解析する動画像を第１動画像及び第２動画像とする。

第１動画像及び第２動画像は、異なる撮像条件での観察対象物を撮像した動画像とすることができる。具体的には、観察対象物を長時間（例えば、数時間程度）撮像した動画像を第１動画像とし、第１動画像と同一の視野で短時間（例えば、数秒程度）撮像した動画像を第２動画像することができる。また、観察対象物を長時間撮像した第１動画像の一定時間分を抽出して第２動画像としてもよい。

さらに、第１動画像及び第２動画像は、培養環境が異なる観察対象物を撮像した動画像とすることもできる。具体的には、観察対象物を通常の条件で撮像した動画像を第１動画像とし、観察対象物の培養環境を変更して第１動画像と同一の視野で撮像した動画像を第２動画像とすることができる。培養環境の変更は、例えば、薬剤投与の有無や薬剤投与からの経過時間、薬剤濃度等の変更等が挙げられる。

情報処理装置１２は、上述した手法で第１動画像及び第２動画像のそれぞれから特徴量を抽出し、プロット図を生成することができる。具体的には、動画像取得部１２１が第１動画像を取得すると、範囲設定部１２２が第１動画像において分析範囲を設定する。特徴量抽出部１２３は各分析範囲から特徴量を抽出する。

さらに、動画像取得部１２１が第２動画像を取得すると、範囲設定部１２２が第２動画像において分析範囲を設定する。この際範囲設定部１２２は、第１動画像と同一の配置の分析範囲を設定する。特徴量抽出部１２３は、各分析範囲から第１動画像において抽出した特徴量と同一の特徴量を抽出する。

プロット生成部１２４は、第１動画像から抽出された特徴量と第２動画像から抽出された特徴量を共にプロットし、一つのプロット図を生成することができる。図１０は、このプロット図を示す。同図に示すように、プロット図には、第１動画像から抽出された特徴量のプロットＰ１と第２動画像から抽出された特徴量のプロットＰ２が含まれる。

このように、プロットＰ１とプロットＰ２が一つのプロット図に含まれるため、第１動画像と第２動画像の特徴量の相関を得ることが可能である。

例えば、第１動画像と第２動画像の撮像時間が異なる場合には、動きの平均値を比較することにより、細胞の数時間単位の動き（細胞の遊走等）と数秒単位の動き（仮足の動き等）の相関を得ることが可能となる。

また、第１動画像と第２動画像で薬剤投与の有無が異なる場合には、動きの最大値を比較することにより、薬剤投与による影響を評価することが可能となる。

プロット図の生成後は、上述のようにゲーティング部１２５がゲーティングを行い、解析画像生成部１２８が解析画像を生成してもよい。ゲーティング部１２５は、一つのゲーティング範囲でプロットＰ１とプロットＰ２の両者に対してゲーティングを行ってもよく、プロットＰ１とプロットＰ２で異なるゲーティング範囲でゲーティングを行ってもよい。解析画像生成部１２８は、第１動画像に対する解析画像と第２動画像に対する解析画像を別々に生成することができる。

[適用例]
情報処理装置１２は、例えば細胞内輸送の評価に利用することが可能である。図１１は、細胞内輸送を示す模式図であり、細胞Ｃが物質Ｂを輸送する様子を示す。

動画像取得部１２１がこのような細胞Ｃを経時的に撮像した動画像を取得すると、範囲設定部１２２が動画像を複数に区画して分析範囲を設定する。動画像において、図１１に示すように物質Ｂが通過する分析範囲を分析範囲Ａ１とし、物質Ｂの輸送が停滞している分析範囲を分析範囲Ａ２とする。

特徴量抽出部１２３は、各分析範囲について特徴量を抽出する。図１２は、分析範囲Ａ１において抽出される動き速度の時間変化を示し、図１３は分析範囲Ａ１において抽出される動き領域の時間変化を示す。図１２及び図１３においては、物質Ｂの通過に由来するピークが存在する。

図１４は、分析範囲Ａ２において抽出される動き速度の時間変化を示し、図１５は分析範囲Ａ２において抽出される動き領域の時間変化を示す。図１４及び図１５においては、物質Ｂの通過に由来するピークが存在しない。

プロット生成部１２４は、特徴量抽出部１２３によって抽出された特徴量をプロットし、プロット図を作成する。図１６は、解析領域をＸ軸とし、動き速度最大値をＹ軸としたプロット図である。同図に示すように、物質輸送が活発な分析範囲（分析範囲Ａ１等）のプロットが位置する座標（図中、Ｈ１）と物質輸送が停滞している分析範囲（分析範囲Ａ２等）のプロットが位置する座標（図中、Ｈ２）は異なる。

このため、図１６に示すようなプロット図を利用することにより、動画像の分析範囲毎に物質輸送の頻度、速度、停滞率等を評価することが可能である。物質輸送の評価には、動き速度の最大値及び解析領域の他、動き速度の平均、標準偏差、動き領域等の特徴量を利用することが可能である。

上記実施形態において説明した情報処理装置を用いて動画像を解析し、プロット図を作成した。

図１７は、解析対象の動画像を示す。同図に示す動画像の全体を区画して分析範囲を設定し、各分析範囲について各種の特徴量を算出した。算出した特徴量は、各分析範囲における動き速度の平均値、最大値、標準偏差、加速度、動き領域及び解析領域である。

図１８は動き速度の平均値をＸ軸、動き領域をＹ軸としたプロットである。同図に示すように、動き速度の平均値が大きくなると動き領域が増加する傾向があることが分かる。

また、上記実施形態において説明した情報処理装置を用いて肺癌細胞の動きを解析した。

図１９は肺癌細胞（Ｈ１９７５ｃｅｌｌ）の動画像である。同図に示す動画像の全体を区画して分析範囲を設定し、各分析範囲について各種特徴量を算出した。図２０及び図２１は解析領域をＸ軸とし、動き速度の平均値をＹ軸としたプロットである。

図２０に示すように、Ｘ軸：８０〜９９％、Ｙ軸：０〜０．２μｍ／ｓの範囲（図中Ｇ１）をゲーティング範囲としてゲーティングした。図２２は、ゲーティングされた（ゲーティング範囲Ｇ１に含まれた）プロットに対応する分析範囲以外の分析範囲をマスキングして生成された解析画像を示す。

また、図２１に示すように、Ｘ軸：８０〜９９％、Ｙ軸：０．０５〜０．２μｍ／ｓの範囲（図中Ｇ２）をゲーティング範囲としてゲーティングした。図２３は、ゲーティングされた（ゲーティング範囲Ｇ２に含まれた）プロットに対応する分析範囲以外の分析範囲をマスキングして生成された解析画像を示す。

さらに、図２４は別の肺癌細胞（Ｈ３５８ｃｅｌｌ）の動画像である。同図に示す動画像の全体を区画して分析範囲を設定し、各分析範囲について各種特徴量を算出した。図２５及び図２６は解析領域をＸ軸とし、動き速度の平均値をＹ軸としたプロットである。

図２５に示すように、Ｘ軸：８０〜９９％、Ｙ軸：０〜０．２μｍ／ｓの範囲（図中Ｇ３）をゲーティング範囲としてゲーティングした。図２７は、ゲーティングされた（ゲーティング範囲に含まれた）プロットに対応する分析範囲以外の分析範囲をマスキングして生成された解析画像を示す。

また、図２６に示すように、Ｘ軸：８０〜９９％、Ｙ軸：０．０５〜０．２μｍ／ｓの範囲（図中Ｇ４）をゲーティング範囲としてゲーティングした。図２８は、ゲーティングされたプロットに対応する分析範囲以外の分析範囲をマスキングして生成された解析画像を示す。

図２２と図２３を比較すると、ゲーティングされた（マスキングされていない）領域は大きく異なるのに対し、図２７と図２８を比較すると、ゲーティングされた領域の差異は小さい。このため、図１９に示す肺癌細胞の動きは低速であり、図２４に示す肺癌細胞の動きは高速であることがわかる。

また、また、上記実施形態において説明した情報処理装置を用いてギャップジャンクション阻害剤（グリチルリチル酸）による心筋細胞への影響を評価した。

培養された心筋細胞を撮像した動画像（以下、動画像Ｍ１）、培養された心筋細胞に低濃度のグリチルリチル酸を投与して撮像した動画像（以下、動画像Ｍ２）、培養された心筋細胞に高濃度のグリチルリチル酸を投与して撮像した動画像（以下、動画像Ｍ３）を解析した。

各動画像に対して、動画像の全体を区画して分析範囲を設定し、各分析範囲について特徴量を算出した。図２９は動画像Ｍ１における特定の分析範囲についての動き速度の時間変化であり、図３０は、動画像Ｍ２における特定の分析範囲についての動き速度の時間変化である。図３１は、動画像Ｍ３における特定の分析範囲についての動き速度の時間変化である。

図３２は、動画像Ｍ１の分析範囲毎の動き速度平均値に濃淡を付して生成された画像であり、図３３は、動画像Ｍ２の分析範囲毎の動き速度平均値に濃淡を付して生成された画像である。図３４は、動画像Ｍ３の分析範囲毎の動き速度平均値に濃淡を付して生成された画像である。

図３３に示すように、心筋細胞に低濃度のグリチルリチル酸を投与した心筋細胞においては、伝播遅延が生じている。また、図３４に示すように、心筋細胞に高濃度のグリチルリチル酸を投与した心筋細胞においては、部分的脱同調が生じている。

動き速度の平均値をＸ軸、動き速度の最大値をＹ軸としてプロットした。図３５は動画像Ｍ１から生成されたプロット図であり、図３６は動画像Ｍ２から生成されたプロット図である。図３７は、動画像Ｍ３から生成されたプロット図である。

図３６と図３５を比較すると、心筋細胞に低濃度のグリチルリチル酸を投与したことにより、拍動速度（動き速度最大値）が増加し、拍動数（動き速度平均値）が低下することがわかる。さらに、拍動数のバラツキが増加（動き速度平均値と最大値の相関が低下）することが分かる。

また、図３７と図３５を比較すると、心筋細胞に高濃度のグリチルリチル酸を投与すると、拍動速度（動き速度最大値）が低下し、拍動数（動き速度平均値）が増加することがわかる。さらに、拍動数のバラツキが増加（動き速度平均値と最大値の相関が低下）することが分かる。

動画像の全体を区画して分析範囲を設定し、各分析範囲について各種特徴量を算出した。図３８は動き領域をＸ軸、動き速度の最大値をＹ軸としたプロットである。図３８に示すように、Ｘ軸：０〜７２％、Ｙ軸：１〜２３μｍ／ｓの範囲（図中Ｇ５）をゲーティング範囲としてゲーティングした。図３９は、解析画像の例であり、ゲーティングされたプロットに対応する分析範囲以外の分析範囲をマスキングして生成された解析画像を示す。

Ｘ軸に動き領域、Ｙ軸に動き速度の最大値若しくは平均値などをプロットし、最大値若しくは平均値が所定値以上の領域を選択することにより、動きのある領域面積の算出が可能となる。動きのある領域面積の算出は、薬剤アッセイ時の細胞状態の評価や分化時の筋細胞評価を可能にする。

図４０は、電極及び心筋細胞を撮像した動画像である。この動画像の全体を区画して分析範囲を設定し、各分析範囲について各種特徴量を算出した。図４１はこの動画像から抽出した動き速度の最大値をＸ軸、動き速度の平均値をＹ軸としたプロットである。図４２は、動きの波形パターンを示す模式図である。

図４１に示すように、Ｘ軸：２０％〜７０％の範囲（図中Ｇ６）をゲーティング範囲としてゲーティングした。図４２に示すように、動き速度の最大値がある高さ以上のものを取り出している。動き速度の最大値が２０％以上のプロットは２９．１％であり、心筋として機能しているパーツは３０％といえる。

図４３はゲーティングの結果を可視化した解析画像であり、ゲーティングされたプロットに対応する分析範囲以外の分析範囲をマスキングして生成された解析画像を示す

このように、各分析範囲において特定の波形パターンへの類似度を算出しプロットすることにより、ノイズ発生領域以外の領域特定、正常細胞若しくは異常細胞の特定などが可能となる。

ノイズ発生領域は通常とは異なる波形パターンを有していることが多いため、特定の波形パターンへの類似度が所定の値以上の領域を特定することによりノイズ発生領域以外の領域を特定することができる。

また、正常細胞と異常細胞とで波形パターンが異なる場合は、正常細胞若しくは異常細胞の波形パターンとの類似度を算出することにより分類を可能にする。これらのアプリケーションは、各分析範囲において特定の波形パターンが現れる回数などの特徴量においても実現可能である。

図４４は、精子を撮像した動画像である。この動画像の全体を区画して分析範囲を設定し、各分析範囲について各種特徴量を算出した。図４５は、この動画像から抽出した動き速度の平均値をＸ軸、動き領域をＹ軸としたプロットである。

図４５に示すように、Ｙ軸：３０％〜４０％の範囲（図中Ｇ７）をゲーティング範囲としてゲーティングした。図４６はゲーティングの結果を可視化した解析画像であり、ゲーティングされたプロットに対応する分析範囲以外の分析範囲をマスキングして生成された解析画像を示す。

このように、精子など大きく動いている観察物を対象にこのようにプロットし、動き領域が継続的に大きい場所を特定すると、動きが遅い若しくは異常な観察物の領域を特定することができ、その領域の面積を観察物の一個当たりの面積で割ることにより数をカウントすることも可能になる。精子の場合には、観察対象の中で動いていない精子の数を算出することにより、精子運動率を求めることができる。

なお、本技術は以下のような構成もとることができる。

（１）
観察対象物が経時的に撮像された動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、上記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出する特徴量抽出部と、
上記第１の特徴量と上記第２の特徴量をプロットしたプロット図を生成するプロット生成部と
を具備する情報処理装置。

（２）
上記（１）に記載の情報処理装置であって、
請求項１に記載の情報処理装置であって、
上記特徴量抽出部は、上記動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から上記第２の特徴量を抽出する
情報処理装置。

（３）
上記（１）又は（２）に記載の情報処理装置であって、
上記動画像において分析範囲を設定する範囲設定部
をさらに具備し、
上記特徴量抽出部は、上記分析範囲毎に上記第１の特徴量及び上記第２の特徴量を抽出し、
上記プロット生成部は、上記分析範囲毎に上記第１の特徴量と上記第２の特徴量をプロットしたプロット図を生成する
情報処理装置。

（４）
上記（１）から（３）のうちいずれか一つに記載の情報処理装置であって、
上記プロットに対してゲーティングを行うゲーティング部
をさらに具備する情報処理装置。

（５）
上記（１）から（４）のうちいずれか一つに記載の情報処理装置であって、
上記ゲーティング部によるゲーティングの結果を可視化し、解析画像を生成する解析画像生成部
をさらに具備する情報処理装置。

（６）
上記（１）から（５）のうちいずれか一つに記載の情報処理装置であって、
上記範囲設定部は、上記動画像に対して画像処理を施し、上記画像処理の結果に基づいて上記分析範囲を設定する
情報処理装置。

（７）
上記（１）から（６）のうちいずれか一つに記載の情報処理装置であって、
上記動画像は上記観察対象物が異なる条件で撮像された第１の動画像と第２の動画像を含み、
上記プロット生成部は、上記第１の動画像から抽出された第１の特徴量及び第２の特徴量と、上記第２の動画像から抽出された第１の特徴量及び第２の特徴量をプロットしたプロット図を生成する
情報処理装置。

（８）
上記（１）から（７）のうちいずれか一つに記載の情報処理装置であって、
上記特徴量抽出部は、上記動画像に対して動き解析処理を施し、上記動き解析処理の結果に基づいて上記第１の特徴量を抽出する
情報処理装置。

（９）
観察対象物が経時的に撮像された動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、上記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出する特徴量抽出部と、
上記第１の特徴量と上記第２の特徴量をプロットしたプロット図を生成するプロット生成部と
として情報処理装置を機能させるプログラム。

（１０）
特徴量抽出部が、観察対象物が経時的に撮像された動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、上記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出し、
プロット生成部が、上記第１の特徴量と上記第２の特徴量をプロットしたプロット図を生成する
情報処理方法。

（１１）
観察対象物を経時的に撮像し、動画像を生成する撮像装置と、
上記動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、上記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出する特徴量抽出部と、上記第１の特徴量と上記第２の特徴量をプロットしたプロット図を生成するプロット生成部とを備える情報処理装置と
を具備する観察システム。

１…観察システム
１１…撮像装置
１２…情報処理装置
１２１…動画像取得部
１２２…範囲設定部
１２３…特徴量抽出部
１２４…プロット生成部
１２５…ゲーティング部
１２６…解析画像生成部
１２７…画像出力部
１２８…解析画像生成部

Claims (11)

1. 観察対象物が経時的に撮像された動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、前記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出する特徴量抽出部と、
   前記第１の特徴量と前記第２の特徴量をプロットしたプロット図を生成するプロット生成部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記特徴量抽出部は、前記動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から前記第２の特徴量を抽出する
   情報処理装置。
3. 請求項１に記載の情報処理装置であって、
   前記動画像において分析範囲を設定する範囲設定部
   をさらに具備し、
   前記特徴量抽出部は、前記分析範囲毎に前記第１の特徴量及び前記第２の特徴量を抽出し、
   前記プロット生成部は、前記分析範囲毎に前記第１の特徴量と前記第２の特徴量をプロットしたプロット図を生成する
   情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記プロットに対してゲーティングを行うゲーティング部
   をさらに具備する情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記ゲーティング部によるゲーティングの結果を可視化し、解析画像を生成する解析画像生成部
   をさらに具備する情報処理装置。
6. 請求項３に記載の情報処理装置であって、
   前記範囲設定部は、前記動画像に対して画像処理を施し、前記画像処理の結果に基づいて前記分析範囲を設定する
   情報処理装置。
7. 請求項１に記載の情報処理装置であって、
   前記動画像は前記観察対象物が異なる条件で撮像された第１の動画像と第２の動画像を含み、
   前記プロット生成部は、前記第１の動画像から抽出された第１の特徴量及び第２の特徴量と、前記第２の動画像から抽出された第１の特徴量及び第２の特徴量をプロットしたプロット図を生成する
   情報処理装置。
8. 請求項１に記載の情報処理装置であって、
   前記特徴量抽出部は、前記動画像に対して動き解析処理を施し、前記動き解析処理の結果に基づいて前記第１の特徴量を抽出する
   情報処理装置。
9. 観察対象物が経時的に撮像された動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、前記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出する特徴量抽出部と、
   前記第１の特徴量と前記第２の特徴量をプロットしたプロット図を生成するプロット生成部と
   として情報処理装置を機能させるプログラム。
10. 特徴量抽出部が、観察対象物が経時的に撮像された動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、前記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出し、
    プロット生成部が、前記第１の特徴量と前記第２の特徴量をプロットしたプロット図を生成する
    情報処理方法。
11. 観察対象物を経時的に撮像し、動画像を生成する撮像装置と、
    前記動画像に含まれる撮像時刻が異なる少なくとも二枚の画像から第１の特徴量を抽出し、前記動画像に含まれる少なくとも一枚の画像から第２の特徴量を抽出する特徴量抽出部と、前記第１の特徴量と前記第２の特徴量をプロットしたプロット図を生成するプロット生成部とを備える情報処理装置と
    を具備する観察システム。