JP2011211278A - 記録装置および記録方法 - Google Patents

Abstract

【課題】心筋細胞シートの拍動のように周期的な運動を行う物体を評価するのに際して、評価に用いる物体の動画像データについて、評価のために必要十分な画像品質を維持したうえでデータサイズの縮小を図る。
【解決手段】運動周期判定部２２０は、心筋細胞シート５００を撮像した動画像のフレーム画像データを順次入力してフレーム差分を検出していくことで、Ｔ個のフレーム差分データを生成して格納する。次に運動周期判定部２２０は、Ｔ個のフレーム差分データに基づいて心筋細胞シート５００が拍動により実際に動いている実動期間と、静止している静止期間とを判定する。フレーム間引き処理部２３０は、実動期間においては１フレームごとにフレーム画像データを記録し、静止期間においては間引きを行って所定フレーム数ごとに１つのフレーム画像データを記録する。
【選択図】図８

Description

本発明は、記録装置に関し、特に、周期性を有する運動を行う物体の画像内容を有する動画像データを記録する記録装置およびその方法に関する。

再生医療の分野においては、細胞を培養して製造した培養細胞を利用し、事故や病気などにより失われた体の細胞、組織、器官などの再生、また機能の回復を図るということが行われている。このような培養細胞として製造できる細胞組織は多岐にわたるが、その中の１つに心筋細胞があり、心臓の治療に用いられる。この培養心筋細胞はそれ自体が拍動に相当する動きをする。そこで、培養心筋細胞の製造段階においては、例えば上記の動きが良好かどうかについての品質評価を行うことが必要になってくる。

このような培養心筋細胞の品質評価を行うにあたり、例えば現状においては、目視による観察が行われている。しかし、目視による観察では、観察者の主観によるところが大きく、客観的で的確な評価結果を得ることが難しい。

そこで、従来技術として、次のようなものが知られている。すなわち、心筋細胞を撮影して得られるデジタル信号をパーソナルコンピュータに記録することで輝度データを得る。そして、このようにして得た輝度データの画像に対して測定点の輝度を自動計測して、その計測された輝度の変化に基づいて心筋細胞の拍動周期を測定するというものである。（例えば、特許文献１参照。）。

特開昭６３−２３３３９２号公報（図１）

動画像として培養心筋細胞の拍動に応じた動きをできるだけ忠実に再現するためには一定以上の画像品質が求められる。すなわち、単位時間あたりのフレーム画像数が一定以上であることが要求される。すなわち、一定以上の高フレームレートの動画像であることが要求される。また、画像の解像度についても一定以上であることが求められる。現状の技術であれば、心筋細胞シートの評価に必要な解像度とフレームレートによる動画像データを生成して記録することは十分に可能ではある。

しかし、動画像の解像度とフレームレートが高くなるほど、その動画像のデータサイズが大きくなる。例えば実際においては、心筋細胞シートを評価するシステムを構築するのにあたり、何らかの制限により、動画像の記録のために記憶装置の容量の多くを割り当てることが難しいような場合もあると考えられる。

本発明は、このような状況に鑑みてなされたものであり、動画像データを利用して心筋細胞シートなどの周期的な運動を行う物体の動きを評価するのにあたり、動画像データの画像品質を維持したうえでそのサイズの縮小を図ることを目的とする。

本発明は、上記課題を解決するためになされたものであり、その第１の側面は、動きの有る状態と動きの無い状態とが交互に周期的に繰り返される運動を行う物体の画像内容を有する動画像データを入力して、上記動きの有る状態となる実動期間と上記動きの無い状態となる静止期間とを判定する運動周期判定部と、上記動画像データを記録するのに際して、上記静止期間においては上記動画像データを形成するフレーム画像データの単位時間あたりの数を上記実動期間のときよりも少なくして記録する記録制御部とを具備する記録装置である。これにより、物体に動きの有る画像状態のときには高いフレームレートによる動画像を記録し、物体に動きの無い画像状態のときには低いフレームレートによる動画像を記録するという作用をもたらす。

また、この第１の側面において、上記運動周期判定部は、上記動画像データを形成するフレーム画像データの時系列において前後する２つのフレーム画像データのフレーム差分値を検出するフレーム差分検出部と、検出されたフレーム差分値に基づいて上記実動期間を判定し、上記実動期間以外の期間を上記静止期間として判定する期間判定部とを備えてもよい。これにより、動画像データの時系列において前後する２つのフレーム画像データのフレーム差分値を検出することにより実動期間および静止期間を判定するという作用をもたらす。

また、この第１の側面において、上記期間判定部は、上記フレーム差分値のピークを検出するピーク検出部と、ピークが検出されたフレーム差分値が対応する時間に基づいて上記実動期間を判定する実動期間判定部とを備えてもよい。これにより、フレーム差分値のピークを検出することにより実動期間を判定するという作用をもたらす。

また、この第１の側面において、上記ピーク検出部は、検出対象とするフレーム差分値を時系列順に従って入力し、この検出対象とされたフレーム差分値と閾値との比較結果に基づいてピークを検出し、上記期間判定部は、現在検出対象とされているフレーム差分値が対応する検出対象時間と、この検出対象時間以前においてピークが検出されたフレーム差分値が対応する時間に基づいて推定した次回以降のピーク出現時間との差に応じて上記閾値を変更設定する閾値設定部をさらに備えてもよい。これにより、ピーク検出のための閾値をフレーム差分値のピーク出現可能性に適応させて変更するという作用をもたらす。

また、この第１の側面において、上記運動周期判定部は、所定の時間間隔ごとに一定時間分の動画像データを入力して上記実動期間と上記静止期間とを判定してもよい。これにより、所定の時間間隔ごとに実動期間と静止期間の判定結果を更新していくという作用をもたらす

また、この第１の側面において、上記記録制御部は、上記実動期間においては１フレーム期間ごとのフレーム画像データにより形成される上記動画像データを記録し、上記静止期間においては所定の複数フレーム期間ごとにつき１つのフレーム画像データにより形成される上記動画像データを記録してもよい。これにより、実動期間においては通常のフレームレートにより動画像を記録し、静止期間においては通常よりも低いフレームレートにより動画像を記録するという作用をもたらす。

本発明によれば、周期的な運動を行う物体の動きの評価のために十分な画像品質を維持したえうで動画像データのサイズを削減が図られるという効果を奏し得る。

本発明の実施の形態における心筋細胞シート評価システム１００の構成例を示す図である。 本発明の実施の形態における評価対象画像データ生成記録装置２００の構成例を示す図である。 本発明の実施の形態における運動周期判定部２２０の構成例を示す図である。 フレーム差分値の時系列と、実働時間Ｔｍｖおよび静止期間Ｔｓｔとの関係を示す図である。 実動期間判定部２５０の構成例を示す図である。 閾値算出部２５４が閾値ＴＨ（ｔ）の算出に利用する係数α（ｔ）の設定例を説明するための図である。 実動期間周期判定部２５５による実動期間Ｔｍｖのタイミングについての算出例を示す図である。 フレーム間引き処理部２３０の動作例を示す図である。 運動周期判定部２２０が実行する処理手順例を示す図である。 実行期間判定部２５０が実行する実行期間判定のための処理手順例を示す図である。 フレーム間引き処理部２３０が実行する処理手順例を示す図である。

以下、本発明を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（実動期間と静止期間を検出して、静止期間においてはフレームを間引いて動画像の記録を行う例）
２．変形例

＜１．第１の実施の形態＞
［心筋細胞シート評価システムの構成例］
図１は、本発明の第１の実施の形態における心筋細胞シート評価システム１００の構成例を示している。この図に示す心筋細胞シート評価システム１００は、心筋細胞シート５００の品質を評価するためのものである。

再生医療においては、培養細胞を利用して各種の人体の組織、器官などを治療することが行われている。培養細胞は、細胞を培養して製造される細胞組織であり、心筋細胞シート５００は、心臓の治療向けに製造された培養心筋細胞といわれるものにおいて、その形状がシート状のものをいう。そして現在では、このようにして培養した細胞を量産し、十分な量の培養細胞を低コストで医療現場に供給可能とするための技術開発が行われている状況にある。このようにして培養細胞が量産される状況となった場合には、製造された培養細胞を効率よく、的確に評価できるようにすることが求められる。

心筋細胞シート５００は、それ自体で拍動に相当する運動を行っている。心筋細胞シート５００は、上記の拍動に応じた動きが良好かどうかを評価することでその品質を判断することができる。このことに基づき、心筋細胞シート評価システム１００は、心筋細胞シート５００を撮影した動画像データを記録し、この記録された動画像データに対する動き検出結果に基づいて評価を行う。これにより、非侵襲でありながら目視による評価よりも、詳細で的確な評価結果が得られる。

このための構成として、心筋細胞シート評価システム１００は、例えば図示するように、撮像装置１１０、評価対象画像データ生成記録装置２００、評価指標データ生成装置３００および評価装置４００を備える。

撮像装置１１０は、評価対象である心筋細胞シート５００を撮影するためのものである。なお、この図においては撮像装置１１０により心筋細胞シート５００を直接撮影している状態を示しているが、実際においては、例えば心筋細胞シート５００の顕微鏡画像を撮像するようにして構成される。また、撮像に際しては、心筋細胞シート５００に対する撮像装置１１０の撮像位置は固定された状態とする。

評価対象画像データ生成記録装置２００は、撮像装置１１０から入力される画像信号を基にして評価対象画像データを生成し、生成した評価対象画像データを記録して保存するための装置である。ここで生成される評価対象画像データは、例えば心筋細胞シート５００を撮像した画像信号から生成される動画像データとなる。また、この評価対象画像データとしての動画像データは、予め定められた一定時間分によるものとなる。すなわち、予め定められた所定数のフレーム画像データから成る。そして、評価対象画像データ生成記録装置２００は、生成した動画像データを例えば内部の記録媒体に記録する。これにより、評価対象画像データが保存されたことになる。

評価指標データ生成装置３００は、例えば評価対象画像データ生成記録装置２００にて保存されている評価対象画像データとしての動画像データを入力して、心筋細胞シート５００の評価のための指標として用いられる評価指標データを生成する装置である。評価装置４００は、評価指標データ生成装置３００にて生成された評価指標データを処理することにより評価結果を得る装置である。

［評価指標データ生成装置の構成例］
図２は、評価対象画像データ生成記録装置２００の構成例を示している。この図に示す評価対象画像データ生成記録装置２００は、フレーム画像データ生成部２１０、運動周期判定部２２０、フレーム間引き処理部２３０、および評価対象画像データ記録部２４０から成る。

フレーム画像データ生成部２１０は、撮像装置１１０から入力される画像信号を入力して所定形式による動画像データを形成するフレーム画像データを順次生成していく部位である。なお、本発明の実施の形態におけるフレーム周期の具体例としては、例えば毎秒１２０乃至２４０フレーム程度であるものとする。フレーム画像データ生成部２１０により生成されたフレーム画像データは、運動周期判定部２２０とフレーム間引き処理部２３０とに対して出力される。

これまでの説明から分かるように、フレーム画像データ生成部２１０により生成されるフレーム画像データから成る動画像は心筋細胞シート５００の画像内容を有し、この画像中の心筋細胞シート５００は、拍動としての運動を行っている。拍動としての運動は、実際に心筋細胞シート５００が実際に動きを生じる実動期間と、実際に動きを生じることなくほぼ静止しているとみてよい静止期間とが交互に現れるという特徴を持っている。また、この実動期間と静止期間はランダムな時間間隔で発生するのではなく、ある程度一定の時間間隔により周期的に発生するという特徴を有している。

運動周期判定部２２０は、順次入力されるフレーム画像データに基づいて運動周期を判定する部位である。すなわち、上記の実動期間と静止期間の発生するタイミングを判定する。このために本発明の実施の形態では、例えば後述するようにして実動期間の開始時間および終了時間を推定する。実動期間以外の時間から成る期間が静止期間となる。なお、判定される実動期間と静止期間の各発生タイミングは周期的なものであり、したがって一定の時間間隔によるものとなる。そして、運動周期判定部２２０は、上記実動期間と静止期間の各タイミングの判定結果に応じて、現時間が実動期間と静止期間の何れであるのかを示す周期指示信号を出力する。

フレーム間引き処理部２３０は、周期指示信号に応じてフレーム画像データ生成部２１０から入力されるフレーム画像データを間引いて評価対象画像データ記録部２４０に出力する部位である。このフレーム間引き処理部２３０は、特許請求の範囲に記載の記録制御部の一例となる。

評価対象画像データ記録部２４０は、例えば所定の記録媒体を備え、上記のようにしてフレーム間引き処理部２３０から出力されるフレーム画像データが記録されて保存される。すなわち、撮像装置１１０により心筋細胞シート５００を撮像して得られた動画像データが保存される。このようにして保存された動画像データがすなわち評価指標データ生成装置３００が利用する評価対象画像データとなる。

［運動周期判定部の構成例］
図３は、運動周期判定部２２０の構成例を示す。この図に示す運動周期判定部２２０は、フレームメモリ２２１、フレーム差分検出部２２２、フレーム差分データ格納部２２３および実動期間判定部２５０から成る。

フレームメモリ２２１は、入力されるフレーム画像データを１フレーム期間に対応する時間により保持する部位である。フレーム差分検出部２２２は、フレーム画像データ生成部２１０から入力した現在のフレーム画像データと、フレームメモリ２２１から入力した１つ前のフレーム画像データとについての差分検出を行う部位である。この差分検出は、例えば次のようにして行われる。

フレーム差分検出部２２２は、入力した２つのフレーム画像データにおける同じ位置の画素ごとの差分値を求める。そして、これらの画素ごとに得られた差分値を加算して１つのフレーム時間に対応する１つのフレーム差分データを得る。フレーム差分データ格納部２２３は、フレーム差分検出部２２２により得られたフレーム差分データを格納して保持する部位である。

本発明の実施の形態において、フレーム差分検出部２２２によるフレーム差分検出処理は、心筋細胞シート５００の撮像記録が行われている期間において、例えば所定の時間間隔ごとに一定時間ずつ実行される。フレーム差分データ格納部２２３は、この一定時間により実行されたフレーム差分検出処理により得られたＴ個のフレーム差分データを格納する。

ここで、フレーム差分データの値（フレーム差分値）は、心筋細胞シート５００の動き量を示すものとなる。このような画像内の物体の動き量を求める手法として、例えばブロックマッチングなどによる動き検出処理を採用することもできる。動き検出処理によっては動きベクトルの情報を得ることができる。しかし、本発明の実施の形態においては、拍動の運動周期を判定することを目的としているために、単に動き量が求められればよい。この場合、動き検出処理は単に動き量を求める処理としては重いものとなり効率的でない。そこで、本発明の実施の形態においては、フレーム差分検出という、動き検出よりも軽い処理により動き量を求めることとしている。

実動期間判定部２５０は、例えばフレーム差分データ格納部２２３においてＴ個のフレーム差分データの格納が完了したことに応じて、このＴ個のフレーム差分データを利用して実動期間のタイミングを判定する部位である。実動期間判定部２５０は特許請求の範囲に記載の期間判定部の一例である。

［運動周期判定部が判定する実動期間および静止期間についての説明］
図４は、フレーム差分データ格納部２２３に格納されたフレーム差分データを時系列により展開して模式的に示したものである。縦軸はフレーム差分データの値（フレーム差分値）をとっており、横軸はフレーム、すなわち時間をとっている。

図４に示されるフレーム差分値の時系列においては、ほぼ一定の時間間隔で一定以上の値に急峻に立ち上がるピーク値Ｐが得られている。このピーク値Ｐは、拍動としての運動において心筋細胞シート５００が実際に動いたことにより得られるものである。先に述べたように、拍動としての運動は周期的であるという特徴を持つ。このために、ピーク値Ｐは周期性を有して出現するものとなる。そして、このピーク値Ｐに対応したフレーム差分値の変化が生じていない期間においては、フレーム差分値はほぼ０となっている。このフレーム差分値が０の状態は、拍動としての運動において、心筋細胞シート５００が動かずに静止している状態にあることを示す。このために、フレーム差分値の時系列は、図示するようにして、実動期間Ｔｍｖと静止期間Ｔｓｔとがそれぞれ一定とみてよい時間間隔により交互に出現するものとなる。実動期間Ｔｍｖは、心筋細胞シート５００が動くことに応じてピーク値Ｐに対応したフレーム差分値の変動が生じている期間である。一方、静止期間Ｔｓｔは、心筋細胞シート５００がほぼ静止していることに応じて、フレーム差分値がほぼ０とみてよい状態となる期間である。

運動周期判定部２２０は、心筋細胞シート５００の動きを示すものであるフレーム差分データに基づき、上記の実動期間Ｔｍｖと静止期間Ｔｓｔとの発生タイミングを判定しようというものである。このために、図３の実動期間判定部２５０は、実動期間Ｔｍｖと静止期間Ｔｓｔのうち、実動期間Ｔｍｖの発生タイミングを判定する。実動期間Ｔｍｖ以外の期間が静止期間Ｔｓｔとなるため、実動期間Ｔｍｖの発生タイミングを判定することが、すなわち静止期間Ｔｓｔの発生タイミングを判定することにもなる。また、図７においてピーク値Ｐよりも小さい値で出現しているピーク値は、例えば心筋細胞シート５００が一時的に不規則な動きをしたことに応じて発生したノイズｎｓである。本発明の実施の形態の実動期間判定部２５０は、後述するようにしてノイズｎｓを本来のピーク値Ｐとして誤検出することが無いようにしてフレーム差分値と比較する閾値を可変する構成を採る。これにより、高い精度で実動期間Ｔｍｖの発生タイミングを判定できるようになっている。

［実動期間判定部の構成例］
図５は、実動期間判定部２５０の一構成例を示している。この図に示す実動期間判定部２５０は、ピーク検出部２５１、平均ピーク値算出部２５２、平均ピーク周期算出部２５３、閾値算出部２５４および実動期間周期判定部２５５から成る。

ピーク検出部２５１は、フレーム差分データ格納部２２３に格納されているＴ個のフレーム差分データを時系列順に入力して、各時間のフレーム差分データごとについて、ピーク値Ｐであるか否かを検出するための部位である。なお、ピーク検出部２５１が利用するフレーム差分データは、フレーム差分データ格納部２２３において既にＴ個分が格納されている。このため、ピーク検出部２５１によるフレーム差分データ格納部２２３からのフレーム差分データの読み出しについては、フレーム周期に同期させる必要はない。したがって、例えば以降説明する実動期間判定部２５０内の各部が実行する処理としては、フレーム周期よりも高速な動作により実行させることができる。また、以降の説明においては、ピーク検出部２５１が検出対象とするフレーム差分データが対応するフレーム時間を現在時間として扱い、時間ｔとして表すこととする。

この場合のピーク検出部２５１は、時間ｔに対応して設定された閾値ＴＨ（ｔ）を利用して、時間ｔのフレーム差分データｘ（ｔ）について、次のピーク検出条件式を満たした場合にピークであると判定する。
ｘ（ｔ）＞ｘ（ｔ−１）， ｘ（ｔ）＞ｘ（ｔ＋１）， ｘ（ｔ）＞ＴＨ（ｔ）

すなわち、前後の時間のフレーム差分データｘ（ｔ−１）およびｘ（ｔ＋１）よりも値が大きく、かつ、閾値ＴＨ（ｔ）よりも大きな値のフレーム差分データｘ（ｔ）を、ピークであるとして検出する。ピーク検出部２５１は、時間ｔのフレーム差分データｘ（ｔ）がピークであることを検出したことに応じて、その検出結果を示すピーク検出情報Ｐｄ（ｔ）を出力する。ピーク検出情報Ｐｄ（ｔ）は、ピーク値Ｐとしてのフレーム差分データの値と、そのピーク値Ｐが検出された時間を示す情報とを有する。

平均ピーク値算出部２５２は、現在検出対象のフレーム差分データが対応する時間ｔより前に検出されたＮ個のピーク値Ｐ_１乃至Ｐ_Ｎの平均値である平均ピーク値Ｐａｖを算出していく部位である。平均ピーク値Ｐａｖは、ｋ番目に検出されたピーク値をＰ_ｋとして、例えば次式により求めることができる。

なお、上式は平均ピーク値Ｐａｖとして単純平均を求めるものとなっているが、例えば加重平均を求めるようにするなど、平均値の算出の仕方については特に限定されるべきものではない。また、ここでは、現在に対応する時間ｔまでにおいて得られた全てのピーク値Ｐの平均値を求めることとしている。これに対して、現在に対応する時間ｔまでにおいて得られたピーク値Ｐのうちから直近の所定数のピーク値Ｐの移動平均を平均ピーク値Ｐａｖとして求めるようにすることも考えられる。平均ピーク値Ｐａｖとしてどのような演算を採用するのかについては、例えば実際に判定結果とて得られる実動期間Ｔｍｖおよび静止期間Ｔｓｔの精度などを考慮して決定すればよい。この点については、次に説明する平均ピーク周期Ｃａｖに関しても同様である。

平均ピーク周期算出部２５３は、現在検出対象のフレーム差分データが対応する時間ｔより過去のフレーム差分データを対象として検出されたＮ個のピーク値Ｐ_１乃至Ｐ_Ｎが出現する周期時間についての平均値（平均ピーク周期）Ｃａｖを算出する部位である。この平均ピーク周期Ｃａｖは、ｋ個目のピーク値Ｐ_ｋが検出された時間をｔ_ｋとし、（ｋ＋１）個目のピーク値Ｐ_ｋ+1が検出された時間をｔ_ｋ+1として、次式により求めることができる。

閾値算出部２５４は、現在検出対象のフレーム差分データが対応する時間ｔまでのピーク検出結果に基づいて得られている平均ピーク値Ｐａｖおよび平均ピーク周期Ｃａｖにより、時間ｔにおける閾値ＴＨ（ｔ）を設定する部位である。この閾値ＴＨ（ｔ）は、例えば時間ｔにおける係数をα（ｔ）として、次式により求めることができる。
ＴＨ（ｔ）＝α（ｔ）・Ｐａｖ

上式に示すように、時間ｔにおける閾値ＴＨ（ｔ）は、時間ｔにおける係数α（ｔ）と平均ピーク値Ｐａｖとを乗算することによって得られるが、係数α（ｔ）は次のようにして決定される。

図６は、閾値算出部２５４が設定する時間ｔの進行に応じた係数αを示している。閾値算出部２５４は、現時間ｔまでにおいて最後にピーク値Ｐが検出された時間ｔ１を基点として時間（ｔ１＋Ｃ−ｄ）までの期間は係数αが所定の最大値となるように設定する。また、時間（ｔ１＋Ｃ+ｄ）以降の期間についても最大値を設定する。また、時間（ｔ１＋Ｃ−ｄ）から時間（ｔ１＋Ｃ+ｄ）までの期間においては、係数αが時間（ｔ１＋Ｃ）に近づくのに応じて減少し、時間（ｔ１＋Ｃ）において最小値となるように設定する。そして、閾値算出部２５４は、この設定に基づいて現時間ｔに対応するαがどの値であるのかを判定する。判定された値が係数α（ｔ）となる。係数αが最小値となる時間（ｔ１＋Ｃ）は、現時間において算出されている平均ピーク周期Ｃａｖに基づいて、次回以降のピーク値Ｐが検出される可能性が最も高いものとして推定されたピーク出現時間となる。すなわち、ピーク値Ｐが検出される可能性が高いタイミングでは係数αの値を小さく設定し、逆にピーク値Ｐが検出される可能性が低いタイミングでは係数αの値を大きく設定している。これにより、閾値ＴＨ（ｔ）は、ピーク値Ｐが検出される可能性が低い時間においては高くなるように、また、ピーク値Ｐが検出される可能性が高いタイミングでは低くなるようにして設定される。閾値算出部２５４は、特許請求の範囲に記載の閾値設定部の一例である。

ピーク検出部２５１は、上記のようにして設定される閾値ＴＨ（ｔ）を利用することで、実際の拍動に応じて得られるピーク値Ｐをより確実に検出できることになる。その一方で、ピーク値Ｐが出現するタイミング以外の時間で発生するノイズのピークについては検出しないように動作する。このようにして、本発明の実施の形態においては、推定されるピーク値Ｐの出現周期に追随させるようにして閾値ＴＨ（ｔ）を変更設定することで、ピーク値Ｐの有無を高い精度で検出できるようにしている。これにより、次に説明する実動期間周期判定部２５５が算出する実動期間Ｔｍｖについても、高い精度のものが得られることになる。

実動期間周期判定部２５５は、実動期間Ｔｍｖの発生タイミングを判定する部位である。先にも述べたように、ここでの実動期間Ｔｍｖの発生タイミングとは、周期的に発生する実動期間Ｔｍｖの開始時間および終了時間である。実動期間周期判定部２５５は、実動期間Ｔｍｖの発生タイミングを判定するのにあたり、Ｔ個の全てのフレーム差分データについてピーク検出を行って最終的に得られた平均ピーク周期Ｃａｖを入力する。また、実動期間周期判定部２５５は、ピーク検出部２５１から、Ｔ個の全てのフレーム差分データについてのピーク検出が完了した段階において最後に検出されたピーク検出情報Ｐｄ（ｔ１）の情報を取得する。すなわち、最後に検出されたピーク値Ｐと、その時間ｔ１との情報を取得する。さらに、実動期間周期判定部２５５は、フレーム差分データｘ（ｔ）を入力する。

図７において、時間ｔ１は、最後のピーク値Ｐが検出された時間を示す。実動期間周期判定部２５５は、まず、最後のピーク値Ｐが検出された時間ｔ１を起点として時間幅「±ｄ」を求める。この時間幅「±ｄ」は、時間ｔ１に得られた最後のピーク値をＰ（ｔ１）により表したとすると、次式の条件を満たすものとして求められる。
Ｐ（ｔ１±ｄ）＞β・Ｐ（ｔ１） （０＜β＜１）

すなわち、上式は、最後のピーク値Ｐが得られた時間ｔ１を基準として、この時間ｔ１の前後においてピーク値Ｐに応じたフレーム差分値の変動が生じている期間を時間幅「±ｄ」として求めるものである。そして、まずは、この時間ｔ１を中点とする時間幅「±ｄ」による期間を実動期間Ｔｍｖとする。なお、このようにして求められた時間幅「±ｄ」は、例えば閾値算出部２５４に帰還することにより、図６にて説明したようにして係数α（ｔ）を設定する際の、ピーク出現時間を中点とする時間幅「±ｄ」として利用することができる。

次に、実動期間周期判定部２５５は、上記時間ｔ１から平均ピーク周期Ｃａｖを経過した時間ｔ２を求めたうえで、この時間ｔ２を基準とする時間幅「±ｄ」による期間を次の実動期間Ｔｍｖとして設定する。さらに、時間ｔ２から平均ピーク周期Ｃａｖを経過した時間ｔ３を求め、この時間ｔ２を基準とする時間幅「±ｄ」による期間を次の実動期間Ｔｍｖとして設定する。このようにして、平均ピーク周期Ｃａｖと時間幅「±ｄ」とに基づいて、時間ｔ１以降の実動期間Ｔｍｖとなる発生タイミングを求める。また、このようにして実動期間Ｔｍｖが求められる結果、実動期間Ｔｍｖ以外の期間である静止期間Ｔｓｔの発生タイミングも同時に特定されることになる。

実動期間周期判定部２５５は、上記のようにして求めた実動期間Ｔｍｖと静止期間Ｔｓｔの発生タイミングに基づき、現時間が実動期間Ｔｍｖと静止期間Ｔｓｔの何れであるのかを示す周期指示信号をフレーム間引き処理部２３０に出力する。なお、実動期間周期判定部２５５は、特許請求の範囲に記載の実動期間判定部の一例である。

［フレーム間引き処理部］
図８は、フレーム間引き処理部２３０が周期指示信号に応じて実行する動作例を模式的に示している。図８（ａ）には、例えばフレーム画像データ生成部２１０からフレーム間引き処理部２３０に対して、１フレーム期間ごとに順次入力されるフレーム画像データＦ１乃至Ｆ３０が示されている。そのうえで、周期指示信号は、フレーム画像データＦ１乃至Ｆ１５が入力される期間に対応して静止期間Ｔｓｔを示していたものとしている。フレーム間引き処理部２３０は、静止期間Ｔｓｔに対応しては、例えば図示するようにして、波線により示すフレーム画像データについては間引きを行って記録を行う。すなわち、この場合には３フレームごとに２フレーム分のフレーム画像データを間引き、残る１つのフレーム画像データを抜き出して評価対象画像データ記録部２４０に記録することとしている。この結果、静止期間Ｔｓｔにおいては通常時よりも低いフレームレートによって動画像の記録が行われることになる。

次に、図８（ａ）に示すように、フレーム画像データＦ１６乃至Ｆ２２が入力される期間に対応して周期指示信号が実動期間Ｔｍｖを示す状態に切り替わったとする。これに応じてフレーム間引き処理部２３０は、図示するようにして、フレーム画像データＦ１６乃至Ｆ２３のそれぞれを評価対象画像データ記録部２４０に出力して記録を行う。このように、実動期間Ｔｍｖにおいては通常のフレームレートによる動画像の記録が行われる。

次に、図８においては、フレーム画像データＦ２４のタイミングに至って周期指示信号が静止期間Ｔｓｔを示す状態に変化している。これに応じては、先のフレーム画像データＦ１乃至Ｆ１５のときと同様に、フレーム間引き処理部２３０は、２フレームずつの間引きを行いながらフレーム画像データを記録していく。なお、この間引きの態様に対応する間引き率は例えば２／３となる。

上記のようにしてフレーム画像データの記録が行われる結果、評価対象画像データ記録部２４０は、図８（ａ）に示すフレーム画像データＦ１乃至Ｆ３０のうち、図８（ｂ）に示すフレーム画像データが評価対象画像データとして記録される。すなわち、フレーム画像データＦ１、Ｆ４、Ｆ７、Ｆ１０、Ｆ１３、Ｆ１６乃至Ｆ２４、Ｆ２７、Ｆ３０が記録される。図８（ａ）と図８（ｂ）を比較して分かるように、本発明の実施の形態においては、動画像データとして記録される単位時間あたりのフレーム画像データ数を、通常のフレームレートで定常的に記録したとする場合よりも大幅に少なくできる。すなわち、同じ撮影時間に対応する動画像データのサイズを大幅に縮小できる。

ここで、静止期間Ｔｓｔは心筋細胞シート５００が動きを生じることなく静止している期間であるから、静止期間Ｔｓｔにおけるフレーム画像データはほとんど同じ画像内容となる。したがって、フレームレートを低く設定したとしても何ら問題にはならない。これに対して、実動期間Ｔｍｖにおいては、通常のフレームレートが設定されることで、動きの状態を評価するのに十分な時間方向の解像度が得られることになる。このようにして本発明の実施の形態によっては、心筋細胞シート５００を撮像記録した動画像データ（評価対象画像データ）について、そのサイズを大幅に縮小することを可能としながらも、評価のために十分な画像品質を維持できる。

なお、図８（ｂ）に示した間引き率は一例であり、実際においては、静止期間Ｔｍｖとして必要とされる時間方向の解像度などを考慮して適宜設定されればよい。また、評価対象画像データ記録部２４０が、上記図８（ｂ）に示すようにして記録された評価対象画像データを再生する際には、フレーム画像データＦ１を３フレーム連続して再生し、次に、フレーム画像データＦ４を同じく３フレーム連続して再生する。以降、同様にして、フレーム画像データＦ７、Ｆ１０、Ｆ１３を順次３フレーム連続して再生する。すなわち、静止期間Ｔｓｔに対応して間引き記録されたフレーム画像データについては、その間引き率に応じたフレーム数だけ連続して再生する。また、実動期間Ｔｍｖに対応して記録されたフレーム画像データＦ１６乃至Ｆ２４については、そのまま１フレームずつ順次再生する。このようにして再生を行うことで、心筋細胞シート５００を撮影記録したときと同じ時間進行に応じた心筋細胞シート５００の動きが再現される。

［評価対象画像データ生成記録装置の処理手順例］
図９のフローチャートは、評価対象画像データ生成記録装置２００における運動周期判定部２２０が実行する処理手順例を示している。なお、これらの図に示す各ステップとしての処理は、図３に示した運動周期判定部２２０内のフレーム差分検出部２２２と実動期間判定部２５０の何れかが適宜実行するものとなる。また、例えばフレーム差分検出部２２２と実動期間判定部２５０が実行する処理は、ハードウェアにより実現することも可能である。また、例えばＣＰＵ（Central Processing Unit）やＤＳＰ（Digital Signal Processor）などにプログラムを実行させることにより実現することも可能である。

まず、図９において、例えばフレーム差分検出部２２２は、フレーム画像データ生成部２１０によりフレーム画像データが生成されている状態のもと、例えば運動周期判定実行タイミングに至るのを待機している（ステップＳ９０１）。運動周期判定としての一連の処理は、先に述べたように、例えば所定の時間間隔ごとにＴ個のフレーム差分データを得るのに必要な一定時間により実行されるものとして予め設定されている。

上記ステップＳ９０１にて運動周期判定実行タイミングに至ったと判定されることに応じて、フレーム差分検出部２２２は、現時間と１つ前の時間のフレーム画像データの差分値を検出する処理を実行する（ステップＳ９０２）。検出された差分値は、フレーム差分データとしてフレーム差分データ格納部２２３に格納する。

次に、フレーム差分検出部２２２は、最初にステップＳ９０２としての差分値を検出する処理を開始してから一定時間が経過したことが判定されるまで（ステップＳ９０４）、ステップＳ９０２とステップＳ９０３による処理を繰り返す。これにより、フレーム期間が進行するのに応じて順次フレーム差分データが生成され、フレーム差分データ格納部２２３に格納されていく。

ステップＳ９０４において一定時間が経過したことが判定された段階においては、フレーム差分データ格納部２２３にはＴ個のフレーム差分データが格納されている。そこで、実動期間判定部２５０は、実動期間Ｔｍｖの周期時間を判定するための処理（実動期間判定）を実行する（ステップＳ９１０）。なお、実動期間Ｔｍｖの周期時間が判定されることに応じては、静止期間Ｔｓｔの周期時間も特定されることは先に述べたとおりである。そして、実動期間判定部２５０は、その判定結果にしたがって、現在が実動期間Ｔｍｖと静止期間Ｔｓｔの何れであるのかを示す周期指示信号を、フレーム間引き処理部２３０に出力する（ステップＳ９０５）。

先に述べたように、運動周期判定の処理は、例えば一定時間間隔ごとに行われる。従って、周期指示信号により指示される実動期間Ｔｍｖと静止期間Ｔｓｔは、上記の一定時間間隔ごとに応じて更新されることになる。例えば、運動周期判定の処理を心筋細胞シート５００の撮影記録開始時において一度だけ実行し、以降は、このときに判定された実動期間Ｔｍｖと静止期間Ｔｓｔを示す周期指示信号を出力させるという構成も考えられる。しかし、時間経過に従って、実際の拍動のタイミングと、実動期間Ｔｍｖおよび静止期間Ｔｓｔのタイミングとの間でのずれが徐々に大きくなっていく可能性がある。そこで、本発明の実施の形態のようにして定期的に実動期間Ｔｍｖと静止期間Ｔｓｔを更新していくこととすれば、長時間の心筋細胞シート５００の撮影記録であっても、実際の拍動のタイミングに追従していくことができる。

図１０のフローチャートは、図９においてステップＳ９１０として示した実動期間判定のための処理手順例を示している。なお、この図に示す各ステップにおける処理は、図５に示した実動期間判定部２５０におけるピーク検出部２５１、平均ピーク値算出部２５２、平均ピーク周期算出部２５３、閾値算出部２５４および実動期間周期判定部２５５の何れかが適宜実行するものとなる。また、この図に示す処理も、ハードウェアまたはＣＰＵやＤＳＰなどにプログラムを実行させることで実現可能である。

まず、ピーク検出部２５１は、フレーム差分データ格納部２２３に格納されているフレーム差分データのうちで、時間ｔに対応するフレーム差分データｘ（ｔ）についてのピーク検出処理を実行する（ステップＳ９１１）。例えば、フレーム差分データｘ（ｔ）について、先に説明したピーク検出条件式を満たすか否かにより、入力したフレーム差分データｘ（ｔ）がピーク値Ｐとして扱われるものであるか否かについて検出するものである。なお、上記のピーク検出条件式に基づくピーク検出に際しては、フレーム差分データ格納部２２３に格納されるフレーム差分データのうち、フレーム差分データｘ（ｔ）とその前後の時間のフレーム差分データｘ（ｔ−１）、ｘ（ｔ＋１）を読み出して利用することになる。そして、このピーク検出処理の結果、実際にピーク値Ｐであることが検出されたか否かについて判定する（ステップＳ９１２）

上記ステップＳ９１２によりピークであるとして判定されたことに応じては、平均ピーク値算出部２５２は、この今回新たに検出されたピーク検出情報Ｐｄ（ｔ）の情報を利用して、平均ピーク値Ｐａｖを改めて演算して更新する（ステップＳ９１３）。この際には、例えば（数１）として示した演算を実行する。同様に、平均ピーク周期算出部２５３は、例えば（数２）として示した演算により平均ピーク周期Ｃａｖを改めて演算して更新する（ステップＳ９１４）。一方、上記ステップＳ９１２によりピークではないとして判定された場合には、上記ステップＳ９１３およびステップＳ９１４の処理をスキップする。

次に、閾値算出部２５４は、先に図６により説明したようにして時間ｔに対応した閾値ＴＨ（ｔ）を算出する（ステップＳ９１５）。続いて、ピーク検出部２５１は時間（フレーム）を示す変数ｔをインクリメントする（ステップＳ９１６）。そのうえで、フレーム差分データ格納部２２３に格納されているＴ個の全てのフレーム差分データについてピーク検出を行ったか否かについて判定する（ステップＳ９１７）。ここで、全てのフレーム差分データについてピーク検出を行っていないと判定された場合には、ステップＳ９１１に戻る。これにより次の時間ｔのフレーム差分データｘ（ｔ）についてのピーク検出とその検出結果に応じた平均ピーク値Ｐａｖ、平均ピーク周期Ｃａｖの更新、また、閾値ＴＨ（ｔ）の算出などが行われる。そして、ステップＳ９１７において全てのフレーム差分データについてピーク検出を行ったことが判定されると、実動期間周期判定部２５５は、例えば先に図７にて説明したようにして実動期間Ｔｍｖを算出する処理を実行する（ステップＳ９１８）。

図１１のフローチャートは、フレーム間引き処理部２３０が実行する処理手順例を示している。この図に示す処理も、ハードウェアまたはＣＰＵやＤＳＰなどにプログラムを実行させることで実現可能である。

まず、フレーム間引き処理部２３０は、フレーム画像データが入力されるフレーム期間の開始タイミングごとに対応して、現在の周期指示信号が静止期間Ｔｓｔを示しているか否かについて判定する（ステップＳ９２１）。

上記ステップＳ９２１において静止期間Ｔｓｔを示していないと判定された場合、周期指示信号は実動期間Ｔｍｖを示していることになる。そこでこの場合には、現在のフレーム期間に対応して入力される現フレーム画像データを評価対象画像データ記録部２４０に記録させる（ステップＳ９２３）。次に、変数ｆに対して０を代入したうえで（ステップＳ９２４）、次のフレーム期間の開始タイミングに応じてステップＳ９２１の処理に戻る。なお、変数ｆは、以降の説明から理解されるように、周期指示信号が静止期間Ｔｓｔを示していることに対応してフレーム画像データの間引きを行う際において、連続してフレーム画像データの間引きを行った回数を示すものとなる。

また、ステップＳ９２１にて静止期間Ｔｓｔであると判定された場合には、現在の変数ｆが最大値Ｍと等しい状態であるか否かについて判定する（ステップＳ９２２）。なお、最大値Ｍは、実際に設定されたフレーム画像データの間引き率に応じて決まる。具体的に、図８（ｂ）に示したように間引き率が３フレームごとに２つのフレーム画像データを間引くというもの（間引き率「２／３」）であれば、最大値Ｍは「２」となる。

ステップＳ９２２にて変数ｆが最大値Ｍに至っていないと判別された場合には、現フレーム画像データを破棄する（ステップＳ９２５）。すなわち、現フレーム画像データは記録することなく間引くことになる。また、ステップＳ９２５により現フレーム画像データを破棄したことに応じては変数ｆをインクリメントしたうえでステップＳ９２１に戻る。また、ステップＳ９２２にて変数ｆが最大値Ｍに至ったと判別された場合には、前述のステップＳ９２３およびステップＳ９２４の処理を実行する。これにより、静止期間Ｔｓｔにおいては、所定の間引き率により間引きが行われながらフレーム画像データの記録が行われていく。

＜２．変形例＞
次に、本発明の実施の形態の変形例について述べる。まず、上記実施の形態においては、心筋細胞シート５００の撮像記録を行っている期間において、例えばフレーム差分データ格納部２２３にＴ個のフレーム差分データが格納されるごとに実動期間Ｔｍｖと静止期間Ｔｓｔの各発生タイミングを判定することとしていた。これに対して、例えば実動期間判定部２５０が、フレーム差分検出部２２２により得られるフレーム差分データをリアルタイムに入力して実動期間Ｔｍｖと静止期間Ｔｓｔの各発生タイミングを判定する構成も考えられる。

この場合の運動周期判定部２２０としては、図３からフレーム差分データ格納部２２３を省略し、フレーム差分検出部２２２にてフレーム周期ごとに得られるフレーム差分データを実動期間判定部２５０に入力するようにして構成される。そのうえで、実動期間判定部２５０のピーク検出部２５１は、フレーム周期ごとに入力されるフレーム差分データｘ（ｔ）についてのピーク検出を行う。なお、この際に先のピーク検出条件式に基づいたピーク検出を行うとすれば、実際にフレーム差分データｘ（ｔ）がピーク値Ｐであると検出されるタイミングは、その１フレーム後の時間ｔ＋１であることになる。ピーク値Ｐが検出されたことに応じて、平均ピーク値算出部２５２および平均ピーク周期算出部２５３は、それぞれ、今回新たに得られたピーク検出情報Ｐ（ｔ）を利用して、平均ピーク値Ｐａｖと平均ピーク周期Ｃａｖとを改めて算出して更新する。また、閾値算出部２５４も現在の平均ピーク値Ｃａｖを利用して、先に図６により説明したのと同様の処理によって、現時間ｔに対応する閾値ＴＨ（ｔ）を算出してピーク検出部２５１に入力する。そして、実動期間周期判定部２５５は、ピーク値Ｐが新たに検出されるごとに、例えば先に図７により説明したのと同様の処理によって以降の実動期間Ｔｍｖと静止期間Ｔｓｔの各発生タイミングを算出する。

また、上記実施の形態においては、ノイズをピーク値Ｐとして誤検出しないようにしてピーク検出の精度を高めるために、閾値ＴＨ（ｔ）を、推定されるピーク値Ｐのタイミングに追随して可変する構成を採っていた。これに対する変形例として、例えば実際においてノイズをピークとして誤検出する可能性がほとんどないような場合には、閾値ＴＨを固定としてピーク検出を行うように構成してもよい。

また、上記実施の形態においては、実動期間Ｔｍｖにおいては通常のフレームレートで記録し、静止期間Ｔｓｔにおいては通常よりも低いフレームレートで記録を行う構成としている。これに対して、例えば実動期間Ｔｍｖにおいては通常よりも高いフレームレートにより記録し、静止期間Ｔｓｔにおいては通常のフレームレートにより記録するという構成を採ることも考えられる。すなわち、本願発明としては、静止期間Ｔｓｔにおいて、実動期間Ｔｍｖよりも低いフレームレートにより動画像を記録するようにされればよい。

なお、本発明の実施の形態は本発明を具現化するための一例を示したものであり、本発明の実施の形態において明示したように、本発明の実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本発明の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本発明は実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、本発明の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。

１００ 心筋細胞シート評価システム
１１０ 撮像装置
２００ 評価対象画像データ生成記録装置
２１０ フレーム画像データ生成部
２２０ 運動周期判定部
２２１ フレームメモリ
２２２ フレーム差分検出部
２２３ フレーム差分データ格納部
２３０ フレーム間引き処理部
２４０ 評価対象画像データ記録部
２５０ 実動期間判定部
２５１ ピーク検出部
２５２ 平均ピーク値算出部
２５３ 平均ピーク周期算出部
２５４ 閾値算出部
２５５ 実動期間周期判定部
３００ 評価指標データ生成装置
４００ 評価装置
５００ 心筋細胞シート

Claims (7)

1. 動きの有る状態と動きの無い状態とが交互に周期的に繰り返される運動を行う物体の画像内容を有する動画像データを入力して、前記動きの有る状態となる実動期間と前記動きの無い状態となる静止期間とを判定する運動周期判定部と、
   前記動画像データを記録するのに際して、前記静止期間においては前記動画像データを形成するフレーム画像データの単位時間あたりの数を前記実動期間のときよりも少なくして記録する記録制御部と
   を具備する記録装置。
2. 前記運動周期判定部は、前記動画像データを形成するフレーム画像データの時系列において前後する２つのフレーム画像データのフレーム差分値を検出するフレーム差分検出部と、
   検出されたフレーム差分値に基づいて前記実動期間を判定し、前記実動期間以外の期間を前記静止期間として判定する期間判定部と
   を備える請求項１記載の記録装置。
3. 前記期間判定部は、前記フレーム差分値のピークを検出するピーク検出部と、
   ピークが検出されたフレーム差分値が対応する時間に基づいて前記実動期間を判定する実動期間判定部と
   を備える請求項２記載の記録装置。
4. 前記ピーク検出部は、検出対象とするフレーム差分値を時系列順に従って入力し、この検出対象とされたフレーム差分値と閾値との比較結果に基づいてピークを検出し、
   前記期間判定部は、現在検出対象とされているフレーム差分値が対応する検出対象時間と、この検出対象時間以前においてピークが検出されたフレーム差分値が対応する時間に基づいて推定した次回以降のピーク出現時間との差に応じて前記閾値を変更設定する閾値設定部をさらに備える
   請求項３記載の記録装置。
5. 前記運動周期判定部は、所定の時間間隔ごとに一定時間分の動画像データを入力して前記実動期間と前記静止期間とを判定する請求項１記載の記録装置。
6. 前記記録制御部は、前記実動期間においては１フレーム期間ごとのフレーム画像データにより形成される前記動画像データを記録し、前記静止期間においては所定の複数フレーム期間ごとにつき１つのフレーム画像データにより形成される前記動画像データを記録する請求項１記載の記録装置。
7. 動きの有る状態と動きの無い状態とが交互に周期的に繰り返される運動を行う物体の画像内容を有する動画像データを入力して、前記動きの有る状態となる実動期間と前記動きの無い状態となる静止期間とを判定する運動周期判定手順と、
   前記動画像データを記録するのに際して、前記静止期間においては前記動画像データを形成するフレーム画像データの単位時間あたりの数を前記実動期間のときよりも少なくして記録する記録制御手順と
   を具備する記録方法。

Images