JP2015103217A - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP2015103217A
JP2015103217A JP2013245891A JP2013245891A JP2015103217A JP 2015103217 A JP2015103217 A JP 2015103217A JP 2013245891 A JP2013245891 A JP 2013245891A JP 2013245891 A JP2013245891 A JP 2013245891A JP 2015103217 A JP2015103217 A JP 2015103217A
Authority
JP
Japan
Prior art keywords
image
image processing
processing apparatus
roi
change
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013245891A
Other languages
English (en)
Other versions
JP2015103217A5 (ja
Inventor
一樹 相坂
Kazuki Aisaka
一樹 相坂
真司 渡辺
Shinji Watanabe
真司 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2013245891A priority Critical patent/JP2015103217A/ja
Priority to PCT/JP2014/005733 priority patent/WO2015079640A1/en
Priority to US15/036,846 priority patent/US10330912B2/en
Priority to EP14805369.7A priority patent/EP3036578A1/en
Publication of JP2015103217A publication Critical patent/JP2015103217A/ja
Publication of JP2015103217A5 publication Critical patent/JP2015103217A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

【課題】長時間撮影した画像を効率良く観察できる画像処理装置および画像処理方法を提供する。【解決手段】顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、前記取得した各々の画像の特徴量を解析し、前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、前記指標が予め定められた閾値を超えている画像を選択し、前記選択した画像を時系列で表示部に表示するように構成された制御部を具備する。【選択図】図6

Description

本技術は、顕微鏡撮影された画像を処理する画像処理装置および画像処理方法に関する。
生細胞を長時間撮影するタイムラプス観察などでは、撮影された画像(動画)を観察するにあたり、観察に要する時間を短縮するための様々な工夫がなされてきた。
時間を短縮するために、撮影された細胞の画像を解析し、特徴量を算出する方法が幾つかある。例えば、エッジ検出や、輪郭抽出、フィルタ処理、Z軸方向の情報などを組み合わせて細胞等を認識する技術がある(例えば、特許文献1から3および非特許文献1から3参照)。これらの技術では、細胞等が撮影された領域を分類し、分類した領域ごとに特徴量の経時変化を出力する。
特開2004−054347号公報 特開2006−018394号公報 特開2011−027543号公報
"Cell Segmentation in Microscopy Imagery Using A Bag Of Local Bayesian Classifiers", Z. Yin, R. Bise, M. Chen and T. Kanade, 2010 "High-resolution cell outline segmentation and tracking from phase-contrast microscopy images", M.E. Ambuhl, C. Brepsant, J.-J. Meister, A.B. Verkhovsky and I.F. Sbalzarini, 2011, Journal of Microscopy, Vol. 245, Pt 2 2012, pp. 161-170 "Advanced Level-Set Based Multiple-Cell Segmentation and Tracking in Time-Lapse Fluorescence Microscopy Images", O. Dzyubachyk, W. Niessen and E. Meijering, 2008
しかしながら、従来の技術は細胞を認識するだけであり、長時間撮影した画像についてすべて確認するには撮影時間分の時間がかかってしまっていた。このように、長時間撮影した画像を効率良く観察するためには不十分な点があった。
以上のような事情に鑑み、本技術の目的は、長時間撮影した画像を効率良く観察できる画像処理装置および画像処理方法を提供することにある。
上記目的を達成するため、本技術の一形態に係る画像処理装置は、顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、前記取得した各々の画像の特徴量を解析し、前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、前記指標が予め定められた閾値を超えている画像を選択し、前記選択した画像を時系列で表示部に表示するように構成された制御部を具備する。
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、前記取得した画像内にROI領域を設定し、前記設定されたROI領域の前記特徴量を解析し、前記指標を、前記ROI領域ごとに算出する構成でもよい。
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、少なくとも1つの前記ROI領域に対して、算出された前記指標が前記閾値を超えている画像を選択する構成でもよい。
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、入力部を介してユーザから前記ROI領域の指定を受け付け、前記指定されたROI領域の前記指標が前記閾値を超えている画像を選択する構成でもよい。
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、前記各々の画像のうち、前記ROI領域の部分を拡大して表示する構成でもよい。
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、前記閾値を、入力部を介して受け付けた入力により設定する構成でもよい。
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、前記閾値を、前記特徴量の前記変化の量に基づいて設定する構成でもよい。
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、前記複数の画像を動画として再生する場合に、前記入力部を介して受け付けた再生時間に応じた前記画像が選択されるように、前記閾値を調整する構成でもよい。
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記特徴量は、輝度、エッジ、動きベクトル、および密度のうち少なくとも1つであってもよい。
上記目的を達成するため、本技術の一形態に係る画像処理装置では、前記制御部は、前記指標を、前記特徴量の変化量と、当該変化量を正規化した正規化変化量と、正規化変化量の合計とを用いて、以下の式で算出する構成でもよい。
(指標)=Σ((前記特徴量の変化量)×(前記特徴量の正規化変化量)/(正規化変化量の合計))
上記目的を達成するため、本技術の一形態に係る画像処理方法では、制御部が、顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、前記取得した各々の画像の特徴量を解析し、前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、前記指標が予め定められた閾値を超えている画像を選択し、前記選択した画像を時系列で表示部に表示する。
以上のように、本技術によれば、長時間撮影した画像を効率良く観察できる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本実施形態に係る画像処理装置で行われる、動画のダイジェスト再生のイメージを説明するための図である。 本実施形態に係る画像処理装置で用いられるGUIの例を示す図である。 本実施形態に係る画像処理装置で用いられるGUIの例を示す図である。 本実施形態に係る画像処理装置50を含む顕微鏡システム1の構成図である。 制御部51の構成図である。 画像処理装置50が行う処理の流れについて、その概要を説明するためのフローチャートである。 ROIの指定・検出処理の流れについて説明するためのフローチャートである。 ROI情報テーブル52aの例を示す図である。 ROIごとの変化指標の算出処理の流れについて説明するためのフローチャートである。 ROI番号・変化指標テーブル52cの例を示す図である。 ダイジェストの作成と表示の処理の流れについて説明するためのフローチャートである。 変化指標のヒストグラムの例である。 ROIごとの変化指標の算出処理の流れについて説明するためのフローチャートである。 処理対象であるROIのROI番号と、そのROIにおける各変化量を格納するテーブルの例である。 ダイジェストの作成と表示の処理の流れについて説明するためのフローチャートである。
<第1の実施形態>
以下、本技術に係る実施形態を、図面を参照しながら説明する。なお、以下の説明では、最初に、タイムラプス観察などにより取得した長時間の動画をどのようにダイジェスト再生するか、そのイメージを説明する。次に、ダイジェスト作成に用いる指標について説明し、その後、本実施形態に係る画像処理装置の構成とその処理の流れについて説明する。
[ダイジェスト再生のイメージ]
最初に、本実施形態に係る画像処理装置で行われる、動画のダイジェスト再生のイメージを説明する。図1は、本実施形態に係る画像処理装置で行われる、動画のダイジェスト再生のイメージを説明するための図である。
図の上側は、ダイジェスト再生を行う基となる動画の例を示している。時刻t=1の画像では、2つの円形の細胞が写っている。なお、ここでは、右上の細胞が写っている領域をROI(Region of Interest、注目領域)1とし、左下の細胞が写っている領域をROI2とする。
時刻t=2では画像に変化は無く、時刻t=3においてROI2の細胞の形状が三角形に変化したとする。時刻t=4では画像に変化は無く、時刻t=5においてROI1の細胞の形状が三角形に変化したとする。時刻t=6では画像に変化は無く、時刻t=7において両方の細胞の形状が四角形に変化したとする。
図の中央は、フレーム(画像)全体での変化を捉えたダイジェスト再生の様子を示している。すなわち、画像内に写っているROIのいずれかに変化があれば、その変化を全て含むように、ダイジェストが生成される。この例では、ROI1の細胞のみが変化した時刻t=3の画像、ROI2の細胞のみが変化した時刻t=5の画像、および両方の細胞が変化した時刻t=7の画像、計4枚の画像によりダイジェスト再生が行われる。
図の下側は、ROIごとの変化を捉えたダイジェスト再生の様子を示している。例えば、ROI1の細胞では、時刻t=5および時刻t=7においてのみ変化があったので、ダイジェストはこれらを含む計3枚の画像で構成される。なお、ROI1の変化を捉えたダイジェストでは、ここで示すようにROI1の領域を拡大して表示してもよいし、他の細胞との位置関係が把握し易いように画像全体を表示してもよい。
以上、本実施形態に係る画像処理装置で行われる、動画のダイジェスト再生のイメージを説明した。
[ダイジェスト再生に用いるフレームの選択方法(概要)]
次に、動画を構成するフレームから、ダイジェストに用いるフレームを抜き出す方法の概要について説明する。
まず、上述した「変化」に関する指標(変化指標)を考える。そして、この変化指標を、動画を構成するフレームごとに求める。ダイジェストに用いるフレームを選択する基準として、この変化指標が所定の閾値を超えていることを採用する。
こうすることで、ユーザが閾値の設定を変更すると、閾値を超える変化指標を持つフレームの数が増減する。ダイジェストに用いるフレームの数が増減することにより、様々な再生時間のダイジェスト再生を行うことが出来る。
また、画像形成装置を複数種類の「変化」が捉えられるように構成することにより、ユーザが指定した変化、例えば細胞分裂や、遊走、血管新生などに合わせて、ダイジェストを作成することが出来る。
このように、本技術に係る画像処理装置では、ユーザ(研究者)が見たい変化の種類と変化の度合い(閾値)を指定して、その変化がその閾値以上起きている箇所の画像だけをダイジェストとして観察することが出来るので、解析時間の短縮を行うことが出来る。
以上、動画を構成するフレームから、ダイジェストに用いるフレームを抜き出す方法の概要について説明した。
[本技術が対象とする変化の種類(例)]
ここでは、本技術に係る画像処理装置が扱う「変化」の種類について、3つの例を挙げて説明する。なお、本技術では、ここに挙げる種類の変化以外の変化を捉えてダイジェスト再生を行うことも出来る。
(1)細胞分裂など、形態や状態の変化(エッジや輝度の変化)
形態や状態の変化を捉える為には、位相差像や蛍光像を用いることが出来る。位相差像は、ROI領域を設定する場合や細胞を追尾(トラッキング)撮影する場合などに、輪郭位置を決めるために用いることが出来る。位相差像を測定して得られるエッジの数やエッジの分散を用いて変化指標を求めることが出来る。
また、蛍光像を用いることにより、継続する変化の始点と終点となるフレームを決定することが出来る。例えば、蛍光の変化が始まったフレームを始点とし、蛍光の輝度値が増減する中で減少が最小となるフレームを終点とすることが出来る。蛍光像を測定して得られる輝度値のヒストグラムを用いて変化指標を求めることが出来る。
なお、1つの生体標本を撮影して得られた、位相差像および蛍光像の両方を組み合わせて用いることも出来る。例えば、位相差像には細胞の輪郭が明確に写るので、位相差像を用いて、細胞が存在する領域をROI領域として決定し、その後、蛍光像を用いてそのROI領域の変化を捉えることも出来る。
(2)遊走、輸送などの動態(動き)の変化
遊走する細胞の各々をトラッキングし、ME(Motion Vector Estimation、動きベクトル演算)などの方法により、各々の細胞の動きベクトルを算出する。動きベクトルに基づいて算出した動き量の変化の総量から、変化指標を算出することが出来る。
(3)免疫細胞の活性や血管新生に特徴的な密度の変化
免疫細胞が活性化している領域や血管新生が行われている(腫瘍がある)領域において蛍光像に写っている蛍光体の密度変化から変化指標を算出することが出来る。例えば、ROI領域における輝度値の総和の変化から変化指標を算出することが出来る。
以上、本技術に係る画像処理装置が扱う「変化」の種類について、3つの例を挙げて説明した。
[変化指標および変化指標の係数]
ここでは、上述した変化指標の求め方について、その一例を説明する。ここで説明する変化指標の求め方では、まず変化指標を求めるための係数を算出し、算出した係数を用いて変化指標の算出を行う。
最初に、4種類の変化を考慮して計算を行うこととして、変化量を、A、B、C、Dとする。これらの変化量は、例えば、輝度値の変化、エッジ総数の変化、密度の変化、動きの変化などである。
次に、正規化変化量を求める。正規化変化量は、(変化量)/(総変化量)の式から求められる。変化量A、B、C、Dの正規化変化量を、それぞれ、a、b、c、dとする。
次に、正規化変化量の合計nを求める。正規化変化量の合計nは、各正規化変化量を合計することで得られる。n=Σ(各正規化変化量)
次に、変化指標を算出するための係数を求める。変化量A、B、C、Dに対する係数をそれぞれp、q、r、sとして、p=a/n、q=b/n、r=c/n、s=d/nの式により、係数を求めることが出来る。
なお、係数p、q、r、sの求め方は、上述した数式により求める方法に限らない。例えば、全て1としてもよいし、予め設定されたデフォルトの値を用いてもよい。
最後に、変化指標を、(係数×変化量)の和として算出する。すなわち、変化指標は、以下の数式で求めることが出来る。
(変化指標)=pA+qB+rC+sD
なお、ここでは4種類の変化を考えたが、変化指標を算出するにあたり、より多くの種類の変化を考慮してもよい。その場合は、追加の変化量をE、正規化変化量をe、係数をuとして、u=e/n、(変化指標)=pA+qB+rC+sD+uEのように求めることが出来る。
以上、変化指標の求め方について、その一例を説明した。
[画像処理装置のGUIの例]
次に、本実施形態に係る画像処理装置で用いられるGUI(Graphical User Interface)の例を説明する。図2および図3は、本実施形態に係る画像処理装置で用いられるGUIの例を示す図である。
図2に示す例では、蛍光画像や明視野画像が表示される画像表示領域の下に、ダイジェスト再生の再生時間をユーザが指定するためのスライドバーと、上述した閾値をユーザが指定するためのスライドバーが設けられている。なお、再生時間と閾値の間には、再生時間を延ばすと閾値が下がったり、閾値を上げると再生時間が短くなったりする関係がある。
この例では、ユーザが、画像表示領域の中央付近に写っている丸い細胞をROIとして、直接クリックするなどして指定し、再生時間のスライドバーを調整する。すると、指定されたROI領域に関して、指定された時間に収まるように閾値が調整され、変化があったフレームのうち、変化指標が閾値を超えるフレームが選択され、ダイジェスト再生が行われる。
図3に示す例では、ユーザが画像表示領域で指定したROIの数に応じて、対応するスライドバーが表示されている。ここでは、3つのROIをユーザが指定したので、それぞれのROIにおいてダイジェスト再生の対象となるフレームを選択するための閾値をユーザが指定できるように、3つのスライドバーが表示されている。
以上、本実施形態に係る画像処理装置で用いられるGUIの例を説明した。
[画像処理装置の構成]
次に、本実施形態に係る画像処理装置を含む顕微鏡システムの構成について概略を説明する。図4は、本実施形態に係る画像処理装置50を含む顕微鏡システム1の構成図である。
顕微鏡システム1は、レーザ光源ユニット10、スキャナユニット20、顕微鏡30、顕微鏡コントローラ40、画像処理装置50を具備している。なお、画像処理装置50で行われる画像解析などの処理は、ローカルネットワーク上にある画像解析サーバ100、またはインターネットクラウド上にある画像解析クラウドサーバ200により行われてもよい。
レーザ光源ユニット10は、蛍光標識された細胞などの標本から蛍光を発生させるための励起光を生成する。生成された励起光は、スキャナユニット20に導入される。
レーザ光源ユニット10は、レーザコントローラ11を具備しており、レーザコントローラ11により、励起光の強度や発光間隔などが制御される。
スキャナユニット20は、スキャナコントローラ21、ガルバノミラー22、ダイクロイックミラー23、および光検出器24を具備している。
ガルバノミラー22は、レーザ光源ユニット10から導入された励起用のレーザ光が顕微鏡30のステージ35上に置かれた標本の水平方向(XY方向)に移動して照射されるように、X方向およびY方向それぞれでレーザ光の向きを変更する。ガルバノミラー22で方向を整えられたレーザ光は、ダイクロイックミラー23を透過後、顕微鏡30に導入される。顕微鏡30に導入されたレーザ光は、標本に照射され、照射により励起された蛍光が顕微鏡30からスキャナユニット20に戻ってくる。
ダイクロイックミラー23は、顕微鏡30から戻ってきたレーザ光および蛍光のうち、蛍光のみを光検出器24に向けて反射させる。
光検出器24は、一般にPMT(Photomultiplier Tube、光電子増倍管)が用いられ、レーザ光が照射された標本において励起された蛍光を検出する。なお、共焦点顕微鏡の場合、光路上、光検出器24の手前にピンホールが設置される。このピンホールが設置される位置は、後述する対物レンズ32の焦点位置と共役位置にある。
スキャナコントローラ21は、標本をXY方向に走査するために、ガルバノミラー22を制御したり、光検出器24を制御したりする。光検出器24により検出された信号は、走査されるXY平面上の1点ごとの輝度値として、画像処理装置50に伝送される。
顕微鏡30は、フィルタ31、対物レンズ32、ステージ35、ステージ駆動部34、結像レンズ36、撮像部37、および温度センサ38を具備している。なお、ステージ35上には、観察が行われる標本が載置される。
フィルタ31は、スキャナユニット20から導入されたレーザ光を対物レンズ32に導く。また、フィルタ31は、レーザ照射により標本から発生した蛍光をスキャナユニット20に導いたり、明視野光源(図示せず)から標本に照射され、反射または透過した光を結像レンズ36に導いたりする。
対物レンズ32は、フィルタ31を経由してスキャナユニット20から導入されたレーザ光を、対物レンズ32の焦点位置に集光させる。また、対物レンズ32は、標本から発生した蛍光を、フィルタ31を介してスキャナユニット20に導いたり、明視野光源から標本に照射された光を、フィルタ31を介して結像レンズ36に導いたりする。
ステージ35には、標本が載置される、ステージ35は、ステージ駆動部34により、対物レンズ32の光軸と垂直なXY方向に、そして対物レンズ32の光軸に沿ったZ方向に、ステージ35を移動される。
結像レンズ36は、対物レンズ32およびフィルタ31を透過してきた明視野光を撮像部37の撮像素子(図示せず)上に結像させる。
撮像部37は、結像レンズ36により撮像素子上に結像した明視野画像を撮像する。撮像された画像は、画像処理装置50に送られ、解析される。
顕微鏡コントローラ40は、画像処理装置50からの、オートフォーカスや細胞追尾露光などに関する指示に基づき、ステージ駆動部34に対し、ステージ35を移動させる。
画像処理装置50は、制御部51、記憶部52、入力部53、および表示部54を具備している。画像処理装置50は、一般的にPC(Personal Computer)により構成される。
制御部51は、顕微鏡システム1全体の制御を行ったり、光検出器24で検出された輝度値とその輝度値が検出されたXY平面上の座標値とから蛍光画像を合成したり、合成された蛍光画像を解析して最適なレーザ光強度を算出してレーザ光の強度を制御したりする。また、制御部51は、上述した通り、顕微鏡コントローラ40を制御し、顕微鏡30のオートフォーカス機能や細胞追尾露光などの機能を実現する。
なお、制御部51は、CPU(Central Processing Unit)により、記憶部52に記憶されたプログラムが実行されることにより実現される。制御部51の構成の詳細については後述する。
記憶部52は、ハードディスクドライブや半導体メモリにより構成され、CPUで実行される上記のプログラム群や、スキャナユニット20から取得された蛍光画像、そして、ROI情報テーブル52a、画像の解析結果52b、ROI番号・変化指標テーブル52c、および動画(フレーム)52dなどが記憶される。
入力部53は、マウスやタッチパネルなどのポインティングデバイスやキーボードなどから構成され、GUIなどを介したユーザからの指示を入力する。
表示部54は、液晶ディスプレイなどの表示装置と、その表示装置上にGUIや画像などを描画するための表示制御部から構成される。
以上、本実施形態に係る画像処理装置50を含む顕微鏡システム1の構成について概略を説明した。なお、ここでは画像処理装置50を顕微鏡システム1の一部として説明したが、この構成に限らず、画像処理装置50は、顕微鏡システム1とは独立したPCなどにより構成されてもよい。
[制御部51の構成]
ここでは、CPUによりプログラムが実行されることにより実現される機能ブロックである制御部51の構成について説明する。図5は、制御部51の構成図である。なお、ここでは、制御部51が行う機能のうち、ダイジェスト再生に関係する部分だけを示している。
制御部51は、ROI指定部51a、ROI検出部51b、画像測定部51c、測定結果解析部51d、変化量算出部51e、係数算出部51f、変化指標算出部51g、変化指標ヒストグラム作成部51h、ROI・フレーム選択部51i、視点変換部51j、およびダイジェスト作成部51kを具備している。
ROI指定部51aは、表示部54の表示画面上に、顕微鏡撮影された画像を表示し、GUIおよび入力部53を用いてユーザにより指定された画像上の領域をROIとして受け付ける。
ROI検出部51bは、ユーザがROI指定部51aを用いて所望のROIを指定しない場合に、代わりにROIとすべき領域を対象となる画像の中から検出する。
画像測定部51cは、対象となる画像上に設定されたROIにおいて、輝度値、エッジ、面積、輝度重心などを測定する。測定結果は、測定結果解析部51dにおいて解析される。
測定結果解析部51dは、画像測定部51cによる測定結果を解析する。例えば、画像測定部51cにより測定された輝度値に基づいて、輝度値のヒストグラムを作成したり、輝度値の分散を計算したりする。また、画像測定部51cにより測定されたエッジに基づいて、エッジの総和やエッジの分散を計算したりする。また、画像測定部51cにより測定された面積や輝度重心に基づき、輝度の密度を計算したりする。
変化量算出部51eは、測定結果解析部51dによる解析結果と、記憶部52に保存しておいた過去の画像の解析結果52bとからフレーム間での変化量または単位時間当りの変化量を算出する。
係数算出部51fは、変化量算出部51eが算出した変化量に基づいて、上述した変化指標の係数を算出する。
変化指標算出部51gは、変化量算出部51eが算出した変化量と係数算出部51fが算出した係数に基づいて、変化指標を算出する。
変化指標ヒストグラム作成部51hは、ダイジェストに含めるフレームを選択するためのヒストグラムを、ダイジェストの元になる動画の各フレームとそのフレームが持つ変化指標の値とから作成する。
ROI・フレーム選択部51iは、指定または検出されたROIにおけるダイジェスト再生を行うためのフレームを、変化指標ヒストグラム作成部51hが作成したヒストグラムに基づいて選択する。
視点変換部51jは、ダイジェスト再生に必須の構成要素ではなく、ユーザが生体標本の撮影に用いた視点、すなわち標本の真上方向からの視点に限らず、ユーザが任意に指定した視点から見た画像を再構成して表示するものである。なお、この機能を実現するためには、撮影を行う各時刻において、複数のZ方向位置に焦点を移動させてXY平面を撮影した画像(Zスタック)があり、3D画像が構築されていることが前提となる。
ダイジェスト作成部51kは、ROI・フレーム選択部51iにより選択されたフレームを時系列順に表示部54に表示することにより、生体標本を経時観察用に撮影した動画のダイジェスト再生を行う。なお、ダイジェスト作成部51kは、ダイジェストを動画として再生する以外に、変化が発生した画像を静止画のサムネイル画像にして、サムネイル画像を時系列で並べる形式で変化の過程を表してもよい。また、ダイジェスト作成部51kは、変化が発生した画像を抜き出し、論文やレポートに用いる形式での出力を行ってもよい。
以上、制御部51の構成について説明した。
[画像処理装置が行う処理の概要]
次に、画像処理装置50が行う処理の流れについて、その概要を説明する。図6は、画像処理装置50が行う処理の流れについて、その概要を説明するためのフローチャートである。
まず、制御部51は、処理対象となるフレームにおけるROIの、ユーザによる指定または検出(ROIの指定・検出処理)を行う(ステップS10)。
次に、制御部51は、処理対象となるフレームにおいて、ROIごとの変化指標の算出処理を行う(ステップS20)。
次に、制御部51は、全てのROIについて変化指標の算出を行ったか否かを判断する(ステップS30)。まだ変化指標を算出していないROIが残っている場合(ステップS30のN)は、ステップS20に戻り、変化指標の算出処理を継続する。全てのROIについて変化指標の算出が終わっている場合(ステップS30のY)は、次のステップS40に進む。
次に、制御部51は、ステップS20において算出された変化指標を用いて、元の動画から表示に用いるフレームを選択することにより、ダイジェストを作成し、作成したダイジェストの表示(ダイジェストの作成と表示の処理)を行う(ステップS40)。
なお、図示はしていないが、制御部51は、動画を構成する1枚のフレームについてのみ、全てのROIについて変化指標を求めるのではなく、動画を構成する全てのフレームについて、全てのROIについて変化指標を求めるものであることは言うまでもない。
以上、画像処理装置50が行う処理の流れについて、その概要を説明した。なお、別の言い方をすれば、画像処理装置50の制御部51は、顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、前記取得した各々の画像の特徴量を解析し、前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、前記指標が予め定められた閾値を超えている画像を選択し、前記選択した画像を時系列で表示部54に表示するように構成されていると言える。以下では、ここで説明した各処理の詳細な流れについて説明する。
[ROIの指定・検出処理]
ここでは、制御部51によるROIの指定・検出処理の流れについて説明する。図7はROIの指定・検出処理の流れについて説明するためのフローチャートである。
まず、制御部51は、記憶部52に記憶されているダイジェストを作成する基となる動画52dから1フレーム分の画像を読み込む(ステップS11)。読み込んだ画像は、表示部54の画像表示領域に表示される。
次に、ROI指定部51aが、ユーザからROIの指定を受け付け、ROIが指定されたか否かを判断する(ステップS12)。ユーザによりROIが指定された場合(ステップS12のyes)、ステップS17に進む。ユーザによるROIの指定が無かった場合(ステップS12のno)、ステップS13に進む。
ステップS12においてユーザによるROIの指定が無かった場合、次に、制御部51は、処理する画像が蛍光画像であるか否かを判断する(ステップS13)。
画像が蛍光画像である場合(ステップS13のyes)、ステップS14に進む。画像が蛍光画像ではない場合(ステップS13のno)、ステップS15に進む。
ステップS13において画像が蛍光画像であると判断された場合、次に、ROI検出部51bが、画像の中から輝度値の高い部位(蛍光部位)の検出を行い、検出された蛍光部位をROIとする(ステップS14)。
ステップS13において画像が蛍光画像ではないと判断された場合またはステップS14の処理後、次に、制御部51は、処理する画像が明視野画像であるか否かを判断する(ステップS15)。画像が明視野画像である場合(ステップS15のyes)、ステップS16に進む。画像が明視野画像ではない場合(ステップS15のno)、ステップS17に進む。
ステップS15において画像が明視野画像であると判断された場合、次に、ROI検出部51bが、画像の中から輝度の高い部位やエッジの部位を検出し、検出された部位をROIとする(ステップS16)。
最後に、制御部51は、指定または検出されたROIの情報(ROI情報)をROI情報テーブル52aに保存する(ステップS17)。
以上、ROIの指定・検出処理の流れについて説明した。
[ROI情報テーブル]
次に、ROI情報テーブル52aの例について説明する。図8は、ROI情報テーブル52aの例を示す図である。
このテーブルの1行は、指定または検出されたROIを一意に識別するためのROI番号、そのROIの中心座標、ROIの大きさ、およびそのROIが含まれているフレームのフレーム番号により構成されている。
なお、ここでは、ROIの大きさを表すのに、幅(W)と高さ(H)により表しているが、ROIの形状は、四角形に限らず、どのような形状であってもよいし、点状であってもよい。
以上、ROI情報テーブル52aの例について説明した。
[ROIごとの変化指標の算出処理]
次に、制御部51によるROIごとの変化指標の算出処理の流れについて説明する。図9はROIごとの変化指標の算出処理の流れについて説明するためのフローチャートである。
まず、画像測定部51cが、処理対象である画像上の、処理対象であるROIの領域内での測定を行う(ステップS21)。測定は、輝度値の測定であったり、エッジの測定であったり、高輝度部位の面積の測定であったり、輝度重心の測定であったりする。
次に、測定結果解析部51dが、画像測定部51cによる測定結果を解析する(ステップS22)。前ステップにおいて輝度値が測定された場合、測定結果解析部51dは、輝度値のヒストグラムを作成したり、輝度値の分散を計算したりする。前ステップにおいてエッジが測定された場合、測定結果解析部51dは、エッジの総数を計算したり、エッジの分散を計算したりする。前ステップにおいて、面積や輝度重心が測定された場合、測定結果解析部51dは、高輝度部位の密度の計算を行ったりする。
次に、測定結果解析部51dは前ステップで行った解析の結果を記憶部52に保存する(ステップS23)。
次に、変化量算出部51eが、過去(動画における前のフレーム)の解析結果52bを記憶部52から読み出す(ステップS24)。
次に、変化量算出部51eは、前ステップで読み出した過去の解析結果52bと、ステップS22において解析した結果とに基づいて、変化量を算出する(ステップS25)。変化量としては、輝度変化、エッジ変化、密度変化、動き変化などの変化量が挙げられる。変化量の算出は、2つの解析結果の差分を求めることにより行われてもよい。
次に、係数算出部51fが、前ステップにおいて算出された変化量に基づいて、変化指標を求めるための係数を算出する(ステップS26)。算出方法は上述したとおりである。
次に、変化指標算出部51gが、処理対象であるROIの変化指標を算出する(ステップS27)。算出方法は上述したとおりである。
最後に、変化指標算出部51gが、処理対象としたROIの番号と、算出した変化指標とを記憶部52内のROI番号・変化指標テーブル52cに書き込み、保存する(ステップS28)。
以上、ROIごとの変化指標の算出処理の流れについて説明した。
[ROI番号・変化指標テーブル]
次に、ROI番号・変化指標テーブル52cの例について説明する。図10は、ROI番号・変化指標テーブル52cの例を示す図である。
このテーブルの1行は、指定または検出されたROIを一意に識別するためのROI番号およびそのROIにおける変化指標の値により構成されている。
なお、ROI番号と変化指標の値に加えて、フレーム番号が記録されていてもよい。
以上、ROI番号・変化指標テーブル52cの例について説明した。
[ダイジェストの作成と表示の処理]
次に、制御部51によるダイジェストの作成と表示の処理の流れについて説明する。図11はダイジェストの作成と表示の処理の流れについて説明するためのフローチャートである。
まず、制御部51は、再生時間の時間長や、再生時間を左右する閾値、ダイジェスト再生するROIの指定に関する情報を取得する(ステップS41)。
次に、制御部51は、記憶部52のROI番号・変化指標テーブル52cから、ROIの番号とそのROIにおける変化指標の情報を読み込む(ステップS42)。
次に、変化指標ヒストグラム作成部51hが、ステップS41において取得した情報の中に、ユーザによるROIの指定が含まれるか否かを判断する(ステップS43)。
ユーザによりダイジェスト再生するROIが指定されている場合(ステップS43のyes)、次に、変化指標ヒストグラム作成部51hは指定されたROI領域における変化指標のヒストグラムを作成する(ステップS44)。変化指標のヒストグラムの例については後述する。
ユーザによりダイジェスト再生するROIが指定されていない場合(ステップS43のno)、次に、変化指標ヒストグラム作成部51hはフレーム全体における変化指標のヒストグラムを作成する(ステップS45)。この場合、ヒストグラムは、1つのフレーム中に含まれるROIの持つ変化指標のうち、最も高い値を用いて作成される(複数のROI間においてOR演算が行われる)。
次に、ROI・フレーム選択部51iが、前ステップで作成された変化指標のヒストグラムと、ステップS41において取得された再生時間の長さや閾値とに基づいて、元の動画を構成するフレームから、ダイジェストに使うフレームを選択する(ステップS46)。なお、ユーザによるROIの指定があった場合は、このステップにおいて、選択したフレームから指定されたROIの画像のみを抽出する処理も行ってもよい。
最後に、ダイジェスト作成部51kが、前ステップにおいて選択されたフレームやROIを用いて、ダイジェスト再生を行う(ステップS47)。
以上、ダイジェストの作成と表示の処理の流れについて説明した。なお、上記の説明では、変化量に着目し、変化量の大きいフレームをピックアップしてダイジェストを生成したが、この構成に限らず、例えば、ROIにおける輝度値の高さが閾値を超えたフレーム全てを選択してダイジェストを生成するような構成も考えられる。
[変化指標のヒストグラム]
次に、変化指標のヒストグラムの例を説明する。図12は、変化指標のヒストグラムの例である。
この例に示すグラフでは、横軸に動画を構成する各フレームに対応する時刻を取り、縦軸に変化指標の値を取っている。そして、ROIごとの各時刻における変化指標の値がプロットされている。また、縦軸には、閾値とする値の位置が示されている。
この例に示すグラフと閾値を用いる場合、ROI1に関しては、時刻t=1、2、および4における変化指標の値が閾値を超えているので、これらの時刻におけるフレーム計3枚を用いてダイジェスト再生が行われる。
また、ROI2に関しては、時刻t=1および2における変化指標の値が閾値を超えているので、これらの時刻におけるフレーム計2枚を用いてダイジェスト再生が行われる。
以上、変化指標のヒストグラムの例を説明した。
[ROIの設定方法]
ここでは、ユーザが観察する細胞などが経時的に移動する場合に、画像上にROIを設定する方法について説明する。ROIの設定方法として、例えば以下の2つを挙げることが出来る。
1つめの方法では、まず、ユーザが観察したい細胞などを囲むようにROIを設定するにあたり、ダイジェストに使用するために選択されたフレームの全てに亘り、細胞の移動する範囲を把握する。そして、移動する範囲を含む大きさで、ROIの位置と範囲を決める。一度決めたROIの位置と範囲は全ての選択されたフレームに亘って固定され不変とする。
2つめの方法では、フレームを構成する画像ごとに、ユーザが観察したい細胞をトラッキングし、トラッキングに用いる枠をROIとして設定する。ROIの位置と範囲は、フレームごとに異なることになる。
画像処理装置50は、場合により、1つめの方法と2つめの方法を使い分けてもよい。例えば、経時観察により撮影された動画を、全てのフレームに亘る処理を待たずに、すぐ視聴したい場合には、選択された全てのフレームを解析しないで済む2つめの方法が適している。
また、1つめの方法および2つめの方法の両者を使って2種類のROIを設定し、1つめの方法により設定されたROIを用いて細胞などの動きを観察し、2つめの方法により設定されたROIを用いて細胞などの内部を詳しく観察するということも出来る。
以上、ユーザが観察する細胞などが経時的に移動する場合に、画像上にROIを設定する方法について説明した。
以上、第1の実施形態について説明した。
<変形例1(ダイジェストを構成するフレームの自動選択)>
第1の実施形態に係る画像処理装置50の構成では、ユーザがダイジェストを構成するフレームを選択するための閾値を指定した。これに対し、本変形例では、ダイジェストを構成するフレームを選択するための閾値を画像処理装置50aが自動的に設定し、ユーザからの閾値の入力無しに、ダイジェストの作成を行う。
なお、閾値を自動的に設定する方法としては、上述した変化量を用いて、その平均値を閾値とする方法がある。また、変化量の微分値をとり、とった微分値の平均を閾値としてもよい。
以上、ダイジェストを構成するフレームを選択するための閾値を画像処理装置50aが自動的に設定し、ユーザからの閾値の入力無しに、ダイジェストの作成を行う変形例について説明した。
<変形例2(ダイジェスト作成時における変化指標の算出)>
第1の実施形態では、ROIごとの変化指標の算出処理において変化指標を算出してROI番号・変化指標テーブル52cに格納し、ダイジェストの作成と表示の処理において、格納したROIごとの変化指標を読み出してダイジェストの作成を行った。
これに対し、本変形例では、ROIごとの変化指標の算出処理では変化指標を算出せず、ROI番号および各変化量に関する情報をテーブルに格納する。そして、ダイジェストの作成と表示の処理において、格納したROI番号および各変化量に関する情報を読み出して変化指標を算出し、算出した変化指標を用いて、ダイジェストの作成を行う。
本変形例の構成における処理が、第1の実施形態における処理と異なる部分は、ROIごとの変化指標の算出処理とダイジェストの作成と表示の処理なので、以下では、これら異なる部分についてのみ説明を行う。
[ROIごとの変化指標の算出処理]
制御部51’によるROIごとの変化指標の算出処理の流れについて説明する。図13はROIごとの変化指標の算出処理の流れについて説明するためのフローチャートである。なお、ステップS21からステップS26までの処理は、第1の実施形態と同じなので説明を省略し、次のステップS28aから説明を行う。
次に、変化量算出部51eが、処理対象であるROIのROI番号と、そのROIにおける各変化量を、記憶部52のテーブルへ格納する(ステップS28a)。
次に、係数算出部51fが、ステップS26において算出された変化指標を求めるための係数を、ROI番号と共に、記憶部52内のテーブルへ格納する(ステップS28b)。
以上が、本変形例における、ROIごとの変化指標の算出処理の流れである。
[ROI番号と各変化量のテーブルの例]
次に、上述した処理対象であるROIのROI番号と、そのROIにおける各変化量を格納するテーブルの例を説明する。図14は、処理対象であるROIのROI番号と、そのROIにおける各変化量を格納するテーブルの例である。
この例では、テーブルの1行に、ROIを一意に識別するROI番号と、変化の種類ごとに分類した、そのROIにおける変化量とが格納されている。
以上、処理対象であるROIのROI番号と、そのROIにおける各変化量を格納するテーブルの例を説明した。
[ダイジェストの作成と表示の処理]
次に、制御部51’によるダイジェストの作成と表示の処理の流れについて説明する。図15はダイジェストの作成と表示の処理の流れについて説明するためのフローチャートである。
まず、制御部51’は、再生時間の時間長や、再生時間を左右する閾値、ダイジェスト再生するROIの指定に関する情報を取得する(ステップS41)。
次に、制御部51’は、記憶部52のROI番号と変化量のテーブルから、ROIの番号とそのROIにおける変化量の情報を読み込む(ステップS42a)。
次に、制御部51’は、記憶部52のROI番号と変化指標の係数のテーブルから、ROIの番号とそのROIにおける変化指標を求めるための係数を読み込む(ステップS42b)。
次に、変化指標算出部51gが、処理対象であるROIの変化指標を算出する(ステップS27)。算出方法は上述したとおりである。
次のステップS43からステップS47までの処理は、第1の実施形態のものと同じなので説明を省略する。
以上、本変形例における、ダイジェストの作成と表示の処理の流れについて説明した。
以上、ダイジェスト作成時において変化指標を算出する変形例について説明した。
[補足事項]
その他、本技術は、上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
[本技術の別の構成]
なお、本技術は以下のような構成もとることができる。
(1)
顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、
前記取得した各々の画像の特徴量を解析し、
前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、
前記指標が予め定められた閾値を超えている画像を選択し、
前記選択した画像を時系列で表示部に表示する
ように構成された制御部
を具備する画像処理装置。
(2)
前記(1)に記載の画像処理装置であって、
前記制御部は、
前記取得した画像内にROI領域を設定し、
前記設定されたROI領域の前記特徴量を解析し、
前記指標を、前記ROI領域ごとに算出する
画像処理装置。
(3)
前記(2)に記載の画像処理装置であって、
前記制御部は、
少なくとも1つの前記ROI領域に対して、算出された前記指標が前記閾値を超えている画像を選択する
画像処理装置。
(4)
前記(2)に記載の画像処理装置であって、
前記制御部は、
入力部を介してユーザから前記ROI領域の指定を受け付け、
前記指定されたROI領域の前記指標が前記閾値を超えている画像を選択する
画像処理装置。
(5)
前記(2)から(4)のに記載の画像処理装置であって、
前記制御部は、
前記各々の画像のうち、前記ROI領域の部分を拡大して表示する
画像処理装置。
(6)
前記(1)から(5)のに記載の画像処理装置であって、
前記制御部は、
前記閾値を、入力部を介して受け付けた入力により設定する
画像処理装置。
(7)
前記(1)から(5)のに記載の画像処理装置であって、
前記制御部は、
前記閾値を、前記特徴量の前記変化の量に基づいて設定する
画像処理装置。
(8)
前記(1)から(7)のに記載の画像処理装置であって、
前記制御部は、
前記複数の画像を動画として再生する場合に、
前記入力部を介して受け付けた再生時間に応じた前記画像が選択されるように、前記閾値を調整する
画像処理装置。
(9)
前記(1)から(8)のに記載の画像処理装置であって、
前記特徴量は、輝度、エッジ、動きベクトル、および密度のうち少なくとも1つである
画像処理装置。
(10)
前記制御部は、
前記指標を、前記特徴量の変化量と、当該変化量を正規化した正規化変化量と、正規化変化量の合計とを用いて、以下の式で算出する
画像処理装置。
(指標)=Σ((前記特徴量の変化量)×(前記特徴量の正規化変化量)/(正規化変化量の合計))
(11)
制御部が、
顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、
前記取得した各々の画像の特徴量を解析し、
前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、
前記指標が予め定められた閾値を超えている画像を選択し、
前記選択した画像を時系列で表示部に表示する
画像処理方法。
1 … 顕微鏡システム
10 … レーザ光源ユニット
11 … レーザコントローラ
20 … スキャナユニット
21 … スキャナコントローラ
22 … ガルバノミラー
23 … ダイクロイックミラー
24 … 光検出器
30 … 顕微鏡
31 … フィルタ
32 … 対物レンズ
33 … 標本
34 … ステージ駆動部
35 … ステージ
36 … 結像レンズ
37 … 撮像部
40 … 顕微鏡コントローラ
50 … 画像処理装置
51 … 制御部
52 … 記憶部
52a… ROI情報テーブル
52b… 画像の解析結果
52c… ROI番号・変化指標テーブル
52d… 動画(フレーム)
53 … 入力部
54 … 表示部

Claims (11)

  1. 顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、
    前記取得した各々の画像の特徴量を解析し、
    前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、
    前記指標が予め定められた閾値を超えている画像を選択し、
    前記選択した画像を時系列で表示部に表示する
    ように構成された制御部
    を具備する画像処理装置。
  2. 請求項1の画像処理装置であって、
    前記制御部は、
    前記取得した画像内にROI領域を設定し、
    前記設定されたROI領域の前記特徴量を解析し、
    前記指標を、前記ROI領域ごとに算出する
    画像処理装置。
  3. 請求項2の画像処理装置であって、
    前記制御部は、
    少なくとも1つの前記ROI領域に対して、算出された前記指標が前記閾値を超えている画像を選択する
    画像処理装置。
  4. 請求項2に記載の画像処理装置であって、
    前記制御部は、
    入力部を介してユーザから前記ROI領域の指定を受け付け、
    前記指定されたROI領域の前記指標が前記閾値を超えている画像を選択する
    画像処理装置。
  5. 請求項4に記載の画像処理装置であって、
    前記制御部は、
    前記各々の画像のうち、前記ROI領域の部分を拡大して表示する
    画像処理装置。
  6. 請求項5に記載の画像処理装置であって、
    前記制御部は、
    前記閾値を、入力部を介して受け付けた入力により設定する
    画像処理装置。
  7. 請求項5に記載の画像処理装置であって、
    前記制御部は、
    前記閾値を、前記特徴量の前記変化の量に基づいて設定する
    画像処理装置。
  8. 請求項6に記載の画像処理装置であって、
    前記制御部は、
    前記複数の画像を動画として再生する場合に、
    前記入力部を介して受け付けた再生時間に応じた前記画像が選択されるように、前記閾値を調整する
    画像処理装置。
  9. 請求項8の画像処理装置であって、
    前記特徴量は、輝度、エッジ、動きベクトル、および密度のうち少なくとも1つである
    画像処理装置。
  10. 請求項9に記載の画像処理装置であって、
    前記制御部は、
    前記指標を、前記特徴量の変化量と、当該変化量を正規化した正規化変化量と、正規化変化量の合計とを用いて、以下の式で算出する
    画像処理装置。
    (指標)=Σ((前記特徴量の変化量)×(前記特徴量の正規化変化量)/(正規化変化量の合計))
  11. 制御部が、
    顕微鏡を用いた生体細胞の経時観察により得られた、時間的に連続する複数の画像を取得し、
    前記取得した各々の画像の特徴量を解析し、
    前記解析結果に基づいて、時間的に連続する各々の前記画像間における前記特徴量の変化の度合いの指標を算出し、
    前記指標が予め定められた閾値を超えている画像を選択し、
    前記選択した画像を時系列で表示部に表示する
    画像処理方法。
JP2013245891A 2013-11-28 2013-11-28 画像処理装置および画像処理方法 Pending JP2015103217A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2013245891A JP2015103217A (ja) 2013-11-28 2013-11-28 画像処理装置および画像処理方法
PCT/JP2014/005733 WO2015079640A1 (en) 2013-11-28 2014-11-14 Image processing device and image processing method
US15/036,846 US10330912B2 (en) 2013-11-28 2014-11-14 Image processing device and image processing method
EP14805369.7A EP3036578A1 (en) 2013-11-28 2014-11-14 Image processing device and image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013245891A JP2015103217A (ja) 2013-11-28 2013-11-28 画像処理装置および画像処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2017080532A Division JP2017191609A (ja) 2017-04-14 2017-04-14 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2015103217A true JP2015103217A (ja) 2015-06-04
JP2015103217A5 JP2015103217A5 (ja) 2016-04-14

Family

ID=51999480

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013245891A Pending JP2015103217A (ja) 2013-11-28 2013-11-28 画像処理装置および画像処理方法

Country Status (4)

Country Link
US (1) US10330912B2 (ja)
EP (1) EP3036578A1 (ja)
JP (1) JP2015103217A (ja)
WO (1) WO2015079640A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017221597A1 (ja) * 2016-06-21 2017-12-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018013879A (ja) * 2016-07-19 2018-01-25 Seven Dew株式会社 ダイジェスト映像取得装置、ダイジェスト映像取得方法、およびプログラム
WO2021220803A1 (ja) * 2020-04-30 2021-11-04 ソニーグループ株式会社 表示制御方法、表示制御装置、表示制御プログラム及び診断支援システム

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6305175B2 (ja) * 2014-04-10 2018-04-04 キヤノン株式会社 画像処理装置、画像処理方法、画像処理システム
US10488184B2 (en) * 2015-07-13 2019-11-26 Nanometrics Incorporated Interferometric characterization of surface topography
WO2019026392A1 (ja) * 2017-07-31 2019-02-07 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN113395582B (zh) * 2020-03-12 2023-04-07 平湖莱顿光学仪器制造有限公司 一种透光度相关的智能二维视频播放方法及其视频装置
CN113395595B (zh) * 2020-03-12 2023-03-24 平湖莱顿光学仪器制造有限公司 一种密度相关的智能二维视频播放方法及其视频装置
CN113395507A (zh) * 2020-03-12 2021-09-14 平湖莱顿光学仪器制造有限公司 一种亮度相关的智能3d视频装置及其智能3d视频播放方法
CN113395508A (zh) * 2020-03-12 2021-09-14 平湖莱顿光学仪器制造有限公司 一种颜色相关的智能3d视频装置及其智能3d视频播放方法
CN113392675B (zh) * 2020-03-12 2023-04-07 平湖莱顿光学仪器制造有限公司 一种呈现显微视频信息的方法与设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348077A (ja) * 2004-06-02 2005-12-15 Toshiba Corp 記録再生装置、及び再生装置。
JP2006215260A (ja) * 2005-02-03 2006-08-17 Olympus Corp 顕微鏡用撮像装置、顕微鏡システム、記録制御方法、および記録制御プログラム
JP2012256980A (ja) * 2011-06-07 2012-12-27 Olympus Corp 画像処理システムおよび画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4733295A (en) * 1984-04-27 1988-03-22 Utah Scientific Advanced Development Center, Inc. Luminance selection apparatus for video signal control system
US6400502B1 (en) * 1998-08-18 2002-06-04 Nikon Corporation Microscope
JP4615166B2 (ja) * 2001-07-17 2011-01-19 パイオニア株式会社 映像情報要約装置、映像情報要約方法及び映像情報要約プログラム
JP3772117B2 (ja) * 2002-01-18 2006-05-10 ソニー株式会社 情報信号処理装置および情報信号処理方法
US7480442B2 (en) * 2003-07-02 2009-01-20 Fuji Xerox Co., Ltd. Systems and methods for generating multi-level hypervideo summaries
US20070250898A1 (en) * 2006-03-28 2007-10-25 Object Video, Inc. Automatic extraction of secondary video streams
JPWO2007132870A1 (ja) * 2006-05-15 2009-09-24 株式会社ニコン タイムラプス撮影装置
JP5058962B2 (ja) * 2008-12-22 2012-10-24 オリンパス株式会社 細胞画像解析装置、細胞画像解析方法、及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005348077A (ja) * 2004-06-02 2005-12-15 Toshiba Corp 記録再生装置、及び再生装置。
JP2006215260A (ja) * 2005-02-03 2006-08-17 Olympus Corp 顕微鏡用撮像装置、顕微鏡システム、記録制御方法、および記録制御プログラム
JP2012256980A (ja) * 2011-06-07 2012-12-27 Olympus Corp 画像処理システムおよび画像処理方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017221597A1 (ja) * 2016-06-21 2017-12-28 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JPWO2017221597A1 (ja) * 2016-06-21 2019-04-11 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP7036009B2 (ja) 2016-06-21 2022-03-15 ソニーグループ株式会社 情報処理装置、情報処理方法、及びプログラム
JP2018013879A (ja) * 2016-07-19 2018-01-25 Seven Dew株式会社 ダイジェスト映像取得装置、ダイジェスト映像取得方法、およびプログラム
WO2021220803A1 (ja) * 2020-04-30 2021-11-04 ソニーグループ株式会社 表示制御方法、表示制御装置、表示制御プログラム及び診断支援システム

Also Published As

Publication number Publication date
WO2015079640A1 (en) 2015-06-04
EP3036578A1 (en) 2016-06-29
US20160299330A1 (en) 2016-10-13
US10330912B2 (en) 2019-06-25

Similar Documents

Publication Publication Date Title
JP2015103217A (ja) 画像処理装置および画像処理方法
RU2734447C2 (ru) Система для формирования синтезированного двухмерного изображения биологического образца с повышенной глубиной резкости
US10718715B2 (en) Microscopy system, microscopy method, and computer-readable storage medium
US10613313B2 (en) Microscopy system, microscopy method, and computer-readable recording medium
JP2013201530A (ja) 撮像装置及びその制御方法
JP4663602B2 (ja) 自動合焦装置、顕微鏡および自動合焦方法
JP2016125913A (ja) 画像取得装置及び画像取得装置の制御方法
JP2017191609A (ja) 画像処理装置および画像処理方法
US9159117B2 (en) Drawing data generation apparatus, drawing data generation method, program, and drawing data generation system for changing magnification of displayed images
JP2014098575A (ja) 画像取得装置および画像取得方法
JP2012013804A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2014523545A (ja) 生体イメージングのための顕微鏡システム及び方法
US10721413B2 (en) Microscopy system, microscopy method, and computer readable recording medium
US10475198B2 (en) Microscope system and specimen observation method
CN105651699B (zh) 一种基于面阵相机的动态跟焦方法
JP2012058665A (ja) 顕微鏡制御装置及び処理範囲決定方法
JP6704530B2 (ja) 撮影制御装置、方法およびプログラム
JP4068099B2 (ja) 生体構成要素速度測定装置、及びそのプログラム
JP2020056832A (ja) 顕微鏡システムの制御方法、顕微鏡システム、プログラム、記録媒体
US11256078B2 (en) Continuous scanning for localization microscopy
JP5648366B2 (ja) 顕微鏡制御装置及び領域判定方法
Issa et al. Video-rate acquisition fluorescence microscopy via generative adversarial networks
US11238566B2 (en) Image processing device, system, and method for improving signal-to-noise of microscopy images
JP5711016B2 (ja) 特徴量取得方法及び特徴量取得装置
WO2022202233A1 (ja) 情報処理装置、情報処理方法、情報処理システム、及び、変換モデル

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160229

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160927

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170117

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20170206