JP2016041023A - 画像処理装置、画像処理方法及び画像処理プログラム。 - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム。 Download PDF

Info

Publication number
JP2016041023A
JP2016041023A JP2014165135A JP2014165135A JP2016041023A JP 2016041023 A JP2016041023 A JP 2016041023A JP 2014165135 A JP2014165135 A JP 2014165135A JP 2014165135 A JP2014165135 A JP 2014165135A JP 2016041023 A JP2016041023 A JP 2016041023A
Authority
JP
Japan
Prior art keywords
propagation
image processing
abnormal
region
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2014165135A
Other languages
English (en)
Inventor
初萌 烏野
Hatsume Uno
初萌 烏野
松居 恵理子
Eriko Matsui
恵理子 松居
服部 健一
Kenichi Hattori
健一 服部
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2014165135A priority Critical patent/JP2016041023A/ja
Priority to PCT/JP2015/003104 priority patent/WO2016024377A1/ja
Publication of JP2016041023A publication Critical patent/JP2016041023A/ja
Pending legal-status Critical Current

Links

Classifications

    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • CCHEMISTRY; METALLURGY
    • C12BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12MAPPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M1/00Apparatus for enzymology or microbiology
    • C12M1/34Measuring or testing with condition measuring or sensing means, e.g. colony counters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion

Landscapes

  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Zoology (AREA)
  • Biotechnology (AREA)
  • Organic Chemistry (AREA)
  • Wood Science & Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Microbiology (AREA)
  • Genetics & Genomics (AREA)
  • Medicinal Chemistry (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Sustainable Development (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)

Abstract

【課題】観察対象の動き伝搬が異常な領域を検出することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供する。
【解決手段】本技術の一形態に係る画像処理装置は、動きベクトル算出部と、伝搬異常領域抽出部とを具備する。
上記動きベクトル算出部は、観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する。
上記伝搬異常領域抽出部は、上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する。
【選択図】図1

Description

本技術は、観察対象の動き伝搬が異常な領域を検出することが可能な画像処理装置、画像処理方法及び画像処理プログラムに関する。
心筋細胞は、拍動の生成、伝達が可能な刺激伝導系と呼ばれる細胞群を含む。刺激伝導系では、自律的に拍動するペースメーカー細胞から下流の心筋細胞へ拍動が伝搬し、各細胞がリズミックに弛緩と収縮を行う。
このような心筋細胞を培養し、再生医療や創薬等の分野に役立てようという試みがされている。例えば、創薬の分野においては、培養心筋細胞に薬剤を投与し、拍動の伝搬等に変化が見られるか否かについて評価することが可能である。
そこで、例えば特許文献1には、心筋細胞等を撮像した画像を分割し、同一分割内で経時的な変化を評価する技術が記載されている。
特表2010−538603号公報
しかしながら、特許文献1に記載の技術では、拍動の伝搬についての評価はできなかった。さらに、分割された領域間の比較はユーザによる作業に頼らざるを得なかったため、ある時点においてどの領域に異常な部位があるか、評価することが難しかった。
以上のような事情に鑑み、本技術の目的は、観察対象の動き伝搬が異常な領域を検出することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することにある。
上記目的を達成するため、本技術の一形態に係る画像処理装置は、動きベクトル算出部と、伝搬異常領域抽出部とを具備する。
上記動きベクトル算出部は、観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する。
上記伝搬異常領域抽出部は、上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する。
この構成によれば、各部分領域に含まれる観察対象について算出された動きベクトルに基づいて、伝搬異常領域を抽出することができる。したがって、観察対象の動き伝搬が異常な領域を検出することが可能になる。さらに、部分領域間において動き伝搬や拍動プロファイル等を比較することが容易になり、対象画像全体の観察対象の動きからは検出することができない異常な領域を検出することができる。
また、上記伝搬異常領域抽出部は、上記動きベクトルから検出された動きの向きに基づいて、上記伝搬異常領域を抽出してもよい。
これにより、伝搬方向が異常となった伝播異常領域を抽出し、ユーザに通知することが可能となる。
例えば、上記伝搬異常領域抽出部は、上記動きベクトルから正常伝搬方向を検出し、上記正常伝搬方向とは異なる異常伝搬方向を示す部分領域を伝搬異常領域として抽出してもよい。
また、上記観察対象は、心筋細胞であり、
上記動き伝搬は、拍動の伝搬であってもよい。
あるいは、上記画像処理装置は、
上記動きベクトルから検出された動きの速度に基づいて、速度変化特性の異常な部分領域を拍動異常領域として抽出する拍動異常領域抽出部
をさらに具備してもよい。
これにより、速度変化特性によって示される心筋細胞の拍動プロファイルが異常な拍動異常領域を抽出し、ユーザに通知することができる。
上記速度変化特性は、上記速度の周期的な変化特性であってもよい。
これにより、心筋細胞の拍動プロファイルの周期性が異常な領域を抽出することが可能となる。
また、上記動きベクトル算出部は、上記対象画像を分割することで、上記部分領域を設定してもよい。
これにより、略同一の大きさの部分領域について評価することができるとともに、対象画像内を漏れなく評価することが可能となる。
また、上記伝搬異常領域抽出部は、上記動きベクトルから検出された動きの速度に基づいて、上記動き伝搬の速度が異常な部分領域を伝搬異常領域として抽出してもよい。
これにより、伝搬速度が変化した領域を伝搬異常領域として抽出し、ユーザに通知することができる。
本技術の一形態に係る画像処理方法は、動きベクトル算出部が、観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する。
伝搬異常領域抽出部が、上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する。
本技術の一形態に係る画像処理プログラムは、動きベクトル算出部と、伝搬異常領域抽出部と、として情報処理装置を動作させる。
上記上記動きベクトル算出部は、観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する。
上記伝搬異常領域抽出部は、上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する。
以上のように、本技術によれば、観察対象の動き伝搬が異常な領域を検出することが可能な画像処理装置、画像処理方法及び画像処理プログラムを提供することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る画像処理装置を示すブロック図である。 上記画像処理装置の処理に供される対象画像の例を示す図である。 上記画像処理装置の動きベクトル算出部による部分領域毎の動きベクトルの算出例を示す図である。 上記画像処理装置の伝搬異常領域抽出部による処理について説明する図である。 上記画像処理装置の観察対象である心筋細胞の速度変化特性の検出例を示す図である。 上記画像処理装置の異常通知部による異常な領域の通知例を示す図である。 上記動きベクトル算出部による部分領域の設定例を示す図である。 図7A,Bの部分領域各々に含まれる心筋細胞の動きベクトルの解析例を示すグラフである。 上記異常通知部よる異常な領域の通知例を示す図である。 上記伝搬異常領域抽出部による正常伝搬方向及び異常伝搬方向の検出例を示す図である。 上記伝搬異常領域抽出部による拍動伝搬の速度が異常な部分領域の抽出例を示す図である。 Aは、観察対象全体の動きベクトルの解析例を示すグラフであり、B〜Eは、対象画像中に設定された各部分領域の例と、各部分領域の動きベクトルの解析例を示すグラフである。 上記画像処理装置の拍動異常領域抽出部の処理の詳細を説明する図である。 Aは、正常な拍動プロファイルに基づく速度変化特性を示すグラフであり、Bは、上記動きベクトル算出部による部分領域の動きベクトルの解析に基づく速度変化特性を示すグラフである。 同画像処理装置の機能的構成を実現するためのハードウェア構成を示す模式図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[画像処理装置の構成]
図1は、本実施形態に係る画像処理装置100を示すブロック図である。同図に示すように、画像処理装置100は、画像取得部101と、動き検出部102と、動きベクトル算出部103と、伝搬異常領域抽出部104と、拍動異常領域抽出部105と、異常通知部106とを有する。
画像取得部101は、対象画像を取得する。対象画像は、観察対象を経時的に撮像した動画や連続的に撮像された複数の静止画であるものとすることができる。具体的には、対象画像は、明視野撮像、暗視野撮像、位相差撮像、蛍光撮像、共焦点撮像、多光子励起蛍光撮像、吸収光撮像、乱光撮像等の各種の光学的な画像撮像方法を利用して撮像された画像であるものとすることができる。
観察対象は、例えば心筋細胞とすることができる。あるいは、観察対象は、動きが伝搬する特性を有するものであればよく、心筋細胞の他、骨格筋細胞、平滑筋細胞、神経細胞やその他の細胞、生体組織、又は生物等とすることができる。
図2は、対象画像10の例であり、複数の心筋細胞を含む画像を示す。画像取得部101は、図示しない撮像装置(顕微鏡撮像装置等)から対象画像10を取得してもよく、ストレージ13(図15参照)に格納されている画像やネットワークから供給された画像を対象画像10として取得するものとすることも可能である。画像取得部101は、取得した対象画像10を動き検出部102へ供給する。
動き検出部102は、対象画像から観察対象の動きを検出する。動き検出部102は、対象画像全体から動きを検出することもできるし、後述する各部分領域毎に検出することもできる。また、観察対象の動きは、対象画像に対するブロックマッチング等の画像処理によって検出することができる。
動き検出部102は、具体的には、観察対象毎の動きベクトルを検出することができる。動きベクトルは、例えば、動きの向き及び大きさを表すものとすることができる。これにより、動き検出部102は、観察対象全体から検出された動きの向き及び大きさの代表値を算出し、当該代表値を観察対象全体の動きベクトルとして表すことができる。当該代表値は、動きの向き及び大きさの平均値とすることもできるし、最も多くの観察対象が示す動きの向き及び大きさの値等とすることもできる。
動きベクトル算出部103は、対象画像から、対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する。動きベクトル算出部103は、具体的には、部分領域毎に、動き検出部102によって検出された各観察対象の動きの向き及び大きさの上記代表値を算出し、当該代表値を、各部分領域に含まれる観察対象の動きベクトルとして表すことができる。
動きベクトル算出部103が算出した動きベクトルの向きは、各部分領域での観察対象の動き伝搬の向きとみなすことができる。またこの動きベクトルの大きさは、各部分領域での観察対象の動き伝搬の大きさとみなすことができる。さらに、当該動きベクトルの大きさを、動きベクトルの検出元である対象画像の時間差分で除することにより、動きの速度を算出することができる。
図3は、動きベクトル算出部103による部分領域毎の動きベクトルの算出例を示す図である。動きベクトル算出部103は、対象画像を分割することで、部分領域を設定することができる。部分領域11は、同図に示すように、対象画像10を(a×b)個に分割した領域とすることができる。これにより、略同一の大きさの部分領域について評価することができるとともに、対象画像10内を漏れなく評価することが可能となる。
部分領域11は、予め決められた所定の分割数で分割するものとすることもできるし、ユーザによって指定された分割数で分割するものとすることもできる。あるいは、動きベクトル算出部103は、動き検出部102により検出された各観察対象の動きに基づいて、各観察対象の動きベクトルの向きや大きさが異なる領域毎に部分領域を設定することができる。また、動きベクトル算出部103は、対象画像から検出された観察対象の密度に基づいて、部分領域を設定することもできる。
伝搬異常領域抽出部104は、動きベクトル算出部103により算出された動きベクトルに基づいて、観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する。動き伝搬は、一つの観察対象の動きが他の観察対象の動きに伝搬する現象であり、観察対象が心筋細胞の場合は、拍動の伝搬とすることができる。
ここで、心筋細胞は、生体内において常時収縮と弛緩を繰り返しながら拍動する。培養心筋細胞も、その全体が収縮と弛緩を繰り返すように、例えば各細胞が所定の方向に運動することで、拍動が伝搬する。心筋細胞に薬剤等を投与した場合、細胞の一部で他の細胞とは異なる方向に拍動の伝搬が行われたり、拍動の伝搬方向が旋回するパターンを示したり、拍動の伝搬速度が遅くなったりといった変化が生じる可能性がある。本実施形態によれば、このような拍動の伝搬の異常な領域を検出することが可能となる。
伝搬異常領域抽出部104は、本実施形態において、動きベクトルから検出された動きの向きに基づいて、伝搬異常領域を抽出するものとすることができる。より具体的には、伝搬異常領域抽出部104は、部分領域毎に算出された動きベクトルから正常伝搬方向を検出し、正常伝搬方向とは異なる異常伝搬方向を示す部分領域を伝搬異常領域として抽出するものとすることができる。正常伝搬方向は、例えば、検出された動きベクトルの向きのうち、最も多数の観察対象から検出される向きとすることができる。あるいは、正常伝搬方向は、観察対象の種類や配置から予め予想される動きベクトルの向き等とすることもできる。
図4は、伝搬異常領域抽出部104による処理について説明する図であり、図4Aは拍動伝搬の向きの検出例を示し、図4Bは伝搬異常領域の抽出例を示す。同図Aに示すように、黒矢印で示す正常伝搬方向は、一方向を示すのに対し、白矢印で示す異常伝搬方向は、様々な向きを示す。したがって、同図Bに示すように、伝搬異常領域抽出部104は、異常伝搬方向が検出された領域を伝搬異常領域12として抽出することができる。
拍動異常領域抽出部105は、動きベクトルから検出された動きの速度に基づいて、速度変化特性の異常な部分領域を拍動異常領域として抽出する。速度変化特性は、動きの速度の周期的な変化特性であるものとすることができる。また、例えば心筋細胞は、周期的に速度のピークを有する速度変化特性を示す。すなわち心筋細胞における速度変化特性は、心筋細胞の拍動プロファイルを示すものとすることができる。
図5は、観察対象である心筋細胞の速度変化特性の検出例を示す図であり、いずれも縦軸は動きの速度、横軸は時間を示す。また同図Aは図3に示す部分領域11Aの結果を示し、同図Bは図3に示す部分領域11Bの結果を示し、同図Cは対象画像10全体の代表値の結果を示す。
図5B及び図5Cでは、2つの速度ピークP1,P2が検出されているのに対し、同図Aでは、2つの速度ピークP1,P2の他、小さな速度ピークP3が検出されている。したがって、拍動異常領域抽出部105は、同図Aの検出された部分領域11Aにおける速度変化特性が異常であると判断し、部分領域11Aを拍動異常領域として抽出することができる。
なお、拍動異常領域抽出部105は、伝搬異常領域抽出部104の伝搬異常領域の抽出と並行して拍動異常領域の抽出を行うこともできるし、伝搬異常領域の抽出の前後に拍動異常領域の抽出を行うこともできる。
異常通知部106は、伝搬異常領域抽出部104及び拍動異常領域抽出部105によって抽出された異常な領域を通知する。当該異常な領域は、伝搬異常領域、又は伝搬異常領域及び拍動異常領域を含む領域であるものとすることができる。
図6は、異常な領域13A,13Bの通知例を示す図である。同図に示すように、異常な領域13A,13Bは、実際に抽出された伝搬異常領域及び拍動異常領域よりも大きい領域として示してもよい。なお、異常な領域を示す方法は同図に示す方法に限定されない。例えば、異常通知部106は、伝搬異常領域及び拍動異常領域の中心上に表示されたマーク等によって異常な領域を示すこともできるし、図4Bに示すように網掛けや色を変化させることにより異常な領域を示すこともできる。
画像処理装置100は、以上のように構成されている。画像処理装置100は、上述のように、部分領域毎に算出される動きベクトルに基づいて、伝搬異常領域や拍動異常領域を抽出することが可能である。したがって、観察対象の動き伝搬が異常な領域を検出することが可能となる。
また、画像処理装置100によれば、部分領域間において動き伝搬や拍動プロファイル等を比較することが容易になり、対象画像全体の観察対象の動きからは検出することができない異常な領域を検出することが可能となる。すなわち、従来ユーザの作業に頼らざるを得なかった部分領域間の細胞の反応性や挙動等の評価を容易に行うことが可能となる。
さらに、画像処理装置100によれば、対象画像の全体にわたり異常をきたした心筋細胞等が存在する領域について自動で解析を行い、評価することができる。これにより、ユーザの作業による見落としを防止することができる。
以上のように、画像処理装置100は、心筋細胞のように領域依存的に異常が生じ、不整脈の原因となる心筋梗塞等が発生する観察対象に対して、特に有効に用いることができる。以下、培養心筋細胞に対する動作例を示し、本実施形態についてより詳細に説明する。
[動作例1]
動作例1として、培養心筋細胞に所定の薬剤を投与し、その薬剤の効果を各部分領域の動きベクトルに基づいて評価した。以下、図1に沿って説明する。
まず、画像取得部101が、対象画像を取得する。ここでは、対象画像は、薬剤が投与された培養心筋細胞を位相差撮像した画像であるものとすることができる。
続いて、動き検出部102が、対象画像全体の各観察対象の動きベクトルを検出する。
続いて、動きベクトル算出部103が、部分領域を設定する。
図7A,Bは、動きベクトル算出部103による部分領域の設定例を示す図である。部分領域11A,11Bは、例えば、ユーザの入力操作等により指定された大きさ、位置に設定されてもよい。またこれらの図に示すように、同一対象画像10内の部分領域11A,11Bの大きさは異なっていてもよい。
続いて、動きベクトル算出部103が、各部分領域における動きベクトルや動きの速度等を算出する。
図8A,Bは、図7A,Bの部分領域11A,11Bのそれぞれに含まれる心筋細胞の動きベクトルの解析例を示すグラフであり、いずれも縦軸は動きベクトルの大きさから算出された動きの速度、横軸は時間を示す。また、グラフ中の実線の矢印は、算出された動きベクトルの向きを模式的に示す。図8Aに示すように、部分領域11Aに含まれる観察対象の動きベクトルの向きは、いずれも、同一の向きである。一方、図8Bに示すように、部分領域11Bに含まれる観察対象の動きベクトルの向きは、部分領域11Aの動きベクトルと異なる向きのものを含む。
続いて、伝搬異常領域抽出部104が、部分領域11Aの動きベクトルの向き(図8A参照)を正常伝搬方向と決定し、部分領域11Bの動きベクトルの向き(図8B参照)をいずれも異常伝搬方向と決定する。これにより、伝搬異常領域抽出部104が、部分領域11Bを、伝搬異常領域として抽出する。
さらに、異常通知部106が、図9に示すように、抽出した伝搬異常領域を通知する。図9では、対象画像10上に、黒矢印で正常伝搬方向を示し、白矢印で異常伝搬方向を示し、かつ異常伝搬方向が検出された伝搬異常領域を含む異常な領域13を矩形の枠で示している。
また、上記の解析によって、部分領域11Bにおいて異常伝搬方向の動きが生じることで、図8A,Bの破線矢印に示す異常な速度変化が生じている可能性があることがわかる。これにより、対象画像10内の領域全体で異常な動きを示している可能性についても検討することができる。
以上の動作により、ユーザが、伝搬異常領域を容易に判別し、薬剤の効果や異常の生じた心筋細胞の解析を詳細かつ効率的に進めることが可能となる。また以下に、拍動伝搬の解析方法の他の例を説明する。
[動作例2]
動作例2として、動作例1と同様の培養心筋細胞に所定の薬剤を投与した例を示す。なお、本動作例において、画像取得部101及び動き検出部102の動作は動作例1と同様であるため、その説明を省略する。
動きベクトル算出部103が、対象画像を(a×b)個に分割し、部分領域を設定する(図3参照)。そして動きベクトル算出部103が、各部分領域11についての動きベクトルを算出する。
続いて、伝搬異常領域抽出部104が、算出された各部分領域11の動きベクトルの向き及び大きさに基づいて、正常伝搬方向及び異常伝搬方向を検出する。
図10A,Bは、伝搬異常領域抽出部104による正常伝搬方向及び異常伝搬方向の検出例を示す図である。図10Aに示す例では、対象画像10の右下部に正常伝搬方向(黒矢印)が検出されているのに対し、対象画像10の中央部から左上部にかけて、正常伝搬方向とは異なる方向の異常伝搬方向(白矢印)が検出されている。したがって、伝搬異常領域検出部104は、対象画像10の中央部及び左上部の部分領域を、伝搬異常領域12と抽出することができる。
また図10Bに示す例では、対象画像10の下部に正常伝搬方向(黒矢印)が検出されているが、そこから異常伝搬方向(白矢印)が旋回するパターンが検出されている。なお、同図において、説明のため旋回方向をグレーの矢印で示している。したがって、伝搬異常領域検出部104は、旋回パターンを示す部分領域を、伝搬異常領域12と抽出することができる。
これにより、異常通知部106が、伝搬異常領域抽出部104によって抽出された伝搬異常領域12に基づいて異常な領域を通知することができる。
[動作例3]
動作例3として、伝搬異常領域抽出部104が、拍動伝搬速度が変化した領域を伝搬異常領域として抽出する例を示す。本動作例において、伝搬異常領域抽出部104以外の各要素の動作は動作例2と同様であるため、その説明を省略する。
伝搬異常領域抽出部104は、例えば、動きベクトルから検出された動きの速度に基づいて、動き伝搬(拍動伝搬)の速度が異常な部分領域を伝搬異常領域として抽出することができる。
図11は、伝搬異常領域抽出部104による拍動伝搬の速度が異常な部分領域の抽出例を示す図である。同図に示すように、対象画像10全体において拍動伝搬の向きは同一であるが、拍動伝搬の速度は徐々に遅くなっており、特に、対象画像10の左上部において、速度の変化が顕著に見られる。このため、伝搬異常領域抽出部104は、速度の変化が顕著に見られる部分領域を、伝搬異常領域12として抽出することができる。
拍動伝搬の速度の異常の判定基準は特に限定されないが、例えば、所定の閾値を設定し、その速度以下の場合は速度が異常であると判定するものとすることができる。
以上の動作例のように、拍動伝搬の速さが異常な領域を検出することでも、薬剤の効果や異常の生じた心筋細胞の解析の効率化に寄与することが可能となる。
[動作例4]
動作例4として、伝搬異常領域抽出部104による処理と並行して、又はその前後に、拍動異常領域抽出部105が速度変化特性の異常な領域を抽出する例を示す。なお、本動作例において、画像取得部101、動き検出部102及び異常通知部106の動作は動作例1と同様であるため、その説明を省略する。
動きベクトル算出部103は、部分領域を設定し、各部分領域についての動きベクトルを算出する。
図12Aは、観察対象全体の動きベクトルの解析例を示すグラフでであり、図12B〜Eは、対象画像10中に設定された部分領域11B,11C,11D,11Eの例と、各部分領域11B〜11Eの動きベクトルの解析例を示すグラフである。また、いずれのグラフも縦軸は動きベクトルの大きさから算出された動きの速度、横軸は時間を示す。上述のように、同図のグラフに示す速度変化特性は、心筋細胞の拍動プロファイルを示す。
図12Aに示す観察対象全体の動きベクトルの解析例からは、正常な拍動プロファイルに見られる速度ピーク以外に、目立って異常な速度ピークは検出されないため、全体として正常な拍動プロファイルの対象画像10と判断される可能性がある。一方、図12B及び図12Dに示す部分領域11B,11Dの動きベクトルの解析例からは、図12Aではほとんど検出されなかった異常な速度ピークPB,PDがそれぞれ検出されている。
そこで、拍動異常領域抽出部105が、正常な拍動プロファイルに基づく速度変化特性においては検出されない異常な速度ピークが検出した部分領域11B,11Dを、拍動異常領域として抽出する。以下、当該処理についてより詳細に説明する。
図13は、拍動異常領域抽出部105の処理の詳細を説明する図であり、Aは正常な拍動プロファイルに基づく速度変化特性を示すグラフ、Bは、動きベクトル算出部103による部分領域の動きベクトルの解析に基づく速度変化特性を示すグラフである。また、同図A,Bに示す符号P1〜P7は、それぞれ動きの速度の主なピークとボトムを示す。
図13Aに示すように、正常な拍動プロファイルは、P1〜P5の5点で一周期(一拍)を構成する。一方、早期後脱分極(early afterdepolarization, EAD)や遅延後脱分極 (delayed afterdepolarization, DAD)等の不整脈が生じると、図13Bに示すように、P5の後にP6,P7等に示される異常な拍動が見られる。
このため、例えば拍動異常領域抽出部105は、図13Bに示すように、正常な拍動プロファイルに見られる拍動P1〜P5の他P6,P7のような拍動が見られ、かつP7の後にピークの見られない時間が所定以上ある場合、P6,P7を異常な速度変化であると判定する。そして拍動異常領域抽出部105は、このような異常な速度変化が検出された部分領域を拍動異常領域と抽出することができる。これにより、精度よく異常な拍動プロファイルを判定することができる。
以上のように、本動作例によれば、部分領域毎に心筋細胞の速度変化特性を確認することができ、拍動プロファイルが異常な領域を容易に検出することができる。
[動作例5]
動作例5として、拍動異常領域抽出部105の他の動作例について説明する。
図14Aは、正常な拍動プロファイルに基づく速度変化特性を示すグラフであり、図14Bは、動きベクトル算出部103による部分領域の動きベクトルの解析に基づく速度変化特性を示すグラフである。また、同図に示す符号a,b,c,d及びa',b',c',d'は、動きの速度の主なピークとボトムの時間を示す。
拍動異常領域抽出部105は、例えば、図14Aのa−d間に示される正常な拍動プロファイルの一周期の時間t1に対し、図14Bのa'−d' 間の時間t'1が変化していた場合、そのような時間変化が検出された部分領域11を拍動異常領域と抽出することができる。図14Bに示す例では、図14Aに示す時間t1よりも、時間t'1が延長している。したがって、拍動異常領域抽出部105は、この部分領域を拍動異常領域と抽出することができる。なお、時間t1の具体的な設定値や、時間t'1が時間t1に対して変化しているか否かの判断基準は、一般的な拍動プロファイルに鑑み適宜設定することができる。
あるいは、拍動異常領域抽出部105は、b−c間に示される正常な拍動プロファイルの一部の時間t2に対し、b'−c' 間の時間t'2が変化していた場合、その部分領域11を拍動異常領域と抽出することができる。例えばb−c間は、動きの速度ピーク間の時間とすることができる。図14Bに示す例では、b−c間の時間よりも、b'−c' 間の時間が延長している。したがって、やはりこの部分領域を拍動異常領域と抽出することができる。
[動作例7]
他の動作例として、例えば、動きベクトル算出部103が部分領域を設定し、各部分領域毎の動きベクトルを算出した後、設定された部分領域の一部を新たな部分領域として設定してもよい。この場合、初めに設定された部分領域について伝搬異常領域抽出部104や拍動異常領域抽出部105によって異常な領域が抽出されなかった場合、動きベクトル算出部103が新たな部分領域を設定し、再度処理を繰り返してもよい。あるいは、初めに設定された部分領域について異常通知部106が結果を通知した後、ユーザの操作等により動きベクトル算出部103が新たな部分領域を設定し、再度処理を繰り返してもよい。
[画像処理装置のハードウェア構成]
上記のような画像処理装置100の機能的構成は、以下に示すハードウェア構成によって実現することが可能である。
図15は、画像処理装置100のハードウェア構成を示す模式図である。同図に示すように画像処理装置100はハードウェア構成として、CPU11、メモリ12、ストレージ13及び入出力部(I/O)14を有する。これらはバス15によって互いに接続されている。
CPU(Central Processing Unit)11は、メモリ12に格納されたプログラムに従って他の構成を制御すると共に、プログラムに従ってデータ処理を行い、処理結果をメモリ102に格納する。CPU11はマイクロプロセッサであるものとすることができる。
メモリ12はCPU11によって実行されるプログラム及びデータを格納する。メモリ102はRAM(Random Access Memory)であるものとすることができる。
ストレージ13は、プログラムやデータを格納する。ストレージ13はHDD(Hard disk drive)やSSD(solid state drive)であるものとすることができる。
入出力部14は画像処理装置100に対する入力を受け付け、また画像処理装置100の出力を外部に供給する。入出力部14は、キーボードやマウス等の入力機器やディスプレイ等の出力機器、ネットワーク等の接続インターフェイスを含む。
画像処理装置100のハードウェア構成はここに示すものに限られず、画像処理装置100の機能的構成を実現できるものであればよい。また、上記ハードウェア構成の一部又は全部はネットワーク上に存在していてもよい。
以上、本技術の実施形態について説明したが、本技術は上述の実施形態にのみ限定されるものではなく、本開示の要旨を逸脱しない範囲内において種々変更され得る。
例えば、画像処理装置100は、画像処理システムの一部を構成し、少なくとも、動きベクトル算出部103と、伝搬異常領域抽出部104とを有するものとすることができる。この場合、画像取得部101と、動き検出部102と、異常通知部106とは、画像処理装置100と有線又は無線により接続された他の装置等に含まれるものとすることができる。また、上述の実施形態で示したように、画像処理装置100は、拍動異常領域抽出部105を有しないものとすることもできる。
なお、本技術は以下のような構成もとることができる。
(1)観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する動きベクトル算出部と、
上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する伝搬異常領域抽出部と
を具備する画像処理装置。
(2)上記(1)に記載の画像処理装置であって、
上記伝搬異常領域抽出部は、上記動きベクトルから検出された動きの向きに基づいて、上記伝搬異常領域を抽出する
画像処理装置。
(3)上記(2)に記載の画像処理装置であって、
上記伝搬異常領域抽出部は、上記動きベクトルから正常伝搬方向を検出し、上記正常伝搬方向とは異なる異常伝搬方向を示す部分領域を伝搬異常領域として抽出する
画像処理装置。
(4)上記(1)から(3)のうちいずれか1つに記載の画像処理装置であって、
上記観察対象は、心筋細胞であり、
上記動き伝搬は、拍動の伝搬である
画像処理装置。
(5)上記(4)に記載の画像処理装置であって、
上記動きベクトルから検出された動きの速度に基づいて、速度変化特性の異常な部分領域を拍動異常領域として抽出する拍動異常領域抽出部
をさらに具備する画像処理装置。
(6)上記(5)に記載の画像処理装置であって、
上記速度変化特性は、上記速度の周期的な変化特性である
画像処理装置。
(7)上記(1)から(6)のうちいずれか1つに記載の画像処理装置であって、
上記動きベクトル算出部は、上記対象画像を分割することで、上記部分領域を設定する
画像処理装置。
(8)上記(1)から(7)のうちいずれか1つに記載の画像処理装置であって、
上記伝搬異常領域抽出部は、上記動きベクトルから検出された動きの速度に基づいて、上記動き伝搬の速度が異常な部分領域を伝搬異常領域として抽出する
画像処理装置。
(9)動きベクトル算出部が、観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出し、
伝搬異常領域抽出部が、上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する
画像処理方法。
(10)観察対象を経時的に撮像した対象画像から、上記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する動きベクトル算出部と、
上記動きベクトルに基づいて、上記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する伝搬異常領域抽出部と
として情報処理装置を動作させる画像処理プログラム。
10…対象画像
11…部分領域
12…伝搬異常領域
100…画像処理装置
103…動きベクトル算出部
104…伝搬異常領域抽出部
105…拍動異常領域抽出部

Claims (10)

  1. 観察対象を経時的に撮像した対象画像から、前記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する動きベクトル算出部と、
    前記動きベクトルに基づいて、前記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する伝搬異常領域抽出部と
    を具備する画像処理装置。
  2. 請求項1に記載の画像処理装置であって、
    前記伝搬異常領域抽出部は、前記動きベクトルから検出された動きの向きに基づいて、前記伝搬異常領域を抽出する
    画像処理装置。
  3. 請求項2に記載の画像処理装置であって、
    前記伝搬異常領域抽出部は、前記動きベクトルから正常伝搬方向を検出し、前記正常伝搬方向とは異なる異常伝搬方向を示す部分領域を伝搬異常領域として抽出する
    画像処理装置。
  4. 請求項1に記載の画像処理装置であって、
    前記観察対象は、心筋細胞であり、
    前記動き伝搬は、拍動の伝搬である
    画像処理装置。
  5. 請求項4に記載の画像処理装置であって、
    前記動きベクトルから検出された動きの速度に基づいて、速度変化特性の異常な部分領域を拍動異常領域として抽出する拍動異常領域抽出部
    をさらに具備する画像処理装置。
  6. 請求項5に記載の画像処理領域であって、
    前記速度変化特性は、前記速度の周期的な変化特性である
    画像処理装置。
  7. 請求項1に記載の画像処理装置であって、
    前記動きベクトル算出部は、前記対象画像を分割することで、前記部分領域を設定する
    画像処理装置。
  8. 請求項1に記載の画像処理装置であって、
    前記伝搬異常領域抽出部は、前記動きベクトルから検出された動きの速度に基づいて、前記動き伝搬の速度が異常な部分領域を伝搬異常領域として抽出する
    画像処理装置。
  9. 動きベクトル算出部が、観察対象を経時的に撮像した対象画像から、前記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出し、
    伝搬異常領域抽出部が、前記動きベクトルに基づいて、前記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する
    画像処理方法。
  10. 観察対象を経時的に撮像した対象画像から、前記対象画像上に設定された各部分領域に含まれる観察対象の動きベクトルを算出する動きベクトル算出部と、
    前記動きベクトルに基づいて、前記観察対象の動き伝搬が異常な部分領域を伝搬異常領域として抽出する伝搬異常領域抽出部と
    として情報処理装置を動作させる画像処理プログラム。
JP2014165135A 2014-08-14 2014-08-14 画像処理装置、画像処理方法及び画像処理プログラム。 Pending JP2016041023A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014165135A JP2016041023A (ja) 2014-08-14 2014-08-14 画像処理装置、画像処理方法及び画像処理プログラム。
PCT/JP2015/003104 WO2016024377A1 (ja) 2014-08-14 2015-06-22 画像処理装置、画像処理方法及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014165135A JP2016041023A (ja) 2014-08-14 2014-08-14 画像処理装置、画像処理方法及び画像処理プログラム。

Publications (1)

Publication Number Publication Date
JP2016041023A true JP2016041023A (ja) 2016-03-31

Family

ID=55304015

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014165135A Pending JP2016041023A (ja) 2014-08-14 2014-08-14 画像処理装置、画像処理方法及び画像処理プログラム。

Country Status (2)

Country Link
JP (1) JP2016041023A (ja)
WO (1) WO2016024377A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019154816A (ja) * 2018-03-13 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、及び医療用観察装置の作動方法
JP2020043842A (ja) * 2018-09-21 2020-03-26 株式会社Screenホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5828210B2 (ja) * 2010-10-19 2015-12-02 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP6078943B2 (ja) * 2011-02-28 2017-02-15 ソニー株式会社 画像処理装置および方法、並びに、プログラム
JP2013145318A (ja) * 2012-01-13 2013-07-25 Sony Corp 測定装置、プログラム及び測定方法
JP6102166B2 (ja) * 2012-10-10 2017-03-29 株式会社ニコン 心筋細胞の運動検出方法、心筋細胞の培養方法、薬剤評価方法、画像処理プログラム及び画像処理装置
EP2939212B1 (en) * 2012-12-27 2018-07-11 Tampereen Yliopisto Visual cardiomyocyte analysis
JP6494903B2 (ja) * 2013-02-14 2019-04-03 ソニー株式会社 分析システム、分析プログラム及び分析方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019154816A (ja) * 2018-03-13 2019-09-19 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察装置、及び医療用観察装置の作動方法
JP2020043842A (ja) * 2018-09-21 2020-03-26 株式会社Screenホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体
JP7197316B2 (ja) 2018-09-21 2022-12-27 株式会社Screenホールディングス 画像処理方法、コンピュータプログラムおよび記録媒体

Also Published As

Publication number Publication date
WO2016024377A1 (ja) 2016-02-18

Similar Documents

Publication Publication Date Title
Kaplan et al. Nested neuronal dynamics orchestrate a behavioral hierarchy across timescales
JP7067588B2 (ja) 情報処理装置、プログラム、情報処理方法及び観察システム
JP6573118B2 (ja) 細胞評価装置および方法、並びにプログラム
Smith et al. Modular representation of luminance polarity in the superficial layers of primary visual cortex
Kanaporis et al. Alternans in atria: Mechanisms and clinical relevance
Floria et al. Left atrial structural remodelling in non-valvular atrial fibrillation: what have we learnt from CMR?
Di Nardo et al. Evolutionary and ecological drivers shape the emergence and extinction of foot-and-mouth disease virus lineages
WO2016024377A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
RU2017110814A (ru) Обратная связь от пользователя для управления экг-алгоритмом мониторинга ишемии
Serra et al. An automata-based cardiac electrophysiology simulator to assess arrhythmia inducibility
Westholm et al. Peak systolic velocity using color-coded tissue Doppler imaging, a strong and independent predictor of outcome in acute coronary syndrome patients
JP2012094068A5 (ja)
Deb et al. Identifying atrial fibrillation mechanisms for personalized medicine
JP6217968B2 (ja) 画像処理装置および方法、並びにプログラム
Siramshetty et al. Drugs as habitable planets in the space of dark chemical matter
Tomek et al. Ccoffinn: Automated wave tracking in cultured cardiac monolayers
Tyler et al. Feature-based attention promotes biological motion recognition
Ho et al. Learning from different perspectives: Robust cardiac arrest prediction via temporal transfer learning
Omori et al. Timing of the emergence of new successful viral strains in seasonal influenza
Minina et al. Analysis of functional state of cardiovascular system by collection of the signs of phasic portrait in single channel ECG
JP5700712B2 (ja) 3次元ダイナミック心筋核医学画像データのパトラック解析
Lin et al. Mechanisms of stochastic onset and termination of atrial fibrillation episodes: Insights using a cellular automaton model
Olsen et al. A computational method for identification of vaccine targets from protein regions of conserved human leukocyte antigen binding
Sun et al. A hill-type submaximally-activated musculotendon model and its simulation
Qian et al. Parallel bayesian network modelling for pervasive health monitoring system