JP2007334746A - 画像処理装置および画像処理プログラム - Google Patents

画像処理装置および画像処理プログラム Download PDF

Info

Publication number
JP2007334746A
JP2007334746A JP2006167622A JP2006167622A JP2007334746A JP 2007334746 A JP2007334746 A JP 2007334746A JP 2006167622 A JP2006167622 A JP 2006167622A JP 2006167622 A JP2006167622 A JP 2006167622A JP 2007334746 A JP2007334746 A JP 2007334746A
Authority
JP
Japan
Prior art keywords
image
target
region
inter
shift amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006167622A
Other languages
English (en)
Inventor
Shinsuke Tani
伸介 谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2006167622A priority Critical patent/JP2007334746A/ja
Publication of JP2007334746A publication Critical patent/JP2007334746A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】観測対象に対応する対象画像領域の画像特徴が経時的に変化する場合に、対象画像領域全体のシフト量を精度よく、また画像変化やノイズに対してロバストに算出できること。
【解決手段】画像処理装置1は、一連の観測画像の中から基準画像と処理対象画像とを抽出する対象画像抽出部11と、処理対象画像の中から観測対象に対応する対象画像領域を複数抽出する対象領域抽出部12と、基準画像の中から対象画像領域との相関性が高い基準画像領域を検出し、基準画像領域から対象画像領域までの領域間位置シフト量を算出する処理を、複数の対象画像領域ごとに行う領域間シフト量算出部13と、領域間シフト量算出部13が算出した領域間位置シフト量を統計処理し、複数の基準画像領域を含む基準領域群から複数の対象画像領域を含む対象領域群までの群間位置シフト量を算出する群間シフト量算出部15と、を備える。
【選択図】 図1

Description

本発明は、異なる時点で撮像され、複数の観測対象が経時的に記録された一連の観測画像を処理する画像処理装置に関するものである。
一般に、時間の経過とともに特徴が変化する複数の観測対象を観測する場合、その複数の観測対象を異なる時点で撮像し、経時的に記録した一連の観測画像(以下、時系列観測画像と呼ぶ。)が用いられる。この場合、観測対象を精度よく観測するため、時系列観測画像における各観測画像間で観測対象に対応する撮像領域を正確に一致させること、つまり時系列観測画像を撮像する撮像装置の撮像視野位置を観測対象に対して一定に維持することが所望される。
しかしながら、通常、撮像装置の設置機構の構造上、撮像視野位置は、外部から加わる振動や衝撃等の影響により、時系列観測画像の撮像期間内で観測対象に対して変動する場合がある。また、異なる観測対象群の観測を並行して行うには、例えば可動ステージ上に配置した各観測対象群を撮像視野内に順次移動して撮像を行う必要がある。その際、撮像視野に対する個々の観測対象群の設置位置は、可動ステージの位置再現性の影響により、時系列観測画像の撮像期間内で変動する場合がある。これらの結果、撮像時点が異なる観測画像間で、撮像視野に対して観測対象群の位置がシフトする場合が生じる。
従来、このような撮像視野に対する観測対象群の位置シフトに応じて発生する画像のずれを補正する技術として、例えば特許文献1および2に記載されたものがある。特許文献1に記載された補正技術は、観測画像内の観測対象が1個の場合であって、観測対象に対応する対象画像領域を異なる観測画像間で対応付け、パターンマッチング等の手法を用いることによって、その観測画像間で生じた対象画像領域の位置シフト量を算出し、この算出結果をもとに画像のずれを補正するようにしている。
また、特許文献2に記載された補正技術は、観測画像内に観測対象が複数含まれる場合であって、観測画像内に基準指標として所定形状のマーカーを設置し、マーカーに対応するマーカー画像領域を異なる観測画像間で対応付け、パターンマッチング等の手法を用いることによって、その観測画像間で生じたマーカー画像領域の位置シフト量を算出し、この算出結果をもとに画像のずれを補正するようにしている。
特開2003−7247号公報 特開2005−164707号公報
ところが、特許文献1に記載の技術では、観測画像内に観測対象が複数存在する場合について考慮されていない。このため、例えば各対象画像領域に色、形状、位置などの画像特徴の変化が生じなければ、特定の1つの対象画像領域を追跡して観測することによって、異なる観測画像間で発生する対象画像領域の全体のシフト量を算出できるものの、画像特徴が経時的に変化する場合には、対象画像領域全体のシフト量を正確に算出することができないという問題があった。
また、特許文献2に記載の技術では、マーカーを用いているため、各対象画像領域の画像特徴が変化する場合にもその影響を受けず、異なる観測画像間で生じる対象画像領域全体のシフト量を算出することができるものの、マーカーを認識できない場合には、対象画像領域全体のシフト量を正確に算出することができないという問題があった。具体的には、例えば異なる観測画像間で撮像倍率を拡大し、撮像視野範囲を小さくした場合、観測画像内にマーカーが記録されず、マーカーを認識することができないことがある。また、例えば蛍光観察や自発光観察等を行う場合、光量不足のためマーカーが鮮明に記録されず、マーカーを認識することができないことがある。さらに、マーカーを記録して観測を行うためには、観測対象を専用のマーカー付き容器に収容する必要があり、観測にかかるコストが増大するという問題もあった。
本発明は、上記に鑑みてなされたものであって、複数の観測対象が経時的に記録された時系列観測画像について、各観測対象に対応する対象画像領域の画像特徴が経時的に変化する場合に、対象画像領域全体のシフト量を精度よく算出することができる画像処理装置および画像処理プログラムを提供することを目的とする。
上記の目的を達成するために、請求項1にかかる画像処理装置は、異なる時点で撮像され、複数の観測対象が経時的に記録された一連の観測画像を処理する画像処理装置において、前記一連の観測画像の中から基準画像と処理対象画像とを抽出する画像抽出手段と、前記処理対象画像の中から前記観測対象に対応する対象画像領域を複数抽出する対象領域抽出手段と、前記基準画像の中から前記対象画像領域との相関性が高い基準画像領域を検出し、該基準画像領域から前記対象画像領域までの領域間位置シフト量を算出する処理を、複数の前記対象画像領域ごとに行う領域間位置シフト量算出手段と、前記領域間位置シフト量算出手段が算出した前記領域間位置シフト量を統計処理し、複数の前記基準画像領域を含む基準領域群から複数の前記対象画像領域を含む対象領域群までの群間位置シフト量を算出する群間位置シフト量算出手段と、を備えたことを特徴とする。
また、請求項2にかかる画像処理装置は、上記の発明において、前記対象画像領域ごとに、該対象画像領域と前記基準画像領域との類似度を算出する類似度算出手段と、複数の前記対象画像領域の中から前記類似度が所定条件を満足する前記対象画像領域を選択する類似対象領域選択手段と、を備え、前記群間位置シフト量算出手段は、前記領域間位置シフト量算出手段が算出した前記領域間位置シフト量のうち、前記類似対象領域選択手段が選択した前記対象画像領域の前記領域間位置シフト量を統計処理し、前記群間位置シフト量を算出することを特徴とする。
また、請求項3にかかる画像処理装置は、上記の発明において、前記対象画像領域ごとの前記領域間位置シフト量の度数分布を生成する度数分布生成手段と、複数の前記対象画像領域の中から前記度数分布に対する所定条件を満足する前記対象画像領域を選択する分布対象領域選択手段と、を備え、前記群間位置シフト量算出手段は、前記領域間位置シフト量算出手段が算出した前記領域間位置シフト量のうち、前記分布対象領域選択手段が選択した前記対象画像領域の前記領域間位置シフト量を統計処理し、前記群間位置シフト量を算出することを特徴とする。
また、請求項4にかかる画像処理装置は、上記の発明において、前記対象領域抽出手段は、前記対象画像領域同士の領域間距離を規定する距離条件を設定する距離条件設定手段を有し、前記処理対象画像の中から前記距離条件を満足する複数の前記対象画像領域を抽出することを特徴とする。
また、請求項5にかかる画像処理装置は、上記の発明において、前記対象領域抽出手段は、前記処理対象画像の外周近傍に位置する前記対象画像領域を優先的に抽出することを特徴とする。
また、請求項6にかかる画像処理装置は、上記の発明において、前記分布対象領域選択手段は、前記度数分布内の度数が所定値以上である前記領域間位置シフト量に対応する前記対象画像領域を選択することを特徴とする。
また、請求項7にかかる画像処理装置は、上記の発明において、前記群間位置シフト量算出手段は、前記領域間位置シフト量算出手段が算出した前記領域間位置シフト量の平均値、中央値、最頻値または度数分布近似曲線の最大値に基づき、前記群間位置シフト量を算出することを特徴とする。
また、請求項8にかかる画像処理装置は、上記の発明において、前記対象画像領域は、前記観測対象の生体活動に応じて、異なる前記観測画像間で、位置、形状および濃淡値の少なくとも1つを含む画像特徴が変化することを特徴とする。
また、請求項9にかかる画像処理装置は、上記の発明において、前記群間位置シフト量に基づき、前記処理対象画像を撮像した撮像装置と前記観測対象との相対移動を打ち消すように前記観測画像を処理した補正後画像を表示手段に表示させる制御を行う補正画像表示制御手段と、を備えたことを特徴とする。
また、請求項10にかかる画像処理装置は、上記の発明において、前記群間位置シフト量に基づき、前記処理対象画像に記録された前記観測対象の全体の動き傾向を解析する動き解析手段と、前記動き解析手段の解析結果に基づき、前記観測対象の全体の動き傾向を示す動き特徴量を表示手段に表示させる制御を行う解析結果表示制御手段と、を備えたことを特徴とする。
また、請求項11にかかる画像処理装置は、上記の発明において、前記動き特徴量は、前記観測対象の全体の動き量を示す動きベクトル、位置、速度、加速度、周期および周波数の少なくとも1つを含むことを特徴とする。
また、請求項12にかかる画像処理プログラムは、異なる時点で撮像され、複数の観測対象が経時的に記録された一連の観測画像を処理する画像処理装置に、前記一連の観測画像を処理させる画像処理プログラムおいて、前記画像処理装置に、前記一連の観測画像の中から基準画像と処理対象画像とを抽出する画像抽出手順と、前記処理対象画像の中から前記観測対象に対応する対象画像領域を複数抽出する対象領域抽出手順と、前記基準画像の中から前記対象画像領域との相関性が高い基準画像領域を検出し、該基準画像領域から前記対象画像領域までの領域間位置シフト量を算出する処理を、複数の前記対象画像領域ごとに行う領域間位置シフト量算出手順と、前記領域間位置シフト量算出手順が算出した前記領域間位置シフト量を統計処理し、複数の前記基準画像領域を含む基準領域群から複数の前記対象画像領域を含む対象領域群までの群間位置シフト量を算出する群間位置シフト量算出手順と、を実行させることを特徴とする。
本発明にかかる画像処理装置および画像処理プログラムによれば、複数の観測対象が経時的に記録された時系列観測画像について、各観測対象に対応する対象画像領域の画像特徴が経時的に変化する場合に、対象画像領域全体のシフト量を精度よく算出することができる。
以下、添付図面を参照して、本発明にかかる画像処理装置および画像処理プログラムの好適な実施の形態を詳細に説明する。なお、この実施の形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
(実施の形態1)
まず、本発明の実施の形態1にかかる画像処理装置および画像処理プログラムについて説明する。図1は、本実施の形態1にかかる画像処理装置1の要部構成を示すブロック図である。この図に示すように、画像処理装置1は、入力された画像を処理する制御部2と、各種情報の入力、記憶および表示をそれぞれ行う入力部3、記憶部4および表示部5と、を備える。入力部3、記憶部4および表示部5は、制御部2に電気的に接続され、制御部2は、この入力部3、記憶部4および表示部5における処理および動作の制御を行う。
制御部2が処理する画像は、複数の時点に撮像され、観測対象が経時的に記録された一連の観測画像からなる時系列観測画像であって、例えば図2に示すように、観測対象として複数の生細胞が経時的に記録された画像数Tの時系列細胞画像image(0)〜image(T-1)である。個々の細胞画像image(0)〜image(T-1)は、それぞれ観測時点t=0,1,2,・・・,T−1に順次撮像された画像であり、そのうち細胞画像image(0),image(T-1)は、それぞれ撮像開始画像および撮像終了画像に相当する。
図2に示す時系列細胞画像では、細胞画像image(t)において、生細胞群を示す画像領域としての細胞領域群Gr(t)に対して画像枠の位置シフト(以下、画像シフトと呼ぶ。)が生じている。この画像シフトは、観測時点t−1から観測時点tまでの期間に発生した撮像装置と観測対象との相対変位に起因して生じるものである。図3−1は、観測時点t−1,tでの生細胞と撮像視野との位置関係を示す図である。画像シフトは、例えばこの図に示すように、観測時点t−1における撮像視野FV(t-1)が生細胞群GRに対してシフト量ISだけシフトし、観測時点tにおいて撮像視野FV(t)となることで発生する。これによって、図2に示した細胞画像image(t)内の細胞領域群Gr(t)は、その直前の細胞画像image(t-1)内の細胞領域群Gr(t-1)に対して、図上、左下方向にシフトしている。
ここで、図3−1に示した生細胞群GR内の各生細胞CE1〜CE4は、それぞれ生体活動によって位置、形状および濃淡値のうち少なくとも1つの特徴量を経時的に変化させる。しかし、生細胞CE1〜CE4は、少なくとも各々の位置を互いにランダムに変化させるため、全体としての生細胞群GRのシフト量は、統計的にゼロとみなされる。このため、例えば重心位置によって示される生細胞群GRの位置GPは、観測時点0〜(T−1)の観測期間内でほぼ一定に維持される。
制御部2は、このような生細胞群の特性を利用して、時系列細胞画像中の細胞画像群に生じた画像シフトを補正する。すなわち、制御部2は、例えば図3−2に示すように、画像シフトが生じた細胞画像である補正対象画像image1と、画像シフトを補正する基準となる細胞画像としての基準画像image0との間で、それぞれの細胞領域群Gr1,Gr0の位置Gp1,Gp0を比較し、細胞領域群Gr0から細胞領域群Gr1までの細胞領域群間の位置シフト量(以下、群間シフト量と呼ぶ。)Gsを算出する。このとき、制御部2は、細胞領域群Gr0とGr1との間で対応する細胞領域間に生じた位置シフト量(以下、領域間シフト量と呼ぶ。)As1〜As4を算出し、この領域間シフト量As1〜As4をもとに群間シフト量Gsを算出する。そして、制御部2は、群間シフト量Gsの方向を反転したシフト量が画像シフトの補正量を示すものとして、画像シフトの補正を行う。
つづいて、制御部2の構成について詳細に説明する。制御部2は、記憶部4に記憶された各種処理プログラムを実行するCPU等を用いたマイクロコンピュータ構成として実現され、電気的に接続された各構成部位が行う処理および動作の制御を行う。特に制御部2は、図1に示すように、対象画像抽出部11、対象領域抽出部12、領域間シフト量算出部13、対象領域選択部14、群間シフト量算出部15、画像シフト補正処理部16および補正画像表示制御部17を備え、入力部3から入力されて記憶部4に記憶される時系列観測画像を処理する。
対象画像抽出部11は、時系列観測画像の中から基準画像と、処理対象画像としての補正対象画像とを抽出する。このとき、対象画像抽出部11は、例えば入力部3から入力される選択指示情報によって指示される観測画像を補正対象画像として抽出するとともに、時系列順で補正対象画像の直前の観測画像を基準画像として抽出する。
対象領域抽出部12は、対象画像抽出部11が抽出した補正対象画像の中から、観測対象に対応する対象画像領域としての対象領域を複数抽出する。このとき、対象領域抽出部12は、対象領域の画像特徴を算出し、この算出した画像特徴に基づいて対象領域を抽出する。具体的には、対象領域抽出部12は、例えば対象領域と背景領域との輝度値の差を求め、高い輝度値の画素を対象領域、低い輝度値の画素を背景領域と判別し、高い輝度値の集合をラベリングして対象領域を抽出する。その後、対象領域抽出部12は、抽出した対象領域と、その対象領域周りの背景領域とからなるテンプレートを作成し、記憶部4に記憶させるとともに以降の処理に引き渡す。なお、対象領域抽出部12は、輝度値の他、領域のエッジ、形状、大きさ、色、位置等の画像特徴を用いて対象領域を抽出することもできる。
また、対象領域抽出部12は、対象領域を抽出する際、補正対象画像の外周近傍に位置する対象領域を優先的に抽出する。これによって、対象領域抽出部12は、補正対象画像内の全領域から特定の領域に集中することなく対象領域を抽出することができる。また、補正対象画像内の全対象領域を抽出する場合に比して、抽出にかかる処理を高速化することができる。なお、画像内の全領域からムラなく複数の対象領域を抽出する方法として、画像を分割し、分割した各分割領域からそれぞれ対象領域を抽出する方法が知られている。対象領域抽出部12は、このような画像分割による抽出方法を利用することもできる。
さらに、対象領域抽出部12は、補正対象画像内の全領域からムラなく対象領域を抽出するため、抽出する対象領域同士の領域間距離が所定の距離条件を満足するように抽出を行う。この距離条件は、距離条件設定部12aが適宜設定する。例えば、補正対象画像内に対象領域が多数存在する場合、距離条件設定部12aは、比較的長い距離を閾値とし、この閾値以上の領域間距離となる対象領域を抽出対象とするように距離条件を設定する。また、距離条件設定部12aは、各対象領域に外接する四角形の長辺に等しい長さ以上を閾値として距離条件を設定する。これによって、対象領域抽出部12は、抽出した対象領域が重ならないようにすることができる。以上のようにして、補正対象画像内の全領域からムラなく対象領域を抽出することで、対象領域抽出部12は、後述する対象領域全体のシフト量の算出精度を向上させることができる。
領域間シフト量算出部13は、対象画像抽出部11が抽出した基準画像の中から、対象領域抽出部12が抽出した対象領域との相関性が高い基準画像領域としての基準領域を検出し、基準領域から対象領域までの領域間の位置シフト量としての領域間シフト量を算出する。領域間シフト量算出部13は、この処理を、対象領域抽出部12が抽出した対象領域ごとに行い、抽出されたすべての対象領域に対して領域間シフト量を算出する。
ここで、領域間シフト量算出部13は、例えば正規化相互相関によるマッチング処理を用いて基準領域を検出し、対象領域との対応付けを行う。具体的には、領域間シフト量算出部13は、基準画像中、対象領域を示すテンプレート画像との類似度が最も高い画像領域を基準領域として検出する。この類似度の演算は、特に類似度算出部13aが行う。類似度算出部13aは、対象領域を示すテンプレート画像の位置(x,y)における画素値T(x,y)と、テンプレート画像の画像サイズ(M×N)と、テンプレート画像を重ね合わせ、テンプレート画像と対応付けた基準画像における位置(x,y)の画素値I(x,y)とを用い、次式(1)〜(3)によって正規化相互相関による類似度RNCCを算出する。
Figure 2007334746
また、領域間シフト量算出部13は、基準領域と対象領域との間のユークリッド距離を領域間シフト量として算出する。その際、領域間シフト量算出部13は、補正対象画像の各次元について領域間シフト量を算出する。具体的には、領域間シフト量算出部13は、対象領域の領域位置(x(t),y(t))と、基準領域の領域位置(x(t-1),y(t-1))とを用い、次式(4)によって領域間シフト量diを算出する。なお、式(4)は、補正対象画像が2次元画像(xy平面画像)であるものとして領域間シフト量diを示している。
Figure 2007334746
領域間シフト量算出部13は、以上のようにして算出した類似度RNCCおよび領域間シフト量diと、類似度RNCCの算出処理を行った対象領域の累積個数cとを記憶部4に記憶させるとともに、以降の処理に引き渡す。
なお、ここでは領域間シフト量算出部13は、正規化相互相関による類似度RNCCを用いて基準領域を検出するものとしたが、この他に、輝度値の差分2乗和(SSD:Sum of Squared Difference)、輝度値の差分絶対値和(SAD:Sum of Absolute Difference)等を用いて検出することもできる。さらに、領域のエッジ、形状、大きさ、色、位置等の画像特徴を用いたマッチング処理によって検出を行うこともできる。領域間シフト量算出部13は、抽出した補正対象画像の画像特徴に適したマッチング処理を適宜選択して用いることができる。
対象領域選択部14は、類似度閾値処理部14a、度数分布生成部14bおよび外れ値除去処理部14cを有し、領域間シフト量算出部13が算出した領域間シフト量および類似度等に基づいて、基準領域との対応付けが確からしい対象領域を選択する。
ここで、類似対象領域選択手段としての類似度閾値処理部14aは、対象領域抽出部12が抽出した複数の対象領域の中から、類似度算出部13aが算出した類似度が所定条件を満足する対象領域を選択する。具体的には、類似度閾値処理部14aは、類似度RNCCに対して閾値Rthを設け、この閾値Rthより低い類似度RNCCに対応する対象領域をエラーデータとして処理対象から除外する類似度閾値処理を行う。例えば、観測対象が生細胞である場合、補正対象画像を撮像した時点で新しく生成した細胞は基準画像に記録されておらず、この細胞を示す細胞領域は、領域間シフト量を算出することができないためエラーデータとして除外される。類似度閾値処理部14aは、この類似度閾値処理によって、あらかじめ指定された選択個数Scountだけ対象領域を選択する。なお、類似度閾値処理は、類似度が高い順に対象領域を抽出する処理と比較して、補正対象画像内の全対象領域に対して処理を行う必要がなく、処理速度を向上させる効果がある。
一方、分布対象領域選択手段としての外れ値除去処理部14cは、対象領域抽出部12が抽出した複数の対象領域の中から、度数分布生成部14bが生成する度数分布に対する所定条件を満足する対象領域を選択する。具体的には、度数分布生成部14bは、対象領域抽出部12が抽出した複数の対象領域について、図4に示すような領域間シフト量の度数分布を、補正対象画像の各次元(x方向、y方向)について生成する。外れ値除去処理部14cは、この度数分布に対して個数誤差の大きい領域間シフト量に対応する対象領域を除外する外れ値除去処理を行う。例えば、外れ値除去処理部14cは、図4に示すように、あらかじめ設定した度数Dthを閾値として、この度数Dth以上の度数を有する領域間シフト量に対応した対象領域を選択し、度数Dthより小さい度数に対応する対象領域を除外する。あるいは、度数分布の両端部に分布した対象領域を選択対象から除外することもできる。
対象領域選択部14は、以上のようにして選択した各対象領域の領域間シフト量と、選択した対象領域の領域数とを記憶部4に記憶させるとともに、以降の処理に引き渡す。対象領域選択部14は、このようにして対象領域を選択することで、後述する対象領域全体のシフト量の算出精度を向上させることができる。なお、ここでは外れ値除去処理部14cは、対象領域抽出部12が抽出した複数の対象領域の中から選択を行うものとしたが、類似度閾値処理部14aが選択した選択個数Scountの対象領域の中から選択を行うこともできる。
群間シフト量算出部15は、領域間シフト量算出部13が算出した領域間シフト量を統計処理し、対象領域全体のシフト量として、複数の基準領域を含む基準領域群から複数の対象領域を含む対象領域群までの領域群間の位置シフト量である群間シフト量を算出する。対象領域群に含まれる対象領域は、対象領域選択部14が選択して抽出した対象領域である。なお、図3−2に例示した細胞画像では、対象領域群および基準領域群は、それぞれ細胞領域群Gr(t),Gr(t-1)に相当し、基準領域群から対象領域群までの群間シフト量は、群間シフト量Gsに相当する。
ここで、例えば図3−1に示したように、対象領域群に含まれる各対象領域の位置が経時的にランダムに変化する場合、対象領域全体としての対象領域群の位置変化量は統計的にゼロとみなすことができる。言い換えると、各対象領域の経時的な位置の変化量は個々の値をもつが、複数の対象領域における経時的な位置の変化量の総和は、足し合わせる対象領域の個数が多いほどゼロに近づくものと統計的に仮定することができる。つまり、ランダムな変化に加え、特定方向への群間シフト量を有する時系列観測画像では、複数の領域間シフト量を統計的に処理することで群間シフト量のみを算出することができる。
具体的には、群間シフト量算出部15は、対象領域群に含まれる複数の対象領域について、それらの領域間シフト量の平均値を算出して群間シフト量とする。他にも、度数分布生成部14bが生成した度数分布の近似曲線を求め、その近似曲線の最大値を群間シフト量とすることができる。また、領域間シフト量の中央値、最頻値等を群間シフト量とすることもできる。
画像シフト補正処理部16は、群間シフト量算出部15が算出した群間シフト量に基づき、補正対象画像を撮像した撮像装置と観測対象との相対移動に応じて補正対象画像に発生した画像シフトを補正し、画像シフトを補正した画像としてのシフト補正後画像を生成する。具体的には、画像シフト補正処理部16は、補正対象画像の各画素位置を群間シフト量と反対向きに、かつ等しい大きさだけ移動させるとともに、この移動の結果、対応する画像情報がなくなった各画素の輝度値に補正対象画像内の最小の輝度値を設定することで、シフト補正後画像を生成する。なお、画像シフト補正処理部16は、このように最小輝度値を設定することで、画像内に画素情報がないため表現できなかった画素を、シフト補正後画像の背景領域として表し、以降の画像処理への影響を最小化している。
補正画像表示制御部17は、画像シフト補正処理部16が生成したシフト補正後画像を時系列観測画像に対応付け、表示部5に表示させる制御を行う。図5は、その表示結果の一例を示す図である。この図に示す結果は、図2に示した時系列細胞画像image(0)〜image(T-1)を制御部2が処理した結果であって、補正対象画像としての細胞画像image(t)をもとに画像シフト補正処理部16が生成したシフト補正後画像shift(t)を表示している。補正画像表示制御部17は、例えば図5に示すように補正対象画像にシフト補正後画像を対応付け、補正対象画像とシフト補正後画像とを表示部5に並列表示させる。この他、補正対象画像をシフト補正後画像に置き換えて時系列観測画像を表示させることもできる。なお、図5に示したシフト補正後画像shift(t)内に示す矢印は、破線で示す補正前の細胞領域から実線で示す補正後の細胞領域までの補正シフト量を示している。
つづいて、画像処理装置1が行う画像処理手順について説明する。図6は、制御部2が記憶部4にあらかじめ記憶された画像処理プログラムを実行し、時系列観測画像を処理する処理手順を示すフローチャートである。ここでは、時系列観測画像として時系列細胞画像を処理する処理手順について説明する。
まず、対象画像抽出部11は、時系列細胞画像の中から基準画像および補正対象画像とする細胞画像を抽出し(ステップS101)、対象領域抽出部12は、補正対象画像の中から対象領域としての細胞領域を1つ抽出する(ステップS102)。つぎに、領域間シフト量算出部13は、基準画像中の画像領域に対して対象領域との類似度を算出し、最も類似度が高い画像領域を基準領域として検出するとともに(ステップS103)、基準領域から対象領域までの領域間シフト量を算出する(ステップS104)。
類似度閾値処理部14aは、ステップS102で算出された類似度に基づき、この類似度が所定の閾値以上である対象領域を選択する類似度閾値処理を行うとともに(ステップS105)、対象領域を累計で所定数だけ選択したか否かを判断する(ステップS106)。所定数選択していない場合(ステップS106:No)、制御部2は、ステップS102からの処理を繰り返す。一方、所定数選択されている場合(ステップS106:Yes)、度数分布生成部14bは、選択された対象領域について領域間シフト量の度数分布を各次元について生成し(ステップS107)、外れ値除去処理部14cは、この度数分布に基づいて対象領域を選択する外れ値除去処理を行う(ステップS108)。
その後、群間シフト量算出部15は、ステップS108までに選択された対象領域について、ステップS104で算出された領域間シフト量を統計処理して群間シフト量を算出し(ステップS109)、画像シフト補正処理部16は、群間シフト量に基づいて補正対象画像の画像シフトを補正するとともに、シフト補正後画像を生成する(ステップS110)。そして、補正画像表示制御部17は、このシフト補正後画像を表示部5に表示させ(ステップS111)、一連の画像処理を終了させる。
なお、上述した画像処理手順では、ステップS102で対象領域を1つずつ抽出し、ステップS105で選択される対象領域が累計で所定数に達するまでステップS102〜S106の処理を繰り返すものとして説明したが、例えばステップS102においてすべての細胞領域を抽出し、この抽出した細胞領域についてステップS103,S104を処理した後、ステップS105において所定数の細胞領域を選択することもできる。
また、上述した画像処理手順では、類似度閾値処理(ステップS105)および外れ値除去処理(ステップS108)によって選択した対象領域について群間シフト量を算出するものとして説明したが、いずれか一方の処理によって選択した対象領域について群間シフト量を算出することもできる。さらに、類似度閾値処理と外れ値除去処理との処理順序を入れ換えて対象領域を選択することもできる。
なお、ステップS111では、補正画像表示制御部17は、例えば入力部3から入力される表示指示情報に基づいて、時系列細胞画像およびシフト補正後画像等の表示方法を適宜変更しながら表示を繰り返すこともできる。また、これらの画像以外にも、例えば領域間シフト量の度数分布、細胞領域の画像特徴、類似度等の種々の情報を、画像情報もしくは文字情報として表示させることができる。
以上説明したように、本実施の形態1にかかる画像処理装置1は、時系列観測画像の中から基準画像と補正対象画像とを抽出する対象画像抽出部11と、補正対象画像の中から観測対象に対応する対象領域を複数抽出する対象領域抽出部12と、基準画像の中から対象領域との相関性が高い基準領域を検出し、この基準領域から対象領域までの領域間シフト量を算出する処理を、対象領域ごとに行う領域間シフト量算出部13と、領域間シフト量算出部13が算出した領域間シフト量を統計処理し、基準領域群から対象領域群までの群間シフト量を算出する群間シフト量算出部15と、を備えているため、時系列観測画像における各観測対象に対応する対象領域の画像特徴が経時的に変化する場合に、観測画像に生じた対象領域全体のシフト量としての群間シフト量を精度よく、また画像変化やノイズに対してロバストに算出することができ、画像シフトを補正することができる。
また、画像処理装置1は、対象領域ごとに、対象領域と基準領域との類似度を算出する類似度算出部13aと、複数の対象領域の中から類似度が所定条件を満足する対象領域を選択する類似度閾値処理部14aと、対象領域ごとの領域間シフト量の度数分布を生成する度数分布生成部14bと、複数の対象領域の中から度数分布に対する所定条件を満足する対象領域を選択する外れ値除去処理部14cと、を備え、群間シフト量算出部15は、領域間シフト量算出部13が算出した領域間シフト量のうち、類似度閾値処理部14aおよび外れ値除去処理部14cが選択した対象領域の領域間シフト量を統計処理し、群間シフト量を算出するため、高精度に群間シフト量を算出することができるとともに画像シフトを補正することができる。なお、類似度算出部13aおよび類似度閾値処理部14aと、度数分布生成部14bおよび外れ値除去処理部14cとについては、いずれか一方の組だけを備えるようにしてもよい。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。上述した実施の形態1では、時系列観測画像中の1枚の観測画像を補正対象画像とし、その画像シフトを補正するものとしたが、本実施の形態2では、撮像開始画像を除くすべての観測画像を補正対象画像とし、各観測画像の画像シフトを補正するようにしている。本実施の形態2にかかる画像処理装置は、画像処理装置1と同じ構成によって実現される。ただし、時系列観測画像を処理する画像処理手順は異なるものである。以下、その点について説明する。
図7は、本実施の形態2において制御部2が処理する時系列観測画像の一例を示す図である。この図に示す時系列観測画像は、図2に示したものと同様に、観測対象として複数の生細胞が経時的に記録された画像数Tの時系列細胞画像image(0)〜image(T-1)である。この時系列細胞画像では、細胞画像image(1),image(3)において画像シフトが発生しており、それぞれの細胞領域群Gr(1),Gr(3)は、各々直前の細胞画像image(0),image(2)の細胞領域群Gr(0),Gr(2)に対して、図上、左下方向にシフトしている。本実施の形態2では、制御部2は、このように時系列観測画像内で画像シフトが発生した複数の観測画像について、その画像シフトを順次補正する処理を行う。
図8は、その画像処理手順を示すフローチャートである。制御部2は、記憶部4にあらかじめ記憶された画像処理プログラムを実行することで、この画像処理手順を実現する。ここでは、時系列観測画像として図7に示した時系列細胞画像image(0)〜image(T-1)を処理するものとして処理手順を説明する。
まず、対象画像抽出部11は、時系列細胞画像の中から基準画像および補正対象画像とする細胞画像を抽出する(ステップS201)。このステップS201では、対象画像抽出部11は、最初の補正対象画像として、時系列細胞画像のうち先頭から2番目の細胞画像image(1)を抽出する。また、基準画像として、時系列順で補正対象画像の直前の細胞画像image(0)を抽出する。
つぎに、制御部2は、ステップS202〜S210の各処理を、それぞれ図6に示したステップS102〜S110と同様に行う。その後、制御部2は、撮像終了画像である細胞画像image(T-1)まで処理したか否かを判断し(ステップS211)、細胞画像image(T-1)まで処理していない場合(ステップS211:No)、ステップS201からの処理を繰り返す。その際、対象画像抽出部11は、ステップS201が繰り返されるごとに、直前に処理した補正対象画像に対して時系列順で直後の細胞画像をつぎの補正対象画像として抽出する。また、抽出した補正対象画像の直前の細胞画像に対応付けられたシフト補正後画像を基準画像として抽出する。
一方、細胞画像image(T-1)まで処理した場合(ステップS211:Yes)、補正画像表示制御部17は、一連のシフト補正後画像を表示部5に表示させ(ステップS212)、一連の画像処理を終了させる。このステップS211では、補正画像表示制御部17は、例えば図9に示すように、時系列細胞画像image(0)〜image(T-1)と、細胞画像image(1)〜image(T-1)にそれぞれ対応付けられたシフト補正後画像shift(1)〜shift(T-1)とを並列表示させる。この他、細胞画像image(1)〜image(T-1)をそれぞれシフト補正後画像shift(1)〜shift(T-1)に置き換えて表示させることもできる。なお、図9に示したシフト補正後画像shift(1),shift(3)内に示す矢印は、破線で示す補正前の細胞領域から実線で示す補正後の細胞領域までの補正シフト量を示している。
以上のようにして各細胞画像の画像シフトを順次補正処理することで、時系列細胞画像内のすべての画像シフトを自動的に補正することができる。また、基準画像としてシフト補正後画像を順次抽出することで、最初に基準画像とした先頭の細胞画像image(0)を一連の補正処理の基準とし、その基準位置を順次継承して、すべての細胞画像の画像シフトを補正することができる。
なお、ここでは、先頭の細胞画像image(0)を時系列細胞画像全体の基準にするものとしたが、例えば、細胞画像image(0)とは別の特定の細胞画像を基準として用いてもよい。この細胞画像は、時系列細胞画像内のいずれかの細胞画像であってもよく、あるいは時系列細胞画像とは別の細胞画像であってもよい。
さらに、上述した画像処理手順では、時系列細胞画像のうち先頭から2番目の細胞画像image(1)以降の細胞画像を補正対象画像として処理するものとしたが、例えば、入力部3から入力される開始画像指示情報によって指示される細胞画像以降を補正対象画像とすることもできる。これによって、画像処理装置1では、時系列細胞画像における任意の細胞画像以降の画像シフトを補正することができる。
(実施の形態3)
つぎに、本発明の実施の形態3について説明する。本実施の形態3は、上述した実施の形態1および2で用いた発明を応用した実施の形態である。実施の形態1および2では、複数の対象領域を有し、かつ対象領域の画像特徴が経時的に変化する時系列観測画像において、画像シフトの補正に用いる群間シフト量を算出する処理を示し、複数の対象領域の画像特徴を統計的に解析することで、従来の課題の解決が為されている。本実施の形態3では、経時的に画像特徴が変化する複数の対象領域において、対象領域の動き量の変移を算出し、複数の対象領域に対して算出した変移に基づいて対象領域全体の動きの傾向(以下、動きトレンドと呼ぶ。)を解析する方法について記述する。
従来、対象領域全体の動きトレンドは、対象領域全体の重心位置の変位から算出されていた。ところが、従来の方法では、観測画像内に対象領域全体の動きトレンドを算出するためには適さない対象領域が含まれている場合、誤差が大きくなり、全体の動きトレンドを正確に解析することができないという問題があった。適さない対象領域としては、例えば、経時的に画像特徴が変化する背景領域や、異なる観測画像間で消滅又は出現する対象領域などが挙げられる。
このような従来の課題に対して、実施の形態1および2の発明を応用すると、複数の観測対象についての対象領域の動き量を統計的に解析することで、観測対象の全体の動きトレンドを正確に解析することができる。
図10は、本実施の形態3にかかる画像処理装置101の要部構成を示すブロック図である。この図に示すように、画像処理装置101は、画像処理装置1の構成をもとに、制御部2に替えて制御部102を備える。制御部102は、制御部2の構成をもとに、画像シフト補正処理部16および補正画像表示制御部17に替えて、動き解析処理部116および解析結果表示制御部117を備える。その他の構成は、実施の形態1と同じであり、同一構成部分には同一符号を付して示している。
制御部102は、制御部2と同様に、時系列観測画像として、例えば図2および図7に示した時系列細胞画像を処理する。ただし、制御部102は、観測画像に生じた画像シフトが観測対象全体の移動によって発生したものとみなし、対象領域群の群間シフト量が観測対象全体の平均変位を示すものとして解析処理する点で、制御部2と異なる。
図11は、異なる観測画像間に生じる群間シフト量の発生原因を説明する図である。この図に示すように、観測時点t−1における観測対象としての生細胞EC1’〜EC4’が観測時点tまでの期間、その生体活動に基づいて、それぞれ例えば矢印AS1’〜AS4’で示すような一様な移動を行ったものとする。このような移動は、一般に、生細胞の走光性、走化性等に起因して発生する。この場合、生細胞EC1’〜EC4’を含んだ観測時点t−1における生細胞群GR(t-1)の位置GP(t-1)は、観測時点tにおける生細胞群GR(t)の位置GP(t)までシフトし、このシフト量GSは、観測画像上で群間シフト量として観測される。このため、制御部2は、異なる観測画像間で生じた群間シフト量を算出することで生細胞群のシフト量を求めることができるとともに、そのシフト量の変移を解析することで生細胞群の動きトレンドを求めることができる。なお、この場合、撮像視野FVの位置変化は、時系列観測画像に対応する観測期間内で、生細胞群のシフト量に比して十分小さいものとみなされる。
つづいて、制御部102のうち制御部2と異なる構成部について説明する。まず、動き解析処理部116は、群間シフト量算出部15が算出した群間シフト量に基づき、処理対象画像に記録された観測対象の全体の動き傾向、つまり観測対象群の動きトレンドを解析する。具体的には、動き解析処理部116は、各観測画像の群間シフト量に基づき、観測期間における観測対象群の動きベクトル、速度、加速度、運動周期および運動周波数等を算出する。
動き解析処理部116は、例えば運動周期および運動周波数をつぎのようにして算出する。すなわち、動き解析処理部116は、群間シフト量と、群間シフト量に対応する観測期間とを用いて各観測画像における観測対象群の速度を算出し、算出した速度をプロットした散布図を生成するとともに、この散布図に対して最小二乗法を用いて近似曲線を得る。そして、この近似曲線に対してフーリエ変換を行うことで運動周波数を求める。また、ここで生成した近似曲線は、運動周期を示している。
つぎに、解析結果表示制御部117は、動き解析処理部116の解析結果に基づき、観測対象群の動きトレンドを示す動き特徴量を表示部5に表示させる制御を行う。ここで、解析結果表示制御部117が表示させる動き特徴量は、観測対象群の動きベクトル、速度、加速度、運動周期および運動周波数の少なくとも1つを含むものである。解析結果表示制御部117は、かかる動き特徴量を、例えばグラフ化して表示させる。図12は、その一例を示す図であって、観測対象群の走光性に起因する位置の変化を観測時点に対して示している。この他、解析結果表示制御部117は、動き特徴量を文字情報として表示させることもできる。また、動き特徴量とともに、時系列観測画像あるいは個々の観測画像等を表示させることもできる。
つづいて、画像処理装置101が行う画像処理手順について説明する。図13は、制御部102が記憶部4にあらかじめ記憶された画像処理プログラムを実行し、時系列観測画像を処理する処理手順を示すフローチャートである。ここでは、時系列観測画像として時系列細胞画像を処理する処理手順について説明する。
まず、制御部102は、ステップS301〜S309の各処理を、それぞれ図8に示したステップS201〜S209と同様に行う。その後、制御部102は、撮像終了画像まで処理したか否かを判断し(ステップS310)、撮像終了画像まで処理していない場合(ステップS310:No)、ステップS301からの処理を繰り返す。その際、対象画像抽出部11は、ステップS301においてステップS201と同様に補正対象画像の抽出を行なうとともに、抽出した補正対象画像に対して時系列順で直前の観測画像を基準画像として抽出する。
一方、撮像終了画像まで処理している場合(ステップS310:Yes)、動き解析処理部116は、ステップS309で算出した群間シフト量に基づき、対象領域群の動きトレンドを解析する動き解析処理を行う(ステップS311)。その後、解析結果表示制御部117は、この動き解析処理における解析結果として、対象領域群の動きトレンドを示す動き特徴量等を表示部5に表示させ(ステップS312)、一連の画像処理を終了させる。
なお、ここでは、撮像開始画像から撮像終了画像までを処理対象とし、全撮像期間における観測対象群の動きトレンドを解析するものとして説明したが、例えば入力部3から入力される解析期間指示情報によって指示される撮像期間について、動きトレンドの解析を行うこともできる。これによって、画像処理装置101では、時系列観測画像における任意の撮像期間に対応する対象領域群の動きトレンドを解析することができる。
以上説明したように、本実施の形態3にかかる画像処理装置101では、画像特徴が安定的に変化している対象領域を選別し、その対象領域の領域間シフト量を統計処理して対象領域群の群間シフト量を算出するとともに、異なる観測画像における群間シフト量を解析処理するようにしているため、時系列観測画像における対象領域群の動きトレンドを精度よく、また画像変化やノイズに対してロバストに解析することができ、観測対象群の移動計測および運動解析等を高精度に行うことができる。
なお、制御部102は、対象領域選択部14が選択しなかった対象領域、あるいはその対象領域群の動きトレンドを解析することもできる。これによって、画像処理装置101では、観測対象として生細胞を用いた場合、異常細胞の移動計測および運動解析等を行うこともできる。
ここまで、本発明を実施する最良の形態を実施の形態1〜3として説明したが、本発明は、上述した実施の形態1〜3に限定されず、本発明の趣旨を逸脱しない範囲であれば、種々の変形が可能である。
例えば、上述した実施の形態1〜3では、時系列順で補正対象画像の直前の観測画像を基準画像として抽出するものとしたが、直前に限らず、さらにそれ以前の観測時点の観測画像を基準画像とすることもできる。
なお、上述した実施の形態1〜3において制御部2,102が処理するものとして説明した画素値は、観測画像の形態に応じて、輝度値、濃淡値、階調値または強度値等が適宜選択される。また、制御部2,102が処理するものとして説明した輝度値は、観測画像の形態に応じて、濃淡値、階調値、強度値等に適宜置き換えて解釈することができる。
実施の形態1にかかる画像処理装置の構成を示すブロック図である。 画像処理装置が処理する時系列観測画像の一例を示す図である。 観測画像に発生する画像シフトを説明する図である。 異なる観測画像間における群間シフト量および領域間シフト量を説明する図である。 領域間シフト量の度数分布の一例を示す図である。 シフト補正後画像の表示結果の一例を示す図である。 画像シフトを補正する処理手順を示すフローチャートである。 画像処理装置が処理する時系列観測画像の一例を示す図である。 画像シフトを補正する処理手順を示すフローチャートである。 シフト補正後画像の表示結果の一例を示す図である。 実施の形態3にかかる画像処理装置の構成を示すブロック図である。 群間シフト量の発生原因を説明する図である。 動き特徴量の表示結果の一例を示す図である。 動きトレンドを解析する処理手順を示すフローチャートである。
符号の説明
1,101 画像処理装置
2,102 制御部
3 入力部
4 記憶部
5 表示部
11 対象画像抽出部
12 対象領域抽出部
12a 距離条件設定部
13 領域間シフト量算出部
13a 類似度算出部
14 対象領域選択部
14a 類似度閾値処理部
14b 度数分布生成部
14c 外れ値除去処理部
15 群間シフト量算出部
16 画像シフト補正処理部
17 補正画像表示制御部
116 動き解析処理部
117 解析結果表示制御部

Claims (12)

  1. 異なる時点で撮像され、複数の観測対象が経時的に記録された一連の観測画像を処理する画像処理装置において、
    前記一連の観測画像の中から基準画像と処理対象画像とを抽出する画像抽出手段と、
    前記処理対象画像の中から前記観測対象に対応する対象画像領域を複数抽出する対象領域抽出手段と、
    前記基準画像の中から前記対象画像領域との相関性が高い基準画像領域を検出し、該基準画像領域から前記対象画像領域までの領域間位置シフト量を算出する処理を、複数の前記対象画像領域ごとに行う領域間位置シフト量算出手段と、
    前記領域間位置シフト量算出手段が算出した前記領域間位置シフト量を統計処理し、複数の前記基準画像領域を含む基準領域群から複数の前記対象画像領域を含む対象領域群までの群間位置シフト量を算出する群間位置シフト量算出手段と、
    を備えたことを特徴とする画像処理装置。
  2. 前記対象画像領域ごとに、該対象画像領域と前記基準画像領域との類似度を算出する類似度算出手段と、
    複数の前記対象画像領域の中から前記類似度が所定条件を満足する前記対象画像領域を選択する類似対象領域選択手段と、
    を備え、
    前記群間位置シフト量算出手段は、前記領域間位置シフト量算出手段が算出した前記領域間位置シフト量のうち、前記類似対象領域選択手段が選択した前記対象画像領域の前記領域間位置シフト量を統計処理し、前記群間位置シフト量を算出することを特徴とする請求項1に記載の画像処理装置。
  3. 前記対象画像領域ごとの前記領域間位置シフト量の度数分布を生成する度数分布生成手段と、
    複数の前記対象画像領域の中から前記度数分布に対する所定条件を満足する前記対象画像領域を選択する分布対象領域選択手段と、
    を備え、
    前記群間位置シフト量算出手段は、前記領域間位置シフト量算出手段が算出した前記領域間位置シフト量のうち、前記分布対象領域選択手段が選択した前記対象画像領域の前記領域間位置シフト量を統計処理し、前記群間位置シフト量を算出することを特徴とする請求項1または2に記載の画像処理装置。
  4. 前記対象領域抽出手段は、前記対象画像領域同士の領域間距離を規定する距離条件を設定する距離条件設定手段を有し、前記処理対象画像の中から前記距離条件を満足する複数の前記対象画像領域を抽出することを特徴とする請求項1〜3のいずれか一つに記載の画像処理装置。
  5. 前記対象領域抽出手段は、前記処理対象画像の外周近傍に位置する前記対象画像領域を優先的に抽出することを特徴とする請求項1〜4のいずれか一つに記載の画像処理装置。
  6. 前記分布対象領域選択手段は、前記度数分布内の度数が所定値以上である前記領域間位置シフト量に対応する前記対象画像領域を選択することを特徴とする請求項3に記載の画像処理装置。
  7. 前記群間位置シフト量算出手段は、前記領域間位置シフト量算出手段が算出した前記領域間位置シフト量の平均値、中央値、最頻値または度数分布近似曲線の最大値に基づき、前記群間位置シフト量を算出することを特徴とする請求項1〜6のいずれか一つに記載の画像処理装置。
  8. 前記対象画像領域は、前記観測対象の生体活動に応じて、異なる前記観測画像間で、位置、形状および濃淡値の少なくとも1つを含む画像特徴が変化することを特徴とする請求項1〜7のいずれか一つに記載の画像処理装置。
  9. 前記群間位置シフト量に基づき、前記処理対象画像を撮像した撮像装置と前記観測対象との相対移動を打ち消すように前記観測画像を処理した補正後画像を表示手段に表示させる制御を行う補正画像表示制御手段と、
    を備えたことを特徴とする請求項1〜8のいずれか一つに記載の画像処理装置。
  10. 前記群間位置シフト量に基づき、前記処理対象画像に記録された前記観測対象の全体の動き傾向を解析する動き解析手段と、
    前記動き解析手段の解析結果に基づき、前記観測対象の全体の動き傾向を示す動き特徴量を表示手段に表示させる制御を行う解析結果表示制御手段と、
    を備えたことを特徴とする請求項1〜9のいずれか一つに記載の画像処理装置。
  11. 前記動き特徴量は、前記観測対象の全体の動き量を示す動きベクトル、位置、速度、加速度、周期および周波数の少なくとも1つを含むことを特徴とする請求項10に記載の画像処理装置。
  12. 異なる時点で撮像され、複数の観測対象が経時的に記録された一連の観測画像を処理する画像処理装置に、前記一連の観測画像を処理させる画像処理プログラムおいて、
    前記画像処理装置に、
    前記一連の観測画像の中から基準画像と処理対象画像とを抽出する画像抽出手順と、
    前記処理対象画像の中から前記観測対象に対応する対象画像領域を複数抽出する対象領域抽出手順と、
    前記基準画像の中から前記対象画像領域との相関性が高い基準画像領域を検出し、該基準画像領域から前記対象画像領域までの領域間位置シフト量を算出する処理を、複数の前記対象画像領域ごとに行う領域間位置シフト量算出手順と、
    前記領域間位置シフト量算出手順が算出した前記領域間位置シフト量を統計処理し、複数の前記基準画像領域を含む基準領域群から複数の前記対象画像領域を含む対象領域群までの群間位置シフト量を算出する群間位置シフト量算出手順と、
    を実行させることを特徴とする画像処理プログラム。
JP2006167622A 2006-06-16 2006-06-16 画像処理装置および画像処理プログラム Withdrawn JP2007334746A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006167622A JP2007334746A (ja) 2006-06-16 2006-06-16 画像処理装置および画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006167622A JP2007334746A (ja) 2006-06-16 2006-06-16 画像処理装置および画像処理プログラム

Publications (1)

Publication Number Publication Date
JP2007334746A true JP2007334746A (ja) 2007-12-27

Family

ID=38934153

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006167622A Withdrawn JP2007334746A (ja) 2006-06-16 2006-06-16 画像処理装置および画像処理プログラム

Country Status (1)

Country Link
JP (1) JP2007334746A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010097507A (ja) * 2008-10-17 2010-04-30 Nippon Telegr & Teleph Corp <Ntt> 移動対象抽出装置、移動対象抽出方法及び移動対象抽出プログラム
WO2010116912A1 (ja) * 2009-04-08 2010-10-14 国立大学法人東京大学 トラッキング装置およびこのトラッキング装置を備えたトラッキング顕微鏡並びにトラッキング方法
JP2011525009A (ja) * 2008-05-30 2011-09-08 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 1以上のデフォーカス画像又は低コントラスト対雑音比画像を検出し除去するシステム及び方法
JP2013507643A (ja) * 2009-10-13 2013-03-04 ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド エピジェネティックおよび非エピジェネティックベースの人工多能性幹細胞誘導への応用を含む細胞リプログラミング
JP2014083042A (ja) * 2012-10-26 2014-05-12 Ehime Univ 細胞の評価方法およびその利用
WO2015159422A1 (ja) * 2014-04-18 2015-10-22 株式会社 日立製作所 移動量測定装置および移動量測定方法
JP2016171961A (ja) * 2015-03-18 2016-09-29 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2016185106A (ja) * 2015-03-27 2016-10-27 大日本印刷株式会社 画像解析装置、画像解析方法、及び画像解析プログラム
JP2017092730A (ja) * 2015-11-11 2017-05-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP2022006180A (ja) * 2021-03-10 2022-01-12 アポロ インテリジェント コネクティビティ (ベイジン) テクノロジー カンパニー リミテッド 画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォーム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011525009A (ja) * 2008-05-30 2011-09-08 ジーイー・ヘルスケア・バイオサイエンス・コーポレイション 1以上のデフォーカス画像又は低コントラスト対雑音比画像を検出し除去するシステム及び方法
JP2010097507A (ja) * 2008-10-17 2010-04-30 Nippon Telegr & Teleph Corp <Ntt> 移動対象抽出装置、移動対象抽出方法及び移動対象抽出プログラム
WO2010116912A1 (ja) * 2009-04-08 2010-10-14 国立大学法人東京大学 トラッキング装置およびこのトラッキング装置を備えたトラッキング顕微鏡並びにトラッキング方法
JP2010243868A (ja) * 2009-04-08 2010-10-28 Univ Of Tokyo トラッキング装置およびこのトラッキング装置を備えたトラッキング顕微鏡並びにトラッキング方法
JP2013507643A (ja) * 2009-10-13 2013-03-04 ザ・チャールズ・スターク・ドレイパ・ラボラトリー・インコーポレイテッド エピジェネティックおよび非エピジェネティックベースの人工多能性幹細胞誘導への応用を含む細胞リプログラミング
JP2014083042A (ja) * 2012-10-26 2014-05-12 Ehime Univ 細胞の評価方法およびその利用
WO2015159422A1 (ja) * 2014-04-18 2015-10-22 株式会社 日立製作所 移動量測定装置および移動量測定方法
JP2016171961A (ja) * 2015-03-18 2016-09-29 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US10600182B2 (en) 2015-03-18 2020-03-24 Canon Kabushiki Kaisha Image processing apparatus and image processing method, that determine a conformable image
JP2016185106A (ja) * 2015-03-27 2016-10-27 大日本印刷株式会社 画像解析装置、画像解析方法、及び画像解析プログラム
JP2017092730A (ja) * 2015-11-11 2017-05-25 ソニー株式会社 情報処理装置、情報処理方法、プログラム及び情報処理システム
US10733741B2 (en) 2015-11-11 2020-08-04 Sony Corporation Information processing device, information processing method, program, and information processing system
JP2022006180A (ja) * 2021-03-10 2022-01-12 アポロ インテリジェント コネクティビティ (ベイジン) テクノロジー カンパニー リミテッド 画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォーム
JP7258101B2 (ja) 2021-03-10 2023-04-14 阿波▲羅▼智▲聯▼(北京)科技有限公司 画像の手ぶれ補正方法、装置、電子機器、記憶媒体、コンピュータプログラム製品、路側機およびクラウド制御プラットフォーム
US11792514B2 (en) 2021-03-10 2023-10-17 Apollo Intelligent Connectivity (Beijing) Technology Co., Ltd. Method and apparatus for stabilizing image, roadside device and cloud control platform

Similar Documents

Publication Publication Date Title
JP2007334746A (ja) 画像処理装置および画像処理プログラム
JP4877374B2 (ja) 画像処理装置及びプログラム
US10679358B2 (en) Learning image automatic sorting device, learning image automatic sorting method, and learning image automatic sorting program
JP4869843B2 (ja) 細胞画像処理装置および細胞画像処理方法
US20160055645A1 (en) People counting device and people counting method
US20150092993A1 (en) Image processing apparatus, image processing method, and computer-readable recording device
JP2013065103A (ja) 追跡装置、追跡方法およびプログラム
JP2014089626A (ja) 画像検出装置及び制御プログラム並びに画像検出方法
JP6059486B2 (ja) 教師データ検証装置、教師データ作成装置、画像分類装置、教師データ検証方法、教師データ作成方法および画像分類方法
EP1994877B1 (en) Medical image processing apparatus and medical image processing method
US20120106784A1 (en) Apparatus and method for tracking object in image processing system
JP2018181333A5 (ja)
EP3121264B1 (en) Cell region display control device and method
JP6924932B2 (ja) 移動体追跡方法、移動体追跡装置、およびプログラム
JP2016191589A (ja) 欠陥分類装置および欠陥分類方法
US20100124375A1 (en) Image segmentation method and system based on region features of pixels
JP2006349533A (ja) 画像処理装置および画像処理プログラム
US20170190301A1 (en) Vehicle periphery monitoring device
US8841614B1 (en) Sample structure analyzing method, transmission electron microscope, and computer-readable non-transitory recording medium
JP5244438B2 (ja) データ分類装置、データ分類方法、データ分類プログラムおよび電子機器
JP2011165170A (ja) 対象物検出装置及びプログラム
JPWO2019187049A1 (ja) 診断支援装置、診断支援プログラム、及び、診断支援方法
US9400929B2 (en) Object detection device and method for detecting an object by performing a raster scan on a scan window
JP4208011B2 (ja) テンプレートマッチング装置
JP2008293172A (ja) 消失点推定装置及びプログラム

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20090901