JP2004525472A - 分割ユニット、その方法、及び画像処理装置 - Google Patents
分割ユニット、その方法、及び画像処理装置 Download PDFInfo
- Publication number
- JP2004525472A JP2004525472A JP2002590087A JP2002590087A JP2004525472A JP 2004525472 A JP2004525472 A JP 2004525472A JP 2002590087 A JP2002590087 A JP 2002590087A JP 2002590087 A JP2002590087 A JP 2002590087A JP 2004525472 A JP2004525472 A JP 2004525472A
- Authority
- JP
- Japan
- Prior art keywords
- segment
- image
- motion vector
- motion
- vector field
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/149—Segmentation; Edge detection involving deformable models, e.g. active contour models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10076—4D tomography; Time-sequential 3D tomography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30048—Heart; Cardiac
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
一連の画像において、先の分割結果及び動き推定に基づいてセグメントを決定する方法が開示されている。第二の画像における第二のセグメントは、第一の画像における第一のセグメントに基づいて決められる。第一のセグメントと第二のセグメントは対象物に対応する。この方法は、第一の画像と第二の画像の画素値を比較することにより、第一のセグメントから第二のセグメントへの変換を定義するセグメント動きモデルを計算する工程を有する。簡略なセグメント動きモデルは、例えば、並進をのみ考慮する。並進は一つの動きベクトルで表せる。
Description
【技術分野】
【０００１】
本発明は、対象物に対応する第一の画像における第一のセグメントと第二の画像における第二のセグメントについて、第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する方法に関する。
【０００２】
さらに、本発明は、対象物に対応する第一の画像における第一のセグメントと第二の画像における第二のセグメントについて、第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する分割ユニットに関する。
【０００３】
さらに、本発明は、対象物に対応する第一の画像における第一のセグメントと第二の画像における第二のセグメントについて、第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する分割ユニット及び第一のセグメントと第二のセグメントを分析する分析器を含む画像処理装置に関する。
【背景技術】
【０００４】
冒頭で取り上げた分割ユニットとして、イージー・ビジョウ(Easy Vision)と呼ばれるフイリップス・医療ワークステーション(Philip Medical Workstation)が知られている。このワークステーションは、ユーザによる複数の画像処理タスクを可能とする様々なアプリケーションを備えている。多数の画像処理タスクにおいて、画像分割は必須の処理である。以上のアプリケーションのうち、このような分割ユニットを用いるものもある。以下、具体例を用いて分割ユニットの応用を説明する。イージー・ビジョウの応用により、磁気共鳴（ＭＲ：magnetic resonance）心臓病画像(cardiology image)分析が可能となった。この分析は心臓拍動サイクルの各段階で患者心臓の体積を求めることを目的とする。ＭＲシステムによって得られた患者胸部の一連の画像がワークステーションに送られ処理される。これらの画像の各々は心室を含む胸部の一スライスを表示する、即ち、各画像は患者の心室及び様々な他の組織を示す。心筋が収縮しているため、各画像において心室の形状は異なっている。上記の分析を行うために、すべての画像において、心室をセグメントに分割する必要がある。換言すれば、心室に対応する画素をマスクする必要がある。画像の分割が次の手順で行われる。ユーザは、以上の一連の画像のうち一番目の画像において該画像で示された心室の輪郭線を描く。続いてこの輪郭線を伝播する、即ち、二番目の画像に複製する。ユーザは、手動で二番目の画像に複製された輪郭線の形状を調整し、その輪郭線を二番目の画像で示された心室の形状に合致させることをしてもよい。その二番目の輪郭線をさらに後の画像に伝播しても良い。輪郭線を調整するための尤複雑な方法もある。その場合は、輪郭線は同じように後の画像に複製されるが、輪郭線の変更は自動輪郭線検出ユニットに制御される。当該自動輪郭線検出ユニットは二番目の画像において複製された輪郭線の近辺に縁部を検索する。この新しい輪郭線を検出された縁部に被せる。この方法により満足できる結果が得られるものの、縁部を検出し難い場合に失敗することがある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の第一の目的は、冒頭で説明したような一連の画像において相対的にローバストな画像分割ができる分割方法を提供することにある。
【０００６】
本発明の第二の目的は、冒頭で説明したような一連の画像において相対的にローバストな画像分割を行うことができる分割ユニットを提供することにある。
【０００７】
本発明の第三の目的は、冒頭で説明したような一連の画像において相対的にローバストな画像分割を行うができる分割ユニットを含む画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の第一の目的を達成するために、本発明の方法は、第一の画像と第二の画像の画素値を比較することにより、第一のセグメントから第二のセグメントへの変換を定義するセグメント動きモデルを計算する計算工程を有する。
【０００９】
セグメント動きモデルは、セグメントがどのようにその形状又は位置を変化させるかを定義する。このセグメント動きモデルは、例えば、６つのパラメータを有し、並進(translation)、サイズ変更(resizing)、剪断(shear)、回転(rotation)及びこれらの組み合わせを表す線形擬似モデル（linear affine model）である。簡略なセグメント動きモデルとしては、例えば、並進をのみ考慮する。並進を一つのベクトル、即ち、動きベクトルで表せる。
【００１０】
本発明の方法と従来の方法の主な相違は、第二のセグメントの分割を達成するために、付加の情報を考慮することである。
【００１１】
従来の方法において、第二の画像における第二のセグメントの輪郭線を捜査するために、第二の画像の画素値のみが用いられる。第二の画像において第二の輪郭線を検出するために、第一の輪郭線の場所（即ち、第一のセグメントの境界）を除き、第一の画像について他の情報が考慮されていない。本発明の方法において、２つの画像の画素値をセグメント動きベクトルの計算に用いる。
【００１２】
従来の方法において、第一の輪郭線の複製、即ち、第二の画像へ伝播した後の第一の輪郭線の周囲に位置する第二の画像の画素値のみが考慮されている。本発明の方法においては、輪郭線内部の画素、即ち、セグメントの他の画素がセグメント動きベクトルの計算に用いられる。
【００１３】
これらの付加の情報を用いることによって画像分割化はローバストなものとなる。上記の従来の応用では、対象物の形状は時間につれて変化する。しかし、対象物の形状が変化せず、その対象物の画像形成装置に対する位置が変化することもある。本発明の方法は、形状が変化せず、位置が変化する対象物の分割が要求される応用にも適用できる。
【００１４】
本発明の方法の一実施形態は、第一の画像と第二の画像に基づいて、動きベクトル場（field）を計算する第一の工程であって、当該動きベクトル場は複数の動きベクトルを含み、当該各動きベクトルは、第一の画像における第一の画素ブロックから第二の画像における第二の画素ブロックまでの移動を表す第一の工程及び動きベクトル場における動きベクトルに基づいて、セグメント動きベクトルを計算する第二の工程を有する。
【００１５】
第一の工程において標準動き推定器を用いて迅速かつ精確に動きベクトル場を計算することができる。利用可能な動き推定器として、例えば、G. de Haanらの論文“True motion estimation with 3-D recursive search block-matching”, Proceedings IEEE International Conference on Circuits and Systems for Video Technology, 1994, Vol. 3, pp. 249-256、により説明されたものがある。動き推定器は、不規則に成型されたテンプレートとの整合に基づいたものとしてもよい。
【００１６】
第二の工程において、第一のセグメントの内部の動きベクトル、即ち、セグメントの境界に囲まれた動きベクトルは分析され、第一のセグメントの並進を表す動きベクトルを捜査する。第一のセグメントから第二のセグメントの位置への変換は、対象物の位置の変化、即ち、並進に対応する。第一のセグメントとほぼ対応する動きベクトル場の一部の内部に位置する動きベクトルの平均値若しくは最確値を求めることによって、この変換を表すセグメント動きベクトルを求めることができる。最確値を求めるには、動きベクトルの二次元ヒストグラムを用いてもよい。
【００１７】
本発明の方法の一実施形態は、動きベクトル場における動きベクトルを選別するフィルタリング工程を有する。例えば、動きベクトルの信頼水準（confidence level）を重み係数として動きベクトルのフィルタリングに用いる。必要に応じて、異常ベクトル(outlier)を除去する。異常ベクトルとは、事前に選択され又は計算された値からのずれは所定の閾値以上に離れている動きベクトルをいう。特に、閉鎖領域において、正しくない動きベクトルが存在することも有り得る。しかし、質の良い動き推定器により生成された動きベクトル場において、あるセグメントに与えられた動きベクトルの値の殆どは正確であると考えるのは妥当である。
【００１８】
本発明の方法の一実施形態において、第二の工程では、少なくとも２つのセグメント動きベクトルは計算される。原点の位置が異なる複数のセグメント動きベクトルを用いることによって、例えば、セグメントの回転を表すことができる。この実施形態により、対象物の並進だけでなく、対象物の回転を追跡することが可能になる。
【００１９】
本発明の方法の一実施形態は、動きベクトル場における動きベクトルに基づいて、第二のセグメントの形状を調整する第三の工程を有する。画像形成面と平行する平面における対象物の回転又は並進の他に、他類の運動も可能である。その結果、対象物の射影が変化し、この変化を擬似変換で表せない可能性がある。従来技術において、なぜ対象物の形状が変化しセグメントの形状の変更を生じさせる可能性があるかについて、別の種の理由が挙げられた：対象物が自分の形状を変化させる。三つ目の理由は、あるシーンにおいて、複数の対象物が移動する。その結果、セグメントが互いに塞がれる。本実施形態において、第一のセグメントから第二のセグメントへの変換を決めることと第二のセグメントの形状を変化させることが併合される。
【００２０】
本発明の第二の目的を達成するために、本発明の分割ユニットは、第一の画像と第二の画像の画素値を比較することにより、第一のセグメントから第二のセグメントへの変換を定義するセグメント動きモデルを計算する推定手段を有する。
【００２１】
本発明の第三の目的を達成するために、本発明の画像処理装置は、第一の画像と第二の画像の画素値を比較することにより、第一のセグメントから第二のセグメントへの変換を定義するセグメント動きモデルを計算する推定手段を有する分割ユニットを含む。
【発明の効果】
【００２２】
本発明において、第二のセグメントの分割を達成するために、第一の画像と第二の画像両方の画素値、輪郭線内部の画素など付加の情報が用いられる。これによって、分割化はローバストなものとなる。
【００２３】
また、本発明は、対象物の形状が変化せずに位置が変化する場合にも適用できる。
【００２４】
また、本発明により、対象物の並進だけでなく、対象物の回転を追跡することも可能になる。
【００２５】
また、本発明において、第一のセグメントから第二のセグメントへの変換を決めることと第二のセグメントの形状を変化させることが併合される。
【発明を実施するための最良の形態】
【００２６】
図１はセグメント１０２とセグメント１０８の関係及びセグメント動きベクトル１１０を概略的に示す図である。対象物１０４の２つの画像、即ち、第一の画像１００と第二の画像１０６が形成される。２つの画像に対象物１０４の射影が含まれており、しかし、対象物１０４は第一の画像１００と第二の画像１０６を取得する間に移動する。第一の画像１００において、対象物１０４に対応する部分は第一のセグメント１０２にマスクされる。第二の画像１０６において、対象物１０４に対応する部分は第二のセグメント１０８にマスクされる。第一のセグメント１０２は、ユーザから行われた画像分割により得られたものであってもよく、或いは、例えば、分割ユニット４００により行われた自動分割によるものであってもよい。第二の画像１０６における第二のセグメント１０８の位置は、第一の画像１００における第一のセグメント１０２の位置及びセグメント動きベクトル１１０により定義される。即ち、第二のセグメント１０８は、第一のセグメント１０２のマスクをセグメント動きベクトル１１０に示された方向に及び距離を移動し、かつ、このマスクを第二の画像１０６に複製することによって位置決めされる。セグメント動きベクトル１１０は第一の画像１００と第二の画像１０６の画素値を比較して計算することによって得られる。ここで、“比較”とは、ある適切な誤差関数を最小化する方法、或いは、ある適切な整合関数（match function）、例えば、２つの画像の画素値の相関を最大化する方法を意味する。例えば、第一のセグメント１０２の画素をほぼ包含する第一の画像１００の一部と第二の画像１０６の画素との畳み込みを計算する。画素値は、例えば、輝度若しくは色を示す。第一の画像１００と第二の画像１０６は一連の画像における連続する画像であっても良い。また、第一の画像１００と第二の画像１０６は同じの画像シリーズに属する連続しない画像であっても良い、即ち、第一の画像１００の後第二の画像１０６の前に第３の画像があってもよい。
【００２７】
図２は動きベクトル場(field)とセグメント動きベクトル１１０の関係を概略に示す図である。図２に示すように、第一の画像１００は複数の画素ブロック２１２−２２０などに分割され、第二の画像１０６は複数の画素ブロック２２２−２３０などに分割される。一つの画素ブロックに、例えば、１から６４×６４までの画素が含まれる。各画素ブロックに、水平方向の画素数と縦方向の画素数は同一でなくでも良い。画素ブロック２１２−２２０の各々について、動きベクトル２０２−２１０が計算される。これらの動きベクトル２０２−２１０は各画素ブロック２１２−２２０の移動先までの方向と距離を規定し、それによって、第二の画像１０６で対応する情報が得られる。標準動き推定器は動きベクトル場２００の計算に用いることができる。例えば、G. de Haanらの論文“True motion estimation with 3-D recursive search block-matching”, Proceedings IEEE International Conference on Circuits and Systems for Video Technology, 1994, Vol. 3, pp. 249-256、により説明された動き推定器がある。図２に示された動きベクトル場２００における多くの動きベクトルは非常に小さく、また、例えば、動きベクトル２０２−２０６のように、方向がランダムである。しかし、第一のセグメント１０２と大体対応する動きベクトル場２００の一部２３２の内部にある動きベクトル２０８、２１０等はほぼ揃っている。これらの動きベクトル２０８、２１０等の平均値、若しくは、最確値を求めることによって、セグメント動きベクトル１１０を求められる。
【００２８】
図３は、第一の画像３００における第一のセグメント３０２から第二の画像３０６における第二のセグメント３０８への変換は、２つのセグメント動きベクトル３１０と３１２により表されることを示している。図３において、画像を形成される対象物は、変形不可であり、かつ、３つの自由度（即ち、画像３００と平行する平面における回転、水平方向での並進及び縦方向での並進）を有する物体であるとされている。セグメント動きベクトル３１０と３１２の原点は、それぞれ第一のセグメント３０２におけるポイント３１６とポイント３１４に対応する。ポイント３１６とポイント３１４はそれぞれ第二のセグメント３０６におけるポイント３２０とポイント３１８に並進される。かかるセグメントは変形不可の対象物に対応するので、第一のセグメント３０２における他のすべてのポイントも、第二のセグメント３０６における唯一のポイントにマッピングされる。図３に示されたものより複雑な変換を行うことも可能である。その考え方は次の動きモデルに基づくものである：ある対象物に対応するすべての動きベクトル（３１０、３１２）は当該対象物の動きを表す。
【００２９】
図４Ａは、第一の画像１００と第二の画像１０６の画素値の比較による第一のセグメント１０２から第二のセグメント１０８への変換を規定するセグメント動きベクトル１１０を計算する推定器４０５を備えた分割ユニット４００の一つの実施形態を概略に示す。
【００３０】
分割ユニット４００の入力は入力コネクター４１０−４１４に供給される。具体的に、第一のセグメント１０２はバイナリー・マスク、例えば、バイナリー値の二次元アレイとして入力コネクター４１０に、第二の画像１０６は画素値の二次元アレイとして入力コネクター４１２に、第一の画像１００は画素値の二次元アレイとして入力コネクター４１４に供給される。分割ユニット４００の出力は、例えば、第二のセグメント１０８をバイナリー・マスクとして出力コネクター４１６へ供給される。第二のセグメント１０８は、ある適切な整合関数（match function）、例えば、２つの画像の画素値の相関を最大化する方法により決められる。例えば、第一のセグメント１０２の画素をほぼ包含する第一の画像１００の一部と第二の画像１０６の画素との畳み込みを計算する。
【００３１】
図４Ｂは、動きベクトル場２００における複数の動きベクトル２０２−２１２等を用いてセグメント動きベクトル１１０を決定する分割ユニット４０１の一つの実施形態を概略に示す。分割ユニット４０１の入力と出力は図４Ａにおいて説明された分割ユニット４００の入力と出力と同様である。
【００３２】
分割ユニット４０１は、第一の画像１００と第二の画像１０６に基づいて動きベクトル場２００を計算する動き推定器４０２を含む。動きベクトル場２００は複数の動きベクトル２０２−２１０を含み、各動きベクトル２０２−２１０は、第一の画像１００における第一の画素ブロック２１２−２２０から第二の画像１０６における第二の画素ブロック２２２−２３０への並進を表す。動き推定器４０２は、二以上の画像に基づいて動きベクトル場２００を計算することができる。
【００３３】
分割ユニット４０１は、動きベクトル場２００における動きベクトル２０２−２１０に基づいて、第一のセグメント１０２の変換に対応するセグメント動きベクトル１１０を計算する推定器４０４を有する。変換を表す動きベクトル１１０は、第一のセグメント１０２とほぼ対応する動きベクトル場２００の一部２３２にある動きベクトル２０８、２１０等の平均値若しくは最確値を求めることによって決められる。動きベクトル１１０を決めるに当たっては、動きベクトル場２００における動きベクトル２０２−２１０に与えられた重み係数を用いても良い。これらの重み係数は、例えば、動き推定器４０２により提供される動きベクトル２０２−２１０の信頼水準（confidence level）によるものである、或いは、画素ブロック２１２−２２０から第一のセグメントの境界までの距離によるものである。例えば、動きベクトルの画素ブロックはセグメントの境界に或いはその近くに位置する場合は、この動きベクトルが正しくない確率が高い。この場合に、重み係数を小さくする必要がある。
【００３４】
必要に応じて、分割ユニット４０１は、推定器４０４の一部であり、異常ベクトル(outlier)を除去するフィルター４０６を有する。ここで、異常ベクトルとは、事前に選択され又は計算された値からのずれは所定の閾値以上に離れている動きベクトルをいう。
【００３５】
図４Ｃは、形状アダプター４０８を有する分割ユニット４０３の一つの実施形態を概略に示す図である。この実施形態は、図４Ｂにおいて説明された分割ユニット４０１の実施形態と殆ど同じである。その主な相違は、分割ユニット４０３は第二のセグメント１０８の形状を改変することができることである。図４Ｂにおいて説明された分割ユニット４０１は、第一のセグメント１０２と同様な形状を有する第二のセグメント１０８を出力として提供する。次の場合に、第二のセグメント１０８の形状を改変することがある。即ち、第一のセグメント１０２の近い周囲とほぼ対応する動きベクトル場の一部の中に位置する動きベクトル場からの動きベクトルは、第一のセグメント１０２とほぼ対応する動きベクトル場の一部２３２内に位置する動きベクトル２０８、２１０とよく類似する場合は、これら“周囲動きベクトル”はその対象物に関連するとする。形状の改変は上記の動きベクトル、即ち、境界動きベクトル及び周囲動きベクトル、に対応するが祖ブロックに基づく。
【００３６】
図５は、図４Ｃに説明した分割ユニット４０３、分割ユニット４０３により分割された画像の各部分を分析する分析器５０２及び分析結果を表示するディスプレイ５０４有する画像処理装置５００の一つの実施形態を概略に示す図である。
【００３７】
一連の画像は画像処理装置５００の入力コネクター５０６に供給される。ユーザはユーザ・インターフェース５０８を介して画像処理装置５００と交信し、興味のある領域、即ち、この一連の画像のうち第一の画像における第一のセグメントを手動で分割する。分割ユニット４０３は、該第一の画像及び該一連の画像のうち最初の２つの画像に基づいて、第二のセグメントを計算する。その後、分割ユニット４０３は、該第一のセグメント及び該一連の画像のうち第一の画像並びに第三の画像に基づいて、或いは、該第二のセグメント及び該一連の画像のうち第二の画像並びに第三の画像に基づいて、第三のセグメントを計算する。同様に、該一連の画像のうち他の画像における次のセグメントは計算される。分割ユニット４０３の出力並びにこれらの画像は分析器５０２に入力される。分析器５０２は分割ユニット４０３により分割して得られたセグメントに対応する対象物の三次元的特性を推定する。分析器５０２の出力はディスプレイ５０４に表示される。
【００３８】
以上に説明した実施形態は本発明の特許請求の範囲を限定するものでなく、当業者は、本発明の特許請求の範囲を逸脱せずに他の実施形態を構成することが可能である。また、本発明が、異なる要素からなるハードウエアにより実施されても良く、或は、コンピュータでプログラムを実行して実施しても良い。複数の手段が列挙された装置に関する請求項において、幾つかの手段の動作は、一つのハードウエア、或は、ハードウエアにおける同一の要素により実施されることがある。
【図面の簡単な説明】
【００３９】
【図１】２つのセグメントの関係及びセグメント動きベクトルを概略的に示す図である。
【図２】動きベクトル場とセグメント動きベクトルの関係を概略的に示す図である。
【図３】２つの動きベクトルによる第一のセグメントから第二のセグメントへの変換を概略に示す図である。
【図４Ａ】分割ユニットの一つの実施形態を概略に示す図である。
【図４Ｂ】動きベクトル場における複数の動きベクトルを用いてセグメント動きベクトルを決定する分割ユニットの一つの実施形態を概略に示す図である。
【図４Ｃ】形状アダプターを有する分割ユニットの一つの実施形態を概略に示す図である。
【図５】分割ユニットを有する画像処理装置の一つの実施形態を概略に示す図である。
【０００１】
本発明は、対象物に対応する第一の画像における第一のセグメントと第二の画像における第二のセグメントについて、第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する方法に関する。
【０００２】
さらに、本発明は、対象物に対応する第一の画像における第一のセグメントと第二の画像における第二のセグメントについて、第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する分割ユニットに関する。
【０００３】
さらに、本発明は、対象物に対応する第一の画像における第一のセグメントと第二の画像における第二のセグメントについて、第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する分割ユニット及び第一のセグメントと第二のセグメントを分析する分析器を含む画像処理装置に関する。
【背景技術】
【０００４】
冒頭で取り上げた分割ユニットとして、イージー・ビジョウ(Easy Vision)と呼ばれるフイリップス・医療ワークステーション(Philip Medical Workstation)が知られている。このワークステーションは、ユーザによる複数の画像処理タスクを可能とする様々なアプリケーションを備えている。多数の画像処理タスクにおいて、画像分割は必須の処理である。以上のアプリケーションのうち、このような分割ユニットを用いるものもある。以下、具体例を用いて分割ユニットの応用を説明する。イージー・ビジョウの応用により、磁気共鳴（ＭＲ：magnetic resonance）心臓病画像(cardiology image)分析が可能となった。この分析は心臓拍動サイクルの各段階で患者心臓の体積を求めることを目的とする。ＭＲシステムによって得られた患者胸部の一連の画像がワークステーションに送られ処理される。これらの画像の各々は心室を含む胸部の一スライスを表示する、即ち、各画像は患者の心室及び様々な他の組織を示す。心筋が収縮しているため、各画像において心室の形状は異なっている。上記の分析を行うために、すべての画像において、心室をセグメントに分割する必要がある。換言すれば、心室に対応する画素をマスクする必要がある。画像の分割が次の手順で行われる。ユーザは、以上の一連の画像のうち一番目の画像において該画像で示された心室の輪郭線を描く。続いてこの輪郭線を伝播する、即ち、二番目の画像に複製する。ユーザは、手動で二番目の画像に複製された輪郭線の形状を調整し、その輪郭線を二番目の画像で示された心室の形状に合致させることをしてもよい。その二番目の輪郭線をさらに後の画像に伝播しても良い。輪郭線を調整するための尤複雑な方法もある。その場合は、輪郭線は同じように後の画像に複製されるが、輪郭線の変更は自動輪郭線検出ユニットに制御される。当該自動輪郭線検出ユニットは二番目の画像において複製された輪郭線の近辺に縁部を検索する。この新しい輪郭線を検出された縁部に被せる。この方法により満足できる結果が得られるものの、縁部を検出し難い場合に失敗することがある。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明の第一の目的は、冒頭で説明したような一連の画像において相対的にローバストな画像分割ができる分割方法を提供することにある。
【０００６】
本発明の第二の目的は、冒頭で説明したような一連の画像において相対的にローバストな画像分割を行うことができる分割ユニットを提供することにある。
【０００７】
本発明の第三の目的は、冒頭で説明したような一連の画像において相対的にローバストな画像分割を行うができる分割ユニットを含む画像処理装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明の第一の目的を達成するために、本発明の方法は、第一の画像と第二の画像の画素値を比較することにより、第一のセグメントから第二のセグメントへの変換を定義するセグメント動きモデルを計算する計算工程を有する。
【０００９】
セグメント動きモデルは、セグメントがどのようにその形状又は位置を変化させるかを定義する。このセグメント動きモデルは、例えば、６つのパラメータを有し、並進(translation)、サイズ変更(resizing)、剪断(shear)、回転(rotation)及びこれらの組み合わせを表す線形擬似モデル（linear affine model）である。簡略なセグメント動きモデルとしては、例えば、並進をのみ考慮する。並進を一つのベクトル、即ち、動きベクトルで表せる。
【００１０】
本発明の方法と従来の方法の主な相違は、第二のセグメントの分割を達成するために、付加の情報を考慮することである。
【００１１】
従来の方法において、第二の画像における第二のセグメントの輪郭線を捜査するために、第二の画像の画素値のみが用いられる。第二の画像において第二の輪郭線を検出するために、第一の輪郭線の場所（即ち、第一のセグメントの境界）を除き、第一の画像について他の情報が考慮されていない。本発明の方法において、２つの画像の画素値をセグメント動きベクトルの計算に用いる。
【００１２】
従来の方法において、第一の輪郭線の複製、即ち、第二の画像へ伝播した後の第一の輪郭線の周囲に位置する第二の画像の画素値のみが考慮されている。本発明の方法においては、輪郭線内部の画素、即ち、セグメントの他の画素がセグメント動きベクトルの計算に用いられる。
【００１３】
これらの付加の情報を用いることによって画像分割化はローバストなものとなる。上記の従来の応用では、対象物の形状は時間につれて変化する。しかし、対象物の形状が変化せず、その対象物の画像形成装置に対する位置が変化することもある。本発明の方法は、形状が変化せず、位置が変化する対象物の分割が要求される応用にも適用できる。
【００１４】
本発明の方法の一実施形態は、第一の画像と第二の画像に基づいて、動きベクトル場（field）を計算する第一の工程であって、当該動きベクトル場は複数の動きベクトルを含み、当該各動きベクトルは、第一の画像における第一の画素ブロックから第二の画像における第二の画素ブロックまでの移動を表す第一の工程及び動きベクトル場における動きベクトルに基づいて、セグメント動きベクトルを計算する第二の工程を有する。
【００１５】
第一の工程において標準動き推定器を用いて迅速かつ精確に動きベクトル場を計算することができる。利用可能な動き推定器として、例えば、G. de Haanらの論文“True motion estimation with 3-D recursive search block-matching”, Proceedings IEEE International Conference on Circuits and Systems for Video Technology, 1994, Vol. 3, pp. 249-256、により説明されたものがある。動き推定器は、不規則に成型されたテンプレートとの整合に基づいたものとしてもよい。
【００１６】
第二の工程において、第一のセグメントの内部の動きベクトル、即ち、セグメントの境界に囲まれた動きベクトルは分析され、第一のセグメントの並進を表す動きベクトルを捜査する。第一のセグメントから第二のセグメントの位置への変換は、対象物の位置の変化、即ち、並進に対応する。第一のセグメントとほぼ対応する動きベクトル場の一部の内部に位置する動きベクトルの平均値若しくは最確値を求めることによって、この変換を表すセグメント動きベクトルを求めることができる。最確値を求めるには、動きベクトルの二次元ヒストグラムを用いてもよい。
【００１７】
本発明の方法の一実施形態は、動きベクトル場における動きベクトルを選別するフィルタリング工程を有する。例えば、動きベクトルの信頼水準（confidence level）を重み係数として動きベクトルのフィルタリングに用いる。必要に応じて、異常ベクトル(outlier)を除去する。異常ベクトルとは、事前に選択され又は計算された値からのずれは所定の閾値以上に離れている動きベクトルをいう。特に、閉鎖領域において、正しくない動きベクトルが存在することも有り得る。しかし、質の良い動き推定器により生成された動きベクトル場において、あるセグメントに与えられた動きベクトルの値の殆どは正確であると考えるのは妥当である。
【００１８】
本発明の方法の一実施形態において、第二の工程では、少なくとも２つのセグメント動きベクトルは計算される。原点の位置が異なる複数のセグメント動きベクトルを用いることによって、例えば、セグメントの回転を表すことができる。この実施形態により、対象物の並進だけでなく、対象物の回転を追跡することが可能になる。
【００１９】
本発明の方法の一実施形態は、動きベクトル場における動きベクトルに基づいて、第二のセグメントの形状を調整する第三の工程を有する。画像形成面と平行する平面における対象物の回転又は並進の他に、他類の運動も可能である。その結果、対象物の射影が変化し、この変化を擬似変換で表せない可能性がある。従来技術において、なぜ対象物の形状が変化しセグメントの形状の変更を生じさせる可能性があるかについて、別の種の理由が挙げられた：対象物が自分の形状を変化させる。三つ目の理由は、あるシーンにおいて、複数の対象物が移動する。その結果、セグメントが互いに塞がれる。本実施形態において、第一のセグメントから第二のセグメントへの変換を決めることと第二のセグメントの形状を変化させることが併合される。
【００２０】
本発明の第二の目的を達成するために、本発明の分割ユニットは、第一の画像と第二の画像の画素値を比較することにより、第一のセグメントから第二のセグメントへの変換を定義するセグメント動きモデルを計算する推定手段を有する。
【００２１】
本発明の第三の目的を達成するために、本発明の画像処理装置は、第一の画像と第二の画像の画素値を比較することにより、第一のセグメントから第二のセグメントへの変換を定義するセグメント動きモデルを計算する推定手段を有する分割ユニットを含む。
【発明の効果】
【００２２】
本発明において、第二のセグメントの分割を達成するために、第一の画像と第二の画像両方の画素値、輪郭線内部の画素など付加の情報が用いられる。これによって、分割化はローバストなものとなる。
【００２３】
また、本発明は、対象物の形状が変化せずに位置が変化する場合にも適用できる。
【００２４】
また、本発明により、対象物の並進だけでなく、対象物の回転を追跡することも可能になる。
【００２５】
また、本発明において、第一のセグメントから第二のセグメントへの変換を決めることと第二のセグメントの形状を変化させることが併合される。
【発明を実施するための最良の形態】
【００２６】
図１はセグメント１０２とセグメント１０８の関係及びセグメント動きベクトル１１０を概略的に示す図である。対象物１０４の２つの画像、即ち、第一の画像１００と第二の画像１０６が形成される。２つの画像に対象物１０４の射影が含まれており、しかし、対象物１０４は第一の画像１００と第二の画像１０６を取得する間に移動する。第一の画像１００において、対象物１０４に対応する部分は第一のセグメント１０２にマスクされる。第二の画像１０６において、対象物１０４に対応する部分は第二のセグメント１０８にマスクされる。第一のセグメント１０２は、ユーザから行われた画像分割により得られたものであってもよく、或いは、例えば、分割ユニット４００により行われた自動分割によるものであってもよい。第二の画像１０６における第二のセグメント１０８の位置は、第一の画像１００における第一のセグメント１０２の位置及びセグメント動きベクトル１１０により定義される。即ち、第二のセグメント１０８は、第一のセグメント１０２のマスクをセグメント動きベクトル１１０に示された方向に及び距離を移動し、かつ、このマスクを第二の画像１０６に複製することによって位置決めされる。セグメント動きベクトル１１０は第一の画像１００と第二の画像１０６の画素値を比較して計算することによって得られる。ここで、“比較”とは、ある適切な誤差関数を最小化する方法、或いは、ある適切な整合関数（match function）、例えば、２つの画像の画素値の相関を最大化する方法を意味する。例えば、第一のセグメント１０２の画素をほぼ包含する第一の画像１００の一部と第二の画像１０６の画素との畳み込みを計算する。画素値は、例えば、輝度若しくは色を示す。第一の画像１００と第二の画像１０６は一連の画像における連続する画像であっても良い。また、第一の画像１００と第二の画像１０６は同じの画像シリーズに属する連続しない画像であっても良い、即ち、第一の画像１００の後第二の画像１０６の前に第３の画像があってもよい。
【００２７】
図２は動きベクトル場(field)とセグメント動きベクトル１１０の関係を概略に示す図である。図２に示すように、第一の画像１００は複数の画素ブロック２１２−２２０などに分割され、第二の画像１０６は複数の画素ブロック２２２−２３０などに分割される。一つの画素ブロックに、例えば、１から６４×６４までの画素が含まれる。各画素ブロックに、水平方向の画素数と縦方向の画素数は同一でなくでも良い。画素ブロック２１２−２２０の各々について、動きベクトル２０２−２１０が計算される。これらの動きベクトル２０２−２１０は各画素ブロック２１２−２２０の移動先までの方向と距離を規定し、それによって、第二の画像１０６で対応する情報が得られる。標準動き推定器は動きベクトル場２００の計算に用いることができる。例えば、G. de Haanらの論文“True motion estimation with 3-D recursive search block-matching”, Proceedings IEEE International Conference on Circuits and Systems for Video Technology, 1994, Vol. 3, pp. 249-256、により説明された動き推定器がある。図２に示された動きベクトル場２００における多くの動きベクトルは非常に小さく、また、例えば、動きベクトル２０２−２０６のように、方向がランダムである。しかし、第一のセグメント１０２と大体対応する動きベクトル場２００の一部２３２の内部にある動きベクトル２０８、２１０等はほぼ揃っている。これらの動きベクトル２０８、２１０等の平均値、若しくは、最確値を求めることによって、セグメント動きベクトル１１０を求められる。
【００２８】
図３は、第一の画像３００における第一のセグメント３０２から第二の画像３０６における第二のセグメント３０８への変換は、２つのセグメント動きベクトル３１０と３１２により表されることを示している。図３において、画像を形成される対象物は、変形不可であり、かつ、３つの自由度（即ち、画像３００と平行する平面における回転、水平方向での並進及び縦方向での並進）を有する物体であるとされている。セグメント動きベクトル３１０と３１２の原点は、それぞれ第一のセグメント３０２におけるポイント３１６とポイント３１４に対応する。ポイント３１６とポイント３１４はそれぞれ第二のセグメント３０６におけるポイント３２０とポイント３１８に並進される。かかるセグメントは変形不可の対象物に対応するので、第一のセグメント３０２における他のすべてのポイントも、第二のセグメント３０６における唯一のポイントにマッピングされる。図３に示されたものより複雑な変換を行うことも可能である。その考え方は次の動きモデルに基づくものである：ある対象物に対応するすべての動きベクトル（３１０、３１２）は当該対象物の動きを表す。
【００２９】
図４Ａは、第一の画像１００と第二の画像１０６の画素値の比較による第一のセグメント１０２から第二のセグメント１０８への変換を規定するセグメント動きベクトル１１０を計算する推定器４０５を備えた分割ユニット４００の一つの実施形態を概略に示す。
【００３０】
分割ユニット４００の入力は入力コネクター４１０−４１４に供給される。具体的に、第一のセグメント１０２はバイナリー・マスク、例えば、バイナリー値の二次元アレイとして入力コネクター４１０に、第二の画像１０６は画素値の二次元アレイとして入力コネクター４１２に、第一の画像１００は画素値の二次元アレイとして入力コネクター４１４に供給される。分割ユニット４００の出力は、例えば、第二のセグメント１０８をバイナリー・マスクとして出力コネクター４１６へ供給される。第二のセグメント１０８は、ある適切な整合関数（match function）、例えば、２つの画像の画素値の相関を最大化する方法により決められる。例えば、第一のセグメント１０２の画素をほぼ包含する第一の画像１００の一部と第二の画像１０６の画素との畳み込みを計算する。
【００３１】
図４Ｂは、動きベクトル場２００における複数の動きベクトル２０２−２１２等を用いてセグメント動きベクトル１１０を決定する分割ユニット４０１の一つの実施形態を概略に示す。分割ユニット４０１の入力と出力は図４Ａにおいて説明された分割ユニット４００の入力と出力と同様である。
【００３２】
分割ユニット４０１は、第一の画像１００と第二の画像１０６に基づいて動きベクトル場２００を計算する動き推定器４０２を含む。動きベクトル場２００は複数の動きベクトル２０２−２１０を含み、各動きベクトル２０２−２１０は、第一の画像１００における第一の画素ブロック２１２−２２０から第二の画像１０６における第二の画素ブロック２２２−２３０への並進を表す。動き推定器４０２は、二以上の画像に基づいて動きベクトル場２００を計算することができる。
【００３３】
分割ユニット４０１は、動きベクトル場２００における動きベクトル２０２−２１０に基づいて、第一のセグメント１０２の変換に対応するセグメント動きベクトル１１０を計算する推定器４０４を有する。変換を表す動きベクトル１１０は、第一のセグメント１０２とほぼ対応する動きベクトル場２００の一部２３２にある動きベクトル２０８、２１０等の平均値若しくは最確値を求めることによって決められる。動きベクトル１１０を決めるに当たっては、動きベクトル場２００における動きベクトル２０２−２１０に与えられた重み係数を用いても良い。これらの重み係数は、例えば、動き推定器４０２により提供される動きベクトル２０２−２１０の信頼水準（confidence level）によるものである、或いは、画素ブロック２１２−２２０から第一のセグメントの境界までの距離によるものである。例えば、動きベクトルの画素ブロックはセグメントの境界に或いはその近くに位置する場合は、この動きベクトルが正しくない確率が高い。この場合に、重み係数を小さくする必要がある。
【００３４】
必要に応じて、分割ユニット４０１は、推定器４０４の一部であり、異常ベクトル(outlier)を除去するフィルター４０６を有する。ここで、異常ベクトルとは、事前に選択され又は計算された値からのずれは所定の閾値以上に離れている動きベクトルをいう。
【００３５】
図４Ｃは、形状アダプター４０８を有する分割ユニット４０３の一つの実施形態を概略に示す図である。この実施形態は、図４Ｂにおいて説明された分割ユニット４０１の実施形態と殆ど同じである。その主な相違は、分割ユニット４０３は第二のセグメント１０８の形状を改変することができることである。図４Ｂにおいて説明された分割ユニット４０１は、第一のセグメント１０２と同様な形状を有する第二のセグメント１０８を出力として提供する。次の場合に、第二のセグメント１０８の形状を改変することがある。即ち、第一のセグメント１０２の近い周囲とほぼ対応する動きベクトル場の一部の中に位置する動きベクトル場からの動きベクトルは、第一のセグメント１０２とほぼ対応する動きベクトル場の一部２３２内に位置する動きベクトル２０８、２１０とよく類似する場合は、これら“周囲動きベクトル”はその対象物に関連するとする。形状の改変は上記の動きベクトル、即ち、境界動きベクトル及び周囲動きベクトル、に対応するが祖ブロックに基づく。
【００３６】
図５は、図４Ｃに説明した分割ユニット４０３、分割ユニット４０３により分割された画像の各部分を分析する分析器５０２及び分析結果を表示するディスプレイ５０４有する画像処理装置５００の一つの実施形態を概略に示す図である。
【００３７】
一連の画像は画像処理装置５００の入力コネクター５０６に供給される。ユーザはユーザ・インターフェース５０８を介して画像処理装置５００と交信し、興味のある領域、即ち、この一連の画像のうち第一の画像における第一のセグメントを手動で分割する。分割ユニット４０３は、該第一の画像及び該一連の画像のうち最初の２つの画像に基づいて、第二のセグメントを計算する。その後、分割ユニット４０３は、該第一のセグメント及び該一連の画像のうち第一の画像並びに第三の画像に基づいて、或いは、該第二のセグメント及び該一連の画像のうち第二の画像並びに第三の画像に基づいて、第三のセグメントを計算する。同様に、該一連の画像のうち他の画像における次のセグメントは計算される。分割ユニット４０３の出力並びにこれらの画像は分析器５０２に入力される。分析器５０２は分割ユニット４０３により分割して得られたセグメントに対応する対象物の三次元的特性を推定する。分析器５０２の出力はディスプレイ５０４に表示される。
【００３８】
以上に説明した実施形態は本発明の特許請求の範囲を限定するものでなく、当業者は、本発明の特許請求の範囲を逸脱せずに他の実施形態を構成することが可能である。また、本発明が、異なる要素からなるハードウエアにより実施されても良く、或は、コンピュータでプログラムを実行して実施しても良い。複数の手段が列挙された装置に関する請求項において、幾つかの手段の動作は、一つのハードウエア、或は、ハードウエアにおける同一の要素により実施されることがある。
【図面の簡単な説明】
【００３９】
【図１】２つのセグメントの関係及びセグメント動きベクトルを概略的に示す図である。
【図２】動きベクトル場とセグメント動きベクトルの関係を概略的に示す図である。
【図３】２つの動きベクトルによる第一のセグメントから第二のセグメントへの変換を概略に示す図である。
【図４Ａ】分割ユニットの一つの実施形態を概略に示す図である。
【図４Ｂ】動きベクトル場における複数の動きベクトルを用いてセグメント動きベクトルを決定する分割ユニットの一つの実施形態を概略に示す図である。
【図４Ｃ】形状アダプターを有する分割ユニットの一つの実施形態を概略に示す図である。
【図５】分割ユニットを有する画像処理装置の一つの実施形態を概略に示す図である。
Claims (16)
- 第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する方法であり、前記第一のセグメントと前記第二のセグメントは対象物に対応する方法であって；
前記第一の画像と前記第二の画像の画素値を比較することにより、前記第一のセグメントから前記第二のセグメントへの変換を定義するセグメント動きモデルを計算する計算工程を有する、
方法。 - 前記計算工程は、
前記第一の画像と前記第二の画像に基づいて、動きベクトル場を計算する第一の工程であって、前記動きベクトル場は複数の動きベクトルを含み、前記各動きベクトルは、前記第一の画像における第一の画素ブロックから前記第二の画像における第二の画素ブロックまでの移動を表す第一の工程；及び
前記動きベクトル場における前記動きベクトルに基づいて、セグメント動きベクトルを計算する第二の工程、
を有する請求項１に記載の方法。 - 前記動きベクトル場における前記動きベクトルを選別するフィルタリング工程を有する、
請求項２に記載の方法。 - 前記セグメント動きベクトルは、前記第一のセグメントと実質的に対応する前記動きベクトル場の一部に位置する動きベクトルの最確値（modal value）に対応する、
請求項２に記載の方法。 - 前記セグメント動きベクトルは、前記第一のセグメントと実質的に対応する前記動きベクトル場の一部に位置する動きベクトルの平均値に対応する、
請求項２に記載の方法。 - 前記第二の工程において、少なくとも２つのセグメント動きベクトルが計算される、
請求項２に記載の方法。 - 前記動きベクトル場における前記動きベクトルに基づいて、前記第二のセグメントの形状を調整する第三の工程、
を更に有する請求項２に記載の方法。 - 第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する分割ユニットであり、前記第一のセグメントと前記第二のセグメントは対象物に対応する分割ユニットであって；
前記第一の画像と前記第二の画像の画素値を比較することにより、前記第一のセグメントから前記第二のセグメントへの変換を定義するセグメント動きモデルを計算する推定手段を有する、
分割ユニット。 - 前記第一の画像と前記第二の画像に基づいて、動きベクトル場を計算する動き推定手段であって、前記動きベクトル場は複数の動きベクトルを含み、前記各動きベクトルは、前記第一の画像における第一の画素ブロックから前記第二の画像における第二の画素ブロックまでの移動を表す動き推定手段；及び
前記動きベクトル場における前記動きベクトルに基づいて、セグメント動きベクトルを計算する計算手段、
を有する請求項８に記載の分割ユニット。 - 前記動きベクトル場における前記動きベクトルを選別するフィルターを有する、
請求項９に記載の分割ユニット。 - 前記計算手段は、前記第一のセグメントと実質的に対応する前記動きベクトル場の一部に位置する動きベクトルの最確値（modal value）に対応する前記セグメント動きベクトルを計算する、
請求項９に記載の分割ユニット。 - 前記計算手段は、前記第一のセグメントと実質的に対応する前記動きベクトル場の一部に位置する動きベクトルの平均値に対応する前記セグメント動きベクトルを計算する、
請求項９に記載の分割ユニット。 - 前記計算手段は、少なくとも２つのセグメント動きベクトルを計算する、
請求項９に記載の分割ユニット。 - 前記動きベクトル場における前記動きベクトルに基づいて、前記第二のセグメントの形状を調整する形状改変手段、
を有する請求項９に記載の分割ユニット。 - 第一の画像における第一のセグメントに基づき、第二の画像における第二のセグメントを決定する分割ユニットであり、前記第一のセグメントと前記第二のセグメントは対象物に対応する分割ユニット；及び
前記第一のセグメントと前記第二のセグメントを分析する分析手段
を有し、
前記分割ユニットは、前記第一の画像と前記第二の画像の画素値を比較することにより、前記第一のセグメントから前記第二のセグメントへの変換を定義するセグメント動きモデルを計算する推定手段を有する、
画像処理装置。 - 前記分割ユニットは、
前記第一の画像と前記第二の画像に基づいて、動きベクトル場を計算する動き推定手段であって、前記動きベクトル場は複数の動きベクトルを含み、前記各動きベクトルは、前記第一の画像における第一の画素ブロックから前記第二の画像における第二の画素ブロックまでの移動を表す動き推定手段；及び
前記第一のセグメントと実質的に対応する前記動きベクトル場の一部に位置する動きベクトルに基づいて、セグメント動きベクトルを計算する計算手段、
を有する請求項１５に記載の画像処理装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP01201868 | 2001-05-17 | ||
| PCT/IB2002/001730 WO2002093488A2 (en) | 2001-05-17 | 2002-05-16 | Segmentation unit for and method of determining a second segment and image processing apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004525472A true JP2004525472A (ja) | 2004-08-19 |
Family
ID=8180332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002590087A Pending JP2004525472A (ja) | 2001-05-17 | 2002-05-16 | 分割ユニット、その方法、及び画像処理装置 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US7120277B2 (ja) |
| EP (1) | EP1402477A2 (ja) |
| JP (1) | JP2004525472A (ja) |
| KR (1) | KR100937882B1 (ja) |
| CN (1) | CN100530238C (ja) |
| WO (1) | WO2002093488A2 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003067868A2 (en) * | 2002-02-06 | 2003-08-14 | Koninklijke Philips Electronics N.V. | Unit for and method of segmentation |
| CN100342401C (zh) * | 2002-12-20 | 2007-10-10 | 皇家飞利浦电子股份有限公司 | 基于段的运动估计 |
| GB0307883D0 (en) * | 2003-04-04 | 2003-05-14 | Inst Of Cancer Res The | A method and apparatus for imaging |
| WO2006103594A2 (en) * | 2005-04-01 | 2006-10-05 | Koninklijke Philips Electronics N.V. | A method, a system and a computer program for segmenting a structure in a dataset |
| EP1949338A1 (en) * | 2005-10-12 | 2008-07-30 | Active Optics Pty Ltd. | Image processing method and system |
| US8018999B2 (en) * | 2005-12-05 | 2011-09-13 | Arcsoft, Inc. | Algorithm description on non-motion blur image generation project |
| US20080063064A1 (en) * | 2006-09-13 | 2008-03-13 | Macinnis Alexander | Method and System for Motion Compensated Temporal Filtering Using IIR Filtering |
| US7865030B2 (en) * | 2006-09-13 | 2011-01-04 | Broadcom Corporation | Method and system for motion compensated temporal filtering using both FIR and IIR filtering |
| EP2249702A4 (en) * | 2008-03-04 | 2012-01-25 | Tomotherapy Inc | METHOD AND SYSTEM FOR ENHANCED IMAGE SEGMENTATION |
| KR101595257B1 (ko) * | 2009-04-28 | 2016-02-18 | 삼성전자주식회사 | 디지털 영상 처리 장치 및 방법과 이를 위한 기록매체 |
| US20100303301A1 (en) * | 2009-06-01 | 2010-12-02 | Gregory Micheal Lamoureux | Inter-Frame Motion Detection |
| WO2010148250A2 (en) * | 2009-06-17 | 2010-12-23 | Tomotherapy Incorporated | System and method of applying anatomically-constrained deformation |
| US8594199B2 (en) * | 2010-03-08 | 2013-11-26 | Qualcomm Incorporated | Apparatus and method for motion vector filtering based on local image segmentation and lattice maps |
| US9532059B2 (en) | 2010-10-05 | 2016-12-27 | Google Technology Holdings LLC | Method and apparatus for spatial scalability for video coding |
| TWI469088B (zh) | 2010-12-31 | 2015-01-11 | Ind Tech Res Inst | 前景深度地圖產生模組及其方法 |
| US8693547B2 (en) | 2011-04-06 | 2014-04-08 | Google Inc. | Apparatus and method for coding using motion vector segmentation |
| US8989256B2 (en) | 2011-05-25 | 2015-03-24 | Google Inc. | Method and apparatus for using segmentation-based coding of prediction information |
| US9247257B1 (en) | 2011-11-30 | 2016-01-26 | Google Inc. | Segmentation based entropy encoding and decoding |
| WO2013089662A1 (en) * | 2011-12-12 | 2013-06-20 | Intel Corporation | Scene segmentation using pre-capture image motion |
| US9094681B1 (en) | 2012-02-28 | 2015-07-28 | Google Inc. | Adaptive segmentation |
| KR101908388B1 (ko) * | 2012-07-19 | 2018-10-17 | 삼성전자 주식회사 | 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법 |
| US9332276B1 (en) | 2012-08-09 | 2016-05-03 | Google Inc. | Variable-sized super block based direct prediction mode |
| US9380298B1 (en) | 2012-08-10 | 2016-06-28 | Google Inc. | Object-based intra-prediction |
| US9443633B2 (en) | 2013-02-26 | 2016-09-13 | Accuray Incorporated | Electromagnetically actuated multi-leaf collimator |
| DE102014201313A1 (de) * | 2014-01-24 | 2015-07-30 | Myestro Interactive Gmbh | Verfahren zur Erkennung einer Bewegungsbahn mindestens eines bewegten Objektes innerhalb eines Erfassungsbereiches, Verfahren zur Gestikerkennung unter Einsatz eines derartigen Erkennungsverfahrens sowie Vorrichtung zur Durchführung eines derartigen Erkennungsverfahrens |
| RU2557484C1 (ru) * | 2014-03-27 | 2015-07-20 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Тамбовский государственный технический университет" ФГБОУ ВПО ТГТУ | Способ сегментации изображения |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0294960B1 (en) * | 1987-06-09 | 1994-09-28 | Sony Corporation | Motion vector processing in television images |
| EP0595895B1 (en) * | 1991-07-23 | 1997-12-29 | BRITISH TELECOMMUNICATIONS public limited company | Method and device for frame interpolation of a moving image |
| JP2738325B2 (ja) * | 1995-01-24 | 1998-04-08 | 日本電気株式会社 | 動き補償フレーム間予測装置 |
| BR9702270A (pt) * | 1996-05-17 | 1999-07-20 | Matsushita Electric Ind Co Ltd | Aparelho de codificacão de imagem aparelho de codificacão de imagem método de codificacão de imagem meio de gravacao do programa de codificacão de imagem |
| JPH1091795A (ja) * | 1996-09-12 | 1998-04-10 | Toshiba Corp | 移動物体検出装置及び移動物体検出方法 |
| US6525765B1 (en) * | 1997-04-07 | 2003-02-25 | Pandora International, Inc. | Image processing |
| GB9623573D0 (en) * | 1996-11-13 | 1997-01-08 | Philips Electronics Nv | Image segmentation |
| US6809758B1 (en) * | 1999-12-29 | 2004-10-26 | Eastman Kodak Company | Automated stabilization method for digital image sequences |
| US7006683B2 (en) * | 2001-02-22 | 2006-02-28 | Mitsubishi Electric Research Labs., Inc. | Modeling shape, motion, and flexion of non-rigid 3D objects in a sequence of images |
-
2002
- 2002-05-14 US US10/145,071 patent/US7120277B2/en not_active Expired - Lifetime
- 2002-05-16 CN CNB028017218A patent/CN100530238C/zh not_active Expired - Fee Related
- 2002-05-16 WO PCT/IB2002/001730 patent/WO2002093488A2/en active Application Filing
- 2002-05-16 JP JP2002590087A patent/JP2004525472A/ja active Pending
- 2002-05-16 KR KR1020037000756A patent/KR100937882B1/ko not_active IP Right Cessation
- 2002-05-16 EP EP02727928A patent/EP1402477A2/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| WO2002093488A3 (en) | 2003-11-27 |
| US20030035583A1 (en) | 2003-02-20 |
| EP1402477A2 (en) | 2004-03-31 |
| CN1488123A (zh) | 2004-04-07 |
| WO2002093488A2 (en) | 2002-11-21 |
| KR100937882B1 (ko) | 2010-01-21 |
| KR20030025276A (ko) | 2003-03-28 |
| US7120277B2 (en) | 2006-10-10 |
| CN100530238C (zh) | 2009-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004525472A (ja) | 分割ユニット、その方法、及び画像処理装置 | |
| JP6430064B2 (ja) | データを位置合わせする方法及びシステム | |
| US10789765B2 (en) | Three-dimensional reconstruction method | |
| US9280825B2 (en) | Image processing system with registration mechanism and method of operation thereof | |
| Tuytelaars et al. | Synchronizing video sequences | |
| JP2576771B2 (ja) | 動き補償予測装置 | |
| CN106991650B (zh) | 一种图像去模糊的方法和装置 | |
| WO2015006224A1 (en) | Real-time 3d computer vision processing engine for object recognition, reconstruction, and analysis | |
| Weiss et al. | Perceptually organized EM: A framework for motion segmentation that combines information about form and motion | |
| US10249046B2 (en) | Method and apparatus for object tracking and segmentation via background tracking | |
| JP2006146926A (ja) | ２次元画像の表現方法、画像表現、画像の比較方法、画像シーケンスを処理する方法、動き表現を導出する方法、動き表現、画像の位置を求める方法、表現の使用、制御デバイス、装置、コンピュータプログラム、システム、及びコンピュータ読み取り可能な記憶媒体 | |
| CN106952292B (zh) | 基于6自由度场景流聚类的3d运动目标检测方法 | |
| TW201719572A (zh) | 三維模型分析及搜尋方法 | |
| US8929587B2 (en) | Multi-tracking of video objects | |
| Choi et al. | Robust video stabilization to outlier motion using adaptive RANSAC | |
| Koppel et al. | Image-based rendering and modeling in video-endoscopy | |
| Zhang et al. | An optical flow based moving objects detection algorithm for the UAV | |
| Yu et al. | Recursive three-dimensional model reconstruction based on Kalman filtering | |
| CN112883940A (zh) | 静默活体检测方法、装置、计算机设备及存储介质 | |
| JP2016009448A (ja) | 判定装置、判定方法及び判定プログラム | |
| CN111179281A (zh) | 人体图像提取方法及人体动作视频提取方法 | |
| Berezansky et al. | Segmentation and tracking of human sperm cells using spatio-temporal representation and clustering | |
| Huang et al. | Weighted large margin nearest center distance-based human depth recovery with limited bandwidth consumption | |
| da Silva Vieira et al. | Disparity map adjustment: a post-processing technique | |
| Mota et al. | Estimation of multiple orientations at corners and junctions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050512 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071106 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080205 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080213 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080603 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20080901 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20080908 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081030 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081125 |