JP2002099918A - 画像処理方法、画像処理システムおよび記録媒体 - Google Patents
画像処理方法、画像処理システムおよび記録媒体Info
- Publication number
- JP2002099918A JP2002099918A JP2000277013A JP2000277013A JP2002099918A JP 2002099918 A JP2002099918 A JP 2002099918A JP 2000277013 A JP2000277013 A JP 2000277013A JP 2000277013 A JP2000277013 A JP 2000277013A JP 2002099918 A JP2002099918 A JP 2002099918A
- Authority
- JP
- Japan
- Prior art keywords
- node
- path
- image
- area
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000012545 processing Methods 0.000 title claims description 70
- 238000003860 storage Methods 0.000 title description 14
- 238000003672 processing method Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 20
- 238000004880 explosion Methods 0.000 claims description 12
- 238000005315 distribution function Methods 0.000 claims description 9
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 claims description 4
- 235000011194 food seasoning agent Nutrition 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 238000010606 normalization Methods 0.000 claims 1
- 230000008569 process Effects 0.000 abstract description 27
- 238000000605 extraction Methods 0.000 abstract description 13
- 230000033001 locomotion Effects 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 8
- 241000282412 Homo Species 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 102100033040 Carbonic anhydrase 12 Human genes 0.000 description 1
- 101100321669 Fagopyrum esculentum FA02 gene Proteins 0.000 description 1
- 101000867855 Homo sapiens Carbonic anhydrase 12 Proteins 0.000 description 1
- 101100402621 Homo sapiens MSANTD4 gene Proteins 0.000 description 1
- 102100031642 Myb/SANT-like DNA-binding domain-containing protein 4 Human genes 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/553—Motion estimation dealing with occlusions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30236—Traffic on road, railway or crossing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】 （修正有）
【課題】 人間等自由度の高いオブジェクトのオクルー
ジョンを効果的に判別する手法を提供する。 【解決手段】 初期化（ステップ１）の後、画像を入力
し（ステップ２）、背景と前景とを分離することによっ
て画像領域を抽出する（ステップ４）。領域の抽出に
は、色空間の二次元ヒストグラムの形状を利用できる。
抽出した領域の全ての可能な繋ぎ方を考慮してフレーム
間の領域をノードとしてグラフ化する（ステップ５）。
ノードにはコンフィデンスファクタの変動値を持たせ、
ノード間を繋ぐエッジには色空間および実空間の画像特
徴を重みとして持たせることができる。グラフ処理（ス
テップ６）はグラフの径路について径路探索を行い、径
路コンフィデンスファクタから径路として可能性の低い
繋ぎ方を排除する。また、枝分かれのあるノードをオク
ルージョンとして検出しマークアップする。オクルージ
ョン箇所の接続性が単一の可能性のときにはその接続を
選択する。
ジョンを効果的に判別する手法を提供する。 【解決手段】 初期化（ステップ１）の後、画像を入力
し（ステップ２）、背景と前景とを分離することによっ
て画像領域を抽出する（ステップ４）。領域の抽出に
は、色空間の二次元ヒストグラムの形状を利用できる。
抽出した領域の全ての可能な繋ぎ方を考慮してフレーム
間の領域をノードとしてグラフ化する（ステップ５）。
ノードにはコンフィデンスファクタの変動値を持たせ、
ノード間を繋ぐエッジには色空間および実空間の画像特
徴を重みとして持たせることができる。グラフ処理（ス
テップ６）はグラフの径路について径路探索を行い、径
路コンフィデンスファクタから径路として可能性の低い
繋ぎ方を排除する。また、枝分かれのあるノードをオク
ルージョンとして検出しマークアップする。オクルージ
ョン箇所の接続性が単一の可能性のときにはその接続を
選択する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理方法およ
び画像処理システムに関する。特に、ビデオ画像等時系
列に順序付けられている画像データから纏まりのある領
域を切り出し、この領域を時系列に追跡する技術に適用
して有効なものに関する。
び画像処理システムに関する。特に、ビデオ画像等時系
列に順序付けられている画像データから纏まりのある領
域を切り出し、この領域を時系列に追跡する技術に適用
して有効なものに関する。
【０００２】
【従来の技術】ビデオ映像においてオブジェクトを定義
し、まとまりのある領域を切り出して追跡（トラッキン
グ）する技術が望まれている。このような技術の実現に
よりオブジェクト毎のビデオシーケンスの記述が可能と
なる。これはビデオシーケンスの意味抽出を自動化する
手がかりにすることができる。
し、まとまりのある領域を切り出して追跡（トラッキン
グ）する技術が望まれている。このような技術の実現に
よりオブジェクト毎のビデオシーケンスの記述が可能と
なる。これはビデオシーケンスの意味抽出を自動化する
手がかりにすることができる。
【０００３】ビデオコンテンツでは、人間を重要なオブ
ジェクトとして扱うことが多く、スポーツ映像や監視カ
メラのアプリケーションでは、人間の領域を切り出すこ
とで、ほとんどのオブジェクトが表現できる場合があ
る。しかし、人間は自由度が高く、固形物体の領域抽出
で有効である固定テンプレートが使えない。このよう
な、領域抽出は困難な作業になる。特に、複数の人間が
すれ違ったときに、カメラから手前の人が奥の人を隠す
ように撮影される。このため、オブジェクトが重なった
状態（オクルージョン状態と称する）のオブジェクトの
分離は容易ではない。
ジェクトとして扱うことが多く、スポーツ映像や監視カ
メラのアプリケーションでは、人間の領域を切り出すこ
とで、ほとんどのオブジェクトが表現できる場合があ
る。しかし、人間は自由度が高く、固形物体の領域抽出
で有効である固定テンプレートが使えない。このよう
な、領域抽出は困難な作業になる。特に、複数の人間が
すれ違ったときに、カメラから手前の人が奥の人を隠す
ように撮影される。このため、オブジェクトが重なった
状態（オクルージョン状態と称する）のオブジェクトの
分離は容易ではない。
【０００４】また、オクルージョン状態が解消したと
き、以前の状態を保って領域の切り出しと追跡をするこ
とが必要である。しかしながら、オブジェクトの抽出処
理を全て自動化することは現状では不可能である。よっ
て自動処理で抽出されたオブジェクトの軌跡を人手で修
正する必要がある。この作業は自動処理による結果の誤
り発見、発見した誤りの修正という２つの作業を、抽出
した個々のオブジェクトについて行う必要があり、ビデ
オコンテンツ中に平均１０人の人間が写っていたとすれ
ば延べ１０回の修正作業が必要である。同じコンテンツ
を何度も人が見る必要があり非常にコストのかかる作業
になる。
き、以前の状態を保って領域の切り出しと追跡をするこ
とが必要である。しかしながら、オブジェクトの抽出処
理を全て自動化することは現状では不可能である。よっ
て自動処理で抽出されたオブジェクトの軌跡を人手で修
正する必要がある。この作業は自動処理による結果の誤
り発見、発見した誤りの修正という２つの作業を、抽出
した個々のオブジェクトについて行う必要があり、ビデ
オコンテンツ中に平均１０人の人間が写っていたとすれ
ば延べ１０回の修正作業が必要である。同じコンテンツ
を何度も人が見る必要があり非常にコストのかかる作業
になる。
【０００５】そこで各種のオブジェクト抽出およびトラ
ッキング手法が検討されている。たとえば、「C.Wren,
A.Azarbayejani, T.Darrell and A.Pentland, "Pfinde
r: Real-Time Tracking of the Human Body". IEEE PAM
I vol. 19 no. 7, pp. 780-785. July 1997」（文献
１）には、ビデオから人間の映像を抽出してトラッキン
グを行う手法が記載されている。この文献１では、ガウ
シアン（Gaussian）モデルを用いて背景のモデルを作成
し、モデルと入力画像のマハラノビス（Mahalanobis）
距離を基準にしてセグメンテーション（領域化）を行
う。トラッキングはカルマン（Kalman）フィルターによ
る動きの予測を用いて行う手法が記載されている。
ッキング手法が検討されている。たとえば、「C.Wren,
A.Azarbayejani, T.Darrell and A.Pentland, "Pfinde
r: Real-Time Tracking of the Human Body". IEEE PAM
I vol. 19 no. 7, pp. 780-785. July 1997」（文献
１）には、ビデオから人間の映像を抽出してトラッキン
グを行う手法が記載されている。この文献１では、ガウ
シアン（Gaussian）モデルを用いて背景のモデルを作成
し、モデルと入力画像のマハラノビス（Mahalanobis）
距離を基準にしてセグメンテーション（領域化）を行
う。トラッキングはカルマン（Kalman）フィルターによ
る動きの予測を用いて行う手法が記載されている。
【０００６】「R.Rosales and S.Sclaroff, "Improved
Tracking of Multiple Humans withTrajectory Predict
ion and Occlusion Modeling". Proc. CVPR '98」（文
献２）は、文献１の技術を改良し、拡張カルマンフィル
タ（Extended Kalman Filter）を用いて二人の人間の動
きを予測し、オブジェクトが重なった状態であるオクル
ージョン状態の判別を行う手法が開示されている。
Tracking of Multiple Humans withTrajectory Predict
ion and Occlusion Modeling". Proc. CVPR '98」（文
献２）は、文献１の技術を改良し、拡張カルマンフィル
タ（Extended Kalman Filter）を用いて二人の人間の動
きを予測し、オブジェクトが重なった状態であるオクル
ージョン状態の判別を行う手法が開示されている。
【０００７】また、「 Y.Gong, C.Chuan and L.T.Sin,
"An Automatic Video Parser for TV Soccer Games".
Proc. ACCV '95, vol.II, pp. 509-513」（文献３）、
「 N.Vanderbroucke, L.Macaire and J.Postaire, "Soc
cer Player Recognition by Pixel Classification in
a Hybrid Color Space". Proc. SPIE vol. 3071, pp. 2
3-33, August 1997」（文献４）、「 Y.Seo, S.Choi,
H.Kim and K.Hong, "Where are the Ball and Players?
Soccer Game Analysis with Color-Based Tracking an
d Image Mosaick". Proc. ICIAP '97, pp. 196-203」
（文献５）、「D.Rees, J.I.Agbinya, N.Stone, F.Che
n, S.Seneviratne, M.deBurgh and A.Burch, "CLICK-I
T: Interactive Television Highlighter for Sports A
ction Replay".Proc. ICPR '98, pp. 1484-1487」（文
献６）には、「 M.J.Swain and D.H.Ballard, "Color I
ndexing". IJCV vol.7 no.1, pp.11-32. 1991」（文献
７）に記載のヒストグラムバックプロジェクション（Hi
stogram Backprojection）に基づき、予めトラッキング
対象のヒストグラムを入力し、カラー空間でマッチング
を行う技術が記載されている。ここで、オクルージョン
の判別のために、文献５ではRGBカラー空間で、文献４
ではハイブリッドカラー空間でオクルージョン領域内の
ピクセルを識別する。文献６ではトラッキングに色情報
を用いるが、オクルージョンにはモーション予測の手法
を適用する。時間空間から得られる情報を含めた手法と
して、ビデオシーケンスをspatio-temporalドメインで
分析し、トラッキング対象の表面を求める手法が知られ
ている。その表面はチューブの形を持ち、時間軸での連
続性に基づいてオクルージョンを判別する。
"An Automatic Video Parser for TV Soccer Games".
Proc. ACCV '95, vol.II, pp. 509-513」（文献３）、
「 N.Vanderbroucke, L.Macaire and J.Postaire, "Soc
cer Player Recognition by Pixel Classification in
a Hybrid Color Space". Proc. SPIE vol. 3071, pp. 2
3-33, August 1997」（文献４）、「 Y.Seo, S.Choi,
H.Kim and K.Hong, "Where are the Ball and Players?
Soccer Game Analysis with Color-Based Tracking an
d Image Mosaick". Proc. ICIAP '97, pp. 196-203」
（文献５）、「D.Rees, J.I.Agbinya, N.Stone, F.Che
n, S.Seneviratne, M.deBurgh and A.Burch, "CLICK-I
T: Interactive Television Highlighter for Sports A
ction Replay".Proc. ICPR '98, pp. 1484-1487」（文
献６）には、「 M.J.Swain and D.H.Ballard, "Color I
ndexing". IJCV vol.7 no.1, pp.11-32. 1991」（文献
７）に記載のヒストグラムバックプロジェクション（Hi
stogram Backprojection）に基づき、予めトラッキング
対象のヒストグラムを入力し、カラー空間でマッチング
を行う技術が記載されている。ここで、オクルージョン
の判別のために、文献５ではRGBカラー空間で、文献４
ではハイブリッドカラー空間でオクルージョン領域内の
ピクセルを識別する。文献６ではトラッキングに色情報
を用いるが、オクルージョンにはモーション予測の手法
を適用する。時間空間から得られる情報を含めた手法と
して、ビデオシーケンスをspatio-temporalドメインで
分析し、トラッキング対象の表面を求める手法が知られ
ている。その表面はチューブの形を持ち、時間軸での連
続性に基づいてオクルージョンを判別する。
【０００８】なお、色情報に基づくトラッキング手法に
インタラクティブ処理（人手による修正作業）を適用す
る技術が知られている。すなわち、ユーザーがトラッキ
ングの対象を指定する、または予め入力された形状や色
(テンプレート)に当てはまるオブジェクトを追跡する技
術である。たとえば「D.Yow, B.Yeo, M.Yeung and B.Li
u, "Analysis and Presentation of Soccer Highlights
from Digital Video". Proc. ACCV '95」には、サッカ
ーボールの形状(球状)と色(白)の情報に基づいて、テン
プレートマッチングを行う技術が記載されている。「M.
Takahata, M.Imai and S.Tsuji, "Determining Motion
of Non-Rigid Objects by Active Tubes". Proc. ICPR
'92, pp. 647-650. September 1992」には、ユーザー
がサッカーゲームの映像で、トラッキング対象の選手を
マウスで指定する技術が記載されている。
インタラクティブ処理（人手による修正作業）を適用す
る技術が知られている。すなわち、ユーザーがトラッキ
ングの対象を指定する、または予め入力された形状や色
(テンプレート)に当てはまるオブジェクトを追跡する技
術である。たとえば「D.Yow, B.Yeo, M.Yeung and B.Li
u, "Analysis and Presentation of Soccer Highlights
from Digital Video". Proc. ACCV '95」には、サッカ
ーボールの形状(球状)と色(白)の情報に基づいて、テン
プレートマッチングを行う技術が記載されている。「M.
Takahata, M.Imai and S.Tsuji, "Determining Motion
of Non-Rigid Objects by Active Tubes". Proc. ICPR
'92, pp. 647-650. September 1992」には、ユーザー
がサッカーゲームの映像で、トラッキング対象の選手を
マウスで指定する技術が記載されている。
【０００９】
【発明が解決しようとする課題】ところが、文献１の技
術では、ビデオ画像から複数の人間の映像を抽出しオク
ルージョンを判別することはできない。また、文献２の
技術では、二人以上の複数人のトラッキングを行う技術
は開示されていない。さらに、文献３〜６の手法は画像
空間および色空間で得られる情報しか処理しておらず、
時間空間を用いる手法はエネルギー関数の最適化処理に
基づいているため、計算コストが高い。
術では、ビデオ画像から複数の人間の映像を抽出しオク
ルージョンを判別することはできない。また、文献２の
技術では、二人以上の複数人のトラッキングを行う技術
は開示されていない。さらに、文献３〜６の手法は画像
空間および色空間で得られる情報しか処理しておらず、
時間空間を用いる手法はエネルギー関数の最適化処理に
基づいているため、計算コストが高い。
【００１０】すなわち、ビデオ画像においては二人以上
の複数人が重なって撮影される場合が極めて普通のケー
スであるにも関わらず、従来技術ではこのような状況の
オクルージョンを判別することは不可能である。このよ
うな従来技術を改善するには、画像空間、色空間の情報
に加えて時間空間から得られる情報を組み合わせること
が考え得るが、従来技術では計算コストがかかり、たと
えばリアルタイムのトラッキングを安価に行うことは困
難である。
の複数人が重なって撮影される場合が極めて普通のケー
スであるにも関わらず、従来技術ではこのような状況の
オクルージョンを判別することは不可能である。このよ
うな従来技術を改善するには、画像空間、色空間の情報
に加えて時間空間から得られる情報を組み合わせること
が考え得るが、従来技術では計算コストがかかり、たと
えばリアルタイムのトラッキングを安価に行うことは困
難である。
【００１１】また、現状において完全に自動化されたオ
クルージョン状態の判別およびトラッキングは困難であ
るため、インタラクティブ処理を採用することは避けら
れないが、インタラクティブ処理の簡単化して人手によ
る作業の作業量および作業時間を削減することが望まれ
る。
クルージョン状態の判別およびトラッキングは困難であ
るため、インタラクティブ処理を採用することは避けら
れないが、インタラクティブ処理の簡単化して人手によ
る作業の作業量および作業時間を削減することが望まれ
る。
【００１２】本発明の目的は、人間等自由度の高いオブ
ジェクトのオクルージョンを効果的に判別する手法を提
供することにある。
ジェクトのオクルージョンを効果的に判別する手法を提
供することにある。
【００１３】本発明の他の目的は、前記したオクルージ
ョン判別の手法を計算コストをかけずに提供することに
ある。
ョン判別の手法を計算コストをかけずに提供することに
ある。
【００１４】本発明のさらに他の目的は、インタラクテ
ィブな処理を簡略化し、人手による作業量、作業時間、
作業負荷を低減することにある。
ィブな処理を簡略化し、人手による作業量、作業時間、
作業負荷を低減することにある。
【００１５】
【課題を解決するための手段】本願の発明の概略を説明
すれば、以下の通りである。本発明では、画像の背景と
前景とを分離することによって画像データから画像領域
を抽出する。画像領域の抽出には、色空間の二次元ヒス
トグラムの形状を特徴空間に変換したときの距離を利用
することができる。そして、抽出した領域の全ての可能
な繋ぎ方を考慮してフレーム間の領域をノードとしてグ
ラフ化する。ノードにはコンフィデンスファクタの変動
値を持たせ、ノード間を繋ぐエッジには色空間および実
空間の画像特徴を重みとして持たせることができる。そ
してグラフの径路について径路探索を行い、径路コンフ
ィデンスファクタから径路として可能性の低い繋ぎ方を
排除する。また、枝分かれのあるノードをオクルージョ
ンとして検出しマークアップする。オクルージョン箇所
の接続性が単一の可能性のときにはその接続を選択し、
複数の接続可能性が残る時にはユーザに接続を選択する
要求画面を表示する。
すれば、以下の通りである。本発明では、画像の背景と
前景とを分離することによって画像データから画像領域
を抽出する。画像領域の抽出には、色空間の二次元ヒス
トグラムの形状を特徴空間に変換したときの距離を利用
することができる。そして、抽出した領域の全ての可能
な繋ぎ方を考慮してフレーム間の領域をノードとしてグ
ラフ化する。ノードにはコンフィデンスファクタの変動
値を持たせ、ノード間を繋ぐエッジには色空間および実
空間の画像特徴を重みとして持たせることができる。そ
してグラフの径路について径路探索を行い、径路コンフ
ィデンスファクタから径路として可能性の低い繋ぎ方を
排除する。また、枝分かれのあるノードをオクルージョ
ンとして検出しマークアップする。オクルージョン箇所
の接続性が単一の可能性のときにはその接続を選択し、
複数の接続可能性が残る時にはユーザに接続を選択する
要求画面を表示する。
【００１６】このように径路のオブジェクトらしさを、
時系列に見た領域の位置の一貫性、色の一貫性などの画
像特徴で評価し、オブジェクトの径路として可能性の低
い繋ぎ方を排除してゆくことで、人手によるインタラク
ティブ処理が必要な状態をプログラムが自動的に検出
し、利用者に選択枝を提示することによって修正作業の
労力を低減することができる。
時系列に見た領域の位置の一貫性、色の一貫性などの画
像特徴で評価し、オブジェクトの径路として可能性の低
い繋ぎ方を排除してゆくことで、人手によるインタラク
ティブ処理が必要な状態をプログラムが自動的に検出
し、利用者に選択枝を提示することによって修正作業の
労力を低減することができる。
【００１７】本発明を他の観点から説明すれば、以下の
通りである。すなわち、本発明の画像処理方法は、時系
列に順序付けられた複数の画像データのうち、第１画像
データを入力するステップと、第１画像データの画素を
領域化するステップと、領域化により生成された第１画
像領域に第１ノードを対応付けるステップと、複数の画
像データのうち、第１画像データより時系列の後にある
第２画像データを入力するステップと、第１画像領域を
拡張した拡張領域を対象として、第２画像データの画素
を領域化するステップと、領域化により生成された第２
画像領域に第２ノードを対応付けるステップと、第１ノ
ードと第２ノードとをエッジによって対応付け、グラフ
を生成するステップと、を有する。
通りである。すなわち、本発明の画像処理方法は、時系
列に順序付けられた複数の画像データのうち、第１画像
データを入力するステップと、第１画像データの画素を
領域化するステップと、領域化により生成された第１画
像領域に第１ノードを対応付けるステップと、複数の画
像データのうち、第１画像データより時系列の後にある
第２画像データを入力するステップと、第１画像領域を
拡張した拡張領域を対象として、第２画像データの画素
を領域化するステップと、領域化により生成された第２
画像領域に第２ノードを対応付けるステップと、第１ノ
ードと第２ノードとをエッジによって対応付け、グラフ
を生成するステップと、を有する。
【００１８】ここで、画像データの画素の領域化では、
色空間におけるガウス分布関数をラベルに対応付け、色
空間における画素とガウス分布関数とのマハラノビス距
離が最も小さいものに対応するラベルを画素に与え、同
一のラベルである場合には同一の領域に分類し画像領域
を生成するできる。なお、生成された画像領域の、面
積、重心、画像領域を囲む最小正方形その他画像領域を
特徴付ける領域特徴を計算することができる。
色空間におけるガウス分布関数をラベルに対応付け、色
空間における画素とガウス分布関数とのマハラノビス距
離が最も小さいものに対応するラベルを画素に与え、同
一のラベルである場合には同一の領域に分類し画像領域
を生成するできる。なお、生成された画像領域の、面
積、重心、画像領域を囲む最小正方形その他画像領域を
特徴付ける領域特徴を計算することができる。
【００１９】また、画像データの領域化において、画像
領域が生成されない場合には、負のコンフィデンスファ
クタの変動値を持つ仮ノードを生成できる。これにより
本来存在するはずの欠落したノードを救うことができ
る。
領域が生成されない場合には、負のコンフィデンスファ
クタの変動値を持つ仮ノードを生成できる。これにより
本来存在するはずの欠落したノードを救うことができ
る。
【００２０】また、エッジは、エッジ前後の各ノードに
おいて、その画像領域を構成する画素間の色の絶対差分
の平均値を含む第１の項と、エッジ前後の各ノードの画
像領域間の正規化されたオーバーラップ面積を与える第
２の項と、を含む関数で重み付けできる。これによりノ
ードの画像一貫性を評価できる。
おいて、その画像領域を構成する画素間の色の絶対差分
の平均値を含む第１の項と、エッジ前後の各ノードの画
像領域間の正規化されたオーバーラップ面積を与える第
２の項と、を含む関数で重み付けできる。これによりノ
ードの画像一貫性を評価できる。
【００２１】また、グラフに処理においては、枝分かれ
ノードを探索し枝分かれノードを始点とする所定の深さ
の始点前後の径路リストを生成し、径路リストから同一
の終点を持つ径路を検出し、同一の終点を持つ径路のコ
ンフィデンスファクタを評価し、所定のコンフィデンス
ファクタより小さい経路を削除することができる。
ノードを探索し枝分かれノードを始点とする所定の深さ
の始点前後の径路リストを生成し、径路リストから同一
の終点を持つ径路を検出し、同一の終点を持つ径路のコ
ンフィデンスファクタを評価し、所定のコンフィデンス
ファクタより小さい経路を削除することができる。
【００２２】あるいは、枝分かれノードを探索し枝分か
れノードを始点とする所定の深さの始点前後の径路リス
トを生成し、径路リストにおいて深さまでの探索で終点
が検出されない径路があるかを判断し、判断が真の場
合、終点が検出されない径路以外の枝分かれ径路を削除
し、判断が偽の場合、径路リストの各径路のコンフィデ
ンスファクタを評価し、最も大きな径路のコンフィデン
スファクタを有する径路以外の径路を削除できる。
れノードを始点とする所定の深さの始点前後の径路リス
トを生成し、径路リストにおいて深さまでの探索で終点
が検出されない径路があるかを判断し、判断が真の場
合、終点が検出されない径路以外の枝分かれ径路を削除
し、判断が偽の場合、径路リストの各径路のコンフィデ
ンスファクタを評価し、最も大きな径路のコンフィデン
スファクタを有する径路以外の径路を削除できる。
【００２３】これらグラフ処理によって、ノイズ等で生
成される小さなループ等小枝を除去できる。なお、径路
のコンフィデンスファクタは、グラフの各ノードに与え
られたコンフィデンスファクタの変動値とグラフのエッ
ジに与えられた重みとの積を、径路の各ノードについて
加算した値として求めることができる。
成される小さなループ等小枝を除去できる。なお、径路
のコンフィデンスファクタは、グラフの各ノードに与え
られたコンフィデンスファクタの変動値とグラフのエッ
ジに与えられた重みとの積を、径路の各ノードについて
加算した値として求めることができる。
【００２４】また、グラフ処理においては、グラフの径
路探索を行って径路探索木を生成し、径路探索木の根ノ
ードからトラバースし、径路探索木のノードごとにパス
カウンタウェイトをノードの子供ノードが１つの場合は
１とし、子供ノードが複数のある場合には１を子供ノー
ドの数で割った値として生成し、パスカウンタウェイト
を合算し、グラフのノードごとのパスカウンタを生成
し、パスカウンタをシーズニングし、パスカウンタが１
を超えるノードを探索し、パスカウンタが同一でかつ互
いに隣り合うノードの区間が所定の長さ以下であるかを
判断し、判断が真の場合、可能な入出パスごとに接続性
を評価し、単一の有意な接続性を有する入出パスが存在
する場合には、単一の有意な接続性を有する入出パスを
接続できる。これにより、オクルージョン状態のうち自
動的に接続性が判断できる時にはシステムにおいて自動
的にオクルージョン時の接続を判断し、利用者の作業負
担を軽減できる。
路探索を行って径路探索木を生成し、径路探索木の根ノ
ードからトラバースし、径路探索木のノードごとにパス
カウンタウェイトをノードの子供ノードが１つの場合は
１とし、子供ノードが複数のある場合には１を子供ノー
ドの数で割った値として生成し、パスカウンタウェイト
を合算し、グラフのノードごとのパスカウンタを生成
し、パスカウンタをシーズニングし、パスカウンタが１
を超えるノードを探索し、パスカウンタが同一でかつ互
いに隣り合うノードの区間が所定の長さ以下であるかを
判断し、判断が真の場合、可能な入出パスごとに接続性
を評価し、単一の有意な接続性を有する入出パスが存在
する場合には、単一の有意な接続性を有する入出パスを
接続できる。これにより、オクルージョン状態のうち自
動的に接続性が判断できる時にはシステムにおいて自動
的にオクルージョン時の接続を判断し、利用者の作業負
担を軽減できる。
【００２５】さらに、グラフ処理においては、径路探索
を行い、着目ノードを取得し、着目ノードが現在の深さ
かを判断し、真であればオクルージョン箇所の選択肢を
選択肢リストに追加し、深さの判断が偽の場合、選択肢
リストの長さが、所定の閾値を超えているかを判断し、
真であれば選択肢を提示し、選択肢リストの長さの判断
が偽の場合、選択肢リストをクリアし、着目ノードを選
択肢リストに追加し、現在の深さを更新できる。これに
より真に必要な場合にのみ利用者にオクルージョン状態
における選択肢を提示する。利用者にとっては真に必要
な時のみたとえばグラフィカルユーザインタフェイスに
よって選択を行えばよく、作業負担を大きく軽減でき
る。
を行い、着目ノードを取得し、着目ノードが現在の深さ
かを判断し、真であればオクルージョン箇所の選択肢を
選択肢リストに追加し、深さの判断が偽の場合、選択肢
リストの長さが、所定の閾値を超えているかを判断し、
真であれば選択肢を提示し、選択肢リストの長さの判断
が偽の場合、選択肢リストをクリアし、着目ノードを選
択肢リストに追加し、現在の深さを更新できる。これに
より真に必要な場合にのみ利用者にオクルージョン状態
における選択肢を提示する。利用者にとっては真に必要
な時のみたとえばグラフィカルユーザインタフェイスに
よって選択を行えばよく、作業負担を大きく軽減でき
る。
【００２６】
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて詳細に説明する。ただし、本発明は多くの異
なる態様で実施することが可能であり、本実施の形態の
記載内容に限定して解釈すべきではない。なお、実施の
形態の全体を通して同じ要素には同じ番号を付するもの
とする。
に基づいて詳細に説明する。ただし、本発明は多くの異
なる態様で実施することが可能であり、本実施の形態の
記載内容に限定して解釈すべきではない。なお、実施の
形態の全体を通して同じ要素には同じ番号を付するもの
とする。
【００２７】以下の実施の形態では、主に方法またはシ
ステムについて説明するが、当業者であれば明らかなと
おり、本発明は方法、システムの他、コンピュータで使
用可能なプログラムコードが記録された媒体としても実
施できる。したがって、本発明は、ハードウェアとして
の実施形態、ソフトウェアとしての実施形態またはソフ
トウェアとハードウェアとの組合せの実施形態をとるこ
とができる。プログラムコードが記録された媒体として
は、ハードディスク、ＣＤ−ＲＯＭ、光記憶装置または
磁気記憶装置を含む任意のコンピュータ可読媒体を例示
できる。
ステムについて説明するが、当業者であれば明らかなと
おり、本発明は方法、システムの他、コンピュータで使
用可能なプログラムコードが記録された媒体としても実
施できる。したがって、本発明は、ハードウェアとして
の実施形態、ソフトウェアとしての実施形態またはソフ
トウェアとハードウェアとの組合せの実施形態をとるこ
とができる。プログラムコードが記録された媒体として
は、ハードディスク、ＣＤ−ＲＯＭ、光記憶装置または
磁気記憶装置を含む任意のコンピュータ可読媒体を例示
できる。
【００２８】本実施の形態で利用できるコンピュータシ
ステムには、中央演算処理装置（ＣＰＵ）、主記憶装置
（メインメモリ：ＲＡＭ(Random Access Memory)）、不
揮発性記憶装置（ＲＯＭ(Read Only Memory)）等を有
し、これらがバスで相互に接続される。バスには、その
他コプロセッサ、画像アクセラレータ、キャッシュメモ
リ、入出力制御装置（Ｉ／Ｏ）等が接続される。バスに
は、適当なインターフェイスを介して外部記憶装置、デ
ータ入力デバイス、表示デバイス、通信制御装置等が接
続されてもよい。その他、一般的にコンピュータシステ
ムに備えられるハードウェア資源を備えることが可能な
ことは言うまでもない。外部記憶装置は代表的にはハー
ドディスク装置が例示できるが、これに限られず、光磁
気記憶装置、光記憶装置、フラッシュメモリ等半導体記
憶装置も含まれる。なお、データの読み出しのみに利用
で得きるＣＤ−ＲＯＭ等の読み出し専用記憶装置もデー
タあるいはプログラムの読み出しにのみ適用する場合に
は外部記憶装置に含まれる。データ入力デバイスには、
キーボード等の入力装置、マウス等ポインティングデバ
イスを備えることができる。データ入力デバイスには音
声入力装置も含む。表示装置としては、ＣＲＴ、液晶表
示装置、プラズマ表示装置が例示できる。本実施の形態
のコンピュータシステムには、パーソナルコンピュー
タ、ワークステーション、メインフレームコンピュータ
等各種のコンピュータが含まれる。
ステムには、中央演算処理装置（ＣＰＵ）、主記憶装置
（メインメモリ：ＲＡＭ(Random Access Memory)）、不
揮発性記憶装置（ＲＯＭ(Read Only Memory)）等を有
し、これらがバスで相互に接続される。バスには、その
他コプロセッサ、画像アクセラレータ、キャッシュメモ
リ、入出力制御装置（Ｉ／Ｏ）等が接続される。バスに
は、適当なインターフェイスを介して外部記憶装置、デ
ータ入力デバイス、表示デバイス、通信制御装置等が接
続されてもよい。その他、一般的にコンピュータシステ
ムに備えられるハードウェア資源を備えることが可能な
ことは言うまでもない。外部記憶装置は代表的にはハー
ドディスク装置が例示できるが、これに限られず、光磁
気記憶装置、光記憶装置、フラッシュメモリ等半導体記
憶装置も含まれる。なお、データの読み出しのみに利用
で得きるＣＤ−ＲＯＭ等の読み出し専用記憶装置もデー
タあるいはプログラムの読み出しにのみ適用する場合に
は外部記憶装置に含まれる。データ入力デバイスには、
キーボード等の入力装置、マウス等ポインティングデバ
イスを備えることができる。データ入力デバイスには音
声入力装置も含む。表示装置としては、ＣＲＴ、液晶表
示装置、プラズマ表示装置が例示できる。本実施の形態
のコンピュータシステムには、パーソナルコンピュー
タ、ワークステーション、メインフレームコンピュータ
等各種のコンピュータが含まれる。
【００２９】本実施の形態の処理システムは、単一のコ
ンピュータシステムとして適用することが可能である
が、複数のコンピュータシステムのネットワークとして
適用することも可能である。この場合、コンピュータシ
ステム間の通信にインターネット、ＬＡＮ、ＷＡＮ等を
用いることができる。これら接続に用いられる通信回線
は、専用線、公衆回線の何れでも良い。
ンピュータシステムとして適用することが可能である
が、複数のコンピュータシステムのネットワークとして
適用することも可能である。この場合、コンピュータシ
ステム間の通信にインターネット、ＬＡＮ、ＷＡＮ等を
用いることができる。これら接続に用いられる通信回線
は、専用線、公衆回線の何れでも良い。
【００３０】複数のコンピュータシステムで本発明を実
現する場合、各コンピュータシステムで利用されるプロ
グラムは、他のコンピュータシステムに記録されていて
も良い。つまり、コンピュータシステムで利用する一部
のプログラムをリモートコンピュータで分散的に処理ま
たは実行できる。なお、他のコンピュータシステムに記
録されたプログラムをアドレスで参照する場合には、Ｄ
ＮＳ、ＵＲＬ、ＩＰアドレス等を用いることができる。
現する場合、各コンピュータシステムで利用されるプロ
グラムは、他のコンピュータシステムに記録されていて
も良い。つまり、コンピュータシステムで利用する一部
のプログラムをリモートコンピュータで分散的に処理ま
たは実行できる。なお、他のコンピュータシステムに記
録されたプログラムをアドレスで参照する場合には、Ｄ
ＮＳ、ＵＲＬ、ＩＰアドレス等を用いることができる。
【００３１】なお、インターネットには、イントラネッ
トおよびエクストラネットも含むものとする。インター
ネットへのアクセスという場合、イントラネットやエク
ストラネットへのアクセスをも意味する。コンピュータ
ネットワークという用語には、公的にアクセス可能なコ
ンピュータネットワークと私的なアクセスしか許可され
ないコンピュータネットワークとの両方が含まれるもの
とする。
トおよびエクストラネットも含むものとする。インター
ネットへのアクセスという場合、イントラネットやエク
ストラネットへのアクセスをも意味する。コンピュータ
ネットワークという用語には、公的にアクセス可能なコ
ンピュータネットワークと私的なアクセスしか許可され
ないコンピュータネットワークとの両方が含まれるもの
とする。
【００３２】０．処理の全体図１は、本発明の画像処理
方法の一例を示した全体フローチャートである。処理の
開始によって、システムは初期化処理を行う（ステップ
１）。次に画像を入力し（ステップ２）、カメラ補正
（ステップ３）を行う。さらに画像にセグメンテーショ
ン処理を施して（ステップ４）纏まりのある領域を生成
し、その後グラフを生成する（ステップ５）。その後グ
ラフ処理を行い（ステップ６）、さらに他の画像につい
て処理が必要かを判断して（ステップ７）、必要ならス
テップ２からの処理を繰り返し、必要がなければ処理を
終了する。以下各ステップについて具体的に説明する。
方法の一例を示した全体フローチャートである。処理の
開始によって、システムは初期化処理を行う（ステップ
１）。次に画像を入力し（ステップ２）、カメラ補正
（ステップ３）を行う。さらに画像にセグメンテーショ
ン処理を施して（ステップ４）纏まりのある領域を生成
し、その後グラフを生成する（ステップ５）。その後グ
ラフ処理を行い（ステップ６）、さらに他の画像につい
て処理が必要かを判断して（ステップ７）、必要ならス
テップ２からの処理を繰り返し、必要がなければ処理を
終了する。以下各ステップについて具体的に説明する。
【００３３】１．初期化（ステップ１） 図２は初期化の処理の流れを示したフローチャートであ
る。ここでは以下のような処理が行われる。まず、最初
のフレーム画像を読み込む（ステップ８）。次に、最初
のフレーム画像の領域抽出を行う（ステップ９）。次
に、利用者が初期オブジェクトの領域を指定する（ステ
ップ１０）。さらに、グラフの始点となるノードを作成
する（ステップ１１）。
る。ここでは以下のような処理が行われる。まず、最初
のフレーム画像を読み込む（ステップ８）。次に、最初
のフレーム画像の領域抽出を行う（ステップ９）。次
に、利用者が初期オブジェクトの領域を指定する（ステ
ップ１０）。さらに、グラフの始点となるノードを作成
する（ステップ１１）。
【００３４】フレーム画像の読み込み（ステップ８）お
よび領域抽出（ステップ９）は後に説明するステップ
２、ステップ４の方法と同じである。但し、領域抽出の
対象画像は読み込まれたフレーム画像の全体である。フ
レーム画像の全体から後に説明する領域抽出によって纏
まりのある領域が抽出される。初期オブジェクトの指定
（ステップ１０）は、ステップ９で抽出された領域のう
ち、利用者が選択するオブジェクトつまり、利用者がト
ラッキングを希望するオブジェクトを指定するステップ
である。ここで指定されたオブジェクトがこの後のトラ
ッキング処理の対象となる。また、ここで指定された領
域（オブジェクト）について各々スタートノードが生成
される（ステップ１１）。なお、領域、ノードについて
の情報、および後に説明する領域、ノードに関連する情
報はコンピュータシステムの所定の記憶領域に記録され
る。
よび領域抽出（ステップ９）は後に説明するステップ
２、ステップ４の方法と同じである。但し、領域抽出の
対象画像は読み込まれたフレーム画像の全体である。フ
レーム画像の全体から後に説明する領域抽出によって纏
まりのある領域が抽出される。初期オブジェクトの指定
（ステップ１０）は、ステップ９で抽出された領域のう
ち、利用者が選択するオブジェクトつまり、利用者がト
ラッキングを希望するオブジェクトを指定するステップ
である。ここで指定されたオブジェクトがこの後のトラ
ッキング処理の対象となる。また、ここで指定された領
域（オブジェクト）について各々スタートノードが生成
される（ステップ１１）。なお、領域、ノードについて
の情報、および後に説明する領域、ノードに関連する情
報はコンピュータシステムの所定の記憶領域に記録され
る。
【００３５】２．画像入力（ステップ２） 本実施の形態の入力画像にはビデオ映像を例示する。入
力ビデオ映像はたとえば740x480 pixels、RGB 24bits、
30 frames per secondである。ここでは、入力ビデオの
ファイル形式の都合上、処理対象はフレームではなく、
740x240 pixelsのフィールド（画像データ）とする。な
お、本発明が適用可能な入力データはビデオ画像には勿
論限られない。MPEG等の規格で定められたディジタル画
像データは勿論、規格に定めのない画像データでもよ
い。但し、各画像データには時系列な順序付けは必要で
あり、また各画像データに含まれるオブジェクトの位置
あるいは色のある程度の一貫性は必要である。入力され
た画像データはコンピュータシステムの所定の記憶領域
に記録される。
力ビデオ映像はたとえば740x480 pixels、RGB 24bits、
30 frames per secondである。ここでは、入力ビデオの
ファイル形式の都合上、処理対象はフレームではなく、
740x240 pixelsのフィールド（画像データ）とする。な
お、本発明が適用可能な入力データはビデオ画像には勿
論限られない。MPEG等の規格で定められたディジタル画
像データは勿論、規格に定めのない画像データでもよ
い。但し、各画像データには時系列な順序付けは必要で
あり、また各画像データに含まれるオブジェクトの位置
あるいは色のある程度の一貫性は必要である。入力され
た画像データはコンピュータシステムの所定の記憶領域
に記録される。
【００３６】３．カメラ移動補正（ステップ３） 画像データの背景の時間的変動を避けるため、入力映像
は基本的に固定カメラで撮影する。ただし、カメラが固
定でない場合、カメラの移動を補正する必要がある。補
正処理の結果、固定カメラで撮影した映像と同等なもの
が得られるので、本発明が適用できる。カメラが移動し
た場合には、既存の技術を用いて映像を補正できる。例
えば、カメラの移動軸にモーションエンコーダを設置す
ると、パン及びチルトの回転量が測定でき、幾何学モデ
ルを用いて画素の座標系の変換ができる。固定カメラで
撮影され、背景画像の変位がない場合には、本カメラ移
動補正のステップが必要でないことは勿論である。
は基本的に固定カメラで撮影する。ただし、カメラが固
定でない場合、カメラの移動を補正する必要がある。補
正処理の結果、固定カメラで撮影した映像と同等なもの
が得られるので、本発明が適用できる。カメラが移動し
た場合には、既存の技術を用いて映像を補正できる。例
えば、カメラの移動軸にモーションエンコーダを設置す
ると、パン及びチルトの回転量が測定でき、幾何学モデ
ルを用いて画素の座標系の変換ができる。固定カメラで
撮影され、背景画像の変位がない場合には、本カメラ移
動補正のステップが必要でないことは勿論である。
【００３７】４．領域抽出（ステップ４） 図３はセグメンテーション処理の一例を示したフローチ
ャートである。オブジェクトに含まれる纏まりのある領
域を、セグメンテーション処理により抽出する。セグメ
ンテーション処理は、画素のラベリング（ステップ１
２）、領域成長（ステップ１３）、領域特徴計算（ステ
ップ１４）の３段階からなる。
ャートである。オブジェクトに含まれる纏まりのある領
域を、セグメンテーション処理により抽出する。セグメ
ンテーション処理は、画素のラベリング（ステップ１
２）、領域成長（ステップ１３）、領域特徴計算（ステ
ップ１４）の３段階からなる。
【００３８】（１）ラベリング（ステップ１２） 対象とする画像中の各画素（領域抽出の処理対象領域が
限定されている時にはその対象領域内の各画素）にラベ
ルを与える。たとえば、サッカーのビデオ映像の場合に
は、「背景」「A チーム」「B チーム」の3つのラベル
を用意する。処理対象画像中の各画素の全てについて、
各々何れかのラベルを付す。各画素に与えるラベルを決
定する手法には、色分布モデルと色空間における距離を
用いる。ラベルに対応する色分布モデルを定め、対象画
素の色分布モデルまでの色空間における距離を求める。
対象画素との距離が最も近い色分布モデルに対応するラ
ベルがその画素に付与される。色分布モデルには、たと
えば数1に示すような既存のガウス（Gaussian）モデル
を用いることができる。
限定されている時にはその対象領域内の各画素）にラベ
ルを与える。たとえば、サッカーのビデオ映像の場合に
は、「背景」「A チーム」「B チーム」の3つのラベル
を用意する。処理対象画像中の各画素の全てについて、
各々何れかのラベルを付す。各画素に与えるラベルを決
定する手法には、色分布モデルと色空間における距離を
用いる。ラベルに対応する色分布モデルを定め、対象画
素の色分布モデルまでの色空間における距離を求める。
対象画素との距離が最も近い色分布モデルに対応するラ
ベルがその画素に付与される。色分布モデルには、たと
えば数1に示すような既存のガウス（Gaussian）モデル
を用いることができる。
【００３９】
【数１】 ガウスモデルにおける色値（Ο）の中央値（μ）には、
「背景」「A チーム」「B チーム」それぞれの領域のサ
ンプルを手動で切り出し、入力することができる。
「背景」「A チーム」「B チーム」それぞれの領域のサ
ンプルを手動で切り出し、入力することができる。
【００４０】色空間における距離には、たとえば数２に
示すマハラノビス（ Mahalanobis）距離を用いることが
できる。
示すマハラノビス（ Mahalanobis）距離を用いることが
できる。
【数２】 この処理の結果、画像中の全ての画素にラベルが付され
る。
る。
【００４１】（２）領域成長（ステップ１３） 同じラベルを持つ画素のかたまりから領域を作成する。
各画素について、４方向の隣接画素のそれぞれとラベル
を比較する。同じラベルを持つ画素には同じ領域番号を
与える。領域番号ごとに一纏まりの領域が生成されるこ
とになる。
各画素について、４方向の隣接画素のそれぞれとラベル
を比較する。同じラベルを持つ画素には同じ領域番号を
与える。領域番号ごとに一纏まりの領域が生成されるこ
とになる。
【００４２】（３）領域特徴の計算（ステップ１４） 同じ領域番号を持つ画素数からその領域の面積を求める
ことができる。また、領域の重心点座標 (x,y)、その領
域を囲む最小正方形 (bounding box) を求めることがで
きる。これら領域特徴は、後に説明するグラフの生成、
グラフ処理において用いることができる。
ことができる。また、領域の重心点座標 (x,y)、その領
域を囲む最小正方形 (bounding box) を求めることがで
きる。これら領域特徴は、後に説明するグラフの生成、
グラフ処理において用いることができる。
【００４３】５．グラフ生成（ステップ５） 領域をノードとし、時系列に隣り合う２つのフレーム
（画像データ）間で、色空間における画像特徴あるいは
領域間の実空間における距離に基づき、２つのフレーム
の各ノード間にエッジを張る。ここではエッジの種類と
して、色空間における画像特徴と領域間の実空間におけ
る距離との２種類のエッジを例示するがこれに限られな
い。その他、領域（画像）の特徴を表す特性値を用いて
エッジを張ることも可能である。また、２種類のエッジ
は必ずしも組み合わせる必要はなく、各々単独で用いて
も良い。この現フレームのノードおよび前フレームのノ
ードとその間をつなぐエッジによりグラフが構成され
る。
（画像データ）間で、色空間における画像特徴あるいは
領域間の実空間における距離に基づき、２つのフレーム
の各ノード間にエッジを張る。ここではエッジの種類と
して、色空間における画像特徴と領域間の実空間におけ
る距離との２種類のエッジを例示するがこれに限られな
い。その他、領域（画像）の特徴を表す特性値を用いて
エッジを張ることも可能である。また、２種類のエッジ
は必ずしも組み合わせる必要はなく、各々単独で用いて
も良い。この現フレームのノードおよび前フレームのノ
ードとその間をつなぐエッジによりグラフが構成され
る。
【００４４】ノードには、オブジェクトらしさを表すコ
ンフィデンスファクタ（confidencefactor）の変動値を
持たすことができ、画像特徴により張られるエッジには
コンフィデンスファクタに対する重みを持たせることが
できる。エッジに持たせる重みは画像特徴より算出でき
る。通常のノードにおけるコンフィデンスファクタの変
動値は +1である。
ンフィデンスファクタ（confidencefactor）の変動値を
持たすことができ、画像特徴により張られるエッジには
コンフィデンスファクタに対する重みを持たせることが
できる。エッジに持たせる重みは画像特徴より算出でき
る。通常のノードにおけるコンフィデンスファクタの変
動値は +1である。
【００４５】同一オブジェクトにおいて画像処理によっ
て抽出される領域が数フレーム途切れることがあるの
で、これを救うためにグラフの端点かつ終点であるノー
ドに一定の長さの仮ノードを数フレーム生成することが
できる。仮ノードのコンフィデンスファクタの変動値は
-1である。
て抽出される領域が数フレーム途切れることがあるの
で、これを救うためにグラフの端点かつ終点であるノー
ドに一定の長さの仮ノードを数フレーム生成することが
できる。仮ノードのコンフィデンスファクタの変動値は
-1である。
【００４６】さらに領域抽出の際に他の選手の下に重な
っていると判定された領域はコンフィデンスファクタの
変動値を-0.5とする。こうすることで、グラフの任意の
径路上においてコンフィデンスファクタの変動値の重み
付き総和を求めることができ、該当径路のオブジェクト
らしさを表すコンフィデンスファクタが計算できる。
っていると判定された領域はコンフィデンスファクタの
変動値を-0.5とする。こうすることで、グラフの任意の
径路上においてコンフィデンスファクタの変動値の重み
付き総和を求めることができ、該当径路のオブジェクト
らしさを表すコンフィデンスファクタが計算できる。
【００４７】図４はグラフ生成の一例を示したフローチ
ャートである。グラフ生成処理では、まず、前画像の領
域リストを取得する（ステップ１５）。次に現画像の領
域を探索する（ステップ１６）。探索する領域は、現画
像の全てではなく、前画像において領域と認識された位
置（前記最小正方形）を拡大した領域について行う。オ
ブジェクトの移動はほぼ連続しており、隣接するフレー
ム間では大きな空間的移動はない。このため現画像にお
ける領域の探索領域は前画像の領域（オブジェクト）が
存在した近傍に限ることができる。これにより計算負荷
を低減し、計算コストを下げることができる。
ャートである。グラフ生成処理では、まず、前画像の領
域リストを取得する（ステップ１５）。次に現画像の領
域を探索する（ステップ１６）。探索する領域は、現画
像の全てではなく、前画像において領域と認識された位
置（前記最小正方形）を拡大した領域について行う。オ
ブジェクトの移動はほぼ連続しており、隣接するフレー
ム間では大きな空間的移動はない。このため現画像にお
ける領域の探索領域は前画像の領域（オブジェクト）が
存在した近傍に限ることができる。これにより計算負荷
を低減し、計算コストを下げることができる。
【００４８】次に、現画像における探索の結果、領域が
検出されたかを判断する（ステップ１７）。領域が存在
すれば、現画像の領域を現ノードとし、前画像の領域
（前ノード）と間にエッジを張って、領域をグラフにマ
ップする（ステップ１８）。前記の通りエッジには重み
をつける。
検出されたかを判断する（ステップ１７）。領域が存在
すれば、現画像の領域を現ノードとし、前画像の領域
（前ノード）と間にエッジを張って、領域をグラフにマ
ップする（ステップ１８）。前記の通りエッジには重み
をつける。
【００４９】画像特徴に基づくエッジが持つコンフィデ
ンスファクタの変動値に対する重みは、たとえば平均絶
対変位（mean absolute difference :MAD） に基づいて
決めることができる。MADの一例を数３に示す。
ンスファクタの変動値に対する重みは、たとえば平均絶
対変位（mean absolute difference :MAD） に基づいて
決めることができる。MADの一例を数３に示す。
【００５０】
【数３】 ここで、M、Nは探索した画像領域の各辺の長さを示し、
ｘ、ｙは前画像と現画像の空間的変位を示す。Fはピク
セル座標を変数とする色値を示す関数であり、ｎ（現画
像）とｎ−１（前画像）の色の差（絶対値）を求めてい
る。なお、空間的位置に関する単位はピクセルであり、
色に関する単位は任意スケールである。このＭＡＤ値は
0から1.0までの値を持ち、色が近いものほど1.0に近い
値を持つ。よってエッジで結ばれる領域のMADを使い、
重みＷｃは下式のように決まる。
ｘ、ｙは前画像と現画像の空間的変位を示す。Fはピク
セル座標を変数とする色値を示す関数であり、ｎ（現画
像）とｎ−１（前画像）の色の差（絶対値）を求めてい
る。なお、空間的位置に関する単位はピクセルであり、
色に関する単位は任意スケールである。このＭＡＤ値は
0から1.0までの値を持ち、色が近いものほど1.0に近い
値を持つ。よってエッジで結ばれる領域のMADを使い、
重みＷｃは下式のように決まる。
【００５１】Ｗｃ＝１.０−MAD また、位置関係に基づくエッジが持つコンフィデンスフ
ァクタの変動値に対する重みは、たとえば数４の式によ
って求めることができる。
ァクタの変動値に対する重みは、たとえば数４の式によ
って求めることができる。
【００５２】
【数４】 但し、ri：前フレームの領域リストの領域、 ｒi+1：現フレームの領域リストの領域、 s(ri)：与えられた領域の面積を求める関数、 o(ri,ri+1)：与えられた２個の領域のオーバーラップを
求める関数、 min(a,b)：与えられた２個のスカラー量の内小さい値を
求める関数、 である。
求める関数、 min(a,b)：与えられた２個のスカラー量の内小さい値を
求める関数、 である。
【００５３】ステップ１７で領域が存在しないと判断さ
れたときには、仮ノードを生成する（ステップ１９）。
仮ノードの生成により、フレーム間でノイズ等により途
切れた領域の径路を救うことができる。ここで、仮ノー
ドを用いた時には、ノードのコンフィデンスファクタの
変動値を−１にすることは前記した。コンフィデンスフ
ァクタ変動値を−１にすることにより、仮ノードが連続
する場合にはグラフ処理の径路評価においてコンフィデ
ンスファクタが低くなり、結局当該径路は削除されるこ
とになる。
れたときには、仮ノードを生成する（ステップ１９）。
仮ノードの生成により、フレーム間でノイズ等により途
切れた領域の径路を救うことができる。ここで、仮ノー
ドを用いた時には、ノードのコンフィデンスファクタの
変動値を−１にすることは前記した。コンフィデンスフ
ァクタ変動値を−１にすることにより、仮ノードが連続
する場合にはグラフ処理の径路評価においてコンフィデ
ンスファクタが低くなり、結局当該径路は削除されるこ
とになる。
【００５４】このように、フレーム（画像）間のノード
に張るエッジを色空間あるいは実空間の距離で重み付け
ることにより、これらノード間の画像特徴でノード間の
一貫性を特徴付けることができる。次に説明するグラフ
処理において、これらノードのコンフィデンスファク
タ、エッジの重みを考慮することにより、オブジェクト
の径路の妥当性を評価することが可能になる。
に張るエッジを色空間あるいは実空間の距離で重み付け
ることにより、これらノード間の画像特徴でノード間の
一貫性を特徴付けることができる。次に説明するグラフ
処理において、これらノードのコンフィデンスファク
タ、エッジの重みを考慮することにより、オブジェクト
の径路の妥当性を評価することが可能になる。
【００５５】６．グラフ処理（ステップ６）グラフ生成
（ステップ５）において作成したグラフから、オブジェ
クトの径路を抽出する。図５はグラフ処理の一例を示し
たフローチャートである。
（ステップ５）において作成したグラフから、オブジェ
クトの径路を抽出する。図５はグラフ処理の一例を示し
たフローチャートである。
【００５６】まず、領域抽出の際にオブジェクト付近に
発生するノイズによって生成される、小さい枝や、小さ
いループを解消する（ステップ２０）。時間方向にミク
ロな幅でのオブジェクトらしさの評価に基づき不要な径
路を削除する。
発生するノイズによって生成される、小さい枝や、小さ
いループを解消する（ステップ２０）。時間方向にミク
ロな幅でのオブジェクトらしさの評価に基づき不要な径
路を削除する。
【００５７】オブジェクトらしさは任意の長さを持つ径
路毎に算出可能な値であり、径路上のノード（抽出され
た領域）の「オブジェクトらしさの変動値」、エッジが
持つ画像特徴による「重み」から算出される。こうする
ことで個々のフレームにおける画像特徴や近傍のフレー
ムの情報のみを使ってオブジェクトの軌跡を抽出でき
る。これにより誤りの少ない軌跡の自動抽出が期待でき
る。
路毎に算出可能な値であり、径路上のノード（抽出され
た領域）の「オブジェクトらしさの変動値」、エッジが
持つ画像特徴による「重み」から算出される。こうする
ことで個々のフレームにおける画像特徴や近傍のフレー
ムの情報のみを使ってオブジェクトの軌跡を抽出でき
る。これにより誤りの少ない軌跡の自動抽出が期待でき
る。
【００５８】次に、ノイズを取り除いたグラフ内で、オ
ブジェクトの径路を探索し径路探索木を作成する（ステ
ップ２１）。以後の処理は径路探索木で管理する。
ブジェクトの径路を探索し径路探索木を作成する（ステ
ップ２１）。以後の処理は径路探索木で管理する。
【００５９】次に、個々の径路を構成するノードのう
ち、オクルージョンを起こしている箇所をグラフの位相
を見ながら判定し、マークアップする（ステップ２
２）。ここでオクルージョンは１個のノードに複数個の
オブジェクトが対応することを言う。
ち、オクルージョンを起こしている箇所をグラフの位相
を見ながら判定し、マークアップする（ステップ２
２）。ここでオクルージョンは１個のノードに複数個の
オブジェクトが対応することを言う。
【００６０】次に、オクルージョン箇所の処理を行う
（ステップ２３）。オクルージョンが起きている箇所で
あって、かつオクルージョンの起きている時間が十分に
短いときには、オブジェクトの同一性の判断に基づき径
路探索木の枝刈りを行うことができる。これにより、利
用者のインタラクションを低減することができる。
（ステップ２３）。オクルージョンが起きている箇所で
あって、かつオクルージョンの起きている時間が十分に
短いときには、オブジェクトの同一性の判断に基づき径
路探索木の枝刈りを行うことができる。これにより、利
用者のインタラクションを低減することができる。
【００６１】次に、個々のオブジェクトの径路を一意に
絞り込めない箇所が増えた場合にはこれを検出し（ステ
ップ２４）、選択枝が爆発的に増える前に利用者に提示
し、選択させる（ステップ２５）。利用者による選択が
必要な箇所の検出および、選択枝を提示することを自動
で行うので、従来人間が個々のオブジェクトのトレース
結果を確認し、修正していた作業のワークロードを低減
できる。また本発明における選択枝の提示は常に選択肢
が一定量に近い数になるように提示できるため、オブジ
ェクトの軌跡が網目のように交差するような場合におい
ても個々の枝分かれにおいて選択枝を提示するよりも作
業効率を良くできる。
絞り込めない箇所が増えた場合にはこれを検出し（ステ
ップ２４）、選択枝が爆発的に増える前に利用者に提示
し、選択させる（ステップ２５）。利用者による選択が
必要な箇所の検出および、選択枝を提示することを自動
で行うので、従来人間が個々のオブジェクトのトレース
結果を確認し、修正していた作業のワークロードを低減
できる。また本発明における選択枝の提示は常に選択肢
が一定量に近い数になるように提示できるため、オブジ
ェクトの軌跡が網目のように交差するような場合におい
ても個々の枝分かれにおいて選択枝を提示するよりも作
業効率を良くできる。
【００６２】最後に利用者の指示による枝刈りを行う
（ステップ２６）。以下より詳細に各ステップを説明す
る。
（ステップ２６）。以下より詳細に各ステップを説明す
る。
【００６３】６．１ ノイズによる小枝の除去（ステッ
プ２０） グラフを構成する個々のノードの内、枝分かれのあるノ
ードから時間の前後方向に一定の長さまでの径路を探索
する。これらの探索経路の中からオブジェクトらしさの
計量に基づきオブジェクトの径路の一部である探索経路
を残し他の探索経路を削除する。図６は、小枝除去処理
の一例を示したフローチャートである。
プ２０） グラフを構成する個々のノードの内、枝分かれのあるノ
ードから時間の前後方向に一定の長さまでの径路を探索
する。これらの探索経路の中からオブジェクトらしさの
計量に基づきオブジェクトの径路の一部である探索経路
を残し他の探索経路を削除する。図６は、小枝除去処理
の一例を示したフローチャートである。
【００６４】まずグラフを構成するノードから枝分かれ
のあるノードを探す（ステップ２７）。
のあるノードを探す（ステップ２７）。
【００６５】次に枝分かれを始点として、グラフを一定
の深さまでトラバースし、始点となるノードより前のフ
レームへの径路のリストと、後のフレームへの径路のリ
ストを作成する（ステップ２８）。
の深さまでトラバースし、始点となるノードより前のフ
レームへの径路のリストと、後のフレームへの径路のリ
ストを作成する（ステップ２８）。
【００６６】それぞれのリストを終点となるノードの識
別番号（ｉｄ）でソートする（ステップ２９）。このと
き互いに同一の終点を持つ径路は小さいループを構成す
る径路であることが分かる。
別番号（ｉｄ）でソートする（ステップ２９）。このと
き互いに同一の終点を持つ径路は小さいループを構成す
る径路であることが分かる。
【００６７】そこで、互いに同一の終点を持つ径路に着
目し、これらの径路をオブジェクトらしさの計量によっ
て最もオブジェクトらしい径路を残し他の径路を削除す
る（ステップ３０）。オブジェクトらしさは径路のコン
フィデンスファクタによって評価する。
目し、これらの径路をオブジェクトらしさの計量によっ
て最もオブジェクトらしい径路を残し他の径路を削除す
る（ステップ３０）。オブジェクトらしさは径路のコン
フィデンスファクタによって評価する。
【００６８】この処理を前フレームへの径路のリスト、
後フレームへの径路のリストにおいて終点が互いに同一
な径路がなくなるまで繰り返す（ステップ３１）。
後フレームへの径路のリストにおいて終点が互いに同一
な径路がなくなるまで繰り返す（ステップ３１）。
【００６９】径路のコンフィデンスファクタは、グラフ
のノードが持つコンフィデンスファクタの変動とエッジ
が持つ画像特徴（色空間および実空間）による重みによ
り木の末端のノードにおけるコンフィデンスファクタと
して数５のように求まる。
のノードが持つコンフィデンスファクタの変動とエッジ
が持つ画像特徴（色空間および実空間）による重みによ
り木の末端のノードにおけるコンフィデンスファクタと
して数５のように求まる。
【００７０】
【数５】 但し、Cj: j番目の径路のコンフィデンスファクタ、 wi:wcとwgの平均値、 wc:着目している径路上にあるi番目の画像特徴によるエ
ッジの持つ重み、 wg:i番目の位置関係に基づくエッジが持つ重み、 ci,ci+1: 着目している径路上にあるi番目の画像特徴、
位置関係によるエッジの両端にあるノードが持つコンフ
ィデンスファクタの変化量、 である。
ッジの持つ重み、 wg:i番目の位置関係に基づくエッジが持つ重み、 ci,ci+1: 着目している径路上にあるi番目の画像特徴、
位置関係によるエッジの両端にあるノードが持つコンフ
ィデンスファクタの変化量、 である。
【００７１】次に、前フレームへの径路のリスト、後フ
レームへの径路のリストの内、最初の探索において末端
まで到達しなかった径路（十分に長い径路）があるかを
判断する（ステップ３２）。この径路がある場合にはオ
ブジェクトらしさが十分高いとしてこれら径路を残し、
他の径路（短い径路）を削除する（ステップ３５）。そ
れぞれのリストにおいて十分に長い径路が無い場合に
は、径路をコンフィデンスファクタでソートし（ステッ
プ３３）、最もオブジェクトらしさの計量の大きい（コ
ンフィデンスファクタの大きい）径路を残し、他の径路
を削除する（ステップ３４）。
レームへの径路のリストの内、最初の探索において末端
まで到達しなかった径路（十分に長い径路）があるかを
判断する（ステップ３２）。この径路がある場合にはオ
ブジェクトらしさが十分高いとしてこれら径路を残し、
他の径路（短い径路）を削除する（ステップ３５）。そ
れぞれのリストにおいて十分に長い径路が無い場合に
は、径路をコンフィデンスファクタでソートし（ステッ
プ３３）、最もオブジェクトらしさの計量の大きい（コ
ンフィデンスファクタの大きい）径路を残し、他の径路
を削除する（ステップ３４）。
【００７２】その後、他の枝分かれノードがあるかを判
断し（ステップ３６）、ある場合には前記同様の処理
を、ない場合にはここでの処理を終了する。
断し（ステップ３６）、ある場合には前記同様の処理
を、ない場合にはここでの処理を終了する。
【００７３】図７に小枝によるノイズを除去する前のサ
ンプル画像と、図８に小枝によるノイズを除去した後の
サンプル画像を示す。
ンプル画像と、図８に小枝によるノイズを除去した後の
サンプル画像を示す。
【００７４】６．２ 径路探索（ステップ２１） グラフを構成する個々のノードを時系列に辿る径路を
「breadth-first」探索(Traverse)する。個々の径路は
径路探索木の末端ノードのリスト（以下 径路リスト）
として管理する。「Breadth-first」の探索は公知の手
法であり、たとえば図７に示すフローで実現される。図
９は径路探索処理の一例を示すフローチャートである。
まず、時系列に径路を探索し（ステップ３７）、次ノー
ドを取得する（ステップ３８）。次に径路探索木を更新
する（ステップ３９）。
「breadth-first」探索(Traverse)する。個々の径路は
径路探索木の末端ノードのリスト（以下 径路リスト）
として管理する。「Breadth-first」の探索は公知の手
法であり、たとえば図７に示すフローで実現される。図
９は径路探索処理の一例を示すフローチャートである。
まず、時系列に径路を探索し（ステップ３７）、次ノー
ドを取得する（ステップ３８）。次に径路探索木を更新
する（ステップ３９）。
【００７５】径路探索において、２種類のエッジが両方
張られているノードが連結であるとみなし、どちらか一
方しか張られていない場合には連結でないと見なす。
張られているノードが連結であるとみなし、どちらか一
方しか張られていない場合には連結でないと見なす。
【００７６】なお、図１０は図の左側に示すグラフを径
路探索することにより得られる径路探索木の例（図の右
側）を示した図である。
路探索することにより得られる径路探索木の例（図の右
側）を示した図である。
【００７７】６．３ オクルージョンが起きている箇所
のマークアップ（ステップ２２） ノイズによる小枝の除去（ステップ２０）によってノイ
ズを除去したグラフにおいて、オクルージョンが発生し
ている箇所、オクルージョンが発生していない箇所、オ
クルージョンが発生している可能性のある箇所に分類
し、径路グラフのノードにこれらの状態を持たせる。
のマークアップ（ステップ２２） ノイズによる小枝の除去（ステップ２０）によってノイ
ズを除去したグラフにおいて、オクルージョンが発生し
ている箇所、オクルージョンが発生していない箇所、オ
クルージョンが発生している可能性のある箇所に分類
し、径路グラフのノードにこれらの状態を持たせる。
【００７８】図１１にオクルージョンの例を示したサン
プル画像を示す。トラッキングされてきた３本の軌跡
が、１箇所で交わり、その後３つの軌跡に分離されてい
る様子がわかる。このオクルージョン前の軌跡がオクル
ージョン後のどの軌跡に対応するかを求める手法を以下
に説明する。
プル画像を示す。トラッキングされてきた３本の軌跡
が、１箇所で交わり、その後３つの軌跡に分離されてい
る様子がわかる。このオクルージョン前の軌跡がオクル
ージョン後のどの軌跡に対応するかを求める手法を以下
に説明する。
【００７９】オクルージョン箇所のマークアップ処理は
各ノード毎に何人の選手（いくつのオブジェクト）が対
応するかを求め、これをパスカウンタ（path counter）
としてノードに持たせる。パスカウンタが１である箇所
はオクルージョンが発生していない箇所、パスカウンタ
が１より大きい数である箇所はオクルージョンが発生し
ている箇所に分類する。
各ノード毎に何人の選手（いくつのオブジェクト）が対
応するかを求め、これをパスカウンタ（path counter）
としてノードに持たせる。パスカウンタが１である箇所
はオクルージョンが発生していない箇所、パスカウンタ
が１より大きい数である箇所はオクルージョンが発生し
ている箇所に分類する。
【００８０】パスカウンタの算出は図１２に示す方法で
求めることができる。図１２はオクルージョン箇所のマ
ークアップ処理の一例を示すフローチャートである。
求めることができる。図１２はオクルージョン箇所のマ
ークアップ処理の一例を示すフローチャートである。
【００８１】前記径路探索処理（ステップ２１）によっ
て得られた径路探索木を取得する（ステップ４０）。木
の根におけるパスカウンタウェイトを１とし（ステップ
４１）、径路に従ってトラバースする。あるノードに対
しての子供ノードを取得し（ステップ４２）、そのノー
ドのパスカウンタをパスカウンタウェイトだけ増加する
（ステップ４３）。そのノードに複数の子供ノードがあ
るかを判断し（ステップ４４）、複数の子供ノードを持
つ場合にはパスカウンタウェイトを子供数で等分し、新
たなパスカウンタウェイトとする（ステップ４５）。さ
らに、子供ノードがあるかを判断し（ステップ４６）、
ある場合にはステップ４２からの処理を繰り返す。ない
場合にはステップ４７に進む。これらの処理をすべての
径路探索木のノードについて各ノードのパスカウンタウ
ェイトを求める。
て得られた径路探索木を取得する（ステップ４０）。木
の根におけるパスカウンタウェイトを１とし（ステップ
４１）、径路に従ってトラバースする。あるノードに対
しての子供ノードを取得し（ステップ４２）、そのノー
ドのパスカウンタをパスカウンタウェイトだけ増加する
（ステップ４３）。そのノードに複数の子供ノードがあ
るかを判断し（ステップ４４）、複数の子供ノードを持
つ場合にはパスカウンタウェイトを子供数で等分し、新
たなパスカウンタウェイトとする（ステップ４５）。さ
らに、子供ノードがあるかを判断し（ステップ４６）、
ある場合にはステップ４２からの処理を繰り返す。ない
場合にはステップ４７に進む。これらの処理をすべての
径路探索木のノードについて各ノードのパスカウンタウ
ェイトを求める。
【００８２】すなわち、全ての径路探索木をトラバース
しながら、各ノードに複数の子供がある場合にはパスカ
ウンタウェイトを子供数で等分しながら、すべての径路
探索木のノードのパスカウンタウェイトをもとめ、これ
らをグラフのノードが持つパスカウンタに加算して行
く。この処理を全ての径路探索木に対して行う。
しながら、各ノードに複数の子供がある場合にはパスカ
ウンタウェイトを子供数で等分しながら、すべての径路
探索木のノードのパスカウンタウェイトをもとめ、これ
らをグラフのノードが持つパスカウンタに加算して行
く。この処理を全ての径路探索木に対して行う。
【００８３】図１３〜１５を用いて説明する。図１３〜
図１５はパスカウンタまたはパスカウンタウェイトを説
明するためのグラフまたは径路探索木の図である。例え
ば図１３のようなグラフの場合、該当する径路探索木は
ノードA,B,Cをそれぞれ根とする木である。各根を始点
とする径路探索木は図１４に示すようになり、図示する
ようなバスカウンタウェイトを各々のノードが持つ。こ
れらの径路探索木よりグラフのノードのパスカウンタは
図１５に示すような値となる。
図１５はパスカウンタまたはパスカウンタウェイトを説
明するためのグラフまたは径路探索木の図である。例え
ば図１３のようなグラフの場合、該当する径路探索木は
ノードA,B,Cをそれぞれ根とする木である。各根を始点
とする径路探索木は図１４に示すようになり、図示する
ようなバスカウンタウェイトを各々のノードが持つ。こ
れらの径路探索木よりグラフのノードのパスカウンタは
図１５に示すような値となる。
【００８４】よってパスカウンタ =1であるA-D, B-D, C
-Dの区間はオクルージョンが発生しておらず、D-Eの区
間はオクルージョンが発生しており、E-F,E-Gの区間は
オクルージョンが発生している可能性がある。
-Dの区間はオクルージョンが発生しておらず、D-Eの区
間はオクルージョンが発生しており、E-F,E-Gの区間は
オクルージョンが発生している可能性がある。
【００８５】最後にグラフを構成するノードのパスカウ
ンタが1より小さい場合、パスカウンタをシーズニング
（seasoning）する（ステップ４８）。シーズニングは
パスカウンタ の最小値が１になるように全体のパスカ
ウンタをスカラー倍する。
ンタが1より小さい場合、パスカウンタをシーズニング
（seasoning）する（ステップ４８）。シーズニングは
パスカウンタ の最小値が１になるように全体のパスカ
ウンタをスカラー倍する。
【００８６】例えば図１６に示すようなグラフの場合、
パスカウンタ の最小値が0.67となるので全てのパスカ
ウンタを1.5倍にする。
パスカウンタ の最小値が0.67となるので全てのパスカ
ウンタを1.5倍にする。
【００８７】６．４ オクルージョンが起きている箇所
の処理（ステップ２３）前記オクルージョンが起きてい
る箇所のマークアップ（ステップ２２）において、パス
カウンタ が互いに同一で、互いに隣接しているノード
の集合を区間とよぶ。これら区間の内、パスカウンタが
１でない区間（オクルージョンが起きている区間）か
つ、該当区間が十分に短い区間に挟まれている場合、オ
クルージョン区間前後での径路の繋ぎ直しの自動化が期
待できる。図１７は、オクルージョンが起きている箇所
の処理の一例を示したフローチャートである。
の処理（ステップ２３）前記オクルージョンが起きてい
る箇所のマークアップ（ステップ２２）において、パス
カウンタ が互いに同一で、互いに隣接しているノード
の集合を区間とよぶ。これら区間の内、パスカウンタが
１でない区間（オクルージョンが起きている区間）か
つ、該当区間が十分に短い区間に挟まれている場合、オ
クルージョン区間前後での径路の繋ぎ直しの自動化が期
待できる。図１７は、オクルージョンが起きている箇所
の処理の一例を示したフローチャートである。
【００８８】個々のグラフにおいてオクルージョンが起
きている箇所を探し（ステップ４９）、個々のオクルー
ジョンに対してオクルージョンが起きている時間的長さ
を求める。抽出したオクルージョン区間のうち、長さが
十分に短く隣接する区間が十分に長い区間をショートオ
クルージョン区間として処理の対象とする（ステップ５
０）。
きている箇所を探し（ステップ４９）、個々のオクルー
ジョンに対してオクルージョンが起きている時間的長さ
を求める。抽出したオクルージョン区間のうち、長さが
十分に短く隣接する区間が十分に長い区間をショートオ
クルージョン区間として処理の対象とする（ステップ５
０）。
【００８９】着目オクルージョンへの入力径路と出力径
路の可能な組み合わせを全て算出し（ステップ５１）、
個々の組み合わせにおける接続性の総和を評価する。接
続性は、数６に示すように、オクルージョン区間に隣接
する区間における、該当オクルージョン近傍における平
均加速度の差分の絶対値または平均曲率の差分の絶対値
を用いることができる。
路の可能な組み合わせを全て算出し（ステップ５１）、
個々の組み合わせにおける接続性の総和を評価する。接
続性は、数６に示すように、オクルージョン区間に隣接
する区間における、該当オクルージョン近傍における平
均加速度の差分の絶対値または平均曲率の差分の絶対値
を用いることができる。
【００９０】
【数６】 但し、ci:i番目の組み合わせの接続性の評価、 aj:着目している組み合わせの入力径路上にあって、オ
クルージョン近傍にある個々のノードにおける加速度又
は曲率、 ak:着目している組み合わせの出力径路上にあって、オ
クルージョン近傍にある個々のノードにおける加速度又
は曲率、 である。
クルージョン近傍にある個々のノードにおける加速度又
は曲率、 ak:着目している組み合わせの出力径路上にあって、オ
クルージョン近傍にある個々のノードにおける加速度又
は曲率、 である。
【００９１】これら接続性で入出径路の組合せをソート
し（ステップ５２）、他に比べ有為に接続性が高い組み
合わせがあるかを判断する（ステップ５３）。あると判
断される場合にはこの組み合わせを正しい組み合わせと
し、それぞれを接続するようにオクルージョンを解消
し、径路探査木において不要となった枝を刈る。これら
処理をオクルージョン箇所の全てについて行う（ステッ
プ５５）。
し（ステップ５２）、他に比べ有為に接続性が高い組み
合わせがあるかを判断する（ステップ５３）。あると判
断される場合にはこの組み合わせを正しい組み合わせと
し、それぞれを接続するようにオクルージョンを解消
し、径路探査木において不要となった枝を刈る。これら
処理をオクルージョン箇所の全てについて行う（ステッ
プ５５）。
【００９２】なお、ここでは、接続性を評価する手法と
して、加速度または曲率を例示しているが、これには限
られない。たとえばオクルージョン前後の平均速度、ま
たは、オクルージョン前後のオブジェクトの移動方向の
平均値を用いることも可能である。
して、加速度または曲率を例示しているが、これには限
られない。たとえばオクルージョン前後の平均速度、ま
たは、オクルージョン前後のオブジェクトの移動方向の
平均値を用いることも可能である。
【００９３】６．５ 組み合わせ爆発の判定および選択
肢の提示（ステップ２４、２５） 現在管理している径路の長さおよび、径路数より径路の
選択枝の組み合わせ爆発が起きているかどうか、十分に
長い区間において一意に径路が決まらない部分を判定す
る。
肢の提示（ステップ２４、２５） 現在管理している径路の長さおよび、径路数より径路の
選択枝の組み合わせ爆発が起きているかどうか、十分に
長い区間において一意に径路が決まらない部分を判定す
る。
【００９４】選択枝数は、最新の径路リストの長さｌに
より自明である。また、十分に長い区間において一意に
径路が決まらない部分は該当部分の径路探索木の深さｄ
とすると、ｄと、ｌの関係によって以下のように判定で
きる。
より自明である。また、十分に長い区間において一意に
径路が決まらない部分は該当部分の径路探索木の深さｄ
とすると、ｄと、ｌの関係によって以下のように判定で
きる。
【００９５】ｌ≧Ｐmaxの場合は選択枝爆発（組合せ爆
発） ｌ＜Ｐmax かつ ｄ≧Ｄmaxの場合は十分に長い区間に
おいて一意に径路が決まらない但し、Ｐmax は径路の選
択枝の上限、Ｄmax は複数選択枝を許す区間の長さの上
限、である。
発） ｌ＜Ｐmax かつ ｄ≧Ｄmaxの場合は十分に長い区間に
おいて一意に径路が決まらない但し、Ｐmax は径路の選
択枝の上限、Ｄmax は複数選択枝を許す区間の長さの上
限、である。
【００９６】選択肢が組み合わせ爆発を起こす可能性が
ある場合に可能な選択枝を利用者に提示し、正しい径路
を指定してもらう。選択肢が十分に小さい場合には全て
の径路を一度に提示し選択を促す。選択肢が多い場合に
は径路探索木を根から幾つかの階層毎に選択枝を一定量
以下に保つように選択可能な径路を提示する。図１８は
組み合わせ爆発の判定および選択肢の提示の処理の一例
を示したフローチャートである。
ある場合に可能な選択枝を利用者に提示し、正しい径路
を指定してもらう。選択肢が十分に小さい場合には全て
の径路を一度に提示し選択を促す。選択肢が多い場合に
は径路探索木を根から幾つかの階層毎に選択枝を一定量
以下に保つように選択可能な径路を提示する。図１８は
組み合わせ爆発の判定および選択肢の提示の処理の一例
を示したフローチャートである。
【００９７】径路探索木を「breadth-first」で探索し
ながらノードを取り出し着目する（ステップ５６）。着
目ノードが径路探索木における現在の深さのものかどう
かを確認し（ステップ５７）、もしそうであるなら、該
当ノードを選択枝のリストに追加する（ステップ５
８）。もし、着目ノードが現在の深さのものでない場合
にはさらに現在の選択枝リストの長さが閾値を越えてい
るかどうかを確認する（ステップ５９）。もし超えてい
る場合には現在の選択枝リストにある径路を利用者に提
示し（ステップ６０）、利用者に選択してもらう。前記
選択枝リストの長さが閾値を越えていない場合には選択
枝リストをクリアし（ステップ６１）、着目ノードを選
択枝リストに追加し（ステップ６２）、前記現在の深さ
を更新する（ステップ６３）。この処理を「breadth-fi
rst」で径路探索木を辿りながら全ての経路探索木（パ
スツリー）について実施する（ステップ６４）。
ながらノードを取り出し着目する（ステップ５６）。着
目ノードが径路探索木における現在の深さのものかどう
かを確認し（ステップ５７）、もしそうであるなら、該
当ノードを選択枝のリストに追加する（ステップ５
８）。もし、着目ノードが現在の深さのものでない場合
にはさらに現在の選択枝リストの長さが閾値を越えてい
るかどうかを確認する（ステップ５９）。もし超えてい
る場合には現在の選択枝リストにある径路を利用者に提
示し（ステップ６０）、利用者に選択してもらう。前記
選択枝リストの長さが閾値を越えていない場合には選択
枝リストをクリアし（ステップ６１）、着目ノードを選
択枝リストに追加し（ステップ６２）、前記現在の深さ
を更新する（ステップ６３）。この処理を「breadth-fi
rst」で径路探索木を辿りながら全ての経路探索木（パ
スツリー）について実施する（ステップ６４）。
【００９８】なお、ステップ６０における選択肢の提示
方法には以下に示す方法がある。 （１）候補となる径路上のノードに対応する選手の画像
を全て同時に表示し、この上に候補となる径路も選択肢
として同時に表示する。一例を図１９に示す。 （２）候補となる径路上のノードに対応する選手の画像
を全て同時に表示し、この上に候補となる径路を順番に
表示する。一例を図２０に示す。 （３）候補となる径路上のノードに対応する選手の画像
を全て同時に表示し、この上に候補となる径路を順番に
時系列に再現しながら表示する。一例を図２１に示す。 （４）候補となる径路上のノードに対応する選手の画像
を全て同時に表示し、該当径路を利用者にマウス、ペ
ン、タッチパネル等のポインティングデバイス（pointi
ng device）でなぞらせる。最も入力に近い形状の候補
が選択された経路となる。一例を図２２に示す。 （５）候補となる径路を同時に表示し、その上に個々の
候補となる径路上のノードに対応する選手の画像を候補
毎に順番に表示する。一例を図２３に示す。 （６）候補となる径路を同時に表示し、その上に個々の
候補となる径路上のノードに対応する選手の画像を候補
毎に時系列に順番に表示する。一例を図２４に示す。
方法には以下に示す方法がある。 （１）候補となる径路上のノードに対応する選手の画像
を全て同時に表示し、この上に候補となる径路も選択肢
として同時に表示する。一例を図１９に示す。 （２）候補となる径路上のノードに対応する選手の画像
を全て同時に表示し、この上に候補となる径路を順番に
表示する。一例を図２０に示す。 （３）候補となる径路上のノードに対応する選手の画像
を全て同時に表示し、この上に候補となる径路を順番に
時系列に再現しながら表示する。一例を図２１に示す。 （４）候補となる径路上のノードに対応する選手の画像
を全て同時に表示し、該当径路を利用者にマウス、ペ
ン、タッチパネル等のポインティングデバイス（pointi
ng device）でなぞらせる。最も入力に近い形状の候補
が選択された経路となる。一例を図２２に示す。 （５）候補となる径路を同時に表示し、その上に個々の
候補となる径路上のノードに対応する選手の画像を候補
毎に順番に表示する。一例を図２３に示す。 （６）候補となる径路を同時に表示し、その上に個々の
候補となる径路上のノードに対応する選手の画像を候補
毎に時系列に順番に表示する。一例を図２４に示す。
【００９９】以上説明したような処理によって、オブジ
ェクトの生成、そのトラッキング、オクルージョンが発
生した時の処理を行える。以上の処理において、本シス
テムでは任意の処理段階で結果を出力できる。また画像
出力の形態には種々存在する。たとえば図２５に示すよ
うに、オブジェクトである選手の軌跡をトラッキング結
果としてビデオ画像に重畳して表示できる。なお、この
時図２５の下部に示すように各選手の位置をトップビュ
ーとして示すことができる。
ェクトの生成、そのトラッキング、オクルージョンが発
生した時の処理を行える。以上の処理において、本シス
テムでは任意の処理段階で結果を出力できる。また画像
出力の形態には種々存在する。たとえば図２５に示すよ
うに、オブジェクトである選手の軌跡をトラッキング結
果としてビデオ画像に重畳して表示できる。なお、この
時図２５の下部に示すように各選手の位置をトップビュ
ーとして示すことができる。
【０１００】また、図２６に示すように、コート上の選
手の動きをトラッキングして表示することができる。こ
のような表示形態により試合中の各選手の動きが明瞭に
なり、スポーツ指導、テレビ中継等の用途に用いること
ができる。さらに本発明はハードディスク装置等に記録
した画像データについても適用できるので、選手の動き
をトラッキングしてリプレイが可能であり、スポーツ競
技における戦術の研究等に応用できる。
手の動きをトラッキングして表示することができる。こ
のような表示形態により試合中の各選手の動きが明瞭に
なり、スポーツ指導、テレビ中継等の用途に用いること
ができる。さらに本発明はハードディスク装置等に記録
した画像データについても適用できるので、選手の動き
をトラッキングしてリプレイが可能であり、スポーツ競
技における戦術の研究等に応用できる。
【０１０１】本実施の形態のシステムおよび処理方法に
よれば、人間のような自由度の高いオブジェクトを画像
データから有効に切り出すことができる。また、計算負
荷の小さいグラフを用いてオブジェクトのトラッキング
を行うので計算コストが低く抑えられる。同時に、本実
施の形態のシステムおよび方法によれば、各領域（オブ
ジェクト）間を接続するエッジに色空間および実空間の
画像特徴を利用するとともに時系列な経路探索を用いる
ので時間に関する情報も用いる。このため、計算コスト
が小さくかつ正確なトラッキングを行うことができる。
よれば、人間のような自由度の高いオブジェクトを画像
データから有効に切り出すことができる。また、計算負
荷の小さいグラフを用いてオブジェクトのトラッキング
を行うので計算コストが低く抑えられる。同時に、本実
施の形態のシステムおよび方法によれば、各領域（オブ
ジェクト）間を接続するエッジに色空間および実空間の
画像特徴を利用するとともに時系列な経路探索を用いる
ので時間に関する情報も用いる。このため、計算コスト
が小さくかつ正確なトラッキングを行うことができる。
【０１０２】また、本実施の形態によれば、領域生成の
際に、領域が検出できなかった場合に仮ノードを生成す
るので、ノイズ等によって領域が欠落してもこれに対処
できる。この際マイナスのコンフィデンスファクタの変
動値を用いるので、必要のない径路は有効に削除され
る。また、ノイズ等によって小枝が発生しても、径路の
コンフィデンスファクタを用いてオブジェクトらしさを
評価するので、高い精度でオブジェクトを追跡できる。
一方、コンフィデンスファクタの小さな径路は速やかに
削除できるので、計算負荷の増加を抑制できる。
際に、領域が検出できなかった場合に仮ノードを生成す
るので、ノイズ等によって領域が欠落してもこれに対処
できる。この際マイナスのコンフィデンスファクタの変
動値を用いるので、必要のない径路は有効に削除され
る。また、ノイズ等によって小枝が発生しても、径路の
コンフィデンスファクタを用いてオブジェクトらしさを
評価するので、高い精度でオブジェクトを追跡できる。
一方、コンフィデンスファクタの小さな径路は速やかに
削除できるので、計算負荷の増加を抑制できる。
【０１０３】また本実施の形態によれば、利用者にオク
ルージョン箇所の接続可能性を選択させる前に、予めシ
ステムで排除できる可能性を排除している。このため利
用者にとって必要最低限の選択操作のみでオクルージョ
ンを生じた場合のトラッキングの修正を行うことができ
る。
ルージョン箇所の接続可能性を選択させる前に、予めシ
ステムで排除できる可能性を排除している。このため利
用者にとって必要最低限の選択操作のみでオクルージョ
ンを生じた場合のトラッキングの修正を行うことができ
る。
【０１０４】以上、本発明者によってなされた発明を発
明の実施の形態に基づき具体的に説明したが、本発明は
前記実施の形態に限定されるものではなく、その要旨を
逸脱しない範囲で種々変更可能である。
明の実施の形態に基づき具体的に説明したが、本発明は
前記実施の形態に限定されるものではなく、その要旨を
逸脱しない範囲で種々変更可能である。
【０１０５】
【発明の効果】本願で開示される発明のうち、代表的な
ものによって得られる効果は、以下の通りである。すな
わち、人間等自由度の高いオブジェクトのオクルージョ
ンを効果的に判別する手法を提供できる。前記したオク
ルージョン判別の手法を計算コストをかけずに提供でき
る。インタラクティブな処理を簡略化し、人手による作
業量、作業時間、作業負荷を低減することができる。
ものによって得られる効果は、以下の通りである。すな
わち、人間等自由度の高いオブジェクトのオクルージョ
ンを効果的に判別する手法を提供できる。前記したオク
ルージョン判別の手法を計算コストをかけずに提供でき
る。インタラクティブな処理を簡略化し、人手による作
業量、作業時間、作業負荷を低減することができる。
【図１】本発明の画像処理方法の一例を示した全体フロ
ーチャートである。
ーチャートである。
【図２】初期化の処理の流れを示したフローチャートで
ある。
ある。
【図３】セグメンテーション処理の一例を示したフロー
チャートである。
チャートである。
【図４】グラフ生成の一例を示したフローチャートであ
る。
る。
【図５】グラフ処理の一例を示したフローチャートであ
る。
る。
【図６】小枝除去処理の一例を示したフローチャートで
ある。
ある。
【図７】小枝によるノイズを除去する前のサンプル画像
である。
である。
【図８】小枝によるノイズを除去した後のサンプル画像
である。
である。
【図９】径路探索処理の一例を示すフローチャートであ
る。
る。
【図１０】グラフとそれを径路探索することにより得ら
れる径路探索木の一例を示した図である。
れる径路探索木の一例を示した図である。
【図１１】オクルージョンの例を示したサンプル画像で
ある。
ある。
【図１２】オクルージョン箇所のマークアップ処理の一
例を示すフローチャートである。
例を示すフローチャートである。
【図１３】パスカウンタまたはパスカウンタウェイトを
説明するためのグラフの図である。
説明するためのグラフの図である。
【図１４】パスカウンタまたはパスカウンタウェイトを
説明するための径路探索木の図である。
説明するための径路探索木の図である。
【図１５】パスカウンタまたはパスカウンタウェイトを
説明するためのグラフの図である。
説明するためのグラフの図である。
【図１６】パスカウンタのシーズニングを説明するため
のグラフの図である。
のグラフの図である。
【図１７】オクルージョンが起きている箇所の処理の一
例を示したフローチャートである。
例を示したフローチャートである。
【図１８】組み合わせ爆発の判定および選択肢の提示の
処理の一例を示したフローチャートである。
処理の一例を示したフローチャートである。
【図１９】利用者への選択肢を提示する画面の一例を示
した表示画像である。
した表示画像である。
【図２０】利用者への選択肢を提示する画面の一例を示
した表示画像である。
した表示画像である。
【図２１】利用者への選択肢を提示する画面の一例を示
した表示画像である。
した表示画像である。
【図２２】利用者への選択肢を提示する画面の一例を示
した表示画像である。
した表示画像である。
【図２３】利用者への選択肢を提示する画面の一例を示
した表示画像である。
した表示画像である。
【図２４】利用者への選択肢を提示する画面の一例を示
した表示画像である。
した表示画像である。
【図２５】表示画面の一例を示した表示画像である。
【図２６】表示画面の他の例を示した表示画像である。
１〜６４…ステップ、Ａ〜Ｇ…ノード。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｋ Ｇ (72)発明者 富田 アルベルト 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 村尾 高秋 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 越後 富夫 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 Ｆターム(参考） 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE09 DA08 DB02 DB06 DB09 DC03 DC04 DC06 DC07 DC08 DC19 DC25 5C054 CA04 CC05 CG06 EA01 EA05 EF06 FB03 FC04 FC13 HA01 HA17 5L096 AA02 AA06 CA02 FA02 FA15 FA37 FA46 FA59 FA60 FA66 FA67 FA68 FA74 FA77 GA08 GA34 HA03 HA05 HA13
Claims (29)
- 【請求項１】 時系列に順序付けられた複数の画像デー
タのうち、第１画像データを入力するステップと、 前記第１画像データの画素を領域化するステップと、 前記領域化により生成された第１画像領域に第１ノード
を対応付けるステップと、 前記複数の画像データのうち、前記第１画像データより
前記時系列の後にある第２画像データを入力するステッ
プと、 前記第１画像領域を拡張した拡張領域を対象として、第
２画像データの画素を領域化するステップと、 前記領域化により生成された第２画像領域に第２ノード
を対応付けるステップと、 前記第１ノードと前記第２ノードとをエッジによって対
応付け、グラフを生成するステップと、 を有する画像処理方法。 - 【請求項２】 前記第１または第２画像データの画素を
領域化するステップは、 各画素にラベルを付すステップと、 前記画素の前記ラベルと前記画素に隣接する画素のラベ
ルとを比較し、同一のラベルである場合には同一の領域
に分類し前記第１または第２画像領域を生成するステッ
プと、 を有する請求項１記載の画像処理方法。 - 【請求項３】 前記ラベルは、色空間におけるガウス分
布関数であり、前記ガウス分布関数の中心値は前記ラベ
ルを代表する色の色値であり、 色空間における前記画素と前記ガウス分布関数とのマハ
ラノビス距離が最も小さい前記ガウス分布関数に対応す
るラベルが、前記画素に付される請求項２記載の画像処
理方法。 - 【請求項４】 前記生成された第１または第２画像領域
の、面積、重心、前記第１または第２画像を囲む最小正
方形その他前記第１または第２画像領域を特徴付ける領
域特徴を計算するステップをさらに有する請求項２記載
の画像処理方法。 - 【請求項５】 前記第２画像データの領域化において、
前記第２画像領域が生成されない場合には、前記第２ノ
ードに相当する仮ノードを生成するステップを有する請
求項１記載の画像処理方法。 - 【請求項６】 前記第２画像領域が生成された場合には
前記第２画像領域に正のコンフィデンスファクタの変動
値を与え、前記第２画像領域が生成されない場合には前
記仮ノードに負のコンフィデンスファクタの変動値を与
える請求項５記載の画像処理方法。 - 【請求項７】 前記エッジには重みを与え、 前記重みを表す関数には、前記エッジ前後の各ノードの
画像の一貫性を、色空間における画像特徴で表す第１の
項と、実空間（距離空間）における画像特徴で表す第２
の項と、の何れかの項を少なくとも含む請求項１記載の
画像処理方法。 - 【請求項８】 前記第１の項は、前記エッジ前後の各ノ
ードにおいて、その画像領域を構成する画素間の色の絶
対差分の平均値を含む項であり、 前記第２の項は、前記エッジ前後の各ノードの画像領域
間の正規化されたオーバーラップ面積を与える項である
請求項７記載の画像処理方法。 - 【請求項９】 前記グラフを処理するステップをさらに
有し、 前記グラフを処理するステップには、 枝分かれノードを探索し前記枝分かれノードを始点とす
る所定の深さの前記始点前後の径路リストを生成するス
テップと、 前記径路リストから同一の終点を持つ径路を検出するス
テップと、 前記同一の終点を持つ径路のコンフィデンスファクタを
評価し、所定のコンフィデンスファクタより小さい経路
を削除するステップと、 を含む請求項１記載の画像処理方法。 - 【請求項１０】 前記グラフを処理するステップをさら
に有し、 前記グラフを処理するステップには、 枝分かれノードを探索し前記枝分かれノードを始点とす
る所定の深さの前記始点前後の径路リストを生成するス
テップと、 前記径路リストにおいて前記深さまでの探索で終点が検
出されない径路があるかを判断するステップと、 前記判断が真の場合、前記終点が検出されない径路以外
の枝分かれ径路を削除するステップと、 を含む請求項１記載の画像処理方法。 - 【請求項１１】 前記判断が偽の場合、前記径路リスト
の各径路のコンフィデンスファクタを評価し、最も大き
な前記径路のコンフィデンスファクタを有する径路以外
の径路を削除する請求項１０記載の画像処理方法。 - 【請求項１２】 前記径路のコンフィデンスファクタ
は、前記グラフの各ノードに与えられたコンフィデンス
ファクタの変動値と前記グラフのエッジに与えられた重
みとの積を、前記径路の各ノードについて加算した値と
して求められる請求項９または１１記載の画像処理方
法。 - 【請求項１３】 前記領域化において、前記第１または
第２画像領域が生成されない場合には、前記コンフィデ
ンスファクタファクタの変動値として負の値が与えられ
る仮ノードを生成し、 前記エッジの重みを表す関数には、前記エッジ前後の各
ノードにおいて、その画像領域を構成する画素間の色の
絶対差分の平均値を含む第１の項と、前記エッジ前後の
各ノードの画像領域間の規格化されたオーバーラップ面
積を与える第２の項と、の何れかの項を少なくとも含む
請求項１２記載の画像処理方法。 - 【請求項１４】 前記グラフを処理するステップをさら
に有し、 前記グラフを処理するステップには、 オクルージョン箇所をマークアップするステップと、 前記オクルージョン箇所を処理するステップと、 組合せ爆発を判定するステップと、 組合せ爆発であると判定された時には、可能な組合せの
選択肢を提示するステップと、 を含む請求項１記載の画像処理方法。 - 【請求項１５】 前記オクルージョン箇所をマークアッ
プするステップには、 前記グラフの径路探索を行って径路探索木を生成するス
テップと、 前記径路探索木の根ノードからトラバースし、前記径路
探索木のノードごとにパスカウンタウェイトを、前記ノ
ードの子供ノードが１つの場合は１とし、子供ノードが
複数のある場合には、１を子供ノードの数で割った値と
して生成するステップと、 前記パスカウンタウェイトを合算し、前記グラフのノー
ドごとのパスカウンタを生成するステップと、 前記パスカウンタをシーズニングするステップと、を有
し、 前記オクルージョン箇所を処理するステップには、 前記パスカウンタが１を超えるノードを探索するステッ
プと、 前記パスカウンタが同一でかつ互いに隣り合うノードの
区間が所定の長さ以下であるかを判断するステップと、 前記判断が真の場合、可能な入出パスごとに接続性を評
価し、単一の有意な接続性を有する入出パスが存在する
場合には、前記単一の有意な接続性を有する入出パスを
接続するステップと、 を有する請求項１４記載の画像処理方法。 - 【請求項１６】 前記接続性の評価には、前記オクルー
ジョンを発生しているノード前後の平均速度、平均加速
度、移動方向の平均値または平均曲率の差分の絶対値を
用いる請求項１５記載の画像処理方法。 - 【請求項１７】 前記組合せ爆発の判定ステップには、 径路探索を行い、着目ノードを取得するステップと、 前記着目ノードが現在の深さかを判断し、真であればオ
クルージョン箇所の選択肢を選択肢リストに追加するス
テップと、 前記深さの判断が偽の場合、選択肢リストの長さが、所
定の閾値を超えているかを判断し、真であれば選択肢を
提示するステップと、 前記選択肢リストの長さの判断が偽の場合、選択肢リス
トをクリアし、前記着目ノードを選択肢リストに追加
し、現在の深さを更新するステップと、 を有する請求項１４記載の画像処理方法。 - 【請求項１８】 前記選択肢の提示は、前記画像データ
に前記選択肢を重畳して表示する請求項１７記載の画像
処理方法。 - 【請求項１９】 時系列に順序付けられた複数の画像デ
ータを入力する手段と、 前記画像データの画素を領域化する手段と、 前記領域化により生成された画像領域にノードを対応付
け、前記ノードと時系列に隣接する他のノードとの間に
エッジを対応付け、グラフを生成する手段と、 前記グラフを処理する手段と、 を有する画像処理システム。 - 【請求項２０】 前記画像データの画素を領域化する手
段には、 各画素にラベルを付す手段と、 前記画素の前記ラベルと前記画素に隣接する画素のラベ
ルとを比較し、同一のラベルである場合には同一の領域
に分類し前記画像領域を生成する手段と、を有し、 前記ラベルは、色空間におけるガウス分布関数であり、
前記ガウス分布関数の中心値は前記ラベルを代表する色
の色値であり、前記色空間における前記画素と前記ガウ
ス分布関数とのマハラノビス距離が最も小さい前記ガウ
ス分布関数に対応するラベルが、前記画素に付される請
求項１９記載の画像処理システム。 - 【請求項２１】 前記生成された画像領域の、面積、重
心、前記画像領域を囲む最小正方形その他前記画像領域
を特徴付ける領域特徴を計算する手段をさらに有する請
求項２０記載の画像処理システム。 - 【請求項２２】 前記画像データの領域化において、前
記画像領域が生成されない場合には、負のコンフィデン
スファクタの変動値を持つ仮ノードを生成する手段を有
する請求項１９記載の画像処理システム。 - 【請求項２３】 前記エッジの重みを、前記エッジ前後
の各ノードにおいて、その画像領域を構成する画素間の
色の絶対差分の平均値を含む第１の項と、前記エッジ前
後の各ノードの画像領域間の正規化されたオーバーラッ
プ面積を与える第２の項と、の何れかの項を少なくとも
含む関数を用いて計算する手段を有する請求項１９記載
の画像処理システム。 - 【請求項２４】 前記グラフを処理する手段には、 枝分かれノードを探索し前記枝分かれノードを始点とす
る所定の深さの前記始点前後の径路リストを生成する手
段と、前記径路リストから同一の終点を持つ径路を検出
する手段と、前記同一の終点を持つ径路のコンフィデン
スファクタを評価し、所定のコンフィデンスファクタよ
り小さい経路を削除する手段と、を含む第１の構成、ま
たは、 枝分かれノードを探索し前記枝分かれノードを始点とす
る所定の深さの前記始点前後の径路リストを生成する手
段と、前記径路リストにおいて前記深さまでの探索で終
点が検出されない径路があるかを判断する手段と、前記
判断が真の場合、前記終点が検出されない径路以外の枝
分かれ径路を削除する手段と、前記判断が偽の場合、前
記径路リストの各径路のコンフィデンスファクタを評価
し、最も大きな前記径路のコンフィデンスファクタを有
する径路以外の径路を削除する手段と、を含む第２の構
成、の何れかの構成を有する請求項１９記載の画像処理
システム。 - 【請求項２５】 前記径路のコンフィデンスファクタ
は、前記グラフの各ノードに与えられたコンフィデンス
ファクタの変動値と前記グラフのエッジに与えられた重
みとの積を、前記径路の各ノードについて加算した値と
して求められる請求項２４記載の画像処理システム。 - 【請求項２６】 前記グラフを処理する手段には、 前記グラフの径路探索を行って径路探索木を生成する手
段と、 前記径路探索木の根ノードからトラバースし、前記径路
探索木のノードごとにパスカウンタウェイトを、前記ノ
ードの子供ノードが１つの場合は１とし、子供ノードが
複数のある場合には、１を子供ノードの数で割った値と
して生成する手段と、 前記パスカウンタウェイトを合算し、前記グラフのノー
ドごとのパスカウンタを生成する手段と、 前記パスカウンタをシーズニングする手段と、 前記パスカウンタが１を超えるノードを探索する手段
と、 前記パスカウンタが同一でかつ互いに隣り合うノードの
区間が所定の長さ以下であるかを判断する手段と、 前記判断が真の場合、可能な入出パスごとに接続性を評
価し、単一の有意な接続性を有する入出パスが存在する
場合には、前記単一の有意な接続性を有する入出パスを
接続する手段と、 を有する請求項１９記載の画像処理システム。 - 【請求項２７】 前記グラフを処理する手段には、 径路探索を行い、着目ノードを取得する手段と、 前記着目ノードが現在の深さかを判断し、真であればオ
クルージョン箇所の選択肢を選択肢リストに追加する手
段と、 前記深さの判断が偽の場合、選択肢リストの長さが、所
定の閾値を超えているかを判断し、真であれば選択肢を
提示する手段と、 前記選択肢リストの長さの判断が偽の場合、選択肢リス
トをクリアし、前記着目ノードを選択肢リストに追加
し、現在の深さを更新する手段と、 を有する請求項１９記載の画像処理システム。 - 【請求項２８】 コンピュータ読取り可能な記録媒体で
あって、コンピュータに、 時系列に順序付けられた複数の画像データのうち、第１
画像データを入力する機能と、 前記第１画像データの画素を領域化する機能と、 前記領域化により生成された第１画像領域に第１ノード
を対応付ける機能と、 前記複数の画像データのうち、前記第１画像データより
前記時系列の後にある第２画像データを入力する機能
と、 前記第１画像領域を拡張した拡張領域を対象として、第
２画像データの画素を領域化する機能と、 前記領域化により生成された第２画像領域に第２ノード
を対応付ける機能と、 前記第１ノードと前記第２ノードとをエッジによって対
応付け、グラフを生成する機能と、 オクルージョン箇所をマークアップする機能と、 前記オクルージョン箇所を処理する機能と、 組合せ爆発を判定する機能と、 組合せ爆発であると判定された時には、可能な組合せの
選択肢を提示する機能と、 を実現させるためのプログラムが記録された記録媒体。 - 【請求項２９】 時系列に順序付けられた複数の画像デ
ータを入力するステップと、 前記画像データの画素を領域化するステップと、 前記領域化により生成された画像領域にノードを対応付
け、前記ノードと時系列に隣接する他のノードとの間に
エッジを対応付け、グラフを生成するステップと、 前記グラフを処理するステップと、 を有する画像処理方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000277013A JP3692500B2 (ja) | 2000-09-12 | 2000-09-12 | 画像処理方法、画像処理システムおよび記録媒体 |
| US09/950,878 US7251364B2 (en) | 2000-09-12 | 2001-09-12 | Image processing method, image processing system and storage medium therefor |
| US11/457,829 US7492944B2 (en) | 2000-09-12 | 2006-07-17 | Extraction and tracking of image regions arranged in time series |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000277013A JP3692500B2 (ja) | 2000-09-12 | 2000-09-12 | 画像処理方法、画像処理システムおよび記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002099918A true JP2002099918A (ja) | 2002-04-05 |
| JP3692500B2 JP3692500B2 (ja) | 2005-09-07 |
Family
ID=18762401
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000277013A Expired - Fee Related JP3692500B2 (ja) | 2000-09-12 | 2000-09-12 | 画像処理方法、画像処理システムおよび記録媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (2) | US7251364B2 (ja) |
| JP (1) | JP3692500B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285878A (ja) * | 2005-04-04 | 2006-10-19 | Nippon Hoso Kyokai <Nhk> | 映像解析装置および映像解析プログラム |
| WO2006129442A1 (ja) * | 2005-05-30 | 2006-12-07 | Olympus Corporation | 画像処理装置及び対象領域追跡プログラム |
| JP2010205274A (ja) * | 2010-04-05 | 2010-09-16 | Olympus Corp | 画像処理装置 |
| JP2012518223A (ja) * | 2009-02-13 | 2012-08-09 | アリババ・グループ・ホールディング・リミテッド | 画像特徴抽出方法及びシステム |
| JP2013501289A (ja) * | 2009-08-06 | 2013-01-10 | 株式会社東芝 | 画像解析方法 |
| JP2013501288A (ja) * | 2009-08-06 | 2013-01-10 | 株式会社東芝 | ビデオ映像の監視 |
| JP2013514581A (ja) * | 2009-12-16 | 2013-04-25 | トムソン ライセンシング | ヒューマンインタラクションによる軌跡に基づいたシステム |
| JPWO2016021121A1 (ja) * | 2014-08-05 | 2017-05-25 | パナソニック株式会社 | 修正確認方法および修正確認装置 |
Families Citing this family (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7428331B2 (en) * | 2004-11-30 | 2008-09-23 | Seiko Epson Corporation | Page background estimation using color, texture and edge features |
| US20060210159A1 (en) * | 2005-03-15 | 2006-09-21 | Yea-Shuan Huang | Foreground extraction approach by using color and local structure information |
| JP2007014457A (ja) * | 2005-07-06 | 2007-01-25 | Sega Corp | ビデオゲーム制御プログラムおよびビデオゲーム装置 |
| JP4999163B2 (ja) * | 2006-04-17 | 2012-08-15 | 富士フイルム株式会社 | 画像処理方法および装置ならびにプログラム |
| JP2007334631A (ja) * | 2006-06-15 | 2007-12-27 | Sony Corp | 画像監視システムおよび物体領域追跡方法 |
| US7609271B2 (en) * | 2006-06-30 | 2009-10-27 | Microsoft Corporation | Producing animated scenes from still images |
| US8111257B2 (en) * | 2007-03-06 | 2012-02-07 | Aiseek Ltd. | System and method for the generation of navigation graphs in real-time |
| EP2036045A1 (en) * | 2007-07-11 | 2009-03-18 | Cairos technologies AG | Video tracking method and appartus arrangement for performing the method |
| US8855360B2 (en) * | 2008-07-23 | 2014-10-07 | Qualcomm Technologies, Inc. | System and method for face tracking |
| US9269154B2 (en) * | 2009-01-13 | 2016-02-23 | Futurewei Technologies, Inc. | Method and system for image processing to classify an object in an image |
| CN102369540A (zh) * | 2009-01-13 | 2012-03-07 | 华为技术有限公司 | 用于对象跟踪的图像处理系统和方法 |
| US8665375B2 (en) * | 2009-06-22 | 2014-03-04 | Wsi Corporation | Apparatus and method for tracking the location of a pointing element in a cropped video field |
| KR101908388B1 (ko) | 2012-07-19 | 2018-10-17 | 삼성전자 주식회사 | 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법 |
| JP5833994B2 (ja) * | 2012-09-20 | 2015-12-16 | 富士フイルム株式会社 | 画像処理装置および方法ならびにプログラム |
| KR101977802B1 (ko) * | 2012-10-10 | 2019-05-13 | 삼성전자주식회사 | 영상 시스템에서 움직임 추정 장치 및 방법 |
| CN103838360B (zh) * | 2012-11-26 | 2018-07-06 | 联想(北京)有限公司 | 一种操作指令的识别方法和设备 |
| CN104982032B (zh) | 2012-12-12 | 2018-09-07 | 华为技术有限公司 | 3d图像数据分割的方法和装置 |
| EP2932466B1 (en) * | 2012-12-12 | 2019-12-04 | Huawei Technologies Co., Ltd. | Method and apparatus for segmentation of 3d image data |
| KR20150011943A (ko) * | 2013-07-24 | 2015-02-03 | 삼성전자주식회사 | 방송 제공 장치, 방송 제공 시스템 및 이들의 방송 제공 방법 |
| US9342785B2 (en) * | 2013-11-15 | 2016-05-17 | Disney Enterprises, Inc. | Tracking player role using non-rigid formation priors |
| US10140575B2 (en) | 2013-11-15 | 2018-11-27 | Disney Enterprises, Inc. | Sports formation retrieval |
| KR101631955B1 (ko) * | 2014-12-10 | 2016-06-20 | 삼성전자주식회사 | 목표 대상 추적 장치 및 방법 |
| US9975040B2 (en) * | 2015-06-07 | 2018-05-22 | Apple Inc. | Procedural navigation graphs for identifying a route for a virtual object |
| CN105631001A (zh) * | 2015-12-28 | 2016-06-01 | 辽宁师范大学 | 基于多特征融合的hsv空间图像检索的彩色图像检索方法 |
| WO2017183270A1 (ja) * | 2016-04-22 | 2017-10-26 | パナソニックＩｐマネジメント株式会社 | 動画分割方法、動画分割装置および動画処理システム |
| US10403026B2 (en) * | 2016-11-04 | 2019-09-03 | Disney Enterprises, Inc. | Noise reduction on G-buffers for Monte Carlo filtering |
| JP7225810B2 (ja) * | 2019-01-11 | 2023-02-21 | 富士通株式会社 | ひび線抽出装置、ひび線抽出方法、及び、ひび線抽出プログラム |
| US11940968B2 (en) * | 2021-12-22 | 2024-03-26 | Intuit Inc. | Systems and methods for structuring data |
| CN114519696B (zh) * | 2021-12-31 | 2022-11-29 | 扬州盛强薄膜材料有限公司 | 基于光学智能化的pvc热收缩膜检测方法及系统 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6252974B1 (en) | 1995-03-22 | 2001-06-26 | Idt International Digital Technologies Deutschland Gmbh | Method and apparatus for depth modelling and providing depth information of moving objects |
| US6516092B1 (en) * | 1998-05-29 | 2003-02-04 | Cognex Corporation | Robust sub-model shape-finder |
| US6766037B1 (en) * | 1998-10-02 | 2004-07-20 | Canon Kabushiki Kaisha | Segmenting moving objects and determining their motion |
| TW452748B (en) | 1999-01-26 | 2001-09-01 | Ibm | Description of video contents based on objects by using spatio-temporal features and sequential of outlines |
| US6477269B1 (en) * | 1999-04-20 | 2002-11-05 | Microsoft Corporation | Method and system for searching for images based on color and shape of a selected image |
| US6778698B1 (en) * | 1999-06-11 | 2004-08-17 | Pts Corporation | Method and apparatus for digital image segmentation |
| US6674877B1 (en) * | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
| US6973212B2 (en) * | 2000-09-01 | 2005-12-06 | Siemens Corporate Research, Inc. | Graph cuts for binary segmentation of n-dimensional images from object and background seeds |
| US6763137B1 (en) * | 2000-09-14 | 2004-07-13 | Canon Kabushiki Kaisha | Recognition and clustering of connected components in bi-level images |
| TW505892B (en) * | 2001-05-25 | 2002-10-11 | Ind Tech Res Inst | System and method for promptly tracking multiple faces |
-
2000
- 2000-09-12 JP JP2000277013A patent/JP3692500B2/ja not_active Expired - Fee Related
-
2001
- 2001-09-12 US US09/950,878 patent/US7251364B2/en not_active Expired - Fee Related
-
2006
- 2006-07-17 US US11/457,829 patent/US7492944B2/en not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006285878A (ja) * | 2005-04-04 | 2006-10-19 | Nippon Hoso Kyokai <Nhk> | 映像解析装置および映像解析プログラム |
| JP4644022B2 (ja) * | 2005-04-04 | 2011-03-02 | 日本放送協会 | 映像解析装置および映像解析プログラム |
| WO2006129442A1 (ja) * | 2005-05-30 | 2006-12-07 | Olympus Corporation | 画像処理装置及び対象領域追跡プログラム |
| US8019143B2 (en) | 2005-05-30 | 2011-09-13 | Olympus Corporation | Image processing apparatus and computer program product |
| JP2012518223A (ja) * | 2009-02-13 | 2012-08-09 | アリババ・グループ・ホールディング・リミテッド | 画像特徴抽出方法及びシステム |
| JP2013501289A (ja) * | 2009-08-06 | 2013-01-10 | 株式会社東芝 | 画像解析方法 |
| JP2013501288A (ja) * | 2009-08-06 | 2013-01-10 | 株式会社東芝 | ビデオ映像の監視 |
| US8811666B2 (en) | 2009-08-06 | 2014-08-19 | Kabushiki Kaisha Toshiba | Monitoring of video images |
| US9014422B2 (en) | 2009-08-06 | 2015-04-21 | Kabushiki Kaisha Toshiba | Method of recognizing a moving feature in a video sequence |
| JP2013514581A (ja) * | 2009-12-16 | 2013-04-25 | トムソン ライセンシング | ヒューマンインタラクションによる軌跡に基づいたシステム |
| US8977109B2 (en) | 2009-12-16 | 2015-03-10 | Thomson Licensing | Human interaction trajectory-based system |
| JP2010205274A (ja) * | 2010-04-05 | 2010-09-16 | Olympus Corp | 画像処理装置 |
| JPWO2016021121A1 (ja) * | 2014-08-05 | 2017-05-25 | パナソニック株式会社 | 修正確認方法および修正確認装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US7492944B2 (en) | 2009-02-17 |
| US20030048849A1 (en) | 2003-03-13 |
| JP3692500B2 (ja) | 2005-09-07 |
| US7251364B2 (en) | 2007-07-31 |
| US20060280335A1 (en) | 2006-12-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3692500B2 (ja) | 画像処理方法、画像処理システムおよび記録媒体 | |
| US11789545B2 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
| Shen et al. | Multiobject tracking by submodular optimization | |
| Yu et al. | Trajectory-based ball detection and tracking in broadcast soccer video | |
| CN108229504B (zh) | 图像解析方法及装置 | |
| KR101891225B1 (ko) | 배경 모델을 업데이트하기 위한 방법 및 장치 | |
| CN108875481B (zh) | 用于行人检测的方法、装置、系统及存储介质 | |
| US8953039B2 (en) | System and method for auto-commissioning an intelligent video system | |
| Lyons et al. | Combining multiple scoring systems for target tracking using rank–score characteristics | |
| US10679096B2 (en) | System and method for plant leaf identification | |
| US20210158071A1 (en) | Match determination device, match determination method, storage medium | |
| Velumani | Wheat ear detection in plots by segmenting mobile laser scanner data | |
| CN107948721B (zh) | 推送信息的方法和装置 | |
| CN112070035A (zh) | 基于视频流的目标跟踪方法、装置及存储介质 | |
| CN116524377A (zh) | 一种基于tir图像的无人机目标跟踪识别方法 | |
| CN113723833B (zh) | 造林实绩质量评价方法、系统、终端设备及存储介质 | |
| CN111179304A (zh) | 目标关联方法、装置和计算机可读存储介质 | |
| JP7104252B2 (ja) | 学習データセット生成装置および方法 | |
| He et al. | High-accuracy and quick matting based on sample-pair refinement and local optimization | |
| CN114332716A (zh) | 视频中场景的聚类方法、装置、电子设备及存储介质 | |
| CN110852172B (zh) | 一种基于Cycle Gan图片拼贴并增强的扩充人群计数数据集的方法 | |
| Pawar et al. | Position Based Advertisement Change Detection | |
| CN117789452A (zh) | 交通状态的识别方法、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040206 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040421 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040720 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040728 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041117 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20050217 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20050222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050511 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050608 |
|
| RD14 | Notification of resignation of power of sub attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7434 Effective date: 20050608 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050610 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090701 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100701 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110701 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110701 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120701 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |