JP2000048207A - 一対の画像から１つの画像における物体の相対的深度を検出する方法 - Google Patents
一対の画像から１つの画像における物体の相対的深度を検出する方法Info
- Publication number
- JP2000048207A JP2000048207A JP11148951A JP14895199A JP2000048207A JP 2000048207 A JP2000048207 A JP 2000048207A JP 11148951 A JP11148951 A JP 11148951A JP 14895199 A JP14895199 A JP 14895199A JP 2000048207 A JP2000048207 A JP 2000048207A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- boundary
- model
- region
- estimation error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 86
- 230000033001 locomotion Effects 0.000 claims abstract description 184
- 239000013598 vector Substances 0.000 claims abstract description 12
- 238000013467 fragmentation Methods 0.000 claims abstract description 10
- 238000006062 fragmentation reaction Methods 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims description 6
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 2
- 230000002123 temporal effect Effects 0.000 claims 1
- 230000004807 localization Effects 0.000 abstract description 2
- 239000012634 fragment Substances 0.000 description 15
- 238000012545 processing Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- RJKFOVLPORLFTN-LEKSSAKUSA-N Progesterone Chemical compound C1CC2=CC(=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H](C(=O)C)[C@@]1(C)CC2 RJKFOVLPORLFTN-LEKSSAKUSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 101150034459 Parpbp gene Proteins 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000007562 laser obscuration time method Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】 （修正有）
【課題】 一対の画像から１つの画像における物体の相
対的深度を検出する方法。 【解決方法】 情景の異なるショットから得られた２つ
の画像から互いに相対的に動く２つの隣接する領域の相
対的深度を検出する方法を開示している。この方法は、
画像の一方、いわゆる基準画像の空間的断片化を行い；
２つの画像間の動きの局所的推定を行い、その結果とし
て生じるベクトル場は局所的動きとよばれ；動き境界に
沿った動き推定エラーを決定し；動き境界に沿った動き
推定エラーの局所化の分析を行い、上記境界に沿った動
き推定エラーがこの境界のB側に主に局所化されるときA
領域はB領域の前方にあるという結論を出すことにあ
る。
対的深度を検出する方法。 【解決方法】 情景の異なるショットから得られた２つ
の画像から互いに相対的に動く２つの隣接する領域の相
対的深度を検出する方法を開示している。この方法は、
画像の一方、いわゆる基準画像の空間的断片化を行い；
２つの画像間の動きの局所的推定を行い、その結果とし
て生じるベクトル場は局所的動きとよばれ；動き境界に
沿った動き推定エラーを決定し；動き境界に沿った動き
推定エラーの局所化の分析を行い、上記境界に沿った動
き推定エラーがこの境界のB側に主に局所化されるときA
領域はB領域の前方にあるという結論を出すことにあ
る。
Description
【０００１】
【発明が属する技術分野】本発明は、一対の画像から１
つの画像内の複数の物体の相対的深度を検出する方法に
関するものである。本発明の概要は、時間的に連続して
撮られた画像であれ、異なる角度から撮られた画像であ
れ、異なるショットから得られる画像に見られる物体の
相対的深度の評価である。この方法は画像シーケンスの
意味解析を必要とする多くの用途のシステムの一部であ
る。特に、マルチメディアの分野において、オーディオ
ヴィジュアル（AV）データの量の増大は新しい機能、例
えば対話性や異なる種類の物体の集積化などの必要性を
生み出している。新しいMPEG-4規格は情景（scene）を
物体の成分として表すことができるが、情景の分析方法
を明確にしていない。
つの画像内の複数の物体の相対的深度を検出する方法に
関するものである。本発明の概要は、時間的に連続して
撮られた画像であれ、異なる角度から撮られた画像であ
れ、異なるショットから得られる画像に見られる物体の
相対的深度の評価である。この方法は画像シーケンスの
意味解析を必要とする多くの用途のシステムの一部であ
る。特に、マルチメディアの分野において、オーディオ
ヴィジュアル（AV）データの量の増大は新しい機能、例
えば対話性や異なる種類の物体の集積化などの必要性を
生み出している。新しいMPEG-4規格は情景（scene）を
物体の成分として表すことができるが、情景の分析方法
を明確にしていない。
【０００２】
【従来の技術】この発明のシステムに関連した現在の技
術では画像のシーケンスに現れるオクルージョン（occl
usion）領域が研究されている。これらの技術について
は次のパラグラフでオクルージョンの一例を用いて説明
する。図１はオクルージョンが起こる典型的な状況を示
している。センサ、ここでは目で表現するが、は２つの
物体AおよびBを見る。すなわち、左方向に動く物体Bが
右方向に動くもう１つの物体Aを覆っている。この動
き、すなわち複数の物体の相対的な移動が観察されると
き、相当数の状況で１つの物体がもう１つの物体の前を
通過することが明らかになる。
術では画像のシーケンスに現れるオクルージョン（occl
usion）領域が研究されている。これらの技術について
は次のパラグラフでオクルージョンの一例を用いて説明
する。図１はオクルージョンが起こる典型的な状況を示
している。センサ、ここでは目で表現するが、は２つの
物体AおよびBを見る。すなわち、左方向に動く物体Bが
右方向に動くもう１つの物体Aを覆っている。この動
き、すなわち複数の物体の相対的な移動が観察されると
き、相当数の状況で１つの物体がもう１つの物体の前を
通過することが明らかになる。
【０００３】ある物体の別の物体に対する相対的深度
は、観察者の目から出てその情景の物体と交差する線に
沿って観察者が有する視界に対する深度である。この軸
に沿って、複数の物体が異なる平面に存在している。実
際にここで求められているのは、深度自体を評価するこ
とではなく、その情景でどちらの物体が他の物体に対し
て前方にあるかを知ることである。この情報は多くの用
途、特に画像の予測を行うことが求められる場合のコー
ド化に必要である。この情報によって例えば画像の背景
を再構築することができる。
は、観察者の目から出てその情景の物体と交差する線に
沿って観察者が有する視界に対する深度である。この軸
に沿って、複数の物体が異なる平面に存在している。実
際にここで求められているのは、深度自体を評価するこ
とではなく、その情景でどちらの物体が他の物体に対し
て前方にあるかを知ることである。この情報は多くの用
途、特に画像の予測を行うことが求められる場合のコー
ド化に必要である。この情報によって例えば画像の背景
を再構築することができる。
【０００４】実際に、上記の相対的深度がわかると、上
記の画像の背景を規定することができ、場合によっては
a)この背景を無効にしたり、b)ぼやかしたり、c)他の背
景に替えたり、d)ごく少数のビットの情報に圧縮してこ
の情報の重要な部分を前方にある部分に集中させること
ができる。従って、物体間の相対的深度の検出の目的は
観察された情景のより良い理解を提供することにある。
物体の動き方が観察され、且つこの物体が、他の動かな
いまたは特有の動きをする物体の後方にあることが確認
される場合、意味知識を全く導入せずに、すなわち情景
中にある物体の種類を認識できない状態で情景の構成を
規定することができる。
記の画像の背景を規定することができ、場合によっては
a)この背景を無効にしたり、b)ぼやかしたり、c)他の背
景に替えたり、d)ごく少数のビットの情報に圧縮してこ
の情報の重要な部分を前方にある部分に集中させること
ができる。従って、物体間の相対的深度の検出の目的は
観察された情景のより良い理解を提供することにある。
物体の動き方が観察され、且つこの物体が、他の動かな
いまたは特有の動きをする物体の後方にあることが確認
される場合、意味知識を全く導入せずに、すなわち情景
中にある物体の種類を認識できない状態で情景の構成を
規定することができる。
【０００５】同じ動きを有するので、これがカラーとテ
クスチャが均一である一組の成分、すなわち、互いに関
連した複数の均一な領域であることが単純にわかる。こ
の複数の均一な領域はそれらに特有の動きを有するエン
ティティに組み立てられる。異なるエンティティの間の
動き境界を観察することによって、エンティティE1はエ
ンティティE2の一部の前にあり、エンティティE2自体は
エンティティE3の前にあると推論することができる。こ
れらの情報要素を画像を通して時間的に連続して集積化
することによって、相対的な深度のある構造を得ること
ができる。
クスチャが均一である一組の成分、すなわち、互いに関
連した複数の均一な領域であることが単純にわかる。こ
の複数の均一な領域はそれらに特有の動きを有するエン
ティティに組み立てられる。異なるエンティティの間の
動き境界を観察することによって、エンティティE1はエ
ンティティE2の一部の前にあり、エンティティE2自体は
エンティティE3の前にあると推論することができる。こ
れらの情報要素を画像を通して時間的に連続して集積化
することによって、相対的な深度のある構造を得ること
ができる。
【０００６】従って、上記領域の相対的深度を研究して
上記領域の動き境界を検出する必要がある。従来技術に
おいて、これらの境界は動き断片によって得られる。画
像断片とは、１組のピクセルのモザイク画像への変換か
らなる周知な方法であり、このモザイク画像ではモザイ
クに関連する各粒子がテクスチャのカラー（すなわち輝
度）の均一性または動きの均一性または複数の基準の組
合せを有していることを想起されよう。動き断片の場
合、各モザイクは動きの均一性を有している。
上記領域の動き境界を検出する必要がある。従来技術に
おいて、これらの境界は動き断片によって得られる。画
像断片とは、１組のピクセルのモザイク画像への変換か
らなる周知な方法であり、このモザイク画像ではモザイ
クに関連する各粒子がテクスチャのカラー（すなわち輝
度）の均一性または動きの均一性または複数の基準の組
合せを有していることを想起されよう。動き断片の場
合、各モザイクは動きの均一性を有している。
【０００７】ここで、動き境界の変移を研究するため
に、入力情報によって情景の３つの画像を考慮に入れる
必要がある。実際に、従来の方法では、結論に達するた
めに、動き境界を検出し、これらの境界の動きと、隣接
する領域の動きとを比較する。ここで、この動きを推定
するために、２つの連続した画像を分析する必要があ
り、上記境界の動きを推定するために、上記境界の２つ
の連続した位置が必要であり、３つの画像が分析され
る。以下、図2(a)、2(b)、2(c)を参照してこの方法を詳
細に説明する。
に、入力情報によって情景の３つの画像を考慮に入れる
必要がある。実際に、従来の方法では、結論に達するた
めに、動き境界を検出し、これらの境界の動きと、隣接
する領域の動きとを比較する。ここで、この動きを推定
するために、２つの連続した画像を分析する必要があ
り、上記境界の動きを推定するために、上記境界の２つ
の連続した位置が必要であり、３つの画像が分析され
る。以下、図2(a)、2(b)、2(c)を参照してこの方法を詳
細に説明する。
【０００８】１つのシーケンスの２つの連続した画像
I1、I2を分析することによって、上記情景の動きを推定
することができる。この動きは上記情景を物体A, Bに断
片化するのに使用でき、この物体A, Bの動きは独立して
いる。図2(a)は２つの物体A, Bの動き並びに上記断片を
示している。この動き断片は上記２つの物体の相対的深
度を演繹するための十分な情報を含んでいない。画像の
もう１つの対I2とI3の動きを分析することで欠けている
情報が与えられる。すなわち、２つの断片によって上記
２つの物体間の輪郭（または境界）の動きの推定が可能
になる。
I1、I2を分析することによって、上記情景の動きを推定
することができる。この動きは上記情景を物体A, Bに断
片化するのに使用でき、この物体A, Bの動きは独立して
いる。図2(a)は２つの物体A, Bの動き並びに上記断片を
示している。この動き断片は上記２つの物体の相対的深
度を演繹するための十分な情報を含んでいない。画像の
もう１つの対I2とI3の動きを分析することで欠けている
情報が与えられる。すなわち、２つの断片によって上記
２つの物体間の輪郭（または境界）の動きの推定が可能
になる。
【０００９】上記輪郭（境界）の動きと、上記２つの側
のテクスチャ（輝度）の動きとを比較することによっ
て、相対的深度を演繹することができる。すなわち、上
記輪郭と同じ動きを有する領域は遮蔽する物体に対応す
る。この例において、上記動きの２つの連続した断片
（図2(a)と図2(b)）は輪郭が左方向に動くこと（図2
(c)）を示している。この動きは右側領域の動きと同一
であるので、右へ向かう物体は左へ向かう物体を覆って
いると結論される。
のテクスチャ（輝度）の動きとを比較することによっ
て、相対的深度を演繹することができる。すなわち、上
記輪郭と同じ動きを有する領域は遮蔽する物体に対応す
る。この例において、上記動きの２つの連続した断片
（図2(a)と図2(b)）は輪郭が左方向に動くこと（図2
(c)）を示している。この動きは右側領域の動きと同一
であるので、右へ向かう物体は左へ向かう物体を覆って
いると結論される。
【００１０】文献には、この事実を利用した別の方法が
記載されている。トンプソン(Thompson)、マッチ(Mutc
h)およびベルジン(Berzins)（下記のD14参照）は特徴的
な点のペアリングを用いて２つの画像間の動きを説明す
る速度のまばらな場を得る。次いで彼らはこの速度の場
における不連続性を検出する。速度の２つの場（２対の
画像から計算された）を分析することによって相対的深
度を演繹することができる。第2の方法はダレル(Darrel
l)およびフリート（Fleet）（下記のD12参照）によって
記載されている。この方法はもっぱら動き情報を用い
て、上記情景をコヒーレントな動きを有する面に断片化
するものである。これらの面の進行によって上記輪郭の
動きを決定することができ、今度は相対的深度の推定が
可能になる。
記載されている。トンプソン(Thompson)、マッチ(Mutc
h)およびベルジン(Berzins)（下記のD14参照）は特徴的
な点のペアリングを用いて２つの画像間の動きを説明す
る速度のまばらな場を得る。次いで彼らはこの速度の場
における不連続性を検出する。速度の２つの場（２対の
画像から計算された）を分析することによって相対的深
度を演繹することができる。第2の方法はダレル(Darrel
l)およびフリート（Fleet）（下記のD12参照）によって
記載されている。この方法はもっぱら動き情報を用い
て、上記情景をコヒーレントな動きを有する面に断片化
するものである。これらの面の進行によって上記輪郭の
動きを決定することができ、今度は相対的深度の推定が
可能になる。
【００１１】画像処理に通常用いられる記載された技術
に関して以下に挙げる文献D1〜D18によって構成される
従来技術を参照することもできる。 Dl: S. Beucher. Segmentation dImages et Morpholog
ie Mathematique (ImageSegmentation and Mathematica
l Morphology), Phd thesis, E.N.S. des Minesde Pari
s, 1990. D2: J. Barron, D. Fleet and S. Beauchemin. Perfo
rmance of Optical FlowTechniques. International Jo
urnal of Computer Vision, 12(1): 43-77, 1994. D3: K. M. Mutch and W. B. Thompson. Analysis of A
ccretion and Deletionat Boundaries in Dynamic Scen
es. IEEE Transactions on Pattern Analysis and Mach
ine Intelligence, 7: 133-138, 1985. D4: E. Decenciere Ferrandiere, C. de Fouquet and
F. Meyer. Applicationsof Kringing to Image Sequenc
e Coding. Accepted for publication in SignalProces
sing: Image Communication, 1997. D5: F. Hampel, E. Ronchetti, P. Rousseeuw, and
W. Stahel. Robust Statistics The Approach Based o
n Influence Function. Wiley, 1986.
に関して以下に挙げる文献D1〜D18によって構成される
従来技術を参照することもできる。 Dl: S. Beucher. Segmentation dImages et Morpholog
ie Mathematique (ImageSegmentation and Mathematica
l Morphology), Phd thesis, E.N.S. des Minesde Pari
s, 1990. D2: J. Barron, D. Fleet and S. Beauchemin. Perfo
rmance of Optical FlowTechniques. International Jo
urnal of Computer Vision, 12(1): 43-77, 1994. D3: K. M. Mutch and W. B. Thompson. Analysis of A
ccretion and Deletionat Boundaries in Dynamic Scen
es. IEEE Transactions on Pattern Analysis and Mach
ine Intelligence, 7: 133-138, 1985. D4: E. Decenciere Ferrandiere, C. de Fouquet and
F. Meyer. Applicationsof Kringing to Image Sequenc
e Coding. Accepted for publication in SignalProces
sing: Image Communication, 1997. D5: F. Hampel, E. Ronchetti, P. Rousseeuw, and
W. Stahel. Robust Statistics The Approach Based o
n Influence Function. Wiley, 1986.
【００１２】D6: P. Huber. Robust Statistics. John
Wiley, New York, 1981. D7: Peter Meer, Doron Mintz, Dong Yoon Kim, and A
zriel Rosenfeld. Robust Regression Methods for Com
puter Vision. A Review. International Journal of C
omputer Vision, 6(1): 59-70, April 1991. D8: Nikhil R. Pal and Sankar K. Pal. A Review on
Image Segmentation Techniques. Pattern Recognitio
n, 26(9): 1277-1294, 1993. D9: J. Y. A. Wang and E. H. Adelson. Representing
Moving Images withLayers. The IEEE Transactions o
n Image Processing Special Issue: Image Sequence C
ompression, 3(5): 625-638, September 1994. D1O: G. Wolberg. Digital Image Warping. IEEE Comp
uter Press, 1990.
Wiley, New York, 1981. D7: Peter Meer, Doron Mintz, Dong Yoon Kim, and A
zriel Rosenfeld. Robust Regression Methods for Com
puter Vision. A Review. International Journal of C
omputer Vision, 6(1): 59-70, April 1991. D8: Nikhil R. Pal and Sankar K. Pal. A Review on
Image Segmentation Techniques. Pattern Recognitio
n, 26(9): 1277-1294, 1993. D9: J. Y. A. Wang and E. H. Adelson. Representing
Moving Images withLayers. The IEEE Transactions o
n Image Processing Special Issue: Image Sequence C
ompression, 3(5): 625-638, September 1994. D1O: G. Wolberg. Digital Image Warping. IEEE Comp
uter Press, 1990.
【００１３】D11: J. Cichosz and F. Meyer. Morph
ological Multiscale Image Segmentation. In Worksho
p on Image Analysis for Multimedia Interactive Ser
vices(WIAMIS97), pages 161-166, Louvain-la-Neuve
(Belgium), June 1997. D12: Trevor Darrel and David Fleet. Second-Order
Method for Occlusion Relationships in Motion Layer
s. Technical Report 314, MIT Media Lab Vismod, 199
5. D13: B. K. P. Horn and B. G. Schunck. Determinin
g Optical Flow. Artificial Intelligence, 17: 185-2
03, 1981. D14: W. B. Thompson, K. M. Mutch, and V. A. Berzi
ns. Dynamic OcclusionAnalysis in Optical Flow Fiel
ds. IEEE Transactions on Pattern Analysis and Mach
ine Intelligence, 7: 374-383, 1985.
ological Multiscale Image Segmentation. In Worksho
p on Image Analysis for Multimedia Interactive Ser
vices(WIAMIS97), pages 161-166, Louvain-la-Neuve
(Belgium), June 1997. D12: Trevor Darrel and David Fleet. Second-Order
Method for Occlusion Relationships in Motion Layer
s. Technical Report 314, MIT Media Lab Vismod, 199
5. D13: B. K. P. Horn and B. G. Schunck. Determinin
g Optical Flow. Artificial Intelligence, 17: 185-2
03, 1981. D14: W. B. Thompson, K. M. Mutch, and V. A. Berzi
ns. Dynamic OcclusionAnalysis in Optical Flow Fiel
ds. IEEE Transactions on Pattern Analysis and Mach
ine Intelligence, 7: 374-383, 1985.
【００１４】D15: Zhengyou Zhang. Parameter Estima
tion Techniques: A Tutorial with Application to Co
nic Fitting. Technical Report 2676, Institut Natio
nal deRecherche en Informatique et en Automatique,
Sophia-Antipolis Cedex, France, October 1995. D16: P. Chauvet. Aide Memoire de geostatique line
aire. Ecole des Minesde Paris, 1993. D17: Michael J. Black and Allan D. Jepson. Estima
ting Optical Flow in Segmented Images Using Variab
le-Order Parametric Models With Local Deformation
s. IEEE Trans. Pattern Analysis and Machine Intell
igence, 18(10): 972-986, October 1996. D18: L. Bergen and F. Meyer. Segmentation du mou
vement des objets dansune scene (Segmentation of t
he Motion of the Objects in a Scene). In Coresa 9
7,1997.
tion Techniques: A Tutorial with Application to Co
nic Fitting. Technical Report 2676, Institut Natio
nal deRecherche en Informatique et en Automatique,
Sophia-Antipolis Cedex, France, October 1995. D16: P. Chauvet. Aide Memoire de geostatique line
aire. Ecole des Minesde Paris, 1993. D17: Michael J. Black and Allan D. Jepson. Estima
ting Optical Flow in Segmented Images Using Variab
le-Order Parametric Models With Local Deformation
s. IEEE Trans. Pattern Analysis and Machine Intell
igence, 18(10): 972-986, October 1996. D18: L. Bergen and F. Meyer. Segmentation du mou
vement des objets dansune scene (Segmentation of t
he Motion of the Objects in a Scene). In Coresa 9
7,1997.
【００１５】
【発明が解決しようとする課題】上記パラグラフに記載
の技術（文献D12、D14）の欠点は以下の通りである： −これらの方法は動きに完全に基づいており、この動き
は動き境界を不正確に位置させることにつながってい
る。 −これらの方法は３つの画像（２つの動き断片）を使用
して上記輪郭の動きを決定しており、境界の位置の精度
の欠如の問題が上記輪郭の動きの推定、従って上記深度
の検出にまで及んでいる。しかも、これにより分析がさ
らに遅れる。 −さらに、これらの方法の用途の分野は上記動きが比較
的大きい場合に制限される。
の技術（文献D12、D14）の欠点は以下の通りである： −これらの方法は動きに完全に基づいており、この動き
は動き境界を不正確に位置させることにつながってい
る。 −これらの方法は３つの画像（２つの動き断片）を使用
して上記輪郭の動きを決定しており、境界の位置の精度
の欠如の問題が上記輪郭の動きの推定、従って上記深度
の検出にまで及んでいる。しかも、これにより分析がさ
らに遅れる。 −さらに、これらの方法の用途の分野は上記動きが比較
的大きい場合に制限される。
【００１６】本発明の目的は、従来技術の欠点のない方
法によって一対の画像から複数の物体の間の相対的深度
を検出することにある。
法によって一対の画像から複数の物体の間の相対的深度
を検出することにある。
【００１７】
【課題を解決するための手段】これを目的として、本発
明の対象は同じ情景の異なるショットからとられた一対
の画像を用いて、上記動き境界を極めて正確に検出で
き、且つ各境界ごとに各隣接する領域の相対的深度を特
定できる方法にある。
明の対象は同じ情景の異なるショットからとられた一対
の画像を用いて、上記動き境界を極めて正確に検出で
き、且つ各境界ごとに各隣接する領域の相対的深度を特
定できる方法にある。
【００１８】以下、「点の動き」とは一方の画像から他
方の画像へ移行する際のこの点の移動を意味するものと
し、これらの画像は、例えば時間的に連続したショット
であれ、同時ではあるが異なる角度のショットであれ、
１つの情景の異なるショットから得られたものである。
従って、本発明の目的は特に、１つの情景の異なるショ
ットから得られた２つの画像で互いに相対的に動く２つ
の隣接する領域の相対的深度を検出する方法において、 −前記画像の一方を基準画像として、空間的に断片化す
る段階と、 −前記２つの画像の間の動きを局所的に推定し、その結
果として生じるベクトル場は局所的動きとする段階と、 −動き境界に沿った動き推定エラーを決定する段階と、 −動き境界に沿った動き推定エラーの位置を分析し、前
記境界に沿った動き推定エラーがこの境界のBの側に主
に局在するときA領域はB領域の前方にあるという結論を
出す段階とを主に含む方法である。
方の画像へ移行する際のこの点の移動を意味するものと
し、これらの画像は、例えば時間的に連続したショット
であれ、同時ではあるが異なる角度のショットであれ、
１つの情景の異なるショットから得られたものである。
従って、本発明の目的は特に、１つの情景の異なるショ
ットから得られた２つの画像で互いに相対的に動く２つ
の隣接する領域の相対的深度を検出する方法において、 −前記画像の一方を基準画像として、空間的に断片化す
る段階と、 −前記２つの画像の間の動きを局所的に推定し、その結
果として生じるベクトル場は局所的動きとする段階と、 −動き境界に沿った動き推定エラーを決定する段階と、 −動き境界に沿った動き推定エラーの位置を分析し、前
記境界に沿った動き推定エラーがこの境界のBの側に主
に局在するときA領域はB領域の前方にあるという結論を
出す段階とを主に含む方法である。
【００１９】
【発明の実施の形態】他の特徴によれば、前記方法の最
初の２つの段階の後に、前記領域を融合する段階を行っ
て均一な動きの領域を得る。上記空間的断片化は形態学
的方法、特に境界変換（watershed transform; ligne d
e partage des eaux）に基づいた方法に従って行うのが
好ましい。本発明の他の特徴は動き境界に沿って動き推
定エラーを決定する各種実施例に関するものである。本
発明の他の特徴および利点は添付図面を参照した非限定
的な例の以下の説明からより良く理解できよう。
初の２つの段階の後に、前記領域を融合する段階を行っ
て均一な動きの領域を得る。上記空間的断片化は形態学
的方法、特に境界変換（watershed transform; ligne d
e partage des eaux）に基づいた方法に従って行うのが
好ましい。本発明の他の特徴は動き境界に沿って動き推
定エラーを決定する各種実施例に関するものである。本
発明の他の特徴および利点は添付図面を参照した非限定
的な例の以下の説明からより良く理解できよう。
【００２０】
【実施例】本発明の方法は、以下に説明する別の段階を
実施するためにマイクロコンピュータにロードされたプ
ログラムによって、またはこの目的のために設計された
電子デバイスによって実施することができる。マイクロ
コンピュータ（図示せず）は1台または2台のカメラに接
続することができ、このカメラは情景の２つの異なるシ
ョットU、Wを得ることができ、このショットは次の処理
シーケンスで入力データとして使用され、デジタル化の
後、ピクセルのマトリックスという形をとる。その代わ
りに、処理ユニットと予め記録された画像とを備えたAV
機器を使用することも当然可能である。
実施するためにマイクロコンピュータにロードされたプ
ログラムによって、またはこの目的のために設計された
電子デバイスによって実施することができる。マイクロ
コンピュータ（図示せず）は1台または2台のカメラに接
続することができ、このカメラは情景の２つの異なるシ
ョットU、Wを得ることができ、このショットは次の処理
シーケンスで入力データとして使用され、デジタル化の
後、ピクセルのマトリックスという形をとる。その代わ
りに、処理ユニットと予め記録された画像とを備えたAV
機器を使用することも当然可能である。
【００２１】図３〜図８を参照して本発明のその他につ
いてさらに詳細に説明する。図３は処理操作のシーケン
スを示している。このシーケンスは2種の並列処理のセ
ットを有し、一方のセットIでは１つの画像、例えば画
像U（以下、基準画像とする）の空間的断片を得ること
ができ、他方のセットIIでは各ピクセルにおける動き推
定を得ることができる。これは２つの画像U, Wの間の動
きの局所的推定であり、その結果得られるベクトル場は
局所的動きとよばれる(図６)。
いてさらに詳細に説明する。図３は処理操作のシーケン
スを示している。このシーケンスは2種の並列処理のセ
ットを有し、一方のセットIでは１つの画像、例えば画
像U（以下、基準画像とする）の空間的断片を得ること
ができ、他方のセットIIでは各ピクセルにおける動き推
定を得ることができる。これは２つの画像U, Wの間の動
きの局所的推定であり、その結果得られるベクトル場は
局所的動きとよばれる(図６)。
【００２２】これら処理操作の出力では、空間的断片か
ら画像の区画Pが得られ、動き推定から各画像ポイント
すなわち画素（ピクセル）の動きを説明する動きベクト
ル場Vが得られる。空間的断片の各領域では、動きモデ
ルが調整され、この領域の全ての動きをできるだけ詳細
に説明している。これについてはあとで詳しく説明す
る。次いで、空間的断片によって得られ、似た動きを有
するこれらの領域を融合する段階が行われる(段階IIbi
s)。これによって、動き境界を出現させることができ
る。
ら画像の区画Pが得られ、動き推定から各画像ポイント
すなわち画素（ピクセル）の動きを説明する動きベクト
ル場Vが得られる。空間的断片の各領域では、動きモデ
ルが調整され、この領域の全ての動きをできるだけ詳細
に説明している。これについてはあとで詳しく説明す
る。次いで、空間的断片によって得られ、似た動きを有
するこれらの領域を融合する段階が行われる(段階IIbi
s)。これによって、動き境界を出現させることができ
る。
【００２３】上記の局所的動き推定は上記の動き境界に
沿った間違った推定を生成するので、次いで推定エラー
を決定することが求められ、覆われる領域の側を位置決
めし、従って、識別する。なぜなら、このエラーは覆わ
れた領域の側にしか現れないたである(段階III)。この
覆われた領域を識別することによって、互いに対して動
いている２つの領域の相対的深度が検出される（段階I
V）。決定する（または上記エラーを計算する）ために
は基準を必要とする。第1の選択された基準は「補償忠
実性（compensation fidelity）」基準とよぶことがで
き、第２の選択された基準は「動き不一致（motion dis
parity）」基準とよぶことができる。
沿った間違った推定を生成するので、次いで推定エラー
を決定することが求められ、覆われる領域の側を位置決
めし、従って、識別する。なぜなら、このエラーは覆わ
れた領域の側にしか現れないたである(段階III)。この
覆われた領域を識別することによって、互いに対して動
いている２つの領域の相対的深度が検出される（段階I
V）。決定する（または上記エラーを計算する）ために
は基準を必要とする。第1の選択された基準は「補償忠
実性（compensation fidelity）」基準とよぶことがで
き、第２の選択された基準は「動き不一致（motion dis
parity）」基準とよぶことができる。
【００２４】「補償忠実性」基準に関して、（テクスチ
ャの）第２の画像の動きの補償はベクトル場Vに沿って
行われ、上記基準画像の推定値が得られ、この補償エラ
ーの分布が直接検討される。従って、下記操作モード
（a, b, c）と同様に、上記エラーが最大になるバンド
（BFgまたはBFd）を見つけることができる。「動き不一
致」基準に関して、動きモデルは動きベクトル場Vを基
に、区画Pの各領域内で調整される。
ャの）第２の画像の動きの補償はベクトル場Vに沿って
行われ、上記基準画像の推定値が得られ、この補償エラ
ーの分布が直接検討される。従って、下記操作モード
（a, b, c）と同様に、上記エラーが最大になるバンド
（BFgまたはBFd）を見つけることができる。「動き不一
致」基準に関して、動きモデルは動きベクトル場Vを基
に、区画Pの各領域内で調整される。
【００２５】各動き境界に沿って、観察バンドBFが構成
される（または別の変形例では２つのバンドBFgとBFdが
上記境界のそれぞれの側に構成される）。 a) 領域(regional)モデルは上記の局所的動きと比較さ
れるか、または b) 動きモデルはバンドBFの場Vから推定され、この動
きは隣接する領域の動きと比較される。最も似た動きを
する隣接領域は他方の前方に見られる領域であるか、ま
たは c) 動きモデルは２つのバンドBFgとBFdの場Vを基に推
定される。バンドBFxにおける推定と、その領域におけ
る全体の推定とが最も一致している領域Xは、他方の前
方にある領域である。
される（または別の変形例では２つのバンドBFgとBFdが
上記境界のそれぞれの側に構成される）。 a) 領域(regional)モデルは上記の局所的動きと比較さ
れるか、または b) 動きモデルはバンドBFの場Vから推定され、この動
きは隣接する領域の動きと比較される。最も似た動きを
する隣接領域は他方の前方に見られる領域であるか、ま
たは c) 動きモデルは２つのバンドBFgとBFdの場Vを基に推
定される。バンドBFxにおける推定と、その領域におけ
る全体の推定とが最も一致している領域Xは、他方の前
方にある領域である。
【００２６】ここで、図３〜図５を参照して上記方法の
各段階を詳細に説明する。 I. 空間的断片化により、グレイレベルに関してカラー
とテクスチャが均一である領域によって画像の構成を、
動きを全く考慮せずに、規定することができる。この目
的のために、動き断片の場合のように２つの入力画像を
用いる必要はない。ノイズの問題を克服して十分な情報
を得るために、ウインドウの内側の動きを考慮する。す
なわち、ウインドウの中心に割り当てられた動きベクト
ルはこの点での動きではなくウインドウの内側の支配的
な動きを表している。これによって、特に動き境界に沿
って不正確さが大きくなる。
各段階を詳細に説明する。 I. 空間的断片化により、グレイレベルに関してカラー
とテクスチャが均一である領域によって画像の構成を、
動きを全く考慮せずに、規定することができる。この目
的のために、動き断片の場合のように２つの入力画像を
用いる必要はない。ノイズの問題を克服して十分な情報
を得るために、ウインドウの内側の動きを考慮する。す
なわち、ウインドウの中心に割り当てられた動きベクト
ルはこの点での動きではなくウインドウの内側の支配的
な動きを表している。これによって、特に動き境界に沿
って不正確さが大きくなる。
【００２７】従来技術の方法による動きの断片化によっ
て得られる境界は、輝度またはカラーの断片化によって
得られる境界に比べて精密でない。これは、速度の場を
全てのポイントで推定しなければならない一方、グレイ
レベルまたはカラーは予測なしに各ポイントで直接見て
よいという事実による。空間的断片化法は例えばテクス
チャが均一である領域並びに領域の境界を１つの画像U
から極めて詳細に得るのに使用することができる。用い
る方法は形態学的断片化法、特に画像勾配（image grad
ient）と境界変換（watershed transform; ligne de pa
rtage des eaux）を利用した方法にするのが好ましい。
て得られる境界は、輝度またはカラーの断片化によって
得られる境界に比べて精密でない。これは、速度の場を
全てのポイントで推定しなければならない一方、グレイ
レベルまたはカラーは予測なしに各ポイントで直接見て
よいという事実による。空間的断片化法は例えばテクス
チャが均一である領域並びに領域の境界を１つの画像U
から極めて詳細に得るのに使用することができる。用い
る方法は形態学的断片化法、特に画像勾配（image grad
ient）と境界変換（watershed transform; ligne de pa
rtage des eaux）を利用した方法にするのが好ましい。
【００２８】II. 動き推定は第2の画像Wおよび第1の画
像Uによって得られる。この方法は各ピクセルの動きを
説明する動きベクトル場Vを得るのに用いられる。用い
る方法はこの動き推定を得るのにそれ自体標準的な微分
法にするが好ましい。２つの画像は予めフィルターをか
けて微分し、ＳＮ比を改善する。同輝度の輪郭に対して
垂直な速度成分しか得られないので、各ピクセルで観察
される動きの情報は不完全であるから、各ピクセルのこ
の不完全な情報が各領域で動きモデルの調整によって集
積化される。多項式の形式での表現を選択することがで
きる。ノードの形式（nodal form）での表現を選択する
こともできる。ノードの数の選択は情景の複雑性に依存
する。
像Uによって得られる。この方法は各ピクセルの動きを
説明する動きベクトル場Vを得るのに用いられる。用い
る方法はこの動き推定を得るのにそれ自体標準的な微分
法にするが好ましい。２つの画像は予めフィルターをか
けて微分し、ＳＮ比を改善する。同輝度の輪郭に対して
垂直な速度成分しか得られないので、各ピクセルで観察
される動きの情報は不完全であるから、各ピクセルのこ
の不完全な情報が各領域で動きモデルの調整によって集
積化される。多項式の形式での表現を選択することがで
きる。ノードの形式（nodal form）での表現を選択する
こともできる。ノードの数の選択は情景の複雑性に依存
する。
【００２９】固定ノードの数は動きの複雑さに応じて選
択される。モデリングは、各ピクセルで観察される動き
のできるだけよいレンダリングを内挿によって出力する
動きを各ノードに割り当てることで行われる。用いる内
挿の方法はクリギング(kriging)（D4,D16）とよばれる
標準的な方法である。ある領域の各点での速度は固定ノ
ードの速度の線型関数である。１つのノードが単純な並
進運動を生成し、３つのノードが精巧なモデルを生成
し、多数のノードがより複雑なモデルを生成するという
ことが知られている。
択される。モデリングは、各ピクセルで観察される動き
のできるだけよいレンダリングを内挿によって出力する
動きを各ノードに割り当てることで行われる。用いる内
挿の方法はクリギング(kriging)（D4,D16）とよばれる
標準的な方法である。ある領域の各点での速度は固定ノ
ードの速度の線型関数である。１つのノードが単純な並
進運動を生成し、３つのノードが精巧なモデルを生成
し、多数のノードがより複雑なモデルを生成するという
ことが知られている。
【００３０】領域の融合（段階IIbis）は繰返しによっ
て行われる。各繰返しでは隣接する領域の全ての対が融
合の対象である。パラメータの空間での動きの比較を試
みる代わりに、パラメータの新しい一組を各対ごとに計
算してモデリングの品質を評価する。このモデリングは
最初の強力な推定（robust estimation）からくる重み
を加重した、過度に決定された線形法の分解能によって
行われる。
て行われる。各繰返しでは隣接する領域の全ての対が融
合の対象である。パラメータの空間での動きの比較を試
みる代わりに、パラメータの新しい一組を各対ごとに計
算してモデリングの品質を評価する。このモデリングは
最初の強力な推定（robust estimation）からくる重み
を加重した、過度に決定された線形法の分解能によって
行われる。
【００３１】領域の融合の他の段階は下記の通り： 1) この基準は領域の全ての対に関するモデリングの品
質に基づいて、動きの相似性の一組の基準を取る段階
（例えば超えない最大値）、 2) 最も似た動きを有する領域の対を融合する段階、 3) 融合の影響を受けた全ての領域（これらは融合した
領域の１つを含んでいた領域の全ての対である）に関す
る相似性の基準を更新する段階、 4) 上記各段階を段階２から繰返す段階。
質に基づいて、動きの相似性の一組の基準を取る段階
（例えば超えない最大値）、 2) 最も似た動きを有する領域の対を融合する段階、 3) 融合の影響を受けた全ての領域（これらは融合した
領域の１つを含んでいた領域の全ての対である）に関す
る相似性の基準を更新する段階、 4) 上記各段階を段階２から繰返す段階。
【００３２】相似性の基準が予め規定された値より下が
るとき融合段階を停止する。この方法の次の段階IIIは
次いで、既に述べたように、動き推定エラーを決定（ま
たは評価）することにある。以下、この動き推定エラー
を決定するために複数の操作モードを提案する。これら
それぞれのモードは図４および図５に示されている。第
1の操作モードは動き補償の使用に依存し、他の２つの
モードは動き不一致に依存している。
るとき融合段階を停止する。この方法の次の段階IIIは
次いで、既に述べたように、動き推定エラーを決定（ま
たは評価）することにある。以下、この動き推定エラー
を決定するために複数の操作モードを提案する。これら
それぞれのモードは図４および図５に示されている。第
1の操作モードは動き補償の使用に依存し、他の２つの
モードは動き不一致に依存している。
【００３３】第1の動作モードIII.１は「補償忠実性」
基準を実施する。このため、動き推定エラーは基準画像
P、すなわち空間的断片化によって得られた画像と、動
き補償によって得られた画像とを比較することによって
得られ、第2の画像から上記基準画像の推定を再構築す
る。動き補償の方法は広く知られた方法である。例えば
参考文献D10を参照することができる。第1の変形例によ
れば、この動きは図４の局所的動き（III-1.1(a)）であ
る。
基準を実施する。このため、動き推定エラーは基準画像
P、すなわち空間的断片化によって得られた画像と、動
き補償によって得られた画像とを比較することによって
得られ、第2の画像から上記基準画像の推定を再構築す
る。動き補償の方法は広く知られた方法である。例えば
参考文献D10を参照することができる。第1の変形例によ
れば、この動きは図４の局所的動き（III-1.1(a)）であ
る。
【００３４】別の変形例によれば、この動きは局所的モ
デルとよばれるモデルから求められ、この局所的モデル
はAとBとの間の境界に沿った局所化された領域内のバン
ドで調整される（III.1.2.bおよびc）。bにおいては、
２つのバンドBFg、BFdが考慮され、cにおいては単一の
バンドBFが考慮される。上記境界の両側に延びるバンド
内で推定された１つの局所的モデルのみを取ることがで
きる（III-1.2c）。用いるモデルは例えば多項式モデル
にすることができる。用いるモデルはノードモデル（no
dal model）、例えば刊行物D4に記載のモデル等にする
こともできる。
デルとよばれるモデルから求められ、この局所的モデル
はAとBとの間の境界に沿った局所化された領域内のバン
ドで調整される（III.1.2.bおよびc）。bにおいては、
２つのバンドBFg、BFdが考慮され、cにおいては単一の
バンドBFが考慮される。上記境界の両側に延びるバンド
内で推定された１つの局所的モデルのみを取ることがで
きる（III-1.2c）。用いるモデルは例えば多項式モデル
にすることができる。用いるモデルはノードモデル（no
dal model）、例えば刊行物D4に記載のモデル等にする
こともできる。
【００３５】第2の操作モードIII.2では、動き不一致の
基準を実施し、動き推定エラーは領域(regional)モデル
とよばれるモデルから求められる、領域の動きを表す動
きと、局所的動きとを比較することによって計算される
（図４参照）。エラーの計算は強力な推定方法によって
行うのが好ましい。強力な推定方法（M-推定値）の使用
は周知であり、このような方法は文献、例えばD5,D6お
よびD7に記載されている。
基準を実施し、動き推定エラーは領域(regional)モデル
とよばれるモデルから求められる、領域の動きを表す動
きと、局所的動きとを比較することによって計算される
（図４参照）。エラーの計算は強力な推定方法によって
行うのが好ましい。強力な推定方法（M-推定値）の使用
は周知であり、このような方法は文献、例えばD5,D6お
よびD7に記載されている。
【００３６】しかし、動きモデルのパラメータの推定に
適用されるこの強力な推定方法は、異常な動きベクトル
の検出およびこのベクトルの推定への影響を排除または
減少することを可能にすることは想起されよう。すなわ
ち、観察された速度ベクトルの大部分に対応するパラメ
ータが得られる。この強力な推定方法はまた、上記モデ
ルの媒体の各ポイントでモデリングエラーを発生する。
適用されるこの強力な推定方法は、異常な動きベクトル
の検出およびこのベクトルの推定への影響を排除または
減少することを可能にすることは想起されよう。すなわ
ち、観察された速度ベクトルの大部分に対応するパラメ
ータが得られる。この強力な推定方法はまた、上記モデ
ルの媒体の各ポイントでモデリングエラーを発生する。
【００３７】第3の動作モードIII.3は、動き不一致基準
を実施し： −上記領域の動きを表す領域モデルとよばれるモデル
と、 −AとBとの間の境界に沿った局所化された領域内のバン
ドのモデルを表す局所的モデルとよばれるモデルとの２
つの異なるモデルによって与えられた動き推定を比較す
ることによって各領域における動き推定エラーを決定す
ることにある。
を実施し： −上記領域の動きを表す領域モデルとよばれるモデル
と、 −AとBとの間の境界に沿った局所化された領域内のバン
ドのモデルを表す局所的モデルとよばれるモデルとの２
つの異なるモデルによって与えられた動き推定を比較す
ることによって各領域における動き推定エラーを決定す
ることにある。
【００３８】この領域モデルは例えば多項式またはノー
ドモデルにすることができる。このモデルの例は例えば
刊行物D17および刊行物D4にそれぞれ記載されている。
局所的モデルは例えば多項式またはノードモデルにする
ことができる。同様に、これらのモデルも例えば刊行物
D17および刊行物D4にそれぞれ開示されたモデルのよう
にすることができる。1変形例によれば、単一の局所的
モデルは上記境界の両側に延びるバンド内で推定され
る。
ドモデルにすることができる。このモデルの例は例えば
刊行物D17および刊行物D4にそれぞれ記載されている。
局所的モデルは例えば多項式またはノードモデルにする
ことができる。同様に、これらのモデルも例えば刊行物
D17および刊行物D4にそれぞれ開示されたモデルのよう
にすることができる。1変形例によれば、単一の局所的
モデルは上記境界の両側に延びるバンド内で推定され
る。
【００３９】上記の最後の２つの操作モードによれば、
上記領域の動きはAとBとの間の境界からの距離の関数と
して測定値を加重しながらモデルを調整することによっ
て計算することができる（III.2.1.1またはIII.3.1.
1）。１つの可能性は境界に沿ったバンドからくる測定
値を除外することにある（これは上記のモデリング中に
上記測定値に重みゼロを割り当てることに相当する）。
上記領域の動きはAとBとの間の境界からの距離の関数と
して測定値を加重しながらモデルを調整することによっ
て計算することができる（III.2.1.1またはIII.3.1.
1）。１つの可能性は境界に沿ったバンドからくる測定
値を除外することにある（これは上記のモデリング中に
上記測定値に重みゼロを割り当てることに相当する）。
【００４０】上記の２つの動作モードに関する別の変形
例によれば、上記領域の動きは強力な推定方法を用いる
モデルの調整によって計算することができる（III.2.2.
1またはIII.3.1.2）。強力な推定（robust estimatio
n）の実施は当業者の知見に含まれ、これらの方法は周
知である。このような方法を記載している文献D5、D6お
よびD7を参照することもできる。２つのモデルを用いる
動作モードで第1の変形例によると、上記の動き推定エ
ラーは、領域モデルからくる動きと局所的モデルからく
る動きとを共通媒体の各ポイントで比較することによっ
て計算される（III.2.2.1またはII.3.2.1.A）。
例によれば、上記領域の動きは強力な推定方法を用いる
モデルの調整によって計算することができる（III.2.2.
1またはIII.3.1.2）。強力な推定（robust estimatio
n）の実施は当業者の知見に含まれ、これらの方法は周
知である。このような方法を記載している文献D5、D6お
よびD7を参照することもできる。２つのモデルを用いる
動作モードで第1の変形例によると、上記の動き推定エ
ラーは、領域モデルからくる動きと局所的モデルからく
る動きとを共通媒体の各ポイントで比較することによっ
て計算される（III.2.2.1またはII.3.2.1.A）。
【００４１】この動き推定エラーは領域モデルのパラメ
ータと局所的モデルのパラメータとを比較することによ
って計算することもできる（III.3.2.1.B）。パラメー
タの空間における2つのモデルの比較はそれ自体周知な
ものであり、当業者はこの変形例の範囲内で容易に実施
することができる。このような比較を記載している文献
D9を参照することもできる。別の変形例によれば、上記
の動き推定エラーは領域モデルと局所的モデルとを結合
モデリングにより比較することによって計算される（II
I.2.1.C）。このようなモデリングはそれ自体周知なも
のである。上述の論文D18を参照することができる。
ータと局所的モデルのパラメータとを比較することによ
って計算することもできる（III.3.2.1.B）。パラメー
タの空間における2つのモデルの比較はそれ自体周知な
ものであり、当業者はこの変形例の範囲内で容易に実施
することができる。このような比較を記載している文献
D9を参照することもできる。別の変形例によれば、上記
の動き推定エラーは領域モデルと局所的モデルとを結合
モデリングにより比較することによって計算される（II
I.2.1.C）。このようなモデリングはそれ自体周知なも
のである。上述の論文D18を参照することができる。
【００４２】覆われた領域の側のエラーは段階IVにおい
て相対的深度の検出を可能にする。このオクルージョン
により生じる異常な測定値は動き境界の周囲に位置して
いる。複数の動き境界のそれぞれの側のバンドにおける
全てのエラーの合計をとる。明確な深度の順序を得るた
めに２つの閾値ｔbottomおよびｔtopをとる。明確な順
序は一方の側（A）のエラーの合計がｔbottom未満で且
つ他方の側（B）のエラーの合計がｔtopを越えるときに
存在する。他の全ての場合において、深度について言え
ることは何もない。低い方の閾値は覆う側の一定のエラ
ーを許容し、高い方の閾値は覆われた領域を考慮するの
に必要な最小のエラーを示す。
て相対的深度の検出を可能にする。このオクルージョン
により生じる異常な測定値は動き境界の周囲に位置して
いる。複数の動き境界のそれぞれの側のバンドにおける
全てのエラーの合計をとる。明確な深度の順序を得るた
めに２つの閾値ｔbottomおよびｔtopをとる。明確な順
序は一方の側（A）のエラーの合計がｔbottom未満で且
つ他方の側（B）のエラーの合計がｔtopを越えるときに
存在する。他の全ての場合において、深度について言え
ることは何もない。低い方の閾値は覆う側の一定のエラ
ーを許容し、高い方の閾値は覆われた領域を考慮するの
に必要な最小のエラーを示す。
【００４３】この形態において、上記の検出は最も単純
な場合にしか効果がない。例えば領域の輪郭に沿って、
動きのこの輪郭に対して垂直な成分がゼロでない部分が
ごく小さい場合、閾値は明確な順序が全く存在していな
いことを示す。これは、測定値が高い方の閾値を越えて
いないことによる。従って、上記バンドを複数の区画ま
たはサブバンドに分割するようになっている。この場
合、投票メカニズム（voting mechanism）を適用する。
すなわち、深度の順序を明らかに示す対のみがこの深度
の検出に寄与する。各サブバンドごとに得られた値の合
計と、固定閾値とを比較すると、深度の順序がより強力
に求められる。なぜなら、上記閾値の基準に合うサブバ
ンドのみが上記深度の決定に関与するからである。
な場合にしか効果がない。例えば領域の輪郭に沿って、
動きのこの輪郭に対して垂直な成分がゼロでない部分が
ごく小さい場合、閾値は明確な順序が全く存在していな
いことを示す。これは、測定値が高い方の閾値を越えて
いないことによる。従って、上記バンドを複数の区画ま
たはサブバンドに分割するようになっている。この場
合、投票メカニズム（voting mechanism）を適用する。
すなわち、深度の順序を明らかに示す対のみがこの深度
の検出に寄与する。各サブバンドごとに得られた値の合
計と、固定閾値とを比較すると、深度の順序がより強力
に求められる。なぜなら、上記閾値の基準に合うサブバ
ンドのみが上記深度の決定に関与するからである。
【００４４】既に述べたように、局所的動きの推定はウ
インドウ内の動きを考慮に入れる。加えて、高い空間的
勾配によって特徴付けられる動き境界をウインドウが含
む場合、見掛けの動きは境界の動きによって支配され
る。ここで、境界のそれぞれの側の点をとると、覆う領
域に属する点は上記境界と同じ動きを受ける。従って、
この点は正確に推定されるが、覆われる領域のポイント
の推定は不十分である。これは、高い空間的勾配を有す
る動き境界の両側で上記の動き推定エラーの分布におい
て非対称性を生じるものである。本発明の方法はこの非
対称性を利用して、互いに対して動いている２つの領域
の相対的深度を検出するものである。
インドウ内の動きを考慮に入れる。加えて、高い空間的
勾配によって特徴付けられる動き境界をウインドウが含
む場合、見掛けの動きは境界の動きによって支配され
る。ここで、境界のそれぞれの側の点をとると、覆う領
域に属する点は上記境界と同じ動きを受ける。従って、
この点は正確に推定されるが、覆われる領域のポイント
の推定は不十分である。これは、高い空間的勾配を有す
る動き境界の両側で上記の動き推定エラーの分布におい
て非対称性を生じるものである。本発明の方法はこの非
対称性を利用して、互いに対して動いている２つの領域
の相対的深度を検出するものである。
【００４５】隣接する領域の間の輝度またはクロミナン
スのコントラストが大きければ大きいほど、この効果も
明らかになる。さらに、この効果は上記境界に沿って厳
密に局在する。従ってこの境界を精密に検出するのが重
要であり、これによって空間的断片化が可能になる。最
後に、本発明方法は上記の従来方法と対照的に、入力で
２つの画像しか必要としない。考慮される動き境界は空
間的境界のセットのサブセットである。
スのコントラストが大きければ大きいほど、この効果も
明らかになる。さらに、この効果は上記境界に沿って厳
密に局在する。従ってこの境界を精密に検出するのが重
要であり、これによって空間的断片化が可能になる。最
後に、本発明方法は上記の従来方法と対照的に、入力で
２つの画像しか必要としない。考慮される動き境界は空
間的境界のセットのサブセットである。
【図１】オクルージョン現象を概念的に示した図であ
る。
る。
【図２】(a)〜(c)は従来技術の画像処理段階を概念的に
示した図である。
示した図である。
【図３】本発明方法の画像処理段階を概念的に示したブ
ロック図である。
ロック図である。
【図４】本発明方法の画像処理段階を概念的に示したブ
ロック図である。
ロック図である。
【図５】本発明方法の画像処理段階を概念的に示したブ
ロック図である。
ロック図である。
【図６】本発明の別の処理段階で得られる画像を概念的
に示した図である。
に示した図である。
【図７】動き境界に沿って動き推定エラーを評価するた
めの別の変形例を示した図である。
めの別の変形例を示した図である。
【図８】動き境界に沿って動き推定エラーを評価するた
めの別の変形例を示した図である。
めの別の変形例を示した図である。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 フェルナン メイエ フランス国 77250 ヴヌ レ サブロン アヴニュ ドゥ フォンテーヌブロ 61
Claims (19)
- 【請求項１】 １つの情景の異なるショットから得られ
た２つの画像において互いに相対的に動く２つの隣接す
る領域の相対的深度を検出する方法において、 −前記画像の一方を基準画像として、空間的に断片化す
る段階と、 −前記２つの画像の間の動きを局所的に推定し、その結
果として生じるベクトル場は局所的動きとする段階と、 −動き境界に沿った動き推定エラーを決定する段階と、 −動き境界に沿った動き推定エラーの位置を分析し、前
記境界に沿った動き推定エラーがこの境界のBの側に主
に局在するときA領域はB領域の前方にあるという結論を
出す段階とを主に含むことを特徴とする方法。 - 【請求項２】 前記動き推定エラーが、前記基準画像
と、動き補償によって得られた画像とを比較することに
よって得られ、第2の画像から前記基準画像の推定を再
構築することを特徴とする請求項1に記載の方法。 - 【請求項３】 前記動きが、局所的動きである請求項１
または２に記載の方法。 - 【請求項４】 前記動きを、AとBとの間の境界に沿った
局所化された領域の内側のバンドで調整される局所的モ
デルとよばれるモデルから求めることを特徴とする請求
項１または２に記載の方法。 - 【請求項５】 １つの局所的モデルのみが、前記境界の
両側に延びるバンドの内側で推定されることを特徴とす
る請求項１、２および４のいずれ１項に記載の方法。 - 【請求項６】 前記動き推定エラーが、領域の動きを表
す領域モデルとよばれるモデルから求められる動きと、
局所的動きとを比較することによって計算されることを
特徴とする請求項1に記載の方法。 - 【請求項７】 前記動き推定エラーが、強力な推定方法
によって計算されることを特徴とする請求項１または６
に記載の方法。 - 【請求項８】 各領域において、前記動き推定エラー
が、 −前記領域の動きを表す領域モデルとよばれるモデル、 −AとBとの間の境界に沿った局所化された領域の内側の
バンドの動きを表す局所的モデルとよばれるモデルの２
つのモデルによって与えられた動き推定を比較すること
によって得られることを特徴とする請求項1に記載の方
法。 - 【請求項９】 １つの局所的モデルのみが前記境界の両
側に延びるバンドの内側で推定される請求項１または８
に記載の方法。 - 【請求項１０】 前記領域の動きが、AとBとの間の境界
からの距離の関数として測定値を加重しながらモデルを
調整することによって計算されることを特徴とする請求
項１、６および８のいずれか１項に記載の方法。 - 【請求項１１】 前記領域の動きが、強力な推定方法を
用いてモデルを調整することによって計算されることを
特徴とする請求項１、６および８のいずれか１項に記載
の方法。 - 【請求項１２】 前記動き推定エラーが、共通媒体の各
ポイントで、領域モデルから求められる動きと、局所的
モデルから求められる動きとを比較することによって計
算されることを特徴とする請求項１、８および９のいず
れか１項に記載の方法。 - 【請求項１３】 前記動き推定エラーが、領域モデルの
パラメータと局所的モデルのパラメータとを比較するこ
とによって計算されることを特徴とする請求項１、８お
よび９のいずれか１項に記載の方法。 - 【請求項１４】 前記動き推定エラーが、領域モデルと
局所的モデルとを結合モデリングにより比較することに
よって計算されることを特徴とする請求項１、８および
９のいずれか１項に記載の方法。 - 【請求項１５】 前記断片化が、形態学的方法に従って
行われることを特徴とする請求項１〜１４のいずれか１
項に記載の方法。 - 【請求項１６】 類似した動きを有する領域を融合する
段階を含むことを特徴とする請求項１〜１５のいずれか
１項に記載の方法。 - 【請求項１７】 前記相対的深度が、前記境界の一方側
のエラーの合計と第１の固定閾値とを比較し、且つ前記
境界の他方側のエラーの合計と第２の閾値とを比較する
ことによって得られることを特徴とする請求項１〜１６
のいずれか１項に記載の方法。 - 【請求項１８】 前記２つの画像が時間的に連続して撮
られた画像であり、点の動きが一方の画像から他方の画
像へ移行するときのこの点の時間的な移動を表すことを
特徴とする請求項１〜１７のいずれか１項に記載の方
法。 - 【請求項１９】 前記２つの画像が異なる角度から撮ら
れており、点の動きが一方の画像から他方の画像へ移行
するときの画像の平面におけるこの点の移動を表すこと
を特徴とする請求項１〜１８のいずれか１項に記載の方
法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9806685A FR2779257B1 (fr) | 1998-05-27 | 1998-05-27 | Procede de detection de la profondeur relative entre objets dans une image a partir d'un couple d'images |
| FR9806685 | 1998-05-27 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000048207A true JP2000048207A (ja) | 2000-02-18 |
| JP4880807B2 JP4880807B2 (ja) | 2012-02-22 |
Family
ID=9526771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP14895199A Expired - Lifetime JP4880807B2 (ja) | 1998-05-27 | 1999-05-27 | 一対の画像から１つの画像における物体の相対的深度を検出する方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US6262409B1 (ja) |
| EP (1) | EP0961227B1 (ja) |
| JP (1) | JP4880807B2 (ja) |
| DE (1) | DE69909892T2 (ja) |
| ES (1) | ES2205728T3 (ja) |
| FR (1) | FR2779257B1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002523985A (ja) * | 1998-08-21 | 2002-07-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像信号における問題領域位置決め |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6625333B1 (en) * | 1999-08-06 | 2003-09-23 | Her Majesty The Queen In Right Of Canada As Represented By The Minister Of Industry Through Communications Research Centre | Method for temporal interpolation of an image sequence using object-based image analysis |
| FR2817694B1 (fr) * | 2000-12-05 | 2003-10-03 | Thomson Licensing Sa | Procede et dispositif de lissage spatial pour les zones sombres d'une image |
| US6985612B2 (en) * | 2001-10-05 | 2006-01-10 | Mevis - Centrum Fur Medizinische Diagnosesysteme Und Visualisierung Gmbh | Computer system and a method for segmentation of a digital image |
| KR100746022B1 (ko) * | 2005-06-14 | 2007-08-06 | 삼성전자주식회사 | 서브픽셀 움직임 추정시 모델 스위칭을 통한 압축 효율을증가시키는 인코딩 방법 및 장치 |
| ATE511522T1 (de) * | 2005-12-28 | 2011-06-15 | Exxonmobil Chem Patents Inc | Halogenierungsverfahren |
| US7783118B2 (en) * | 2006-07-13 | 2010-08-24 | Seiko Epson Corporation | Method and apparatus for determining motion in images |
| US8125510B2 (en) | 2007-01-30 | 2012-02-28 | Ankur Agarwal | Remote workspace sharing |
| JPWO2012114975A1 (ja) * | 2011-02-24 | 2014-07-07 | ソニー株式会社 | 画像処理装置および画像処理方法 |
| WO2014132748A1 (ja) * | 2013-02-27 | 2014-09-04 | 日立オートモティブシステムズ株式会社 | 撮像装置及び車両制御装置 |
| US9727967B2 (en) | 2014-06-23 | 2017-08-08 | Samsung Electronics Co., Ltd. | Methods for determining estimated depth in an image and systems thereof |
| US10200666B2 (en) * | 2015-03-04 | 2019-02-05 | Dolby Laboratories Licensing Corporation | Coherent motion estimation for stereoscopic video |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08163565A (ja) * | 1994-12-05 | 1996-06-21 | Canon Inc | 動きベクトル検出方法及びその装置 |
| JPH10108198A (ja) * | 1996-09-30 | 1998-04-24 | Sanyo Electric Co Ltd | 画像領域統合方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5929940A (en) * | 1995-10-25 | 1999-07-27 | U.S. Philips Corporation | Method and device for estimating motion between images, system for encoding segmented images |
-
1998
- 1998-05-27 FR FR9806685A patent/FR2779257B1/fr not_active Expired - Lifetime
-
1999
- 1999-05-25 ES ES99401252T patent/ES2205728T3/es not_active Expired - Lifetime
- 1999-05-25 EP EP99401252A patent/EP0961227B1/fr not_active Expired - Lifetime
- 1999-05-25 DE DE69909892T patent/DE69909892T2/de not_active Expired - Lifetime
- 1999-05-26 US US09/320,147 patent/US6262409B1/en not_active Expired - Lifetime
- 1999-05-27 JP JP14895199A patent/JP4880807B2/ja not_active Expired - Lifetime
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08163565A (ja) * | 1994-12-05 | 1996-06-21 | Canon Inc | 動きベクトル検出方法及びその装置 |
| JPH10108198A (ja) * | 1996-09-30 | 1998-04-24 | Sanyo Electric Co Ltd | 画像領域統合方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002523985A (ja) * | 1998-08-21 | 2002-07-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像信号における問題領域位置決め |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4880807B2 (ja) | 2012-02-22 |
| DE69909892T2 (de) | 2004-08-05 |
| FR2779257B1 (fr) | 2000-08-11 |
| ES2205728T3 (es) | 2004-05-01 |
| FR2779257A1 (fr) | 1999-12-03 |
| EP0961227B1 (fr) | 2003-07-30 |
| EP0961227A1 (fr) | 1999-12-01 |
| US6262409B1 (en) | 2001-07-17 |
| DE69909892D1 (de) | 2003-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Battisti et al. | Objective image quality assessment of 3D synthesized views | |
| Xiao et al. | Bilateral filtering-based optical flow estimation with occlusion detection | |
| US8842730B2 (en) | Methods and systems for digitally re-mastering of 2D and 3D motion pictures for exhibition with enhanced visual quality | |
| US9282313B2 (en) | Methods and systems for converting 2D motion pictures for stereoscopic 3D exhibition | |
| KR100583902B1 (ko) | 이미지세그멘테이션 | |
| US9171372B2 (en) | Depth estimation based on global motion | |
| Sawhney et al. | Hybrid stereo camera: an IBR approach for synthesis of very high resolution stereoscopic image sequences | |
| Kilner et al. | Objective quality assessment in free-viewpoint video production | |
| JP2000048207A (ja) | 一対の画像から１つの画像における物体の相対的深度を検出する方法 | |
| Tzovaras et al. | 3D object articulation and motion estimation in model-based stereoscopic videoconference image sequence analysis and coding | |
| US6687405B1 (en) | Image segmentation | |
| Malassiotis et al. | Object-based coding of stereo image sequences using three-dimensional models | |
| US10121257B2 (en) | Computer-implemented method and system for processing video with temporal consistency | |
| JP2004104425A (ja) | 視差分布測定方法、視差分布測定装置および視差分布測定プログラム | |
| CN111754615A (zh) | 高质量纹理的实时重建方法及装置 | |
| JP3185961B2 (ja) | 映像撮影状態検出装置 | |
| Yao et al. | View synthesis based on spatio-temporal continuity | |
| Tanger et al. | Trinocular depth acquisition | |
| Garcia et al. | Contour tracking for rotoscoping based on trajectories of feature points | |
| Smith et al. | Time Varying Volumetric Scene Reconstruction Using Scene Flow. | |
| Bhaskaranand et al. | Motion-based object segmentation using frame alignment and consensus filtering | |
| Yu et al. | Parameter analysis and synthesis for MPEG4 facial animation | |
| JPH0698206A (ja) | 映像撮影状態検出方法 | |
| Perugia | Objective Image Quality Assessment of 3D Synthesized Views |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060529 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090310 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090610 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090615 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090710 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090715 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20090810 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20090813 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090910 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090910 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091020 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100222 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20100406 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20100507 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20100908 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20100908 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110825 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110831 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111013 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111202 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141209 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |