JP2000194867A - ビデオデ―タ信号から取得された静止画像内でのモ―ション表示方法 - Google Patents
ビデオデ―タ信号から取得された静止画像内でのモ―ション表示方法Info
- Publication number
- JP2000194867A JP2000194867A JP11362060A JP36206099A JP2000194867A JP 2000194867 A JP2000194867 A JP 2000194867A JP 11362060 A JP11362060 A JP 11362060A JP 36206099 A JP36206099 A JP 36206099A JP 2000194867 A JP2000194867 A JP 2000194867A
- Authority
- JP
- Japan
- Prior art keywords
- motion
- frame
- field
- video
- flow line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 405
- 238000000034 method Methods 0.000 title claims abstract description 64
- 239000000872 buffer Substances 0.000 description 114
- 238000010586 diagram Methods 0.000 description 28
- 230000015654 memory Effects 0.000 description 26
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 10
- 238000000605 extraction Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 101000972349 Phytolacca americana Lectin-A Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
- H04N21/8153—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/4104—Peripherals receiving signals from specially adapted client devices
- H04N21/4117—Peripherals receiving signals from specially adapted client devices for generating hard copies of the content, e.g. printer, electronic paper
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/4448—Receiver circuitry for the reception of television signals according to analogue transmission standards for frame-grabbing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
(57)【要約】
【課題】 ビデオ信号の静止画像内で自動的にモーショ
ン情報を表示する方法の提供。 【解決手段】 本発明の方法は、ビデオデータ信号の第
１の部分を捕獲するステップと、ビデオデータ信号の第
２の部分を捕獲するステップ（Ｓ３００）と、ビデオデ
ータ信号の第１の部分と第２の部分との間のモーション
を特徴づけするステップ（Ｓ５００、Ｓ９００）と、第
１の部分の少なくとも１つの各画素について、その画素
に対応する特徴づけされたモーションに基づき、その画
素に動線を追加するステップ（Ｓ１１００）とを有す
る。
ン情報を表示する方法の提供。 【解決手段】 本発明の方法は、ビデオデータ信号の第
１の部分を捕獲するステップと、ビデオデータ信号の第
２の部分を捕獲するステップ（Ｓ３００）と、ビデオデ
ータ信号の第１の部分と第２の部分との間のモーション
を特徴づけするステップ（Ｓ５００、Ｓ９００）と、第
１の部分の少なくとも１つの各画素について、その画素
に対応する特徴づけされたモーションに基づき、その画
素に動線を追加するステップ（Ｓ１１００）とを有す
る。
Description
【０００１】
【発明の属する技術分野】本発明は、対象とする点の軌
道を表示する線を挿入することによって静止画像内でモ
ーション（動き）を表示する方法及びシステムに関す
る。より詳細には、本発明は、オブジェクトと背景との
間の相対的なモーションを表す線を、少なくとも２つの
ビデオフレーム又はフィールドのシーケンスから自動的
に生成する方法及びシステムに関する。
道を表示する線を挿入することによって静止画像内でモ
ーション（動き）を表示する方法及びシステムに関す
る。より詳細には、本発明は、オブジェクトと背景との
間の相対的なモーションを表す線を、少なくとも２つの
ビデオフレーム又はフィールドのシーケンスから自動的
に生成する方法及びシステムに関する。
【０００２】
【従来の技術】ウェブページや、マイクロソフト (Micr
osoft、登録商標）社のワード(Word、登録商標）のファ
イル又はパワーポイント(PowerPoint、登録商標)のプレ
ゼンテーションのような現代的な文書は、デジタルビデ
オやアニメーションを介して、モーションを含むことが
できる。ネットワークライブラリ、ビデオ会議、デジタ
ルビデオカムコーダ、及びビデオキャプチャ装置など、
使用可能な新しい媒体が増加している。これらの媒体は
注意を引くことができ、アイデアを伝えることができる
が、プリント（された媒体）との互換性はない。
osoft、登録商標）社のワード(Word、登録商標）のファ
イル又はパワーポイント(PowerPoint、登録商標)のプレ
ゼンテーションのような現代的な文書は、デジタルビデ
オやアニメーションを介して、モーションを含むことが
できる。ネットワークライブラリ、ビデオ会議、デジタ
ルビデオカムコーダ、及びビデオキャプチャ装置など、
使用可能な新しい媒体が増加している。これらの媒体は
注意を引くことができ、アイデアを伝えることができる
が、プリント（された媒体）との互換性はない。
【０００３】
【発明が解決しようとする課題】ビデオ信号の静止画像
が表示又はプリントされる際に、モーション情報が失わ
れないように、ビデオ信号の静止画像内にモーション情
報を自動的に表示することが望ましいであろう。
が表示又はプリントされる際に、モーション情報が失わ
れないように、ビデオ信号の静止画像内にモーション情
報を自動的に表示することが望ましいであろう。
【０００４】
【課題を解決するための手段】本発明は、ビデオ信号の
静止画像内でモーションを表すために、静止画像を修正
するシステム及び方法を提供する。
静止画像内でモーションを表すために、静止画像を修正
するシステム及び方法を提供する。
【０００５】本発明は、静止画像内の１つ以上のオブジ
ェクト及び/又は背景特徴物にモーションを表す（複数
の）動線(motion line)を追加することによって、モー
ションを表すために、静止画像を修正するシステム及び
方法を個別に提供する。
ェクト及び/又は背景特徴物にモーションを表す（複数
の）動線(motion line)を追加することによって、モー
ションを表すために、静止画像を修正するシステム及び
方法を個別に提供する。
【０００６】本発明は、モーションを表す追加された動
線を、その追加された動線が静止画像の選択された点を
始点として延びるように配置することによって、静止画
像を修正するシステム及び方法を個別に提供する。
線を、その追加された動線が静止画像の選択された点を
始点として延びるように配置することによって、静止画
像を修正するシステム及び方法を個別に提供する。
【０００７】本発明は、静止画像の前景オブジェクトと
静止画像の背景との間の相対的なモーションを表すよう
に、静止画像を修正するシステム及び方法を個別に提供
する。
静止画像の背景との間の相対的なモーションを表すよう
に、静止画像を修正するシステム及び方法を個別に提供
する。
【０００８】本発明は、前景画像上の点及び背景画像上
の点の一方又は両方にモーションを表す動線を追加する
ことによって、静止画像の前景オブジェクトと背景との
間の相対的なモーションを表すように、静止画像を修正
するシステム及び方法を個別に提供する。
の点の一方又は両方にモーションを表す動線を追加する
ことによって、静止画像の前景オブジェクトと背景との
間の相対的なモーションを表すように、静止画像を修正
するシステム及び方法を個別に提供する。
【０００９】１つの例示的な実施の形態では、本発明の
システム及び方法は、ビデオカメラを動かすことによっ
て生じたフィールド又はフレーム間のモーションを、ビ
デオフィールド又はフレーム内のモーションから区別す
ることによって、２つ以上の連続するビデオフィールド
又はビデオフレームを揃える。この２つのタイプのモー
ションは、特徴づけされる。通常は時間が早い方のフィ
ールド又はフレームであるフィールド又はフレームの一
方を、他方のベースとなるフィールド又はフレームに揃
えるために、個々のビデオフィールド又はフレームは変
形される。
システム及び方法は、ビデオカメラを動かすことによっ
て生じたフィールド又はフレーム間のモーションを、ビ
デオフィールド又はフレーム内のモーションから区別す
ることによって、２つ以上の連続するビデオフィールド
又はビデオフレームを揃える。この２つのタイプのモー
ションは、特徴づけされる。通常は時間が早い方のフィ
ールド又はフレームであるフィールド又はフレームの一
方を、他方のベースとなるフィールド又はフレームに揃
えるために、個々のビデオフィールド又はフレームは変
形される。
【００１０】一般的に“グローバルモーション（global
motion）”と呼ばれる第１のタイプのモーションは、
フィールド又はフレーム間でカメラが動いたことによっ
て生じる。そのような動きは、カメラのパン及び/又は
ズームに起因する。これらの２つのフィールド又はフレ
ーム内の特徴物を概ね揃えるのに必要な、第２のフィー
ルド又はフレームに関する１つのフィールド又はフレー
ムの調整は、このグローバルモーションを特徴づけす
る。本明細書で一般的に“ローカルモーション（local
motion）”と呼ぶ第２のタイプのモーションは、任意の
グローバルモーションについてフィールド又はフレーム
が概ね揃えられた後の、２つのフィールド又はフレーム
間の特定の特徴物のモーションのことである。このロー
カルモーションは、２つのフィールド又はフレーム間で
これらの特徴物を揃えるのに必要な付加的な調整によっ
て、更に特徴づけされる。一旦、２つのフィールド又は
フレーム内の特徴物について、この２つのフィールド又
はフレーム間のモーションが完全に特徴づけされたら、
この２つ以上のフィールド又はフレームの時間的に遅い
方に動線を追加できる。動線は、ローカルモーション、
グローバルモーション、又はグローバルモーションとロ
ーカルモーションとの任意の所望の組み合わせを表示す
るように用いることができる。
motion）”と呼ばれる第１のタイプのモーションは、
フィールド又はフレーム間でカメラが動いたことによっ
て生じる。そのような動きは、カメラのパン及び/又は
ズームに起因する。これらの２つのフィールド又はフレ
ーム内の特徴物を概ね揃えるのに必要な、第２のフィー
ルド又はフレームに関する１つのフィールド又はフレー
ムの調整は、このグローバルモーションを特徴づけす
る。本明細書で一般的に“ローカルモーション（local
motion）”と呼ぶ第２のタイプのモーションは、任意の
グローバルモーションについてフィールド又はフレーム
が概ね揃えられた後の、２つのフィールド又はフレーム
間の特定の特徴物のモーションのことである。このロー
カルモーションは、２つのフィールド又はフレーム間で
これらの特徴物を揃えるのに必要な付加的な調整によっ
て、更に特徴づけされる。一旦、２つのフィールド又は
フレーム内の特徴物について、この２つのフィールド又
はフレーム間のモーションが完全に特徴づけされたら、
この２つ以上のフィールド又はフレームの時間的に遅い
方に動線を追加できる。動線は、ローカルモーション、
グローバルモーション、又はグローバルモーションとロ
ーカルモーションとの任意の所望の組み合わせを表示す
るように用いることができる。
【００１１】本明細書に全文を参照して援用するゲズデ
ボズダギ(Gozde Bozdagi)の米国特許第5,784,115号
に、グローバルモーション補償が述べられている。
ボズダギ(Gozde Bozdagi)の米国特許第5,784,115号
に、グローバルモーション補償が述べられている。
【００１２】本発明のシステム及び方法の１つの例示的
な実施の形態では、動線によってローカルモーションだ
けが表示される場合は、フィールド又はフレーム間のグ
ローバルモーションを補償した後で、フィールド又はフ
レーム内のローカルモーションを検出することができ
る。フィールド又はフレーム内のローカルモーション
は、２つの連続ビデオフィールド又はフレーム内のオブ
ジェクト内の対象点における明度値の間の差をとること
によって決定される。モーションを生じる領域の二値マ
スクが形成される。このマスクは、ベースフィールド又
はフレーム内の、明度値間の差が閾値を越える点だけを
含むことによって、形成される。
な実施の形態では、動線によってローカルモーションだ
けが表示される場合は、フィールド又はフレーム間のグ
ローバルモーションを補償した後で、フィールド又はフ
レーム内のローカルモーションを検出することができ
る。フィールド又はフレーム内のローカルモーション
は、２つの連続ビデオフィールド又はフレーム内のオブ
ジェクト内の対象点における明度値の間の差をとること
によって決定される。モーションを生じる領域の二値マ
スクが形成される。このマスクは、ベースフィールド又
はフレーム内の、明度値間の差が閾値を越える点だけを
含むことによって、形成される。
【００１３】様々な方法を用いて、モーション領域に含
まれる点から、対象点が識別される。本発明に従ったシ
ステム及び方法の１つの例示的な実施の形態では、対象
点は、エッジに沿って位置する点に限定される。エッジ
は、対象点とその対象点に隣接する点との間の画像値に
おいて、選択された勾配強度を識別することによって決
定される。一旦、勾配強度が決定されると、勾配強度の
選択されたものが選択される。選択された勾配は、所定
の閾値よりも大きく、且つ勾配の方向に沿った隣接点に
おける勾配よりも大きい。
まれる点から、対象点が識別される。本発明に従ったシ
ステム及び方法の１つの例示的な実施の形態では、対象
点は、エッジに沿って位置する点に限定される。エッジ
は、対象点とその対象点に隣接する点との間の画像値に
おいて、選択された勾配強度を識別することによって決
定される。一旦、勾配強度が決定されると、勾配強度の
選択されたものが選択される。選択された勾配は、所定
の閾値よりも大きく、且つ勾配の方向に沿った隣接点に
おける勾配よりも大きい。
【００１４】本発明のシステム及び方法の１つの例示的
な実施の形態では、識別された対象点から、次に、ベー
スフィールド又はフレーム内の特徴物の角にある識別さ
れた対象点が選択される。角にある対象点は、近傍連結
画素の画像値を調べて、対象点と類似の画像値を有する
近傍連結画素の数がより少なく且つ対象点とは異なる画
像値を有する近傍連結画素の数がより多い対象点を選択
することによって、識別される。更に、本発明のシステ
ム及び方法の別の例示的な実施の形態では、選択された
対象点は、次に、選択された対象点が互いに所定の最小
距離で離間するように選択される。
な実施の形態では、識別された対象点から、次に、ベー
スフィールド又はフレーム内の特徴物の角にある識別さ
れた対象点が選択される。角にある対象点は、近傍連結
画素の画像値を調べて、対象点と類似の画像値を有する
近傍連結画素の数がより少なく且つ対象点とは異なる画
像値を有する近傍連結画素の数がより多い対象点を選択
することによって、識別される。更に、本発明のシステ
ム及び方法の別の例示的な実施の形態では、選択された
対象点は、次に、選択された対象点が互いに所定の最小
距離で離間するように選択される。
【００１５】本発明のシステム及び方法の１つの例示的
な実施の形態では、選択された各対象点のモーション
は、まず、２つのシーケンシャルなビデオフレーム又は
フィールドの後のフレーム又はフィールド内の、選択さ
れた各対象点を囲む画素ブロックを、２つのシーケンシ
ャルなビデオフレーム又はフィールドの前のフレーム又
はフィールド内の様々な位置の画素ブロックと照合する
ことによって決定される。シーケンシャルなビデオフレ
ーム間で明度差が最小となる画素ブロックが決定され
る。モーションは、後のフィールド又はフレーム内のそ
の画素ブロックの位置と、前のフィールド又はフレーム
内の決定された画素ブロックとの間の距離から決定され
る。
な実施の形態では、選択された各対象点のモーション
は、まず、２つのシーケンシャルなビデオフレーム又は
フィールドの後のフレーム又はフィールド内の、選択さ
れた各対象点を囲む画素ブロックを、２つのシーケンシ
ャルなビデオフレーム又はフィールドの前のフレーム又
はフィールド内の様々な位置の画素ブロックと照合する
ことによって決定される。シーケンシャルなビデオフレ
ーム間で明度差が最小となる画素ブロックが決定され
る。モーションは、後のフィールド又はフレーム内のそ
の画素ブロックの位置と、前のフィールド又はフレーム
内の決定された画素ブロックとの間の距離から決定され
る。
【００１６】本発明のシステム及び方法の別の例示的な
実施の形態では、識別された対象点からの所望の対象点
の選択は、識別された対象点のモーションの大きさのＮ
倍（ここではＮは約２である）の大きさを有するベクト
ルを、識別された対象点の最終位置に加え、次に、その
結果得られた対象点が動作領域内にあるか否かを決定す
ることを含む。得られた対象点が動作領域内にない場合
は、そのベクトルが加えられた識別された対象点が、対
象点として選択される。
実施の形態では、識別された対象点からの所望の対象点
の選択は、識別された対象点のモーションの大きさのＮ
倍（ここではＮは約２である）の大きさを有するベクト
ルを、識別された対象点の最終位置に加え、次に、その
結果得られた対象点が動作領域内にあるか否かを決定す
ることを含む。得られた対象点が動作領域内にない場合
は、そのベクトルが加えられた識別された対象点が、対
象点として選択される。
【００１７】選択された点のモーションを表す線が、後
のフィールド又はフレームに追加される。追加された線
は、選択された対象点からモーション方向に延びる。追
加された線は、対応する対象点のモーションを表す方向
及び長さ（大きさ）を有する。或いは、これらの線は、
全ての選択点のモーションの方向を平均した方向に延び
る。この場合、各線の長さは、それに対応する選択点の
モーションに比例する。
のフィールド又はフレームに追加される。追加された線
は、選択された対象点からモーション方向に延びる。追
加された線は、対応する対象点のモーションを表す方向
及び長さ（大きさ）を有する。或いは、これらの線は、
全ての選択点のモーションの方向を平均した方向に延び
る。この場合、各線の長さは、それに対応する選択点の
モーションに比例する。
【００１８】本発明に従った動線追加システム及び方法
は、フィールド又はフレーム内の特徴物の、複数のフィ
ールド又はフレーム間のモーション表現を含む静止画像
を生成する。モーションは、静止画像を含む２つ以上の
ビデオフィールド又はフレームのシーケンスから決定さ
れる。１つの例示的な実施の形態では、動線追加システ
ムは、取得（capture）されデジタル変換されたモーシ
ョンを含む画像のフィールド又はフレームを格納するメ
モリを含む。グローバルモーションシステムは、任意の
２つの連続するビデオフィールド又はビデオフレーム間
のグローバルモーションを除去する。候補点決定回路
は、メモリに格納されているグローバルモーション補償
済のベースフィールド又はベースフレーム内の候補点を
決定する。モーション決定回路は、候補点で生じるモー
ションを推定する。候補点選択部は、候補点から選択点
を抽出する。モーション表示回路は、静止画像の選択点
にモーション表示を追加する。
は、フィールド又はフレーム内の特徴物の、複数のフィ
ールド又はフレーム間のモーション表現を含む静止画像
を生成する。モーションは、静止画像を含む２つ以上の
ビデオフィールド又はフレームのシーケンスから決定さ
れる。１つの例示的な実施の形態では、動線追加システ
ムは、取得（capture）されデジタル変換されたモーシ
ョンを含む画像のフィールド又はフレームを格納するメ
モリを含む。グローバルモーションシステムは、任意の
２つの連続するビデオフィールド又はビデオフレーム間
のグローバルモーションを除去する。候補点決定回路
は、メモリに格納されているグローバルモーション補償
済のベースフィールド又はベースフレーム内の候補点を
決定する。モーション決定回路は、候補点で生じるモー
ションを推定する。候補点選択部は、候補点から選択点
を抽出する。モーション表示回路は、静止画像の選択点
にモーション表示を追加する。
【００１９】本発明のシステム及び方法の別の例示的な
実施の形態では、最初に２つのフィールド又はフレーム
間のグローバルモーションを調整せずに、２つのフィー
ルド又はフレームを比較することにより、モーションマ
スクを生成することができる。従って、モーションマス
クは、対象点の補償されていない明度値を、２つのフィ
ールド又はフレーム間で比較することによって生成され
る。この場合、動線は、２つのフィールド又はフレーム
間のローカルモーション及びグローバルモーションの両
方を表示することになる。
実施の形態では、最初に２つのフィールド又はフレーム
間のグローバルモーションを調整せずに、２つのフィー
ルド又はフレームを比較することにより、モーションマ
スクを生成することができる。従って、モーションマス
クは、対象点の補償されていない明度値を、２つのフィ
ールド又はフレーム間で比較することによって生成され
る。この場合、動線は、２つのフィールド又はフレーム
間のローカルモーション及びグローバルモーションの両
方を表示することになる。
【００２０】本発明の態様は、ビデオデータ信号から取
得された静止画像内でのモーション表示方法であって、
ビデオデータ信号の第１の部分（即ち第１のビデオフレ
ーム又はフィールド）を取得するステップと、ビデオデ
ータ信号の第２の部分（即ち第２のビデオフレーム又は
フィールド）を取得するステップと、ビデオデータ信号
の第１の部分と第２の部分との間のモーション（即ちオ
ブジェクトと背景との間の相対的なモーション）を特徴
づけるステップと、第１の部分の少なくとも１つの画素
（即ち特徴点）について、前記画素に対応する特徴づけ
されたモーションに基づき、前記画素に動線を追加する
ステップとを有する、ビデオデータ信号から取得された
静止画像内でのモーション表示方法である。
得された静止画像内でのモーション表示方法であって、
ビデオデータ信号の第１の部分（即ち第１のビデオフレ
ーム又はフィールド）を取得するステップと、ビデオデ
ータ信号の第２の部分（即ち第２のビデオフレーム又は
フィールド）を取得するステップと、ビデオデータ信号
の第１の部分と第２の部分との間のモーション（即ちオ
ブジェクトと背景との間の相対的なモーション）を特徴
づけるステップと、第１の部分の少なくとも１つの画素
（即ち特徴点）について、前記画素に対応する特徴づけ
されたモーションに基づき、前記画素に動線を追加する
ステップとを有する、ビデオデータ信号から取得された
静止画像内でのモーション表示方法である。
【００２１】本発明のこれらの及び他の特徴及び長所
は、以下の好ましい実施の形態の詳細説明で述べられ、
明らかとなる。
は、以下の好ましい実施の形態の詳細説明で述べられ、
明らかとなる。
【００２２】
【発明の実施の形態】図１は、背景１１０と背景１１０
に相対して移動している前景オブジェクト１２０とを有
する、例示的な、取得されたビデオフレーム１００を示
す。詳細には、移動オブジェクト１２０は、概ねビデオ
フレームの左下角１２２に向かって移動している。
に相対して移動している前景オブジェクト１２０とを有
する、例示的な、取得されたビデオフレーム１００を示
す。詳細には、移動オブジェクト１２０は、概ねビデオ
フレームの左下角１２２に向かって移動している。
【００２３】図２は、図１に示されている例示的な静止
ビデオ画像１００から生成された、例示的な動線追加済
静止画像１００’を示す。詳細には、動線追加済静止画
像１００’は動線１３０を含む。これらの動線１３０
は、静止ビデオ画像１００内の背景１１０に相対するオ
ブジェクト１２０のモーションの、静止ビデオ画像１０
０が取得されたビデオデータ信号の先行フィールド又は
フレームに相対する、方向及び大きさを示す。動線１３
０は、移動オブジェクト１２０の選択された画素から、
モーション方向に平行に、即ち、静止ビデオ画像１０
０’の右上角１１２に向かって延びる。
ビデオ画像１００から生成された、例示的な動線追加済
静止画像１００’を示す。詳細には、動線追加済静止画
像１００’は動線１３０を含む。これらの動線１３０
は、静止ビデオ画像１００内の背景１１０に相対するオ
ブジェクト１２０のモーションの、静止ビデオ画像１０
０が取得されたビデオデータ信号の先行フィールド又は
フレームに相対する、方向及び大きさを示す。動線１３
０は、移動オブジェクト１２０の選択された画素から、
モーション方向に平行に、即ち、静止ビデオ画像１０
０’の右上角１１２に向かって延びる。
【００２４】詳細には、動線１３０は、１つ以上の直前
のフィールド又はフレーム内の移動オブジェクト１２０
の位置に相対する、取得された静止ビデオ画像１００を
形成するために用いられたフィールド又はフレーム内の
移動オブジェクト１２０の位置の、モーション量に比例
する。これらの１つ以上の直前のフィールド又はフレー
ムも、取得された静止ビデオ画像１００を形成するため
に用いられていてもよいが、取得された静止ビデオ画像
１００を形成するためにそれらを用いる必要はない。
のフィールド又はフレーム内の移動オブジェクト１２０
の位置に相対する、取得された静止ビデオ画像１００を
形成するために用いられたフィールド又はフレーム内の
移動オブジェクト１２０の位置の、モーション量に比例
する。これらの１つ以上の直前のフィールド又はフレー
ムも、取得された静止ビデオ画像１００を形成するため
に用いられていてもよいが、取得された静止ビデオ画像
１００を形成するためにそれらを用いる必要はない。
【００２５】モーションの方向をより正確に表すため
に、動線追加済静止ビデオ画像１００’内の移動オブジ
ェクト１２０の、動線１３０が延びる選択された画素、
即ち動線１３０の始点となる画素は、概ね、移動オブジ
ェクト１２０のモーション方向に関してオブジェクトの
後方のエッジ上に存在する。従って、従来の、例えば、
アニメーション化された漫画のように、動線は、取得さ
れた動線追加済静止ビデオ画像１００’内で移動オブジ
ェクト１２０が現時点で存在する場所から、静止ビデオ
画像１００が取得されたビデオデータ信号の先行フィー
ルド又はフレーム内で移動オブジェクト１２０が占める
位置へと後ろに向かって延びる。
に、動線追加済静止ビデオ画像１００’内の移動オブジ
ェクト１２０の、動線１３０が延びる選択された画素、
即ち動線１３０の始点となる画素は、概ね、移動オブジ
ェクト１２０のモーション方向に関してオブジェクトの
後方のエッジ上に存在する。従って、従来の、例えば、
アニメーション化された漫画のように、動線は、取得さ
れた動線追加済静止ビデオ画像１００’内で移動オブジ
ェクト１２０が現時点で存在する場所から、静止ビデオ
画像１００が取得されたビデオデータ信号の先行フィー
ルド又はフレーム内で移動オブジェクト１２０が占める
位置へと後ろに向かって延びる。
【００２６】図２に示されるように、動線１３０は、ビ
デオの先行フィールド又はフレームに相対する移動オブ
ジェクト１２０のモーション方向に平行に延びる直線で
ある。しかし、移動オブジェクト１２０のモーション
は、取得された静止ビデオ画像１００の形成に用いられ
たフィールド又はフレームに先行するビデオデータ信号
の幾つかのフィールド又はフレームにわたって決定する
ことができる。移動オブジェクト１２０の、動線１３０
が付けられる選択された様々な各画素のモーションの作
図が可能であり、動線１３０の形状は、幾つかのビデオ
フィールド又はビデオフレームにわたる、選択点の様々
な作図されたモーションに合わせることができる。
デオの先行フィールド又はフレームに相対する移動オブ
ジェクト１２０のモーション方向に平行に延びる直線で
ある。しかし、移動オブジェクト１２０のモーション
は、取得された静止ビデオ画像１００の形成に用いられ
たフィールド又はフレームに先行するビデオデータ信号
の幾つかのフィールド又はフレームにわたって決定する
ことができる。移動オブジェクト１２０の、動線１３０
が付けられる選択された様々な各画素のモーションの作
図が可能であり、動線１３０の形状は、幾つかのビデオ
フィールド又はビデオフレームにわたる、選択点の様々
な作図されたモーションに合わせることができる。
【００２７】一般的に、移動オブジェクト１２０の選択
点の任意の１つに対する個々の動線１３０を、他の選択
点に対する動線１３０から独立して引くことができる。
或いは、移動オブジェクト１２０の選択点の全てに、同
一のモーションの方向及び大きさの平均を与えてもよ
い。更に、移動オブジェクト１２０の選択点とつながっ
ている動線１３０は、同一の平均の方向を与えられても
よいが、動線１３０の長さは、移動オブジェクト１２０
上の対応する点のモーションの特定の大きさを比例表現
するように修正されてもよい。更に、動線１３０の長さ
は、取得された静止ビデオ画像１００を形成するのに用
いられたフィールド又はフレームと、移動オブジェクト
１２０のモーションの決定に用いられたビデオデータ信
号の１つ以上の直前のフィールド又はフレームとの間の
モーション量に、正確に対応してもよいことを認識され
たい。或いは、動線１３０の長さをある選択された定数
で乗算し、モーションがより明確になるようにモーショ
ンをスケーリングしてもよい。
点の任意の１つに対する個々の動線１３０を、他の選択
点に対する動線１３０から独立して引くことができる。
或いは、移動オブジェクト１２０の選択点の全てに、同
一のモーションの方向及び大きさの平均を与えてもよ
い。更に、移動オブジェクト１２０の選択点とつながっ
ている動線１３０は、同一の平均の方向を与えられても
よいが、動線１３０の長さは、移動オブジェクト１２０
上の対応する点のモーションの特定の大きさを比例表現
するように修正されてもよい。更に、動線１３０の長さ
は、取得された静止ビデオ画像１００を形成するのに用
いられたフィールド又はフレームと、移動オブジェクト
１２０のモーションの決定に用いられたビデオデータ信
号の１つ以上の直前のフィールド又はフレームとの間の
モーション量に、正確に対応してもよいことを認識され
たい。或いは、動線１３０の長さをある選択された定数
で乗算し、モーションがより明確になるようにモーショ
ンをスケーリングしてもよい。
【００２８】各動線１３０は、黒のような同じ色で色づ
けされてもよく、又は様々な方法でカラー符号化されて
もよいことを、更に認識されたい。動線をカラー符号化
するための１つの方法として、取得された静止ビデオ画
像１００’内の移動オブジェクト１２０の、各動線１３
０がつけられる選択された画素の色に基づいて、動線を
色づけすることができる。或いは、様々な選択点の間の
モーションの相対的な量、平均モーション量と選択され
た各点のモーション量との間の差の量、又は平均モーシ
ョン方向と選択された各点のモーションの方向との間の
差の量等に従って、動線１３０がカラー符号化されても
よい。従って、動線１３０を作図するための及び/又は
動線１３０をカラー符号化するための、公知の又は今後
開発される任意の方法を、本発明の範囲を逸脱すること
なく、本発明に従ったシステム及び方法に用いることが
可能なことを認識されたい。
けされてもよく、又は様々な方法でカラー符号化されて
もよいことを、更に認識されたい。動線をカラー符号化
するための１つの方法として、取得された静止ビデオ画
像１００’内の移動オブジェクト１２０の、各動線１３
０がつけられる選択された画素の色に基づいて、動線を
色づけすることができる。或いは、様々な選択点の間の
モーションの相対的な量、平均モーション量と選択され
た各点のモーション量との間の差の量、又は平均モーシ
ョン方向と選択された各点のモーションの方向との間の
差の量等に従って、動線１３０がカラー符号化されても
よい。従って、動線１３０を作図するための及び/又は
動線１３０をカラー符号化するための、公知の又は今後
開発される任意の方法を、本発明の範囲を逸脱すること
なく、本発明に従ったシステム及び方法に用いることが
可能なことを認識されたい。
【００２９】図３は、本発明に従った動線追加システム
４００の１つの例示的な実施の形態の機能ブロック図で
ある。動線追加システム４００は、静止画像内の１つ以
上のオブジェクトと背景特徴物との間のモーションを表
すために、ビデオデータ信号等から取得された静止画像
内のオブジェクト及び/又は背景特徴物に、自動的に動
線を追加する。
４００の１つの例示的な実施の形態の機能ブロック図で
ある。動線追加システム４００は、静止画像内の１つ以
上のオブジェクトと背景特徴物との間のモーションを表
すために、ビデオデータ信号等から取得された静止画像
内のオブジェクト及び/又は背景特徴物に、自動的に動
線を追加する。
【００３０】図３に示されるように、ユーザインタフェ
ース装置２２０及び（静止）画像データシンク（sink：
受信側）３００は、動線追加システム４００の入出力イ
ンタフェース４２０に接続されている。ビデオ画像デー
タソース２００も、動線追加システム４００に接続され
ている。詳細には、ビデオ画像データソース２００は、
アナログデータリンク２１０を介して、動線追加システ
ム４００のビデオフレームキャプチャサブシステム４４
０に接続できる。ビデオ画像データソース２００は、ア
ナログデータリンク２１０の代わりに、又はアナログデ
ータリンク２１０に加えて、デジタルデータリンク２１
２を介して、動線追加システム４００の入出力インタフ
ェース４２０に接続できる。
ース装置２２０及び（静止）画像データシンク（sink：
受信側）３００は、動線追加システム４００の入出力イ
ンタフェース４２０に接続されている。ビデオ画像デー
タソース２００も、動線追加システム４００に接続され
ている。詳細には、ビデオ画像データソース２００は、
アナログデータリンク２１０を介して、動線追加システ
ム４００のビデオフレームキャプチャサブシステム４４
０に接続できる。ビデオ画像データソース２００は、ア
ナログデータリンク２１０の代わりに、又はアナログデ
ータリンク２１０に加えて、デジタルデータリンク２１
２を介して、動線追加システム４００の入出力インタフ
ェース４２０に接続できる。
【００３１】ビデオ画像データソース２００は、ビデオ
カセットレコーダー又は再生装置、ビデオテープレコー
ダー又は再生装置、ビデオカメラ、テレビカメラ又は放
送テレビジョン信号、共同アンテナテレビジョンシステ
ム（即ちケーブルテレビ）への接続、衛星放送受信アン
テナで受信する衛生放送テレビジョン通信、ＬＡＮ又は
ＷＡＮへの接続、イントラネット、インターネット、又
は他の任意の分散形処理ネットワーク、又は他の公知の
又は今後開発される任意のビデオデータ信号ソースのよ
うな、任意のビデオ画像データソースであってよい。い
ずれの場合にも、ビデオ画像データソース２００は、リ
ンク２１０及び/又はリンク２１２を介して動線追加シ
ステム４００に接続される。
カセットレコーダー又は再生装置、ビデオテープレコー
ダー又は再生装置、ビデオカメラ、テレビカメラ又は放
送テレビジョン信号、共同アンテナテレビジョンシステ
ム（即ちケーブルテレビ）への接続、衛星放送受信アン
テナで受信する衛生放送テレビジョン通信、ＬＡＮ又は
ＷＡＮへの接続、イントラネット、インターネット、又
は他の任意の分散形処理ネットワーク、又は他の公知の
又は今後開発される任意のビデオデータ信号ソースのよ
うな、任意のビデオ画像データソースであってよい。い
ずれの場合にも、ビデオ画像データソース２００は、リ
ンク２１０及び/又はリンク２１２を介して動線追加シ
ステム４００に接続される。
【００３２】ビデオ画像データソース２００は、アナロ
グビデオ画像データ、デジタルビデオ画像データのいず
れを供給しても、又は両方を供給してもよいことを認識
されたい。ビデオ画像データソース２００がアナログビ
デオ画像データを供給する場合は、ビデオ画像データソ
ース２００はアナログビデオカメラ、アナログ電子カメ
ラ、テレビジョンアンテナで受信するアナログテレビジ
ョン信号、又は他の公知の又は今後開発される任意のア
ナログビデオデータ信号ソースであり得る。この場合、
ビデオ画像データソース２００によるアナログビデオ画
像データ出力は、後でより詳細に述べる、アナログリン
ク２１０を介してのビデオフレームキャプチャサブシス
テム４４０への出力であることを認識されたい。
グビデオ画像データ、デジタルビデオ画像データのいず
れを供給しても、又は両方を供給してもよいことを認識
されたい。ビデオ画像データソース２００がアナログビ
デオ画像データを供給する場合は、ビデオ画像データソ
ース２００はアナログビデオカメラ、アナログ電子カメ
ラ、テレビジョンアンテナで受信するアナログテレビジ
ョン信号、又は他の公知の又は今後開発される任意のア
ナログビデオデータ信号ソースであり得る。この場合、
ビデオ画像データソース２００によるアナログビデオ画
像データ出力は、後でより詳細に述べる、アナログリン
ク２１０を介してのビデオフレームキャプチャサブシス
テム４４０への出力であることを認識されたい。
【００３３】ビデオ画像データソース２００がデジタル
ビデオ画像データを供給する場合は、ビデオ画像データ
ソース２００は、デジタルビデオカメラ、デジタル電子
カメラ、デジタルテレビカメラ、テレビジョンアンテナ
で受信するデジタルテレビジョン信号、又はデジタルビ
デオデータを供給する能力がある分散形処理ネットワー
クのノード、又は他の公知の又は今後開発される任意の
デジタルビデオデータ信号ソースであり得る。例えば、
ビデオ画像データソース２００は、ＬＡＮ、ＷＡＮ、イ
ントラネット、インターネット、又は他の公知の又は今
後開発される任意の分散形処理ネットワークのような分
散形処理ネットワークの遠隔配置されたノードであって
よい。
ビデオ画像データを供給する場合は、ビデオ画像データ
ソース２００は、デジタルビデオカメラ、デジタル電子
カメラ、デジタルテレビカメラ、テレビジョンアンテナ
で受信するデジタルテレビジョン信号、又はデジタルビ
デオデータを供給する能力がある分散形処理ネットワー
クのノード、又は他の公知の又は今後開発される任意の
デジタルビデオデータ信号ソースであり得る。例えば、
ビデオ画像データソース２００は、ＬＡＮ、ＷＡＮ、イ
ントラネット、インターネット、又は他の公知の又は今
後開発される任意の分散形処理ネットワークのような分
散形処理ネットワークの遠隔配置されたノードであって
よい。
【００３４】ビデオ画像データソース２００が動線追加
システム４００にデジタルビデオ画像データを供給する
際には、デジタルビデオ画像データの個々のフィールド
及びフレームは既にデジタル形式であるので、ビデオフ
レームキャプチャサブシステム４４０によるデジタル変
換の必要はない。従って、デジタルビデオ画像データ
は、ビデオ画像データソース２００によって、デジタル
ビデオ画像データリンク２１２を介して入出力インタフ
ェース４２０へと、直接出力されてよい。リンク２１０
及び/又はリンク２１２はそれぞれ、ビデオ画像データ
ソース２００への有線又は無線リンクであり得ることを
更に認識されたい。
システム４００にデジタルビデオ画像データを供給する
際には、デジタルビデオ画像データの個々のフィールド
及びフレームは既にデジタル形式であるので、ビデオフ
レームキャプチャサブシステム４４０によるデジタル変
換の必要はない。従って、デジタルビデオ画像データ
は、ビデオ画像データソース２００によって、デジタル
ビデオ画像データリンク２１２を介して入出力インタフ
ェース４２０へと、直接出力されてよい。リンク２１０
及び/又はリンク２１２はそれぞれ、ビデオ画像データ
ソース２００への有線又は無線リンクであり得ることを
更に認識されたい。
【００３５】ビデオ画像データソース２００並びにリン
ク２１０及び/又は２１２の特定の実施例に関わらず、
動線追加システム４００は、ビデオ画像データソース２
００からリンク２１０及び２１２の一方を介して、ビデ
オデータ信号を受信する。このビデオデータ信号は、同
一シーンの少なくとも２つのフィールド又はフレームを
含み、同一シーンの任意の数のフィールド又はフレーム
を含むことができる。本発明に従ったシステム及び方法
の１つの例示的な実施の形態では、ビデオ画像データソ
ース２００によって動線追加システム４００に出力され
るビデオデータ信号は、少なくとも２つのシーケンシャ
ルフィールド又は少なくとも２つのシーケンシャルフレ
ームを含む。しかし、ビデオ画像データソース２００に
よって動線追加システム４００に出力されるビデオデー
タ信号のフィールド又はフレームは、同一シーンの少な
くとも２つのフィールド又はフレームが存在する限りに
おいて、必ずしもシーケンシャルである必要はない。
ク２１０及び/又は２１２の特定の実施例に関わらず、
動線追加システム４００は、ビデオ画像データソース２
００からリンク２１０及び２１２の一方を介して、ビデ
オデータ信号を受信する。このビデオデータ信号は、同
一シーンの少なくとも２つのフィールド又はフレームを
含み、同一シーンの任意の数のフィールド又はフレーム
を含むことができる。本発明に従ったシステム及び方法
の１つの例示的な実施の形態では、ビデオ画像データソ
ース２００によって動線追加システム４００に出力され
るビデオデータ信号は、少なくとも２つのシーケンシャ
ルフィールド又は少なくとも２つのシーケンシャルフレ
ームを含む。しかし、ビデオ画像データソース２００に
よって動線追加システム４００に出力されるビデオデー
タ信号のフィールド又はフレームは、同一シーンの少な
くとも２つのフィールド又はフレームが存在する限りに
おいて、必ずしもシーケンシャルである必要はない。
【００３６】本明細書に援用する前述の米国特許第5,78
4,115号で十分に述べられているように、単一のビデオ
フレームは、従来的に、時間が1/60秒ずれている２つの
シーケンシャルなビデオフィールドを含む。詳細には、
そのフレームの一方のフィールドはそのフレームの奇数
ラインを含み、他方のフィールドはそのフレームの偶数
ラインを含む。そのフレームを表示又はプリントする際
には、完全なフレームを形成するために、２つのフィー
ルドの偶数ラインと奇数ラインとがインターレース（交
互に配置）されなければならない。前述の米国特許第5,
784,115号で述べられているように、偶数フィールドと
奇数フィールドとは1/60秒ずれているので、偶数フィー
ルド及び奇数フィールドで形成されているフレームの許
容できる取得された静止画像を形成するためには、これ
らの２つのフィールド間で生じているグローバルモーシ
ョン及びローカルモーションは、取得されたビデオフレ
ームを形成する際に除去されるべきである。
4,115号で十分に述べられているように、単一のビデオ
フレームは、従来的に、時間が1/60秒ずれている２つの
シーケンシャルなビデオフィールドを含む。詳細には、
そのフレームの一方のフィールドはそのフレームの奇数
ラインを含み、他方のフィールドはそのフレームの偶数
ラインを含む。そのフレームを表示又はプリントする際
には、完全なフレームを形成するために、２つのフィー
ルドの偶数ラインと奇数ラインとがインターレース（交
互に配置）されなければならない。前述の米国特許第5,
784,115号で述べられているように、偶数フィールドと
奇数フィールドとは1/60秒ずれているので、偶数フィー
ルド及び奇数フィールドで形成されているフレームの許
容できる取得された静止画像を形成するためには、これ
らの２つのフィールド間で生じているグローバルモーシ
ョン及びローカルモーションは、取得されたビデオフレ
ームを形成する際に除去されるべきである。
【００３７】詳細には、フレームの偶数フィールドと奇
数フィールドとの間にローカルモーションが生じている
場合、前述の米国特許第5,784,115号で開示されている
システム及び方法を用いて、そのモーションを検出及び
除去することができる。一方、本発明のシステム及び方
法は、取得された静止画像になるフレームを形成してい
る２つのフィールド間のグローバルモーション及びロー
カルモーションを除去する前に、本発明に従って、単一
のフレームの２つのフィールド間の、又は１つのフレー
ムの一方のフィールドと先行又は後続フレームの一方の
フィールドとの間の、ローカルモーションを用いて、移
動している前景オブジェクトの選択点のモーションの大
きさ及び方向を識別することができる。
数フィールドとの間にローカルモーションが生じている
場合、前述の米国特許第5,784,115号で開示されている
システム及び方法を用いて、そのモーションを検出及び
除去することができる。一方、本発明のシステム及び方
法は、取得された静止画像になるフレームを形成してい
る２つのフィールド間のグローバルモーション及びロー
カルモーションを除去する前に、本発明に従って、単一
のフレームの２つのフィールド間の、又は１つのフレー
ムの一方のフィールドと先行又は後続フレームの一方の
フィールドとの間の、ローカルモーションを用いて、移
動している前景オブジェクトの選択点のモーションの大
きさ及び方向を識別することができる。
【００３８】或いは、本発明のシステム及び方法は、米
国特許第5,784,115号に開示されているシステム及び方
法を用いて、カレント（現在の、基準となる）フレーム
及び先行フレームの各々を形成している２つのフィール
ドが組合わされて、各フレームの２つのフィールド間の
グローバルモーション及び可能であればローカルモーシ
ョンが除去された後で、カレントフレームと先行フレー
ムとの間の前景オブジェクトのローカルモーションを決
定してもよい。従って、以下の議論ではフィールド及び
フレームの両方を参照する。
国特許第5,784,115号に開示されているシステム及び方
法を用いて、カレント（現在の、基準となる）フレーム
及び先行フレームの各々を形成している２つのフィール
ドが組合わされて、各フレームの２つのフィールド間の
グローバルモーション及び可能であればローカルモーシ
ョンが除去された後で、カレントフレームと先行フレー
ムとの間の前景オブジェクトのローカルモーションを決
定してもよい。従って、以下の議論ではフィールド及び
フレームの両方を参照する。
【００３９】動線によって表されるモーションは、更に
又は代わりに、１つ以上の比較的位置が固定している又
は概してゆっくり動く前景オブジェクトに相対する背景
のモーションを表してもよいことも認識されたい。この
場合、動線が延びる選択点は、上述のように１つ以上の
前景オブジェクト上の点であるか、移動する背景の１つ
以上の特徴物上の点であるか、又はその両方であること
が可能である。以上を念頭におきながら、以下の議論で
は、簡単にするために、主として移動する前景オブジェ
クトに焦点をおく。
又は代わりに、１つ以上の比較的位置が固定している又
は概してゆっくり動く前景オブジェクトに相対する背景
のモーションを表してもよいことも認識されたい。この
場合、動線が延びる選択点は、上述のように１つ以上の
前景オブジェクト上の点であるか、移動する背景の１つ
以上の特徴物上の点であるか、又はその両方であること
が可能である。以上を念頭におきながら、以下の議論で
は、簡単にするために、主として移動する前景オブジェ
クトに焦点をおく。
【００４０】（静止）画像データシンク３００は、動線
追加済のベースとなる取得されたビデオフレームを表
示、プリント、又は伝送及び/又は格納するための、公
知の又は今後開発される任意の装置であってよい。（静
止）画像データシンク３００は、動線追加済のベースと
なる取得されたビデオフレームを視覚的に表示すること
ができる、公知の又は今後開発される任意のタイプの表
示装置であってもよい。
追加済のベースとなる取得されたビデオフレームを表
示、プリント、又は伝送及び/又は格納するための、公
知の又は今後開発される任意の装置であってよい。（静
止）画像データシンク３００は、動線追加済のベースと
なる取得されたビデオフレームを視覚的に表示すること
ができる、公知の又は今後開発される任意のタイプの表
示装置であってもよい。
【００４１】或いは、（静止）画像データシンク３００
は、画像記録媒体上に、動線追加済の取得されたビデオ
フレームの画像を形成するための、公知の又は今後開発
される任意の画像形成装置であってもよい。詳細には、
この場合、（静止）画像データシンク３００は、ドット
マトリックスプリンタ、レーザプリンタ、インクジェッ
トプリンタ、サーマルプリンタ、デジタルコピー機等の
任意の種類の電子写真式画像形成装置、等であってよ
い。
は、画像記録媒体上に、動線追加済の取得されたビデオ
フレームの画像を形成するための、公知の又は今後開発
される任意の画像形成装置であってもよい。詳細には、
この場合、（静止）画像データシンク３００は、ドット
マトリックスプリンタ、レーザプリンタ、インクジェッ
トプリンタ、サーマルプリンタ、デジタルコピー機等の
任意の種類の電子写真式画像形成装置、等であってよ
い。
【００４２】最後に、（静止）画像データシンク３００
は、動線追加済のベースとなる取得されたビデオフレー
ムを格納、表示、及び/又はプリントできる、ＬＡＮ、
ＷＡＮ、イントラネット、又はインターネット等の分散
形処理ネットワークの遠隔配置されたホストコンピュー
タ又は他のノードであってよい。従って、リンク３１０
は、動線追加システム４００を表示装置、画像形成装
置、又は分散形処理ネットワークの遠隔配置されたホス
トコンピュータ又は遠隔配置されたノードに接続するた
めの、公知の又は今後開発される任意の装置であってよ
い。リンク３１０は詳細には有線又は無線リンクであっ
てよい。
は、動線追加済のベースとなる取得されたビデオフレー
ムを格納、表示、及び/又はプリントできる、ＬＡＮ、
ＷＡＮ、イントラネット、又はインターネット等の分散
形処理ネットワークの遠隔配置されたホストコンピュー
タ又は他のノードであってよい。従って、リンク３１０
は、動線追加システム４００を表示装置、画像形成装
置、又は分散形処理ネットワークの遠隔配置されたホス
トコンピュータ又は遠隔配置されたノードに接続するた
めの、公知の又は今後開発される任意の装置であってよ
い。リンク３１０は詳細には有線又は無線リンクであっ
てよい。
【００４３】ユーザインタフェース装置２２０は、リン
ク２２２を介して動線追加システム４００に接続されて
いる。ユーザインタフェース装置２２０は、ユーザが動
線追加システムに制御信号を与えるのを可能にする、公
知の又は今後開発される任意のシステム又は装置であっ
てよい。リンク２２２は、リンク２１０及び３１０に関
して上述したように、公知の又は今後開発される任意の
接続システム又は装置であってよい。
ク２２２を介して動線追加システム４００に接続されて
いる。ユーザインタフェース装置２２０は、ユーザが動
線追加システムに制御信号を与えるのを可能にする、公
知の又は今後開発される任意のシステム又は装置であっ
てよい。リンク２２２は、リンク２１０及び３１０に関
して上述したように、公知の又は今後開発される任意の
接続システム又は装置であってよい。
【００４４】２つ以上のフィールド又はフレームを含む
デジタルビデオデータ信号が動線追加システム４００に
入力される際は、デジタルビデオデータ信号は、コント
ローラ４１０の制御下で入出力インタフェース４２０を
介して入力され、制御バス及びデータバスである４０５
を介してメモリ４３０に転送される。次に、２つ以上の
ビデオフィールド又はフレームを含むデジタルビデオデ
ータ信号は、ビデオフレームキャプチャサブシステム４
４０に入力される。一方、アナログビデオデータ信号が
動線追加システム４００に入力される際は、アナログビ
デオデータ信号は、直接ビデオフレームキャプチャサブ
システム４４０に入力され、そこでアナログビデオデー
タ信号はデジタルビデオデータ信号に変換され、おそら
くメモリ４３０に格納される。
デジタルビデオデータ信号が動線追加システム４００に
入力される際は、デジタルビデオデータ信号は、コント
ローラ４１０の制御下で入出力インタフェース４２０を
介して入力され、制御バス及びデータバスである４０５
を介してメモリ４３０に転送される。次に、２つ以上の
ビデオフィールド又はフレームを含むデジタルビデオデ
ータ信号は、ビデオフレームキャプチャサブシステム４
４０に入力される。一方、アナログビデオデータ信号が
動線追加システム４００に入力される際は、アナログビ
デオデータ信号は、直接ビデオフレームキャプチャサブ
システム４４０に入力され、そこでアナログビデオデー
タ信号はデジタルビデオデータ信号に変換され、おそら
くメモリ４３０に格納される。
【００４５】ビデオフレームキャプチャサブシステム４
４０は、デジタルビデオデータ信号の少なくともベース
フィールド又はベースフレームを取得し、それに、動線
追加システム４００が、動線１３０と、ビデオデータ信
号の少なくとも１つの追加フィールド又は少なくとも１
つの追加フレームとを追加する。少なくとも１つの追加
フィールド又はフレームは、ベースとなる取得されたフ
ィールド又はフレームと同じシーンを示しており、ビデ
オデータ信号内において、ベースとなる取得されたフィ
ールド又はフレームと比べて時間的に早く生じる。
４０は、デジタルビデオデータ信号の少なくともベース
フィールド又はベースフレームを取得し、それに、動線
追加システム４００が、動線１３０と、ビデオデータ信
号の少なくとも１つの追加フィールド又は少なくとも１
つの追加フレームとを追加する。少なくとも１つの追加
フィールド又はフレームは、ベースとなる取得されたフ
ィールド又はフレームと同じシーンを示しており、ビデ
オデータ信号内において、ベースとなる取得されたフィ
ールド又はフレームと比べて時間的に早く生じる。
【００４６】詳細には、上述のように、ビデオフレーム
キャプチャサブシステム４４０によって取得された追加
ビデオフィールド又はフレームは、ベースとなる取得さ
れたビデオフレームの少なくとも１つのフィールドの前
にシーケンシャルに生じることができる。しかしなが
ら、追加の取得されたビデオフィールド又はフレーム
が、ベースとなる取得されたビデオフレームの少なくと
も１つのフィールドと同じシーンを示す限りにおいて、
追加の取得されたビデオフィールド又はフレームが、ベ
ースとなる取得されたビデオフレームの少なくとも１つ
のフィールドの直前にシーケンシャルに生じることが厳
密に必要というわけではない。
キャプチャサブシステム４４０によって取得された追加
ビデオフィールド又はフレームは、ベースとなる取得さ
れたビデオフレームの少なくとも１つのフィールドの前
にシーケンシャルに生じることができる。しかしなが
ら、追加の取得されたビデオフィールド又はフレーム
が、ベースとなる取得されたビデオフレームの少なくと
も１つのフィールドと同じシーンを示す限りにおいて、
追加の取得されたビデオフィールド又はフレームが、ベ
ースとなる取得されたビデオフレームの少なくとも１つ
のフィールドの直前にシーケンシャルに生じることが厳
密に必要というわけではない。
【００４７】一旦、ビデオフレームキャプチャサブシス
テム４４０が、ビデオデータ信号から２つ以上のビデオ
フィールド又はフレームを取得すると、取得されたビデ
オフィールド又はフレームは、グローバルモーション補
償サブシステム４５０に入力される。グローバルモーシ
ョン補償サブシステム４５０は、取得されたビデオフィ
ールド又はフレームを解析し、取得されたビデオフィー
ルド又はフレームからグローバルモーションを特徴づけ
し、可能であれは除去する。グローバルモーションは、
ビデオフィールド又はフレームの様々な前景及び背景部
分の全体にわたってグローバルに生じる、取得されたビ
デオフィールド又はフレーム間のモーションである。概
して、グローバルモーションは、パン及びズーム等のカ
メラの動きに起因する。取得されたビデオフィールド又
はフレームからグローバルモーションを特徴づけ及び除
去するために、本明細書に援用する米国特許第5,784,11
5号に記載のグローバルモーション補償方法及びシステ
ムのような、グローバルモーションを除去又は補償する
ための、公知の又は今後開発される任意のシステム及び
方法を用いることができることを認識されたい。
テム４４０が、ビデオデータ信号から２つ以上のビデオ
フィールド又はフレームを取得すると、取得されたビデ
オフィールド又はフレームは、グローバルモーション補
償サブシステム４５０に入力される。グローバルモーシ
ョン補償サブシステム４５０は、取得されたビデオフィ
ールド又はフレームを解析し、取得されたビデオフィー
ルド又はフレームからグローバルモーションを特徴づけ
し、可能であれは除去する。グローバルモーションは、
ビデオフィールド又はフレームの様々な前景及び背景部
分の全体にわたってグローバルに生じる、取得されたビ
デオフィールド又はフレーム間のモーションである。概
して、グローバルモーションは、パン及びズーム等のカ
メラの動きに起因する。取得されたビデオフィールド又
はフレームからグローバルモーションを特徴づけ及び除
去するために、本明細書に援用する米国特許第5,784,11
5号に記載のグローバルモーション補償方法及びシステ
ムのような、グローバルモーションを除去又は補償する
ための、公知の又は今後開発される任意のシステム及び
方法を用いることができることを認識されたい。
【００４８】一旦、取得されたビデオフィールド又はフ
レームからグローバルモーションが特徴づけされ、可能
であれば除去又は補償されると、取得されたビデオフィ
ールド又はフレームは（ローカル）モーション決定サブ
システム４６０へと出力される。（ローカル）モーショ
ン決定サブシステム４６０は、ベースとなる取得された
ビデオフィールド又はフレームと１つ以上の追加の取得
されたビデオフィールド又はフレームとの間のローカル
モーションの１つ以上の領域を識別する。概して、取得
されたビデオフィールド又はフレーム間にローカルモー
ションがない取得されたフィールド又はフレームの領域
では、そのような領域は２つ以上のビデオフィールド又
はフレームにおいて同じに見え、それらの差は小さい。
一方、取得されたビデオフィールド又はフレーム間にロ
ーカルモーションが生じる領域では、画像はフィールド
ごと又はフレームごとに変化し、この大きな差を検出す
ることができる。本明細書に援用する米国特許第5,784,
115号に記載のローカルモーション補償方法及びシステ
ムのような、取得されたビデオフィールド又はフレーム
間のローカルモーション領域を識別するための、公知の
又は今後開発される任意の方法を、本発明に従ったシス
テム及び方法に用いることができることを認識された
い。
レームからグローバルモーションが特徴づけされ、可能
であれば除去又は補償されると、取得されたビデオフィ
ールド又はフレームは（ローカル）モーション決定サブ
システム４６０へと出力される。（ローカル）モーショ
ン決定サブシステム４６０は、ベースとなる取得された
ビデオフィールド又はフレームと１つ以上の追加の取得
されたビデオフィールド又はフレームとの間のローカル
モーションの１つ以上の領域を識別する。概して、取得
されたビデオフィールド又はフレーム間にローカルモー
ションがない取得されたフィールド又はフレームの領域
では、そのような領域は２つ以上のビデオフィールド又
はフレームにおいて同じに見え、それらの差は小さい。
一方、取得されたビデオフィールド又はフレーム間にロ
ーカルモーションが生じる領域では、画像はフィールド
ごと又はフレームごとに変化し、この大きな差を検出す
ることができる。本明細書に援用する米国特許第5,784,
115号に記載のローカルモーション補償方法及びシステ
ムのような、取得されたビデオフィールド又はフレーム
間のローカルモーション領域を識別するための、公知の
又は今後開発される任意の方法を、本発明に従ったシス
テム及び方法に用いることができることを認識された
い。
【００４９】詳細には、本発明に従った（ローカル）モ
ーション決定サブシステム４６０の１つの例示的な実施
の形態では、取得されたビデオフィールド又はフレーム
間の前景オブジェクトのローカルモーションは、追加の
取得されたビデオフィールド又はフレームに相対するベ
ースとなる取得されたビデオフィールド又はフレームの
あらゆるグローバルモーションを補償した後で、画素ご
との差を決定することによって検出できる。次に、この
画素ごとの差を所定の閾値と比較して、追加のビデオフ
ィールド又はフレームの対応する画素に相対するベース
となる取得されたビデオフィールド又はフレームの各画
素について、その差が、ローカルモーションであると見
なされるのに十分に高いか否かを決定することができ
る。
ーション決定サブシステム４６０の１つの例示的な実施
の形態では、取得されたビデオフィールド又はフレーム
間の前景オブジェクトのローカルモーションは、追加の
取得されたビデオフィールド又はフレームに相対するベ
ースとなる取得されたビデオフィールド又はフレームの
あらゆるグローバルモーションを補償した後で、画素ご
との差を決定することによって検出できる。次に、この
画素ごとの差を所定の閾値と比較して、追加のビデオフ
ィールド又はフレームの対応する画素に相対するベース
となる取得されたビデオフィールド又はフレームの各画
素について、その差が、ローカルモーションであると見
なされるのに十分に高いか否かを決定することができ
る。
【００５０】一旦、ベースとなる取得されたビデオフィ
ールド又はフレーム内のローカルモーション領域が識別
されると、ベースとなる取得されたビデオフィールド又
はフレーム及びローカルモーション情報が動線追加サブ
システム４７０に供給される。動線追加サブシステム４
７０は、各ローカルモーション領域内の複数の点を選択
し、そのような各点に動線を追加する。本発明に従った
動線追加サブシステム４７０は、ベースとなる取得され
たビデオフィールド又はフレームのローカルモーション
領域内の画素を選択するための、公知の又は今後開発さ
れる任意の方法を用いることができることを認識された
い。
ールド又はフレーム内のローカルモーション領域が識別
されると、ベースとなる取得されたビデオフィールド又
はフレーム及びローカルモーション情報が動線追加サブ
システム４７０に供給される。動線追加サブシステム４
７０は、各ローカルモーション領域内の複数の点を選択
し、そのような各点に動線を追加する。本発明に従った
動線追加サブシステム４７０は、ベースとなる取得され
たビデオフィールド又はフレームのローカルモーション
領域内の画素を選択するための、公知の又は今後開発さ
れる任意の方法を用いることができることを認識された
い。
【００５１】一旦、ベースとなる取得されたフィールド
又はフレームのローカルモーション領域内の特定の画素
が選択されると、動線追加サブシステム４７０は、ベー
スとなる取得されたビデオフレーム、又はベースとなる
取得されたビデオフィールドを含む取得されたビデオフ
レームに、動線を追加する。動線は、選択された画素か
ら延びる。これらの動線は、概ね、そのような各ローカ
ルモーション領域のローカルモーションの方向に平行に
延びる。更に、動線追加サブシステム４７０によって追
加される線の長さは、選択された画素と、追加の取得さ
れたビデオフィールド又はフレーム内のローカルモーシ
ョン領域の対応する部分との間の、ローカルモーション
の量に対応する。
又はフレームのローカルモーション領域内の特定の画素
が選択されると、動線追加サブシステム４７０は、ベー
スとなる取得されたビデオフレーム、又はベースとなる
取得されたビデオフィールドを含む取得されたビデオフ
レームに、動線を追加する。動線は、選択された画素か
ら延びる。これらの動線は、概ね、そのような各ローカ
ルモーション領域のローカルモーションの方向に平行に
延びる。更に、動線追加サブシステム４７０によって追
加される線の長さは、選択された画素と、追加の取得さ
れたビデオフィールド又はフレーム内のローカルモーシ
ョン領域の対応する部分との間の、ローカルモーション
の量に対応する。
【００５２】動線追加サブシステム４７０によって追加
される動線の方向、形状、及び長さは、公知の又は今後
開発される任意の方法を用いて決定できることを認識さ
れたい。例えば、ローカルモーション領域内の各選択点
についての方向は、その画素のモーションの方向に基づ
いて決定できる。或いは、個別の各ローカルモーション
領域内の様々な点につながる全ての動線に、その個別の
ローカルモーション領域の全ての点についての方向の平
均に対応する方向を与えてもよい。
される動線の方向、形状、及び長さは、公知の又は今後
開発される任意の方法を用いて決定できることを認識さ
れたい。例えば、ローカルモーション領域内の各選択点
についての方向は、その画素のモーションの方向に基づ
いて決定できる。或いは、個別の各ローカルモーション
領域内の様々な点につながる全ての動線に、その個別の
ローカルモーション領域の全ての点についての方向の平
均に対応する方向を与えてもよい。
【００５３】同様に、各動線の長さは、動線がつけられ
る画素のモーションの大きさに基づいて決定できる。或
いは、個別の各ローカルモーション領域の画素につけら
れる全ての動線の長さが、その特定のローカルモーショ
ン領域についてのモーションの大きさの平均に対応して
もよい。特定の動線の長さ及び/又は方向が、その動線
がつけられる画素のモーションの大きさ及び/又は方向
だけに、又はその動線がつけられる特定のローカルモー
ション領域の全画素の何かしらの関数だけに基づいて決
定されたか否かに関わらず、その線の外観は、その動線
がつけられる画素のモーションの実際の大きさ及び/又
は方向に基づいて変更されてよいことも認識されたい。
動線の外観は、その色、太さ、画像濃度等を含むことが
できる。
る画素のモーションの大きさに基づいて決定できる。或
いは、個別の各ローカルモーション領域の画素につけら
れる全ての動線の長さが、その特定のローカルモーショ
ン領域についてのモーションの大きさの平均に対応して
もよい。特定の動線の長さ及び/又は方向が、その動線
がつけられる画素のモーションの大きさ及び/又は方向
だけに、又はその動線がつけられる特定のローカルモー
ション領域の全画素の何かしらの関数だけに基づいて決
定されたか否かに関わらず、その線の外観は、その動線
がつけられる画素のモーションの実際の大きさ及び/又
は方向に基づいて変更されてよいことも認識されたい。
動線の外観は、その色、太さ、画像濃度等を含むことが
できる。
【００５４】単純な平均化の代わりに、他の数学的な関
数を用いることができることも認識されたい。例えば、
特定のローカルモーション領域の全選択点に対する動線
の長さ又は方向は、最大又は最小絶対値、最高又は最低
頻度値、中央値、又は公知の又は今後開発される任意の
統計パラメータに基づくことができる。特定の選択され
た画素から延びる線の外観は、その画素の何かしらの外
観の値や、動線の方向又は長さの決定に用いられる特定
のデータ値に相対する、その特定の画素についての根元
的なデータ値の偏差の大きさ等に基づいて決定できるこ
とも認識されたい。
数を用いることができることも認識されたい。例えば、
特定のローカルモーション領域の全選択点に対する動線
の長さ又は方向は、最大又は最小絶対値、最高又は最低
頻度値、中央値、又は公知の又は今後開発される任意の
統計パラメータに基づくことができる。特定の選択され
た画素から延びる線の外観は、その画素の何かしらの外
観の値や、動線の方向又は長さの決定に用いられる特定
のデータ値に相対する、その特定の画素についての根元
的なデータ値の偏差の大きさ等に基づいて決定できるこ
とも認識されたい。
【００５５】次に、動線追加済のベースとなる取得され
たビデオフレームは、メモリ４３０に格納される。その
動線追加済のベースとなる取得されたビデオフレーム
は、次に、コントローラ４１０の制御下で入出力インタ
フェース４２０によって、リンク３１０を介して（静
止）画像データシンク３００へと出力される。
たビデオフレームは、メモリ４３０に格納される。その
動線追加済のベースとなる取得されたビデオフレーム
は、次に、コントローラ４１０の制御下で入出力インタ
フェース４２０によって、リンク３１０を介して（静
止）画像データシンク３００へと出力される。
【００５６】上記に示したように、本発明のシステム及
び方法は、ローカルモーションだけを表示する動線の追
加に限定されるものではない。従って、より一般的に言
えば、一旦、グローバルモーション補償サブシステム４
５０が、２つ以上のフィールド又はフレーム間の、もし
あれば、グローバルモーションを特徴づけすると、（ロ
ーカル）モーション決定サブシステム４６０は、より概
括的に、グローバルであれローカルであれ、ベースとな
る取得されたビデオフィールド又はフレームと１つ以上
の追加の取得されたビデオフィールド又はフレームとの
間の１つ以上のモーション領域を識別する。概して、取
得されたビデオフィールド又はフレーム間にモーション
がない取得されたフィールド又はフレーム領域では、そ
のような領域は、２つ以上のビデオフィールド又はフレ
ームにおいて同じに見え、差は小さい。一方、取得され
たビデオフィールド又はフレーム間にモーションを生じ
る領域では、画像はフィールドごと又はフレームごとに
変化し、上述のようにこの大きな差を検出することがで
きる。
び方法は、ローカルモーションだけを表示する動線の追
加に限定されるものではない。従って、より一般的に言
えば、一旦、グローバルモーション補償サブシステム４
５０が、２つ以上のフィールド又はフレーム間の、もし
あれば、グローバルモーションを特徴づけすると、（ロ
ーカル）モーション決定サブシステム４６０は、より概
括的に、グローバルであれローカルであれ、ベースとな
る取得されたビデオフィールド又はフレームと１つ以上
の追加の取得されたビデオフィールド又はフレームとの
間の１つ以上のモーション領域を識別する。概して、取
得されたビデオフィールド又はフレーム間にモーション
がない取得されたフィールド又はフレーム領域では、そ
のような領域は、２つ以上のビデオフィールド又はフレ
ームにおいて同じに見え、差は小さい。一方、取得され
たビデオフィールド又はフレーム間にモーションを生じ
る領域では、画像はフィールドごと又はフレームごとに
変化し、上述のようにこの大きな差を検出することがで
きる。
【００５７】続いて、一旦、ベースとなる取得されたビ
デオフィールド又はフレーム内のモーション領域が識別
されると、動線を追加するために、ベースとなる取得さ
れたビデオフィールド又はフレーム及びモーション情報
が動線追加サブシステムに与えられ、上述のように動線
が追加される。
デオフィールド又はフレーム内のモーション領域が識別
されると、動線を追加するために、ベースとなる取得さ
れたビデオフィールド又はフレーム及びモーション情報
が動線追加サブシステムに与えられ、上述のように動線
が追加される。
【００５８】従って、一般的に、グローバルモーション
補償サブシステム４５０及びローカルモーション決定サ
ブシステム４６０は、ベースとなるビデオフィールド又
はフレームと１つ以上の追加のビデオフィールド又はフ
レームとの間のモーションを、より概括的に特徴づけす
る。次に、動線追加サブシステム４７０は、グローバル
モーション補償サブシステム４５０及びローカルモーシ
ョン決定サブシステム４６０によって特徴づけされたベ
ースとなるビデオフィールド又はフレームと１つ以上の
追加のビデオフィールド又はフレームとの間のモーショ
ンに基づいて、ベースとなるビデオフィールド又はフレ
ームに動線を追加する。
補償サブシステム４５０及びローカルモーション決定サ
ブシステム４６０は、ベースとなるビデオフィールド又
はフレームと１つ以上の追加のビデオフィールド又はフ
レームとの間のモーションを、より概括的に特徴づけす
る。次に、動線追加サブシステム４７０は、グローバル
モーション補償サブシステム４５０及びローカルモーシ
ョン決定サブシステム４６０によって特徴づけされたベ
ースとなるビデオフィールド又はフレームと１つ以上の
追加のビデオフィールド又はフレームとの間のモーショ
ンに基づいて、ベースとなるビデオフィールド又はフレ
ームに動線を追加する。
【００５９】図４は、図３に示されているビデオフレー
ムキャプチャサブシステム４４０の１つの例示的な実施
の形態の概要をより詳細に示すブロック図である。図４
に示されるように、ビデオフレームキャプチャサブシス
テム４４０のこの例示的な実施の形態は、アナログ−デ
ジタル変換器又は“デジタイザ”４４１、ビデオデータ
信号バッファ４４２、フィールド/フレームセレクタ４
４４、ベースフィールド/フレームバッファ４４６、及
び先行フィールド/フレームバッファ４４８を含む。ビ
デオ画像データソース２００が動線追加システム４００
にビデオ画像データを供給すると、動線追加システム４
００は、リンク２１０又は２１２の一方を介してビデオ
画像データソース２００からの信号、又はリンク２２２
を介してユーザインタフェース装置２２０からの、現在
受信中のフィールド又はフレームがビデオフレームキャ
プチャサブシステム４４０によって取得されるべきこと
を示すユーザからの信号を受信する。
ムキャプチャサブシステム４４０の１つの例示的な実施
の形態の概要をより詳細に示すブロック図である。図４
に示されるように、ビデオフレームキャプチャサブシス
テム４４０のこの例示的な実施の形態は、アナログ−デ
ジタル変換器又は“デジタイザ”４４１、ビデオデータ
信号バッファ４４２、フィールド/フレームセレクタ４
４４、ベースフィールド/フレームバッファ４４６、及
び先行フィールド/フレームバッファ４４８を含む。ビ
デオ画像データソース２００が動線追加システム４００
にビデオ画像データを供給すると、動線追加システム４
００は、リンク２１０又は２１２の一方を介してビデオ
画像データソース２００からの信号、又はリンク２２２
を介してユーザインタフェース装置２２０からの、現在
受信中のフィールド又はフレームがビデオフレームキャ
プチャサブシステム４４０によって取得されるべきこと
を示すユーザからの信号を受信する。
【００６０】それに応答して、ビデオフレームキャプチ
ャサブシステム４４０は、コントローラ４１０の制御下
で、先行フィールド/フレームバッファ４４８内のその
指示されたフィールド又はフレームを取得する。動線追
加システム４００が、現在受信中のフィールド又はフレ
ームが取得されるべきことを示す更なる信号を受信する
と、ビデオフレームキャプチャサブシステム４４０は、
コントローラ４１０の制御下で、更に取得されたフィー
ルド又はフレームをフィールド/フレームバッファ４４
６又は４４８の一方に格納する。
ャサブシステム４４０は、コントローラ４１０の制御下
で、先行フィールド/フレームバッファ４４８内のその
指示されたフィールド又はフレームを取得する。動線追
加システム４００が、現在受信中のフィールド又はフレ
ームが取得されるべきことを示す更なる信号を受信する
と、ビデオフレームキャプチャサブシステム４４０は、
コントローラ４１０の制御下で、更に取得されたフィー
ルド又はフレームをフィールド/フレームバッファ４４
６又は４４８の一方に格納する。
【００６１】詳細には、ビデオ画像データソース２００
が動線追加システム４００にアナログビデオ画像データ
を供給する場合は、アナログビデオデータは、信号ライ
ン２１０を介して、直接アナログ−デジタル変換器４４
１に入力される。アナログ−デジタル変換器４４１はア
ナログビデオデータ信号をデジタル変換して、対応する
デジタルビデオデータ信号を出力し、そのデジタルビデ
オデータ信号は、先行フィールド/フレームバッファ４
４８及び/又はベースフィールド/フレームバッファ４４
６に格納されることができる。動線追加システム４００
が用いられる環境に依存して、動線追加システム４００
が接続されているビデオ画像データソース２００によっ
て、アナログビデオデータ信号だけ又はデジタルビデオ
データ信号だけが供給されることを認識されたい。この
場合は、リンク２１０又は２１２の一方だけを備えれば
よい。更に、このとき、ビデオ画像データソース２００
によってデジタルビデオデータ信号だけが供給される場
合は、ビデオフレームキャプチャサブシステム４４０か
らアナログ−デジタル変換器４４１を省略してもよい。
が動線追加システム４００にアナログビデオ画像データ
を供給する場合は、アナログビデオデータは、信号ライ
ン２１０を介して、直接アナログ−デジタル変換器４４
１に入力される。アナログ−デジタル変換器４４１はア
ナログビデオデータ信号をデジタル変換して、対応する
デジタルビデオデータ信号を出力し、そのデジタルビデ
オデータ信号は、先行フィールド/フレームバッファ４
４８及び/又はベースフィールド/フレームバッファ４４
６に格納されることができる。動線追加システム４００
が用いられる環境に依存して、動線追加システム４００
が接続されているビデオ画像データソース２００によっ
て、アナログビデオデータ信号だけ又はデジタルビデオ
データ信号だけが供給されることを認識されたい。この
場合は、リンク２１０又は２１２の一方だけを備えれば
よい。更に、このとき、ビデオ画像データソース２００
によってデジタルビデオデータ信号だけが供給される場
合は、ビデオフレームキャプチャサブシステム４４０か
らアナログ−デジタル変換器４４１を省略してもよい。
【００６２】詳細には、１つの例示的な実施の形態で
は、先行フィールド/フレームバッファ４４８に最初の
フィールド又はフレームを格納後、続いて取得された各
フィールド又はフレームは、ベースフィールド/フレー
ムバッファ４４６に格納される。その後、新たなフィー
ルド又はフレームが取得される度に、その時点でベース
フィールド/フレームバッファ４４６に格納されている
フィールド又はフレームは先行フィールド/フレームバ
ッファ４４８に転送され、取得されたばかりのフィール
ド又はフレームがベースフィールド/フレームバッファ
４４６に格納される。
は、先行フィールド/フレームバッファ４４８に最初の
フィールド又はフレームを格納後、続いて取得された各
フィールド又はフレームは、ベースフィールド/フレー
ムバッファ４４６に格納される。その後、新たなフィー
ルド又はフレームが取得される度に、その時点でベース
フィールド/フレームバッファ４４６に格納されている
フィールド又はフレームは先行フィールド/フレームバ
ッファ４４８に転送され、取得されたばかりのフィール
ド又はフレームがベースフィールド/フレームバッファ
４４６に格納される。
【００６３】ベースフィールド/フレームバッファ４４
６及び先行フィールド/フレームバッファ４４８は、そ
れぞれ、１つ以上のフィールド又はフレームを格納でき
ることを認識されたい。更に、ベースフィールド/フレ
ームバッファ４４６及び先行フィールド/フレームバッ
ファ４４８は、ベースフィールド/フレームバッファ４
４６が単に、最新の取得されたフィールド又はフレーム
を格納することになった単独のバッファの一部であるよ
うな、単独のバッファの一部であってもよいことを認識
されたい。更に、ビデオフレームキャプチャサブシステ
ム４４０はベースフィールド/フレームバッファ４４６
及び先行フィールド/フレームバッファ４４８を含む
が、これらのバッファ４４６及び４４８は、メモリ４３
０の専用部分としてとして実施されてもよいことを認識
されたい。
６及び先行フィールド/フレームバッファ４４８は、そ
れぞれ、１つ以上のフィールド又はフレームを格納でき
ることを認識されたい。更に、ベースフィールド/フレ
ームバッファ４４６及び先行フィールド/フレームバッ
ファ４４８は、ベースフィールド/フレームバッファ４
４６が単に、最新の取得されたフィールド又はフレーム
を格納することになった単独のバッファの一部であるよ
うな、単独のバッファの一部であってもよいことを認識
されたい。更に、ビデオフレームキャプチャサブシステ
ム４４０はベースフィールド/フレームバッファ４４６
及び先行フィールド/フレームバッファ４４８を含む
が、これらのバッファ４４６及び４４８は、メモリ４３
０の専用部分としてとして実施されてもよいことを認識
されたい。
【００６４】ビデオ画像データソース２００から信号リ
ンク２１０又は２１２を介して出力されたビデオデータ
信号がメモリ４３０に一次的に記憶されるか否かに関わ
らず、ビデオデータ信号は、ビデオフレームキャプチャ
サブシステム４４０のビデオデータ信号バッファ４４２
に入力される。ビデオデータ信号バッファ４４２は、コ
ントローラ４１０の制御下で、ビデオデータ信号のその
時点で受信中のフレームの完全なフィールド（即ち偶数
フィールド又は奇数フィールド）が受信されるまで、ビ
デオデータ信号を格納する。次に、ビデオデータ信号バ
ッファ４４２は、コントローラ４１０の制御下で、その
フィールドをベースフィールド/フレームバッファ４４
６又は先行フィールド/フレームバッファ４４８のいず
れかに出力する。
ンク２１０又は２１２を介して出力されたビデオデータ
信号がメモリ４３０に一次的に記憶されるか否かに関わ
らず、ビデオデータ信号は、ビデオフレームキャプチャ
サブシステム４４０のビデオデータ信号バッファ４４２
に入力される。ビデオデータ信号バッファ４４２は、コ
ントローラ４１０の制御下で、ビデオデータ信号のその
時点で受信中のフレームの完全なフィールド（即ち偶数
フィールド又は奇数フィールド）が受信されるまで、ビ
デオデータ信号を格納する。次に、ビデオデータ信号バ
ッファ４４２は、コントローラ４１０の制御下で、その
フィールドをベースフィールド/フレームバッファ４４
６又は先行フィールド/フレームバッファ４４８のいず
れかに出力する。
【００６５】ビデオデータ信号バッファ４４２は、ビデ
オフレームキャプチャサブシステム４４０の一部を形成
するが、メモリ４３０の専用部分として実施されてもよ
いことを認識されたい。
オフレームキャプチャサブシステム４４０の一部を形成
するが、メモリ４３０の専用部分として実施されてもよ
いことを認識されたい。
【００６６】一旦、取得されるべき全てのフィールド又
はフレームがビデオフレームキャプチャサブシステム４
４０によって取得されると、フィールド/フレームセレ
クタ４４４は、コントローラ４１０の制御下で、ベース
フィールド/フレームバッファ４４６及び/又は先行フィ
ールド/フレームバッファ４４８に格納されている、あ
る１つのフィールド又はフレームを、グローバルモーシ
ョン補償サブシステム４５０、（ローカル）モーション
決定サブシステム４６０、又は動線追加サブシステム４
７０に出力するために、選択することができる。
はフレームがビデオフレームキャプチャサブシステム４
４０によって取得されると、フィールド/フレームセレ
クタ４４４は、コントローラ４１０の制御下で、ベース
フィールド/フレームバッファ４４６及び/又は先行フィ
ールド/フレームバッファ４４８に格納されている、あ
る１つのフィールド又はフレームを、グローバルモーシ
ョン補償サブシステム４５０、（ローカル）モーション
決定サブシステム４６０、又は動線追加サブシステム４
７０に出力するために、選択することができる。
【００６７】図５は、図３に示されているグローバルモ
ーション補償サブシステム４５０の１つの例示的な実施
の形態の概要をより詳細に示すブロック図である。図５
に示されるように、グローバルモーション補償サブシス
テム４５０は、グローバルモーション解析部４５２、グ
ローバルモーション補償部４５４、及びローカルモーシ
ョン補償部４５６を含む。取得されるべきフィールド又
はフレームがビデオフレームキャプチャサブシステム４
４０によって取得された後、フィールド/フレームセレ
クタ４４４は、コントローラ４１０の制御下で、上述の
ように、補償されていないフィールド又はフレームの対
をグローバルモーション補償サブシステム４５０に出力
する。詳細には、ビデオデータ信号の相対的な補償をさ
れていないフィールド又はフレームの対が、グローバル
モーション解析部４５２に入力される。グローバルモー
ション解析部４５２は、入力された２つのフィールド又
はフレームを比較して、入力された２つのフィールド又
はフレーム間の画像におけるグローバル変形を表す１組
の値を決定する。
ーション補償サブシステム４５０の１つの例示的な実施
の形態の概要をより詳細に示すブロック図である。図５
に示されるように、グローバルモーション補償サブシス
テム４５０は、グローバルモーション解析部４５２、グ
ローバルモーション補償部４５４、及びローカルモーシ
ョン補償部４５６を含む。取得されるべきフィールド又
はフレームがビデオフレームキャプチャサブシステム４
４０によって取得された後、フィールド/フレームセレ
クタ４４４は、コントローラ４１０の制御下で、上述の
ように、補償されていないフィールド又はフレームの対
をグローバルモーション補償サブシステム４５０に出力
する。詳細には、ビデオデータ信号の相対的な補償をさ
れていないフィールド又はフレームの対が、グローバル
モーション解析部４５２に入力される。グローバルモー
ション解析部４５２は、入力された２つのフィールド又
はフレームを比較して、入力された２つのフィールド又
はフレーム間の画像におけるグローバル変形を表す１組
の値を決定する。
【００６８】１つの例示的な実施の形態では、取得され
た２つの画像間のグローバル変形を定義する値は、１組
のアフィンパラメータである。詳細には、これらのアフ
ィンパラメータは、本明細書に援用する米国特許第5,78
4,115号、及び/又は本明細書に参照として援用する米国
特許出願番号09/239,296号（1999年1月29日出願）で述
べられているように、決定することができる。しかしな
がら、２つのフィールド又はフレーム間のグローバルモ
ーション及び/又はローカルモーションを特徴づけする
ための、公知の又は今後開発される任意の方法を用いる
ことができることを認識されたい。本明細書に援用する
米国特許第5,784,115号及び本明細書に援用する米国特
許出願番号09/239,296号で述べられているように、２つ
の入力フィールド又はフレーム間のグローバルモーショ
ンは、２つの入力フィールド又はフレーム間のモーショ
ンの大きさに依存して、１画素ごと又は１ブロックごと
に決定される。
た２つの画像間のグローバル変形を定義する値は、１組
のアフィンパラメータである。詳細には、これらのアフ
ィンパラメータは、本明細書に援用する米国特許第5,78
4,115号、及び/又は本明細書に参照として援用する米国
特許出願番号09/239,296号（1999年1月29日出願）で述
べられているように、決定することができる。しかしな
がら、２つのフィールド又はフレーム間のグローバルモ
ーション及び/又はローカルモーションを特徴づけする
ための、公知の又は今後開発される任意の方法を用いる
ことができることを認識されたい。本明細書に援用する
米国特許第5,784,115号及び本明細書に援用する米国特
許出願番号09/239,296号で述べられているように、２つ
の入力フィールド又はフレーム間のグローバルモーショ
ンは、２つの入力フィールド又はフレーム間のモーショ
ンの大きさに依存して、１画素ごと又は１ブロックごと
に決定される。
【００６９】詳細には、グローバルモーション解析部４
５２が、単独のフレームの２つのフィールド間のグロー
バルモーションを決定する際には、グローバルモーショ
ンは概して、本明細書に援用する米国特許第5,784,115
号に述べられているように、１画素ごとに決定される。
一方、グローバルモーション解析部４５２が、連続して
いなくてもよい２つのフレーム間、又は同じく連続して
いなくてもよい一方のフレームの第１フィールドと他方
のフレームの第２フィールドとの間のグローバルモーシ
ョンを決定する際には、グローバルモーションの量は、
米国特許出願番号09/239,296号に概要を述べられている
ブロックごとのグローバルモーション決定システム及び
方法が用いられるべきであるだろう。更に、ブロックの
高さ及び幅がともに１画素分だけである場合には、１ブ
ロックごとの解析（の規模）は１画素ごとの解析と同じ
になることを認識されたい。２つのフィールド又はフレ
ーム間のグローバルモーションの量を決定するための、
他の公知の又は今後開発される任意の方法が、グローバ
ルモーション解析部４５２によって用いられてもよいこ
とも認識されたい。
５２が、単独のフレームの２つのフィールド間のグロー
バルモーションを決定する際には、グローバルモーショ
ンは概して、本明細書に援用する米国特許第5,784,115
号に述べられているように、１画素ごとに決定される。
一方、グローバルモーション解析部４５２が、連続して
いなくてもよい２つのフレーム間、又は同じく連続して
いなくてもよい一方のフレームの第１フィールドと他方
のフレームの第２フィールドとの間のグローバルモーシ
ョンを決定する際には、グローバルモーションの量は、
米国特許出願番号09/239,296号に概要を述べられている
ブロックごとのグローバルモーション決定システム及び
方法が用いられるべきであるだろう。更に、ブロックの
高さ及び幅がともに１画素分だけである場合には、１ブ
ロックごとの解析（の規模）は１画素ごとの解析と同じ
になることを認識されたい。２つのフィールド又はフレ
ーム間のグローバルモーションの量を決定するための、
他の公知の又は今後開発される任意の方法が、グローバ
ルモーション解析部４５２によって用いられてもよいこ
とも認識されたい。
【００７０】一旦、グローバルモーション解析部４５２
が、２つのフィールド又はフレーム間の相対的なグロー
バルモーションの量を決定したら、このグローバルモー
ションを特徴づける、グローバルモーション解析部４５
２によって決定された１つ以上の値が、グローバルモー
ション補償部４５４に出力される。グローバルモーショ
ン補償部４５４は、グローバルモーション解析部４５２
によって出力された１組のモーションの値に基づいて、
２つのフィールド又はフレームの一方の画像値を修正す
る。詳細には、１つの例示的な実施の形態では、グロー
バルモーション補償部４５４は、本明細書に援用する米
国特許第5,784,115号及び本明細書に援用する米国特許
出願番号09/239,296号に概要を述べられているように操
作を行う。つまり、グローバルモーション補償部４５４
は、修正された方のフィールド又はフレーム内の画素値
が、修正されていない方のフィールド又はフレーム内の
画素値と大体揃うように、一方のフィールド又はフレー
ム内の各画素の画像値を修正する。詳細には、修正され
たフィールド又はフレームの一部が、修正されていない
フィールド又はフレーム内の対応領域と対応しない場合
は、その領域がローカルモーション領域である。
が、２つのフィールド又はフレーム間の相対的なグロー
バルモーションの量を決定したら、このグローバルモー
ションを特徴づける、グローバルモーション解析部４５
２によって決定された１つ以上の値が、グローバルモー
ション補償部４５４に出力される。グローバルモーショ
ン補償部４５４は、グローバルモーション解析部４５２
によって出力された１組のモーションの値に基づいて、
２つのフィールド又はフレームの一方の画像値を修正す
る。詳細には、１つの例示的な実施の形態では、グロー
バルモーション補償部４５４は、本明細書に援用する米
国特許第5,784,115号及び本明細書に援用する米国特許
出願番号09/239,296号に概要を述べられているように操
作を行う。つまり、グローバルモーション補償部４５４
は、修正された方のフィールド又はフレーム内の画素値
が、修正されていない方のフィールド又はフレーム内の
画素値と大体揃うように、一方のフィールド又はフレー
ム内の各画素の画像値を修正する。詳細には、修正され
たフィールド又はフレームの一部が、修正されていない
フィールド又はフレーム内の対応領域と対応しない場合
は、その領域がローカルモーション領域である。
【００７１】動線追加システム４００が、単独フレーム
の２つのフィールド間、又は一方のフレームの第１フィ
ールドと他方のフレームの第２フィールドとの間のロー
カルモーションの大きさ及び方向の決定に用いられる際
には、そのようなフレームは、ローカルモーション決定
サブシステム４６０によって解析される前に、グローバ
ルモーションを除去されるだけでよいことを認識された
い。一方、動線追加システム４００が２つのフレーム間
のローカルモーションを表す動線を追加する際には、ま
ず、それらのフレームを形成するフィールドを結合する
ことによって、それらの各フレームを形成しなければな
らない。更に、それらの各フレームの偶数フィールドと
奇数フィールドとの間のグローバルモーション及びロー
カルモーションの除去及び/又は補償もされなければな
らない。従って、この場合、グローバルモーション補償
サブシステム４５０は、ローカルモーション補償部４５
６も含むことになる。ローカルモーション補償部４５６
は、本明細書に援用する米国特許第5,784,115号に概要
を述べられているように、単独フレームの２つのフィー
ルド間のローカルモーションを除去する。詳細には、ロ
ーカルモーション補償部４５６は、米国特許第5,784,11
5号に概要を述べられている、エッジ適応的補償技術を
用いることができる。
の２つのフィールド間、又は一方のフレームの第１フィ
ールドと他方のフレームの第２フィールドとの間のロー
カルモーションの大きさ及び方向の決定に用いられる際
には、そのようなフレームは、ローカルモーション決定
サブシステム４６０によって解析される前に、グローバ
ルモーションを除去されるだけでよいことを認識された
い。一方、動線追加システム４００が２つのフレーム間
のローカルモーションを表す動線を追加する際には、ま
ず、それらのフレームを形成するフィールドを結合する
ことによって、それらの各フレームを形成しなければな
らない。更に、それらの各フレームの偶数フィールドと
奇数フィールドとの間のグローバルモーション及びロー
カルモーションの除去及び/又は補償もされなければな
らない。従って、この場合、グローバルモーション補償
サブシステム４５０は、ローカルモーション補償部４５
６も含むことになる。ローカルモーション補償部４５６
は、本明細書に援用する米国特許第5,784,115号に概要
を述べられているように、単独フレームの２つのフィー
ルド間のローカルモーションを除去する。詳細には、ロ
ーカルモーション補償部４５６は、米国特許第5,784,11
5号に概要を述べられている、エッジ適応的補償技術を
用いることができる。
【００７２】図６は、図３に示されているローカルモー
ション決定サブシステム４６０の１つの例示的な実施の
形態の概要を示すブロック図である。図６に示されるよ
うに、ローカルモーション決定サブシステム４６０は、
モーションマスク生成部４６１と候補点選択サブシステ
ム４６５とを含む。モーションマスク生成部４６１は、
グローバルモーション補償サブシステム４５０によって
生成された、グローバルモーション及び可能であればロ
ーカルモーション補償済のフィールド又はフレームを比
較し、モーション領域を識別するモーションマスクを生
成する。モーションマスクは候補点選択サブシステム４
６５に入力され、モーション領域内の候補点の位置が割
り出される。次に、候補点選択サブシステム４６５は、
識別された各候補点について、フィールド又はフレーム
間のモーションの推定を生成する。次に、候補点選択サ
ブシステム４６５は、動線追加サブシステム４７０に、
識別された候補点のリスト及び推定されたモーションを
出力する。
ション決定サブシステム４６０の１つの例示的な実施の
形態の概要を示すブロック図である。図６に示されるよ
うに、ローカルモーション決定サブシステム４６０は、
モーションマスク生成部４６１と候補点選択サブシステ
ム４６５とを含む。モーションマスク生成部４６１は、
グローバルモーション補償サブシステム４５０によって
生成された、グローバルモーション及び可能であればロ
ーカルモーション補償済のフィールド又はフレームを比
較し、モーション領域を識別するモーションマスクを生
成する。モーションマスクは候補点選択サブシステム４
６５に入力され、モーション領域内の候補点の位置が割
り出される。次に、候補点選択サブシステム４６５は、
識別された各候補点について、フィールド又はフレーム
間のモーションの推定を生成する。次に、候補点選択サ
ブシステム４６５は、動線追加サブシステム４７０に、
識別された候補点のリスト及び推定されたモーションを
出力する。
【００７３】図７は、モーションマスク生成部４６１の
１つの例示的な実施の形態の概要をより詳細に示すブロ
ック図である。図７に示されるように、モーションマス
ク生成部４６１は、フィールド/フレーム補償部４６２
とモーションマスクバッファ４６３とを含む。フィール
ド/フレームセレクタ４４４によってベースフィールド/
フレームバッファ４４６及び先行フィールド/フレーム
バッファ４４８から選択されたフィールド又はフレーム
は、フィールド／フレーム補償部４６２に入力され、フ
ィールド／フレーム補償部４６２はそれらを比較して、
ローカルモーション領域を決定する。詳細には、フィー
ルド／フレーム補償部４６２の１つの例示的な実施の形
態では、フィールド／フレーム補償部４６２は、カレン
ト（ベース）フィールド又はフレームの各画素と先行フ
ィールド又はフレームの各対応画素との間の、１画素ご
との画像値の差を得る。
１つの例示的な実施の形態の概要をより詳細に示すブロ
ック図である。図７に示されるように、モーションマス
ク生成部４６１は、フィールド/フレーム補償部４６２
とモーションマスクバッファ４６３とを含む。フィール
ド/フレームセレクタ４４４によってベースフィールド/
フレームバッファ４４６及び先行フィールド/フレーム
バッファ４４８から選択されたフィールド又はフレーム
は、フィールド／フレーム補償部４６２に入力され、フ
ィールド／フレーム補償部４６２はそれらを比較して、
ローカルモーション領域を決定する。詳細には、フィー
ルド／フレーム補償部４６２の１つの例示的な実施の形
態では、フィールド／フレーム補償部４６２は、カレン
ト（ベース）フィールド又はフレームの各画素と先行フ
ィールド又はフレームの各対応画素との間の、１画素ご
との画像値の差を得る。
【００７４】次に、フィールド／フレーム補償部４６２
は、各組の対応する画素間の差に閾値を適用し、閾値よ
り大きな差を有する領域を決定する。つまり、モーショ
ンがない画像領域は、２つのフィールド又はフレーム間
において同じに見え、従って差は小さい。しかし、モー
ションの領域では、２つのフィールド又はフレーム間
で、画像は各画素ごとに大きく変化する。このより大き
な差は、適切な閾値を選択することによって検出でき
る。フレームの差を閾値処理した結果、カレント（ベー
ス）フィールド又はフレーム内のモーションを生じる場
所を示す二値マスクが提供される。つまり、差が閾値よ
り大きい場所では、フィールド/フレーム補償部によっ
て行われる閾値処理の出力は論理値１になり、一方、モ
ーションのない領域では、フィールド/フレーム補償部
によって行われる閾値処理の結果は論理値０になる。
は、各組の対応する画素間の差に閾値を適用し、閾値よ
り大きな差を有する領域を決定する。つまり、モーショ
ンがない画像領域は、２つのフィールド又はフレーム間
において同じに見え、従って差は小さい。しかし、モー
ションの領域では、２つのフィールド又はフレーム間
で、画像は各画素ごとに大きく変化する。このより大き
な差は、適切な閾値を選択することによって検出でき
る。フレームの差を閾値処理した結果、カレント（ベー
ス）フィールド又はフレーム内のモーションを生じる場
所を示す二値マスクが提供される。つまり、差が閾値よ
り大きい場所では、フィールド/フレーム補償部によっ
て行われる閾値処理の出力は論理値１になり、一方、モ
ーションのない領域では、フィールド/フレーム補償部
によって行われる閾値処理の結果は論理値０になる。
【００７５】フィールド／フレーム補償部４６２によっ
て生成される二値マスクは、カレント（ベース）フィー
ルド又はフレームと先行フィールド又はフレーム間の差
が大きい領域を示すことによってフィールド又はフレー
ム内のモーションを示すが、この二値マスクは、モーシ
ョンの大きさ又は方向の表示は全く与えないことを認識
されたい。更に、この二値マスクは、背景を覆うように
移動する前景オブジェクト、静止している前景オブジェ
クトの背後から現れるように移動する背景オブジェク
ト、移動する背景に対する前景オブジェクトの位置の変
化、又は相互に相対的に移動する前景オブジェクトの部
分の判別はしない。
て生成される二値マスクは、カレント（ベース）フィー
ルド又はフレームと先行フィールド又はフレーム間の差
が大きい領域を示すことによってフィールド又はフレー
ム内のモーションを示すが、この二値マスクは、モーシ
ョンの大きさ又は方向の表示は全く与えないことを認識
されたい。更に、この二値マスクは、背景を覆うように
移動する前景オブジェクト、静止している前景オブジェ
クトの背後から現れるように移動する背景オブジェク
ト、移動する背景に対する前景オブジェクトの位置の変
化、又は相互に相対的に移動する前景オブジェクトの部
分の判別はしない。
【００７６】フィールド又はフレーム間の差は、ビデオ
データ信号中のノイズに起因することがある。このノイ
ズを低減又は除去するために、公知の又は今後開発され
る任意の方法、或いは方法の組み合わせを用いることが
できる。従って、フィールド/フレーム補償部４６２
は、モーションマスクを得るためにフィールド又はフレ
ームを比較する前に、各フィールド又はフレームをロー
パスフィルタで処理してぼかしてもよい。フィールド/
フレーム補償部４６２は、生じたモーションマスクに、
メディアンフィルタを適用するか、又は形態的な拡張(m
orphological dilate)や形態的な閉鎖(morphological c
lose)を適用することもできる。一旦、フィールド/フレ
ーム補償部４６２がモーションマスクを生成したら、そ
のモーションマスクはモーションマスクバッファ４６３
に格納される。
データ信号中のノイズに起因することがある。このノイ
ズを低減又は除去するために、公知の又は今後開発され
る任意の方法、或いは方法の組み合わせを用いることが
できる。従って、フィールド/フレーム補償部４６２
は、モーションマスクを得るためにフィールド又はフレ
ームを比較する前に、各フィールド又はフレームをロー
パスフィルタで処理してぼかしてもよい。フィールド/
フレーム補償部４６２は、生じたモーションマスクに、
メディアンフィルタを適用するか、又は形態的な拡張(m
orphological dilate)や形態的な閉鎖(morphological c
lose)を適用することもできる。一旦、フィールド/フレ
ーム補償部４６２がモーションマスクを生成したら、そ
のモーションマスクはモーションマスクバッファ４６３
に格納される。
【００７７】図８は、候補点選択サブシステム４６５の
１つの例示的な実施の形態の概要をより詳細に示すブロ
ック図である。図８に示されるように、候補点選択サブ
システム４６５は、候補点選択部４６６、候補点リスト
バッファ４６７、及びモーション推定部４６８を含む。
詳細には、フィールド/フレーム補償部４６２によって
生成され、モーションマスクバッファ４６３に格納され
たモーションマスクは、候補点選択部４６６に入力され
る。詳細には、候補点選択部４６６は、フィールド/フ
レーム補償部４６２によって生成されたモーションマス
クに基づいて、モーション領域内の候補点をサーチす
る。
１つの例示的な実施の形態の概要をより詳細に示すブロ
ック図である。図８に示されるように、候補点選択サブ
システム４６５は、候補点選択部４６６、候補点リスト
バッファ４６７、及びモーション推定部４６８を含む。
詳細には、フィールド/フレーム補償部４６２によって
生成され、モーションマスクバッファ４６３に格納され
たモーションマスクは、候補点選択部４６６に入力され
る。詳細には、候補点選択部４６６は、フィールド/フ
レーム補償部４６２によって生成されたモーションマス
クに基づいて、モーション領域内の候補点をサーチす
る。
【００７８】詳細には、１つの例示的な実施の形態で
は、候補点選択部４６６は、モーション領域内のエッジ
上に存在する点を探す。そのようなエッジを検出するた
めには、公知の又は今後開発される任意の方法を用いる
ことができる。当該技術には公知のエッジ検出方法が多
数存在する。１つのそのような方法は、ある閾値より大
きく且つ近傍の勾配よりも大きい、モーション領域内の
画素の画素値における勾配を識別することからなる。
は、候補点選択部４６６は、モーション領域内のエッジ
上に存在する点を探す。そのようなエッジを検出するた
めには、公知の又は今後開発される任意の方法を用いる
ことができる。当該技術には公知のエッジ検出方法が多
数存在する。１つのそのような方法は、ある閾値より大
きく且つ近傍の勾配よりも大きい、モーション領域内の
画素の画素値における勾配を識別することからなる。
【００７９】一旦、候補点選択部４６６が候補点の最初
のリストを生成したら、その候補点は候補点リストバッ
ファ４６７に格納される。全てのエッジ画素が選択され
るべきというわけではないことを認識されたい。このこ
とは、複数の理由から真である。例えば、全てのエッジ
画素が選択された場合、動線は、相互に隣接してエッジ
から延びることになり、これにより背景を不明瞭にしが
ちであり、意図されたモーション情報の提供に失敗する
ことになろう。従って、候補点選択部４６６は、次に、
候補点から更に特定の対象点を識別するために、候補点
リストバッファ４６７に格納された候補点の検討を開始
する。
のリストを生成したら、その候補点は候補点リストバッ
ファ４６７に格納される。全てのエッジ画素が選択され
るべきというわけではないことを認識されたい。このこ
とは、複数の理由から真である。例えば、全てのエッジ
画素が選択された場合、動線は、相互に隣接してエッジ
から延びることになり、これにより背景を不明瞭にしが
ちであり、意図されたモーション情報の提供に失敗する
ことになろう。従って、候補点選択部４６６は、次に、
候補点から更に特定の対象点を識別するために、候補点
リストバッファ４６７に格納された候補点の検討を開始
する。
【００８０】詳細には、より対象とすべきエッジ画素
は、エッジが角を形成する場所のエッジ画素か、又はエ
ッジに沿って色が変わる場所のエッジ画素である。候補
点選択部４６６は、候補点リスト内のどの候補点が、そ
のような角又はそのような色の変わる領域に存在するか
を、各候補点の８近傍を調べることによって決定する。
２又は３つの連結近傍が、候補点と本質的に同じ画像値
を有し、一方、他の５又は６つの近傍が異なる画像値を
有する場合は、候補点選択部４６６は、その候補点を対
象点として選択する。詳細には、候補点選択部４６６
が、ある候補点が対象点ではないと決定する場合は、そ
の候補点は、候補点リストバッファ４６７に格納されて
いる候補点リストから削除される。
は、エッジが角を形成する場所のエッジ画素か、又はエ
ッジに沿って色が変わる場所のエッジ画素である。候補
点選択部４６６は、候補点リスト内のどの候補点が、そ
のような角又はそのような色の変わる領域に存在するか
を、各候補点の８近傍を調べることによって決定する。
２又は３つの連結近傍が、候補点と本質的に同じ画像値
を有し、一方、他の５又は６つの近傍が異なる画像値を
有する場合は、候補点選択部４６６は、その候補点を対
象点として選択する。詳細には、候補点選択部４６６
が、ある候補点が対象点ではないと決定する場合は、そ
の候補点は、候補点リストバッファ４６７に格納されて
いる候補点リストから削除される。
【００８１】対象点は密集し過ぎないべきであること
を、更に認識されたい。対象点が密集し過ぎないことを
確実にするために、公知の又は今後開発される任意の方
法を用いることができる。対象点が密集し過ぎないこと
を確実にするために、当業者に明白且つ予測可能な使用
できる方法が多数存在する。詳細には、候補点選択部４
６６で実施可能な１つの例示的な方法は、候補点リスト
バッファ４６７に格納されている候補点リスト上の隣り
合う対象点に、コスト値を割付けることを含む。詳細に
は、コスト値は、選択された対象点からの距離に基づい
て減少する。個々の対象点が選択されると、その選択さ
れた対象点の近傍の対象点に割付けられたコスト値が、
それら近傍の対象点の、他の選択中の対象点から生じた
コスト値に加算される。そのコストは距離に基づいて減
らされて配分されるので、選択されていない対象点に割
付けられたコスト値は、他の選択された対象点から遠い
ほど低くなる。従って、そのような対象点は選択されや
すくなる。
を、更に認識されたい。対象点が密集し過ぎないことを
確実にするために、公知の又は今後開発される任意の方
法を用いることができる。対象点が密集し過ぎないこと
を確実にするために、当業者に明白且つ予測可能な使用
できる方法が多数存在する。詳細には、候補点選択部４
６６で実施可能な１つの例示的な方法は、候補点リスト
バッファ４６７に格納されている候補点リスト上の隣り
合う対象点に、コスト値を割付けることを含む。詳細に
は、コスト値は、選択された対象点からの距離に基づい
て減少する。個々の対象点が選択されると、その選択さ
れた対象点の近傍の対象点に割付けられたコスト値が、
それら近傍の対象点の、他の選択中の対象点から生じた
コスト値に加算される。そのコストは距離に基づいて減
らされて配分されるので、選択されていない対象点に割
付けられたコスト値は、他の選択された対象点から遠い
ほど低くなる。従って、そのような対象点は選択されや
すくなる。
【００８２】詳細には、様々な対象点が選択され、他の
対象点にコスト値が加算されると、そのような加算され
た点に割付けられたコスト値が閾値と比較される。コス
ト値が閾値よりも高い場合は、その対象点は候補点リス
トバッファ４６７に格納されている候補点リストから削
除され、削除された対象点のコスト値の合計を補償する
ために、残りの対象点のコストの合計がそれに従って調
整される。一方、選択された対象点が閾値より低いコス
ト値を有する場合は、その対象点は選択され、その近傍
の対象点に付加されたコスト値が分配される。これは、
候補点リストバッファ４６７に格納されている全ての対
象点が、選択又は削除されるまで続く。
対象点にコスト値が加算されると、そのような加算され
た点に割付けられたコスト値が閾値と比較される。コス
ト値が閾値よりも高い場合は、その対象点は候補点リス
トバッファ４６７に格納されている候補点リストから削
除され、削除された対象点のコスト値の合計を補償する
ために、残りの対象点のコストの合計がそれに従って調
整される。一方、選択された対象点が閾値より低いコス
ト値を有する場合は、その対象点は選択され、その近傍
の対象点に付加されたコスト値が分配される。これは、
候補点リストバッファ４６７に格納されている全ての対
象点が、選択又は削除されるまで続く。
【００８３】候補点選択部４６６は、角の選択及びコス
ト値の選択の両方を同時に適用できることも認識された
い。この場合、モーションマスクバッファ４６３に格納
されているモーションマスクによって、角選択テストに
基づいて識別されたモーション領域内の各画素が選択さ
れる際に、その選択された画素を囲む画素に、距離とと
もに減少するコスト値が与えられる。次に、モーション
領域内の次の画素が対象点として選択可能になる前に、
その画素の関連するコスト値は閾値より低くなければな
らない。
ト値の選択の両方を同時に適用できることも認識された
い。この場合、モーションマスクバッファ４６３に格納
されているモーションマスクによって、角選択テストに
基づいて識別されたモーション領域内の各画素が選択さ
れる際に、その選択された画素を囲む画素に、距離とと
もに減少するコスト値が与えられる。次に、モーション
領域内の次の画素が対象点として選択可能になる前に、
その画素の関連するコスト値は閾値より低くなければな
らない。
【００８４】一旦、候補点リストバッファ４６７に格納
されている候補点リストが、識別された対象点だけが残
るように減らされたら、次に、モーション推定部４６８
は、識別された各対象点のモーションを決定できる。選
択された対象点のモーションを推定するために、公知の
又は今後開発される任意の方法を用いることができる。
詳細には、モーション推定部４６８の１つの例示的な実
施の形態では、モーション推定部４６８は公知のブロッ
クマッチング技術を用いる。ブロックマッチングでは、
識別された各対象点について、モーション推定部が、ロ
ーパスフィルタ処理後のカレント（ベース）フィールド
又はフレームのバージョン内で識別された対象点を囲む
領域又は画素ブロックを識別する。次に、モーション推
定部４６８によって識別された、識別された領域又は画
素ブロックは、フィールド/フレーム補償部４６２によ
って用いられた先行フィールド又はフレームのバージョ
ン内の様々な点で、対応する画素ブロックと比較され
る。ローパスフィルタ処理後の先行フレーム内の最小差
を生じる領域又は画素ブロックの位置が、先行フィール
ド又はフレーム内の対象点のロケーションとして識別さ
れる。２つのフィールド又はフレーム間の差及び位置
が、オブジェクト上のその対象点のモーションである。
されている候補点リストが、識別された対象点だけが残
るように減らされたら、次に、モーション推定部４６８
は、識別された各対象点のモーションを決定できる。選
択された対象点のモーションを推定するために、公知の
又は今後開発される任意の方法を用いることができる。
詳細には、モーション推定部４６８の１つの例示的な実
施の形態では、モーション推定部４６８は公知のブロッ
クマッチング技術を用いる。ブロックマッチングでは、
識別された各対象点について、モーション推定部が、ロ
ーパスフィルタ処理後のカレント（ベース）フィールド
又はフレームのバージョン内で識別された対象点を囲む
領域又は画素ブロックを識別する。次に、モーション推
定部４６８によって識別された、識別された領域又は画
素ブロックは、フィールド/フレーム補償部４６２によ
って用いられた先行フィールド又はフレームのバージョ
ン内の様々な点で、対応する画素ブロックと比較され
る。ローパスフィルタ処理後の先行フレーム内の最小差
を生じる領域又は画素ブロックの位置が、先行フィール
ド又はフレーム内の対象点のロケーションとして識別さ
れる。２つのフィールド又はフレーム間の差及び位置
が、オブジェクト上のその対象点のモーションである。
【００８５】一旦、ローパスフィルタ処理後の先行する
フィールド又はフレーム内の対応する点が識別された
ら、モーション推定部４６８は、フィールド/フレーム
セレクタ４４４に、先行フィールド/フレームバッファ
４４８から更に先行するのフレームを選択させることが
できることを認識されたい。次に、この更に先行するフ
ィールド又はフレームも、ローパスフィルタ処理するこ
とができ、モーション推定部４６８によって同じ方法で
更なるフィールド又はフレーム内の候補対象点の位置を
識別し、選択された対象点のモーションを時間を遡って
追跡することができる。
フィールド又はフレーム内の対応する点が識別された
ら、モーション推定部４６８は、フィールド/フレーム
セレクタ４４４に、先行フィールド/フレームバッファ
４４８から更に先行するのフレームを選択させることが
できることを認識されたい。次に、この更に先行するフ
ィールド又はフレームも、ローパスフィルタ処理するこ
とができ、モーション推定部４６８によって同じ方法で
更なるフィールド又はフレーム内の候補対象点の位置を
識別し、選択された対象点のモーションを時間を遡って
追跡することができる。
【００８６】モーションマスクバッファ４６３及び候補
点リストバッファ４６７は、（ローカル）モーション決
定サブシステム４６０の一部として述べられているが、
これらのバッファは、実際にはメモリ４３０の一部とし
て実施できることを認識されたい。或いは、それらは独
立した記憶装置又は構造であってもよい。
点リストバッファ４６７は、（ローカル）モーション決
定サブシステム４６０の一部として述べられているが、
これらのバッファは、実際にはメモリ４３０の一部とし
て実施できることを認識されたい。或いは、それらは独
立した記憶装置又は構造であってもよい。
【００８７】モーション推定部４６８によってカレント
（ベース）フィールド又はフレームと先行フィールド又
はフレームとの間でブロックの良好な一致が検出できな
い場合は、その対象点を候補点リストバッファ４６７に
格納されている候補点リストから削除できることも認識
されたい。同様に、モーション推定部４６８は、カレン
ト（ベース）画像内の全ての点の平均のモーションを決
定してもよい。次に、モーション推定部４６８は、識別
された対象点の任意の１つのモーションと決定された平
均モーションとの間の差を決定できる。次に、モーショ
ン推定部４６８は、候補点リストバッファ４６７に格納
されている候補点リストから、平均距離から閾値を越え
て異なるモーション値を有する（即ち、平均距離とモー
ション値との差が閾値を越える場合）任意の識別された
対象点を削除できる。つまり、候補対象点が、平均モー
ション値とは大きく異なるモーション値を有する場合
は、その候補対象点のモーション値は誤りであるとして
よい。更に、モーション推定部４６８は、カレント（ベ
ース）フィールド又はフレームのグローバル平均を決定
できることを認識されたい。或いは、モーション推定部
４６８は、カレント（ベース）フィールド又はフレーム
内の個別の各モーション領域の、そのモーション領域内
の候補対象点だけに用いられるローカル平均を決定でき
る。
（ベース）フィールド又はフレームと先行フィールド又
はフレームとの間でブロックの良好な一致が検出できな
い場合は、その対象点を候補点リストバッファ４６７に
格納されている候補点リストから削除できることも認識
されたい。同様に、モーション推定部４６８は、カレン
ト（ベース）画像内の全ての点の平均のモーションを決
定してもよい。次に、モーション推定部４６８は、識別
された対象点の任意の１つのモーションと決定された平
均モーションとの間の差を決定できる。次に、モーショ
ン推定部４６８は、候補点リストバッファ４６７に格納
されている候補点リストから、平均距離から閾値を越え
て異なるモーション値を有する（即ち、平均距離とモー
ション値との差が閾値を越える場合）任意の識別された
対象点を削除できる。つまり、候補対象点が、平均モー
ション値とは大きく異なるモーション値を有する場合
は、その候補対象点のモーション値は誤りであるとして
よい。更に、モーション推定部４６８は、カレント（ベ
ース）フィールド又はフレームのグローバル平均を決定
できることを認識されたい。或いは、モーション推定部
４６８は、カレント（ベース）フィールド又はフレーム
内の個別の各モーション領域の、そのモーション領域内
の候補対象点だけに用いられるローカル平均を決定でき
る。
【００８８】図９は、図３に示されている動線追加サブ
システム４７０の１つの例示的な実施の形態の概要をよ
り詳細に示すブロック図である。図９に示されるよう
に、動線追加サブシステム４７０は、選択点抽出部４７
２、選択点リストバッファ４７４、及び動線生成部４７
６を含む。選択点抽出部４７２は、候補点リストバッフ
ァ４６７に格納されている候補点リスト上に残っている
各対象点を順次選択する。
システム４７０の１つの例示的な実施の形態の概要をよ
り詳細に示すブロック図である。図９に示されるよう
に、動線追加サブシステム４７０は、選択点抽出部４７
２、選択点リストバッファ４７４、及び動線生成部４７
６を含む。選択点抽出部４７２は、候補点リストバッフ
ァ４６７に格納されている候補点リスト上に残っている
各対象点を順次選択する。
【００８９】選択点抽出部４７２は、候補点リストバッ
ファ４６７から各対象点を選択し、その候補対象点が、
モーション領域の前方エッジ上又は後方エッジ上のいず
れに存在するか（即ち、移動方向に対してモーション領
域の前方に存在するエッジ上か後方に存在するエッジ上
か）を決定する。例えば、そのモーション領域が、取得
されたフィールド又はフレーム内を特定の方向に移動す
る大きな前景オブジェクトである場合は、そのオブジェ
クトの前方エッジからモーション方向に延びる動線の追
加は、そのような動線は移動オブジェクト内に完全に入
ってしまう傾向が非常に高いので、必要ないか又は望ま
しくないことが一般的である。更に、そのような線が移
動オブジェクト内に完全には入らない場合でも、オブジ
ェクトの前方エッジに動線を追加すると、移動オブジェ
クトの構造を不明瞭にするか又は乱す傾向がある。最後
に、動線は、１つ以上の先行する位置からカレント位置
への（即ち、１つ以上の先行するフィールド又はフレー
ム内の位置からカレント（ベース）フィールド又はフレ
ーム内の位置への）対象点のモーションを示すように意
図されているので、観察者は、しばしば、そのような動
線がオブジェクト又は他のモーション領域の後方エッジ
だけから延びているのを見ることを期待する。
ファ４６７から各対象点を選択し、その候補対象点が、
モーション領域の前方エッジ上又は後方エッジ上のいず
れに存在するか（即ち、移動方向に対してモーション領
域の前方に存在するエッジ上か後方に存在するエッジ上
か）を決定する。例えば、そのモーション領域が、取得
されたフィールド又はフレーム内を特定の方向に移動す
る大きな前景オブジェクトである場合は、そのオブジェ
クトの前方エッジからモーション方向に延びる動線の追
加は、そのような動線は移動オブジェクト内に完全に入
ってしまう傾向が非常に高いので、必要ないか又は望ま
しくないことが一般的である。更に、そのような線が移
動オブジェクト内に完全には入らない場合でも、オブジ
ェクトの前方エッジに動線を追加すると、移動オブジェ
クトの構造を不明瞭にするか又は乱す傾向がある。最後
に、動線は、１つ以上の先行する位置からカレント位置
への（即ち、１つ以上の先行するフィールド又はフレー
ム内の位置からカレント（ベース）フィールド又はフレ
ーム内の位置への）対象点のモーションを示すように意
図されているので、観察者は、しばしば、そのような動
線がオブジェクト又は他のモーション領域の後方エッジ
だけから延びているのを見ることを期待する。
【００９０】モーション推定部４６８によって決定され
た、候補点リスト内に残っている点からの各選択点のモ
ーションの方向及び値が、選択点抽出部４７２に入力さ
れる。次に、選択点抽出部４７２は、モーションの量を
増加して、選択された対象点から、選択点と先行フレー
ム内の対応する点との間の距離よりも遠く離れたカレン
ト（ベース）フレーム内の点を識別する。例えば、１つ
の例示的な実施の形態では、選択点抽出部４７２は、モ
ーションの量を２倍にして、選択された対象点から、選
択点と先行フレーム内の対応する点との間の距離の２倍
離れているカレント（ベース）フレーム内の点を識別す
る。しかし、モーション量は、モーション量に任意のオ
フセット値を加算することによって、及び/又はモーシ
ョン量に任意の実数を乗算することによって増加されて
もよいことを認識されたい。
た、候補点リスト内に残っている点からの各選択点のモ
ーションの方向及び値が、選択点抽出部４７２に入力さ
れる。次に、選択点抽出部４７２は、モーションの量を
増加して、選択された対象点から、選択点と先行フレー
ム内の対応する点との間の距離よりも遠く離れたカレン
ト（ベース）フレーム内の点を識別する。例えば、１つ
の例示的な実施の形態では、選択点抽出部４７２は、モ
ーションの量を２倍にして、選択された対象点から、選
択点と先行フレーム内の対応する点との間の距離の２倍
離れているカレント（ベース）フレーム内の点を識別す
る。しかし、モーション量は、モーション量に任意のオ
フセット値を加算することによって、及び/又はモーシ
ョン量に任意の実数を乗算することによって増加されて
もよいことを認識されたい。
【００９１】次に、選択点抽出部４７２は、モーション
マスクバッファ４６３に格納されているモーションマス
クを調べ、モーションマスク内の識別された点の値を決
定する。ある点についてのモーションマスクが、その点
にはモーションがないことを示す場合は、候補点リスト
バッファ４６７に格納されている候補点リストから、選
択点抽出部４７２によって選択された選択対象点が、選
択点リストバッファ４７４に格納されている選択点リス
トに追加される。別の場合、即ちモーションマスクがカ
レント（ベース）フィールド又はフレーム内の識別され
た点にモーションがあることを示す場合は、その選択対
象点は破棄される。
マスクバッファ４６３に格納されているモーションマス
クを調べ、モーションマスク内の識別された点の値を決
定する。ある点についてのモーションマスクが、その点
にはモーションがないことを示す場合は、候補点リスト
バッファ４６７に格納されている候補点リストから、選
択点抽出部４７２によって選択された選択対象点が、選
択点リストバッファ４７４に格納されている選択点リス
トに追加される。別の場合、即ちモーションマスクがカ
レント（ベース）フィールド又はフレーム内の識別され
た点にモーションがあることを示す場合は、その選択対
象点は破棄される。
【００９２】選択点リストバッファ４７４及び候補点リ
ストバッファ４６７は、物理的に同じ同一のロケーショ
ンのバッファ又はメモリセットであってよいことも認識
されたい。つまり、独立した選択点リストバッファ４７
４を備える代わりに、候補点リストバッファ４６７が選
択点リストバッファ４７４として働いてもよい。この場
合、候補点リストバッファ４６７に格納されている候補
点リストから選択点抽出部４７２によって選択された選
択対象点を、選択点リストバッファ４７４にコピーする
代わりに、選択点抽出部４７２によって選択された選択
対象点は、候補点リストバッファ４６７に格納されてい
る候補点リストから削除されない。つまり、選択された
対象点についてのモーションマスクが、識別された点に
モーションがあることを示す場合は、選択点抽出部４７
２によって選択された選択対象点は、候補点リストバッ
ファ４６７に格納されている候補点リストから削除され
る。従って、候補点リストバッファ４６７内に残ってい
る点のセットは事実上の選択点リストであり、候補点リ
ストバッファ４６７が選択点リストバッファ４７４にな
ったのである。
ストバッファ４６７は、物理的に同じ同一のロケーショ
ンのバッファ又はメモリセットであってよいことも認識
されたい。つまり、独立した選択点リストバッファ４７
４を備える代わりに、候補点リストバッファ４６７が選
択点リストバッファ４７４として働いてもよい。この場
合、候補点リストバッファ４６７に格納されている候補
点リストから選択点抽出部４７２によって選択された選
択対象点を、選択点リストバッファ４７４にコピーする
代わりに、選択点抽出部４７２によって選択された選択
対象点は、候補点リストバッファ４６７に格納されてい
る候補点リストから削除されない。つまり、選択された
対象点についてのモーションマスクが、識別された点に
モーションがあることを示す場合は、選択点抽出部４７
２によって選択された選択対象点は、候補点リストバッ
ファ４６７に格納されている候補点リストから削除され
る。従って、候補点リストバッファ４６７内に残ってい
る点のセットは事実上の選択点リストであり、候補点リ
ストバッファ４６７が選択点リストバッファ４７４にな
ったのである。
【００９３】一旦、選択点抽出部４７２が、候補点リス
トバッファ４６７内に格納されている残りの識別された
各対象点を選択及び解析し、残りの選択された対象点を
選択点リストバッファ４７４に格納したら、次に、動線
生成部４７６は、選択された各対象点を選択する。次
に、動線生成部４７６は、選択された各対象点につい
て、カレント（ベース）フィールド又はフレームのその
選択された対象点に追加される動線を生成する。動線を
生成してカレント（ベース）フィールド又はフレームに
追加するための、当業者には明白且つ予測可能な、様々
な方法があることを認識されたい。例えば、動線生成部
４７６は、選択された各対象点に対して、その対象点か
ら先行フィールド又はフレーム内の位置へと後ろ向きに
モーション方向に延びる直線の動線を生成できる。
トバッファ４６７内に格納されている残りの識別された
各対象点を選択及び解析し、残りの選択された対象点を
選択点リストバッファ４７４に格納したら、次に、動線
生成部４７６は、選択された各対象点を選択する。次
に、動線生成部４７６は、選択された各対象点につい
て、カレント（ベース）フィールド又はフレームのその
選択された対象点に追加される動線を生成する。動線を
生成してカレント（ベース）フィールド又はフレームに
追加するための、当業者には明白且つ予測可能な、様々
な方法があることを認識されたい。例えば、動線生成部
４７６は、選択された各対象点に対して、その対象点か
ら先行フィールド又はフレーム内の位置へと後ろ向きに
モーション方向に延びる直線の動線を生成できる。
【００９４】或いは、モーション推定部４６８が、選択
された各対象点のモーションを、複数の先行フィールド
又はフレームを遡って追跡した場合は、動線生成部４７
６は、選択された対象点に対応する先行フィールド又は
フレーム内の様々な位置に合うスプライン曲線を生成で
きる。動線生成部４７６は、選択された各対象点に対し
て、そのモーション値に基づいた異なる動線も生成でき
る。或いは、動線生成部４７６は、上記に概要を述べた
ように、平均又はグローバルなモーション値に対応する
長さを有する動線を生成できる。
された各対象点のモーションを、複数の先行フィールド
又はフレームを遡って追跡した場合は、動線生成部４７
６は、選択された対象点に対応する先行フィールド又は
フレーム内の様々な位置に合うスプライン曲線を生成で
きる。動線生成部４７６は、選択された各対象点に対し
て、そのモーション値に基づいた異なる動線も生成でき
る。或いは、動線生成部４７６は、上記に概要を述べた
ように、平均又はグローバルなモーション値に対応する
長さを有する動線を生成できる。
【００９５】同様に、動線生成部４７６は、カレント
（ベース）フィールド又はフレーム内の動線に、選択さ
れた各対象点について決定されたモーション方向に従っ
た向きをつけることができる。或いは、動線生成部４７
６は、上述のようにグローバルに又はローカルに、選択
された対象点の平均方向を決定できる。この場合、選択
された各対象点の動線の長さを、対応する選択された対
象点の平均方向のモーションに合うようにスケーリング
できる。
（ベース）フィールド又はフレーム内の動線に、選択さ
れた各対象点について決定されたモーション方向に従っ
た向きをつけることができる。或いは、動線生成部４７
６は、上述のようにグローバルに又はローカルに、選択
された対象点の平均方向を決定できる。この場合、選択
された各対象点の動線の長さを、対応する選択された対
象点の平均方向のモーションに合うようにスケーリング
できる。
【００９６】更に、動線生成部４７６は、正確にモーシ
ョン値の長さを有する線を生成できることを認識された
い。或いは、動線生成部４７６は、モーションがより良
く表されるように、動線を拡大又は縮小できる。
ョン値の長さを有する線を生成できることを認識された
い。或いは、動線生成部４７６は、モーションがより良
く表されるように、動線を拡大又は縮小できる。
【００９７】更に、動線生成部４７６は、各線を、同じ
色か又は各動線が延びる選択された対象点の色で色づけ
できることを認識されたい。更に、動線生成部４７６
は、動線を、平均モーション値、平均モーション方向、
又はその両方からの各動線の偏差を示すようにカラー符
号化できることを認識されたい。
色か又は各動線が延びる選択された対象点の色で色づけ
できることを認識されたい。更に、動線生成部４７６
は、動線を、平均モーション値、平均モーション方向、
又はその両方からの各動線の偏差を示すようにカラー符
号化できることを認識されたい。
【００９８】いずれにしても、一旦、選択点抽出部４７
２が、選択された対象点の最終的なセットを決定し、そ
れらを選択点リストバッファ４７４に格納すると、動線
生成部４７６は、選択された各対象点を順次選択し、上
記に概要を述べたように、ベースフィールド/フレーム
バッファ４４６に格納されているカレント（ベース）フ
ィールド又はフレームに動線を追加する。追加された動
線は、選択された対象点に対応するカレント（ベース）
フレーム又はフィールドの画素へのモーション方向に延
びる。
２が、選択された対象点の最終的なセットを決定し、そ
れらを選択点リストバッファ４７４に格納すると、動線
生成部４７６は、選択された各対象点を順次選択し、上
記に概要を述べたように、ベースフィールド/フレーム
バッファ４４６に格納されているカレント（ベース）フ
ィールド又はフレームに動線を追加する。追加された動
線は、選択された対象点に対応するカレント（ベース）
フレーム又はフィールドの画素へのモーション方向に延
びる。
【００９９】次に、ベースフィールド/フレームバッフ
ァ４４６に格納されている動線追加済フィールド又はフ
レームを、メモリ４３０に格納、及び/又はコントロー
ラ４１０の制御下で入出力インタフェース４２０を介し
て画像データシンク３００に出力できる。
ァ４４６に格納されている動線追加済フィールド又はフ
レームを、メモリ４３０に格納、及び/又はコントロー
ラ４１０の制御下で入出力インタフェース４２０を介し
て画像データシンク３００に出力できる。
【０１００】図１０は、モーションマスク生成部４６１
の第２の例示的な実施の形態の概要を示すブロック図で
ある。図１０に示されるように、モーションマスク生成
部４６１の第２の例示的な実施の形態は、フィールド/
フレーム補償部４６２及びモーションマスクバッファ４
６３に加えて、モーションマスク解析部４６４を含む。
モーションマスク解析部４６４は、モーションマスクバ
ッファに格納されているモーションマスクを解析し、グ
ローバルモーション補償済のフィールド又はフレーム内
のモーションの量を決定する。
の第２の例示的な実施の形態の概要を示すブロック図で
ある。図１０に示されるように、モーションマスク生成
部４６１の第２の例示的な実施の形態は、フィールド/
フレーム補償部４６２及びモーションマスクバッファ４
６３に加えて、モーションマスク解析部４６４を含む。
モーションマスク解析部４６４は、モーションマスクバ
ッファに格納されているモーションマスクを解析し、グ
ローバルモーション補償済のフィールド又はフレーム内
のモーションの量を決定する。
【０１０１】先に示したように、上記の動線追加システ
ム４００の例示的な実施の形態の大まかな説明では、グ
ローバルモーション補償サブシステム４５０及びローカ
ルモーション決定サブシステム４６０は、ベースフィー
ルド又はフレームと１つ以上の先行フィールド又はフレ
ームとの間のあらゆるグローバルモーションを除去した
後で、１つ以上の先行フィールド又はフレームに相対す
るベースフィールド又はフレーム内のモーション領域を
識別することに関係して述べられている。しかしなが
ら、先に示したように、動線追加システム４００は、ベ
ースフィールド又はフレームと１つ以上の追加の先行フ
ィールド又はフレームとの間のモーションの任意のタイ
プに基づいて、より概括的に動線を追加できることを認
識されたい。つまり、上述のように、ベースフィールド
又はフレームと１つ以上の追加の先行フィールド又はフ
レームとの間のローカルモーションを表示するだけでは
なく、代わりに又は加えて、ベースフィールド又はフレ
ームの特徴物と１つ以上の先行フィールド又はフレーム
の特徴物との間のローカルモーション、グローバルモー
ション、又はより概括的に、モーションを表示すること
が望ましい、又は必要とされるかもしれない。この場
合、グローバルモーション補償サブシステム４５０及び
ローカルモーション決定サブシステム４６０は、ベース
フィールド又はフレームと１つ以上の先行フィールド又
はフレームとの間のモーションをより概括的に特徴づけ
する。次に、動線追加サブシステム４７０は、この特徴
づけ情報を用いて、ベースフィールド又はフレーム内の
様々な特徴物に動線を追加する。
ム４００の例示的な実施の形態の大まかな説明では、グ
ローバルモーション補償サブシステム４５０及びローカ
ルモーション決定サブシステム４６０は、ベースフィー
ルド又はフレームと１つ以上の先行フィールド又はフレ
ームとの間のあらゆるグローバルモーションを除去した
後で、１つ以上の先行フィールド又はフレームに相対す
るベースフィールド又はフレーム内のモーション領域を
識別することに関係して述べられている。しかしなが
ら、先に示したように、動線追加システム４００は、ベ
ースフィールド又はフレームと１つ以上の追加の先行フ
ィールド又はフレームとの間のモーションの任意のタイ
プに基づいて、より概括的に動線を追加できることを認
識されたい。つまり、上述のように、ベースフィールド
又はフレームと１つ以上の追加の先行フィールド又はフ
レームとの間のローカルモーションを表示するだけでは
なく、代わりに又は加えて、ベースフィールド又はフレ
ームの特徴物と１つ以上の先行フィールド又はフレーム
の特徴物との間のローカルモーション、グローバルモー
ション、又はより概括的に、モーションを表示すること
が望ましい、又は必要とされるかもしれない。この場
合、グローバルモーション補償サブシステム４５０及び
ローカルモーション決定サブシステム４６０は、ベース
フィールド又はフレームと１つ以上の先行フィールド又
はフレームとの間のモーションをより概括的に特徴づけ
する。次に、動線追加サブシステム４７０は、この特徴
づけ情報を用いて、ベースフィールド又はフレーム内の
様々な特徴物に動線を追加する。
【０１０２】図３から図１０に示されている各要素は、
適切にプログラムされた汎用コンピュータの一部として
実施できることを理解されたい。或いは、図３から図１
０に示されている各要素は、ＡＳＩＣ内の物理的に別々
のハードウェア回路として、又はＦＰＧＡ、ＰＤＬ、Ｐ
ＬＡ、又はＰＡＬを用いて、又は離散論理素子又は離散
回路素子を用いて、実施できる。図３から図１０に示さ
れている各要素がとる特定の形態は、設計上の選択によ
って異なり、上述の説明に基づいて、当業者には明白且
つ予測可能であろう。
適切にプログラムされた汎用コンピュータの一部として
実施できることを理解されたい。或いは、図３から図１
０に示されている各要素は、ＡＳＩＣ内の物理的に別々
のハードウェア回路として、又はＦＰＧＡ、ＰＤＬ、Ｐ
ＬＡ、又はＰＡＬを用いて、又は離散論理素子又は離散
回路素子を用いて、実施できる。図３から図１０に示さ
れている各要素がとる特定の形態は、設計上の選択によ
って異なり、上述の説明に基づいて、当業者には明白且
つ予測可能であろう。
【０１０３】図１１は、本発明に従った動線追加システ
ム５００の第２の例示的な実施の形態を示す。図１１に
示されるように、ビデオ画像データはビデオバッファ５
１０に格納される。フレームセレクタ５２０は、ビデオ
バッファ５１０からのビデオ画像データのフィールド又
はフレームを選択する。詳細には、フレームセレクタ５
２０は、ビデオバッファに格納されているビデオデータ
から第１又はベースフィールドを選択し、それをベース
フィールドバッファ５２２に出力する。同様に、フレー
ムセレクタは、ビデオバッファ５１０に格納されている
ビデオデータから第２フィールドを選択し、それを第２
フィールドバッファ５２４に出力し、第２フィールドは
第２フィールドバッファ５２４に格納される。ベースフ
ィールドバッファ５２２に格納されている第１フィール
ド及び第２フィールドバッファ５２４に格納されている
第２フィールドは、グローバルモーション解析部５３０
に出力される。グローバルモーション解析部５３０は、
第１フィールド及び第２フィールドを解析し、第１フィ
ールドと第２フィールドとの間のグローバルモーション
を識別する。
ム５００の第２の例示的な実施の形態を示す。図１１に
示されるように、ビデオ画像データはビデオバッファ５
１０に格納される。フレームセレクタ５２０は、ビデオ
バッファ５１０からのビデオ画像データのフィールド又
はフレームを選択する。詳細には、フレームセレクタ５
２０は、ビデオバッファに格納されているビデオデータ
から第１又はベースフィールドを選択し、それをベース
フィールドバッファ５２２に出力する。同様に、フレー
ムセレクタは、ビデオバッファ５１０に格納されている
ビデオデータから第２フィールドを選択し、それを第２
フィールドバッファ５２４に出力し、第２フィールドは
第２フィールドバッファ５２４に格納される。ベースフ
ィールドバッファ５２２に格納されている第１フィール
ド及び第２フィールドバッファ５２４に格納されている
第２フィールドは、グローバルモーション解析部５３０
に出力される。グローバルモーション解析部５３０は、
第１フィールド及び第２フィールドを解析し、第１フィ
ールドと第２フィールドとの間のグローバルモーション
を識別する。
【０１０４】グローバルモーション解析部５３０は、グ
ローバルモーションによって生じた第１フィールドと第
２フィールドとの間の変形を定義する１組のアフィンパ
ラメータを、グローバルモーション補償部５３２に出力
する。グローバルモーション補償部５３２に、グローバ
ルモーション解析部５３０からの１組のアフィンパラメ
ータと第２フィールドバッファ５２４に格納されている
第２フィールドとが入力される。次に、グローバルモー
ション補償部５３２は、１組のアフィンパラメータに基
づいて第２フィールドの全画素の画素値を修正し、調整
済第２フィールドを形成する。次に、この調整済第２フ
ィールドは、グローバルモーション補償部５３２によっ
て調整済第２フィールドバッファ５３４に出力され、調
整済第２フィールドは調整済第２フィールドバッファ５
３４に格納される。
ローバルモーションによって生じた第１フィールドと第
２フィールドとの間の変形を定義する１組のアフィンパ
ラメータを、グローバルモーション補償部５３２に出力
する。グローバルモーション補償部５３２に、グローバ
ルモーション解析部５３０からの１組のアフィンパラメ
ータと第２フィールドバッファ５２４に格納されている
第２フィールドとが入力される。次に、グローバルモー
ション補償部５３２は、１組のアフィンパラメータに基
づいて第２フィールドの全画素の画素値を修正し、調整
済第２フィールドを形成する。次に、この調整済第２フ
ィールドは、グローバルモーション補償部５３２によっ
て調整済第２フィールドバッファ５３４に出力され、調
整済第２フィールドは調整済第２フィールドバッファ５
３４に格納される。
【０１０５】次に、ベースフィールドバッファ５２２に
格納されている第１フィールドと、調整済第２フィール
ドバッファ５３４に格納されている調整済第２フィール
ドとは、フレーム比較部５３６に出力される。フレーム
比較部５３６は、ベースフィールドと調整済第２フィー
ルドとを比較し、ベースフィールド内のモーション領域
を識別する。詳細には、フレーム比較部５３６は、ベー
スフィールド及び調整済第２フィールド内の対応する画
素の各対の、画素値の差を決定する。次に、フレーム比
較部５３６は、ベースフィールド及び調整済第２フィー
ルド内の対応する画素の画素値間の差に閾値を適用す
る。フレーム比較部５３６は、閾値を適用することによ
り、この差を二値の値に変換する。詳細には、閾値を越
える値を示す“１”はベースフィールドと調整済第２フ
ィールドとの間にモーションがあることを示し、閾値以
下の値を示す“０”はベースフィールドと調整済第２フ
ィールドとの間にモーションがないことを示す。次に、
この二値の値はフレーム比較部５３６によってモーショ
ンマスクバッファ５４０へと出力され、モーションマス
クバッファ５４０はこの二値の値を格納する。
格納されている第１フィールドと、調整済第２フィール
ドバッファ５３４に格納されている調整済第２フィール
ドとは、フレーム比較部５３６に出力される。フレーム
比較部５３６は、ベースフィールドと調整済第２フィー
ルドとを比較し、ベースフィールド内のモーション領域
を識別する。詳細には、フレーム比較部５３６は、ベー
スフィールド及び調整済第２フィールド内の対応する画
素の各対の、画素値の差を決定する。次に、フレーム比
較部５３６は、ベースフィールド及び調整済第２フィー
ルド内の対応する画素の画素値間の差に閾値を適用す
る。フレーム比較部５３６は、閾値を適用することによ
り、この差を二値の値に変換する。詳細には、閾値を越
える値を示す“１”はベースフィールドと調整済第２フ
ィールドとの間にモーションがあることを示し、閾値以
下の値を示す“０”はベースフィールドと調整済第２フ
ィールドとの間にモーションがないことを示す。次に、
この二値の値はフレーム比較部５３６によってモーショ
ンマスクバッファ５４０へと出力され、モーションマス
クバッファ５４０はこの二値の値を格納する。
【０１０６】次に、ベースフィールドバッファによって
点決定部５５０へとベースフィールドが出力され、点決
定部５５０にはモーションマスクバッファ５４０からの
二値モーション値も入力される。点決定部５５０は、モ
ーションマスクバッファ５４０に格納されている二値の
値に基づいて、ベースフィールド内の候補点を決定す
る。次に、点決定部５５０は、決定された候補点を候補
点リストメモリ５５２に出力する。
点決定部５５０へとベースフィールドが出力され、点決
定部５５０にはモーションマスクバッファ５４０からの
二値モーション値も入力される。点決定部５５０は、モ
ーションマスクバッファ５４０に格納されている二値の
値に基づいて、ベースフィールド内の候補点を決定す
る。次に、点決定部５５０は、決定された候補点を候補
点リストメモリ５５２に出力する。
【０１０７】次に、候補点リストメモリ５５２に格納さ
れている候補点リストとともに、ベースフィールドバッ
ファ５２２及び調整済第２フィールドバッファ５３４か
らベースフィールド及び調整済第２フィールドが、モー
ション推定部５６０に入力される。モーション推定部５
６０は、このデータに基づいて、候補点リストメモリに
格納されている各候補点の、ベースフィールドバッファ
５２２及び調整済第２フィールドバッファ５３４から受
信されたベースフィールドと調整済第２フィールドとの
間のモーションの量を識別する。次に、モーション推定
部５６０は、候補点リストメモリ５５２に格納されてい
る候補点について決定されたモーション値及びモーショ
ン方向を、選択点抽出部５７０に出力する。
れている候補点リストとともに、ベースフィールドバッ
ファ５２２及び調整済第２フィールドバッファ５３４か
らベースフィールド及び調整済第２フィールドが、モー
ション推定部５６０に入力される。モーション推定部５
６０は、このデータに基づいて、候補点リストメモリに
格納されている各候補点の、ベースフィールドバッファ
５２２及び調整済第２フィールドバッファ５３４から受
信されたベースフィールドと調整済第２フィールドとの
間のモーションの量を識別する。次に、モーション推定
部５６０は、候補点リストメモリ５５２に格納されてい
る候補点について決定されたモーション値及びモーショ
ン方向を、選択点抽出部５７０に出力する。
【０１０８】選択点抽出部５７０には、候補点リストメ
モリ５５２に格納されている候補点リスト及びモーショ
ンマスクバッファ５４０に格納されているモーションマ
スクも入力される。このデータに基づいて、選択点抽出
部５７０は、候補点リストメモリ５５２に格納されてい
る候補点のうちの選択された点を識別し、選択点リスト
を選択点リストメモリ５７２に格納する。
モリ５５２に格納されている候補点リスト及びモーショ
ンマスクバッファ５４０に格納されているモーションマ
スクも入力される。このデータに基づいて、選択点抽出
部５７０は、候補点リストメモリ５５２に格納されてい
る候補点のうちの選択された点を識別し、選択点リスト
を選択点リストメモリ５７２に格納する。
【０１０９】次に、選択点リストメモリ５７２に格納さ
れている選択点リストは、ベースフィールドバッファ５
２２に格納されているベースフィールドとともに、モー
ション表示生成部５８０に出力される。モーション表示
生成部５８０は、ベースフィールドバッファ５２２に格
納されているベースフィールドの画像データに基づい
て、選択点リストメモリ５７２から受信された選択点リ
スト内の各点に対する動線を生成する。詳細には、モー
ション表示生成部５８０は、図９に示されている動線生
成部４７６に関して概要を上述した様々な技術の任意の
１つを用いて動線を生成する。
れている選択点リストは、ベースフィールドバッファ５
２２に格納されているベースフィールドとともに、モー
ション表示生成部５８０に出力される。モーション表示
生成部５８０は、ベースフィールドバッファ５２２に格
納されているベースフィールドの画像データに基づい
て、選択点リストメモリ５７２から受信された選択点リ
スト内の各点に対する動線を生成する。詳細には、モー
ション表示生成部５８０は、図９に示されている動線生
成部４７６に関して概要を上述した様々な技術の任意の
１つを用いて動線を生成する。
【０１１０】一旦、モーション表示生成部５８０が、選
択点リストメモリ５７２に格納されている各点に対する
動線を生成したら、得られた修正済ベースフィールド
は、モーション表示生成部５８０によって結果画像バッ
ファ５８２に出力される。
択点リストメモリ５７２に格納されている各点に対する
動線を生成したら、得られた修正済ベースフィールド
は、モーション表示生成部５８０によって結果画像バッ
ファ５８２に出力される。
【０１１１】上述したように、結果画像バッファ５８２
に格納されている得られた画像は、無期限に格納されて
もよく、又はリンク３１０を介して画像データシンク３
００に出力されてもよい。
に格納されている得られた画像は、無期限に格納されて
もよく、又はリンク３１０を介して画像データシンク３
００に出力されてもよい。
【０１１２】上記の動線追加システム５００の大まかな
説明は、ベースフィールドバッファ５２２及び第２フィ
ールドバッファ５２４に格納されている２つのフィール
ドに関して述べられたが、ベースフィールドバッファ５
２２及び第２フィールドバッファ５２４は、フレームセ
レクタ５２０によって、ビデオバッファ５１０に格納さ
れているビデオデータから選択された、ビデオ画像デー
タの完全なフレームを格納してもよいことを認識された
い。これらの各フレームは、上述のように、インターレ
ースを解除された１対のフィールドからなる（即ち、イ
ンターレースによって得られた１対のフィールドの走査
線を交互に配置することによって構成される）。同様
に、この場合、調整済第２フィールドバッファ５３４
は、第２フィールドだけではなく、完全なフレームを格
納することになる。この場合、ベースフィールドバッフ
ァ５２２及び第２フィールドバッファ５２４に格納され
ている各フレームを形成する２つのフィールドは、好ま
しくは、米国特許第5,784,115号及び米国特許出願番号0
9/239,296号に関して概要を上述したグローバルモーシ
ョン補償システム及びローカルモーション補償システム
を用いて、２つの構成フィールドから形成される。
説明は、ベースフィールドバッファ５２２及び第２フィ
ールドバッファ５２４に格納されている２つのフィール
ドに関して述べられたが、ベースフィールドバッファ５
２２及び第２フィールドバッファ５２４は、フレームセ
レクタ５２０によって、ビデオバッファ５１０に格納さ
れているビデオデータから選択された、ビデオ画像デー
タの完全なフレームを格納してもよいことを認識された
い。これらの各フレームは、上述のように、インターレ
ースを解除された１対のフィールドからなる（即ち、イ
ンターレースによって得られた１対のフィールドの走査
線を交互に配置することによって構成される）。同様
に、この場合、調整済第２フィールドバッファ５３４
は、第２フィールドだけではなく、完全なフレームを格
納することになる。この場合、ベースフィールドバッフ
ァ５２２及び第２フィールドバッファ５２４に格納され
ている各フレームを形成する２つのフィールドは、好ま
しくは、米国特許第5,784,115号及び米国特許出願番号0
9/239,296号に関して概要を上述したグローバルモーシ
ョン補償システム及びローカルモーション補償システム
を用いて、２つの構成フィールドから形成される。
【０１１３】図１２は、本発明に従った動線追加方法の
１つの例示的な実施の形態の概要を示す。図１２に示さ
れるように、制御はステップＳ１００で開始し、ステッ
プＳ２００に進む。ステップＳ２００で、ビデオデータ
信号が入力される。次に、ステップＳ３００で、ビデオ
フィールド又はフレームが取得される。次に、ステップ
Ｓ４００で、更にフィールド又はフレームを取得する必
要があるか否かが決定される。そうである場合（即ち、
取得する必要がある場合）は、制御はステップＳ３００
にジャンプして戻る。そうでない場合は、制御はステッ
プＳ５００へと続く。
１つの例示的な実施の形態の概要を示す。図１２に示さ
れるように、制御はステップＳ１００で開始し、ステッ
プＳ２００に進む。ステップＳ２００で、ビデオデータ
信号が入力される。次に、ステップＳ３００で、ビデオ
フィールド又はフレームが取得される。次に、ステップ
Ｓ４００で、更にフィールド又はフレームを取得する必
要があるか否かが決定される。そうである場合（即ち、
取得する必要がある場合）は、制御はステップＳ３００
にジャンプして戻る。そうでない場合は、制御はステッ
プＳ５００へと続く。
【０１１４】ステップＳ５００では、取得されたビデオ
フィールド及び/又はフレームの１つ以上の対につい
て、１対のフィールド又はフレーム内のフィールド又は
フレーム間のあらゆるグローバルモーションが除去され
る。次に、ステップＳ６００で、最後に取得されたビデ
オフィールド又はフレームが、カレント画像として設定
される。次に、ステップＳ７００で、カレント画像と少
なくとも１つの先行画像との間のローカルモーション領
域が決定される。次に、制御はステップＳ８００へと続
く。
フィールド及び/又はフレームの１つ以上の対につい
て、１対のフィールド又はフレーム内のフィールド又は
フレーム間のあらゆるグローバルモーションが除去され
る。次に、ステップＳ６００で、最後に取得されたビデ
オフィールド又はフレームが、カレント画像として設定
される。次に、ステップＳ７００で、カレント画像と少
なくとも１つの先行画像との間のローカルモーション領
域が決定される。次に、制御はステップＳ８００へと続
く。
【０１１５】ステップＳ８００では、決定されたローカ
ルモーション領域内の対象点が識別される。次に、ステ
ップＳ９００で、識別された対象点のローカルモーショ
ンの方向及び大きさが決定される。次に、ステップＳ１
０００で、対象点から、選択された動線追加点が識別さ
れる。１つの例示的な実施の形態では、選択された動線
追加点は、選択された各対象点の対応するローカルモー
ションの大きさ及び方向に基づいて、識別された対象点
から選択される。次に、制御はステップＳ１１００へと
続く。
ルモーション領域内の対象点が識別される。次に、ステ
ップＳ９００で、識別された対象点のローカルモーショ
ンの方向及び大きさが決定される。次に、ステップＳ１
０００で、対象点から、選択された動線追加点が識別さ
れる。１つの例示的な実施の形態では、選択された動線
追加点は、選択された各対象点の対応するローカルモー
ションの大きさ及び方向に基づいて、識別された対象点
から選択される。次に、制御はステップＳ１１００へと
続く。
【０１１６】ステップＳ１１００では、カレント画像内
の選択された各動線追加点に動線が追加される。１つの
例示的な実施の形態では、動線は、カレント画像がフレ
ームである場合はカレントフレームに追加され、カレン
ト画像がフィールドである場合はカレント画像（即ちフ
ィールド）を含むフレームに追加される。次に、ステッ
プＳ１２００で、例えばカレントフレーム又はカレント
フィールドを含むフレームであるカレント画像が、選択
された動線追加点から延びる追加された動線とともに出
力される。次に、制御はステップＳ１３００へと続き、
そこで制御ルーチンが終了する。
の選択された各動線追加点に動線が追加される。１つの
例示的な実施の形態では、動線は、カレント画像がフレ
ームである場合はカレントフレームに追加され、カレン
ト画像がフィールドである場合はカレント画像（即ちフ
ィールド）を含むフレームに追加される。次に、ステッ
プＳ１２００で、例えばカレントフレーム又はカレント
フィールドを含むフレームであるカレント画像が、選択
された動線追加点から延びる追加された動線とともに出
力される。次に、制御はステップＳ１３００へと続き、
そこで制御ルーチンが終了する。
【０１１７】図１３は、ビデオフィールド/フレーム取
得ステップＳ３００の１つの例示的な実施の形態の概要
をより詳細に示すフロー図である。制御はステップＳ３
００で開始し、ステップＳ３１０へと続き、そこで、ビ
デオデータ信号のカレントフレームの第１フィールドが
取得される。次に、ステップＳ３２０で、完全なビデオ
フレームを取得すべきか否かが決定される。取得しない
場合は、制御はステップＳ３６０にジャンプする。取得
する場合は、制御はステップＳ３３０へと続く。
得ステップＳ３００の１つの例示的な実施の形態の概要
をより詳細に示すフロー図である。制御はステップＳ３
００で開始し、ステップＳ３１０へと続き、そこで、ビ
デオデータ信号のカレントフレームの第１フィールドが
取得される。次に、ステップＳ３２０で、完全なビデオ
フレームを取得すべきか否かが決定される。取得しない
場合は、制御はステップＳ３６０にジャンプする。取得
する場合は、制御はステップＳ３３０へと続く。
【０１１８】ステップＳ３３０では、ビデオデータ信号
のカレントフレームの第２フィールドが取得される。次
に、ステップＳ３４０で、カレントフレームの第１フィ
ールドと第２フィールドとの間のモーションが除去され
る。カレントフレームの第１フィールドと第2フィール
ドとの間のモーションを除去するために、公知の又は今
後開発される任意の方法、及び方法の組み合わせを用い
ることができる。詳細には、１つの例示的な実施の形態
では、まず、カレントフレームの第１フィールドと第２
フィールドとの間のグローバルモーションが除去され、
次に、カレントフレームのグローバルモーション補償済
の第１フィールドと第２フィールドとの間のローカルモ
ーションが除去される。次に、制御はステップＳ３５０
へと続く。
のカレントフレームの第２フィールドが取得される。次
に、ステップＳ３４０で、カレントフレームの第１フィ
ールドと第２フィールドとの間のモーションが除去され
る。カレントフレームの第１フィールドと第2フィール
ドとの間のモーションを除去するために、公知の又は今
後開発される任意の方法、及び方法の組み合わせを用い
ることができる。詳細には、１つの例示的な実施の形態
では、まず、カレントフレームの第１フィールドと第２
フィールドとの間のグローバルモーションが除去され、
次に、カレントフレームのグローバルモーション補償済
の第１フィールドと第２フィールドとの間のローカルモ
ーションが除去される。次に、制御はステップＳ３５０
へと続く。
【０１１９】ステップＳ３５０では、カレントフレーム
を形成するために、モーション補償済の第１及び第２フ
ィールドが結合される。次に、制御はステップＳ３６０
へと続き、そこで制御はステップＳ４００に戻る。
を形成するために、モーション補償済の第１及び第２フ
ィールドが結合される。次に、制御はステップＳ３６０
へと続き、そこで制御はステップＳ４００に戻る。
【０１２０】図１４は、グローバルモーション除去ステ
ップＳ５００の１つの例示的な実施の形態の概要をより
詳細に示すフロー図である。制御はステップＳ５００で
開始し、ステップＳ５１０へと続き、そこで、取得され
た最新のフィールド又はフレームがカレント画像として
選択される。次に、ステップＳ５２０で、より早く取得
されたフィールド又はフレームが先行画像として選択さ
れる。次に、ステップＳ５３０で、カレント画像に相対
する先行画像内の各画素又は各画素ブロックについて、
複数組のアフィンパラメータが決定される。詳細には、
ブロックは正方形又は長方形であってよく、１画素から
横に延びた形状でもよいことを認識されたい。詳細に
は、１画素×１画素のブロックは１画素と等しい。次
に、制御はステップＳ５４０へと続く。
ップＳ５００の１つの例示的な実施の形態の概要をより
詳細に示すフロー図である。制御はステップＳ５００で
開始し、ステップＳ５１０へと続き、そこで、取得され
た最新のフィールド又はフレームがカレント画像として
選択される。次に、ステップＳ５２０で、より早く取得
されたフィールド又はフレームが先行画像として選択さ
れる。次に、ステップＳ５３０で、カレント画像に相対
する先行画像内の各画素又は各画素ブロックについて、
複数組のアフィンパラメータが決定される。詳細には、
ブロックは正方形又は長方形であってよく、１画素から
横に延びた形状でもよいことを認識されたい。詳細に
は、１画素×１画素のブロックは１画素と等しい。次
に、制御はステップＳ５４０へと続く。
【０１２１】ステップＳ５４０では、複数組のアフィン
パラメータがクラスタ化される。次に、ステップＳ５５
０では、ステップＳ５４０で決定されたブロックアフィ
ンパラメータのクラスタに基づいて、１組の画像アフィ
ンパラメータが決定される。次に、ステップＳ５６０で
は、ステップＳ５５０で決定された１組の画像アフィン
パラメータに基づいて、先行画像が歪曲される。次に、
制御はステップＳ５７０へと続く。
パラメータがクラスタ化される。次に、ステップＳ５５
０では、ステップＳ５４０で決定されたブロックアフィ
ンパラメータのクラスタに基づいて、１組の画像アフィ
ンパラメータが決定される。次に、ステップＳ５６０で
は、ステップＳ５５０で決定された１組の画像アフィン
パラメータに基づいて、先行画像が歪曲される。次に、
制御はステップＳ５７０へと続く。
【０１２２】ステップＳ５７０では、追加のフィールド
又はフレームからグローバルモーションが除去される必
要があるか否かが決定される。そうである場合（即ち、
除去される必要がある場合）は、制御はステップＳ５２
０にジャンプして戻る。そうでない場合は、制御はステ
ップＳ５８０へと続き、そこで制御はステップＳ６００
に戻される。
又はフレームからグローバルモーションが除去される必
要があるか否かが決定される。そうである場合（即ち、
除去される必要がある場合）は、制御はステップＳ５２
０にジャンプして戻る。そうでない場合は、制御はステ
ップＳ５８０へと続き、そこで制御はステップＳ６００
に戻される。
【０１２３】図１５は、対象点の識別の１つの例示的な
実施の形態の概要をより詳細に示すフロー図である。制
御はステップＳ８００で開始し、ステップＳ８１０へと
続き、そこで、最初の画素がカレント画素として選択さ
れる。次に、ステップＳ８２０で、カレント画素が解析
され、カレント画素がローカルモーション領域内にある
か否かが決定される。そうである場合（即ち、カレント
画素がローカルモーション領域内にある場合）は、制御
はステップＳ８３０へと続く。そうでない場合は、制御
はステップＳ８７０にジャンプする。
実施の形態の概要をより詳細に示すフロー図である。制
御はステップＳ８００で開始し、ステップＳ８１０へと
続き、そこで、最初の画素がカレント画素として選択さ
れる。次に、ステップＳ８２０で、カレント画素が解析
され、カレント画素がローカルモーション領域内にある
か否かが決定される。そうである場合（即ち、カレント
画素がローカルモーション領域内にある場合）は、制御
はステップＳ８３０へと続く。そうでない場合は、制御
はステップＳ８７０にジャンプする。
【０１２４】ステップＳ８３０では、カレント画素が更
に解析され、カレント画素がカレント（ベース）フィー
ルド又はフレーム内の特徴物のエッジ上にあるか否かが
決定される。そうである場合は、制御はステップＳ８４
０へと続く。そうでない場合は、制御はここでもステッ
プＳ８７０にジャンプする。
に解析され、カレント画素がカレント（ベース）フィー
ルド又はフレーム内の特徴物のエッジ上にあるか否かが
決定される。そうである場合は、制御はステップＳ８４
０へと続く。そうでない場合は、制御はここでもステッ
プＳ８７０にジャンプする。
【０１２５】ステップＳ８４０では、カレント画素が解
析され、カレント画素が特徴物の角にあるか否かが決定
される。そうである場合は、制御はステップＳ８５０へ
と続く。そうでない場合は、制御はここでもステップＳ
８７０にジャンプする。
析され、カレント画素が特徴物の角にあるか否かが決定
される。そうである場合は、制御はステップＳ８５０へ
と続く。そうでない場合は、制御はここでもステップＳ
８７０にジャンプする。
【０１２６】ステップＳ８５０では、カレント画素が解
析され、カレント画素が、他の、前に識別された対象点
から十分に離れているか否かが決定される。そうである
場合は、制御はステップＳ８６０へと続く。そうでない
場合は、制御はここでもステップＳ８７０にジャンプす
る。
析され、カレント画素が、他の、前に識別された対象点
から十分に離れているか否かが決定される。そうである
場合は、制御はステップＳ８６０へと続く。そうでない
場合は、制御はここでもステップＳ８７０にジャンプす
る。
【０１２７】ステップＳ８６０では、カレント画素がロ
ーカルモーション領域内にあり、カレント（ベース）フ
ィールド又はフレーム内の特徴物のエッジの角にあり、
他の、前に識別された対象点から十分に離れているので
（即ち、ステップＳ８２０、Ｓ８３０、Ｓ８４０、及び
Ｓ８５０でYESと判定されたので）、カレント画素はも
う１つの対象点として識別される。次に、ステップＳ８
７０で、カレント（ベース）フィールド又はフレームが
チェックされ、カレント（ベース）フィールド又はフレ
ーム内の全画素が選択されたか否かが決定される。カレ
ント（ベース）フィールド又はフレーム内にまだ選択さ
れるべき画素が残っている場合は、制御はステップＳ８
８０へと続く。そうでない場合は、制御はステップＳ８
９０にジャンプする。
ーカルモーション領域内にあり、カレント（ベース）フ
ィールド又はフレーム内の特徴物のエッジの角にあり、
他の、前に識別された対象点から十分に離れているので
（即ち、ステップＳ８２０、Ｓ８３０、Ｓ８４０、及び
Ｓ８５０でYESと判定されたので）、カレント画素はも
う１つの対象点として識別される。次に、ステップＳ８
７０で、カレント（ベース）フィールド又はフレームが
チェックされ、カレント（ベース）フィールド又はフレ
ーム内の全画素が選択されたか否かが決定される。カレ
ント（ベース）フィールド又はフレーム内にまだ選択さ
れるべき画素が残っている場合は、制御はステップＳ８
８０へと続く。そうでない場合は、制御はステップＳ８
９０にジャンプする。
【０１２８】ステップＳ８８０では、カレント（ベー
ス）フィールド又はフレームの次の画素がカレント画素
として選択される。次に、制御はステップＳ８２０にジ
ャンプして戻る。一方、ステップＳ８９０では、制御は
制御Ｓ９００に戻る。
ス）フィールド又はフレームの次の画素がカレント画素
として選択される。次に、制御はステップＳ８２０にジ
ャンプして戻る。一方、ステップＳ８９０では、制御は
制御Ｓ９００に戻る。
【０１２９】図１６は、動線追加点の選択の１つの例示
的な実施の形態の概要をより詳細に示すフロー図であ
る。制御はステップＳ１０００で開始し、ステップＳ１
０１０へと続き、そこで、平均モーション量が決定され
る。次に、ステップＳ１０２０で、最初の対象点がカレ
ント対象点として選択される。次に、ステップＳ１０３
０で、カレント対象点が解析され、カレント対象点のモ
ーションが平均モーションに近いか否かが決定される。
そうである場合（即ち、カレント対象点のモーションが
平均モーションに近い場合）は、制御はステップＳ１０
４０へと続く。そうでない場合は、制御はステップＳ１
０７０にジャンプする。
的な実施の形態の概要をより詳細に示すフロー図であ
る。制御はステップＳ１０００で開始し、ステップＳ１
０１０へと続き、そこで、平均モーション量が決定され
る。次に、ステップＳ１０２０で、最初の対象点がカレ
ント対象点として選択される。次に、ステップＳ１０３
０で、カレント対象点が解析され、カレント対象点のモ
ーションが平均モーションに近いか否かが決定される。
そうである場合（即ち、カレント対象点のモーションが
平均モーションに近い場合）は、制御はステップＳ１０
４０へと続く。そうでない場合は、制御はステップＳ１
０７０にジャンプする。
【０１３０】ステップＳ１０４０では、カレント対象点
のモーションの線に沿った第２の点が識別される。次
に、ステップＳ１０５０で、第２の対象点が解析され、
第２の対象点もモーション領域内にあるか否かが決定さ
れる。モーション領域内にない場合は、制御はステップ
Ｓ１０６０へと続く。モーション領域内にある場合は、
制御はステップＳ１０７０にジャンプする。
のモーションの線に沿った第２の点が識別される。次
に、ステップＳ１０５０で、第２の対象点が解析され、
第２の対象点もモーション領域内にあるか否かが決定さ
れる。モーション領域内にない場合は、制御はステップ
Ｓ１０６０へと続く。モーション領域内にある場合は、
制御はステップＳ１０７０にジャンプする。
【０１３１】ステップＳ１０６０では、カレント対象点
のモーションが平均モーションに近く、識別された第２
の点もモーション領域内にないので（即ち、ステップＳ
１０４０でYESに分岐し、ステップＳ１０５０でNOに分
岐したので）、カレント対象点が動線追加点として選択
される。次に、ステップＳ１０７０で、対象点のリスト
がチェックされ、まだ選択されるべき対象点が残ってい
るか否かが決定される。まだ選択されるべき対象点が残
っている場合は、制御はステップＳ１０８０へと続く。
そうでない場合は、制御はステップＳ１０９０にジャン
プする。
のモーションが平均モーションに近く、識別された第２
の点もモーション領域内にないので（即ち、ステップＳ
１０４０でYESに分岐し、ステップＳ１０５０でNOに分
岐したので）、カレント対象点が動線追加点として選択
される。次に、ステップＳ１０７０で、対象点のリスト
がチェックされ、まだ選択されるべき対象点が残ってい
るか否かが決定される。まだ選択されるべき対象点が残
っている場合は、制御はステップＳ１０８０へと続く。
そうでない場合は、制御はステップＳ１０９０にジャン
プする。
【０１３２】ステップＳ１０８０では、次の対象点がカ
レント対象点として選択される。次に、制御はステップ
Ｓ１０３０にジャンプして戻る。一方、ステップＳ１０
９０では、制御はステップＳ１１００に戻る。
レント対象点として選択される。次に、制御はステップ
Ｓ１０３０にジャンプして戻る。一方、ステップＳ１０
９０では、制御はステップＳ１１００に戻る。
【０１３３】図３から図１０に示されている動線追加シ
ステム４００は、好ましくは、プログラムされた汎用コ
ンピュータ上で実現される。しかしながら、動線追加シ
ステム４００は、専用コンピュータ、プログラムされた
マイクロプロセッサ又はマイクロコントローラ及び周辺
集積回路素子、ＡＳＩＣ又は他の集積回路、デジタル信
号プロセッサ、離散素子回路のようなハードワイヤード
(hardwired)電子又は論理回路、又は、ＰＬＤ、ＰＬ
Ａ、ＦＰＧＡ、又はＰＡＬのようなプログラム可能論理
デバイス等でも実現可能である。一般的に、有限状態機
械の実施能力があり、ひいては図１２から図１６のフロ
ー図の実施能力がある、任意の装置を用いて、動線追加
システム４００を実現することができる。
ステム４００は、好ましくは、プログラムされた汎用コ
ンピュータ上で実現される。しかしながら、動線追加シ
ステム４００は、専用コンピュータ、プログラムされた
マイクロプロセッサ又はマイクロコントローラ及び周辺
集積回路素子、ＡＳＩＣ又は他の集積回路、デジタル信
号プロセッサ、離散素子回路のようなハードワイヤード
(hardwired)電子又は論理回路、又は、ＰＬＤ、ＰＬ
Ａ、ＦＰＧＡ、又はＰＡＬのようなプログラム可能論理
デバイス等でも実現可能である。一般的に、有限状態機
械の実施能力があり、ひいては図１２から図１６のフロ
ー図の実施能力がある、任意の装置を用いて、動線追加
システム４００を実現することができる。
【０１３４】同様に、図１１の動線追加システム５００
は、好ましくは、プログラムされた汎用コンピュータ上
で実現される。しかしながら、動線追加システム５００
は、専用コンピュータ、プログラムされたマイクロプロ
セッサ又はマイクロコントローラ及び周辺集積回路素
子、ＡＳＩＣ又は他の集積回路、デジタル信号プロセッ
サ、離散素子回路のようなハードワイヤード電子又は論
理回路、又は、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、又はＰＡＬ
のようなプログラム可能論理デバイス等でも実現可能で
ある。一般的に、有限状態機械の実施能力があり、ひい
ては図１２から図１６のフロー図の実施能力がある、任
意の装置を用いて、動線追加システム５００を実現する
ことができる。
は、好ましくは、プログラムされた汎用コンピュータ上
で実現される。しかしながら、動線追加システム５００
は、専用コンピュータ、プログラムされたマイクロプロ
セッサ又はマイクロコントローラ及び周辺集積回路素
子、ＡＳＩＣ又は他の集積回路、デジタル信号プロセッ
サ、離散素子回路のようなハードワイヤード電子又は論
理回路、又は、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、又はＰＡＬ
のようなプログラム可能論理デバイス等でも実現可能で
ある。一般的に、有限状態機械の実施能力があり、ひい
ては図１２から図１６のフロー図の実施能力がある、任
意の装置を用いて、動線追加システム５００を実現する
ことができる。
【０１３５】図３から図１０に示されているメモリ４３
０並びに種々のバッファ４４２、４４６、４４８、４６
３、４６７、及び４７４、並びに図１１に示されている
種々のバッファ及びメモリ５２２、５２４、５３４、５
４０、５５２、及び５８２は、好ましくは、スタティッ
ク又はダイナミックＲＡＭを用いて実現される。しかし
ながら、図３から図１０に示されているメモリ４３０並
びに種々のバッファ４４２、４４６、４４８、４６３、
４６７、及び４７４、並びに図１１に示されている種々
のバッファ及びメモリ５２２、５２４、５３４、５４
０、５５２、及び５８２は、フロッピーディスク及びデ
ィスクドライブ、書き込み可能光ディスク及びディスク
ドライブ、ハードドライブ、フラッシュメモリ、又は他
の公知の又は今後開発される任意の可変揮発性又は不揮
発性記憶装置又はシステムを用いて実現することも可能
である。
０並びに種々のバッファ４４２、４４６、４４８、４６
３、４６７、及び４７４、並びに図１１に示されている
種々のバッファ及びメモリ５２２、５２４、５３４、５
４０、５５２、及び５８２は、好ましくは、スタティッ
ク又はダイナミックＲＡＭを用いて実現される。しかし
ながら、図３から図１０に示されているメモリ４３０並
びに種々のバッファ４４２、４４６、４４８、４６３、
４６７、及び４７４、並びに図１１に示されている種々
のバッファ及びメモリ５２２、５２４、５３４、５４
０、５５２、及び５８２は、フロッピーディスク及びデ
ィスクドライブ、書き込み可能光ディスク及びディスク
ドライブ、ハードドライブ、フラッシュメモリ、又は他
の公知の又は今後開発される任意の可変揮発性又は不揮
発性記憶装置又はシステムを用いて実現することも可能
である。
【０１３６】図３は、動線追加システム４００をビデオ
画像データソース２００とは別の装置として示している
が、動線追加システム４００は一体化された装置であっ
てもよい。そのような構成にして、例えば、ビデオ画像
データソース２００、動線追加システム４００、及び画
像データシンク３００が単独の装置に含まれてもよい。
画像データソース２００とは別の装置として示している
が、動線追加システム４００は一体化された装置であっ
てもよい。そのような構成にして、例えば、ビデオ画像
データソース２００、動線追加システム４００、及び画
像データシンク３００が単独の装置に含まれてもよい。
【０１３７】或いは、動線追加システム４００は、画像
データシンク３００又はビデオ画像データソース２００
上で実行されるソフトウェアとして実現されてもよい。
例えば、動線追加システム４００は、ビデオカメラ又は
ビデオキャプチャ/プリンタシステムに組込まれても良
い。図３に示されている要素の他の構成も、本発明の精
神及び範囲を逸脱することなく用いられ得る。
データシンク３００又はビデオ画像データソース２００
上で実行されるソフトウェアとして実現されてもよい。
例えば、動線追加システム４００は、ビデオカメラ又は
ビデオキャプチャ/プリンタシステムに組込まれても良
い。図３に示されている要素の他の構成も、本発明の精
神及び範囲を逸脱することなく用いられ得る。
【０１３８】本発明は、概要を上述した特定の例示的な
実施の形態と関係して述べられてきたが、当業者にとっ
て多くの代替、修正、及び変更が明白であることは明ら
かである。従って、上述の本発明の好ましい実施の形態
は、本発明の説明を意図するものであり、本発明を限定
するものではない。本発明の精神及び範囲を逸脱するこ
となく、様々な変更が行われ得る。
実施の形態と関係して述べられてきたが、当業者にとっ
て多くの代替、修正、及び変更が明白であることは明ら
かである。従って、上述の本発明の好ましい実施の形態
は、本発明の説明を意図するものであり、本発明を限定
するものではない。本発明の精神及び範囲を逸脱するこ
となく、様々な変更が行われ得る。
【図１】本発明に従ったシステム及び方法を用いて動線
が追加されるベース静止画像を示す図である。
が追加されるベース静止画像を示す図である。
【図２】図１の静止画像に動線を追加して示す図であ
る。
る。
【図３】本発明に従った動線追加システムの１つの例示
的な実施の形態の概要を示すブロック図である。
的な実施の形態の概要を示すブロック図である。
【図４】図３のビデオフレームキャプチャサブシステム
の１つの例示的な実施の形態の概要をより詳細に示すブ
ロック図である。
の１つの例示的な実施の形態の概要をより詳細に示すブ
ロック図である。
【図５】図３のグローバルモーション補償サブシステム
の１つの例示的な実施の形態の概要をより詳細に示すブ
ロック図である。
の１つの例示的な実施の形態の概要をより詳細に示すブ
ロック図である。
【図６】本発明に従った図３の（ローカル）モーション
決定サブシステムの１つの例示的な実施の形態の概要を
より詳細に示すブロック図である。
決定サブシステムの１つの例示的な実施の形態の概要を
より詳細に示すブロック図である。
【図７】図６のモーションマスク生成部の１つの例示的
な実施の形態の概要をより詳細に示すブロック図であ
る。
な実施の形態の概要をより詳細に示すブロック図であ
る。
【図８】図６の候補点選択サブシステムの１つの例示的
な実施の形態の概要をより詳細に示すブロック図であ
る。
な実施の形態の概要をより詳細に示すブロック図であ
る。
【図９】本発明に従った図３の動線追加サブシステムの
１つの例示的な実施の形態の概要を示すブロック図であ
る。
１つの例示的な実施の形態の概要を示すブロック図であ
る。
【図１０】図６のモーションマスク生成部の第２の例示
的な実施の形態の概要を示すブロック図である。
的な実施の形態の概要を示すブロック図である。
【図１１】本発明に従った動線追加システムの第２の例
示的な実施の形態の概要を示すブロック図である。
示的な実施の形態の概要を示すブロック図である。
【図１２】本発明に従った動線追加方法の１つの例示的
な実施の形態の概要を示すフロー図である。
な実施の形態の概要を示すフロー図である。
【図１３】図１２のカレントフレーム比較方法の１つの
例示的な実施の形態の概要をより詳細に示すフロー図で
ある。
例示的な実施の形態の概要をより詳細に示すフロー図で
ある。
【図１４】本発明に従った図１２の対象点識別方法（グ
ローバルモーション除去方法）の１つの例示的な実施の
形態の概要をより詳細に示すフロー図である。
ローバルモーション除去方法）の１つの例示的な実施の
形態の概要をより詳細に示すフロー図である。
【図１５】本発明に従った図１２の対象点識別方法の１
つの例示的な実施の形態の概要をより詳細に示すフロー
図である。
つの例示的な実施の形態の概要をより詳細に示すフロー
図である。
【図１６】本発明に従った図１２の動線追加点選択方法
の１つの例示的な実施の形態の概要をより詳細に示すフ
ロー図である。
の１つの例示的な実施の形態の概要をより詳細に示すフ
ロー図である。
４００ 動線追加システム ４１０ コントローラ ４２０ 入出力インタフェース ４３０ メモリ ４４０ ビデオフレームキャプチャサブシステム ４５０ グローバルモーション補償サブシステム ４６０ ローカルモーション決定サブシステム ４７０ 動線追加サブシステム
Claims (1)
- 【請求項１】 ビデオデータ信号から取得された静止画
像内でのモーション表示方法であって、 ビデオデータ信号の第１の部分を取得するステップと、 ビデオデータ信号の第２の部分を取得するステップと、 ビデオデータ信号の第１の部分と第２の部分との間のモ
ーションを特徴づけるステップと、 第１の部分の少なくとも１つの各画素について、前記画
素に対応する特徴づけされたモーションに基づき、前記
画素に動線を追加するステップと、 を有する、ビデオデータ信号から取得された静止画像内
でのモーション表示方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US09/217,554 US6580812B1 (en) | 1998-12-21 | 1998-12-21 | Methods and systems for automatically adding motion lines representing motion to a still image |
| US217554 | 1998-12-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000194867A true JP2000194867A (ja) | 2000-07-14 |
| JP4514264B2 JP4514264B2 (ja) | 2010-07-28 |
Family
ID=22811557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP36206099A Expired - Fee Related JP4514264B2 (ja) | 1998-12-21 | 1999-12-21 | ビデオデータ信号から取得された静止画像内でのモーション表示方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6580812B1 (ja) |
| JP (1) | JP4514264B2 (ja) |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6842196B1 (en) * | 2000-04-04 | 2005-01-11 | Smith & Nephew, Inc. | Method and system for automatic correction of motion artifacts |
| US20020041339A1 (en) * | 2000-10-10 | 2002-04-11 | Klaus Diepold | Graphical representation of motion in still video images |
| KR100443678B1 (ko) * | 2001-09-29 | 2004-08-09 | 엘지전자 주식회사 | 영상내의 오브젝트 영역 추출방법 |
| KR100396558B1 (ko) * | 2001-10-25 | 2003-09-02 | 삼성전자주식회사 | 적응 움직임 보상형 프레임 및/또는 레이트 변환 장치 및그 방법 |
| US7362374B2 (en) * | 2002-08-30 | 2008-04-22 | Altera Corporation | Video interlacing using object motion estimation |
| US7623728B2 (en) * | 2004-03-24 | 2009-11-24 | General Electric Company | Method and product for processing digital images |
| US7561186B2 (en) * | 2004-04-19 | 2009-07-14 | Seiko Epson Corporation | Motion blur correction |
| US8624980B2 (en) * | 2004-08-10 | 2014-01-07 | Thomson Licensing | Apparatus and method for indicating the detected degree of motion in video |
| US8705614B2 (en) * | 2005-04-04 | 2014-04-22 | Broadcom Corporation | Motion estimation using camera tracking movements |
| US8666661B2 (en) * | 2006-03-31 | 2014-03-04 | The Boeing Company | Video navigation |
| US8233541B2 (en) * | 2008-03-26 | 2012-07-31 | Sony Corporation | Recursive image quality enhancement on super resolution video |
| JP4813517B2 (ja) * | 2008-05-29 | 2011-11-09 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 |
| US20100248741A1 (en) * | 2009-03-30 | 2010-09-30 | Nokia Corporation | Method and apparatus for illustrative representation of a text communication |
| DE102015100334A1 (de) * | 2015-01-12 | 2016-07-14 | Khs Gmbh | Erfassungseinheit sowie Vorrichtung und Verfahren zur Bedruckung von Behältern |
| US9836118B2 (en) | 2015-06-16 | 2017-12-05 | Wilson Steele | Method and system for analyzing a movement of a person |
| US11055859B2 (en) | 2018-08-22 | 2021-07-06 | Ford Global Technologies, Llc | Eccentricity maps |
| US11783707B2 (en) | 2018-10-09 | 2023-10-10 | Ford Global Technologies, Llc | Vehicle path planning |
| US11460851B2 (en) | 2019-05-24 | 2022-10-04 | Ford Global Technologies, Llc | Eccentricity image fusion |
| US11521494B2 (en) | 2019-06-11 | 2022-12-06 | Ford Global Technologies, Llc | Vehicle eccentricity mapping |
| US11662741B2 (en) | 2019-06-28 | 2023-05-30 | Ford Global Technologies, Llc | Vehicle visual odometry |
| KR102649600B1 (ko) * | 2020-01-17 | 2024-03-22 | 삼성디스플레이 주식회사 | 클럭 생성기 및 이를 포함하는 표시 장치 |
| CN115699130A (zh) | 2020-03-31 | 2023-02-03 | 斯纳普公司 | 增强现实美容产品教程 |
| US11676354B2 (en) * | 2020-03-31 | 2023-06-13 | Snap Inc. | Augmented reality beauty product tutorials |
| US11423652B2 (en) | 2020-06-10 | 2022-08-23 | Snap Inc. | Adding beauty products to augmented reality tutorials |
| US11922642B1 (en) | 2023-01-30 | 2024-03-05 | SimpliSafe, Inc. | Methods and apparatus for detecting unrecognized moving objects |
| US11922669B1 (en) * | 2023-07-31 | 2024-03-05 | SimpliSafe, Inc. | Object detection via regions of interest |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06203161A (ja) * | 1993-01-05 | 1994-07-22 | Fujitsu Ltd | 動画像からの動物体抽出方法，及び、動物体抽出装置 |
| JPH06309462A (ja) * | 1993-02-26 | 1994-11-04 | Fujitsu Ltd | 動画像処理装置 |
| JPH08242987A (ja) * | 1995-03-08 | 1996-09-24 | Sanyo Electric Co Ltd | 店内レイアウト評価装置 |
| JPH10240945A (ja) * | 1997-02-28 | 1998-09-11 | Mitsubishi Electric Corp | 画像処理装置 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE2952315A1 (de) * | 1979-12-24 | 1981-07-02 | Fried. Krupp Gmbh, 4300 Essen | Verfahren zur darstellung einer gefechtslage |
| US4755870A (en) * | 1983-07-11 | 1988-07-05 | Colorization Inc. | Coloring a black and white signal using motion detection |
| JP3230263B2 (ja) * | 1992-01-31 | 2001-11-19 | ソニー株式会社 | 動きベクトル検出回路 |
| JP3679426B2 (ja) * | 1993-03-15 | 2005-08-03 | マサチューセッツ・インスティチュート・オブ・テクノロジー | 画像データを符号化して夫々がコヒーレントな動きの領域を表わす複数の層とそれら層に付随する動きパラメータとにするシステム |
| US5627905A (en) * | 1994-12-12 | 1997-05-06 | Lockheed Martin Tactical Defense Systems | Optical flow detection system |
| KR0171154B1 (ko) * | 1995-04-29 | 1999-03-20 | 배순훈 | 특징점 기반 움직임 추정을 이용하여 비디오 신호를 부호화하는 방법 및 장치 |
| US5982909A (en) * | 1996-04-23 | 1999-11-09 | Eastman Kodak Company | Method for region tracking in an image sequence using a two-dimensional mesh |
| US5801778A (en) * | 1996-05-23 | 1998-09-01 | C-Cube Microsystems, Inc. | Video encoding with multi-stage projection motion estimation |
| US5784115A (en) * | 1996-12-31 | 1998-07-21 | Xerox Corporation | System and method for motion compensated de-interlacing of video frames |
| GB9712651D0 (en) * | 1997-06-18 | 1997-08-20 | Nds Ltd | Improvements in or relating to encoding digital signals |
| US6047078A (en) * | 1997-10-03 | 2000-04-04 | Digital Equipment Corporation | Method for extracting a three-dimensional model using appearance-based constrained structure from motion |
-
1998
- 1998-12-21 US US09/217,554 patent/US6580812B1/en not_active Expired - Fee Related
-
1999
- 1999-12-21 JP JP36206099A patent/JP4514264B2/ja not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06203161A (ja) * | 1993-01-05 | 1994-07-22 | Fujitsu Ltd | 動画像からの動物体抽出方法，及び、動物体抽出装置 |
| JPH06309462A (ja) * | 1993-02-26 | 1994-11-04 | Fujitsu Ltd | 動画像処理装置 |
| JPH08242987A (ja) * | 1995-03-08 | 1996-09-24 | Sanyo Electric Co Ltd | 店内レイアウト評価装置 |
| JPH10240945A (ja) * | 1997-02-28 | 1998-09-11 | Mitsubishi Electric Corp | 画像処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4514264B2 (ja) | 2010-07-28 |
| US6580812B1 (en) | 2003-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4514264B2 (ja) | ビデオデータ信号から取得された静止画像内でのモーション表示方法 | |
| US7221776B2 (en) | Video stabilizer | |
| JP4042563B2 (ja) | 画像ノイズの低減 | |
| US5579054A (en) | System and method for creating high-quality stills from interlaced video | |
| US8509481B2 (en) | Image processing apparatus, image processing method, imaging apparatus | |
| US6377711B1 (en) | Methods and systems for detecting the edges of objects in raster images using diagonal edge detection | |
| EP2164040B1 (en) | System and method for high quality image and video upscaling | |
| EP1274251A2 (en) | Method and apparatus for segmenting a pixellated image | |
| WO2004093011A1 (ja) | 複数のフレーム画像からの静止画像の生成 | |
| JP2000182065A (ja) | 動画像リアルタイム変換方法、キ―フレ―ム選択方法、及び動画像変換システム | |
| US6784927B1 (en) | Image processing apparatus and image processing method, and storage medium | |
| AU2003202211A2 (en) | Registration of separations | |
| Kovacevic et al. | Deinterlacing by successive approximation | |
| JP2001169080A (ja) | カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 | |
| CN111091590A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| JP3176195B2 (ja) | 画像処理装置 | |
| US6438270B1 (en) | Methods and systems for image sharpening | |
| JP2007249436A (ja) | 画像信号処理装置及び画像信号処理方法 | |
| IL195471A (en) | Imaging system and method with intelligent digital zoom | |
| JP2006067541A (ja) | 映像変換装置及び映像変換方法並びに記録媒体 | |
| JP2006221221A (ja) | 複数の低解像度画像を用いた高解像度画像の生成 | |
| JP2856207B1 (ja) | 画像位置調整装置及び画像位置調整プログラムを記録したコンピュータが読み取り可能な記録媒体 | |
| JP4164215B2 (ja) | 画像処理方法、装置および記録媒体 | |
| JPH05233794A (ja) | 多値自然画デジタル画像の拡大方法及びその拡大装置 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091006 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091203 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100112 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100511 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130521 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |