JP2000184336A - 画像処理装置、画像処理方法及びコンピュ―タ読み取り可能な記憶媒体 - Google Patents
画像処理装置、画像処理方法及びコンピュ―タ読み取り可能な記憶媒体Info
- Publication number
- JP2000184336A JP2000184336A JP27471199A JP27471199A JP2000184336A JP 2000184336 A JP2000184336 A JP 2000184336A JP 27471199 A JP27471199 A JP 27471199A JP 27471199 A JP27471199 A JP 27471199A JP 2000184336 A JP2000184336 A JP 2000184336A
- Authority
- JP
- Japan
- Prior art keywords
- data
- motion vector
- block
- image data
- target block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 前景オブジェクト分離後に、背景オブジェク
トに生じるデータ欠落部分を補間できるようにする。 【解決手段】 データ欠落部分を含むフレーム又はフィ
ールドの画面を複数ブロックに分割し、各ブロック内の
データ欠落部分を含んでいるものをターゲットブロック
１００１とし、その周囲を周囲ブロック１００２〜１０
０５とする。次に周囲ブロックの動きベクトルを前又は
後の他の画面から求め、求めた動きベクトルからターゲ
ットブロックと対応する動きベクトルを決定する。その
動きベクトルから得られたデータにより、ターゲットブ
ロック内のデータの有効性を比較しながら上記欠落部分
を補間する。欠落部分が埋まらなかった場合は、上記他
の画面を変更して同様の処理を繰り返す。
トに生じるデータ欠落部分を補間できるようにする。 【解決手段】 データ欠落部分を含むフレーム又はフィ
ールドの画面を複数ブロックに分割し、各ブロック内の
データ欠落部分を含んでいるものをターゲットブロック
１００１とし、その周囲を周囲ブロック１００２〜１０
０５とする。次に周囲ブロックの動きベクトルを前又は
後の他の画面から求め、求めた動きベクトルからターゲ
ットブロックと対応する動きベクトルを決定する。その
動きベクトルから得られたデータにより、ターゲットブ
ロック内のデータの有効性を比較しながら上記欠落部分
を補間する。欠落部分が埋まらなかった場合は、上記他
の画面を変更して同様の処理を繰り返す。
Description
【０００１】
【発明の属する技術分野】本発明は、画像処理装置、画
像処理方法及びコンピュータ読み取り可能な記憶媒体に
関し、特にオブジェクト分離により画像を処理するもの
に用いて好適なものである。
像処理方法及びコンピュータ読み取り可能な記憶媒体に
関し、特にオブジェクト分離により画像を処理するもの
に用いて好適なものである。
【０００２】
【従来の技術】近年、高性能化したＣＰＵを搭載したパ
ーソナルコンピュータ（パソコン）の普及に伴い、パソ
コン上で行う動画像の編集に対する要求が高まってきて
いる。編集作業の例として、フレームもしくはフィール
ド間での時間順序の入れ替え、ワイプやディゾルブ、モ
ザイク、別画像の挿入など、さまざまなものがある。
ーソナルコンピュータ（パソコン）の普及に伴い、パソ
コン上で行う動画像の編集に対する要求が高まってきて
いる。編集作業の例として、フレームもしくはフィール
ド間での時間順序の入れ替え、ワイプやディゾルブ、モ
ザイク、別画像の挿入など、さまざまなものがある。
【０００３】また、画像をフレームもしくはフィールド
単位等の画像単位で処理するのではなく、画像内を個々
の物体、背景、あるいは文字などといった意味のある単
位（以下オブジェクトと呼ぶ）に分割して、オブジェク
ト単位で個別の処理を加える技術も向上してきている。
単位等の画像単位で処理するのではなく、画像内を個々
の物体、背景、あるいは文字などといった意味のある単
位（以下オブジェクトと呼ぶ）に分割して、オブジェク
ト単位で個別の処理を加える技術も向上してきている。
【０００４】オブジェクト単位で個別の処理を加えるた
めには、フレームもしくはフィールド画像からオブジェ
クトを抽出しなければならない。動画像において、従来
から行われているオブジェクト抽出の手法は、ブルーバ
ックと呼ばれているものがある。これはスタジオセット
などで予めブルーの背景を用意しておき、スイッチャー
でブルーの部分を別の背景画像に置き換えるものであ
る。また、画像のエッジ部分を抽出して、オブジェクト
を分離する手法もある。
めには、フレームもしくはフィールド画像からオブジェ
クトを抽出しなければならない。動画像において、従来
から行われているオブジェクト抽出の手法は、ブルーバ
ックと呼ばれているものがある。これはスタジオセット
などで予めブルーの背景を用意しておき、スイッチャー
でブルーの部分を別の背景画像に置き換えるものであ
る。また、画像のエッジ部分を抽出して、オブジェクト
を分離する手法もある。
【０００５】
【発明が解決しようとする課題】しかしながら、ブルー
バックのような手法では、予め別の背景となる画像を用
意しておかなければならないという欠点があった。ま
た、他の手法を用いて、背景と前景のオブジェクトを分
離できても、背景オブジェクトには、前景オブジェクト
のあった部分にデータが存在しない穴（エリア）ができ
てしまい、背景オブジェクトの再利用は困難であった。
バックのような手法では、予め別の背景となる画像を用
意しておかなければならないという欠点があった。ま
た、他の手法を用いて、背景と前景のオブジェクトを分
離できても、背景オブジェクトには、前景オブジェクト
のあった部分にデータが存在しない穴（エリア）ができ
てしまい、背景オブジェクトの再利用は困難であった。
【０００６】例えばあるシーンにおいて、オリジナルの
前景オブジェクトを別のオブジェクトに置き換えたい場
合を考える。この場合、オリジナルの画像から、前景オ
ブジェクトを抽出した後、残りの背景オブジェクトに別
の前景オブジェクトを合成する必要がある。最初の前景
オブジェクトを抽出した後の穴の空いた部分を、後から
合成するオブジェクトでふさぐことができれば問題ない
が、これではオブジェクトの再利用あるいは再加工にお
ける汎用性が大きく制限されてしまう。
前景オブジェクトを別のオブジェクトに置き換えたい場
合を考える。この場合、オリジナルの画像から、前景オ
ブジェクトを抽出した後、残りの背景オブジェクトに別
の前景オブジェクトを合成する必要がある。最初の前景
オブジェクトを抽出した後の穴の空いた部分を、後から
合成するオブジェクトでふさぐことができれば問題ない
が、これではオブジェクトの再利用あるいは再加工にお
ける汎用性が大きく制限されてしまう。
【０００７】上述したような背景から本願発明の一つの
目的は、前景オブジェクト抽出後、背景オブジェクトに
生じた穴のような部分的なデータの欠落があっても、そ
れを補間し、汎用性の高い背景オブジェクトを提供でき
るようにすることを目的としている。
目的は、前景オブジェクト抽出後、背景オブジェクトに
生じた穴のような部分的なデータの欠落があっても、そ
れを補間し、汎用性の高い背景オブジェクトを提供でき
るようにすることを目的としている。
【０００８】
【課題を解決するための手段】本発明による画像処理装
置においては、画像データを入力する入力手段と、上記
入力した画像データを複数のブロックに分割する分割手
段と、上記各ブロックからデータ欠落部分を有するブロ
ックをターゲットブロックとして抽出すると共に、この
ターゲットブロックの周囲ブロックを抽出する抽出手段
と、他画面の画像データをサンプル画像データとして抽
出する抽出手段と、上記周囲ブロックについて上記サン
プル画像データの対応するブロックを用いて動きベクト
ルを算出する算出手段と、上記算出された動きベクトル
から上記ターゲットブロックと対応する動きベクトルを
決定する決定手段と、上記決定された動きベクトルから
得られるデータを上記ターゲットブロックの上記欠落部
分に埋め込む補間を行う補間手段とを有する点に特徴を
有する。
置においては、画像データを入力する入力手段と、上記
入力した画像データを複数のブロックに分割する分割手
段と、上記各ブロックからデータ欠落部分を有するブロ
ックをターゲットブロックとして抽出すると共に、この
ターゲットブロックの周囲ブロックを抽出する抽出手段
と、他画面の画像データをサンプル画像データとして抽
出する抽出手段と、上記周囲ブロックについて上記サン
プル画像データの対応するブロックを用いて動きベクト
ルを算出する算出手段と、上記算出された動きベクトル
から上記ターゲットブロックと対応する動きベクトルを
決定する決定手段と、上記決定された動きベクトルから
得られるデータを上記ターゲットブロックの上記欠落部
分に埋め込む補間を行う補間手段とを有する点に特徴を
有する。
【０００９】本発明による他の画像処理装置において
は、画像データを入力する入力手段と、上記入力手段に
よって入力された画像データから前景オブジェクトデー
タと背景オブジェクトデータとを分離する分離手段と、
上記分離手段によって分離された背景オブジェクトデー
タの欠落データを補間する補間手段と、上記前景オブジ
ェクトデータを符号化する第１の符号化手段と、上記補
間手段によって補間された背景オブジェクトデータを符
号化する第２の符号化手段とを有する点に特徴を有す
る。
は、画像データを入力する入力手段と、上記入力手段に
よって入力された画像データから前景オブジェクトデー
タと背景オブジェクトデータとを分離する分離手段と、
上記分離手段によって分離された背景オブジェクトデー
タの欠落データを補間する補間手段と、上記前景オブジ
ェクトデータを符号化する第１の符号化手段と、上記補
間手段によって補間された背景オブジェクトデータを符
号化する第２の符号化手段とを有する点に特徴を有す
る。
【００１０】本発明による画像処理方法においては、画
像データを入力し、上記入力された画像データから前景
オブジェクトデータと背景オブジェクトデータとを分離
し、上記分離された背景オブジェクトデータの欠落デー
タを補間し、上記前景オブジェクトデータを符号化し、
上記補間された背景オブジェクトデータを符号化する点
に特徴を有する。
像データを入力し、上記入力された画像データから前景
オブジェクトデータと背景オブジェクトデータとを分離
し、上記分離された背景オブジェクトデータの欠落デー
タを補間し、上記前景オブジェクトデータを符号化し、
上記補間された背景オブジェクトデータを符号化する点
に特徴を有する。
【００１１】本発明による他の画像処理装置において
は、画像データを入力する入力手段と、上記画像データ
を複数のブロックに分割する分割手段と、上記各ブロッ
クからデータ欠落部分を有するブロックをターゲットブ
ロックとして抽出すると共に、このターゲットブロック
の周囲ブロックを抽出する抽出手段と、上記周囲ブロッ
クの動きベクトルを検出する検出手段と、上記検出され
た動きベクトルに応じて得られるデータを上記ターゲッ
トブロックの上記欠落部分に埋め込む補間を行う補間手
段とを有する点に特徴を有する。
は、画像データを入力する入力手段と、上記画像データ
を複数のブロックに分割する分割手段と、上記各ブロッ
クからデータ欠落部分を有するブロックをターゲットブ
ロックとして抽出すると共に、このターゲットブロック
の周囲ブロックを抽出する抽出手段と、上記周囲ブロッ
クの動きベクトルを検出する検出手段と、上記検出され
た動きベクトルに応じて得られるデータを上記ターゲッ
トブロックの上記欠落部分に埋め込む補間を行う補間手
段とを有する点に特徴を有する。
【００１２】本発明による他の画像処理方法において
は、画像データを入力し、上記画像データを複数のブロ
ックに分割し、上記各ブロックからデータ欠落部分を有
するブロックをターゲットブロックとして抽出すると共
に、このターゲットブロックの周囲ブロックを抽出し、
上記周囲ブロックの動きベクトルを検出し、上記検出さ
れた動きベクトルに応じて得られるデータを上記ターゲ
ットブロックの上記欠落部分に埋め込む補間を行う点に
特徴を有する。
は、画像データを入力し、上記画像データを複数のブロ
ックに分割し、上記各ブロックからデータ欠落部分を有
するブロックをターゲットブロックとして抽出すると共
に、このターゲットブロックの周囲ブロックを抽出し、
上記周囲ブロックの動きベクトルを検出し、上記検出さ
れた動きベクトルに応じて得られるデータを上記ターゲ
ットブロックの上記欠落部分に埋め込む補間を行う点に
特徴を有する。
【００１３】本発明によるコンピュータ読み取り可能な
記憶媒体においては、入力される１画面の画像データを
複数のブロックに分割する分割手順と、上記各ブロック
からデータ欠落部分を有するブロックをターゲットブロ
ックとして抽出すると共に、このターゲットブロックの
周囲ブロックを抽出する抽出手順と、他画面の画像デー
タをサンプル画像データとして抽出する抽出手順と、上
記周囲ブロックについて上記サンプル画像データの対応
するブロックを用いて動きベクトルを算出する算出手順
と、上記算出された動きベクトルから上記ターゲットブ
ロックと対応する動きベクトルを決定する決定手順と、
上記決定された動きベクトルから得られるデータを上記
ターゲットブロックの上記欠落部分に埋め込む補間を行
う補間手順とを実行するためのプログラムを記憶した点
に特徴を有する。
記憶媒体においては、入力される１画面の画像データを
複数のブロックに分割する分割手順と、上記各ブロック
からデータ欠落部分を有するブロックをターゲットブロ
ックとして抽出すると共に、このターゲットブロックの
周囲ブロックを抽出する抽出手順と、他画面の画像デー
タをサンプル画像データとして抽出する抽出手順と、上
記周囲ブロックについて上記サンプル画像データの対応
するブロックを用いて動きベクトルを算出する算出手順
と、上記算出された動きベクトルから上記ターゲットブ
ロックと対応する動きベクトルを決定する決定手順と、
上記決定された動きベクトルから得られるデータを上記
ターゲットブロックの上記欠落部分に埋め込む補間を行
う補間手順とを実行するためのプログラムを記憶した点
に特徴を有する。
【００１４】本発明による他のコンピュータ読み取り可
能な記憶媒体においては、画像データを入力する入力手
順と、上記入力された画像データから前景オブジェクト
データと背景オブジェクトデータとを分離する分離手順
と、上記分離された背景オブジェクトデータの欠落デー
タを補間する補間手順と、上記前景オブジェクトデータ
を符号化する第１の符号化手順と、上記補間された背景
オブジェクトデータを符号化する第２の符号化手順とを
実行するためのプログラムを記憶した点に特徴を有す
る。
能な記憶媒体においては、画像データを入力する入力手
順と、上記入力された画像データから前景オブジェクト
データと背景オブジェクトデータとを分離する分離手順
と、上記分離された背景オブジェクトデータの欠落デー
タを補間する補間手順と、上記前景オブジェクトデータ
を符号化する第１の符号化手順と、上記補間された背景
オブジェクトデータを符号化する第２の符号化手順とを
実行するためのプログラムを記憶した点に特徴を有す
る。
【００１５】本発明による他のコンピュータ読み取り可
能な記憶媒体においては、画像データを入力する入力手
順と、上記画像データを複数のブロックに分割する分割
手順と、上記各ブロックからデータ欠落部分を有するブ
ロックをターゲットブロックとして抽出すると共に、こ
のターゲットブロックの周囲ブロックを抽出する抽出手
順と、上記周囲ブロックの動きベクトルを検出する検出
手順と、上記検出された動きベクトルに応じて得られる
データを上記ターゲットブロックの上記欠落部分に埋め
込む補間を行う補間手順とを実行するためのプログラム
を記憶した点に特徴を有する。
能な記憶媒体においては、画像データを入力する入力手
順と、上記画像データを複数のブロックに分割する分割
手順と、上記各ブロックからデータ欠落部分を有するブ
ロックをターゲットブロックとして抽出すると共に、こ
のターゲットブロックの周囲ブロックを抽出する抽出手
順と、上記周囲ブロックの動きベクトルを検出する検出
手順と、上記検出された動きベクトルに応じて得られる
データを上記ターゲットブロックの上記欠落部分に埋め
込む補間を行う補間手順とを実行するためのプログラム
を記憶した点に特徴を有する。
【００１６】本発明による他の画像処理装置において
は、画像データを入力する入力手段と、 上記画像デー
タから前景オブジェクトデータと背景オブジェクトデー
タとを分離する分離手段と、上記前景オブジェクトの分
離により生じた上記背景オブジェクトデータの欠落部分
の画像データを上記欠落部分の周囲の画像データに基づ
いて補間する補間手段とを有する点に特徴を有する。
は、画像データを入力する入力手段と、 上記画像デー
タから前景オブジェクトデータと背景オブジェクトデー
タとを分離する分離手段と、上記前景オブジェクトの分
離により生じた上記背景オブジェクトデータの欠落部分
の画像データを上記欠落部分の周囲の画像データに基づ
いて補間する補間手段とを有する点に特徴を有する。
【００１７】本発明による他の画像処理方法において
は、画像データを入力し、上記画像データから前景オブ
ジェクトデータと背景オブジェクトデータとを分離し、
上記前景オブジェクトの分離により生じた上記背景オブ
ジェクトデータの欠落部分の画像データを上記欠落部分
の周囲の画像データに基づいて補間する点に特徴を有す
る。
は、画像データを入力し、上記画像データから前景オブ
ジェクトデータと背景オブジェクトデータとを分離し、
上記前景オブジェクトの分離により生じた上記背景オブ
ジェクトデータの欠落部分の画像データを上記欠落部分
の周囲の画像データに基づいて補間する点に特徴を有す
る。
【００１８】本発明による他のコンピュータ読み取り可
能な記憶媒体においては、画像データを入力する入力手
順と、上記画像データから前景オブジェクトデータと背
景オブジェクトデータとを分離する分離手順と、上記前
景オブジェクトの分離により生じた上記背景オブジェク
トデータの欠落部分の画像データを上記欠落部分の周囲
の画像データに基づいて補間する補間手順とを実行する
ためのプログラムを記憶した点に特徴を有する。
能な記憶媒体においては、画像データを入力する入力手
順と、上記画像データから前景オブジェクトデータと背
景オブジェクトデータとを分離する分離手順と、上記前
景オブジェクトの分離により生じた上記背景オブジェク
トデータの欠落部分の画像データを上記欠落部分の周囲
の画像データに基づいて補間する補間手順とを実行する
ためのプログラムを記憶した点に特徴を有する。
【００１９】
【発明の実施の形態】本発明の実施形態の概要を説明す
れば、前景オブジェクトの分離により生じたデータ欠落
部分の存在する１画面（フレームもしくはフィールド）
をターゲットとし、所定数の画素で構成されるブロック
分割を行う。そして、分割した各ブロックがデータ欠落
部分を含んでいるか否かをチェックして、データ欠落部
分を含んだブロックをターゲットブロックとし、その周
囲のブロックを周囲ブロックとする。
れば、前景オブジェクトの分離により生じたデータ欠落
部分の存在する１画面（フレームもしくはフィールド）
をターゲットとし、所定数の画素で構成されるブロック
分割を行う。そして、分割した各ブロックがデータ欠落
部分を含んでいるか否かをチェックして、データ欠落部
分を含んだブロックをターゲットブロックとし、その周
囲のブロックを周囲ブロックとする。
【００２０】次に、周囲ブロックの動きベクトルを、前
又は後のサンプルフレーム又はフィールドからサーチ
し、求められた各周囲ブロックの動きベクトルから、タ
ーゲットブロックに対応する動きベクトルを求める。動
きベクトルデータとターゲットブロック内のデータとの
有効性を比較しながら補間を行い、ブロック内すべての
データが埋まらなかった場合は、サンプルフレーム又は
フィールドを変更して、さらに処理を続けるようにして
いる。
又は後のサンプルフレーム又はフィールドからサーチ
し、求められた各周囲ブロックの動きベクトルから、タ
ーゲットブロックに対応する動きベクトルを求める。動
きベクトルデータとターゲットブロック内のデータとの
有効性を比較しながら補間を行い、ブロック内すべての
データが埋まらなかった場合は、サンプルフレーム又は
フィールドを変更して、さらに処理を続けるようにして
いる。
【００２１】このようにしたことにより、部分的にデー
タの欠落した背景オブジェクトから完全な背景オブジェ
クトを容易かつ確実に生成することが可能になる。
タの欠落した背景オブジェクトから完全な背景オブジェ
クトを容易かつ確実に生成することが可能になる。
【００２２】（第１の実施形態）以下、本発明の実施形
態を図面を用いて詳細に説明する。図１は、本発明の第
１の実施形態の構成を示すブロック図であり、（ａ）が
エンコード側、（ｂ）がデコード側を示す。
態を図面を用いて詳細に説明する。図１は、本発明の第
１の実施形態の構成を示すブロック図であり、（ａ）が
エンコード側、（ｂ）がデコード側を示す。
【００２３】図１（ａ）に示すエンコード側において、
画像入力部１０１は、ビデオカメラやＶＴＲ等から画像
信号を入力する部分であり、アナログ信号の場合はデジ
タル信号に変換する。カラーの信号は、輝度信号と２つ
の色差信号とに分けて、それぞれ同様のデジタル変換処
理を行う。
画像入力部１０１は、ビデオカメラやＶＴＲ等から画像
信号を入力する部分であり、アナログ信号の場合はデジ
タル信号に変換する。カラーの信号は、輝度信号と２つ
の色差信号とに分けて、それぞれ同様のデジタル変換処
理を行う。
【００２４】画像分離部１０２は、背景オブジェクトと
前景オブジェクトとの分離を行う部分である。各オブジ
ェクトのフレーム間での動きベクトルが異なれば、その
違いによって背景と前景の各オブジェクトを分離するこ
とが可能である。また、色の情報を用いてオブジェクト
の違いを判定することも有効である。
前景オブジェクトとの分離を行う部分である。各オブジ
ェクトのフレーム間での動きベクトルが異なれば、その
違いによって背景と前景の各オブジェクトを分離するこ
とが可能である。また、色の情報を用いてオブジェクト
の違いを判定することも有効である。
【００２５】このようにして分離された前景オブジェク
トは、そのまま前景画像符号化部１０３において符号化
処理が行われる。
トは、そのまま前景画像符号化部１０３において符号化
処理が行われる。
【００２６】また、分離された背景オブジェクトは、デ
ータの欠落部分を埋めるため、背景画像補間部１０４に
おいて本発明特有の処理が施される。この処理について
の詳細な説明は後述する。
ータの欠落部分を埋めるため、背景画像補間部１０４に
おいて本発明特有の処理が施される。この処理について
の詳細な説明は後述する。
【００２７】補間の完了した背景オブジェクトは、背景
画像符号化部１０５において符号化処理が行われる。こ
の符号化処理は前景画像符号化処理部１０３と同じ処理
方法を用いることもできるが、別処理とすることで、背
景画像の特徴を生かしたより高能率の符号化を行うこと
も可能となる。
画像符号化部１０５において符号化処理が行われる。こ
の符号化処理は前景画像符号化処理部１０３と同じ処理
方法を用いることもできるが、別処理とすることで、背
景画像の特徴を生かしたより高能率の符号化を行うこと
も可能となる。
【００２８】前景、背景それぞれに最適な符号化処理を
行った後は、多重化部１０６によって一つのビットスト
リームにまとめられ、伝送路に応じた処理がなされた
後、送信もしくは記録が行われる。
行った後は、多重化部１０６によって一つのビットスト
リームにまとめられ、伝送路に応じた処理がなされた
後、送信もしくは記録が行われる。
【００２９】一方、図１（ｂ）に示すデコード側では、
上述したエンコード側の処理と逆の処理が行われる。ま
ず、分離部１０７において、それぞれのオブジェクト処
理単位に分離される。ここでは、前景と背景２つのオブ
ジェクトである。前景画像復号化部１０８では、前景画
像符号化部１０３に対応した復号化処理が行われ、ま
た、背景画像復号化部１０９では、背景画像符号化部１
０５に対応した復号化処理が行われる。
上述したエンコード側の処理と逆の処理が行われる。ま
ず、分離部１０７において、それぞれのオブジェクト処
理単位に分離される。ここでは、前景と背景２つのオブ
ジェクトである。前景画像復号化部１０８では、前景画
像符号化部１０３に対応した復号化処理が行われ、ま
た、背景画像復号化部１０９では、背景画像符号化部１
０５に対応した復号化処理が行われる。
【００３０】画像合成部１１０では、個々のオブジェク
トを一つのフレーム又はフィールド画像に合成する。合
成された画像データは画像表示部１１１において、表示
機器に応じたフォーマットに変換されて出力され、表示
される。
トを一つのフレーム又はフィールド画像に合成する。合
成された画像データは画像表示部１１１において、表示
機器に応じたフォーマットに変換されて出力され、表示
される。
【００３１】次に、図２〜図６を用いて、本発明特有の
処理である背景画像補間部１０４での処理の詳細なアル
ゴリズムを説明する。また、ここでは、図７〜図１４に
示す画像イメージを用いて説明する。
処理である背景画像補間部１０４での処理の詳細なアル
ゴリズムを説明する。また、ここでは、図７〜図１４に
示す画像イメージを用いて説明する。
【００３２】図７は、オリジナルの画像を示している。
ここでは簡単のため、フレーム単位で移動する画像を例
に説明する。図７（ａ）が第Ｎ番目のフレームの画像を
表しており、７０１が前景画像、７０２が背景画像であ
る。図７（ｂ）は第Ｎ−１番目のフレームの画像を表し
ており、前景画像７０１の位置は図７（ａ）と比較して
移動している。同様に図７（ｃ）は第Ｎ−２番目のフレ
ームの画像を表しており、前景画像７０１の位置は更に
移動している。
ここでは簡単のため、フレーム単位で移動する画像を例
に説明する。図７（ａ）が第Ｎ番目のフレームの画像を
表しており、７０１が前景画像、７０２が背景画像であ
る。図７（ｂ）は第Ｎ−１番目のフレームの画像を表し
ており、前景画像７０１の位置は図７（ａ）と比較して
移動している。同様に図７（ｃ）は第Ｎ−２番目のフレ
ームの画像を表しており、前景画像７０１の位置は更に
移動している。
【００３３】これらのフレーム間での動きの違いを利用
して前景画像を抽出すると、背景画像８０２は図８のよ
うになる。前景画像のあった部分８０１は、そのままで
はデータが存在しないので、ここでは暫定的に輝度レベ
ルがゼロのデータを挿入している。尚、以下では、補間
の対象として注目しているフレームをターゲットフレー
ム、補間候補のデータを探すフレームをサンプルフレー
ムと呼ぶことにする。
して前景画像を抽出すると、背景画像８０２は図８のよ
うになる。前景画像のあった部分８０１は、そのままで
はデータが存在しないので、ここでは暫定的に輝度レベ
ルがゼロのデータを挿入している。尚、以下では、補間
の対象として注目しているフレームをターゲットフレー
ム、補間候補のデータを探すフレームをサンプルフレー
ムと呼ぶことにする。
【００３４】図２は、背景補間を行おうとするフレーム
（ターゲットフレーム）に対する一連の処理の全体アル
ゴリズムである。なお、このフローチャートはターゲッ
トフレーム１枚に対する処理なので、複数枚のフレーム
を処理する場合は、その枚数分だけ同様の処理を繰り返
せばよい。
（ターゲットフレーム）に対する一連の処理の全体アル
ゴリズムである。なお、このフローチャートはターゲッ
トフレーム１枚に対する処理なので、複数枚のフレーム
を処理する場合は、その枚数分だけ同様の処理を繰り返
せばよい。
【００３５】ステップＳ２０１でまず初期設定を行う。
ここでの設定の主なものは、ターゲットフレームの設
定、サンプルフレームの枚数の設定、さらにターゲット
フレームのブロック化処理などを含んでいる。ここで
は、図８の（ａ）に示す第Ｎフレームをターゲットフレ
ームとする。また、図８（ｂ）に示す第Ｎ−１フレーム
と、図８（ｃ）に示す第Ｎ−２フレームの２枚をサンプ
ルフレームとする。図９には、図８（ａ）に示すターゲ
ットフレームをブロック化したものを示す。
ここでの設定の主なものは、ターゲットフレームの設
定、サンプルフレームの枚数の設定、さらにターゲット
フレームのブロック化処理などを含んでいる。ここで
は、図８の（ａ）に示す第Ｎフレームをターゲットフレ
ームとする。また、図８（ｂ）に示す第Ｎ−１フレーム
と、図８（ｃ）に示す第Ｎ−２フレームの２枚をサンプ
ルフレームとする。図９には、図８（ａ）に示すターゲ
ットフレームをブロック化したものを示す。
【００３６】ステップＳ２０１でブロック化されたブロ
ックを、ステップＳ２０２で、一つずつターゲットブロ
ックか否かチェックしていく。この処理は、ブロック内
に輝度レベルがゼロのデータが存在するか否かで判定が
可能である。
ックを、ステップＳ２０２で、一つずつターゲットブロ
ックか否かチェックしていく。この処理は、ブロック内
に輝度レベルがゼロのデータが存在するか否かで判定が
可能である。
【００３７】画像の輝度レベルを８ビット（０〜２５
５）データで表す場合は、一般に映像信号の最低レベル
すなわち黒の信号は１６とするため、ゼロレベルのデー
タのみを探せば、黒レベルの信号との誤判定は防げる。
また、穴の部分に暫定的に挿入するデータは任意である
ので、誤判定の心配のないデータであればゼロにこだわ
る必要はない。
５）データで表す場合は、一般に映像信号の最低レベル
すなわち黒の信号は１６とするため、ゼロレベルのデー
タのみを探せば、黒レベルの信号との誤判定は防げる。
また、穴の部分に暫定的に挿入するデータは任意である
ので、誤判定の心配のないデータであればゼロにこだわ
る必要はない。
【００３８】このようにしてターゲットブロックの検出
を行うと、図９のブロック９０１が最初のターゲットブ
ロックと判定される。ターゲットブロックと判定された
ブロックはステップＳ２０３で補間処理がなされ、次の
ブロックの処理に進む。尚、この補間処理の詳細につい
ては後述する。
を行うと、図９のブロック９０１が最初のターゲットブ
ロックと判定される。ターゲットブロックと判定された
ブロックはステップＳ２０３で補間処理がなされ、次の
ブロックの処理に進む。尚、この補間処理の詳細につい
ては後述する。
【００３９】上記のようにして次々にブロック単位の処
理を行い、ステップＳ２０４ですべてのブロックの処理
が終了したと判断された時点で、ターゲットフレーム全
体の補間処理が完了となる。
理を行い、ステップＳ２０４ですべてのブロックの処理
が終了したと判断された時点で、ターゲットフレーム全
体の補間処理が完了となる。
【００４０】次に、図３を用いて第１の実施形態による
ターゲットブロックの処理アルゴリズムを説明する。タ
ーゲットブロックを検出すると、まずステップＳ３０１
において周囲ブロックを決定する。図１０は、ターゲッ
トブロックとその周囲ブロックを示しており、１００１
が補間対象すなわちターゲットブロックで、１００２〜
１００５が周囲ブロックである。ここでは、ターゲット
ブロックの上下左右のブロックを周囲ブロックとしてい
る。
ターゲットブロックの処理アルゴリズムを説明する。タ
ーゲットブロックを検出すると、まずステップＳ３０１
において周囲ブロックを決定する。図１０は、ターゲッ
トブロックとその周囲ブロックを示しており、１００１
が補間対象すなわちターゲットブロックで、１００２〜
１００５が周囲ブロックである。ここでは、ターゲット
ブロックの上下左右のブロックを周囲ブロックとしてい
る。
【００４１】次に、ステップＳ３０２において、ターゲ
ットブロックの動きベクトル候補を算出する。ターゲッ
トブロックの動きベクトル候補は、周囲ブロックの動き
ベクトルから求めるが、その詳細のアルゴリズムを図４
を用いて説明する。
ットブロックの動きベクトル候補を算出する。ターゲッ
トブロックの動きベクトル候補は、周囲ブロックの動き
ベクトルから求めるが、その詳細のアルゴリズムを図４
を用いて説明する。
【００４２】まずステップＳ４０１で周囲ブロック内の
データを調べ、ブロック内にデータの欠落部分がないか
どうかを判定する。欠落部分があった場合は、その後の
パターンマッチングで所望の結果が得られなくなるた
め、このブロックについては動きベクトルを求めない。
データを調べ、ブロック内にデータの欠落部分がないか
どうかを判定する。欠落部分があった場合は、その後の
パターンマッチングで所望の結果が得られなくなるた
め、このブロックについては動きベクトルを求めない。
【００４３】データの欠落部分がなければ、ステップＳ
４０２でサンプルフレームとの間でパターンマッチング
を行う。マッチングを行うたびにブロックの差分の二乗
和を求めておき、すべてのマッチング処理を終えた段階
でステップＳ４０３に進み、差分の二乗和が最小となる
ブロックとの相対位置情報、すなわち動きベクトルを求
める。
４０２でサンプルフレームとの間でパターンマッチング
を行う。マッチングを行うたびにブロックの差分の二乗
和を求めておき、すべてのマッチング処理を終えた段階
でステップＳ４０３に進み、差分の二乗和が最小となる
ブロックとの相対位置情報、すなわち動きベクトルを求
める。
【００４４】ステップＳ４０４では、求めた動きベクト
ルの信頼度を検証する。すなわち、差分の二乗和が最小
となる動きベクトルでも、差分の二乗和の値がある閾値
以上であれば、その動きベクトルは候補として採用すべ
きでないと判断する。閾値以下の場合のみ、ステップＳ
４０５に進み、ターゲットブロックの動きベクトル候補
とする。
ルの信頼度を検証する。すなわち、差分の二乗和が最小
となる動きベクトルでも、差分の二乗和の値がある閾値
以上であれば、その動きベクトルは候補として採用すべ
きでないと判断する。閾値以下の場合のみ、ステップＳ
４０５に進み、ターゲットブロックの動きベクトル候補
とする。
【００４５】これらの処理を周囲ブロックの数だけ繰り
返し、ステップＳ４０６ですべての周囲ブロックの判定
が終了したと判断したとき、このターゲットブロックに
対する動きベクトル候補の算出処理を終える。
返し、ステップＳ４０６ですべての周囲ブロックの判定
が終了したと判断したとき、このターゲットブロックに
対する動きベクトル候補の算出処理を終える。
【００４６】ここで注意すべきは、動きベクトル候補は
最大で周囲ブロックの数だけ存在し、最小では動きベク
トル候補なしということもあり得ることである。
最大で周囲ブロックの数だけ存在し、最小では動きベク
トル候補なしということもあり得ることである。
【００４７】図３に戻って、ステップＳ３０３ではステ
ップＳ３０２で算出された動きベクトル候補の有無を判
定し、以後の処理を分岐している。
ップＳ３０２で算出された動きベクトル候補の有無を判
定し、以後の処理を分岐している。
【００４８】図１０の例で周囲ブロック１００２と１０
０３は、ブロック内にデータ欠落部分が存在しないた
め、動きベクトルを算出する。背景画像が動いていない
と仮定すると、差分の二乗和がゼロとなる場所があり、
その動きベクトルは（０，０）である。また、図１０の
周囲ブロック１００４と１００５は、ブロック内にデー
タ欠落部分が存在するため、動きベクトルの算出処理を
行わない。したがって、この図１０の例では、ステップ
Ｓ３０２（図４のフローチャートに示す処理）が終わっ
た段階で、動きベクトル候補は２つである。
０３は、ブロック内にデータ欠落部分が存在しないた
め、動きベクトルを算出する。背景画像が動いていない
と仮定すると、差分の二乗和がゼロとなる場所があり、
その動きベクトルは（０，０）である。また、図１０の
周囲ブロック１００４と１００５は、ブロック内にデー
タ欠落部分が存在するため、動きベクトルの算出処理を
行わない。したがって、この図１０の例では、ステップ
Ｓ３０２（図４のフローチャートに示す処理）が終わっ
た段階で、動きベクトル候補は２つである。
【００４９】ターゲットブロックの動きベクトル候補が
存在する場合には、図３のステップＳ３０４に進む。こ
こで動きベクトル候補からターゲットブロックの動きベ
クトルを確定するが、その詳細のアルゴリズムを図５を
用いて説明する。
存在する場合には、図３のステップＳ３０４に進む。こ
こで動きベクトル候補からターゲットブロックの動きベ
クトルを確定するが、その詳細のアルゴリズムを図５を
用いて説明する。
【００５０】まず、ステップＳ５０１で動きベクトル候
補が複数あるかどうかチェックする。ステップＳ５０１
で動きベクトル候補が一つしかない場合は、ステップＳ
５０２で、その動きベクトル候補をターゲットブロック
の動きベクトルとして確定する。ステップＳ５０１で動
きベクトル候補が複数存在する場合は、ステップＳ５０
３で、それらの中で同じ値を持つベクトルがあるかどう
かチェックする。
補が複数あるかどうかチェックする。ステップＳ５０１
で動きベクトル候補が一つしかない場合は、ステップＳ
５０２で、その動きベクトル候補をターゲットブロック
の動きベクトルとして確定する。ステップＳ５０１で動
きベクトル候補が複数存在する場合は、ステップＳ５０
３で、それらの中で同じ値を持つベクトルがあるかどう
かチェックする。
【００５１】ステップ５０３で同じ値を持つ動きベクト
ル候補がない場合は、ステップＳ５０４で、動きベクト
ル候補を平均したものをターゲットブロックの動きベク
トルとして確定する。ステップ５０３で同じ値を持つ動
きベクトル候補がある場合は、ステップＳ５０５で、そ
れらが複数種類あるかどうかチェックする。
ル候補がない場合は、ステップＳ５０４で、動きベクト
ル候補を平均したものをターゲットブロックの動きベク
トルとして確定する。ステップ５０３で同じ値を持つ動
きベクトル候補がある場合は、ステップＳ５０５で、そ
れらが複数種類あるかどうかチェックする。
【００５２】ステップＳ５０５で同じ値を持つ動きベク
トル候補が一種類しかない場合は、ステップＳ５０６
で、その同じ値を持つ動きベクトル候補をターゲットブ
ロックの動きベクトルとして確定する。ステップＳ５０
５で同じ値を持つ動きベクトル候補が二種類以上ある場
合は、ステップＳ５０７で、分類された動きベクトル候
補の中で一番多いものをチェックし、同じ値を持つ動き
ベクトル候補が最も多いものが複数存在するか否かを判
断する。
トル候補が一種類しかない場合は、ステップＳ５０６
で、その同じ値を持つ動きベクトル候補をターゲットブ
ロックの動きベクトルとして確定する。ステップＳ５０
５で同じ値を持つ動きベクトル候補が二種類以上ある場
合は、ステップＳ５０７で、分類された動きベクトル候
補の中で一番多いものをチェックし、同じ値を持つ動き
ベクトル候補が最も多いものが複数存在するか否かを判
断する。
【００５３】ステップＳ５０７で同じ値を持つ動きベク
トル候補が最も多いものが複数存在しない場合は、ステ
ップＳ５０８で、最も多かった動きベクトル候補をター
ゲットブロックの動きベクトルとする。ステップＳ５０
７で同じ値を持つ動きベクトル候補が最も多いものが複
数存在する場合、例えば４つの動きベクトルのうち、２
つの動きベクトルの値が同じで、残り２つの動きベクト
ルも同じといったように、同じ値を持つ動きベクトル候
補が最も多いものが複数存在する場合は、ステップＳ５
０９でそれらの動きベクトル候補の中で差分の二乗和が
最小のものをチェックする。最小のものが一つであれ
ば、ステップＳ５１０でそれをターゲットブロックの動
きベクトルとする。最小のものが複数ある場合は、ステ
ップＳ５１１でそれらのベクトルの平均を求め、これを
ターゲットブロックの動きベクトルとする。
トル候補が最も多いものが複数存在しない場合は、ステ
ップＳ５０８で、最も多かった動きベクトル候補をター
ゲットブロックの動きベクトルとする。ステップＳ５０
７で同じ値を持つ動きベクトル候補が最も多いものが複
数存在する場合、例えば４つの動きベクトルのうち、２
つの動きベクトルの値が同じで、残り２つの動きベクト
ルも同じといったように、同じ値を持つ動きベクトル候
補が最も多いものが複数存在する場合は、ステップＳ５
０９でそれらの動きベクトル候補の中で差分の二乗和が
最小のものをチェックする。最小のものが一つであれ
ば、ステップＳ５１０でそれをターゲットブロックの動
きベクトルとする。最小のものが複数ある場合は、ステ
ップＳ５１１でそれらのベクトルの平均を求め、これを
ターゲットブロックの動きベクトルとする。
【００５４】図１０の例では、動きベクトル候補が２つ
存在し、それらの動きベクトルの値は同じであるので、
これをターゲットブロックの動きベクトルとして確定す
る。
存在し、それらの動きベクトルの値は同じであるので、
これをターゲットブロックの動きベクトルとして確定す
る。
【００５５】図３に戻って、ターゲットブロックの動き
ベクトルが確定すると、ステップＳ３０５に進んで、タ
ーゲットブロックの動きベクトルによる補間処理を行
う。図６は、ターゲットブロックの動きベクトルによる
補間処理のアルゴリズムを説明する図であり、ブロック
内の一画素単位毎の処理を示している。
ベクトルが確定すると、ステップＳ３０５に進んで、タ
ーゲットブロックの動きベクトルによる補間処理を行
う。図６は、ターゲットブロックの動きベクトルによる
補間処理のアルゴリズムを説明する図であり、ブロック
内の一画素単位毎の処理を示している。
【００５６】まず、ステップＳ６０１において、画像デ
ータを埋めようとしている位置（注目画素）にすでにデ
ータが存在しているかどうかをチェックする。データが
存在していれば、その存在していたデータをそのまま使
用し、ステップＳ６０４の処理に移る。データが存在し
ない場合は、ステップＳ６０２に進み、動きベクトルに
対応するサンプル画素に画像データが存在するかどうか
チェックする。画像データが存在していれば、ステップ
Ｓ６０３で、そのサンプル画素の画像データをターゲッ
トの位置に埋め込んでステップＳ６０４の処理に進み、
画像データが存在していなければ、何もせずにステップ
Ｓ６０４の処理に進む。
ータを埋めようとしている位置（注目画素）にすでにデ
ータが存在しているかどうかをチェックする。データが
存在していれば、その存在していたデータをそのまま使
用し、ステップＳ６０４の処理に移る。データが存在し
ない場合は、ステップＳ６０２に進み、動きベクトルに
対応するサンプル画素に画像データが存在するかどうか
チェックする。画像データが存在していれば、ステップ
Ｓ６０３で、そのサンプル画素の画像データをターゲッ
トの位置に埋め込んでステップＳ６０４の処理に進み、
画像データが存在していなければ、何もせずにステップ
Ｓ６０４の処理に進む。
【００５７】図１１（ａ）〜（ｇ）には、一つのターゲ
ットブロックに対する補間の様子を示す。図１１（ａ）
はターゲットブロックを示す。図１１（ｂ）は、最初の
Ｎ−１のサンプルフレームから確定したサンプルブロッ
クである。図１１（ａ）に示すターゲットブロックを、
図１１（ｂ）に示すサンプルブロックで置き換える処理
が基本であるが、図１１（ａ）のうち元々画像データが
存在する部分は図１１（ａ）のものをそのまま用い、図
１１（ａ）の欠落部分を図１１（ｂ）で埋める。ただ
し、図１１（ｂ）にも欠落部分が存在するため、実際に
埋め込まれるデータの範囲は、図１１（ｃ）の斜線部分
となる。図１１（ｃ）の斜線部分に実際にデータを埋め
た状態を示すのが図１１（ｄ）である。
ットブロックに対する補間の様子を示す。図１１（ａ）
はターゲットブロックを示す。図１１（ｂ）は、最初の
Ｎ−１のサンプルフレームから確定したサンプルブロッ
クである。図１１（ａ）に示すターゲットブロックを、
図１１（ｂ）に示すサンプルブロックで置き換える処理
が基本であるが、図１１（ａ）のうち元々画像データが
存在する部分は図１１（ａ）のものをそのまま用い、図
１１（ａ）の欠落部分を図１１（ｂ）で埋める。ただ
し、図１１（ｂ）にも欠落部分が存在するため、実際に
埋め込まれるデータの範囲は、図１１（ｃ）の斜線部分
となる。図１１（ｃ）の斜線部分に実際にデータを埋め
た状態を示すのが図１１（ｄ）である。
【００５８】ステップＳ６０４において、ブロック内す
べての画素に対して処理が行われると、このルーチンを
終了する。
べての画素に対して処理が行われると、このルーチンを
終了する。
【００５９】このままでは、ブロック内すべての画素に
対してデータが埋め込まれているとは限らない。そこ
で、図３のステップＳ３０６においては、ブロック内に
まだ欠落部分があるかどうかを判定している。欠落部分
が存在しない場合、すなわち、すべての画素に対してデ
ータが埋め込まれていれば、このブロックの処理は終了
である。欠落部分が存在する場合は、ステップＳ３０８
においてサンプルフレームを変更し、ステップＳ３０２
からの処理を繰り返す。ステップＳ３０８に進む条件
は、以下の２種類である。ひとつは動きベクトル候補が
存在しなかった場合、もうひとつは動きベクトルを決定
してもそのベクトルの持つデータですべての画素が埋め
られなかった場合である。
対してデータが埋め込まれているとは限らない。そこ
で、図３のステップＳ３０６においては、ブロック内に
まだ欠落部分があるかどうかを判定している。欠落部分
が存在しない場合、すなわち、すべての画素に対してデ
ータが埋め込まれていれば、このブロックの処理は終了
である。欠落部分が存在する場合は、ステップＳ３０８
においてサンプルフレームを変更し、ステップＳ３０２
からの処理を繰り返す。ステップＳ３０８に進む条件
は、以下の２種類である。ひとつは動きベクトル候補が
存在しなかった場合、もうひとつは動きベクトルを決定
してもそのベクトルの持つデータですべての画素が埋め
られなかった場合である。
【００６０】図３のステップＳ３０７では、図２のステ
ップＳ２０１の初期設定で定めたサンプルフレームの枚
数をチェックしている。すべてのサンプルフレームをチ
ェックしてもなお欠落部分が存在する場合には、ステッ
プＳ３０９によって、周囲画素から内挿補間処理をして
データの埋め込みを行う。
ップＳ２０１の初期設定で定めたサンプルフレームの枚
数をチェックしている。すべてのサンプルフレームをチ
ェックしてもなお欠落部分が存在する場合には、ステッ
プＳ３０９によって、周囲画素から内挿補間処理をして
データの埋め込みを行う。
【００６１】図１１（ｄ）には欠落部分が存在するの
で、サンプルフレームをＮ−１からＮ−２に変更し、同
様の処理を行う。図１１（ｅ）は、Ｎ−２のサンプルフ
レームから確定したサンプルブロックの図である。図１
１（ｆ）の斜線部分が図１１（ｅ）から埋め込むデータ
の範囲となる。図１１（ｆ）の斜線部分に実際にデータ
を埋めた状態を示すのが図１１（ｇ）である。図１１
（ｇ）に示すように、欠落部分はなくなったので、この
ターゲットブロックに対する処理は終了する。
で、サンプルフレームをＮ−１からＮ−２に変更し、同
様の処理を行う。図１１（ｅ）は、Ｎ−２のサンプルフ
レームから確定したサンプルブロックの図である。図１
１（ｆ）の斜線部分が図１１（ｅ）から埋め込むデータ
の範囲となる。図１１（ｆ）の斜線部分に実際にデータ
を埋めた状態を示すのが図１１（ｇ）である。図１１
（ｇ）に示すように、欠落部分はなくなったので、この
ターゲットブロックに対する処理は終了する。
【００６２】以上述べたようにして、図３のフローチャ
ートで説明した一つのターゲットブロックの処理は終了
する。ターゲットフレーム内のすべてのターゲットブロ
ックに対して上記処理を行うことにより、一つのターゲ
ットフレームの処理が終了する。
ートで説明した一つのターゲットブロックの処理は終了
する。ターゲットフレーム内のすべてのターゲットブロ
ックに対して上記処理を行うことにより、一つのターゲ
ットフレームの処理が終了する。
【００６３】図１２（ａ）〜（ｃ）は、ここまでの処理
を第Ｎフレームに施した結果を簡潔的に表した説明図で
ある。図１２（ａ）が補間処理前の画像であり、図１２
（ｂ）がＮ−１フレームまで補間処理を終えた画像、図
１２（ｃ）がＮ−２フレームまで補間処理を終えた画像
である。
を第Ｎフレームに施した結果を簡潔的に表した説明図で
ある。図１２（ａ）が補間処理前の画像であり、図１２
（ｂ）がＮ−１フレームまで補間処理を終えた画像、図
１２（ｃ）がＮ−２フレームまで補間処理を終えた画像
である。
【００６４】図１３（ａ）は、２番目のターゲットブロ
ックと、その周囲ブロックを表した図である。これらの
周囲ブロックからターゲットブロックの動きベクトルを
確定し、補間した結果が図１３（ｂ）である。同様に、
３番目のターゲットブロックとその周囲ブロックが図１
３（ｃ）であり、その補間結果が図１３（ｄ）、４番目
のターゲットブロックとその周囲ブロックが図１３
（ｅ）であり、その補間結果が図１３（ｆ）である。
ックと、その周囲ブロックを表した図である。これらの
周囲ブロックからターゲットブロックの動きベクトルを
確定し、補間した結果が図１３（ｂ）である。同様に、
３番目のターゲットブロックとその周囲ブロックが図１
３（ｃ）であり、その補間結果が図１３（ｄ）、４番目
のターゲットブロックとその周囲ブロックが図１３
（ｅ）であり、その補間結果が図１３（ｆ）である。
【００６５】ターゲットフレームとサンプルフレームと
を変更し、図２の処理を繰り返せば、複数フレームの背
景画像の補間が可能となる。図１４（ａ）〜（ｅ）は、
ターゲットフレームをＮ−１に変更して同様の処理を行
ったときの説明図である。
を変更し、図２の処理を繰り返せば、複数フレームの背
景画像の補間が可能となる。図１４（ａ）〜（ｅ）は、
ターゲットフレームをＮ−１に変更して同様の処理を行
ったときの説明図である。
【００６６】（第２の実施形態）次に、本発明の第２の
実施形態について説明する。上記第１の実施形態では、
周囲ブロックにデータの欠落部分があった場合、動きベ
クトルを求めなかったが、本実施形態では、欠落部分以
外の有効なデータを基に動きベクトルを求めるようにし
ている。なお、第２の実施形態での全体構成は、第１の
実施形態で説明した図１の構成と同様で、全体の処理ア
ルゴリズムは第１の実施形態で説明した図２のフローチ
ャートと同様である。
実施形態について説明する。上記第１の実施形態では、
周囲ブロックにデータの欠落部分があった場合、動きベ
クトルを求めなかったが、本実施形態では、欠落部分以
外の有効なデータを基に動きベクトルを求めるようにし
ている。なお、第２の実施形態での全体構成は、第１の
実施形態で説明した図１の構成と同様で、全体の処理ア
ルゴリズムは第１の実施形態で説明した図２のフローチ
ャートと同様である。
【００６７】図４のターゲットブロックの動きベクトル
候補算出のアルゴリズムを示すフローチャートに対応す
るのが、図１５に示すフローチャートである。ステップ
Ｓ３２０１において周囲ブロック内にデータの欠落部分
が存在する場合は、ステップＳ３２０２において、欠落
部分のマスキングデータを生成する。マスキングデータ
は一画素単位で求め、後の動きベクトル候補から１つの
ベクトルを決定する際の判定手段としても利用する。
候補算出のアルゴリズムを示すフローチャートに対応す
るのが、図１５に示すフローチャートである。ステップ
Ｓ３２０１において周囲ブロック内にデータの欠落部分
が存在する場合は、ステップＳ３２０２において、欠落
部分のマスキングデータを生成する。マスキングデータ
は一画素単位で求め、後の動きベクトル候補から１つの
ベクトルを決定する際の判定手段としても利用する。
【００６８】図１０における各ブロックのブロックサイ
ズが１６×１６であるとすると、周囲ブロック１００４
のマスキングデータは図１７（ａ）のようになり、周囲
ブロック１００５のマスキングデータは図１７（ｂ）の
ようになる。ここで、黒く塗りつぶされた画素がマスキ
ングされている部分であり、白い画素が有効なデータの
部分である。有効なデータの数は、図１７（ａ）、
（ｂ）共に９７である。図１０の周囲ブロック１００
２、１００３には欠落したデータがないため、有効なデ
ータの数は２５６である。
ズが１６×１６であるとすると、周囲ブロック１００４
のマスキングデータは図１７（ａ）のようになり、周囲
ブロック１００５のマスキングデータは図１７（ｂ）の
ようになる。ここで、黒く塗りつぶされた画素がマスキ
ングされている部分であり、白い画素が有効なデータの
部分である。有効なデータの数は、図１７（ａ）、
（ｂ）共に９７である。図１０の周囲ブロック１００
２、１００３には欠落したデータがないため、有効なデ
ータの数は２５６である。
【００６９】次にステップＳ３２０３でマスキングされ
ていない有効なデータのみを用いて、パターンマッチン
グを行う。ブロック内にデータの欠落部分が存在しない
場合は、従来通りすべての画素を用いたパターンマッチ
ングとなる。ステップＳ３２０４の処理は第１の実施形
態と同様の処理（図４のＳ４０３）である。
ていない有効なデータのみを用いて、パターンマッチン
グを行う。ブロック内にデータの欠落部分が存在しない
場合は、従来通りすべての画素を用いたパターンマッチ
ングとなる。ステップＳ３２０４の処理は第１の実施形
態と同様の処理（図４のＳ４０３）である。
【００７０】ステップＳ３２０５の処理では、差分の二
乗和と閾値との比較をしているが、閾値の設定は、パタ
ーンマッチングに用いたデータ数によって変化させる。
ブロック内の全画素数をＰ、ブロック内の有効なデータ
数をＭｓ、全画素有効な場合の閾値をＴＨａとすると
き、このブロックの閾値ＴＨａは以下の式で表される。 ＴＨａ＝（Ｍｓ／Ｐ）×ＴＨａ ………（１） となる。
乗和と閾値との比較をしているが、閾値の設定は、パタ
ーンマッチングに用いたデータ数によって変化させる。
ブロック内の全画素数をＰ、ブロック内の有効なデータ
数をＭｓ、全画素有効な場合の閾値をＴＨａとすると
き、このブロックの閾値ＴＨａは以下の式で表される。 ＴＨａ＝（Ｍｓ／Ｐ）×ＴＨａ ………（１） となる。
【００７１】差分の二乗和の値がこの閾値を下回れば、
このときの動きベクトルをステップＳ３２０６でターゲ
ットブロックの動きベクトル候補とする。同様の処理を
全ての周囲ブロックについて行い、このアルゴリズムを
終了する。
このときの動きベクトルをステップＳ３２０６でターゲ
ットブロックの動きベクトル候補とする。同様の処理を
全ての周囲ブロックについて行い、このアルゴリズムを
終了する。
【００７２】次に、ターゲットブロックの動きベクトル
確定のアルゴリズムについて、図１６を用いて説明す
る。複数の動きベクトル候補から１つの動きベクトルを
算出する方法は３つ考えられる。１つ目は、複数の候補
の中から１つを選択する、２つ目は、複数の候補に何ら
かの演算処理を行い１つの値を算出する、そして３つ目
は、これらの組み合わせである。本発明の第２の実施形
態に特有の処理は、２つ目の演算処理に関するものであ
る。なお、以下では、図１６に示すフローチャートにお
いて、図５に示すフローチャートで既に説明したのと同
様な部分についての詳細な説明は省略する。
確定のアルゴリズムについて、図１６を用いて説明す
る。複数の動きベクトル候補から１つの動きベクトルを
算出する方法は３つ考えられる。１つ目は、複数の候補
の中から１つを選択する、２つ目は、複数の候補に何ら
かの演算処理を行い１つの値を算出する、そして３つ目
は、これらの組み合わせである。本発明の第２の実施形
態に特有の処理は、２つ目の演算処理に関するものであ
る。なお、以下では、図１６に示すフローチャートにお
いて、図５に示すフローチャートで既に説明したのと同
様な部分についての詳細な説明は省略する。
【００７３】複数の動きベクトル候補が存在し（ステッ
プＳ３３０１）、これらが同じ値を持たないとき（ステ
ップＳ３３０２）は、これら複数の候補から選択的に１
つを決定するのは好ましくない。そこで、ステップＳ３
３０４では、各動きベクトル候補に対して重み付けを行
なった上で平均を求める処理を行う。
プＳ３３０１）、これらが同じ値を持たないとき（ステ
ップＳ３３０２）は、これら複数の候補から選択的に１
つを決定するのは好ましくない。そこで、ステップＳ３
３０４では、各動きベクトル候補に対して重み付けを行
なった上で平均を求める処理を行う。
【００７４】Ｎ個の動きベクトル候補の各々をＶｎ（Ｖ
ｎｘ、Ｖｎｙ）とし、各周囲ブロック内の有効なデータ
数をＭｎとすると、求める動きベクトル（Ｖｘ、Ｖｙ）
は、
ｎｘ、Ｖｎｙ）とし、各周囲ブロック内の有効なデータ
数をＭｎとすると、求める動きベクトル（Ｖｘ、Ｖｙ）
は、
【数１】 となる。周囲ブロック内にデータ欠落部分がない場合
は、Ｍｎの値はブロックの全画素数に一致する。
は、Ｍｎの値はブロックの全画素数に一致する。
【００７５】また、ステップＳ３３１１においても、こ
れら複数の動きベクトル候補から選択的に１つを決定す
るのは好ましくないため、上記の式（２）を用いて動き
ベクトルを算出する。本実施形態では、ステップＳ３３
０４とステップＳ３３１１の条件の時に重み付け平均を
算出し、それ以外の条件では選択的に１つの動きベクト
ルを決定したが、どのような条件設定のときにどちらの
動きベクトル算出手段を用いるかは任意である。
れら複数の動きベクトル候補から選択的に１つを決定す
るのは好ましくないため、上記の式（２）を用いて動き
ベクトルを算出する。本実施形態では、ステップＳ３３
０４とステップＳ３３１１の条件の時に重み付け平均を
算出し、それ以外の条件では選択的に１つの動きベクト
ルを決定したが、どのような条件設定のときにどちらの
動きベクトル算出手段を用いるかは任意である。
【００７６】以上述べた第１、２の実施形態における各
機能ブロックによるシステムは、ハード的に構成しても
よく、また、ＣＰＵやメモリ等から成るマイクロコンピ
ュータシステムに構成してもよい。マイクロコンピュー
タシステムに構成する場合、上記メモリは本発明による
記憶媒体を構成する。この記憶媒体には、各フローチャ
ートによる前述した動作を制御するための手順を実行す
るためのプログラムが記憶される。また、この記憶媒体
としてはＲＯＭ、ＲＡＭ等の半導体メモリ、光ディス
ク、光磁気ディスク、磁気媒体等を用いてよく、これら
をＣＤ−ＲＯＭ、フロィピディスク、磁気テープ、磁気
カード、不揮発性のメモリカード等に構成して用いてよ
い。
機能ブロックによるシステムは、ハード的に構成しても
よく、また、ＣＰＵやメモリ等から成るマイクロコンピ
ュータシステムに構成してもよい。マイクロコンピュー
タシステムに構成する場合、上記メモリは本発明による
記憶媒体を構成する。この記憶媒体には、各フローチャ
ートによる前述した動作を制御するための手順を実行す
るためのプログラムが記憶される。また、この記憶媒体
としてはＲＯＭ、ＲＡＭ等の半導体メモリ、光ディス
ク、光磁気ディスク、磁気媒体等を用いてよく、これら
をＣＤ−ＲＯＭ、フロィピディスク、磁気テープ、磁気
カード、不揮発性のメモリカード等に構成して用いてよ
い。
【００７７】従って、この記憶媒体を他のシステムある
いは装置に供給し、そのシステムあるいは装置のコンピ
ュータが、この記憶媒体に格納されたプログラムコード
を読み出し、実行することによっても、同等の効果が得
られ、本発明は達成される。
いは装置に供給し、そのシステムあるいは装置のコンピ
ュータが、この記憶媒体に格納されたプログラムコード
を読み出し、実行することによっても、同等の効果が得
られ、本発明は達成される。
【００７８】
【発明の効果】以上の説明したように、本発明によれ
ば、部分的にデータの欠落した背景画像に対してその欠
落部分を適切に補間処理を施すことができ、これによ
り、再利用可能な汎用性の高い背景オブジェクトを容易
にかつ確実に生成することができる。
ば、部分的にデータの欠落した背景画像に対してその欠
落部分を適切に補間処理を施すことができ、これによ
り、再利用可能な汎用性の高い背景オブジェクトを容易
にかつ確実に生成することができる。
【図１】本発明の実施形態による画像処理装置の構成を
示すブロック図である。
示すブロック図である。
【図２】本発明の実施形態による背景補間処理の全体ア
ルゴリズムを示すフローチャートである。
ルゴリズムを示すフローチャートである。
【図３】本発明の第１の実施形態によるターゲットブロ
ックの処理アルゴリズムを示すフローチャートである。
ックの処理アルゴリズムを示すフローチャートである。
【図４】ターゲットブロックの動きベクトル候補算出の
アルゴリズムを示すフローチャートである。
アルゴリズムを示すフローチャートである。
【図５】ターゲットブロックの動きベクトル確定のアル
ゴリズムを示すフローチャートである。
ゴリズムを示すフローチャートである。
【図６】ターゲットブロックの動きベクトルによる補間
処理アルゴリズムを示すフローチャートである。
処理アルゴリズムを示すフローチャートである。
【図７】画像イメージを説明するためのオリジナル画像
の構成図である。
の構成図である。
【図８】画像イメージを説明するための前景画像抽出後
の背景画像の構成図である。
の背景画像の構成図である。
【図９】画像イメージを説明するための第Ｎフレームを
ブロック化した構成図である。
ブロック化した構成図である。
【図１０】画像イメージを説明するための補間対象ブロ
ックとその周囲ブロックの構成図である。
ックとその周囲ブロックの構成図である。
【図１１】補間処理を説明するための構成図である。
【図１２】補間処理を簡潔的に説明するための構成図で
ある。
ある。
【図１３】補間処理を簡潔的に説明するための構成図で
ある。
ある。
【図１４】補間処理を簡潔的に説明するための構成図で
ある。
ある。
【図１５】本発明の第２の実施形態によるターゲットブ
ロックの動きベクトル候補算出のアルゴリズムを示すフ
ローチャートである。
ロックの動きベクトル候補算出のアルゴリズムを示すフ
ローチャートである。
【図１６】ターゲットブロックの動きベクトル確定のア
ルゴリズムを示すフローチャートである。
ルゴリズムを示すフローチャートである。
【図１７】周囲ブロックのマスキングを説明するための
構成図である。
構成図である。
１０１ 画像入力部 １０２ 画像分離部 １０３ 前景画像符号化部 １０４ 背景画像補間部 １０５ 背景画像符号化部 １０６ 多重化部 １０７ 分離部 １０８ 前景画像復号化部 １０９ 背景画像復号化部 １１０ 画像合成部
Claims (45)
- 【請求項１】 画像データを入力する入力手段と、 上記入力した画像データを複数のブロックに分割する分
割手段と、 上記各ブロックからデータ欠落部分を有するブロックを
ターゲットブロックとして抽出すると共に、このターゲ
ットブロックの周囲ブロックを抽出する抽出手段と、 他画面の画像データをサンプル画像データとして抽出す
る抽出手段と、 上記周囲ブロックについて上記サンプル画像データの対
応するブロックを用いて動きベクトルを算出する算出手
段と、 上記算出された動きベクトルから上記ターゲットブロッ
クと対応する動きベクトルを決定する決定手段と、 上記決定された動きベクトルから得られるデータを上記
ターゲットブロックの上記欠落部分に埋め込む補間を行
う補間手段とを有することを特徴とする画像処理装置。 - 【請求項２】 上記補間手段は、上記欠落部分を補間し
てもなお全ての画素が補間されないとき、上記サンプル
画像データを変更して上記補間を繰り返すことを特徴と
する請求項１に記載の画像処理装置。 - 【請求項３】 上記算出手段は、データの欠落部分のな
い周囲ブロックについてのみ動きベクトルを算出するこ
とを特徴とする請求項１に記載の画像処理装置。 - 【請求項４】 上記算出手段は、データの欠落部分のあ
る周囲ブロックについては、その欠落部分をマスキング
してデータの有効部分のみを用いて動きベクトルを算出
することを特徴とする請求項１に記載の画像処理装置。 - 【請求項５】 上記算出手段は、各周囲ブロックと上記
サンプル画像データの対応する各ブロック間の各画素の
差分の二乗和を求め、その値が最小となる上記対応する
ブロックの位置から動きベクトルを算出し、その際、上
記値が閾値を越えないときの上記算出結果を採用するこ
とを特徴とする請求項１に記載の画像処理装置。 - 【請求項６】 上記決定手段は、上記算出手段で複数の
動きベクトルが算出された場合、その中から一つを選択
し、これを上記ターゲットブロックの動きベクトルと決
定することを特徴とする請求項１に記載の画像処理装
置。 - 【請求項７】 上記決定手段は、上記複数の動きベクト
ルの中から多数決により上記一つを選択することを特徴
とする請求項６に記載の画像処理装置。 - 【請求項８】 上記決定手段は、上記算出手段で複数の
動きベクトルが算出された場合、上記差分の二乗和の値
が最小となる動きベクトルを選択し、これを上記ターゲ
ットブロックの動きベクトルと決定することを特徴とす
る請求項５に記載の画像処理装置。 - 【請求項９】 上記決定手段は、上記算出手段で複数の
動きベクトルが算出された場合、その中から複数を選択
し、それぞれに重み付けを行った後に平均値を求め、こ
れを上記ターゲットブロックの動きベクトルと決定する
ことを特徴とする請求項１に記載の画像処理装置。 - 【請求項１０】 上記重み付けは、上記ターゲットブロ
ックと上記周囲ブロックとの相対距離によるものである
ことを特徴とする請求項９に記載の画像処理装置。 - 【請求項１１】 上記重み付けは、上記各動きベクトル
を算出する際に求めた各差分の二乗和の値によることを
特徴とする請求項９に記載の画像処理装置。 - 【請求項１２】 上記決定手段は、上記動きベクトルの
中から、上記データの有効部分が最も大きい動きベクト
ルを選択し、これを上記ターゲットブロックの動きベク
トルと決定することを特徴とする請求項４に記載の画像
処理装置。 - 【請求項１３】 上記重み付けは、上記各動きベクトル
を算出する際に用いるデータの有効部分の大きさによる
ことを特徴とする請求項９に記載の画像処理装置。 - 【請求項１４】 上記入力手段によって入力された画像
データは前景オブジェクトを分離した背景オブジェクト
のデータであることを特徴とする請求項１に記載の画像
処理装置。 - 【請求項１５】 上記補間手段によって処理された画像
データを符号化する符号化手段を有することを特徴とす
る請求項１４に記載の画像処理装置。 - 【請求項１６】 上記入力手段は、上記画像データから
前景オブジェクトデータと背景オブジェクトデータとを
分離し、上記背景オブジェクトデータを上記分割手段へ
出力する分離手段を含むことを特徴とする請求項１に記
載の画像処理装置。 - 【請求項１７】 上記前景オブジェクトデータを符号化
する第１の符号化手段と、上記補間手段によって処理さ
れた背景オブジェクトデータを符号化する第２の符号化
手段とを有することを特徴とする請求項１６に記載の画
像処理装置。 - 【請求項１８】 画像データを入力する入力手段と、 上記入力手段によって入力された画像データから前景オ
ブジェクトデータと背景オブジェクトデータとを分離す
る分離手段と、 上記分離手段によって分離された背景オブジェクトデー
タの欠落データを補間する補間手段と、 上記前景オブジェクトデータを符号化する第１の符号化
手段と、 上記補間手段によって補間された背景オブジェクトデー
タを符号化する第２の符号化手段とを有することを特徴
とする画像処理装置。 - 【請求項１９】 上記第１の符号化手段によって符号化
された前景オブジェクトデータと上記第２の符号化手段
によって符号化された背景オブジェクトデータとを多重
化する多重化手段を有することを特徴とする請求項１８
に記載の画像処理装置。 - 【請求項２０】 上記補間手段は、上記背景オブジェク
トデータを複数のブロックに分割する分割手段と、上記
各ブロックからデータ欠落部分を有するブロックをター
ゲットブロックとして抽出すると共に、このターゲット
ブロックの周囲ブロックを抽出する抽出手段と、上記周
囲ブロックについての動きベクトルを検出する動きベク
トル検出手段とを有し、上記動きベクトル検出手段の検
出結果に応じて上記欠落データを補間することを特徴と
する請求項１８に記載の画像処理装置。 - 【請求項２１】 画像データを入力し、 上記入力された画像データから前景オブジェクトデータ
と背景オブジェクトデータとを分離し、 上記分離された背景オブジェクトデータの欠落データを
補間し、 上記前景オブジェクトデータを符号化し、 上記補間された背景オブジェクトデータを符号化するこ
とを特徴とする画像処理方法。 - 【請求項２２】 画像データを入力する入力手段と、 上記画像データを複数のブロックに分割する分割手段
と、 上記各ブロックからデータ欠落部分を有するブロックを
ターゲットブロックとして抽出すると共に、このターゲ
ットブロックの周囲ブロックを抽出する抽出手段と、 上記周囲ブロックの動きベクトルを検出する検出手段
と、 上記検出された動きベクトルに応じて得られるデータを
上記ターゲットブロックの上記欠落部分に埋め込む補間
を行う補間手段とを有することを特徴とする画像処理装
置。 - 【請求項２３】 画像データを入力し、 上記画像データを複数のブロックに分割し、 上記各ブロックからデータ欠落部分を有するブロックを
ターゲットブロックとして抽出すると共に、このターゲ
ットブロックの周囲ブロックを抽出し、 上記周囲ブロックの動きベクトルを検出し、 上記検出された動きベクトルに応じて得られるデータを
上記ターゲットブロックの上記欠落部分に埋め込む補間
を行うことを特徴とする画像処理方法。 - 【請求項２４】 入力される１画面の画像データを複数
のブロックに分割する分割手順と、 上記各ブロックからデータ欠落部分を有するブロックを
ターゲットブロックとして抽出すると共に、このターゲ
ットブロックの周囲ブロックを抽出する抽出手順と、 他画面の画像データをサンプル画像データとして抽出す
る抽出手順と、 上記周囲ブロックについて上記サンプル画像データの対
応するブロックを用いて動きベクトルを算出する算出手
順と、 上記算出された動きベクトルから上記ターゲットブロッ
クと対応する動きベクトルを決定する決定手順と、 上記決定された動きベクトルから得られるデータを上記
ターゲットブロックの上記欠落部分に埋め込む補間を行
う補間手順とを実行するためのプログラムを記憶したこ
とを特徴とするコンピュータ読み取り可能な記憶媒体。 - 【請求項２５】 上記補間手順は、上記欠落部分を補間
してもなお全ての画素が補間されないとき、上記サンプ
ル画像データを変更して上記補間を繰り返すことを特徴
とする請求項２４に記載のコンピュータ読み取り可能な
記憶媒体。 - 【請求項２６】 上記算出手順は、データの欠落部分の
ない周囲ブロックについてのみ動きベクトルを算出する
ことを特徴とする請求項２４に記載のコンピュータ読み
取り可能な記憶媒体。 - 【請求項２７】 上記算出手順は、データの欠落部分の
ある周囲ブロックについては、その欠落部分をマスキン
グしてデータの有効部分のみを用いて動きベクトルを算
出することを特徴とする請求項２４に記載のコンピュー
タ読み取り可能な記憶媒体。 - 【請求項２８】 上記算出手順は、各周囲ブロックと上
記サンプル画像データの対応する各ブロック間の各画素
の差分の二乗和を求め、その値が最小となる上記対応す
るブロックの位置から動きベクトルを算出し、その際、
上記値が閾値を越えないときの上記算出結果を採用する
ことを特徴とする請求項２４に記載のコンピュータ読み
取り可能な記憶媒体。 - 【請求項２９】 上記決定手順は、上記算出手順で複数
の動きベクトルが算出された場合、その中から一つを選
択し、これを上記ターゲットブロックの動きベクトルと
決定することを特徴とする請求項２４に記載のコンピュ
ータ読み取り可能な記憶媒体。 - 【請求項３０】 上記決定手順は、上記複数の動きベク
トルの中から多数決により上記一つを選択することを特
徴とする請求項２９に記載のコンピュータ読み取り可能
な記憶媒体。 - 【請求項３１】 上記決定手順は、上記算出手順で複数
の動きベクトルが算出された場合、上記差分の二乗和の
値が最小となる動きベクトルを選択し、これを上記ター
ゲットブロックの動きベクトルと決定することを特徴と
する請求項２８に記載のコンピュータ読み取り可能な記
憶媒体。 - 【請求項３２】 上記決定手順は、上記算出手順で複数
の動きベクトルが算出された場合、その中から複数を選
択し、それぞれに重み付けを行った後に平均値を求め、
これを上記ターゲットブロックの動きベクトルと決定す
ることを特徴とする請求項２４に記載のコンピュータ読
み取り可能な記憶媒体。 - 【請求項３３】 上記重み付けは、上記ターゲットブロ
ックと上記周囲ブロックとの相対距離によるものである
ことを特徴とする請求項３２に記載のコンピュータ読み
取り可能な記憶媒体。 - 【請求項３４】 上記重み付けは、上記各動きベクトル
を算出する際に求めた各差分の二乗和の値によることを
特徴とする請求項３２に記載のコンピュータ読み取り可
能な記憶媒体。 - 【請求項３５】 上記決定手順は、上記動きベクトルの
中から、上記データの有効部分が最も大きい動きベクト
ルを選択し、これを上記ターゲットブロックの動きベク
トルと決定することを特徴とする請求項２７に記載のコ
ンピュータ読み取り可能な記憶媒体。 - 【請求項３６】 上記重み付けは、上記各動きベクトル
を算出する際に用いるデータの有効部分の大きさによる
ことを特徴とする請求項３２に記載のコンピュータ読み
取り可能な記憶媒体。 - 【請求項３７】 画像データを入力する入力手順と、 上記入力された画像データから前景オブジェクトデータ
と背景オブジェクトデータとを分離する分離手順と、 上記分離された背景オブジェクトデータの欠落データを
補間する補間手順と、 上記前景オブジェクトデータを符号化する第１の符号化
手順と、 上記補間された背景オブジェクトデータを符号化する第
２の符号化手順とを実行するためのプログラムを記憶し
たことを特徴とするコンピュータ読み取り可能な記憶媒
体。 - 【請求項３８】 画像データを入力する入力手順と、 上記画像データを複数のブロックに分割する分割手順
と、 上記各ブロックからデータ欠落部分を有するブロックを
ターゲットブロックとして抽出すると共に、このターゲ
ットブロックの周囲ブロックを抽出する抽出手順と、 上記周囲ブロックの動きベクトルを検出する検出手順
と、 上記検出された動きベクトルに応じて得られるデータを
上記ターゲットブロックの上記欠落部分に埋め込む補間
を行う補間手順とを実行するためのプログラムを記憶し
たことを特徴とするコンピュータ読み取り可能な記憶媒
体。 - 【請求項３９】 画像データを入力する入力手段と、 上記画像データから前景オブジェクトデータと背景オブ
ジェクトデータとを分離する分離手段と、 上記前景オブジェクトの分離により生じた上記背景オブ
ジェクトデータの欠落部分の画像データを上記欠落部分
の周囲の画像データに基づいて補間する補間手段とを有
することを特徴とする画像処理装置。 - 【請求項４０】 上記補間手段は、上記背景オブジェク
トデータを複数のブロックに分割する分割手段と、上記
分割手段によって分割されたブロックから上記欠落部分
を含むブロックをターゲットブロックとして抽出する抽
出手段と、 上記ターゲットブロックの周囲に位置する周囲ブロック
の動きを他の画面の画像データを用いて検出し、その検
出結果を動き情報として発生する検出手段と、上記動き
情報に応じて前記ターゲットブロックの欠落部分の画像
データを生成する生成手段とを含むことを特徴とする請
求項３９に記載の画像処理装置。 - 【請求項４１】 上記補間手段によって処理された背景
オブジェクトデータを符号化する第１の符号化手段を有
することを特徴とする請求項３９又は４０に記載の画像
処理装置。 - 【請求項４２】 上記分離手段によって分離された前景
オブジェクトデータを符号化する第２の符号化手段を有
することを特徴とする請求項３９〜４１のいずれか１項
に記載の画像処理装置。 - 【請求項４３】 上記補間手段によって処理された背
景オブジェクトデータを符号化する第１の符号化手段
と、上記分離手段によって分離された前景オブジェクト
データを符号化する第２の符号化手段と、上記第１の符
号化手段によって符号化された背景オブジェクトデータ
と上記第２の符号化手段によって符号化された前景オブ
ジェクトデータとを多重化する多重化手段とを有するこ
とを特徴とする請求項３９又は４０に記載の画像処理装
置。 - 【請求項４４】 画像データを入力する入力手順と、 上記画像データから前景オブジェクトデータと背景オブ
ジェクトデータとを分離する分離手順と、 上記前景オブジェクトの分離により生じた上記背景オブ
ジェクトデータの欠落部分の画像データを上記欠落部分
の周囲の画像データに基づいて補間する補間手順とを有
することを特徴とする画像処理方法。 - 【請求項４５】 画像データを入力する入力手順と、 上記画像データから前景オブジェクトデータと背景オブ
ジェクトデータとを分離する分離手順と、 上記前景オブジェクトの分離により生じた上記背景オブ
ジェクトデータの欠落部分の画像データを上記欠落部分
の周囲の画像データに基づいて補間する補間手順とを実
行するためのプログラムを記憶したことを特徴とするコ
ンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP27471199A JP4272771B2 (ja) | 1998-10-09 | 1999-09-28 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
| US09/413,770 US6721360B2 (en) | 1998-10-09 | 1999-10-07 | Image processing apparatus and method |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28777398 | 1998-10-09 | ||
| JP10-287773 | 1998-10-09 | ||
| JP27471199A JP4272771B2 (ja) | 1998-10-09 | 1999-09-28 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2000184336A true JP2000184336A (ja) | 2000-06-30 |
| JP2000184336A5 JP2000184336A5 (ja) | 2006-11-16 |
| JP4272771B2 JP4272771B2 (ja) | 2009-06-03 |
Family
ID=26551158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP27471199A Expired - Fee Related JP4272771B2 (ja) | 1998-10-09 | 1999-09-28 | 画像処理装置、画像処理方法及びコンピュータ読み取り可能な記憶媒体 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6721360B2 (ja) |
| JP (1) | JP4272771B2 (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002077726A (ja) * | 2000-09-01 | 2002-03-15 | Nippon Telegr & Teleph Corp <Ntt> | 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体 |
| JP2005535194A (ja) * | 2002-07-30 | 2005-11-17 | トムソン ライセンシング | 交互に入れ替わるビデオショットからなるビデオシーケンスのデジタルデータを圧縮する方法 |
| EP1659802A1 (en) * | 2001-10-05 | 2006-05-24 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for compensating for motion vector errors in image data |
| JP2009539155A (ja) * | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | 動的に変化する３次元のシーンに関する３次元表現を生成するための方法およびシステム |
| JP2010517488A (ja) * | 2007-01-30 | 2010-05-20 | ファーガソン パテント プロパティーズ リミテッド ライアビリティ カンパニー | 画像捕獲表示システム、ビデオ画像内の関心領域を用いてシステム同期型輝度制御を実行する方法、およびメタデータの使用 |
| JP2012133593A (ja) * | 2010-12-21 | 2012-07-12 | Nikon Systems Inc | 画像処理装置、撮像装置、および画像処理プログラム |
| JP6513300B1 (ja) * | 2018-03-28 | 2019-05-15 | 三菱電機株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1233614B1 (fr) * | 2001-02-16 | 2012-08-08 | C.H.I. Development Mgmt. Ltd. XXIX, LLC | Système de transmission et de traitement vidéo pour générer une mosaique utilisateur |
| EP1259079B1 (en) * | 2001-04-30 | 2007-03-21 | STMicroelectronics Pvt. Ltd | An efficient low power motion estimation of a video frame sequence |
| JP4596220B2 (ja) * | 2001-06-26 | 2010-12-08 | ソニー株式会社 | 画像処理装置および方法、記録媒体、並びにプログラム |
| JP4102973B2 (ja) * | 2002-04-24 | 2008-06-18 | 日本電気株式会社 | 動画像の符号化方法および復号化方法、これを用いた装置とプログラム |
| US7978769B2 (en) * | 2003-06-30 | 2011-07-12 | Ntt Docomo, Inc. | Method and apparatus for coding motion information |
| US8588513B2 (en) * | 2005-07-18 | 2013-11-19 | Broadcom Corporation | Method and system for motion compensation |
| KR100775104B1 (ko) * | 2006-02-27 | 2007-11-08 | 삼성전자주식회사 | 영상 신호의 떨림 보정 장치와 그를 포함하는 영상 시스템및 그 방법 |
| US8238442B2 (en) * | 2006-08-25 | 2012-08-07 | Sony Computer Entertainment Inc. | Methods and apparatus for concealing corrupted blocks of video data |
| KR101094304B1 (ko) * | 2010-02-23 | 2011-12-19 | 삼성모바일디스플레이주식회사 | 표시 장치 및 그의 영상 처리 방법 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07135663A (ja) * | 1993-09-17 | 1995-05-23 | Oki Electric Ind Co Ltd | 動きベクトル検出方法および動きベクトル検出装置 |
| EP0708563B1 (en) * | 1994-10-19 | 2004-12-22 | Matsushita Electric Industrial Co., Ltd. | Image decoding device |
| US6023301A (en) * | 1995-07-14 | 2000-02-08 | Sharp Kabushiki Kaisha | Video coding device and video decoding device |
| JP3249729B2 (ja) * | 1995-10-24 | 2002-01-21 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
-
1999
- 1999-09-28 JP JP27471199A patent/JP4272771B2/ja not_active Expired - Fee Related
- 1999-10-07 US US09/413,770 patent/US6721360B2/en not_active Expired - Fee Related
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002077726A (ja) * | 2000-09-01 | 2002-03-15 | Nippon Telegr & Teleph Corp <Ntt> | 映像中の広告情報の供給システムおよび供給方法ならびにこのプログラムを記録した記録媒体 |
| EP1659802A1 (en) * | 2001-10-05 | 2006-05-24 | Mitsubishi Electric Information Technology Centre Europe B.V. | Method and apparatus for compensating for motion vector errors in image data |
| JP2005535194A (ja) * | 2002-07-30 | 2005-11-17 | トムソン ライセンシング | 交互に入れ替わるビデオショットからなるビデオシーケンスのデジタルデータを圧縮する方法 |
| JP4729304B2 (ja) * | 2002-07-30 | 2011-07-20 | トムソン ライセンシング | 交互に入れ替わるビデオショットからなるビデオシーケンスのデジタルデータを圧縮する方法 |
| JP2009539155A (ja) * | 2006-06-02 | 2009-11-12 | イジュノシッヒ テクニッヒ ホッフシューラ チューリッヒ | 動的に変化する３次元のシーンに関する３次元表現を生成するための方法およびシステム |
| JP2010517488A (ja) * | 2007-01-30 | 2010-05-20 | ファーガソン パテント プロパティーズ リミテッド ライアビリティ カンパニー | 画像捕獲表示システム、ビデオ画像内の関心領域を用いてシステム同期型輝度制御を実行する方法、およびメタデータの使用 |
| JP2012133593A (ja) * | 2010-12-21 | 2012-07-12 | Nikon Systems Inc | 画像処理装置、撮像装置、および画像処理プログラム |
| JP6513300B1 (ja) * | 2018-03-28 | 2019-05-15 | 三菱電機株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| WO2019186787A1 (ja) * | 2018-03-28 | 2019-10-03 | 三菱電機株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
| GB2586712A (en) * | 2018-03-28 | 2021-03-03 | Mitsubishi Electric Corp | Image processing device, image processing method, and image processing program |
| GB2586712B (en) * | 2018-03-28 | 2021-12-22 | Mitsubishi Electric Corp | Image processing device, image processing method, and image processing program |
| US11403742B2 (en) | 2018-03-28 | 2022-08-02 | Mitsubishi Electric Corporation | Image processing device, image processing method, and recording medium for generating bird's eye synthetic image |
Also Published As
| Publication number | Publication date |
|---|---|
| US6721360B2 (en) | 2004-04-13 |
| US20030031253A1 (en) | 2003-02-13 |
| JP4272771B2 (ja) | 2009-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2000184336A (ja) | 画像処理装置、画像処理方法及びコンピュ―タ読み取り可能な記憶媒体 | |
| KR101092287B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| US10277812B2 (en) | Image processing to obtain high-quality loop moving image | |
| JP4525692B2 (ja) | 画像処理装置、画像処理方法、画像表示装置 | |
| JP4181473B2 (ja) | 映像オブジェクト軌跡合成装置、その方法及びそのプログラム | |
| US6766059B1 (en) | Image processing apparatus | |
| US9870618B2 (en) | Image processing apparatus and image processing method | |
| KR20190030870A (ko) | 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램 | |
| CN109472811A (zh) | 非感兴趣客体的掩膜处理方法 | |
| KR100616755B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 저장 매체 | |
| JPH11112871A (ja) | 画像抜き出し装置および画像抜き出し方法、画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、画像記録装置および画像記録方法、画像再生装置および画像再生方法、並びに記録媒体 | |
| JP4596929B2 (ja) | 背景画像生成装置及び背景画像生成プログラム | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| US6553069B1 (en) | Digital image segmenting method and device | |
| JP2006215655A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP5377649B2 (ja) | 画像処理装置および映像再生装置 | |
| JP2006215657A (ja) | 動きベクトル検出方法、動きベクトル検出装置、動きベクトル検出プログラム及びプログラム記録媒体 | |
| JP2005250561A (ja) | 動きベクトル検出装置、および動きベクトル検出方法、並びにコンピュータ・プログラム | |
| JP2007150945A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| JP2009266169A (ja) | 情報処理装置及び方法、並びにプログラム | |
| JP7216874B1 (ja) | 合成処理装置 | |
| JPH0368597B2 (ja) | ||
| JPH0750815A (ja) | 動き補正画像処理方式 | |
| JP2007028394A (ja) | 画像圧縮装置、画像伸長装置、画像データ、画像処理方法、エッジ検出方法、及びプログラム | |
| KR101732810B1 (ko) | 폐루프와 개루프 외곽선의 실시간 체인코드 생성장치 및 그 생성방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060928 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060928 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081111 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090109 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090224 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090302 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120306 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130306 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140306 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |