JP2003333424A

JP2003333424A - 原画像復元装置、及び原画像復元プログラム

Info

Publication number: JP2003333424A
Application number: JP2002137339A
Authority: JP
Inventors: Shinichi Sakaida; 慎一境田; Hiroyuki Imaizumi; 浩幸今泉; Kazuhisa Iguchi; 和久井口; Makoto Ikeda; 誠池田
Original assignee: Nippon Hoso Kyokai NHK; Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 2002-05-13
Filing date: 2002-05-13
Publication date: 2003-11-21
Anticipated expiration: 2022-05-13
Also published as: JP4095336B2

Abstract

(57)【要約】【課題】文字スーパーやテロップ等の付加情報がスー
パーインポーズされた画像から、スーパーインポーズさ
れる前の原画像を復元することを目的とする。【解決手段】付加情報がスーパーインポーズされた場
合に画像の動き情報に基づいて、付加情報がスーパーイ
ンポーズされた画像部分に他のフレーム画像の情報から
取得された画像を合成することでスーパーインポーズさ
れる前の原画像を復元することができる原画像復元装
置、及び原画像復元プログラムを提供することにより上
記課題を解決する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、原画像復元装置、
及び原画像復元プログラムに係り、特に、文字スーパー
やテロップ等の付加情報がスーパーインポーズされた画
像から、スーパーインポーズされる前の原画像を復元す
る原画像復元装置、及び原画像復元プログラムに関す
る。

【０００２】

【従来の技術】テレビジョン放送において、緊急ニュー
ス、音楽番組の歌詞、或いはスポーツのスコア等の文字
情報、時報、又はテロップ等の情報（以下、付加情報と
いう）は、本来の番組である原画像に対し文字画像をス
ーパーインポーズして視聴者に放送している。

【０００３】また、最近では、チャンネル数の増加及び
番組の多様化に伴い、以前に番組で使用したスーパーイ
ンポーズされている画像を、再び別の番組素材として利
用する方法が多く用いられている。一度使用した画像を
再利用することにより、効率的に番組を生成し視聴者に
提供することができる。

【０００４】ここで、画像を再利用する場合にはスーパ
ーインポーズされた画像から元の画像を復元することが
できず、文字の該当部分をモザイク等の特殊編集によっ
てぼかしたり、別の画像で上書きしたりして対処してい
る。上述の内容を図を用いて説明する。

【０００５】図１は、従来のスーパーインポーズされた
画像を再利用した場合の画像の一例を示す図である。

【０００６】図１において、例えば、緊急なニュース情
報を視聴者に知らせるために「臨時ニュース」というテ
ロップをスーパーインポーズした画像を生成し、放送し
たとする（図１（ａ））。その後、この画像を他の番組
で利用することになった場合は、「臨時ニュース」と表
示されている画面のテロップ領域に対して、別の画像で
上書きしたり、モザイクを入れたりして、表示されてい
る内容が視聴者に理解できないように画像に特殊編集を
行い、その画像が放送される（図１（ｂ））。

【０００７】一方、上述のように最初から画像に付加情
報をスーパーインポーズせずに、垂直帰線期間やデジタ
ル放送のデータ放送の領域で、付加情報を画像情報とは
別に符号化して伝送する方法が考えられる。

【０００８】また、スーパーインポーズされる前の原画
像を受信機側で復元できるようにするため、スーパーイ
ンポーズする箇所に該当する原画像を別途符号化する方
法が、特開２０００−４１１８５号公報（テレビジョン
信号の符号化装置および復号化装置）にて開示されてい
る。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
た方法において、モザイク等の特殊編集を行う場合は、
画像の再利用時に、上述したような特殊編集を行う必要
が生じると共に、特殊編集された画像の領域は視聴者に
違和感を与えるため、好ましい方法とは言えない。

【００１０】また、文字情報等を画像情報とは別に符号
化して伝送する方法の場合、データ放送に対応していな
い受信機では視聴することができないため、例えば、災
害時の緊急ニュース等、全視聴者に知らせる必要がある
場合には有効ではない。

【００１１】また、スーパーインポーズする箇所のみの
原画像を別途符号化する方法の場合、別途符号化された
原画像を利用することで、スーパーインポーズされてい
ない動画像を復元することができるが、スーパーインポ
ーズされる部分については画像を２重に保存しておくこ
とに等しいため、画像の情報量が膨大になってしまう。

【００１２】したがって、既にスーパーインポーズされ
た画像（動画像）を効率的に再利用するためには、前記
画像のみからスーパーインポーズされる前の原画像を復
元する方法が必要となる。

【００１３】本発明は、上記の点に鑑みなされたもので
あり、付加情報がスーパーインポーズされた場合に、画
像の動き情報を利用して付加情報がスーパーインポーズ
された画像部分に、他のフレーム画像の情報から取得し
た画像を合成することにより、スーパーインポーズされ
る前の原画像を復元することができる原画像復元装置、
及び原画像復元プログラムを提供することを目的とす
る。

【００１４】

【課題を解決するための手段】上記課題を解決するため
に、本件発明は、以下の特徴を有する課題を解決するた
めの手段を採用している。

【００１５】請求項１に記載された発明は、付加情報が
スーパーインポーズされた第一の画像を原画像に復元す
る原画像復元装置において、前記第一の画像のスーパー
インポーズ領域を検出する領域検出部と、前記第一の画
像から、前記スーパーインポーズ領域の画像情報を除い
た第二の画像を生成する画像生成部と、前記第一の画像
の前及び／又は後の画像から、スーパーインポーズされ
る前のスーパーインポーズ領域である第三の画像を取得
する画像取得部と、前記第二の画像と、前記第三の画像
とを合成して原画像を復元する原画像復元部とを有する
ことを特徴とする。

【００１６】請求項１記載の発明によれば、付加情報が
スーパーインポーズされた画像をスーパーインポーズさ
れる前の原画像に効率的に復元することができる。ま
た、一度スーパーインポーズされた画像を有効に再利用
することができる。

【００１７】請求項２に記載された発明は、前記画像取
得部は、前記第一の画像から画像の動きベクトルを推定
する動きベクトル推定部と、前記第一の画像の前及び／
又は後の画像から、前記動きベクトルに基づいて前記ス
ーパーインポーズ領域の画像を抽出する画像抽出部とを
有することを特徴とする。

【００１８】請求項２記載の発明によれば、動きベクト
ルを推定することで、第一の画像の前及び／又は後の画
像から、付加情報がスーパーインポーズされていない前
記スーパーインポーズ領域の画像を抽出することができ
る。

【００１９】請求項３に記載された発明は、前記動きベ
クトル推定部は、カメラパラメータを用いて動きベクト
ルを検出することを特徴とする。

【００２０】請求項３記載の発明によれば、カメラパラ
メータを用いて撮影された画像の動きを把握することが
でき、動きベクトルを容易に推定することができる。

【００２１】請求項４に記載された発明は、前記動きベ
クトル推定部は、フレーム画像単位に比較することによ
り動きベクトルを検出することを特徴とする。

【００２２】請求項４記載の発明によれば、カメラパラ
メータがない場合でも、画像の全体的な動きが把握でき
るときに、フレーム単位に比較を行うことで、動きベク
トルを容易に推定することができる。

【００２３】請求項５に記載された発明は、前記動きベ
クトル推定部は、前記画像を所定の画素ブロック毎に分
割し、前記ブロック単位で時間的に異なる対応した画素
毎に比較して動きベクトルを検出することを特徴とす
る。

【００２４】請求項５記載の発明によれば、カメラパラ
メータがなく、更に画像全体の動きが把握できない場合
でも、前記ブロック単位で時間的に異なる対応した画素
毎に比較することにより動きベクトルを容易に推定する
ことができる。

【００２５】請求項６に記載された発明は、前記領域検
出部は、スーパーインポーズ領域を検出する際に予め設
定された付加情報の表示領域のデータを用いることを特
徴とする。

【００２６】請求項６記載の発明によれば、領域検出部
において、第一の画像のスーパーインポーズ領域を検出
する処理を削減することができ、効率的にスーパーイン
ポーズ領域を検出することができる。

【００２７】請求項７に記載された発明は、前記原画像
復元部は、前記第二の画像に前記第三の画像を上書きし
て原画像を復元した場合に復元できない画素があったと
きは、フレーム画像内で空間内挿を行う空間内挿部を有
することを特徴とする。

【００２８】請求項７記載の発明によれば、より高精度
な原画像の復元を行うことができる。

【００２９】請求項８に記載された発明は、コンピュー
タに、付加情報がスーパーインポーズされた第一の画像
を原画像に復元するための処理を実行させるプログラム
において、コンピュータに、前記第一の画像のスーパー
インポーズ領域を検出する領域検出ステップと、前記第
一の画像から、前記スーパーインポーズ領域の画像情報
を除いた第二の画像を生成する画像生成ステップと、前
記第一の画像の前及び／又は後の画像から、スーパーイ
ンポーズされる前のスーパーインポーズ領域である第三
の画像を取得する画像取得ステップと、前記第二の画像
と、前記第三の画像とを合成して原画像を復元する原画
像復元ステップとを実行させる。

【００３０】請求項８記載の発明によれば、付加情報が
スーパーインポーズされた画像をスーパーインポーズさ
れる前の原画像に効率的に復元することができる。ま
た、一度スーパーインポーズされた画像を有効に再利用
することができる。

【００３１】請求項９に記載された発明は、前記画像取
得ステップは、前記第一の画像から画像の動きベクトル
を推定する動きベクトル推定ステップと、スーパーイン
ポーズされている前及び／又は後の画像から、前記動き
ベクトルに基づいて、前記スーパーインポーズ領域の画
像を抽出する画像抽出ステップとを有することを特徴と
する。

【００３２】請求項９記載の発明によれば、動きベクト
ルを推定することで、第一の画像の前及び／又は後の画
像から、付加情報がスーパーインポーズされていない前
記スーパーインポーズ領域の画像を抽出することができ
る。

【００３３】

【発明の実施の形態】本発明は、画像内で付加情報がス
ーパーインポーズされた箇所（領域）が、動画像の動き
により該当フレーム画像以外の時間的に前後する画像に
おいて、スーパーインポーズされていない状態が現れる
ことを利用し、スーパーインポーズされた箇所に、他の
画像から同じ箇所でインポーズされていない画像領域を
取得し、該画像領域を合成する（上書きする）ことによ
り、スーパーインポーズされる前の原画像を復元するこ
とを主眼とする。

【００３４】ここで、本件発明に内容を容易に理解する
ため、画像の一例を図に示して説明する。

【００３５】図２は、本発明における原画像の復元方法
を説明するための画像の一例を示す図である。

【００３６】図２において、例えば、動画像内に「臨時
ニュース」のテロップがスーパーインポーズされた画像
（第一の画像）があった場合に、前記画像からテロップ
部分の領域を抽出するテロップ部抽出処理と前記第一の
画像から前記テロップ部分を除いた画像（第二の画像）
を生成する非テロップ生成処理（図２）、前記画像の
前後にある複数の画像のフレームから大画面画像を作成
し、テロップ部分の領域に対応するスーパーインポーズ
されていない同位置の画像領域（第三の画像）を切り出
すテロップ領域切出処理（図２）とを行い、前記第二
の画像と前記第三の画像とを合成することにより原画像
を復元することができる。これにより、原画像の復元が
容易で且つ効率的にできるため、他の番組で画像を有効
に利用することができ、再利用された動画像を見た視聴
者も違和感なく視聴することができる。

【００３７】なお、本発明における原画像を復元するた
めの原画像復元方法は、この限りではなく、例えば、上
述の領域切出処理において、テロップ部抽出処理にて抽
出された領域が、１つのフレーム内にある場合は、大画
面画像を作成する必要がなく、該当フレーム画像の直前
のフレーム画像のみを利用することによりテロップ領域
切出処理を行い、切出したテロップ領域部分を用いて原
画像を復元することができる。

【００３８】次に、本発明の実施の形態について、図を
用いて説明する。また、説明を容易にするため、本発明
における付加情報の１つであるテロップがスーパーイン
ポーズされた画像に基づいて説明を行うが、他の付加情
報でも同様の処理を行うことができる。

【００３９】図３は、本発明における原画像復元装置の
一例のブロック図である。

【００４０】図３の原画像復元装置１は、カット検出部
１１と、動き推定部１２と、テロップ部分抽出部１３
と、画像更新部１４と、画像蓄積部１５と、テロップ切
出部１６と、非テロップ部分生成部１７と、画像合成部
１８と、フレーム内画素補填部１９とを有するよう構成
されている。

【００４１】図３において、スーパーインポーズされた
画像信号は、カット検出部１１、動き推定部１２、テロ
ップ部分抽出部１３、画像更新部１４、及び非テロップ
部分生成部１７へ供給される。

【００４２】カット検出部１１では、スーパーインポー
ズされた画像フレームが動画像のカット切り換え直後の
フレームか否かを検出し、その結果を出力する。なお、
カット切り換えの検出方法は、例えば、直前のフレーム
画像との差分値を計算し、その差分値が所定の閾値を超
える場合にカット切り換えが行われていると判断するこ
とで検出することができる。

【００４３】動き推定部１２は、スーパーインポーズさ
れた画像信号と、カット検出部１１より出力されたカッ
ト検出信号とを入力する。動き推定部１２では、例え
ば、図４に示すような動き推定の処理フローチャートに
したがって、画像の動き推定を行う。

【００４４】図４では、まず、画像撮影時のカメラパラ
メータが存在するか否かを判断する（Ｓ１１）。ここ
で、カメラパラメータとは、撮影中に用いたカメラの水
平方向の動きを示すパン、鉛直方向の動きを示すチルト
及びズーム等のカメラの動きがパラメータ化されたもの
である。

【００４５】Ｓ１１にて、カメラパラメータが存在した
場合は（Ｓ１１にて、ＹＥＳ）、カメラパラメータを画
像の動きモデル、例えば、透視投影変換やアフィン変換
モデル等に合わせた動きデータに変換し、変換した結果
をそのフレーム画像の動きベクトルデータとして出力す
る（Ｓ１２）。

【００４６】また、Ｓ１１にて、カメラパラメータが存
在しない場合は（Ｓ１１にて、ＮＯ）、画像から動きベ
クトルを推定する。画像からの動きベクトルの推定につ
いては、大域的動き推定を行うか否かの判断を行う（Ｓ
１３）。Ｓ１３にて、カメラのパンやチルトのように画
像全体が動いている場合には（Ｓ１３にて、ＹＥＳ）、
動きベクトルの推定をフレーム画像単位で行う大域的動
き推定を行い、カメラパラメータ有りの場合と同様に画
像の動きモデルに合わせた動きベクトルデータを推定し
て出力する（Ｓ１４）。

【００４７】なお、大域的動き推定の方法としては、例
えば、Ｊｏｚａｗａ，Ｋａｍｉｋｕｒａ，Ｓｅｇａｔ
ａ，Ｋｏｔｅｒａ，Ｗａｔａｎａｂｅ，“Ｔｗｏ−ｓｔ
ａｇｅｍｏｔｉｏｎｃｏｍｐｅｎｓａｔｉｏｎｕｓ
ｉｎｇａｄａｐｔｉｖｅｇｌｏｂａｌＭＣａｎｄ
ｌｏｃａｌａｆｆｉｎｅＭＣ”，ＩＥＥＥＴｒａ
ｎｓ．ＣｉｒｃｕｉｔａｎｄＳｙｓｔｅｍｓｆ
ｏｒＶｉｄｅｏＴｅｃｈ．，ｖｏｌ．７，ｎｏ．１，
ｐｐ．７５−８５，Ｊａｎ．１９９７等に開示されて
いる。

【００４８】一方、画像の中で様々な動きがあり、画像
全体の動きが特定できない場合には、大域的動き推定を
行わず（Ｓ１３にて、ＮＯ）、画像を１６×１６画素や
８×８画素といった大きさの領域ブロックに分割し、こ
れらのブロック単位に動き推定を行い、ブロック単位の
動きベクトルを推定して出力する（Ｓ１５）。なお、ブ
ロック単位での動きベクトルの推定には、一般的なブロ
ックマッチング法や勾配法等を利用することができる。

【００４９】上述の内容により、動き推定部１２は、入
力された画像信号の動きベクトルを出力することができ
る。

【００５０】次に、テロップ部分抽出部１３は、スーパ
ーインポーズされた画像信号を入力すると、例えば、図
５に示すようなテロップ部分抽出の処理フローチャート
にしたがって、文字等のテロップがスーパーインポーズ
された画像からのテロップ形状の領域を抽出する。

【００５１】図５では、最初に、前のフレームで既にテ
ロップ形状が抽出されていて、更に前フレームで抽出さ
れたテロップ形状と比べて変化がない場合は（Ｓ２１に
て、ＹＥＳ）、テロップ形状領域を示したマスク画像の
抽出は行わず、既に抽出されているマスク画像をそのま
ま利用する。

【００５２】また、Ｓ２１にて、前フレームにてフレー
ム形状が抽出されてないか、又はフレーム形状が抽出さ
れているがその形状に変化があった場合（Ｓ２１にて、
ＮＯ）、テロップの形状パターンが所定のパターンに該
当するか否かの判断を行う（Ｓ２２）。

【００５３】Ｓ２２にて、テロップの形状パターンが所
定のパターンに該当する場合（Ｓ２２にて、ＹＥＳ）、
例えば、時報のスーパーのように、０から９までの数字
と、時間と分との間のコロン「：」との組合せからなる
テロップ形状であると特定できる場合は、予め所定のパ
ターンとして形状領域データ２１を蓄積しておき、形状
領域データ２１を参照してテロップパターンに該当する
テロップ形状の領域を抽出し、その結果をテロップ形状
を示すマスク画像として出力する（Ｓ２３）。

【００５４】なお、領域の検出は、上述した動画像の動
きベクトル推定の方法を利用してパターンマッチングに
より行う。また、パターンを予め設定し形状領域データ
に蓄積しておき、そのパターンに合うように番組編集側
でスーパーインポーズを行うことにより、テロップ形状
の領域を容易に抽出できると共に、時報以外の多様なテ
ロップパターンにも対応することができる。

【００５５】また、Ｓ２２にてテロップ形状パターンが
所定のパターンに該当しなかった場合は（Ｓ２２にて、
ＮＯ）、使用者がディスプレイ等で画像を確認し、テロ
ップ形状の領域を新たに設定することにより、領域の切
り出しを行いテロップ形状を示すマスク画像として出力
する（Ｓ２４）。

【００５６】次に、画像更新部１４は、スーパーインポ
ーズされた画像信号と、カット検出部１１にて検出され
たカット検出信号と、動き推定部１２にて出力される動
きベクトル信号と、テロップ部分抽出部１３にて出力さ
れるテロップ形状マスク画像信号と、画像蓄積部１５か
ら出力される参照画像信号とを入力する。

【００５７】画像更新部１４は、例えば、図６に示すよ
うな参照画像更新の処理フローチャートにしたがって、
画像の復元に用いる参照画像の更新が行われる。図６で
は、まず、カット検出部１１から入力するカット検出信
号により、スーパーインポーズされた画像信号がカット
切り換え直後のフレーム画像であるか否かを判断し（Ｓ
３１）、カット切り換え直後のフレーム画像である場合
は（Ｓ３１にて、ＹＥＳ）、画像蓄積部１５より入力し
た参照画像信号は、前のカットの参照画像であるため使
用せずにデータをリフレッシュする（Ｓ３２）。

【００５８】次に、参照画像の更新処理として該当フレ
ーム画像の直前のフレーム画像のみを用いるか否かを判
断する（Ｓ３３）。判断基準としては、例えば、背景画
像に動きがなく、且つ突然表示されるテロップ等につい
ては、直前のフレーム画像のみを用いてテロップ形状の
領域を上書きするための参照画像を作成することができ
る。一方、画像に動きがあり、直前のフレームだけでは
テロップ領域の全ての画像位置が表示されない場合は、
複数のフレーム画像から大画面画像を生成して参照画像
の作成を行う。なお、画像が動いているか否かは、動き
ベクトル信号により判断する。また、Ｓ３３での判断を
行わずに予め更新処理の方法を設定しておいてもよい。

【００５９】Ｓ３３において、直前のフレーム画像のみ
を用いる場合は（Ｓ３３にて、ＹＥＳ）、画像の更新は
スーパーインポーズされた画像信号からテロップ形状マ
スク画像信号で示されるテロップ部分を除いた部分の画
像を直前のフレーム画像に上書きする画像上書き更新処
理を行う（Ｓ３４）。なお、この場合、画像のサイズは
入力されるスーパーインポーズされた画像信号と同一で
あるため、動き推定部１２より入力する動きベクトル信
号を使って上書きするための座標変換を行う必要はな
い。

【００６０】また、Ｓ３３において、参照する画像とし
て推定した動きベクトルで作成した大画面の画像信号を
用いる場合は（Ｓ３３にて、ＮＯ）、例えば、泰泉寺、
石橋、小林著、「カメラモーション抽出によるスプライ
ト自動生成」、信学論、Ｄ−ＩＩ，ｖｏｌ．Ｊ８２−Ｄ
−ＩＩ，ｎｏ．６，ＰＰ．１０１８−１０３０，１９９
９等に開示されているパラメータを利用して動画像を貼
り合わせるスプライト生成技術（方法）により、大画面
背景画像を作成するのと同じ方法で大画面画像更新処理
を行う（Ｓ３５）。

【００６１】この場合、新たに貼り合わせる（上書きす
る）画像は、スーパーインポーズされた画像信号からテ
ロップ形状のマスク画像信号で示されたテロップ領域部
分を取り除いた画像を、動きベクトル信号により基準と
なる座標系に変換した画像となる。

【００６２】なお、カメラパラメータを利用して求めた
動きベクトルを用いて大画面の画像信号を作成する場合
は、本出願人による出願「特願２００１−３３４０４９
号（背景画像生成装置およびそのプログラム）」に記載
されている方法を用いて処理することができる。この方
法によれば、実時間での画像の幾何変換によって、各画
面を精度よく貼り合わせて大画面画像を生成することが
できる。

【００６３】上述の処理（Ｓ３４、Ｓ３５）により更新
された画像信号は、画像蓄積部１５へ出力され画像蓄積
部１５にて更新画像が蓄積される。

【００６４】上述したように参照画像を蓄積することに
より、例えば、連続する画像において、スーパーインポ
ーズされた画像のテロップ形状の領域が同じであった場
合に、一度生成された参照画像を画像のテロップ形状の
領域が変わるまで、継続して利用することができ、効率
的な復元処理を行うことができる。

【００６５】テロップ切出部１６は、画像蓄積部１５に
蓄積されている参照画像信号と、動き推定部より出力さ
れる動きベクトル信号と、テロップ部分抽出部１３より
出力されるテロップ形状マスク画像信号とを入力する。
テロップ切出部１６は、動きベクトル信号に合わせて参
照画像信号を座標変換し、テロップ形状マスク画像信号
で示される部分の画像のみを参照画像から切り出して、
テロップ該当箇所画像信号を出力する。

【００６６】非テロップ部分生成部１７は、スーパーイ
ンポーズされた画像信号とテロップ形状マスク画像信号
とを入力し、スーパーインポーズされた画像信号からテ
ロップ形状マスク画像信号で表されるテロップ形状部分
を除いた非テロップ部分画像信号を生成して出力する。

【００６７】画像合成部１８は、テロップ切出部１６よ
り出力されるテロップ該当箇所画像信号と、非テロップ
部分生成より出力される非テロップ部分画像信号とを入
力する。画像合成部１８では、非テロップ部分画像信号
のテロップ該当部分にテロップ該当箇所画像信号を上書
きするように合成し、合成画像信号を出力する。

【００６８】フレーム内画素補填部１９は、画像合成部
１８から出力された合成画像信号を入力する。フレーム
内画素補填部１９は、合成画像信号の画素の中で、画素
位置に対応する参照画像が無いために内挿されていない
部分をフレーム内の空間内挿で補う処理を施す。ここ
で、空間内挿として、例えば、動画像符号化方式ＭＰＥ
Ｇ−４規格で用いられているパディング方式を用いるこ
とにより画素単位で内挿することができる。

【００６９】なお、上述にて原画像を復元するための原
画像復元方法について説明したが、原画像に復元する各
処理を実行させるための原画像復元プログラムを生成
し、そのプログラムに基づいて、コンピュータに、原画
像を復元する処理を実行させることも可能である。

【００７０】ここで、上述の原画像復元プログラムが実
行する一例の処理をフローチャートを用いて説明する。

【００７１】図７は、原画像復元プログラムが実行する
処理の一例のフローチャートである。

【００７２】図７において、まず、付加情報がスーパー
インポーズされた画像（第一の画像）から付加情報（例
えば、テロップ）形状部分（領域）を抽出する付加情報
部分抽出処理を行う（Ｓ４１）。次に、Ｓ４１にて抽出
された付加情報形状部分に基づいて、スーパーインポー
ズされた画像から付加情報形状部分を除いた画像（第二
の画像）を生成する非付加情報部分生成処理を行う（Ｓ
４２）。

【００７３】また、付加情報がスーパーインポーズされ
ているフレーム画像がカット切り換え直後のフレーム画
像であるか否かを検出するカット検出処理を行い（Ｓ４
３）、次に、カメラパラメータ又は画像の前後のフレー
ム画像から動きベクトルの推定をする動き推定処理を行
う（Ｓ４４）。その後、Ｓ４３及びＳ４４で出力される
結果に基づいて、スーパーインポーズされた画像の前後
のフレーム画像からスーパーインポーズされる前の付加
情報形状部分の画像（第三の画像）を参照画像として取
得する参照画像取得処理を行う（Ｓ４５）。なお、Ｓ４
３及びＳ４４は、ステップを分けずにＳ４５にて行って
もよい。

【００７４】次に、Ｓ４２にて生成された画像（第二の
画像）と、Ｓ４５にて取得された画像（第三の画像）と
を合成する画像合成処理を行い（Ｓ４６）、画像の復元
を行う。なお、Ｓ４６にて、出力される画像に画素が内
挿されていない箇所があった場合は、フレーム内の空間
内挿による画素補填処理を行う（Ｓ４７）。これにより
高精度な原画像を復元することができる。

【００７５】また、図３に示す各部の処理は、コンピュ
ータのメモリに格納された上述の原画像復元プログラム
によって実行される。

【００７６】なお、上述した原画像復元プログラムは、
ＣＤ−ＲＯＭ等の記憶媒体に記憶させてコンピュータに
インストールすることにより、原画像の復元を容易に実
行することができる。更に、この他の方法として、原画
像復元プログラムを通信インターフェース及びネットワ
ークからファイル形式で取得し、コンピュータにインス
トールすることによっても原画像の復元を実行させるこ
とができる。

【００７７】上述により、図３に示す原画像復元装置
１、又は原画像復元プログラムを用いることにより、付
加情報がスーパーインポーズされた画像信号からスーパ
ーインポーズされる前の原画像を復元することができ
る。また、復元された原画像を用いて、画像を用いた番
組の有効な再利用を容易に行うことができる。更に、本
発明における復元された原画像を用いることで、番組を
視聴する視聴者に違和感を与えることなく提供すること
ができる。

【００７８】

【発明の効果】上述の如く本発明によれば、テロップ等
の付加情報が画像にスーパーインポーズされた場合に、
該当フレーム画像以外のフレーム画像を利用して、スー
パーインポーズされる前の原画像を復元でき、画像を効
率的に再利用することができる。

【図面の簡単な説明】

【図１】従来のスーパーインポーズされた画像を再利用
した場合の画像の一例を示す図である。

【図２】本発明における原画像の復元方法を説明するた
めの画像の一例を示す図である。

【図３】本発明における原画像復元装置の一例のブロッ
ク図である。

【図４】動き推定の処理フローチャート例である。

【図５】テロップ部分抽出の処理フローチャート例であ
る。

【図６】参照画像更新の処理フローチャート例である。

【図７】原画像復元プログラムが実行する処理の一例の
フローチャートである。

【符号の説明】

１原画像復元装置１１カット検出部１２動き推定部１３テロップ部分抽出部１４画像更新部１５画像蓄積部１６テロップ切出部１７非テロップ部分生成部１８画像合成部１９フレーム内画素補填部２１形状領域データ

───────────────────────────────────────────────────── フロントページの続き (72)発明者井口和久東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内 (72)発明者池田誠東京都世田谷区砧一丁目10番11号日本放送協会放送技術研究所内Ｆターム(参考） 5B057 CA12 CA16 CB12 CB16 CC01 CE06 CE08 CE09 CH08 CH11 5C023 AA06 AA16 AA40 CA01 CA08 DA04

Claims

【特許請求の範囲】

【請求項１】付加情報がスーパーインポーズされた第
一の画像を原画像に復元する原画像復元装置において、前記第一の画像のスーパーインポーズ領域を検出する領
域検出部と、前記第一の画像から、前記スーパーインポーズ領域の画
像情報を除いた第二の画像を生成する画像生成部と、前記第一の画像の前及び／又は後の画像から、スーパー
インポーズされる前のスーパーインポーズ領域である第
三の画像を取得する画像取得部と、前記第二の画像と、前記第三の画像とを合成して原画像
を復元する原画像復元部とを有することを特徴とする原
画像復元装置。
【請求項２】前記画像取得部は、前記第一の画像から画像の動きベクトルを推定する動き
ベクトル推定部と、前記第一の画像の前及び／又は後の画像から、前記動き
ベクトルに基づいて前記スーパーインポーズ領域の画像
を抽出する画像抽出部とを有することを特徴とする請求
項１に記載の原画像復元装置。
【請求項３】前記動きベクトル推定部は、カメラパラメータを用いて動きベクトルを検出すること
を特徴とする請求項２に記載の原画像復元装置。
【請求項４】前記動きベクトル推定部は、フレーム画像単位に比較することにより動きベクトルを
検出することを特徴とする請求項２に記載の原画像復元
装置。
【請求項５】前記動きベクトル推定部は、前記画像を所定の画素ブロック毎に分割し、前記ブロッ
ク単位で時間的に異なる対応した画素毎に比較して動き
ベクトルを検出することを特徴とする請求項２に記載の
原画像復元装置。
【請求項６】前記領域検出部は、スーパーインポーズ領域を検出する際に予め設定された
付加情報の表示領域のデータを用いることを特徴とする
請求項１乃至５の何れか一項に記載の原画像復元装置。
【請求項７】前記原画像復元部は、前記第二の画像に前記第三の画像を上書きして原画像を
復元した場合に復元できない画素があったときは、フレ
ーム画像内で空間内挿を行う空間内挿部を有することを
特徴とする請求項１に記載の原画像復元装置。
【請求項８】コンピュータに、付加情報がスーパーイ
ンポーズされた第一の画像を原画像に復元するための処
理を実行させるプログラムにおいて、コンピュータに、前記第一の画像のスーパーインポーズ
領域を検出する領域検出ステップと、前記第一の画像から、前記スーパーインポーズ領域の画
像情報を除いた第二の画像を生成する画像生成ステップ
と、前記第一の画像の前及び／又は後の画像から、スーパー
インポーズされる前のスーパーインポーズ領域である第
三の画像を取得する画像取得ステップと、前記第二の画像と、前記第三の画像とを合成して原画像
を復元する原画像復元ステップとを実行させることを特
徴とする原画像復元プログラム。
【請求項９】前記画像取得ステップは、前記第一の画像から画像の動きベクトルを推定する動き
ベクトル推定ステップと、スーパーインポーズされている前及び／又は後の画像か
ら、前記動きベクトルに基づいて、前記スーパーインポ
ーズ領域の画像を抽出する画像抽出ステップとを有する
ことを特徴とする請求項８に記載の原画像復元プログラ
ム。