JP2002199407A - 動画像内のロールテロップ検出装置および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 圧縮された符号化データそのものまたはそ
の一部だけを復号した情報から、ロールテロップの出現
を高速かつ高精度に検出でき、またフレーム内でのロー
ルテロップ位置を抽出できる動画像内のロールテロップ
領域検出装置および記録媒体を提供することにある。 【解決手段】 動画像の符号化データａは、可変長復号
部１により部分的に復号され、その結果の符号化情報ｂ
が検出判定処理部２に送られる。検出処理判定部２は検
出対象画像の符号化情報ｂと過去の検出結果からの予測
位置情報ｄをもとに、圧縮符号化上のフレームの種類に
より最適なロールテロップ判定処理を行う。その検出結
果情報ｃは外部へ出力されると同時に、次フレーム以降
の検出処理判定に利用するため、ロールテロップ動き予
測部３へ入力される。ロールテロップ動き予測部３で
は、検出判定処理部２からの確定済みのロールテロップ
位置情報と動き情報をもとに、次フレーム以降での出現
位置を予測する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は動画像内のロール
テロップ検出装置および記録媒体に関し、特に、圧縮符
号化データそのもの又はその一部だけを復号した情報か
ら、高速かつ高精度にロールテロップ領域を抽出できる
動画像内のロールテロップ検出装置および記録媒体に関
する。

【０００２】

【従来の技術】従来のテロップ検出方式としては、テロ
ップ文字列のエッジ部を特徴量に利用した方式（以下、
第１の検出方式）が報告されている。

【０００３】この第１の検出方式は、フレーム毎にエッ
ジ部を検出し、テロップ出現位置の局所性や規則的な配
置などの幾何的な特徴量からテロップを求める。個々の
フレームから検出されたテロップ領域に対し、時間的に
隣接する領域を対応付けることで連続したテロップとす
る。

【０００４】その他の検出方式としては、テロップと背
景との境界部位に注目して、エッジ部の集中度を利用す
る方式、文字領域の色の均一性を背景部との分離に利用
する方式などがある。さらに、これらの特徴量を組み合
わせて総合的に判断する方法として、ニューラルネット
ワークや遺伝アルゴリズムを採用した検出方式が提案さ
れている。

【０００５】以上のテロップ検出方式は映像の各画素か
ら直接特徴量を求め、解析することでテロップを検出す
る方式である。

【０００６】一方で、圧縮符号化された動画像の符号化
データそのものを利用する方式が提案されている。この
方式は、圧縮の際に求められる各種のパラメータや符号
化データを直接操作することでテロップ領域の検出処理
を達成する。

【０００７】動き予測誤差の係数に注目した方式（以
下、第２の検出方式）は、イントラフレームの符号単位
ブロックについて文字領域の空間的特徴を観測し、静止
テロップを検出する。ロールテロップに関してはハフ変
換を利用し、連続するイントラフレーム間で静止テロッ
プのパターンベクトルを計算し、相関が最も高い領域を
抽出する。

【０００８】

【発明が解決しようとする課題】第１の検出方式を圧縮
符号化された動画像データに適用するには、符号化デー
タを一旦復号する必要がある。圧縮符号化データを画素
領域の情報に戻さねばテロップ検出処理を適用できず、
処理負荷の重い復号処理の後、初めて画素領域でのテロ
ップ領域検出処理が施されることになる。

【０００９】動画像は非常に広い信号帯域を持ち膨大な
データ量を必要とするので、一般的に動画像は圧縮され
た形で記録や伝送に広く利用されている。そのため第１
の検出方式では、本来の検出処理に加えて、圧縮データ
の復号処理に大きな計算コストがかかるという問題があ
る。

【００１０】一方、第２の検出方式は圧縮符号化データ
そのものを利用するので、復号処理過程が省略でき検出
処理も高速に実行できる。しかし、実際の動画像ではパ
ン、チルトなどのカメラワークやワイプ、ディゾルブな
どの撮影後に編集された映像効果などの要因によって動
き予測誤差情報の変化が激しく、テロップの出現との判
別が難しい。特にシーンチェンジにおいてはこの影響が
大きく、シーンチェンジ後のフレームをテロップ領域と
誤認識するなど検出精度に問題がある。さらに、イント
ラフレーム情報のみによる検出方式であるため、検出領
域の時間的解像度が低いという問題がある。

【００１１】また、前記第１、第２の検出方式はフレー
ム毎に文字領域を抽出し、該領域のフレーム間での対応
付けから、結果として移動したテロップを認識する。移
動するテロップの特徴量の一つである動き情報が一切利
用されておらず、個々のフレームにおいては、あくまで
静止したテロップという認識である。そのため、異なる
テロップ同士を連結する恐れがあり、ロールテロップの
検出という点からは検出精度に疑問が残る。

【００１２】本発明の目的は、前述した従来技術の問題
点を解消し、圧縮された符号化データそのものまたはそ
の一部だけを復号した情報から、ロールテロップの出現
を高速かつ高精度に検出でき、またフレーム内でのロー
ルテロップ位置を抽出できる動画像内のロールテロップ
領域検出装置および記録媒体を提供することにある。

【００１３】

【課題を解決するための手段】前記した目的を達成する
ために、本発明は、圧縮された動画像のデータを入力と
し、該動画像のデータにロールテロップ領域情報を付加
して出力する動画像内のロールテロップ検出装置におい
て、予測位置情報と符号化情報をもとにロールテロップ
の位置情報と動き情報を抽出するロールテロップ検出処
理部と、検出結果の前記位置情報と動き情報から将来の
位置を推定し、予測位置情報を前記ロールテロップ検出
処理部に戻すロールテロップ動き予測部とを具備した点
に特徴がある

【００１４】この特徴によれば、ロールテロップの出現
を高速かつ高精度に検出でき、またフレーム内でのロー
ルテロップ位置を抽出できるようになる。

【００１５】また、本発明は、圧縮された動画像のデー
タを可変長復号することにより得られた符号化情報と予
測位置情報をもとにロールテロップの位置情報と動き情
報を抽出する第１の工程と、前記位置情報と動き情報か
ら将来の位置を推定して予測位置情報を決定し、該予測
位置情報を前記第１の工程に戻す第２の工程とを、コン
ピュータ読み取り可能な記録媒体に記録した点に特徴が
ある。

【００１６】

【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図１は、本発明の動画像内のロール
テロップ領域検出装置の一実施形態の構成を示すブロッ
ク図である。なお、「ロールテロップ」は、本発明で
は、移動するあるいはスクロールするテロップを意味す
る。また、この実施形態は入力動画像の符号化方式に国
際標準であるMPEG-1ビデオ(ISO/IEC11172-2)を使用して
いるが、本発明はこれに限定されるものではない。

【００１７】システム全体の入力として圧縮符号化され
た動画像の符号化データａが与えられる。符号化データ
ａは、可変長復号部１により必要な情報だけが部分的に
復号され、符号化情報ｂ、すなわち動き予測情報、動き
予測誤差情報、および符号化モード情報が検出判定処理
部２に送られる。検出処理判定部２は検出対象画像の符
号化情報ｂと過去の検出結果からの予測位置情報ｄをも
とに、圧縮符号化上のフレームの種類により最適なロー
ルテロップ判定処理を行う。

【００１８】その検出結果情報ｃは外部へ出力されると
同時に、次フレーム以降の検出処理判定に利用するた
め、ロールテロップ動き予測部３へ入力される。ロール
テロップ動き予測部３では、検出判定処理部２からの確
定済みのロールテロップ位置情報と動き情報をもとに、
次フレーム以降での出現位置を予測する。予測位置情報
ｄは前記符号化情報ｂと併せて前記ロールテロップ検出
処理部２に入力される。

【００１９】次に、ロールテロップ検出処理部２の具体
的構成を、図２を参照して説明する。ロールテロップ検
出処理部２は、領域対象設定部２１、時間的相関判定部
２２、領域形成部２３、および形状判定部２４から構成
される。

【００２０】領域対象設定部２１はロールテロップとし
ての必要最小限の特徴を備えるブロックだけを選別す
る。これは、最終的な検出対象となる部分領域を形成す
る処理負荷を抑える働きをする。時間的相関判定部２２
は過去及び未来の符号化情報を保持し、領域対象設定部
２１で選択されたブロックの時間的相関性を判断する。

【００２１】領域形成部２３は領域対象設定部２１で選
別されたブロックに対し、動き予測情報をもとにクラス
タリングを行い、ロールテロップの判定単位となる部分
領域を形成する。領域形状判定部２４は領域形成部２３
からの情報をもとに部分領域の幾何的形状からロールテ
ロップとしての最終判断を下す。

【００２２】次に、前記領域対象設定部２１の動作の詳
細を、図３のフローチャートを参照して説明する。入力
される情報は、現フレームの全ブロックの符号化情報ｂ
と過去の検出結果領域を現フレームに対応付けた予測位
置情報ｄである。一方、出力情報は各ブロックを領域形
成対象と非領域形成対象に選別した情報である。

【００２３】初めに、フレーム全体を動き予測情報が付
加される最小単位のブロックに分割する。ステップＳ１
では、ロールテロップ動き予測部３からの予測位置ｄに
対応するブロックを領域形成対象に設定する。ステップ
Ｓ２では、前記符号化情報ｂ中の符号化モード情報か
ら、対象ブロックがフレーム内符号化ブロックか否か判
定する。対象ブロックの符号化モードに対応した判定を
用い、ロールテロップの一部に相応しいブロックを領域
形成の対象として抽出する。

【００２４】フレーム内符号化ブロックであれば、ステ
ップＳ３へ進み、フレーム内符号化情報の判定をする。
フレーム内符号化ブロックでなければ、ステップＳ４に
進み、対象ブロックが動き予測情報を持つか否か判定す
る。動き予測情報があれば、ステップＳ５に進んで、動
き予測情報判定を行う。該動き予測情報がなければ、ス
テップＳ６に進んで非領域対象と設定する。

【００２５】前記ステップＳ２，Ｓ３における判定は、
個々のブロックの符号化モード情報を参照することで高
速に処理される。フレーム内符号化情報判定（ステップ
Ｓ３）と動き予測情報判定（ステップＳ５）は、それぞ
れフレーム内符号化情報と動き予測情報をもとにブロッ
クが領域対象か否かを判定する。

【００２６】ステップＳ７で、フレーム内の全てのブロ
ックに対し領域対象の判断が下されていなければ、ステ
ップＳ２へ戻り判定処理を繰り返す。全ての予測領域に
判断が下された後（ステップＳ７の判断が肯定）、領域
対象の位置情報を出力すると共に領域対象設定部２１の
処理を終了する。

【００２７】図３の領域対象設定処理を簡略化するた
め、前記ステップＳ１における領域対象判定をロールテ
ロップの移動方向の前後に位置するブロックのみに適用
するのが好適である。すなわち、移動方向の前方と後方
に位置するブロックに対して、ロールテロップ候補領域
に属するか判断する。移動方向と垂直な方向に関しては
判定は行わないようにする。

【００２８】前後ブロックがロールテロップ候補領域に
属するには、該ブロックの動き予測情報の方向成分と長
さ成分が、共に元となる候補領域のそれらと一致するこ
とを条件とする。ただし、動き予測情報はフレームの時
間的相対位置によって長さが異なるため、フレーム間距
離によって補正した値を利用する。条件を満たさないブ
ロックは領域形成対象から外す。

【００２９】ロールテロップ領域の進行方向に対して後
方に位置するブロックが対象領域に属さないと判断され
た場合、進行方向に隣接するブロックに対して同判定を
行う。この判定は、隣接ブロックまでの距離が動き予測
情報の長さを超えるか、または領域に属するブロックが
現れるまで繰り返す。

【００３０】逆に、進行方向に対して前方に位置するブ
ロックが対象領域に属すると判断された場合は、進行方
向に隣接するブロックに対して同判定を行う。隣接ブロ
ックまでの距離が動き予測情報の長さを超えるか、また
は領域に属するブロックが現れるまで繰り返す。その他
のブロックについては予測領域の情報をそのまま維持す
ることで領域対象設定を完了する。

【００３１】次に、前記ステップＳ２におけるフレーム
内符号化情報判定は、フレーム内符号化情報による判定
を行う。フレーム内符号化情報が大きく存在する場合は
領域対象に含め、一方、フレーム内符号化情報が小さく
見積もられている場合は非領域対象とする。

【００３２】フレーム内符号化情報判定の一例を図４に
示す。MPEG符号化方式ではフレーム内符号化情報に、DC
T係数のDC成分、AC成分等を利用することができる。ス
テップＳ２１では、例えば８×８画素からなる４組のブ
ロック（１マクロブロック）のDCT係数の中から４つのD
C成分を利用する。ブロック内の４つDC成分の最大値と
最小値の差分値を求め、ダイナミックレンジとする。

【００３３】該DC成分のダイナミックレンジを予め定め
た閾値thr１と比較し、該閾値以上の値を持つブロック
をステップＳ２２にて領域対象とする。そうでなけれ
ば、ステップＳ２３へ進む。ステップＳ２３では、AC成
分の低周波成分寄りｎ個の部分和を計算し、該部分和を
予め定めた閾値thr２と比較する。該部分和が閾値thr２
以上であれば、ステップＳ２２へ、そうでなければ、ス
テップＳ２４へ進む。ステップＳ２２，Ｓ２４では該ブ
ロックに対し、それぞれ領域対象、非領域対象と設定
し、フレーム内符号化情報判定を終了する。

【００３４】次に、ステップＳ４における動き予測情報
判定の詳細を説明する。該動き予測情報判定処理は、領
域対象を有意な動き予測情報を持つブロックに限定す
る。動き予測情報を持たないブロックや、動き予測情報
の長さ成分が閾値より小さなブロックは非領域対象とす
る。

【００３５】さらに、ロールテロップの動きはフレーム
に対して上下左右の４方向と仮定し、動き予測情報の方
向成分が該上下左右のいずれか一つの方向だけを指すブ
ロックを選択する。対角方向を指すブロックは非領域対
象とする。

【００３６】また、両方向予測を用いるブロックについ
ては、両方向とも前記の長さ判定と方向判定を満たすこ
とを要件とする。その上で順方向予測と逆方向予測が相
異なる方向を向くブロックを領域対象とし、そうでなけ
れば、非領域対象とする。

【００３７】該ステップＳ４の動き予測情報判定の詳細
を図５に示す。ステップＳ４１は動き予測情報の長さ成
分判定と方向性判定を一度に処理する。すなわち、動き
予測情報の正確な長さは求めずに動き予測情報の水平若
しくは垂直方向の長さの絶対値を求める。何れか一方が
閾値thr３より大きな値を持つと同時にもう一方が０に
十分近似できる場合、ステップＳ４２へ進む。両成分が
共に大きい又は共に小さい場合はステップＳ４５へ進
む。

【００３８】ステップＳ４２では、符号化モード情報か
ら両方向予測ブロックであるか否かを判断する。両方向
予測ブロックであれば、ステップＳ４４へ進み、片方向
予測であれば、ステップＳ４３へ進む。

【００３９】ステップＳ４４では、順方向予測と逆方向
予測が指す相対的方向を調べる。予測位置が同軸上に存
在し且つ異符号からなる場合はステップＳ４３へ、同軸
上に存在しない又は同符号からなる場合はステップＳ４
５へ進む。ステップＳ４３，Ｓ４５では、該ブロックに
対し、それぞれ領域形成対象、非領域形成対象と設定し
た後、動き予測情報判定を終了する。

【００４０】次に、図２の時間的相関判定部２２の処理
について説明する。時間的相関判定部２２は、検出処理
フレームの過去及び未来の複数フレームの符号化情報を
入力し、ブロックの領域対象判定を行う。

【００４１】該時間的相関判定部２２の詳細を図６に示
す。該時間的相関判定部２２は、前記領域対象設定部２
１で設定されたブロックについて、過去及び未来のフレ
ームとの時間的相関を調査するため、ステップＳ５１は
領域対象ブロックか否かを調べる。領域対象ブロックで
あれば、ステップＳ５２へ進み、非領域対象ブロックで
あれば、次のブロックを新たな対象としてステップＳ５
１に戻る。

【００４２】ステップＳ５２は注目ブロックの動き予測
情報から、過去及び未来のフレームでの参照位置を求め
る。参照位置は、動き予測情報をフレーム間距離で補正
する。ステップＳ５３は参照位置を占めるブロックの動
き予測情報が対象ブロックの動き予測情報の方向と一致
し、且つフレーム間距離で補正した長さと近似可能であ
るときステップＳ５４へ、そうでなければステップＳ５
７へ進む。

【００４３】ステップＳ５４は時間的相関判定の対象と
なる参照フレーム全てに対して判定処理が完了していれ
ば、ステップＳ５５へ進む。そうでなければ次の参照フ
レームを新たな対象としてステップＳ５２へ戻る。処理
ステップＳ５５では、改めて該ブロックを領域対象と設
定し、ステップＳ５７はロールテロップ候補を無効にし
非領域対象とする。

【００４４】フレーム内符号化フレーム間の時間相関判
定は、過去の検出結果領域のDCT係数DC成分の配列を該
フレーム中に一致する領域に求める。テロップ文字列と
ブロックとの相対的位置関係から生じるDC成分自体の変
化を抑えるため、DC成分の値を異なる系列に変換してマ
ッチングする。別空間へのマッピングは文字列の位置関
係の不変性を利用し、DC成分の相対的変化に注目する。

【００４５】DCT成分を含む縦横それぞれ一列ずつのブ
ロックを走査し、連続する２つのDC成分を比較する。走
査順に差分値を粗く量子化した値に写像する。過去の検
出結果の領域からも同様に写像を行い、進行方向の各ラ
インとブロック毎に積和演算を行い、総和を計算する。
総和が最大となる領域を相関が最も高い領域と判断し、
ロールテロップの候補とする。

【００４６】以上で、領域形成処理にかかる負荷を軽減
するため、ロールテロップの一部となり得ないブロック
を予め候補から外す時間相関判定部を終了する。

【００４７】次に、図２の領域形成部２３の処理につい
て説明する。該領域形成部２３は、領域対象設定部で選
別されたブロックを類似した動き予測情報を持つブロッ
クから構成される領域に形成する。該領域形成部２３の
詳細を図７を参照して説明する。

【００４８】ステップＳ６１は対象ブロックと非対象ブ
ロックを選り分け、対象ブロックであれば、ステップＳ
６２へ進める。そうでなければ、次のブロックを新たな
処理ブロックとしてステップＳ６１に戻る。ステップＳ
６２は、領域対象となるブロックに注目したとき、近傍
に領域形成対象ブロックが存在し、かつその動き予測情
報の方向と長さ成分が十分に近似可能であるならばステ
ップＳ６３へ進む。

【００４９】ステップＳ６３はブロックを同一領域と見
なし結合する。近傍に領域形成対象が存在しない場合
や、動き予測情報の方向成分若しくは長さ成分の何れか
一つでも相違が見られるときは、異なる領域と判断し結
合しない。

【００５０】ステップＳ６４は、近傍の領域対象全てに
対して再帰的に処理を行う。結合したブロックに対し
て、近傍に処理対象が存在すれば、ステップＳ６２へ戻
る。そうでなければ、ステップＳ６５へ進む。

【００５１】ステップＳ６５は全ての領域対象に対し、
何れかの領域に属しているかを確認し、未だどの領域に
も属していない領域対象があれば、ステップＳ６１に戻
る。全ての領域対象が領域を形成し終えた後、領域形成
部は処理を終了する。

【００５２】次に、図２の領域形状判定部２４について
詳細に説明する。領域形状判定部２４は、前記領域形成
部２３で形成された領域に注目して、幾何的形状からロ
ールテロップの可能性を判断する。

【００５３】ステップＳ７１の整形処理は、前記領域形
成部２３で作られた領域に対し、近傍に存在する複数の
ロールテロップ同士が連結した領域を分離する。領域が
複数ラインから形成されている場合、領域の長辺方向に
平行なラインに沿って領域内の動き予測誤差情報による
部分和を求める。このとき動き予測誤差情報を持つ単位
ブロックが空間解像度となる。複数の部分和の中で極端
に値がかけ離れているラインについては連結ラインとし
て領域からラインごと排除し、1つの領域を複数領域に
分割する。

【００５４】ステップＳ７２は、構成要素数がある閾値
thr４以下である小領域はノイズによる誤認識と判断
し、ロールテロップ候補から除去する。また、構成要素
数が閾値thr５以上の大領域は、パンやチルト等のカメ
ラワークによるフレーム全体の見かけ上の移動と判断
し、ロールテロップ候補から除外する。

【００５５】ステップＳ７３は、ロールテロップの形状
を長方矩形に限定し、最終的なロールテロップ領域を決
定する。ロールテロップ判定は２つの判定から構成され
る。1つ目の矩形判定は外接矩形と領域の面積を比較
し、十分１に近似できれば、矩形領域と判断し判定を続
ける。面積に開きがあれば、ステップＳ７６に進んで、
ロールテロップと判定しないようにする。

【００５６】２つ目の長方矩形判定は領域の水平、垂直
方向のフェレ径をそれぞれ求め、両者の比がある閾値th
r６より大きければ長方矩形と判断しステップＳ７４へ
進む。そうでなければ、ステップＳ７６へ進む。

【００５７】ステップＳ７４は対象領域全体をロールテ
ロップ領域と判定する。ステップＳ７４はロールテロッ
プ候補から除外する。ステップＳ７５は全ての部分領域
についてロールテロップ判定が下されていなければ、未
判定領域についてステップＳ７２から判定処理を実行さ
せる。

【００５８】入力された部分領域について全て判定が下
された後、確定したロールテロップ位置情報、動き情報
を出力し、領域形状判定を終了する。

【００５９】次に、図１の前記ロールテロップ動き予測
部３の動作を説明する。図９は、ロールテロップ動き予
測部３の動作の詳細を示す。入力情報は過去のロールテ
ロップ検出の結果と未来のフレーム符号化情報である。
出力情報は次フレームでのロールテロップ位置と動き情
報であり、領域対象設定部２１（図２参照）で利用され
る。

【００６０】過去の参照フレームにおいて、確定済みの
ロールテロップ領域から現フレームでの位置を動き予測
部３で推定し、該フレームでのロールテロップ候補領域
とする。ロールテロップの動きを過去の確定したロール
テロップ領域に属す動き予測情報を用い、ロールテロッ
プの進行方向を推察する。

【００６１】ステップＳ８１では、ロールテロップに該
当するブロックの動き予測情報を水平と垂直方向に分解
し、より大きな成分のみを抽出する。重み付け平均値を
求め、上下左右の４方向のいずれかに決定する。ここで
は、重み係数にDCT係数のAC部分和を利用する。

【００６２】ステップＳ８１で求めた動き情報はフレー
ムの時間的相対位置によって長さが変化するため、ステ
ップＳ８２において動き情報をフレーム間距離によって
補正する。最後に予測位置情報と動き情報を出力し、ロ
ールテロップ動き予測部を終了する。 ［リアルタイム検出］

【００６３】未来のフレーム情報を未来の参照フレーム
ひとつだけに限れば、完全な復号処理と同じ回路構成に
できる。フレーム内符号化フレーム(Ｉピクチャ)が入力
された場合は、フレーム内符号化情報を使って該フレー
ムの領域対象を得る。

【００６４】順方向予測フレーム(Ｐピクチャ)が入力さ
れた場合は、動き予測情報若しくはフレーム内符号化情
報を使って該フレームの領域対象を得る。両フレームは
双方向予測フレームの未来参照フレームであるため、新
たなフレーム内符号化フレーム又は順方向予測フレーム
が入力されるまで出力表示されない。よって、双方向予
測フレーム(Ｂピクチャ)が入力されたとき、該フレーム
自身の判定処理だけでなく、その符号化情報で未来参照
フレームの時間相関判定を行う。逆に、未来参照フレー
ムの符号化情報から未来方向の時間相関判定を行う。

【００６５】未来参照フレームから見れば、過去の双方
向予測フレームによる時間相関判定が検出処理のための
特別なメモリを用意することなく行うことが可能とな
る。双方向予測フレームにとっても未来参照フレームか
ら復号すると同時に時間相関判定を行うことが可能であ
る。

【００６６】よって、完全な復号処理と併用する場合に
おいても、フレームの表示順序を乱すことなく、また、
余分なフレーム情報を保持するメモリや機構を用意する
ことなく、リアルタイムにロールテロップを検出し検出
結果を復号映像へ投影することができる。

【００６７】次に、前記した各実施形態の動画像内のロ
ールテロップ領域検出装置の機能は、ソフトウェア（プ
ログラム）で実現することができる。該ソフトウェア
は、光ディスク、フロッピー（登録商標）ディスク、ハ
ードディスク等の記録媒体に記録することができる。

【００６８】図１０は、該記録媒体１００に記録される
プログラムの一例を示すものであり、該記録媒体１００
には、ロールテロップの位置情報および動き情報の抽出
機能１１１と、該位置情報および動き情報を基に予測位
置情報を決定する機能１１２を含ませることができる。
なお、前記記録媒１００には、ネットワークのように、
データを一時的に記録保持するような伝送媒体も含まれ
る。

【００６９】

【発明の効果】以上の説明から明らかなように、本発明
によれば、圧縮符号化された動画像データを部分的に復
号することで、従来の画素領域の検出方式(前記第１の
検出方式)と比較して処理コストを抑えることができ
る。

【００７０】また、フレーム毎に対する判定は、検出対
象の選別と過去の検出結果からの予測情報から必要最小
限の領域に限定されるため、符号データ領域での検出方
式(前記第２の検出方式)と同程度に処理コストを抑える
ことが可能である。

【００７１】また、フレーム内符号化フレームの情報だ
けでなく、全フレームの情報を検出過程に利用すること
で、前記第２の検出方式と比較して、時間解像度の向上
は無論のこと、遥かに優れた検出精度の向上を達成する
ことが可能となる。

【００７２】また、映像を再生する復号処理と完全に同
期する方法では、未来との時間相関を利用しながら再生
フレームとの遅延を一切省き、且つメモリの使用を最小
限に抑えることが可能になる。

【図面の簡単な説明】

【図１】 本発明の一実施形態のロールテロップ検出装
置の全体構成を示すブロック図である。

【図２】 図１のロールテロップ検出処理部の詳細な構
成を示すブロック図である。

【図３】 図２の領域対象設定部の動作を示すフローチ
ャートである。

【図４】 図３のフレーム内符号化情報判定の処理を示
すフローチャートである。

【図５】 図３の動き予測情報判定の処理を示すフロー
チャートである。

【図６】 図２の時間的相関判定部の動作を示すフロー
チャートである。

【図７】 図２の領域形成部の動作を示すフローチャー
トである。

【図８】 図２の領域形状判定部の動作を示すフローチ
ャートである。

【図９】 図１のロールテロップ動き予測部の動作を示
すフローチャートである。

【図１０】 記録媒体に記録されるプログラムの概要を
示す図である。

【符号の説明】

１・・・可変長復号部、２・・・ロールテロップ検出処理部、
３・・・ロールテロップ動き予測部、２１・・・領域対象設定
部、２２・・・時間的相関判定部、２３・・・領域形成部、２
４・・・領域形状判定部、１００・・・記録媒体

───────────────────────────────────────────────────── フロントページの続き (72)発明者 柳原 広昌 埼玉県上福岡市大原２−１−15 株式会社 ケイディディ研究所内 Ｆターム(参考） 5C059 KK00 KK40 MA00 MA05 MA23 ME01 NN21 PP05 PP06 PP07 PP24 SS20 UA05

Claims (15)

【特許請求の範囲】
1. 【請求項１】 圧縮された動画像のデータを入力とし、
   該動画像のデータにロールテロップ領域情報を付加して
   出力する動画像内のロールテロップ検出装置において、 予測位置情報と符号化情報をもとにロールテロップの位
   置情報と動き情報を抽出するロールテロップ検出処理部
   と、 検出結果の前記位置情報と動き情報から将来の位置を推
   定し、予測位置情報を前記ロールテロップ検出処理部に
   戻すロールテロップ動き予測部とを具備したことを特徴
   とする動画像内のロールテロップ検出装置。
2. 【請求項２】 請求項1に記載の動画像内のロールテロ
   ップ検出装置において、 前記ロールテロップ検出処理部は、前記符号化情報に含
   まれている動き予測情報をもとに形成した部分領域をロ
   ールテロップの検出単位とすることを特徴とする動画像
   内のロールテロップ検出装置。
3. 【請求項３】 請求項1に記載の動画像内のロールテロ
   ップ検出装置において、 前記ロールテロップ検出処理部は、時間的な変動、収束
   を捉えることで、予め部分領域の形成に不必要な要素を
   排除することを特徴とする動画像内のロールテロップ検
   出装置。
4. 【請求項４】 請求項２または３に記載の動画像内のロ
   ールテロップ検出装置において、 前記部分領域を形成する上で特徴的な動き予測情報を具
   備する構成要素を抽出することを特徴とする動画像内の
   ロールテロップ検出装置。
5. 【請求項５】 請求項２ないし４のいずれかに記載の動
   画像内のロールテロップ検出装置において、 前記部分領域の構成要素を、動き予測情報の方向成分が
   フレームに対して水平若しくは垂直方向を指すことを判
   定基準に用いて選別することを特徴とする動画像内のロ
   ールテロップ検出装置。
6. 【請求項６】 請求項２ないし４のいずれかに記載の動
   画像内のロールテロップ検出装置において、 前記部分領域形成のための動き予測情報による判定は、
   動き予測情報の水平成分、垂直成分の何れかが０近似可
   能、かつ他方が十分な大きさを持つことを判定基準に用
   いることを特徴とする動画像内のロールテロップ検出装
   置。
7. 【請求項７】 請求項1に記載の動画像内のロールテロ
   ップ検出装置において、 動き予測情報が存在しない場合、部分領域の構成要素は
   フレーム内符号化情報の係数分布に偏在性が存在するこ
   とを判定基準に用いて選別することを特徴とする動画像
   内のロールテロップ検出装置。
8. 【請求項８】 請求項１または７に記載の動画像内のロ
   ールテロップ検出装置において、 フレーム内符号化情報の係数分布の偏在性判定は、複数
   のDCT係数DC成分のダイナミックレンジを判定基準に用
   いることを特徴とする動画像内のロールテロップ検出装
   置。
9. 【請求項９】 請求項1に記載の動画像内のロールテロ
   ップ検出装置において、 部分領域の構成要素は、動き予測情報が近傍フレームの
   参照位置の動き予測情報と相関があることを判定基準に
   用いることを特徴とする動画像内のロールテロップ検出
   装置。
10. 【請求項１０】 請求項1に記載の動画像内のロールテ
    ロップ検出装置において、 完全な復号処理と親和性を有し、フレームと同期した検
    出結果のリアルタイム表示が可能であることを特徴とす
    る動画像内のロールテロップ検出装置。
11. 【請求項１１】 請求項1に記載の動画像内のロールテ
    ロップ検出装置において、 部分領域の形成は、構成要素の動き予測情報が同フレー
    ムの近傍構成要素の動き予測情報と相関があることを判
    定基準に用いることを特徴とする動画像内のロールテロ
    ップ検出装置。
12. 【請求項１２】 請求項1に記載の動画像内のロールテ
    ロップ検出装置において、 ロールテロップの検出は、部分領域の構成要素数と領域
    形状を判定基準に用いることを特徴とする動画像内のロ
    ールテロップ検出装置。
13. 【請求項１３】 請求項1に記載の動画像内のロールテ
    ロップ検出装置において、 ロールテロップ動き予測部は、動き予測誤差情報を信頼
    性情報とした動き予測情報とフレーム間距離とを基準
    に、ロールテロップの動きを推定することを特徴とする
    動画像内のロールテロップ検出装置。
14. 【請求項１４】 圧縮された動画像のデータを可変長復
    号することにより得られた符号化情報と予測位置情報を
    もとにロールテロップの位置情報と動き情報を抽出する
    第１の工程と、 前記位置情報と動き情報から将来の位置を推定して予測
    位置情報を決定し、該予測位置情報を前記第１の工程に
    戻す第２の工程とからなる、 コンピュータに実行させるためのプログラムを記録した
    コンピュータ読み取り可能な記録媒体。
15. 【請求項１５】 請求項１４に記載の記録媒体におい
    て、 前記符号化情報が、動き予測情報、動き予測誤差情報、
    および符号化モード情報の少なくとも一つを含むことを
    特徴とする記録媒体。