JP2000236518A

JP2000236518A - ダイジェスト映像生成装置

Info

Publication number: JP2000236518A
Application number: JP3405299A
Authority: JP
Inventors: Kayoko Asai; 香葉子浅井; Takashi Matsuura; 俊松浦; Kensuke Marutani; 健介丸谷; Hitoshi Kato; 等加藤; Satoru Kageyu; 哲勘解由
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-02-12
Filing date: 1999-02-12
Publication date: 2000-08-29

Abstract

(57)【要約】【課題】映像部分が複数シーン間で重複している場合
でも、編集及びシーン毎の合成表示が可能であるダイジ
ェスト映像ストリームを生成するダイジェスト映像生成
装置を提供する。【解決手段】ダイジェストの対象映像を切出すダイジ
ェスト化フレーム切出手段103と、シーン単位での処理
を制御するシーン映像生成制御手段104と、フレーム単
位で映像データの圧縮符号化を行う画像符号化手段105
とを備え、複数シーン間で重複している映像部分を、通
常は再生されない領域に格納する。単独再生時には、重
複部分の映像が二重再生されることなく、且つ、シーン
毎のGOP構成が均一なダイジェスト映像ストリームを生
成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する分野】本発明は、動画像のダイジェスト
に関するものであり、特に計算機内部で動画像のダイジ
ェスト映像を生成する際、「合成による一覧表示」や
「編集」が容易に可能であるダイジェスト映像を生成す
る方式に関するものである。

【０００２】

【従来の技術】デジタル画像の符号化方式の１つである
MPEGは、動画像信号帯域圧縮方式としてDVD、VOD、通
信、放送など広い分野で適用が試みられている。MPEGで
はGOP（グループ・オブ・ピクチャ）構造を基本として
符号化されており、この単位での画像データへのアクセ
スや編集が可能である．動画像のダイジェスト映像を考
えた場合、一般的には各シーンの先頭から一定時間分の
映像を抜き出して１つの映像をつくる方法が考えられ
る。このようなダイジェスト映像では、全体の各シーン
の映像が含まれるため、全体を大まかに確認でき、内容
を把握しやすい。

【０００３】また、蓄積するダイジェスト映像のフォー
マットは、蓄積容量や伝送負荷の軽減などの理由によ
り、先に延べたMPEGなどの圧縮符号化フォーマットが使
用されることが多い．一方、圧縮符号化されたMPEGなど
の複数の動画像をフレーム単位で合成することにより、
一度に複数動画像を表示する方法として、画面をDCTブ
ロック、マクロブロック、GOB（グループ・オブ・ブロ
ック）などと呼ばれる領域で分割し、合成動画像の領域
構成となるように、各動画像の符号化データをフレーム
単位で再整列させる方法がある。

【０００４】しかしながら、この方法により合成動画像
を作成するには、各動画像におけるフレーム種別の出現
パターンが同じであることが前提である．また従来、ダ
イジェスト映像データの中には、ダイジェストとして再
生する映像部分のデータのみしか含まれておらず、「単
に再生する用途のみ」を満たしていた。

【０００５】

【発明が解決しようとする課題】第一の課題としては、
上記従来の技術で述べた合成動画像による一覧表示を、
MPEGなどの圧縮符号化フォーマットで蓄積されたダイジ
ェスト映像に適用することを考えると、個々のダイジェ
スト映像は、フレーム種別の出現パターンが同じである
必要がある。また更に、複数のダイジェスト映像同士の
合成だけでなく、１つのダイジェスト映像中の各シーン
の映像を合成表示する場合には、各シーンにおけるフレ
ーム種別の出現パターンが揃っている必要がある．従っ
てダイジェスト映像は、各シーンの先頭とGOPの先頭と
を一致し、同時に、各GOP内のフレーム出現パターンが
同じで、かつGOPに含まれるフレーム数が固定でなくて
はならない。

【０００６】しかしながら、動画像によっては極端に短
いシーンを含んだものもある。このような短いシーンで
は、他と同様のGOPを構成するだけの十分な長さの映像
が存在しない。その場合、シーン毎のGOP構成を揃える
必要性から、後続するシーン部の映像も含めてダイジェ
ストにしなくてはならなかった。

【０００７】第二の課題としては、従来、ダイジェスト
映像データの中には、ダイジェスト映像として再生する
映像部分のデータのみしか含まれていなかった。このた
め、一度生成したダイジェスト映像に対して修正を加え
たい場合、例えば、シーンの先頭から抜き出す長さを長
くしたい場合や、シーン先頭からのオフセットを与えて
抜き出したい場合などは、その部分の映像データが、ダ
イジェスト映像データ自体には含まれていないため、そ
れ自体を編集することはできず、再度オリジナル映像を
取り込み、新たにダイジェスト映像を生成し直さなくて
はならなかった。

【０００８】

【課題を解決するための手段】上記第一の課題を解決す
るため、本発明では、第一に、シーン先頭から一定区間
分の映像を抜き出してダイジェスト映像を生成する際、
シーン先頭をGOPの先頭に合わせて符号化し、他のシー
ンと重複している映像部分を通常再生されない領域に入
れて、ストリームを生成することにより、単独再生時に
は、シーン先頭から一定区間分の映像を取り出した映像
部分が、映像が重複することなく再生できる。またそれ
だけでなく、シーン毎のGOP構成が均一なため、合成表
示が可能であるので、従ってシーンのダイジェスト映像
の一覧表示が可能なダイジェスト映像ストリームを生成
できるものである。

【０００９】第二に、シーン毎にダイジェスト映像のフ
レーム数が等しくなるよう、足りない場合は他のシーン
のフレームを付加してフレーム数を調整して、画像符号
化手段に渡し、また、その映像データのうち、他のシー
ンと重複しているフレームかどうかというフレーム重複
情報を生成するシーン映像生成制御手段と、与えられた
フレームデータに対し、フレーム数固定のGOPで、且つG
OP内のフレーム出現パターンが常に等しくなるよう圧縮
符号化を行い、シーン毎のダイジェスト映像ビデオスト
リームを生成する画像符号化手段と、画像符号化手段が
生成したシーン毎のビデオストリームをシステム化し
て、ダイジェスト映像システムストリームを生成する
際、シーン毎のフレーム重複情報を参照して複数シーン
にまたがるフレームの重複を認識し、重複フレームに関
しては、通常再生されない領域に入れて、システムスト
リームを生成する符号化データシステム化手段と、を具
備することにより、単独再生時には、シーン先頭から一
定区間分の映像を取り出した映像部分が、映像が重複す
ることなく再生でき、また、シーン毎のGOP構成が均一
なため、合成表示が可能でもあるため、シーンのダイジ
ェスト映像の一覧表示が可能なダイジェスト映像データ
を生成できるものである。

【００１０】第三に、与えられた映像データをフレーム
データ格納手段に格納し、また、シーン毎にダイジェス
ト映像のフレーム数が等しくなるよう、足りない場合は
他のシーンのフレームを付加してフレーム数を調整し
て、そのフレーム番号を画像符号化手段に渡し、また、
そのフレーム番号のうち、他のシーンと重複しているフ
レームかどうかというフレーム重複情報を生成するシー
ン映像生成制御手段と、与えられたフレーム番号に対応
する映像データであるフレームデータをフレームデータ
格納手段から取得し、取得したフレームデータをフレー
ム数固定のGOPで、且つGOP内のフレーム出現パターンが
常に等しくなるよう圧縮符号化を行い、シーン毎のダイ
ジェスト映像ビデオストリームを生成する画像符号化手
段と、画像符号化手段が生成したシーン毎のビデオスト
リームをシステム化して、ダイジェスト映像システムス
トリームを生成する際、シーン毎のフレーム重複情報を
参照して複数シーンにまたがるフレームの重複を認識
し、重複フレームに関しては、通常再生されない領域に
入れて、システムストリームを生成する符号化データシ
ステム化手段と、とを具備することにより、単独再生時
には、シーン先頭から一定区間分の映像を取り出した映
像部分が、映像が重複することなく再生でき、また、シ
ーン毎のGOP構成が均一なため、合成表示が可能である
ため、シーンのダイジェスト映像の一覧表示が可能なダ
イジェスト映像データを生成できるものである。

【００１１】第四に、シーン毎にダイジェスト映像のフ
レーム数が等しくなるよう、足りない場合は不足フレー
ム補填用のフレームデータを、不足分だけ付加してフレ
ーム数を調整するGOP長調整手段と、GOP長調整手段が調
整した後のフレームを画像符号化手段に渡し、また、そ
の映像データのうち、不足分補填用フレームかどうかと
いう補填フレーム情報を生成するシーン映像生成制御手
段と、与えられたフレームデータに対し、フレーム数固
定のGOPで、且つGOP内のフレーム出現パターンが常に等
しくなるよう圧縮符号化を行い、シーン毎のダイジェス
ト映像ビデオストリームを生成する画像符号化手段と、
画像符号化手段が生成したシーン毎のビデオストリーム
をシステム化して、ダイジェスト映像システムストリー
ムを生成する際、シーン毎の補填フレーム情報を参照し
て補填フレームを認識し、補填フレームに関しては、通
常再生されない領域に入れて、システムストリームを生
成する符号化データシステム化手段と、を具備すること
により、単独再生時には、シーン先頭から一定区間分の
映像を取り出した映像部分が再生でき、また、シーン毎
のGOP構成が均一なため、合成表示が可能であるため、
シーンのダイジェスト映像の一覧表示が可能なダイジェ
スト映像データを生成できるものである。また、補填用
フレームを用いることで一覧合成時等においては見やす
い、全体のシーン長が把握しやすい、という効果をも奏
する。

【００１２】また、上記第二の課題を解決するため、本
発明では、第五に、ダイジェスト映像をMPEGなどの圧縮
符号化フォーマットで生成するとき、ダイジェストとす
る部分とそうでない部分とを一緒にシステムストリーム
化する際に、ダイジェストとしたい部分を通常再生され
る領域に、それ以外を通常再生されない領域に入れてシ
ステムストリームとすることで、単独再生時は、ダイジ
ェストとしたい部分のみが再生され、また、そのダイジ
ェストを修正したい場合に、再度取り込むことなく、修
正が可能となるものである。

【００１３】

【発明の実施の形態】以下、本発明の実施の形態につい
て説明する。なお、本発明はこれら実施の形態に何ら限
定されるものではなく、その趣旨を逸脱しない範囲にお
いて種々の異なる態様で実施し得る。

【００１４】（実施の形態１）まず第一の実施の形態に
ついて、図１〜７を用いて説明する．図1は、第一の実
施の形態におけるブロック図を示したものである。図1
において、101は、映像データを入力する映像入力手
段、102は、入力映像データのシーンの指定を行うシー
ン指定手段、103は、入力映像のうち、ダイジェスト映
像として符号化するフレームを何らかの決め方に従って
切り出すダイジェスト化フレーム切出手段、104は、符
号化するフレームを受け取り、シーン単位での処理を制
御するシーン映像生成制御手段、105-(n)は、フレーム
単位で映像データの圧縮符号化を行う画像符号化手段、
106は、符号化データを格納する符号化データ格納手
段、107は、符号化データをシステム化（つまり、多重
化してシステムストリームを生成）する際に必要なフレ
ーム重複情報を格納する、フレーム重複情報格納手段、
108は、符号化データとフレーム重複情報から、１つの
ダイジェスト映像のシステム化ストリームを生成する符
号化データシステム化手段、109は、生成されたダイジ
ェスト映像データを蓄積するダイジェスト映像データ蓄
積手段、である。

【００１５】本実施の形態では、画像符号化手段105-
(n)は圧縮符号化を行い、MPEG1のビデオストリームを出
力し、符号化データシステム化手段108は、MPEG1(ISO11
172)のデータストリームを出力する例を説明する。

【００１６】ここで各部の動作について説明する。映像
源として考えられるのはビデオカメラからの映像やパソ
コンのディスクにファイルとして蓄積されている映像デ
ータである。映像入力手段101は、これらの映像源から
映像源に合わせた方法で映像データを読み込み、読み込
んだ映像データをダイジェスト化フレーム切出手段103
に渡す。本実施の形態では、パソコンのディスク上にフ
ァイルとして蓄積されている映像データをフレーム単位
で読み込む。

【００１７】シーン指定手段102は、入力映像のシーン
情報を保持しており、その情報をダイジェスト化フレー
ム切出手段103に通知する。映像中のシーンの決め方に
は、例えば、映像の意味的・視覚的な変化点を境として
シーンとする方法や、また、ある一定時間間隔で映像を
分割し、シーンとする方法などが考えられる。１つの映
像は1つ以上のシーンから成り得る。シーン情報とは、
入力映像のシーン構成情報を意味する。また、ここでい
う映像のシーン情報は、前処理によって予めわかってい
る場合でも、映像を入力しながらシーンの切れ目を自動
検出し、逐次的に生成されても構わない。また逐次的な
決め方には、映像の内容に依存せず、ユーザの手動選択
で分割するようなシーンの決定方法も考えられる。

【００１８】図2に例として、本実施の形態における入
力映像のシーン構成を示す。入力映像は全部で8シーン
から構成されており、シーン情報は図3のようになる。
図3においては、それぞれシーンの区間がフレーム数で
記述されている。シーン指定手段102は図3に示すシーン
情報をダイジェスト化フレーム切出手段103に通知す
る。

【００１９】ダイジェスト化フレーム切出手段103は、
映像入力手段101からフレーム単位で映像データ、シー
ン指定手段102からシーン情報を受け取り、ダイジェス
ト映像として符号化するフレームかどうか判定を行い、
シーン映像生成制御手段104に、切り出したフレームの
フレーム番号と映像データを渡す．図１の例では、まず
ダイジェスト化フレーム切出手段103は、シーン指定手
段102からシーン情報（図3）を受け取り、シーン毎に処
理を行う。

【００２０】なお、本実施の形態では、切り出すフレー
ムを、シーン先頭から60フレーム分の映像データとす
る。この場合、入力映像全体において切り出される映像
部分は図4の網掛けで示す部分となる。すなわち網掛け
の部分がダイジェスト映像となる映像部分である．ま
た、この60という数字の根拠は、画像符号化手段105に
おいて符号化する際、1GOPが15フレーム構成の固定GOP
で符号化すると仮定し、この場合、GOPの構成フレーム
数の倍数となるようにシーン毎のフレーム数を選定しな
くてはならず、また、映像全体の内容を把握するための
ダイジェスト映像という用途を考慮すると、シーンの先
頭からそれぞれ60フレーム（2秒）分の映像があれば適
当ということで、採用した。従って、符号化時のGOPの
倍数という条件を満たす数値であれば60に限定されるも
のではない。

【００２１】また、ダイジェスト化フレーム切出手段10
3は、1シーン分の符号化データとして必要なフレーム数
分（本実施の形態では60フレーム）がシーン内に存在す
る場合は、その分切り出してシーン映像生成制御手段10
4に渡すが、必要なフレーム数分がシーン内に存在しな
い場合は、そのシーンに存在する分だけのフレームをシ
ーン映像生成制御手段104に渡す．例えばシーン１の処
理は、シーン１のフレーム区間は0〜599なので、映像入
力手段101から渡された映像データのうち、シーン先頭
から60フレーム分、すなわちフレーム0〜59を切り出
し、シーン映像生成制御手段104に渡すことになる。

【００２２】シーン映像生成制御手段104は、ダイジェ
スト化フレーム切出手段103から切り出された映像デー
タとそのフレーム番号を受け取り、1シーン分の符号化
データとして必要なフレーム数分揃っていたら、シーン
毎に対応した画像符号化手段105-(n)に映像データを渡
すと同時に、フレームの重複情報をフレーム重複情報格
納手段107に格納する。一方、フレーム数分揃っていな
い場合は、次シーンの処理に移行し、不足分の映像デー
タが渡されるまで、内部でフレームデータを保持し、不
足分の映像データが入力された時点で、保持していた映
像データと合わせて画像符号化手段105-(n)に渡す。図1
において、シーンnに対応した画像符号化手段は105-(n)
である．ここでシーン映像生成制御手段104のシーン1に
対する処理を説明する。ダイジェスト化フレーム切出手
段103から映像データ、フレーム番号（0〜59）を受け取
ると、1シーン分の符号化データとして必要なフレーム
数分（60フレーム）揃っているので、画像符号化手段10
5-(1)に映像データを渡すと同時に、フレーム重複情報
格納手段107にフレーム重複情報を格納する。フレーム
重複情報は図5に示す通りである。図5は、シーン１にお
いてフレーム0〜59は、重複無しのフレームデータであ
ることを示している。

【００２３】画像符号化手段105-(n)は、受け取った映
像データを圧縮符号化して、シーンnのダイジェスト映
像ビデオストリームを生成し、生成したシーンnのビデ
オストリームを符号化データ格納手段106に格納する．
例えば、画像符号化手段105-(1)は、受け取ったシーン1
のフレームデータ0〜59をフレーム単位で圧縮符号化
し、符号化したデータをビデオストリームとして符号化
データ格納手段106に格納する。

【００２４】符号化データ格納手段106は、画像符号化
手段105-(n)の生成した符号化データを、シーン単位の
ビデオストリームとして格納する。図6に符号化データ
格納手段106のデータ管理形態の例を示す。図6は、シー
ン毎に生成されたビデオストリームを図示したものであ
る。本実施の形態では、画像符号化手段105-(n)では15
フレームの固定長GOPで符号化を行っており、また各シ
ーン60フレームずつフレームを切り出しているので、シ
ーン毎に4GOPのビデオストリームが生成される．シーン
2からシーン4に関しても順番に、上記と同様の処理を行
い、符号化したビデオストリーム及びフレーム重複情報
を、それぞれ符号化データ格納手段106、フレーム重複
情報格納手段107に格納する。

【００２５】ここで、シーン5（図５にあるように必要
なフレーム数が揃ってなく、重複情報を必要とする場
合）の処理について説明する．シーン5の処理について
は、ダイジェスト化フレーム切出手段103は、シーン指
定手段102からのシーン情報をもとに、シーン5のフレー
ム区間は3000〜3049であり、映像入力手段101から渡さ
れた映像データのうち、シーン先頭から60フレームを取
り出そうとするが、[シーン5の区間］＜［取り出すフレ
ーム数]、であるため、シーン5に含まれる50フレーム
（3000〜3049）分のみ切出し、シーン映像生成制御手段
104に渡す。

【００２６】シーン映像生成制御手段104では、ダイジ
ェスト化フレーム切出手段103から50フレーム分の映像
データ、フレーム番号（3000〜3049）を受け取るが、1
シーン分の符号化データとして10フレーム分足りないの
で、画像符号化手段105-(5)に渡さずそのまま内部に保
持し、シーン6の処理に移行する．シーン6の処理は、シ
ーン映像生成制御手段104にフレームデータが渡される
ところまでは、上記処理と同様であり、フレームデータ
（3050〜3109）がシーン映像生成制御手段104に渡され
る。

【００２７】また、シーン映像生成制御手段104は、シ
ーン6の符号化分フレームデータ（3050〜3109）を受け
取ると、そのうち先頭10フレーム分のフレームデータ
（3050〜3059）を、保持していたシーン5からの切り出
しフレーム（3000〜3049）と合わせて、画像符号化手段
105-(5)に、シーン6からの切り出しフレーム（3050〜31
09）を、画像符号化手段105-(6)に渡すと同時に、シー
ン5及びシーン6のフレーム重複情報をフレーム重複情報
格納手段107に格納する。フレーム重複情報とは、その
フレームが後続の他のシーンに含まれるか否かの情報で
ある。それぞれのフレーム重複情報は図3に示す通りで
ある。つまり、重複無し：3000〜3049 重複有り：3050〜3059 とあるが、これはフレーム3000〜3049は重複無しのフレ
ームデータ、フレーム3050〜3059は後続シーン（シーン
6）と重複するフレームデータであることを示してい
る。つまり、シーン映像生成制御手段104はシーンの重
なりを認識して、フレーム重複情報を生成し、フレーム
重複情報格納手段107に格納する。

【００２８】画像符号化手段105-(5),(6)は、シーン1〜
4の場合と同様に、それぞれ受け取った60フレーム分の
フレームデータをフレーム単位で圧縮符号化し、符号化
したデータをビデオストリームとして符号化データ格納
手段106に格納する．シーン7,8に関しても順番に、シー
ン1〜4と同様の処理を行い、符号化したビデオストリー
ム及びフレーム重複情報を、それぞれ符号化データ格納
手段106、フレーム重複情報格納手段107に格納する。

【００２９】符号化データシステム化手段108は、全シ
ーンのシーン映像生成が終了したら、フレーム重複情報
格納手段107に格納されているフレーム重複情報をもと
に、符号化データ格納手段106に格納されている各シー
ンの符号化データのシステム化（多重化してシステムス
トリームの生成）を行う。フレーム重複情報に、「重複
無し」と示されている区間については、その区間がMPEG
1のビデオストリームになるよう、「重複有り」と示さ
れている区間については、プライベートストリームにな
るよう、パケット化する際にストリームIDを付与し、MP
EG1ストリームにする。

【００３０】なお、プライベートストリームとは、ISO
／IEC 11172で記述されているように、その使用目的は
限定されていなく、通常、タイムコードやバッファサイ
ズなどを格納するといった、個別に利用する領域として
割り当てられているものであり、本発明では、再生され
る領域（Video領域）でない領域（Private領域）として
使用するものとする。

【００３１】本実施の形態においては、まずシーン1の
フレーム重複情報（図３）を参照し、フレーム0〜59は
「重複無し」とあるので、符号化データ格納手段106に
対して、シーン1の符号化フレーム0〜59を要求して取得
し、E0h〜EFh(video_stream)の範囲のストリームIDを付
与してパケット化する．ここではMPEG1のシステム化ス
トリーム生成を例に挙げている。他のシーンについても
順に、上記と同様の処理を施してパケット化し、それら
を連結してMPEG1システム化ストリームにする．シーン2
〜シーン4についても同様である。

【００３２】シーン5の場合は、フレーム重複情報を参
照し、フレーム 3000〜3049は「重複無し」フレーム 3050〜3059は「重複有り」とあるので、ま
ず、符号化データ格納手段106に対して、シーン5の符号
化フレーム3000〜3049を要求して取得し、他のシーンと
同様のストリームIDを付与してパケット化する．次に、
符号化データ格納手段106に対して、シーン5の符号化フ
レーム3050〜3059を要求して取得し、ストリームIDをDF
h（private_stream_1）に設定してパケット化し、それ
らを連結してMPEG1システム化ストリームを生成してい
く。

【００３３】シーン6〜シーン8については、シーン1〜
シーン4と同様の処理である．以上のような処理で作成
したMPEG1システム化ストリームをダイジェスト映像デ
ータ蓄積手段109に蓄積する。

【００３４】以上のような処理を経て、図7に示すよう
なMPEG1ダイジェスト映像が生成され、これを単独で再
生すると、Video領域としてシステム化した部分の映像
データのみが再生されるので、シーン5とシーン6で重複
して符号化されている映像部分も重複再生されることは
ない。また、各シーンの先頭とGOPの先頭が一致してお
り、Private領域としてシステム化した部分の映像デー
タも含めれば、各GOP内のフレーム種別の出現パターン
が同じで、GOPに含まれるフレーム数も固定であるた
め、シーン毎の合成表示が可能であり、シーンの一覧表
示が可能なダイジェスト映像となる。

【００３５】以上のように、本実施の形態では、従来方
式では、ダイジェスト映像をその再生にしか活用でき
なかった、または再生以外への活用を可能とするため
にＧＯＰ構成を均一化する際に、短いシーンは次のシー
ンの先頭を含んだダイジェスト映像とするにすぎず、シ
ーンの合成表示等で次のシーンが表示されないことにな
る等の問題点が多かった。それに比べ、ダイジェスト映
像生成時に各シーン毎のＧＯＰ構成を均一にする際に、
そのシーンにおけるフレーム数が均一化するために不足
している場合には、その埋め合わせを行い、その埋め合
わせ部分は再生されないようにすることにより、再生に
も影響を与えることなく各動画像におけるフレーム種別
の出現パターンを揃えることができるため、ダイジェス
ト映像の編集（全てのシーンを含む合成表示・一覧表示
など）をも可能としたものであり、その実用的効果は大
きい。

【００３６】（実施の形態２）第二の実施の形態につい
て、図８・９を用いて説明する．図8は、第二の実施の
形態におけるブロック図を示したものであり、101〜103
及び106〜109各部の動作は実施の形態１に述べた通りで
ある。本実施の形態においても、実施の形態1と同様の
入力映像（図2参照）でダイジェスト映像を生成する例
を説明する。

【００３７】図8において、101〜103の各部は、実施の
形態1と同様な動作をし、シーン映像生成制御手段104
に、シーン毎に映像データとフレーム番号を渡す。

【００３８】シーン映像生成制御手段104は、ダイジェ
スト化フレーム切出手段103から切り出された映像デー
タとそのフレーム番号を受け取り、受け取った映像デー
タをフレームデータ格納手段810に格納する。また、1シ
ーン分の符号化データとして必要なフレーム数分（本実
施の形態では60フレーム）揃っていたら、画像符号化手
段105に受け取ったフレーム番号を渡すと同時に、フレ
ームの重複情報をフレーム重複情報格納手段107に格納
する。揃っていない場合は、次シーンの処理に移行し、
不足分の映像データが渡されるまで、内部でフレーム番
号を保持し、不足分の映像データが入力された時点で、
保持していたフレーム番号と合わせて画像符号化手段10
5に渡す。

【００３９】例えば、シーン映像生成制御手段104のシ
ーン1についての処理は、フレーム番号0〜59と、その映
像データをダイジェスト化フレーム切出手段103から受
け取り、その映像データをフレームデータ格納手段810
に格納する。また、1シーン分の符号化データとして必
要なフレーム数分（60フレーム）揃っているので、画像
符号化手段105に受け取ったフレーム番号（0〜59）を渡
すと同時に、フレームの重複情報をフレーム重複情報格
納手段107に格納する。格納されるフレーム重複情報は
実施の形態1と同様に、図5のようになる。

【００４０】フレームデータ格納手段801は、ダイジェ
スト映像として符号化されるフレームデータを格納す
る。データの管理形態は図9に示すようになる。図9にも
あるように、フレームデータは、フレーム番号とフレー
ムデータの実体で管理されており、本実施の形態におい
ては、十分な格納領域をもつリングバッファ形式などで
実現され、すでに処理済で不要なフレームデータの格納
場所に、新しいフレームデータが格納されるようになっ
ている。

【００４１】画像符号化手段105は、シーン映像生成制
御手段104からシーンのダイジェスト映像のフレーム番
号を受け取り、それをもとにフレームデータ格納手段80
1に格納されているフレームデータを読み出し、フレー
ム単位で圧縮符号化して、シーン毎にビデオストリーム
を生成し、生成したビデオストリームを符号化データ格
納手段106に格納する．例えば、シーン1の処理は、シー
ン映像生成制御手段104からシーンのダイジェスト映像
のフレーム番号（0〜59）を受け取り、それをもとにフ
レームデータ格納手段801に格納されている0〜59のフレ
ームデータを読み出し、フレーム単位で圧縮符号化し、
符号化したデータをビデオストリームとして符号化デー
タ格納手段106に格納する．シーン2〜シーン4に関して
も順番に、上記と同様の処理を行い、シーン毎に生成さ
れたビデオストリームを符号化データ格納手段106に、
フレーム重複情報をフレーム重複情報格納手段107に格
納する。

【００４２】次にシーン5の処理について説明する．シ
ーン5の処理について、シーン映像生成制御手段104は、
フレーム番号3000〜3049と、その映像データ50フレーム
分をダイジェスト化フレーム切出手段103から受け取
り、その映像データ50フレーム分をフレームデータ格納
手段810に格納する。また、受け取ったフレーム番号に
関しては、1シーン分の符号化データとして10フレーム
分足りないので、画像符号化手段105に渡さず、そのま
ま内部に保持し、シーン6の処理に移行する。

【００４３】シーン6の処理について、シーン映像生成
制御手段104は、フレーム番号3050〜3109と、その映像
データ60フレーム分をダイジェスト化フレーム切出手段
103から受け取り、その映像データ60フレーム分をフレ
ームデータ格納手段に格納する。また、受け取ったフレ
ーム番号に関しては、そのうち先頭10フレーム分をシー
ン5のフレーム番号と合わせて、3000〜3059とし、画像
符号化手段105に渡すと同時に、シーン5のフレーム重複
情報をフレーム重複情報格納手段107に格納する。フレ
ーム重複情報は、実施の形態1と同様で図5のようにな
る。

【００４４】画像符号化手段105は、シーン1〜シーン4
の場合と同様に、シーン映像生成制御手段104からシー
ン5のダイジェスト映像のフレーム番号3000〜3059を受
け取り、それをもとにフレームデータ格納手段801に格
納されているフレームデータを読み出し、フレーム単位
で圧縮符号化し、符号化したデータをビデオストリーム
として符号化データ格納手段106に格納する。

【００４５】また、シーン映像生成制御手段104は、シ
ーン5の処理の後、シーン6についてもフレーム番号3050
〜3109を画像符号化手段105に、フレーム重複情報をフ
レーム重複情報格納手段107に格納する．シーン7,8に関
しても順番に、シーン1〜4と同様の処理を行い、符号化
したビデオストリームをそれぞれ符号化データ格納手段
106に、フレーム重複情報をフレーム重複情報格納手段1
07に格納する。

【００４６】符号化データシステム化手段108の動作
は、実施の形態1と同様に、フレーム重複情報格納手段1
07に格納されているフレーム重複情報をもとに、符号化
データ格納手段106に格納されている各シーンの符号化
データのシステム化を行う。

【００４７】以上のような処理を経て、実施の形態1と
同様に図7に示すようなMPEG1ダイジェスト映像が生成さ
れ、同様の効果をもたらす。さらに、画像符号化手段が
1つで実現できるので、より装置を安価に提供できると
いう効果がある。

【００４８】（実施の形態３）第三の実施の形態につい
て、図10・11を用いて説明する．図10は、第三の実施の
形態におけるブロック図を示したものであり、101〜103
及び105〜109各部の動作は実施の形態１に述べた通りで
ある。

【００４９】実施の形態1と異なる点は、シーン映像生
成制御手段104が、ダイジェスト化フレーム切出手段103
から切り出された映像データとそのフレーム番号を受け
取り、1シーン分の符号化データとして必要なフレーム
数分揃っていなかった場合、GOP長調整手段1010が予め
決められたフレームデータを不足分の映像データとして
シーン映像生成制御手段104に渡す、という点である。

【００５０】シーン映像生成制御手段104は、GOP長調整
手段1010から受け取った不足フレーム補填用のフレーム
データを、ダイジェスト化フレーム切出手段103から渡
されたフレームデータと合わせて、画像符号化手段105-
(n)に渡す。同時に、補填フレーム情報格納手段1007に
補填フレーム情報を格納する。補填フレーム情報とは、
GOP長調整手段1010によって補填されたフレームかどう
かの情報である。

【００５１】本実施の形態においても、実施の形態1と
同様の入力映像（図11参照）でダイジェスト映像を生成
する例を説明すると、シーン5の処理を行う際に、シー
ン映像生成制御手段104は、ダイジェスト化フレーム切
出し手段103から50フレーム分の映像データ、フレーム
番号（3000〜3049）を受け取る。1シーン分の符号化デ
ータとして必要なフレーム数分（60フレーム）揃ってい
ないので、GOP長調整手段1010は、予め決められたフレ
ームデータとして黒い画面の映像データを、不足分10フ
レーム分、シーン映像生成制御手段104に渡す。

【００５２】シーン映像生成制御手段104は、ダイジェ
スト化フレーム切出手段103から受け取った50フレーム
分の映像データと、GOP長調整手段1010から渡された10
フレーム分の映像データとを合わせて、画像符号化手段
105-(5)に渡す。また同時に、シーン映像生成制御手段1
04は、図5に示す補填フレーム情報を補填フレーム情報
格納手段1007に格納する。

【００５３】補填フレーム情報は、図5のフレーム重複
情報を、「重複有り」→「補填フレーム」、「重複無
し」→「非補填フレーム」に置き換えたものと同様にな
る。符号化データシステム化手段108の動作は、実施の
形態1と同様に、補填フレーム情報格納手段1007に格納
されている補填フレーム情報をもとに、符号化データ格
納手段106に格納されている各シーンの符号化データの
システム化を行う。

【００５４】システム化を行う際には、「非補填フレー
ム」に関しては、E0h〜EFh(video_stream)の範囲のスト
リームIDを付与してパケット化し、「補填フレーム」に
関しては、ストリームIDをDFh(private_stream_1)に設
定してパケット化する。

【００５５】以上のような処理を経て、図7に示すよう
なMPEG1ダイジェスト映像が生成されるが、これは単独
で再生すると、Video領域としてシステム化した部分の
映像データのみが再生されるので、シーン5とシーン6で
重複して符号化されている映像部分も重複再生されるこ
とはない。また、各シーンの先頭とGOPの先頭が一致し
ており、Private領域としてシステム化した部分の映像
データも含めれば、各GOP内のフレーム種別の出現パタ
ーンが同じで、GOPに含まれるフレーム数も固定である
ため、シーン毎の合成表示が可能であり、シーンの一覧
表示が可能なダイジェスト映像となる。

【００５６】このように、本実施の形態によれば、不足
分に関しては補填用フレームを用いることにより、次の
シーン処理を待つことなく符号化処理を行うことがで
き、また、他のシーンの映像をつなげて埋め合わせをし
た場合は、それが次のシーンの映像であることがわかり
にくいので、そのシーンの長さが分からないといった不
都合に対して、シーン毎に合成して一覧画面を生成した
場合など、補填用フレームを例えば黒い画面にしておけ
ば、短いシーンなどはそのことが容易に認識可能であ
り、その実用的効果は大きい。

【００５７】なお、実施の形態２と本実施の形態を組み
合わせることにより、画像符号化手段が一つで、フレー
ム数調整として不足分の補填フレームを用いる形態を提
供することができる。

【００５８】（実施の形態４）第四の実施の形態につい
て、図12〜18を用いて説明する．図12は、第四の実施の
形態におけるブロック図を示したものである。図12にお
いて、101は、映像データを入力する映像入力手段、102
は、入力映像データのシーンの指定を行うシーン指定手
段、1203は、シーン情報をもとに、ダイジェスト映像と
するフレーム区間を判定し、シーン映像生成制御手段に
通知するダイジェスト化フレーム判定手段、1204は、符
号化するフレームを受け取り、シーン単位での処理を制
御するシーン映像生成制御手段、105-(n)は、フレーム
単位で映像データの圧縮符号化を行う画像符号化手段、
106は、符号化データを格納する符号化データ格納手
段、1207は、符号化データをシステム化する際に必要な
ダイジェスト情報を格納する、ダイジェスト情報格納手
段、108は、符号化データとダイジェスト情報から、１
つのダイジェスト映像のシステム化ストリームを生成す
る符号化データシステム化手段、109は、生成されたダ
イジェスト映像データを蓄積するダイジェスト映像デー
タ蓄積手段、1210は、シーン毎の画像符号化手段に渡す
フレーム数が、GOPの含むフレーム数の倍数になるよう
調整するGOP長調整手段、である。

【００５９】ここで各部の動作について説明する．映像
入力手段101、シーン指定手段102の動作は、前述の実施
の形態1,2,3に述べた通りである。

【００６０】図13に本実施の形態における入力映像のシ
ーン構成を、図14にシーン情報を示す．ダイジェスト化
フレーム判定手段1203は、映像入力手段101から映像デ
ータ、シーン指定手段102からシーン情報を受け取り、
シーン毎に処理を行う。まず、シーン情報をもとに、そ
のシーンの範囲を認識し、さらに、その範囲のうちダイ
ジェスト映像として符号化するフレームを判定する。結
果として、そのシーンの映像データ全てと、ダイジェス
ト映像として符号化するフレームのフレーム番号とをシ
ーン映像生成制御手段1204に渡す．本実施の形態では、
ダイジェスト映像にするフレームとして、シーンの先頭
から60フレーム分のフレームを選択する。ダイジェスト
映像となる映像部分は図15の網掛けで示す部分となる。

【００６１】図14のシーン情報を受け取り、まずシーン
1について処理を行う。シーン1のフレーム区間は0〜699
である。ダイジェスト映像として符号化するフレーム
は、シーン先頭から60フレームであるので、0〜59のフ
レーム番号と、0〜699の全映像データをシーン映像生成
制御手段1204に渡す。

【００６２】シーン映像生成制御手段1204は、ダイジェ
スト化フレーム判定手段1203から渡された映像データ
（の内、ＧＯＰ長調整手段1210で調整された映像デー
タ）を画像符号化手段105-(n)に渡し、またダイジェス
ト情報をダイジェスト情報格納手段1207に送出する。こ
こでダイジェスト情報とは、ダイジェスト化フレーム判
定手段1203から渡された、ダイジェスト映像として符号
化するフレームのフレーム番号をもとに生成された、ダ
イジェスト映像となる部分か否か、という情報である。

【００６３】ここでは、画像符号化手段105-(n)におい
て符号化する際、1GOPが15フレーム構成の固定GOPで符
号化すると仮定する。この場合、GOP長調整手段1210で
は、シーンの映像データを画像符号化手段105-(n)に渡
すフレーム数が15フレームの倍数になるように調整す
る。

【００６４】シーン1に関する処理は、シーン映像生成
制御手段1204が区間0〜699の映像データと符号化するフ
レームのフレーム番号を受け取ると、GOP長調整手段121
0は、映像データのフレーム数が15の倍数になるよう調
整する。この場合、700を超えない15の倍数ということ
で690フレームとし、フレーム0〜689を画像符号化手段1
05-(1)に渡す。また、図16に示すように、0〜59は「ダ
イジェスト」、60〜689は「非ダイジェスト」というダ
イジェスト情報をダイジェスト情報格納手段1207に格納
する。

【００６５】画像符号化手段105-(n)は、受け取った映
像データをフレーム単位で圧縮符号化し、符号化したデ
ータをビデオストリームとして符号化データ格納手段10
6に格納する．シーン1の処理に関して説明すると、画像
符号化手段105-(1)は、受け取った690フレーム分のフレ
ームデータを圧縮符号化し、符号化したデータを符号化
データ格納手段106に格納する。

【００６６】符号化データ格納手段106は、前述実施の
形態1,2,3と同様に、画像符号化手段105-(n)の生成した
符号化シーン単位のビデオストリームとして格納する。
各シーン毎に1GOPの倍数のフレーム長になるように映像
データを画像符号化手段105-(n)に渡すので、符号化さ
れたビデオストリームも、GOPの倍数のフレーム長とな
る。図17に符号化データ格納手段106のデータ管理形態
を示す．シーン2〜シーン7に関しても順番に、上記と同
様の処理を行い、符号化したビデオストリーム及びダイ
ジェスト情報を、それぞれ符号化データ格納手段106、
ダイジェスト情報格納手段1207に格納する。

【００６７】符号化データシステム化手段108の動作
は、前述の実施の形態1,2,3と同様である。全シーンの
シーン映像生成が終了したら、ダイジェスト情報格納手
段1207に格納されているダイジェスト情報をもとに、符
号化データ格納手段106に格納されている各シーンの符
号化データのシステム化を行う．システム化を行う際に
は、「ダイジェスト」の区間に関しては、E0h〜EFh(vid
eo_stream)の範囲のストリームIDを付与してパケット化
し、「非ダイジェスト」の区間に関しては、ストリーム
IDをDFh(private_stream_1)に設定してパケット化す
る。

【００６８】以上の処理を経て、図18に示すようなMPEG
1ダイジェスト映像が生成され、これは単独で再生する
と、Video領域としてシステム化した部分の映像データ
のみが再生される。すなわち、シーン先頭からの60フレ
ーム分の映像から成るダイジェスト映像が再生される。
また、ダイジェストの映像部分のみでなく、映像全体の
符号化データも含むストリームであるため、ダイジェス
トに修正を加えたい場合でも、再度、元映像から取り込
み直す必要が無く、生成したMPEG1ストリームのストリ
ームIDを書き換えるだけで、GOP単位でのダイジェスト
の編集が可能なダイジェスト映像ストリームとなり、そ
の実用的効果は大きい。

【００６９】なお、本実施の形態において、ダイジェス
ト生成の際に、短いシーンがあった場合の処理である
が、ダイジェスト映像となる部分（Video領域に入る部
分）は、実施の形態１・２と同様（図４参照）となり、
プライベート領域にそれ以外の部分の映像データ入るこ
ととなり、また、シーンのつなぎ目の部分に実施の形態
１・２の手法を適用することになる。

【００７０】なお、実施の形態２と本実施の形態を組み
合わせることにより、画像符号化手段が一つの形態の、
また、実施の形態１または３と本実施の形態を組み合わ
せることにより、フレーム数調整を行う形態の、また、
実施の形態２と、実施の形態１または３と、本実施の形
態とを組み合わせることにより、画像符号化手段が一つ
で、フレーム数調整を行う形態の、ダイジェスト映像生
成装置を提供することができる。

【００７１】

【発明の効果】以上のように本発明によれば、第一に、
シーン先頭から一定区間分の映像を抜き出してダイジェ
スト映像を生成する際、シーン先頭をGOPの先頭に合わ
せて符号化し、他のシーンと重複している映像部分を通
常再生されない領域に入れて、ストリームを生成するこ
とにより、単独再生時には、シーン先頭から一定区間分
の映像を取り出した映像部分が、映像が重複することな
く再生され、且つ、シーン毎のGOP構成が均一なため、
合成表示が可能であり、従ってシーンのダイジェスト映
像の一覧表示が可能なダイジェスト映像ストリームを生
成する、という効果が得られる。

【００７２】第二に、シーン毎にダイジェスト映像のフ
レーム数が等しくなるよう、足りない場合は他のシーン
のフレームを付加してフレーム数を調整して、画像符号
化手段に渡し、また、その映像データのうち、他のシー
ンと重複しているフレームかどうかというフレーム重複
情報を生成するシーン映像生成制御手段と、与えられた
フレームデータに対し、フレーム数固定のGOPで、且つG
OP内のフレーム出現パターンが常に等しくなるよう圧縮
符号化を行い、シーン毎のダイジェスト映像ビデオスト
リームを生成する画像符号化手段と、画像符号化手段が
生成したシーン毎のビデオストリームをシステム化し
て、ダイジェスト映像システムストリームを生成する
際、シーン毎のフレーム重複情報を参照して複数シーン
にまたがるフレームの重複を認識し、重複フレームに関
しては、通常再生されない領域に入れて、システムスト
リームを生成する符号化データシステム化手段とを具備
することにより、単独再生時には、シーン先頭から一定
区間分の映像を取り出した映像部分が、映像が重複する
ことなく再生され、且つ、シーン毎のGOP構成が均一な
ため、合成表示が可能であり、従ってシーンのダイジェ
スト映像の一覧表示が可能なダイジェスト映像データを
生成する、という効果が得られる。

【００７３】第三に、与えられた映像データをフレーム
データ格納手段に格納し、また、シーン毎にダイジェス
ト映像のフレーム数が等しくなるよう、足りない場合は
他のシーンのフレームを付加してフレーム数を調整し
て、そのフレーム番号を画像符号化手段に渡し、また、
そのフレーム番号のうち、他のシーンと重複しているフ
レームかどうかというフレーム重複情報を生成するシー
ン映像生成制御手段と、与えられたフレーム番号に対
し、フレームデータをフレームデータ格納手段から取得
し、取得したフレームデータをフレーム数固定のGOP
で、且つGOP内のフレーム出現パターンが常に等しくな
るよう圧縮符号化を行い、シーン毎のダイジェスト映像
ビデオストリームを生成する画像符号化手段と、画像符
号化手段が生成したシーン毎のビデオストリームをシス
テム化して、ダイジェスト映像システムストリームを生
成する際、シーン毎のフレーム重複情報を参照して複数
シーンにまたがるフレームの重複を認識し、重複フレー
ムに関しては、通常再生されない領域に入れて、システ
ムストリームを生成する符号化データシステム化手段と
を具備することにより、単独再生時には、シーン先頭か
ら一定区間分の映像を取り出した映像部分が、映像が重
複することなく再生され、且つ、シーン毎のGOP構成が
均一なため、合成表示が可能であり、従ってシーンのダ
イジェスト映像の一覧表示が可能なダイジェスト映像デ
ータを生成する、という効果が得られる。

【００７４】第四に、シーン毎にダイジェスト映像のフ
レーム数が等しくなるよう、足りない場合は不足フレー
ム補填用のフレームデータを、不足分だけ付加してフレ
ーム数を調整するGOP長調整手段と、GOP長調整手段が調
整した後のフレームを画像符号化手段に渡し、また、そ
の映像データのうち、不足分補填用フレームかどうかと
いう補填フレーム情報を生成するシーン映像生成制御手
段と、与えられたフレームデータに対し、フレーム数固
定のGOPで、且つGOP内のフレーム出現パターンが常に等
しくなるよう圧縮符号化を行い、シーン毎のダイジェス
ト映像ビデオストリームを生成する画像符号化手段と、
画像符号化手段が生成したシーン毎のビデオストリーム
をシステム化して、ダイジェスト映像システムストリー
ムを生成する際、シーン毎の補填フレーム情報を参照し
て補填フレームを認識し、補填フレームに関しては、通
常再生されない領域に入れて、システムストリームを生
成する符号化データシステム化手段とを具備することに
より、単独再生時には、シーン先頭から一定区間分の映
像を取り出した映像部分が再生され、且つ、シーン毎の
GOP構成が均一なため、合成表示が可能であり、従って
シーンのダイジェスト映像の一覧表示が可能なダイジェ
スト映像データを生成する、という効果が得られる。

【００７５】第五に、ダイジェスト映像をMPEGなどの圧
縮符号化フォーマットで生成する際、ダイジェストとし
たい部分を通常再生される領域に、それ以外を通常再生
されない領域に入れてシステムストリームとすること
で、単独再生時は、ダイジェストとしたい部分が再生さ
れ、且つ、再度取り込むことなく、修正が可能であるダ
イジェスト映像ストリームを生成する、という効果が得
られる。

【図面の簡単な説明】

【図1】実施の形態1におけるブロック構成図

【図2】実施の形態1〜3の入力映像の例図

【図3】実施の形態1〜3のシーン情報の例図

【図4】実施の形態1〜3においてダイジェスト映像とな
る映像部分の例図

【図5】実施の形態1〜3におけるフレーム重複情報の例
図

【図6】符号化データ格納手段におけるデータ管理形態
の例図

【図7】実施の形態1において生成されたダイジェスト映
像の例図

【図8】実施の形態2におけるブロック構成図

【図9】フレームデータ格納手段のデータ管理形態の例
図

【図10】実施の形態3におけるブロック構成図

【図11】実施の形態2において生成されたダイジェスト
映像の例図

【図12】実施の形態4におけるブロック構成図

【図13】実施の形態4の入力映像の例図

【図14】実施の形態4の入力映像のシーン情報の例図

【図15】実施の形態4においてダイジェスト映像となる
映像部分の例図

【図16】実施の形態4におけるダイジェスト情報の例図

【図17】符号化データ格納手段におけるデータ管理形態
（実施の形態4）の例図

【図18】実施の形態4において生成されたダイジェスト
映像の例図

【符合の説明】

１０１・・・映像入力手段１０２・・・シーン指定手段１０３・・・ダイジェスト化フレーム切出手段１０４・・・シーン映像生成制御手段１０５・・・画像符号化手段１０６・・・符号化データ格納手段１０７・・・フレーム重複情報格納手段１０８・・・符号化データシステム化手段１０９・・・ダイジェスト映像データ蓄積手段８１０・・・フレームデータ格納手段１００７・・補填フレーム情報格納手段１０１０・・ＧＯＰ長調整手段１２０３・・ダイジェスト化フレーム判定手段１２０７・・ダイジェスト情報格納手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者丸谷健介大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者加藤等大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者勘解由哲大阪府門真市大字門真1006番地松下電器産業株式会社内Ｆターム(参考） 5C053 FA14 GB09 GB37 HA21 KA01 LA01 LA11 5C059 KK36 LA00 PP04 RC01 SS26

Claims

【特許請求の範囲】

【請求項１】他のシーンと重複している映像部分を通
常再生されない領域に入れて、ストリームを生成するこ
とにより、単独再生時には、重複部分の映像が二重に再
生されることなく、且つ、シーン毎のGOP構成が均一な
ダイジェスト映像ストリームを生成することを特徴とす
るダイジェスト映像生成装置。
【請求項２】入力映像の各シーン毎にダイジェスト映
像として符号化するフレームを切り出すダイジェスト化
フレーム切出手段と、ダイジェスト化フレーム切出手段より受け取ったフレー
ムの数が、シーン毎に等しくなるよう調整して当該フレ
ームを画像符号化手段に送出し、また、そのフレームの
うち、他のシーンと重複しているフレームか否かという
フレーム重複情報を生成し、フレーム重複情報格納手段
に送出するシーン映像生成制御手段と、フレーム数が一定のＧＯＰ（Group Of Picture）で、か
つ当該ＧＯＰ内のフレーム出現パターンが等しくなるよ
う圧縮符号化を行い、シーン毎のダイジェスト映像ビデ
オストリームを生成し、符号化データ格納手段に送出す
る画像符号化手段と、シーン毎のダイジェスト映像ストリームを格納する符号
化データ格納手段と、シーン毎のフレーム重複情報を格納するフレーム重複情
報格納手段と、符号化データ格納手段に格納されているシーン毎のビデ
オストリームを多重化して、ダイジェスト映像システム
ストリームを生成する際に、シーン毎のフレーム重複情
報を参照して複数シーンにまたがるフレームの重複を認
識し、重複フレームに関しては、通常再生されない領域
に入れて、システムストリームを生成する符号化データ
システム化手段と、を具備したダイジェスト映像生成装
置。
【請求項３】入力映像の各シーン毎にダイジェスト映
像として符号化するフレームを切り出すダイジェスト化
フレーム切出手段と、ダイジェスト化フレーム切出手段より受け取ったフレー
ム数が、シーン毎に等しくなるよう調整して、当該フレ
ームをフレームデータ格納手段へ送出し、また、当該フ
レームを識別できるためのフレーム識別情報を画像符号
化手段に送出し、また、そのフレームのうち、他のシー
ンと重複しているフレームか否かというフレーム重複情
報を生成し、フレーム重複情報格納手段に送出するシー
ン映像生成制御手段と、フレーム識別情報に対応するフレームデータをフレーム
データ格納手段から取得し、取得したフレームデータを
フレーム数が一定のＧＯＰ（Group Of Picture）で、か
つ当該ＧＯＰ内のフレーム出現パターンが等しくなるよ
う圧縮符号化を行い、シーン毎のダイジェスト映像ビデ
オストリームを生成し、符号化データ格納手段に送出す
る画像符号化手段と、シーン毎のダイジェスト映像ストリームを格納する符号
化データ格納手段と、シーン毎のフレーム重複情報を格納するフレーム重複情
報格納手段と、符号化データ格納手段に格納されているシーン毎のビデ
オストリームを多重化して、ダイジェスト映像システム
ストリームを生成する際に、シーン毎のフレーム重複情
報を参照して複数シーンにまたがるフレームの重複を認
識し、重複フレームに関しては、通常再生されない領域
に入れて、システムストリームを生成する符号化データ
システム化手段と、を具備したダイジェスト映像生成装
置。
【請求項４】入力映像の各シーン毎にダイジェスト映
像として符号化するフレームを切り出すダイジェスト化
フレーム切出手段と、ダイジェスト化フレーム切出手段によって切り出された
フレーム数がある閾値に満たない場合、不足フレーム補
填用のフレームデータをＧＯＰ長調整手段から取得し、
シーン毎のフレーム数が等しくなるよう調整して、当該
フレームをを画像符号化手段に送出し、また、そのフレ
ームのうち、あるフレームが不足分補填用フレームか否
かという補填フレーム情報を生成し、補填フレーム情報
格納手段に送出するシーン映像生成制御手段と、フレーム数が一定のＧＯＰ（Group Of Picture）で、か
つ当該ＧＯＰ内のフレーム出現パターンが等しくなるよ
う圧縮符号化を行い、シーン毎のダイジェスト映像ビデ
オストリームを生成し、符号化データ格納手段に送出す
る画像符号化手段と、シーン毎のダイジェスト映像ストリームを格納する符号
化データ格納手段と、シーン毎の補填フレーム情報を格納する補填フレーム情
報格納手段と、符号化データ格納手段に格納されているシーン毎のビデ
オストリームを多重化して、ダイジェスト映像システム
ストリームを生成する際に、シーン毎の補填フレーム情
報を参照して補填フレームを認識し、補填フレームに関
しては、通常再生されない領域に入れて、システムスト
リームを生成する符号化データシステム化手段と、を具
備したダイジェスト映像生成装置。
【請求項５】入力映像の各シーン毎にダイジェスト映
像として符号化するフレームを切り出すダイジェスト化
フレーム切出手段と、ダイジェスト化フレーム切出手段によって切り出された
フレーム数がある閾値に満たない場合、不足フレーム補
填用のフレームデータをＧＯＰ長調整手段から取得し、
シーン毎のフレーム数が等しくなるよう調整して、当該
フレームをフレームデータ格納手段に送出し、また、当
該フレームを識別できるフレーム識別情報を画像符号化
手段に送出し、また、そのフレームのうち、あるフレー
ムが不足分補填用フレームか否かという補填フレーム情
報を生成し、補填フレーム情報格納手段に送出するシー
ン映像生成制御手段と、フレーム識別情報に対応するフレームデータをフレーム
データ格納手段から取得し、取得したフレームデータを
フレーム数が一定のＧＯＰ（Group Of Picture）で、か
つ当該ＧＯＰ内のフレーム出現パターンが等しくなるよ
う圧縮符号化を行い、シーン毎のダイジェスト映像ビデ
オストリームを生成し、符号化データ格納手段に送出す
る画像符号化手段と、シーン毎のダイジェスト映像ストリームを格納する符号
化データ格納手段と、シーン毎の補填フレーム情報を格納する補填フレーム情
報格納手段と、符号化データ格納手段に格納されているシーン毎のビデ
オストリームを多重化して、ダイジェスト映像システム
ストリームを生成する際に、シーン毎の補填フレーム情
報を参照して補填フレームを認識し、補填フレームに関
しては、通常再生されない領域に入れて、システムスト
リームを生成する符号化データシステム化手段と、を具
備したダイジェスト映像生成装置。
【請求項６】ダイジェスト映像を圧縮符号化フォーマ
ットで生成する際、ダイジェストとしたい部分を通常再
生される領域に、それ以外を通常再生されない領域に入
れてシステムストリームとし、ダイジェスト映像ストリ
ームを生成することを特徴とするダイジェスト映像生成
装置。
【請求項７】入力映像の各シーンの範囲と、各シーン
毎にダイジェスト映像として符号化するフレームとを判
定し、各シーンの全フレームと、各シーン毎のダイジェ
スト対象フレームを識別するためのフレーム識別情報と
をシーン映像生成制御手段へ送出するダイジェスト化フ
レーム判定手段と、フレーム数がある数値の倍数になるよう調整するＧＯＰ
長調整手段と、ダイジェスト化フレーム判定手段より受け取ったフレー
ムの数を、ＧＯＰ長調整手段の制御の下、ある数値の倍
数になるよう調整して当該フレームを画像符号化手段に
送出し、また、そのフレームのうち、ダイジェスト対象
フレームか否かを識別するためのダイジェスト情報を生
成し、ダイジェスト情報格納手段に送出するシーン映像
生成制御手段と、ＧＯＰが前記ある数値と同一で、かつ当該ＧＯＰ内のフ
レーム出現パターンが等しくなるよう圧縮符号化を行
い、シーン毎のビデオストリームを生成し、符号化デー
タ格納手段に送出する画像符号化手段と、シーン毎のビデオストリームを格納する符号化データ格
納手段と、シーン毎のダイジェスト情報を格納するダイジェスト情
報格納手段と、符号化データ格納手段に格納されているシーン毎のビデ
オストリームを多重化して、ダイジェスト映像システム
ストリームを生成する際に、シーン毎のダイジェスト情
報を参照して、ダイジェスト映像の対象でないフレーム
に関しては、通常再生されない領域に入れて、システム
ストリームを生成する符号化データシステム化手段と、
を具備したダイジェスト映像生成装置。